CN102100076A - 能够进行立体视再生的再生装置、再生方法、程序 - Google Patents

能够进行立体视再生的再生装置、再生方法、程序 Download PDF

Info

Publication number
CN102100076A
CN102100076A CN2009801276745A CN200980127674A CN102100076A CN 102100076 A CN102100076 A CN 102100076A CN 2009801276745 A CN2009801276745 A CN 2009801276745A CN 200980127674 A CN200980127674 A CN 200980127674A CN 102100076 A CN102100076 A CN 102100076A
Authority
CN
China
Prior art keywords
plane
video
visual field
data
graphics plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2009801276745A
Other languages
English (en)
Other versions
CN102100076B (zh
Inventor
山下健
杰尔马诺·莱希森林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN102100076A publication Critical patent/CN102100076A/zh
Application granted granted Critical
Publication of CN102100076B publication Critical patent/CN102100076B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/356Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359Switching between monoscopic and stereoscopic modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/156Mixing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183On-screen display [OSD] information, e.g. subtitles or menus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189Recording image signals; Reproducing recorded image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/261Image signal generators with monoscopic-to-stereoscopic image conversion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/341Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/25Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537Optical discs
    • G11B2220/2541Blu-ray discs; Blue laser DVR discs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

再生装置实现将存放在视频平面中的多个视频帧分别作为右视野视频帧及左视野视频帧输出而实现立体视。图形平面将1920×1080、1280×720的析像度的像素数据作为图形数据存放,移位引擎当执行左视野输出时,使图形平面中的像素数据各自的坐标向右方向及左方向中的某个方向移动,并且当执行右视野输出时,使图形平面中的像素数据各自的坐标向与左视野相反的方向移动。

Description

能够进行立体视再生的再生装置、再生方法、程序
技术领域
本发明是属于图形的合成技术的技术领域的发明。
背景技术
所谓图形的合成技术,是在构成视频流的各个视频帧中叠加表示字幕及GUI的图形而显示的技术。作为用于该显示的显示设备的技术动态,不仅是平面的影像而且还能欣赏如跃出那样的影像的立体视显示器开始普及。立体视显示器有各种各样的方式,但作为基本的原理,导入由左视野和右视野看到不同的图像的机制,通过利用该两眼间的视差,模拟地形成立体的影像。
如果想要使视听者以与通常的平面的影像同等的帧速率观看立体化的影像,则显示器侧需要通常的2倍的响应性能,例如为了显示一秒60帧的视频,最低必须进行一秒120帧的切换。
因而,显示的视频帧必须以一秒120帧的状态编码,但为了通过提高帧速率以外的方法得到立体效果,也有如非专利文献1那样通过并排的方式实现的方法。此外,也有如专利文献2那样使用方格图案的方式。
此外,在立体显示画面的技术中,有如专利文献3那样提取2D图像中的对象的数量、制作该对象数量的层并改变各层的进深而生成3D图像的技术。
先行技术文献
专利文献
专利文献1:国际公开第2005/119675号小册子
专利文献2:美国专利申请公开第2008/0036854号说明书
专利文献3:美国专利申请公开第2002/0118275号说明书
非专利文献
非专利文献1:FOUNDATIONS OF THE STEREOSCOPIC CINEMA ASTUDY IN DEPTH(by LENNY LIPTON)
发明概要
发明要解决的问题
然而,在现状下,欣赏立体视视频的方法主要在剧场中应用,但通过家庭设置用的再生装置将与电影同样的立体视视频流再生欣赏的使用形态也预想在今后会普及。
在用BD-ROM或DVD-Video供给的封装媒体中,并不是如电影用那样作为视频的一部分预先埋入了字幕。对应于多种语言的多个字幕数据与视频流另外地记录。这是为了根据再生装置中的语言的设置而将适当的字幕数据合成到运动图像中而供显示。
此外,实现GUI的图形也是多个图形数据与视频流另外地记录。这是为了根据再生装置中的语言的设置而将适当的图形合成到运动图像中而供显示。在此情况下,优选地为了表示字幕、GUI的图形分别准备左视野用数据、右视野用数据,但由于BD-ROM容量受限制,所以并不能对视频、图形分别准备左视野用的数据、右视野用的数据。
关于图形,在仅能够准备左视野、右视野中的一个的情况下,对应于视频流的运动图像看起来是立体的,相对于此,图形看起来是平面性的。并且,不考虑使用左视野用的视频的数据及右视野用的视频的数据看起来如立体地跃出那样的空间,假设将平面性的图形叠加。在此情况下,通过使用左视野用的视频的数据及右视野用的视频的数据,如运动图像看起来从电视机等的画面跃出那样的立体的空间中存在图形的平面性的图像那样,将运动图像与图形合成。这样,图形看起来如陷入到通过左视野的视频数据及右视野的视频数据看起来如跃出那样的立体的空间中那样,给视听者带来不适感。在这样的情况下,因为不自然的立体感的差异而不能集中目光,结果临场感觉下降。
发明内容
本发明的目的是提供一种即使在仅左视野用的图形、右视野用的图形中的一个记录在记录媒体中的情况下,也能够实现进行不给视听者带来不适感的视频与图形的合成的立体视再生的再生装置。
解决问题的手段
为了解决上述问题,本发明是一种实现立体视再生的再生装置,其特征在于,具备:
视频解码器,将视频流解码而得到视频帧;
视频平面,保持视频帧;
图形平面,存放图形数据;
合成部,将存放在图形平面中的图形数据合成到视频帧中;以及
移位引擎,执行图形平面的平面移位;
在实现上述立体视再生的情况下,将存放在视频平面中的多个视频帧分别作为右视野视频帧及左视野视频帧输出;
图形平面中的图形数据由规定的横像素数×纵像素数的像素数据构成;
上述平面移位是以下的处理:当输出左视野视频帧时,使图形平面中的像素数据各自的坐标向右方向及左方向中的某个方向移动,并且在输出右视野视频帧时,使图形平面中的像素数据各自的坐标向与左视野相反的方向移动后,供给到合成部中。
发明效果
通过使图形平面中的像素数据的坐标移动,能够调节使图形向近侧靠近多少、使图形向画面的里侧退远多少。由此,在不能从记录媒体供给右视野图形、左视野图形,所以在表现字幕或GUI陷入到运动图像中那样的立体视影像的情况下,通过调节字幕及GUI的移动量、以使其看起来比视频靠近侧,能够调整立体视影像的样式。由于通过该调节来变更字幕及GUI的进深,所以不需要准备用来给字幕或GUI带来立体感或进深感的左视野图形、右视野图形。由此,即使在将容量受限制的BD-ROM作为供给媒体的情况下,也能够使用户实现适当的立体视再生。
在编辑工作室中,也能够省略用于立体视再生的右视野图形、左视野图形的制作,能够减少电影作品的制作工序数。
在表示字幕、GUI的图形的进深不适当的情况下,也能够通过进行平面移位,根据输出的视频的进深使图形的进深变化为适当的进深,所以图形的进深变得自然,在运动图像与表示字幕、GUI的图形中不会发生立体感的差异。由此肉眼的负担缓和。
此外,不需要将左视野图形、右视野图形分别事先装载到存储器上,所以即使在使与图形的合成图像具有立体感的情况下,也不会给再生装置的存储器规模添加负担。
通过上述结构,在有关本发明的立体视视频再生装置中,即使不准备左视野图形和右视野图形,也能够在视频上立体地显示字幕及GUI。
附图说明
图1是表示关于记录媒体、再生装置的使用行为的形态的图。
图2是表示BD-ROM100的内部结构的图。
图3是表示BD-J对象的内部结构的图。
图4是表示再生装置的内部结构的图。
图5是表示前端部101~主微型计算机106内的详细的结构的图。
图6是表示2D显示模式、3D显示模式的切换的图。
图7是表示各平面的立体模式是开启的情况、和立体模式是关闭的情况下的合成处理的一例的图。
图8表示在所有的平面都是立体模式ON(开启)的情况下将背景平面、视频平面、图像平面、交互图形平面怎样合成。
图9是表示在所有的平面都是立体模式OFF(关闭)的情况下、将背景平面、视频平面、交互图形平面怎样合成。
图10表示按照平面的合成结果。
图11是用3D用显示器观察所有的平面是立体模式ON的情况下的影像输出的情况下的一例。
图12表示在用开闭器眼镜500观察视频平面是立体模式ON、其他平面是立体模式OFF的情况下的影像输出的情况下呈现的立体视影像的一例。
图13是表示向右方向移位后的左视野用图形平面、向左方向移位后的右视野用图形平面的图。
图14表示图像平面的内部结构。
图15表示进行了右方向的移位、左方向的移位后的、前景区域的像素数据及背景区域的像素数据。
图16表示交互图形平面的内部结构。
图17表示进行了右方向的移位、左方向的移位后的、前景区域的像素数据及背景区域的像素数据。
图18是表示图像平面中的平面移位的处理顺序的图。
图19是表示交互图形平面中的平面移位的处理顺序的图。
图20是表示根据平面偏移的正、负而字幕的进深怎样变化的图。
图21是表示存放在图形平面中的像素数据的图。
图22表示进行了移位后的图形平面的存放内容。
图23是表示BD-J平台部的内部结构的图。
图24表示显示模式存储部29的存储内容。
图25是将发生了标题间变迁的情况下的显示模式的变迁用表形式表示的图。
图26表示在标题内切换了播放列表的再生的情况下的显示模式的变迁。
图27表示在显示模式存储部29的设定中使用的API。
图28表示偏移设定部的内部结构。
图29是表示标题间显示模式设定的处理顺序的流程图。
图30是表示标题内显示模式设定的处理顺序的流程图。
图31是用来说明平面图像看起来处于比显示画面的位置靠近侧的原理的图。
图32是表示播放列表再生的主要的顺序的流程图。
图33是表示基于播放列表信息的再生顺序的流程图。
图34是表示3D显示模式时的3D流的左视野处理的流程图。
图35是表示3D显示模式时的3D流的右视野处理的流程图。
图36是表示2D显示模式时的2DAV流的处理顺序的流程图。
图37是表示BD-J应用进行的偏移更新命令发出时的处理顺序的流程图。
图38是表示合成部15的结构的图。
图39表示按照行数据执行右方向的平面移位的过程。
图40表示按照行数据执行左方向的平面移位的过程。
图41是表示向行存储器的读出的处理顺序的流程图。
图42是用来说明平面图像看起来处于比显示画面的位置靠里侧的原理的图。
具体实施方式
参照附图,对具备上述问题解决手段的记录媒体及再生装置的实施方式进行说明。
图1是表示关于记录媒体、再生装置的使用行为的形态的图。如本图所示,作为记录媒体的一例的BD-ROM100、再生装置200与遥控器300、电视机400、液晶眼镜500一起构成家庭影院系统,供用户使用。
BD-ROM100对上述家庭影院系统供给例如电影作品。
再生装置200与电视机400连接,将BD-ROM100再生。
遥控器300是从用户受理对层级化的GUI的操作的设备,为了进行这样的操作受理,遥控器100具备调出构成GUI的菜单的菜单键、使构成菜单的GUI部件的焦点移动的箭头键、对构成菜单的GUI部件进行确定操作的决定键、用来返回到层级化的菜单的更上位的菜单的返回键、数值键。
电视机400通过显示电影作品的再生影像、或显示菜单等而对用户提供对话性的操作环境。
液晶眼镜500由液晶开闭器和控制部构成,使用用户的两眼的视差实现立体视。液晶眼镜500的液晶开闭器是具有通过改变施加电压而光的透过率变化的性质的液晶透镜的开闭器。液晶眼镜500的控制部接受从再生装置发送的右视野用的图像和左视野用的图像的输出的切换的同步信号,按照该同步信号进行第1状态、第2状态的切换。
所谓第1状态,是调节施加电压以使对应于右视野的液晶透镜不透过光、调节施加状态以使对应于左视野的液晶透镜透过光的状态,在此状态下,将左视野用的图像提供给视听。
所谓第2状态,是调节施加电压以使对应于右视野的液晶透镜透过光、调节施加状态以使对应于左视野的液晶透镜不透过光的状态,在此状态下,液晶开闭器目镜将右视野用的图像提供给视听。
一般而言,右视野和左视野因其位置的差异而在从右视野看到的像和从左视野看到的像中,看起来存在一些差异。利用该差异,人能够将眼中看到的像辨识为立体。所以,液晶眼镜500如果使以上那样的第1状态、第2状态的切换同步于右视野用的图像和左视野用的图像的输出的切换定时,则用户将平面的显示错觉为看起来是立体的。接着,对显示右视野影像、左视野影像时的时间间隔进行说明。
具体而言,在平面显示的图像中,在右视野用的图像和左视野用的图像中,存在与相当于人的视差的观看方式之差相对应的程度的差异,通过将这些图像以较短的时间间隔切换显示,看起来宛如进行了立体的显示。
该较短的时间间隔只要是通过上述切换显示使人错觉为看起来是立体的程度的时间就可以。
以上是关于家庭影院系统的说明。
接着,对作为再生装置200再生的对象的记录媒体进行说明。通过再生装置200再生的是BD-ROM100。图2是表示BD-ROM100的内部结构的图。
在本图的第4段表示BD-ROM,在第3段表示BD-ROM上的轨道。本图的轨道将从BD-ROM的内周朝向外周形成为螺旋状的轨道沿横向拉伸而描绘。该轨道由导入区域、卷区域和导出区域构成。此外,在导入区的内侧,有称作BCA(Burst Cutting Area)的仅能够由驱动器读出的特别的区域。由于该区域不能够由应用读出,所以经常被例如著作权保护技术等使用。
本图的卷区域具有物理层、文件系统层、应用层的层模型,在卷区域中,以文件系统信息(卷)为开头而记录有影像数据等的应用数据。所谓文件系统,是UDF或ISO9660等,能够将与通常的PC同样记录的逻辑数据使用目录、文件构造读出,能够将255字符的文件名、目录名读出。如果使用目录构造表现BD-ROM应用层格式(应用格式),则成为图中的第1段那样。在该第1段中,在BD-ROM中,在Root目录下,有CERTIFICATE目录、以及BDMV目录。
在CERTIFICATE目录之下,存在目录的根证书的文件(app.discroot.cert)。app.discroot.cert是在使用Java(注册商标)虚拟机执行动态的脚本控制的Java(注册商标)应用的程序时、在进行应用是否没有被篡改、以及应用的身份确认的过程(以下称作签名验证)中使用的数字证书。
BDMV目录是记录有由BD-ROM处理的AV内容及管理信息等的数据的目录,在BDMV目录之下,存在称作PLAYLIST目录、CLIPINF目录、STREAM目录、BDJO目录、JAR目录、META目录的6个子目录,配置有INDEX.BDMV和MovieObject.bdmv的两种文件。
在STREAM目录中,是保存有所谓的作为传输流主体的文件的目录,存在被赋予了扩展名“m2ts”的文件(000001.m2ts)。
在PLAYLIST目录中,存在被赋予了扩展名“mpls”的文件(000001.mpls)。
在CLIPINF目录中,存在被赋予了扩展名“clpi”的文件(000001.clpi)。
在BDJO目录中,存在被赋予了扩展名“bdjo”的文件(XXXXX.bdjo)。
在JAR目录中,存在被赋予了扩展名“jra”的文件(YYYYY.jar)。
在META目录中,存在XML文件(ZZZZZ.xml)。
以下,对这些文件进行说明。
首先,对被赋予了扩展名“m2ts”的文件进行说明。被赋予了扩展名“m2ts”的文件是MPEG-TS(TransportStream)形式的数字AV流,通过将视频流、1个以上的音频流、图形流多路复用而得到。视频流表示电影的运动图像部分,音频流表示电影的声音部分。在3D用流的情况下,既可以在m2ts中放入左眼用和右眼用的两者的数据,也可以为左眼用和右眼用分别准备m2ts。为了减少被流使用的容量,使用左视野视频流与右视野视频流进行相互参照那样的编解码器(例如MPEG-4AVC MVC)是优选的。将用这样的编解码器压缩编码的视频流称作MVC视频流。
在MVC视频流中,有基础视野视频流、扩展视野视频流的种类。所谓基础视野流,是构成左视野或右视野的视频流中的、能够实现平面视显示的流。另一方面,将构成右视野或左视野的视频流中的、不是基础视野流者称作“扩展视野流”。构成扩展视野流的图片数据被基于与构成基础视野流的图片数据之间的帧相关性压缩编码。
被赋予了扩展名“mpls”的文件是保存有PlayList(PL)信息的文件。PL信息是参照AVClip定义播放列表的信息。
在本实施方式中,能够根据BD-ROM上的播放列表(PL)的构成格式确定在再生对象的流中是否存在3D用的流。
播放列表信息包括MainPath信息、Subpath信息、PlayListMark信息。
1)MainPath信息是通过将AV流的再生时间轴上的、作为In_Time的时刻和作为Out_Time的时刻的组定义1个以上来定义逻辑的再生区间的信息,具有规定许可多路复用在AV流中的基本流中的哪个的再生、不许可哪个的再生的流号码表(STN_table)。
2)PlayListMark信息包括由In_Time信息及Out_Time信息的组指定的AV流的一部分中的、作为章节的时刻的指定。
3)Subpath信息由1个以上的SubPlayItem信息构成,SubPlayItem信息包括应与上述AV流同步再生的基础流的指定、和该基础流的再生时间轴上的In_Time信息及Out_Time信息的组。通过用于再生控制的Java(TM)应用对Java(TM)虚拟机命令将该播放列表信息再生的JMF播放例程的生成,由此能够开始AV再生。所谓JMF(Java Media Frame work)播放例程,是基于JMF播放器类在虚拟机的堆存储器上生成的实际的数据。
以后,将仅包括2D用流的流称作“2D流”,将包括2D、3D用的流两者的流称作“3D流”。
进而,作为用语定义,2D播放列表仅包括2D再生用的流,在3D播放列表中,除了2D流以外,还包括3D立体视用的流。
被赋予了扩展名“clpi”的文件是与AVClip分别一一对应的Clip信息。因为是管理信息,所以Clip信息具有AVClip的流的编码形式、帧速率、位速率、析像度等的信息、以及表示GOP的开头位置的EP_map。以上的Clip信息及PL信息被分类到“静态脚本”中。
接着,对添加了扩展名BD-J对象的文件进行说明。添加了扩展名BD-J对象的文件是保存有BD-J对象的文件。BD-J对象是通过建立由PlayList信息定义的AVClip列与应用的关联来定义标题的信息。
对应于该Java(注册商标)应用的实体的是保存在图2的BDMV目录之下的JAR目录中的Java(注册商标)档案文件(YYYYY.jar)。
应用是例如Java(注册商标)应用,由装载在虚拟机的堆区域(也称作工作存储器)中的1个以上的xlet程序构成。由装载在该工作存储器中的xlet程序及数据构成应用。
在保存于META目录中的元文件(ZZZZZ.xml)中,保存有关于插入在盘中的影像作品的各种信息。作为保存在元文件中的信息,有盘的盘名及图像、盘是由谁制作的信息、关于各标题的标题名等。以上是关于BD-ROM100的说明。元文件不是必须的文件,也存在没有保存该文件的BD-ROM。
以上是关于BD-ROM的说明。
接着,对BD-J对象进行说明。图3是表示BD-J对象的内部结构的图。如本图所示,BD-J对象由“应用管理表”、“GUI管理表”、“播放列表管理表”构成。
以下,对这些构成要素进行说明。
“应用管理表”是用来使再生装置进行以标题为生存空间的应用脚本生成的表。引出线bj1将应用管理表的内部结构特写表示。如该引出线所示,应用管理表包括确定当对应于BD-J对象的标题为当前标题时应动作的应用的“应用识别符”和“控制代码”。控制代码在设定为AutoRun(自动运行)的情况下,表示在将该应用装载到堆存储器上之后自动启动,在设定为Present(呈现)的情况下,表示在将该应用装载到堆存储器上之后应等待从其他应用的调用而启动。
“GUI管理表”是动作中的应用进行GUI时的管理表,包括当执行GUI显示时的析像度、在GUI中使用的字体数据、以及在由用户进行了对GUI的菜单调用、标题调用的情况下规定是否将这些调用屏蔽的屏蔽标志。引出线bj2将GUI管理表的内部结构特写表示。如该引出线bj2所示,GUI管理表能够设定为HD3D_1920×1080、HD3D_1280×720、HD_1920×1080、HD_1280×720、QHD960×540、SD、SD_50HZ_720×576、SD_60HZ_720×480的某个。
引出线bj3将播放列表管理表的内部结构特写表示。播放列表管理表包括当对应于BD-J对象的标题为当前标题时应默认启动的播放列表的指定。引出线bj4将默认启动播放列表的内部结构特写表示。如引出线bj4所示,作为指定默认启动播放列表的信息,能够指定3D播放列表1920×1080、3D播放列表1280×720、2D播放列表1920×1080、2D播放列表1280×720、2D播放列表720×576、2D播放列表720×480的指定。
图4是表示再生装置的内部结构的图。在本图中,构成再生装置的主要的部件是前端部101、系统LSI102、存储器设备103、后端部104、非易失性存储器105、主微型计算机106、网络I/F107。
前端部101是数据输入源。在后述的图中,前端部101例如包括BD驱动器110、本地存储设备111。
系统LSI102由逻辑元件构成,形成再生装置内核。至少多路分离器4、视频解码器5a、5b、图像解码器7a、7b、音频解码器9、再生状态/设定寄存器(PSR)集12、再生控制引擎14、合成部15、平面移位引擎19、偏移设定部20等构成要素组装在该系统LSI的内部中。
存储器设备103由SDRAM等存储器元件的阵列构成。
后端部104是再生装置内部与其他装置的连接接口。
非易失性存储器105是能够读写的记录媒体,是即使不被供给电源也能够保持记录内容的媒体,用于存储在后述的显示模式存储部29中的显示模式的备份。对该非易失性存储器105,可以使用例如闪存存储器、FeRAM等。
主微型计算机106是由MPU、ROM、RAM构成的再生装置的内核。后述的图的具体的构成要素中的BD-J平台22、命令解译器25包含在该主微型计算机106中。
网络接口107用来与再生装置的外部进行通信,能够访问能够用因特网访问的服务器、或访问由本地网络连接的服务器。例如,用于公开在因特网上的BD-ROM追加内容的下载,或通过在与内容指定的因特网上的服务器之间进行数据通信,能够进行利用网络功能的内容的再生。所谓BD-ROM追加内容,是在原始的BD-ROM中没有的内容、例如是追加的副声音、字幕、特别影像、应用等。能够从BD-J平台控制网络接口107,能够将公开在因特网上的追加内容下载到本地存储设备111中。
如上所述,前端部101例如包括BD驱动器110、本地存储设备111。
BD驱动器110例如具备半导体激光器(未图示)、准直透镜(未图示)、束分离器(未图示)、物镜(未图示)、聚光透镜(未图示)、光检测器(未图示)的光头(未图示)。从半导体激光器射出的光束通过准直透镜、束分离器、物镜,被聚光到光盘的信息面上。聚光后的光束在光盘上被反射/衍射,通过物镜、束分离器、聚光透镜被聚光到光检测器上。由光检测器根据聚光的光的光量生成的信号对应于从BD-ROM读出的数据。
本地存储设备111具备内置媒体、可移除媒体,用于下载的追加内容及应用使用的数据等的保存。追加内容的保存区域被按照BD-ROM划分,此外,应用能够用于数据的保持的区域被按照应用划分。此外,在该内置媒体、可移除媒体中还保存有记载了将下载的追加内容怎样与BD-ROM上的数据合并的合并规则的合并管理信息。
所谓内置存储器,例如是内置在再生装置中的硬盘驱动器、存储器等可写入的记录媒体。
所谓可移除媒体,例如是具有可移动性的记录媒体,优选的是SD卡等具有可移动性的半导体存储卡。
如果以使可移除媒体为半导体存储卡时为例进行说明,则在再生装置中具备用来安装可移除媒体的插槽(未图示)及用来读取安装在插槽中的可移除媒体的接口(例如存储卡I/F),如果将半导体存储器安装到插槽中,则可移除媒体与再生装置被电连接,能够利用接口(例如存储卡I/F)将记录在半导体存储器中的数据变换为电信号而读出。
将这些前端部101~主微型计算机106内的构成要素更详细地说明。图5是表示前端部101~主微型计算机106内的详细的结构的图。如本图所示,在前端部101~主微型计算机106内,由读取缓冲器1、2、虚拟文件系统3、多路分离器4、视频解码器5a、5b、视频平面6、图像解码器7a、7b、图像存储器7c、7d、图像平面8、音频解码器9、交互图形平面10、背景平面11、再生状态/设定寄存器(PSR)集12、静态脚本存储器13、再生控制引擎14、合成部15、HDMI收发部16、左右处理存储部17、显示功能标志保持部18、平面移位引擎19、偏移设定部20、BD-J平台22、动态脚本存储器23、模式管理模组24、HDMV模组25、UO检测模组26、静止图像存储器27a、静止图像解码器27b、显示模式设定初始显示设定部28、显示模式存储部29构成。
读取缓冲器1是用于将构成构成从BD驱动器110读出的基础视野流的区段的源包暂时保存并在调节转发速度后转发给多路分离器4的缓冲器,具有上述那样的“RB1”的规模。
读取缓冲器2是用于将构成构成从BD驱动器110读出的扩展视野流的区段的源包暂时保存并在调节转发速度后转发给多路分离器4的缓冲器,具有上述那样的“RB2”的规模。
虚拟文件系统3基于与追加内容一起下载到本地存储设备111中的合并管理信息,构建使保存在本地存储设备中的追加内容与装填的BD-ROM上的内容合并的虚拟的BD-ROM(虚拟包)。
从作为HDMV模式的动作主体的命令解译器或作为BD-J模式的动作主体的BD-J平台能够无区别地参照虚拟包和原始BD-ROM。在虚拟包再生中,再生装置使用BD-ROM上的数据和本地存储设备上的数据两者进行再生控制。
多路分离器4由源包解包器、PID过滤器构成,受理对应于应再生的流(流包含在构建的虚拟包(装填的BD-ROM及对应于装填的BD-ROM的本地存储设备上的数据)中)的包识别符的指示,执行基于该包识别符的包过滤。在包过滤时,基于左右处理存储部31的标志,将左视野视频流、右视野视频流中的、对应于显示方式标志的视频流取出,转发给视频解码器5a、视频解码器5b。
在从再生对象的流分离的流是字幕流的情况下,多路分离器4将分离后的字幕流写入到图像存储器中。例如在3D字幕流(左视野用字幕流、右视野用字幕流)包含在流中的情况下,将左视野用的字幕流写入到图像存储器7c中,将右视野用的字幕流写入到图像存储器7d中。
此外,在例如字幕流为2D的字幕流(为了平面显示而使用的字幕流)包含在流中的情况下,将2D的字幕流写入到图像存储器7c中。
视频解码器5a将从多路分离器4输出的TS包解码,将非压缩形式的图片写入到左视野视频平面6(图5的视频平面6中的用符号(L)表示的平面)中。
视频解码器5b将从多路分离器4输出的扩展视频流解码,将TS包解码,将非压缩形式的图片写入到右视野视频平面6(图5的视频平面6中的用符号(R)表示的平面)中。
视频平面6例如是能够通过1920×2160(1280×1440)的析像度存放图片数据的平面存储器,具有有1920×1080(1280×720)的析像度的左眼用平面(图5的视频平面6中的用符号(L)表示的平面)、和有1920×1080(1280×720)的析像度的右眼用平面(图5的视频平面中的用符号(R)表示的平面)。
在视频数据的显示模式是3D显示模式、并且立体模式是开启的情况下,视频解码器5a将左视野用的视频流解码,写入到左眼用平面(图5所示的视频平面6中的用符号(L)表示的平面)中,视频解码器5b将右视野用的视频流解码,写入到右眼用平面(图5所示的视频平面6中的用符号(R)表示的平面)中。
此外,在视频数据的显示模式是3D显示模式、并且立体模式是关闭的情况下,视频解码器5a将例如左视野用的视频流解码,写入到左眼用平面(图5所示的视频平面6中的用符号(L)表示的平面)及右眼用平面(图5所示的视频平面6中的用符号(R)表示的平面)中。
此外,构成为,在视频数据的显示模式是2D显示模式的情况下,例如多路分离器4将2D视频流向视频解码器5a发送,视频解码器5a将解码后的2D视频数据写入到左眼用平面(图5所示的视频平面6中的用符号(L)表示的平面)中。
例示了包含在图示的视频平面6中的左眼用平面、右眼用平面为在物理上分离的存储器,但并不需要限定于此,例如也可以是在1个存储器内设置左眼用平面的区域、右眼用平面的区域、将对应于该区域的视频数据写入那样的结构。
图像解码器7a、7b将构成从多路分离器4输出并写入到图像解码器7c、7b中的字幕流的TS包解码,将非压缩形式的图形字幕写入到图形平面8a中。由图像解码器7a、7b解码的“字幕流”是表示通过运转周期编码压缩的字幕的数据,由表示Y值、Cr值、Cb值、α值的像素代码、和该像素代码的运转周期定义。
图像平面8是能够存放通过用例如1920×1080(1280×720)的析像度将字幕流解码而得到的图形数据(例如字幕数据)的图形平面,有具有能够存放具有例如1920×1080(1280×720)的析像度的数据的存储区域的左眼用平面(图5所示的图像平面8中的用符号(L)表示的平面)、和具有能够存放具有例如1920×1080(1280×720)的析像度的数据的存储区域的右眼用平面(图5所示的图像平面8中的用符号(R)表示的平面)。
在例如字幕数据的显示模式是3D显示模式、并且立体模式是开启的情况下,图像解码器7a将存储在图像存储器7c中的左视野用的字幕流解码,写入到左眼用平面(图5所示的图像平面8中的用符号(L)表示的平面)中,并且图像解码器7b将存储在图像存储器7d中的右视野用的字幕流解码,写入到右眼用平面(图5所示的图像平面8中的用符号(R)表示的平面)中。
此外,在字幕数据的显示模式是3D显示模式、并且立体模式是关闭的情况下,图像解码器7a将存储在图像存储器7c中的左视野用的字幕数据解码,写入到左眼用平面(图5所示的图像平面8中的用符号(L)表示的平面)以及右眼用平面(图5所示的图像平面8中的用符号(R)表示的平面)中。
此外,在字幕数据的显示模式是2D显示模式的情况下,多路分离器4构成为,将2D字幕流存放到图像存储器7c中,图像解码器7a构成为,将存储在图像存储器7c中的2D字幕流解码,写入到左眼用平面(图5所示的图像平面8中的用符号(L)表示的平面)中。
例示了包含在图示的图形平面8中的左眼用平面、右眼用平面为在物理上分离的存储器,但并不限定于此,例如也可以是在1个存储器内设置左眼用平面的区域、右眼用平面的区域、将对应于该区域的图形数据写入那样的结构。
音频解码器9将从多路分离器4输出的音频帧解码,输出非压缩形式的音频数据。
交互图形平面10是具有能够存放BD-J应用利用绘制引擎21通过例如1920×1080(1280×720)的析像度描绘的图形数据的存储区域的图形平面,例如有具有能够存放具有1920×1080(1280×720)的析像度的数据的存储区域的左眼用平面(在图5的交互图形平面10中、赋予了符号(L)的平面)、和具有能够存放具有1920×1080(1280×720)的析像度的数据的存储区域的右眼用平面(在图5的交互图形平面10中、赋予了符号(R)的平面)。
在交互图形的显示模式是例如3D显示模式、并且立体模式是开启的情况下,意味着在BD-J应用中插入了描绘从左眼看到的交互图形(左眼用交互图形)、和是从右眼看到的交互图形且与左眼用交互图形不同的交互图形(右眼用交互图形)的程序。
通过该描绘程序描绘的左眼用交互图形及右眼用交互图形是相互看到的角度不同以便能看到立体的图形那样的图形。
在将左眼用交互图形及右眼用交互图形提供给显示的情况下,BD-J应用利用绘制引擎21,将左视野用交互图形写入到左眼用平面(在图5的交互图形平面10中、赋予了符号(L)的平面)中,将右视野用交互图形写入到右眼用平面(在图5的交互图形平面10中、赋予了符号(R)的平面)中。
此外,在交互图形的显示模式例如是3D显示模式、并且立体模式是关闭的情况下,BD-J应用利用绘制引擎21,将左视野用交互图形分别写入到交互图形平面10的赋予了符号(L)、符号(R)的平面中。
在交互图形的显示模式是2D显示模式的情况下,构成为,BD-J应用利用绘制引擎21,将2D交互图形写入到交互图形平面10(更具体地讲是交互图形平面10的赋予了符号(L)的平面)中。
表示了图示的交互图形平面10在1个平面存储器内预先设有左眼用的区域(赋予了符号(L)的平面)、右眼用的区域(赋予了符号(R)的平面)的例子,但并不需要限定于此,例如也可以采用将交互图形平面10的左眼用的区域(赋予了符号(L)的平面)、右眼用的区域(赋予了符号(R)的平面)在物理上分离的结构。
存放在交互图形平面10中的“图形数据”是各个像素由R值、G值、B值、α值定义的图形。写入在交互图形平面10中的图形是主要具有为了构成GUI而使用的目的的图像或小部件。
虽然在表示像素的数据中有差异,但图像数据及图形数据可以用图形数据的表现来包括。在本申请作为对象的图形平面中,有图像平面8、交互图形平面10的两种,在单称作“图形平面”的情况下,指示图像平面8、交互图形平面10的两者或其某一个。
静止图像存储器27a保存从构建的虚拟包中取出的作为背景图像的静止图像数据。
背景平面11是能够通过例如1920×1080(1280×720)的析像度存放应作为背景图像的静止图像数据的平面存储器,具体而言,有具有1920×1080(1280×720)的析像度的左眼用平面(图5所示的背景平面11中的赋予了符号(L)的平面)、和具有1920×1080(1280×720)的析像度的右眼用平面(图5所示的背景平面11中的赋予了符号(R)的平面)。
在背景图像的显示模式例如是3D显示模式、并且立体模式是开启的情况下,静止图像解码器27b将存放在静止图像存储器27a中的、左视野用的静止图像数据、右视野用的静止图像数据解码,分别将左视野用的静止图像数据存放到左眼用平面(图5所示的背景平面11中的赋予了符号(L)的平面)中、将右视野用的静止图像数据存放到右眼用平面(图5所示的背景平面11中的赋予了符号(R)的平面)中。
在背景图像的显示模式例如是3D显示模式、并且立体模式是关闭的情况下,静止图像解码器27b将存放在静止图像存储器27a中的3D背景图像(左视野用的静止图像数据、右视野用的静止图像数据)中的左视野用的静止图像数据解码,写入到左眼用平面(图5所示的背景平面11中的赋予了符号(L)的平面)以及右眼用平面(图5所示的背景平面11中的赋予了符号(R)的平面)中。
在背景图像的显示模式例如是2D显示模式的情况下,构成为,静止图像解码器27b将存放在静止图像存储器27a中的2D的静止图像数据解码,写入到左眼用平面(图5所示的背景平面11中的赋予了符号(L)的平面)中。
表示了图示的背景平面11将左眼用的区域(赋予了符号(L)的区域)、右眼用的区域(赋予了符号(R)的区域)预先设在1个平面存储器内的例子,但并不需要限定于此,例如也可以使用将背景平面11的左眼用的区域(赋予了符号(L)的区域)、右眼用的区域(赋予了符号(R)的区域)在物理上分离的平面存储器。
另外,公开了图5所示的视频平面6、图像平面8、交互图形平面10、背景平面11设有用来存放左眼用的数据的存储区域、用来存放右眼用的数据的存储区域的结构,但并不需要限定于此,例如也可以是能够1个存储区域交替地作为左眼用/右眼用的存储区域使用那样的结构。
再生状态/设定寄存器(Player Status/Setting Register)集12是寄存器的集合,包括存放播放列表的再生状态的再生状态寄存器、存放表示再生装置中的设置的设置信息的再生设定寄存器、能够存放内容利用的任意的信息的通用寄存器。所谓播放列表的再生状态,表示利用记载在播放列表中的各种AV数据信息中的哪个AV数据、将播放列表的哪个位置(时刻)再生等的状态。
当播放列表的再生状态变化时,再生控制引擎14对PSR集12存放其内容。此外,通过来自作为HDMV模式的动作主体的命令解译器或作为BD-J模式的动作主体的Java平台执行的应用的指示,能够保存应用所指定的值、或将所保存的值传递给应用等。
静态脚本存储器13是用来保存当前播放列表信息或当前片段信息的存储器。所谓当前列表信息,是指能够从BD-ROM或内置媒体驱动器、可移除媒体驱动器访问的多个播放列表信息中的、作为当前处理对象的列表信息。所谓当前片断信息,是指能够从BD-ROM或内置媒体驱动器、可移除媒体驱动器访问的多个片断信息中的、作为当前处理对象的片断信息。
再生控制引擎14根据来自作为HDMV模式的动作主体的命令解译器或作为BD-J模式的动作主体的Java平台的函数调用,执行AV再生功能、播放列表的再生功能。所谓AV再生功能,是从DVD播放器、CD播放器沿袭的功能群,是再生开始、再生停止、暂停、暂停的解除、静止图像功能的解除、用直接值指定再生速度的快进、用直接值指定再生速度的回退、声音切换、副影像切换、角度切换等的处理。所谓播放列表再生功能,是指按照构成当前播放列表的当前播放列表信息、当前片断信息进行该AV再生功能中的再生开始及再生停止。
在发生了盘的插入的事件的情况下,作为再生控制引擎12的再生处理的对象的播放列表及AV流是记载在BD-ROM上的当前脚本中的默认起动播放列表(AutoStartPlaylist)和默认起动流。AV流再生既有以用户操作(例如再生按钮)为触发事件而开始的情况,也有以终端内的某种事件为触发事件而自动开始的情况。
合成部15将交互图形平面、图像平面8、视频平面、背景平面11的存放内容合成。
交互图形平面、图像平面8、视频平面和背景平面11为不同的层结构,必须从下开始,以背景平面11、视频平面、图像平面8、交互图形平面的顺序进行所存放的数据的合成(叠加)。即,即使在将平面的图形叠加在立体视视频之上的情况下,也将存放在视频平面中的视频合成到存放于背景平面11中的背景图像之上,在该合成图像之上合成存放于图像平面中的字幕,在该合成图像之上合成存放于交互图形平面中的图形而进行显示。这是因为,如果不这样,则图形的部分会成为嵌入到视频中的形式,变得不自然。
此外,合成部15还可以具备缩放器,在进行移位后的平面的合成时进行平面的缩放,使得看起来较大、或者看起来较小。
执行缩放的意义如下。在实际世界中,来到近侧的对象较大地显现、显示在里侧的对象看起来较小,而仅通过平面的移位,对象的尺寸没有变化而显示在近侧或里侧。在这样的情况下,对于视听者会带来不适感。这是为了消除这样的不适感。例如,在使移位幅度较大而显示在近侧的情况下,可以考虑使图像平面8的字幕及交互图形平面10的图像通过缩放而变大。
HDMI收发部16包括例如依据HDMI规格(HDMI:High DefinitionMultimedia Interface)的接口,是与和再生装置进行HDMI连接的装置(在该例中是电视机400)依据HDMI规格进行收发的单元,将存放在视频中的图片数据、和由音频解码器9解码后的非压缩的音频数据经由HDMI收发部16传送给电视机400。电视机400保持有例如关于是否对应于立体视显示的信息、关于能够进行平面显示的析像度的信息、关于能够进行立体显示的析像度的信息,如果从再生装置经由HDMI收发部16有请求,则电视机400将关于被请求的需要的信息(例如关于是否对应于立体视显示的信息、关于能够进行平面显示的析像度的信息、关于能够进行立体显示的析像度的信息)向再生装置返回。这样,通过经由HDMI收发部16,能够从电视机400取得电视机400是否对应于立体视显示的信息。
左右处理存储部17存储当前的输出处理是左视野用的输出还是右视野用的输出。左右处理存储部17的标志表示对与图1所示的再生装置连接的显示设备(在图1的例子中是电视机)的输出是左视野输出、还是右视野输出。在进行左视野输出的期间中,左右处理存储部17的标志被设定为表示左视野输出的标志。此外,在进行右视野输出的期间中,左右处理存储部17的标志被设定为表示右视野输出的标志。
显示功能标志保持部18保存有表示再生装置是否能够进行3D的显示的区别的3D显示功能标志。
平面移位引擎19基于左右处理存储部31的标志、和图形平面的进深信息,将存放在图像平面8及/或交互图形平面10中的像素数据的坐标向一定的方向(例如显示画面的水平方向)移位。在此情况下,左眼用的交互图形平面和右眼用的交互图形平面既可以使用相同的描绘对象,也可以通过移位而如显示在跃出到比显示画面靠近侧的位置上那样显示。即,即使在图像平面或交互图形平面的描绘中使用的字幕及GUI等的图形的对象自身不是立体视用的素材,也能够得到跃出到比显示画面靠近侧的位置的效果。在想要在使视频为2D显示的状态下仅使图形具有立体效果的情况下,不是使用左视野视频及右视野视频的组,而在左视野及右视野的两者中使用左视野用的视频,在其上合成上述已移位图像平面及交互图形平面。
平面移位的对象不必须是图像平面8、交互图形平面10两者,也可以仅将交互图形平面10作为平面移位的对象、或仅将图像平面8作为平面移位的对象。
平面移位引擎19具有存储当进行平面移位时向哪个方向进行多少移位的“平面偏移”(偏移值)的存储区域。例如,在再生装置200兼备能够设定平面偏移的值的设定功能的情况下,平面移位引擎19保存使用设定功能所设定的值。上述偏移值也可以例如具有图像平面用和交互图形平面用的两个值,根据进行平面偏移的对象而将这两个偏移值区分使用。在不兼具备设定功能的情况下,也可以默认指定“0”(在此情况下,在显示画面的位置上显示字幕、GUI等的图形,没有从显示画面跃出那样的效果)。
绘制引擎21具备Java2D、OPEN-GL等基础软件,在BD-J模式中,按照来自BD-J平台22的指示,将图形及字符串写入到交互图形平面10中。此外,在HDMV模式中,绘制引擎21将从对应于字幕的流(字幕流)以外的图形流中提取的图形数据(例如对应于输入按钮的图形数据)绘制,写入到交互图形平面10中。
BD-J平台22是作为BD-J模式的动作主体的Java平台,将Java2Micro_Edition(J2ME)Personal Basis Profile(PBP 1.0)、和GloballyExecutable MHP specification(GEM1.0.2)for package media targets完全安装,通过从存在于JAR档案文件中的类文件中读出字节码、保存到堆存储器中,启动BD-J应用。并且,将构成BD-J应用的字节码、构成系统应用的字节码变换为本机码,使MPU执行。
动态脚本存储器23是保存有当前动态脚本,提供给作为HDMV模式的动作主体的HDMV模组、作为BD-J模式的动作主体的Java平台的处理的存储器。所谓当前动态脚本,是指记录在BD-ROM或内置媒体、可移除媒体中的Index.bdmv、BD-J对象、电影对象中的、作为当前执行对象的脚本。
显示模式管理模组24保持从BD-ROM或内置媒体、可移除媒体中读出的Index.bdmv,进行模式管理及分支控制。所谓模式管理模组24进行的模式管理,是指使BD-J平台22、HDMV模组25的哪个执行动态脚本的模组的分配。
HDMV模组25是作为HDMV模式的动作主体的DVD虚拟播放器,为HDMV模式的执行主体。本模组具备命令解译器,通过将构成电影对象的导航命令解读并执行,执行HDMV模式的控制。导航命令由于用与DVD-Video类似那样的句法记述,所以通过执行这样的导航命令,能够实现类似于DVD-Video那样的再生控制。
UO检测模组26受理对GUI的用户操作。在由该GUI受理的用户操作中,有选择记录在BD-ROM中的标题中的哪个的标题选择、字幕选择、声音选择。特别是,作为立体视再生特有的用户操作,有受理立体视影像的进深感的水平的情况。例如,既有受理进深感为远、普通、近等的3个水平的情况,也有如进深感为几cm、几mm那样通过数值输入受理进深感的水平的情况。
静止图像存储器27a将从BD-ROM(或构建的虚拟包)读出的静止图像数据保存。
静止图像解码器27b将读出到读取缓冲器27a中的静止图像数据解码,将非压缩的背景图像数据写入到背景平面11中。
显示模式存储部29存储显示模式、立体模式。在再生装置设定为能够进行3D显示作为3D显示功能标志的情况下,保存在显示模式存储部29中的作为终端设定的显示模式能够切换为2D、3D的任一个。以后,将显示模式表示为“3D”的状态称作“3D显示模式”,将显示模式表示为“2D”的状态称作“2D显示模式”。
在再生装置是3D显示模式的情况下,各平面取立体模式ON的状态、立体模式OFF的状态中的某个状态。立体模式的ON和OFF的差异是平面的合成方法的差异。
所谓“立体模式ON”,是再生装置将左视野用的影像和右视野用的影像进行显示不同的影像那样的合成的3D显示模式。
所谓“立体模式OFF”,是再生装置进行将左视野用的影像和右视野用的影像进行显示相同的影像那样的合成的3D显示模式。即,在用两眼视听的情况下为没有立体感的影像(平面影像)。但是,例如在图形平面8中,通过平面偏移带来的向水平方向的移位,能够使保存显示在图形平面中的平面的图形数据(字幕数据)看起来位于比显示画面靠近侧或靠里侧。这在存储于视频平面中的视频数据、存储在交互图形平面中的交互图形数据、存储在背景平面11中的背景图像数据中,如果在是“立体模式OFF”的情况下调节偏移则可以说是同样的。
如以上说明,在“3D显示模式”中,有“立体模式ON”和“立体模式OFF”两种,在“3D显示模式”中的“立体模式ON”中,是左视野用的数据和右视野用的数据(例如从左眼看到的像和从右眼看到的像为看到的角度不同的像),将它们分别保存到左视野用的平面和右视野用的平面中,通过将所保存的像按照同步信号显示,能够显示有立体感的像。
此外,在“3D显示模式”中的“立体模式OFF”中,仅使用左视野用的数据和右视野用的数据中的某个数据(在本实施方式中例如是左视野用的数据),将其分别保存到左视野用的平面和右视野用的平面中,通过调节偏移,能够将平面的像显示为使其位于比显示画面靠近侧或里侧。
在本实施方式中,构成为,能够将“立体模式ON”、“立体模式OFF”按照平面(即按照视频平面6、图形平面8、交互图形平面10、背景平面11)而设定。
此外,“2D显示模式”是通常的显示、即显示对应于显示图像的位置的像的模式。在此情况下,构成为,预先决定了默认使用的解码器、平面,利用该解码器、平面来显示合成图像。
例如,在“2D显示模式”的情况下,构成为,将视频解码器5a写入在左眼用视频平面(图5所示的视频平面6中的用符号(L)表示的平面)中的2D视频数据、图像解码器7a写入在左眼用平面(图5所示的图像平面8中的用符号(L)表示的平面)中的2D图形数据(字幕数据)、BD-J应用利用绘制引擎21写入到左眼用平面(图5的交互图形平面10中、赋予了符号(L)的平面)中的2D交互图形、静止图像解码器27b写入到左眼用平面(图5所示的背景平面11中的赋予了符号(L)的平面)中的2D的静止图像数据合成。
此时,合成的顺序从下方起以2D静止图像数据、2D视频数据、2D图形数据(字幕数据)、2D交互图形的顺序合成。此时,在视频数据是全画面显示的情况下,也可以构成为,不合成2D静止图像数据。显示模式存储部29的表示是2D显示模式还是3D显示模式的标志既可以由再生状态寄存器12保存,也可以由显示模式存储部29和再生状态寄存器12两者保存。
显示模式设定初始显示设定部28基于对BD-J平台部提供的当前标题中的BD-J对象,进行显示模式、析像度的设定。
以上是关于再生装置的内部结构的说明。接着,对本实施方式中的2D显示模式、3D显示模式的切换的详细情况进行说明。
图6是表示2D显示模式、3D显示模式的切换的图。在本图的左侧表示2D显示模式时的输出模型。在左侧的平面结构中,由视频平面6、图像平面8(图中的“字幕”)8、交互图形平面10、背景平面11、以及输出的分别一个构成。
由此,在2D显示模式时,左视野和右视野使用共用的数据,结果看到完全相同的输出。
在本图的右侧显示了3D显示模式时的输出模型。在再生装置是3D显示模式的情况下,将视频平面6、图像平面8(图中的“字幕”)8、交互图形平面10分别分为左视野用和右视野用,在它们中保存应再生的图片数据、图形数据。
由此,在3D显示模式时分别存在左视野和右视野输出,能够对左眼和右眼提供不同的图像,通过其视差,能够带来宛如画面内的立体物跃出到眼前那样的3D效果。
(立体效果的指定)
图7是表示在3D显示模式中、各平面的立体模式是全部开启的情况、和立体模式是全部关闭的情况下的合成处理的一例的图。
在图7中,表示了各平面使立体模式统一的情况的例子,但能够按照平面而变更立体模式的ON/OFF。
左侧表示在3D显示模式中、各平面的立体模式都是开启的情况下的平面结构,右侧表示在3D显示模式中、各平面的立体模式都是关闭的情况下的平面结构。
第1段表示背景平面11和其合成前的输出。
第2段表示视频流和其合成前的输出。
第3段表示图像平面8和其合成前的输出。
第4段表示交互图形平面10和其合成前的输出。
在立体模式是ON的情况下,背景图片中,由被赋予了(L)的区域表示的左眼用背景平面被用于左视野用的背景数据的写入,由被赋予了(R)的区域表示的右眼用背景平面被用于右视野用的背景数据的写入,分别在左眼用/右眼用的合成时使用。在背景平面11的立体模式为OFF的情况下,由应用将左视野用的背景数据分别写入到背景平面的、赋予了(L)、(R)的区域中,所以右视野用的背景数据对显示没有影响。
在立体模式是ON的情况下,将视频流中的、左眼用的视频的图片数据保存到左视野用的视频平面中。此外,将视频流中的、右眼用的视频的图片数据保存到右视野用的视频平面中。在视频平面的立体模式是OFF的情况下,将左眼用的视频的图片数据保存到左视野用的视频平面和右视野用的视频平面两者中。
在立体模式是ON的情况下,图像平面中,在由被赋予了(L)的区域表示的左眼用图像帧中被写入左视野用的图像数据,由被赋予了(R)的区域表示的右眼用图像平面被写入右视野用的图像数据,分别左眼用/右眼用的合成时使用。
在图像平面8的立体模式为OFF的情况下,对应于右视野用的图像数据的字幕图形对显示没有影响。此外,在立体模式是OFF的情况下,图像平面8的内容成为向右方向或左方向移位后的内容(图中的移位左)。
在立体模式是ON的情况下,交互图形平面10在由被赋予了(L)的区域表示的左眼用交互图形平面中被写入左视野用的交互图形,在由被赋予了(R)的区域表示的右眼用交互图形平面中被写入右视野用的交互图形,分别在左眼用/右眼用的合成时使用。
在交互图形平面10的立体模式是OFF的情况下,应用带来的右用的交互图形不给显示带来影响。此外,在立体模式是OFF的情况下,交互图形平面10的内容成为向右方向或左方向移位后的内容(图中的移位左)。
图8表示在所有的平面都是立体模式ON的情况下、将背景平面11、视频平面、图像平面8、交互图形平面10怎样叠加。在立体模式中,作为左视野,可知将左视野背景平面u4、从视频流读出的左视野视频u3、图像平面8的左视野图形u2、交互图形平面10的左视野图形u1依次合成。
此外,可知作为右视野可知将右视野背景平面u8、从视频流读出的右视野视频u7、图像平面8的右视野图形u6、交互图形平面10的右视野图形u5依次合成。
图9是表示在所有的平面都是立体模式OFF的情况下、将背景平面11、视频平面、图像平面8、交互图形平面10怎样叠加。在立体模式是OFF时,作为左视野,可知将左视野背景平面r4、从视频流读出的左视野视频r2、将图像平面8的左视野图形向一定的水平方向(在图中是右)移位后的移位左图形r3、将交互图形平面10的左视野图形向一定的水平方向(在图中是右)移位后的移位左图形r1依次合成。
此外,作为右视野,可知将右视野背景平面r8、从视频流读出的左视野视频r6、将图像平面8的左视野图形向与左视野相反的方向(在图中是左)移位后的移位左图形r7、交互图形平面10的左视野图形向与左视野相反的方向(在图中是左)移位后的移位左图形r5依次合成。
在图7~图9所示的例子中,对于在立体模式是关闭的状态下不调节背景和视频的偏移(即偏移为0,更具体地讲显示在显示画面的位置上)的例子,但这是为了使上述说明变得简单。因而,并不需要限定于上述说明,也可以调节偏移而显示,以使得例如视频位于比图形图像(字幕)靠里侧、并且背景数据位于比视频靠里侧。
接着,对本实施方式的立体模式的切换的详细情况进行说明。
图10表示按照平面的合成结果。
6L、6R表示视频平面的一例。由于女性的脸的朝向的差异,左视野用的流和右视野的流可以看出是从不同的角度拍摄的。另外,图10中的人物的脸的朝向及位置的偏差是示意性的,并不表示用来实现立体视再生的正确的脸的朝向及位置。
图像平面8中的“I love you”的字符是字幕数据被图像解码器解码后的图像。
交互图形平面10中的太阳形状的GUI部件是BD-J应用描绘到交互图形平面10中的。
6LL是合成后的输出左视野,6RR是在合成后输出的输出右视野。在6LL的左视野用影像中,可知将“I love you”的字幕向右偏移而合成。此外,在6RR的右视野影像中,可知将“I love you”的字幕向左偏移而合成。
图11是用3D用显示器观察所有的平面是立体模式ON的情况下的影像输出的情况下的一例。
右视野和左视野用的影像例如通过开闭器眼镜500而被过滤,在各眼睛中映照出不同的影像。这里,应注意的是,视频流影像不仅是将左右的图像叠加而立体化的,“I love you”的字幕及太阳形状的GUI部件也在左眼和右眼中不同。这样,可知通过在预先准备了左眼用和右眼用两者的内容的情况下使立体模式为ON,自然成为视频、字幕及GUI部件都保持进深的结构。
图12表示在用开闭器眼镜500观察视频平面是立体模式ON、而其他平面是立体模式OFF的情况下的影像输出的情况下呈现的立体视影像的一例。关于没有准备左眼用和右眼用两者的字幕或GUI的盘(以2D前提制作的过去的内容、盘的容量不足而不得以如此的盘等),不得不使图形平面的立体模式为OFF。图12由于视频平面是立体模式ON,所以可以看出左视野用的流和右视野的流是从不同的角度拍摄的。另一方面,图像平面8及交互图形平面10是立体模式OFF,将向右方向及左方向移位后的平面合成到视频平面中,即使仅存在单眼用的字幕、GUI,也能够显示在立体视频的近侧,可以看出能够减轻对视听者的眼睛的疲劳度。
(用来实现立体视效果的控制)
对为了立体视效果的实现而将图形平面错移的方向进行说明。
平面移位引擎19移位的方向根据带来使图形平面向画面的里侧凹陷的立体感、还是带来从画面跃出的立体感而不同。在本实施方式中,以作为左视野用影像而向右方向错移、即带来从画面跃出的立体感为前提。
将向右方向移位的情况下的各像素数据的坐标与向左方向移位的情况下的各像素数据的坐标的差称作“移位量”。该移位量在立体视中应根据使图像平面8或交互图形平面10具有怎样程度的进深的进深值来计算。此外,在立体视再生中,能够根据能够作为两眼的视差采用的一些参数来导出。
此外,将用来使图形平面内的像素数据向左右移动上述那样的移位量的参数称作“平面偏移”。相对于移位量是标量,平面偏移是具有正负的值的矢量,指示从当前的状态使像素数据的坐标向右方向及左方向的哪个方向移动了多少像素数据的坐标。在以后的说明中,设平面移位按照该平面偏移执行。在平面偏移中,既有对移位量赋予了正负的符号的情况,也有能够在实施了某种函数式的计算后作为移位量采用的情况。
接着,对平面偏移的正负的意义进行说明。
图形平面的平面偏移表示将保存在右视野的图形平面中的像素数据的坐标、以及保存在左视野用的图形平面中的像素数据的坐标错移多少像素的像素数。
在想要带来图形平面的影像从画面跃出的效果的情况下,在平面的合成之前将左视野用的图形平面向右侧移位由平面偏移表示的移位量。并且,将右视野的图形平面向左侧移位由平面偏移表示的移位量。在本实施方式中,设在平面偏移的符号是“正的符号”的情况下带来跃出的效果。
在想要带来将图形平面的影像显示在画面的里侧的效果的情况下,在平面的合成之前,将左视野用的图形平面向左移位由平面偏移表示的移位量。并且,将右视野的图形平面向右移位由平面偏移表示的移位量。在本实施方式中,设平面偏移的符号是“负的符号”的情况下带来显示在里侧的效果。
在平面偏移是“0”的情况下,不进行图形平面的移位,即意味着不作为。
图13是表示向右方向移位后的移位左图形平面、向左方向移位后的移位左图形平面的图。
如图13(a)所示,图形平面8的右方向移位后的图形平面在左侧存在透明区域,右侧的端部被切除。同样,交互图形平面10的右方向移位后的图形平面在左侧存在透明区域,右侧的端部被切除。
同样,如图13(b)所示,图形平面8的左方向移位后的图形平面在右侧存在透明区域,左侧的端部被切除。同样,交互图形平面10的左方向移位后的图形平面在右侧存在透明区域,左侧的端部被切除。
图14表示图像平面8的内部结构。在将析像度设定为1920×1080的情况下,如图14(a)所示,图像平面8由横1920×纵1080的8位长的存储元件构成。这意味着能够以1920×1080的析像度保存每1个像素8位的像素代码的存储器分配。存储在存储元件中的8位的像素代码被通过使用颜色查找表的颜色变换变换为Y值、Cr值、Cb值。该颜色查找表中的、像素代码与Y值、Cr值、Cb值的对应关系由字幕数据内的调色板定义字段规定。
图14(b)表示保存在图像平面8中的像素数据。如该图所示,保存在图像平面8中的图形数据由对应于前景部分(构成字幕“I love”的部分)的像素数据、和对应于背景部分的像素数据构成。这里,在对应于背景部分的存储元件中,保存有表示透明色的像素代码,在该部分中,在与视频平面的合成时,可以透过看到视频平面中的运动图像。另一方面,在处于前景部分的存储元件中,保存有表示透明色以外的像素代码,通过该透明色以外的Y、Cr、Cb、α值描绘字幕。在通过合成部15进行的平面合成时,在对应于透明像素的部分中,可以透过看到背景图形平面、视频平面的内容,通过该透明部分的存在,能够进行平面合成。
图15表示进行了右方向的移位、左方向的移位后的、前景区域的像素数据及背景区域的像素数据。图15(a)是移位前的像素数据,图15(b)是右方向的移位后的像素数据。这里,可知如果设移位量是15像素,则字幕文字“I love you”的“y”移动,不再能从画面看到。图15(c)是进行了左方向的移位后的像素数据。这里,可知如果移位量是15像素,则后接于字幕文字“I love”的字幕文字“you”中的“o”的文字呈现。
以上是图像平面8的内部结构、和其移位前后的像素数据的配置的说明。接着,对交互图形平面10的内部结构、和其移位前后的像素数据的配置进行说明。
图16表示交互图形平面10的内部结构。在将析像度设定为1920×1080的情况下,如图16(a)所示,交互图形平面10由横1920×纵1080的32位长的存储元件构成。交互图形平面10具有能够以1920×1080的析像度保存每1个像素32位的R、G、B、α值的存储器分配。存储在存储元件中的32位的R、G、B、α值由8位的R值、8位的G值、8位的R值、8位的透明度α构成。
图16(b)表示保存在交互图形平面10中的像素数据。如本图所示,保存在交互图形平面10中的图形数据由对应于前景部分(表示太阳的日冕的三角形)的像素数据、和对应于背景部分的像素数据构成。这里,在对应于背景部分的存储元件中,保存有表示透明色的R、G、B、α值,在该部分中,在与视频平面的合成中,能够透过看到视频平面中的运动图像。另一方面,在处于前景部分的存储元件中,保存有表示透明色以外的R、G、B、α值,通过该透明色以外的R、G、B、α值描绘图形。
在通过合成部15进行的平面合成时,在对应于透明像素的部分中,能够透过看到背景图形平面、视频平面、图像平面8的内容,通过该透明部分的存在,能够进行平面合成。
以上,结束对进行了右方向的移位、左方向的移位后的前景区域的像素数据及背景区域的像素数据的说明。
图17表示进行了右方向的移位、左方向的移位后的前景区域的像素数据及背景区域的像素数据。图17(a)是移位前的像素数据,图17(b)是右方向的移位后的像素数据。在此情况下,可知表示太阳的日晕的三角形向右方向移动。图17(c)是进行了左方向的移位后的像素数据。可知表示太阳的日晕的三角形向左方向移动。
图18是表示图像平面8中的平面移位的处理顺序的图。
图18(a)表示由图像平面8生成的、左方向移位后的图形平面和右方向移位后的图形平面。
图18(b)表示右方向的移位。如本图所示,向水平方向的右方向的移位方法如以下的(1-1)、(1-2)、(1-3)那样进行。(1-1)将图像平面8的右端区域切除。(1-2)将存在于图像平面8中的像素数据的位置如上述那样向右沿水平方向错移由平面偏移表示的移位量。(1-3)对图像平面8的最左端追加透明区域。
图18(c)表示左方向的移位。如本图所示,向水平方向的左方向的移位方法如以下的(2-1)、(2-2)、(2-3)那样进行。(2-1)将图像平面8的左端区域切除。(2-2)将存在于图像平面8中的像素数据的位置如上述那样向左沿水平方向错移由平面偏移表示的移位量。(2-3)对图像平面8的最右端追加透明区域。
接着,对平面偏移的正负的意义进行说明。
在3D显示模式中、并且图像平面8的立体模式是OFF的情况下,再生装置基于由平面偏移表示的移位量将平面如以下这样处理后进行合成。
在将平面偏移设定了正的符号的情况下,在平面的合成之前,将左视野用的图像平面8向右移位由平面偏移表示的移位量的量。并且,将右视野用的图像平面8向左移位由平面偏移表示的移位量的量。
在将平面偏移设定了负的符号的情况下,在平面的合成之前,将左视野用的图像平面8向左移位由平面偏移表示的移位量的量。并且,将右视野用的图像平面8向右移位由平面偏移表示的移位量的量。
图19是表示交互图形平面10中的平面移位的处理顺序的图。
图19(a)表示由交互图形平面10生成的、左方向移位后的图形平面和右方向移位后的图形平面。
图19(b)表示右方向的移位。如本图所示,向水平方向的右方向的移位方法如以下的(1-1)、(1-2)、(1-3)那样进行。(1-1)将交互图形平面的右端区域切除。(1-2)将存在于交互图形平面中的像素数据的位置如上述那样向右沿水平方向错移由平面偏移表示的移位量。(1-3)对交互图形平面的最左端追加透明区域。
图19(c)表示左方向的移位。如本图所示,向水平方向的左方向的移位方法如以下的(2-1)、(2-2)、(2-3)那样进行。(2-1)将交互图形平面8的左端区域切除。
(2-2)将存在于交互图形平面中的像素数据的位置如上述那样向左沿水平方向错移由平面偏移表示的移位量。(2-3)对交互图形平面的最右端追加透明区域。
对在平面移位时从右端或左端切除的区域、追加到右端或左端的区域的大小进行说明。上述那样的移位中的平面偏移是对应于右眼与左眼的视差的值。这意味着,从图形平面的端部切除的区域、对图形平面的端部追加的透明区域的横像素数必须是对应于平面偏移的像素数。
由此,从图形平面的端部切除的区域的横像素数为对应于平面偏移的移位量的像素数。此外,透明区域的纵像素数为表示图形平面的高度的像素数。
同样,对图形平面的端部追加的透明区域的横像素数为对应于平面偏移的移位量的像素数。该透明区域的纵像素数为表示图形平面的高度的像素数。
以上,结束对图形平面8、交互图形平面10中的平面移位的处理顺序的说明。接着,对平面偏移所具有的符号的正负的意义进行说明。
在3D显示模式中、并且图形平面的立体模式是OFF的情况下,再生装置基于平面偏移将平面如以下这样处理后进行合成。
在将平面偏移设定了正的符号的情况下,在平面的合成之前,将左视野用的图形平面向右移位平面偏移的移位量的量。并且,将右视野的图形平面向左移位平面偏移的移位量的量。
在将平面偏移设定了负的符号的情况下,在平面的合成之前,将左视野用的图形平面向左移位平面偏移的移位量的量。并且,将右视野的图形平面向右移位平面偏移的移位量的量。
图20是表示根据平面偏移的大小、字幕的跃出程度怎样变化的图。
在图20(a)、图20(b)中,近侧表示在右视野输出时使用已移位的移位后的图形平面输出的右视野用的图形图像。里侧表示在左视野输出时使用已移位的移位后的图形平面输出的左视野用的图形图像。
图20(a)表示平面偏移的符号是正(将左视野用的图形图像向右错移、将右视野用的图形图像向左方向错移)的情况。如果平面偏移是正的值,则左视野输出时的字幕看起来在比右视野输出时的字幕靠右的位置。即,由于汇聚点(焦点位置)来到比屏幕靠近侧,所以字幕也看起来在近侧。
图20(b)表示平面偏移的符号是负的情况。如果是负的值,则左视野输出时的字幕看起来在比右视野输出时的字幕靠左的位置。即,由于汇聚点(焦点位置)来到比屏幕靠里侧,所以字幕也看起来在里侧。
以上,结束对通过平面偏移为正和负的切换、字幕变化是比显示画面的位置更跃出还是来到里侧的方法的说明。
图31是用来说明在平面偏移的符号是正(将左视野用的图形图像向右错移、将右视野用的图形图像向左方向错移)的情况下、像看起来处于比显示画面的位置靠近侧的原理的图。
在图中,用圆表示的是显示在显示画面上的像。
首先,在没有偏移的情况下,在右眼中看到的像及在左眼中看到的像都是相同的位置,所以用两眼观看该像时的焦点位置位于显示画面上(图31(a))。
另一方面,在3D显示模式的立体模式是关闭的情况下,左眼中看到的像与偏移为0的情况下相比看起来更靠右侧的位置。此时,在右眼中,通过液晶开闭器眼镜什么都看不到。另一方面,右眼中看到的像与偏移为0的情况下相比看起来更靠左侧的位置。此时,在左眼中,通过液晶开闭器眼镜什么都看不到(图31(b))。
人用两眼合焦而识别出像在该焦点位置上。因而,如果通过液晶开闭器眼镜将在左眼中看到像的状态和在右眼中看到像的状态交替以较短的时间间隔切换,则人的两眼要将焦点位置对在比显示画面靠近侧的位置,结果,好像在位于比显示画面靠近侧的焦点位置处有像那样产生错觉(图31(c))。
图42是用来说明在平面偏移的符号是负(将左视野用的图形图像向左错移、将右视野用的图形图像向右方向错移)的情况下、像看起来处于比显示画面的位置靠里侧的原理的图。
在图42中,用圆表示的是显示在显示画面上的像。首先,在没有偏移的情况下,在右眼中看到的像及在左眼中看到的像都是相同的位置,所以用两眼观看该像时的焦点位置位于显示画面上(图42(a))。
另一方面,在3D显示模式的立体模式是关闭的情况下,左眼中看到的像与偏移为0的情况下相比看起来更靠左侧的位置。此时,在右眼中,通过液晶开闭器眼镜什么都看不到。另一方面,右眼中看到的像与偏移为0的情况下相比看起来更靠右侧的位置。此时,在左眼中,通过液晶开闭器眼镜什么都看不到(图42(b))。
如果通过液晶开闭器眼镜将在左眼中看到像的状态和在右眼中看到像的状态交替以较短的时间间隔切换,则人的两眼要将焦点位置对在比显示画面靠里侧的位置,结果,好像在位于比显示画面靠里侧的焦点位置处有像那样产生错觉(图42(c))。
以上的说明中,对写入在图形平面中的图形图像进行了说明,但如果对交互图形平面、视频平面、背景平面使用上述偏移的概念,则当然也可以说是同样的。
(图形平面的存储元件中的像素数据的移动)
表示通过上述那样的移位,图形平面的存储元件中的像素数据怎样移动。图形数据由1920×1080、1280×720等析像度的像素数据构成。
图21是表示保存在图形平面中的像素数据的图。在本图中,四方框是字长32位或8位的存储元件,0001、0002、0003、0004、07A5、07A6、07A7、07A8、07A9、07AA、07AB的16进制的数值是在MPU的存储器空间中对这些存储元件连续分配的地址。此外,存储元件中的(0,0)、(1,0)、(2,0)、(3,0)、(1916,0)、(1917,0)、(1918,0)、(1919,0)等数值表示在存储元件中保存有哪个坐标的像素数据。
这里,存在于坐标(0,0)中的像素数据保存在地址0001的存储元件中,存在于坐标(1,0)中的像素数据保存在地址0002的存储元件中,存在于坐标(1918,0)中的像素数据保存在地址07A7的存储元件中,存在于坐标(0,1)中的像素数据保存在地址07A9的存储元件中。即,可知以构成图形的多个行成为连续地址的方式保存图形数据。通过这样,通过对被赋予了这些连续地址的存储元件依次进行DMA转发,能够将这些像素数据脉冲性地读出。
图22表示进行了移位后的图形平面的保存内容。
图22(a)表示平面偏移被设定为“3”并向右方向移位后的图形平面。由于平面移位是“3”,所以可知在地址0004的存储元件中存储有图形平面坐标系中的坐标(0,0)的像素数据,在地址0005的存储元件中存储有图形平面坐标系中的坐标(1,0)的像素数据,在地址0006的存储元件中存储有图形平面坐标系中的坐标(2,0)的像素数据。
此外,可知在地址07AC的存储元件中存储有图形平面坐标系中的坐标(0,1)的像素数据,在地址07AD的存储元件中存储有图形平面坐标系中的坐标(1,1)的像素数据,在地址07AE的存储元件中存储有图形平面坐标系中的坐标(2,1)的像素数据。
图22(b)表示平面偏移被设定为“3”并向左方向移位后的图形平面。由于平面移位是“3”,所以可知在地址0001的存储元件中存储有图形平面坐标系中的坐标(3,0)的像素数据,在地址0002的存储元件中存储有图形平面坐标系中的坐标(4,0)的像素数据,在地址0003的存储元件中存储有图形平面坐标系中的坐标(5,0)的像素数据。
此外,可知在地址07A9的存储元件中存储有图形平面坐标系中的坐标(3,1)的像素数据,在地址07AA的存储元件中存储有图形平面坐标系中的坐标(4,1)的像素数据,在地址07AB的存储元件中存储有图形平面坐标系中的坐标(5,1)的像素数据。
以上,可知移位后的图形平面为:图形平面中的各像素数据的坐标从本来的坐标向右方向、左方向偏移了由平面偏移表示的像素数。
通过使配置构成图形数据的各像素数据的存储元件的地址变化规定的地址量,能够实现图形平面的移位。当然,即使实际上不使配置像素数据的存储元件的地址变化,也如果是与其等价的处理,就能够实现图形平面的移位。
以上,结束关于进行了移位后的图形平面的保存内容的说明。
图23是表示BD-J平台部的内部结构的图。如本图所示,BD-J平台由堆存储器31、字节码解译器32、中间件33、类装载器34、应用管理器35构成。
堆存储器31是配置系统应用的字节码、BD-J应用的字节码、系统应用利用的系统参数、BD-J应用利用的应用参数的堆栈区域。
字节码解译器32将保存在堆存储器31中的构成BD-J应用的字节码、构成系统应用的字节码变换为本机码,使MPU执行。
中间件33是用于装入软件的操作系统,由内核、设备驱动器构成。内核根据来自BD-J应用的应用编程接口(API)的调用,对BD-J应用提供再生装置特有的功能。此外,实现通过中断信号启动中断句柄部等的硬件控制。
类装载器34是系统应用之一,通过从存在于JAR档案文件中的类文件中读出字节码并保存到堆存储器31中,进行BD-J应用的装载。
应用管理器35是系统应用之一,基于BD-J对象内的应用管理表,将BD-J应用启动、或将BD-J应用结束等,进行BD-J应用的应用信令。
以上,结束对BD-J平台部的内部结构的说明。
在上述层模型中,显示模式设定初始显示设定部28存在于平台部的低层中,基于对BD-J平台部供给的当前标题的BD-J对象,进行显示模式、析像度的设定。
(显示模式存储部29的内部结构)
显示模式存储部29由于为能够从以上的层模型参照的构造,所以显示模式存储部29为能够通过API参照、并且能够明确背景图形平面11、视频平面6、图像平面8、交互图形平面10的各状态及设定的结构。以下,参照图24对显示模式存储部29的结构进行说明。
图24表示显示模式存储部29的存储内容。
在本图中,显示模式存储部29除了再生装置是2D模式、还是3D模式的显示模式的状态以外,还保存背景平面11的设定、视频平面设定、图像平面8设定、交互图形平面设定。作为各平面的设定项目,保存有“析像度(图中的YY×ZZ)”、立体模式(图中的开启(ON)或关闭(OFF))、THREE_D(3D)的设定(图中的开启(ON)或关闭(OFF))。关于图像平面8设定及交互图形平面10设定,能够将平面偏移在“-63”到“+63”的范围内设定。
对由显示模式存储部29支持的析像度进行说明。
在再生装置是2D显示模式的情况下,作为初始显示设定,背景平面11、视频平面6、图像平面8、交互图形平面10支持1920×1080、1280×720、720×576、720×480像素的析像度。在再生装置是3D显示模式的情况下,背景平面11、图像平面8、交互图形平面也可以除了2D显示模式的析像度以外还支持1920×2160及1280×1440像素的析像度。在此情况下,1920×2160及1280×1440像素的纵横比为16/18的纵横比,将上半部用于左眼用的区域,将下半部用于右眼用区域。
以上,结束关于显示模式存储部29的存储内容的说明。
对各平面的THREE_D设定变化的情况进行说明。
首先,作为发生显示模式的切换的情况下的条件,显示模式存储部29内的各平面设定也需要进行变更。例如,在显示模式被设定为2D显示模式的情况下,需要将各平面的THREE_D设定设为OFF。此外,在显示模式被设定为3D显示模式的情况下,需要将各平面的THREE_D设定设为ON。
对立体模式、将平面偏移复位的情况进行说明。
在标题选择的结果为2D显示模式的情况下,背景、视频平面、图像平面8、交互图形平面的立体模式切换为OFF,将图像平面8、交互图形平面的平面偏移的移位量复位为“0”。
在标题选择前不能判断显示模式的情况下,将标题启动前的显示模式作为2D显示模式处理。
对显示模式的切换为触发事件的情形进行说明。
显示模式存储部29的显示模式有可能通过播放列表切换的情况、或BD-J应用通过方法调用而明示地进行这两种方法切换。
对以播放列表再生为触发事件的、显示模式的切换形式进行说明。
作为根据播放列表再生而显示模式变化的形式,在3D显示模式中将2D播放列表再生的情况下,再生装置将显示模式存储部的显示模式自动地切换为2D显示模式。当发生了显示模式的切换时,BD-J应用对登录的事件收听器产生非同步的事件。
播放列表的再生的中止带来的显示模式的切换不发生。即,在播放列表的再生中止后也必定维持显示模式。
接着,对显示模式设定初始显示设定部28进行的初始显示设定进行说明。
所谓初始显示设定,是指保存在显示模式存储部29中的对析像度等显示设定在“标题启动时”设定的值。
对初始显示设定的影响原因进行说明。
在再生装置作为3D显示功能标志而设定为能够进行3D的显示的情况下,初始显示设定不是仅基于2D专用再生装置时的默认启动播放列表(播放列表)及记载在BD-J对象中的默认设定决定,也受到标题选择前的3D显示模式影响来决定。
对初始显示设定以怎样的设定为基准进行说明。该初始显示设定以默认启动播放列表为基准。
在存在默认启动播放列表的情况下,在再生装置是3D显示模式、并且播放列表是2D播放列表的情况下,再生装置在自动地切换为2D显示模式后,设定与默认启动播放列表的视频一致的2D用的析像度。
在存在默认启动播放列表而对显示模式不造成影响的情况下,从标题选择前的显示模式所支持的析像度之中选择与视频一致的析像度的初始显示设定,并设定析像度。
接着,说明维持析像度、平面偏移的情况。
存在默认启动播放列表的情况下的标题选择的结果是,在为3D显示模式的情况下,后述的立体模式的值在背景平面11、视频平面、图像平面8、交互图形平面中全部维持,平面偏移也维持。
对不存在默认启动播放列表的情况下的设定的基准进行说明。
在不存在默认启动播放列表的情况下,初始显示设定总是遵照写入在对应于所选择的标题的BD-J对象内的默认析像度值。在此情况下,标题启动前的显示模式不受影响。
对立体模式、将平面偏移复位的情况进行说明。
在选择了不存在默认启动播放列表的标题的情况下,构成为,在为3D显示模式的情况下,图像平面8、交互图形平面的立体模式为ON,背景和视频平面的立体模式为OFF。
进而,在发生了从3D显示模式向2D显示模式的切换的情况下,将各平面设定的立体模式设置为OFF,将平面偏移的移位量复位为“0”。
(显示模式的标题间变迁)
如上所述,由于析像度的信息及默认启动播放列表的指定按照对应于标题的BD-J对象而存在,所以如果标题变化,则对应的BD-J对象也变化,所以设定在显示模式存储部29中的显示模式的内容也自己变化。利用图25,对在发生了标题间变迁的情况下、显示模式怎样变迁进行说明。
图25是将发生了标题间变迁的情况下的、显示模式的变迁用表形式表示的图。本图的表将当前标题选择之前的显示模式、所选择的当前标题的默认启动播放列表的种类、记载在BD-J对象中的默认析像度、当前标题中的显示模式与初始显示设定建立了对应。
默认启动播放列表和默认析像度处于排他性的关系,如果在标题内存在默认启动播放列表(即如果是有效的),则显示模式为对应于由默认启动播放列表规定的析像度的模式。如果在标题内不存在默认启动播放列表,(即如果是无效的),则显示模式为对应于由默认启动播放列表规定的析像度的模式。
上半部Cr1表示标题内的默认启动播放列表存在(有效)的情况下的显示模式设定,下半部Cr2表示标题内的默认启动播放列表不存在(无效)的情况下的显示模式设定。
根据上半部的记载内容,如果之前的显示模式是3D、默认启动播放列表是3D播放列表,则进行3D输出,除此以外都设定为2D输出。
根据下半部的记载内容,在之前的显示模式是2D或3D、默认析像度是HD3D_1920×1080、或是HD3D_1280×720的情况下,设定为3D输出。
(显示模式的标题内变迁)
一个标题并不一定由默认启动播放列表等1个播放列表构成,也有许多由多个播放列表构成的情况。并且,在由多个播放列表构成的标题中,当播放列表的再生切换时,有显示模式存储部29中的显示模式的设定切换的情况。以下,参照图26,对在标题内播放列表切换的情况下显示模式怎样变迁进行说明。
图26表示在标题内切换了播放列表的再生的情况下的、显示模式的变迁。本图的表将当前的状态、此后进行的动作、最终的显示模式建立了对应。该表中的赋予了阴影的是最终的显示模式被决定为3D的情况。除此以外将显示模式决定为2D。
在当前的显示模式是3D、没有再生中的播放列表的情况下(例如仅显示交互图形的情况、或者将交互图形及背景数据合成而显示的情况下等),或者如果想要进行的处理是3D播放列表的再生,则将显示模式设定为3D。
在当前的显示模式是2D、没有再生中的播放列表的情况下(例如将仅将交互图形显示或将交互图形及背景数据合成显示等),或者如果想要进行的处理是通过BD-J应用进行的3D显示模式的设定,则将显示模式设定为3D。
在当前的显示模式是2D、3D、没有再生中的播放列表、或是3D播放列表的情况下,如果想要进行的处理是通过BD-J应用进行的3D显示模式的设定,则将显示模式设定为3D。
以上,结束对标题内播放列表的再生切换的情况下的、显示模式的变迁的说明。
以下,对中间件的构成要素进行说明。在图23中,中间件33包括平面控制模组42。
如果通过BD-J应用将显示模式存储部29的背景平面设定的立体模式设定为ON,则进行合成,以在左视野中使用进行了左眼用的描绘的背景平面11,在右视野中使用进行了右眼用的描绘的背景平面11。如果背景平面的设定立体模式被设定为OFF,则保存在背景平面11中的数据在左眼和右眼中为相同。在作为背景平面11而使用纵长的区域的情况下,进行合成,以在左视野中使用上半部的区域、在右视野中使用下半部的区域。另外,在此情况下,如果背景平面11的立体模式被设定为OFF,则通过应用进行的下半部的描绘对显示没有影响。
图像平面8及交互图形平面的立体效果的指定方法根据图像平面设定及交互图形平面设定的立体模式属性来进行。如果通过立体模式属性将立体模式设定为ON,则与背景平面11同样,进行合成,以在左视野中使用进行了左眼用的描绘的图像平面8及交互图形平面,在右视野中使用进行了右眼用的描绘的图像平面8及交互图形平面。如果立体模式被设定为OFF,则保存在图像平面8及交互图形平面中的数据在左眼和右眼中相同。在作为图像平面8及交互图形平面而使用纵长的区域的情况下,进行合成以在左视野中使用上半部的区域、在右视野中使用下半部的区域。另外,在此情况下,如果通过立体模式属性将图像平面8及交互图形平面的立体模式设定为OFF,则通过应用进行的下半部的描绘不给显示带来影响。
平面控制模组42由用于平面控制的库构成,通过从平台部的API调用实现平面控制。
(在显示模式存储部29的设定中使用的API)
以上的显示模式存储部29由于在再生装置的软件层模型中存在于接近于物理层的位置,所以能够通过应用编程接口使该显示模式存储部29的内容变化。以下,参照图27,对通过应用的命令进行的显示模式存储部29的设定进行说明。对由平面控制模组42对应用提供的应用编程接口进行说明。
图27表示在显示模式存储部29的设定中使用的API。
图27(a)表示在平面设定中使用的5个方法,即getConfigTemplate(获得配置样板)、setPreference(设置偏好)方法、getBestConfiguration(获得最佳配置)方法、getCurrentConfiguration(获得当前配置)方法、setCoherentConfigurations(设置相干配置)方法、setConfiguration(设置配置)方法。
对平面状态的取得进行说明。
BD-J应用如果将例如想要取得的平面指定为自变量、调用getConfigTemplate方法,则能够取得表现作为自变量的平面的状态的样板。图27(b)表示能够通过该方法取得的4个样板。这样样板分别表示图24所示的背景平面11的设定、视频平面设定、图像平面8设定、交互图形平面10设定。
在本实施方式中,在背景平面设定、视频平面设定中,公开了不能设定平面偏移那样的结构,但也可以采用能够设定平面偏移那样的结构。这里,为了使说明变得简单,对在背景平面设定、视频平面设定中不能设定平面偏移那样的结构进行说明。
首先,对THREE_D设定进行说明。
构成为,BD-J应用取得与能够从所取得的样板设定的参数有关的信息,如果需要,则只要将能够设定的参数作为自变量调用setPreference方法就能够进行作为自变量的参数的设定。例如,在是能够进行THREE_D的设定的参数的情况下,将其作为自变量调用setPreference方法,将THREE_D设定设定为ON或OFF。此外,setPreference方法对调用的应用返回设定成功还是失败的结果。
在BD-J应用取得现状的显示设定的情况下,使用getCurrentConfiguration。getCurrentConfiguration是用来使BD-J应用取得现状设定在显示模式存储部29中的显示模式及立体模式等的各个平面(背景平面11、视频平面、图像平面8、交互图形平面)的显示设定的API。
此外,getBestConfiguration方法对BD-J应用返回再生装置的各个平面(背景平面11、视频平面、图像平面8、交互图形平面)的最优的设定信息。
此外,setCoherentConfigurations方法如果被从BD-J应用调用,则将对自变量指定的设定共通地设定在各个平面(背景平面11、视频平面、图像平面8、交互图形平面)中。
例如,在想要将各个平面(背景平面11、视频平面、图像平面8、交互图形平面)的THREE_D设定设为ON的情况下,如果以作为自变量而将THREE_D设定设为ON的信息设为自变量调用setCoherentConfigurations方法,则能够将各个平面(背景平面11、视频平面、图像平面8、交互图形平面)的THREE_D设定设为ON。
此外,如果作为自变量而指定析像度并调用setCoherentConfigurations方法,则能够使各个平面(背景平面11、视频平面、图像平面8、交互图形平面)的析像度相同。
对setCoherentConfigurations方法作为自变量分别指定THREE_D设定或析像度而调用的结构进行了说明,但也可以将多个参数一次指定为自变量而调用。
相对于setCoherentConfigurations方法能够一次设定各平面的设定,setConfiguration方法是用来仅变更对自变量中指定的平面的设定的。
对设置设定进行说明。
如果使用由setPreference方法变更后的样板,通过getBestConfiguration方法将配置作为自变量,调用setConfiguration方法,或者调用setCoherentConfigurations方法,则将该配置反映到显示模式存储部29中。
对显示模式的变化在怎样的情况下发生进行说明。
在通过BD-J应用改变显示模式的情况下,通过getCurrentConfiguration方法进行。但是,作为限制事项,在2D播放列表的再生中,不能通过BD-J应用变更显示模式。
对模式切换的失败在怎样的情况下发生进行说明。
通过BD-J应用进行的显示模式切换请求在以下的情况下失败。
1、在setCoherentConfigurations方法调用时设定的各平面中混合存在THREE_D设定的ON和OFF时。
2、在2D播放列表的再生中BD-J应用要设定使THREE_D设定为ON的显示设定的情况。
3、在使立体模式为ON的状态下将THREE_D设定设为OFF的情况。
在以上的1~3的情况下,getBestConfiguration方法失败。
进而,也可以构成为,BD-J应用的显示模式切换请求请求了3D显示模式而从与再生装置连接的显示设备取得其是否对应于3D的信息,如果判断为该显示设备不对应于3D,则对请求3D显示模式的BD-J应用返回不能进行该请求(即用来执行该请求的处理失败)。
以上,结束对在显示模式存储部29的设定中使用的API的说明。
(平面偏移的设定)
平面移位引擎19进行平面移位时的移位量需要基于用于立体视的某些参数来计算。为了该移位量的计算,优选在参数中采用装入到MVC(MultiView Codec)视频流中的立体视用的平面偏移。但是,并不限于此,更为优选内容提供商能够事先将通过BD-ROM对再生装置供给的各种信息要素对平面移位引擎19供给。
参照图28,对平面偏移的设定处理进行说明。
图28表示关于平面偏移设定的部分的结构。偏移设定部20的写入控制部具有将平面移位引擎19在平面移位中使用的平面移位值更新的作用。在通过偏移设定部20的写入控制部进行的平面移位引擎19的平面偏移值的写入中,有以下的(AA)~(FF)的变形。
(AA)BD-J应用能够通过setOffsetValue(设置偏移值)的方法调用,将显示模式存储部29内的平面设定的平面偏移更新。
上述平面偏移能够由BD-J应用通过getOffsetValue(获得偏移值)方法取得。
在BD-J应用调用API而装入平面偏移的情况下,虽然自由度较高,但实时性变差。在平面移位引擎利用由BD-J应用指定的偏移的情况下,偏移设定部20的写入控制部将显示模式存储部29的偏移值写入到平面移位引擎19的平面偏移值中。平面移位引擎进行的向水平方向的移位根据平面偏移值而在合成时自动地进行。
对设定的时间进行说明。
变更图像平面8及交互图形平面10的进深的API如果是应用启动后,则任何时候都能够从启动的应用调用,除此以外,例如也有可能在视频的停止中被调用。但是,通过控制将显示模式存储部29内的平面偏移保存到平面移位引擎19中的定时,能够保障图形平面的错移幅度必定同步。
具体而言,不是在BD-J应用调用setOffset()的定时将平面移位引擎19的平面偏移值更新,而在1帧的左视野和右视野两者的输出完成的时刻确认显示模式存储部29内的平面偏移是否被更新,随之将平面移位引擎19的偏移值更新。通过这样,能够保障图形平面的错移幅度必定同步。在左视野及右视野的错移幅度不同步的情况下,成为内容制作者不希望的显示,当然会给视听者带来不愉快的输出影像。
(BB)在装载了BD-ROM时、或者在装载BD-ROM或构建了虚拟包时,从保存在从BD-ROM或虚拟包确定的META目录中的元文件(ZZZZZ.xml)读出平面偏移,将平面移位引擎19的平面偏移值更新。
(CC)当开始MVC视频流的读出及解码时,将装入在构成MVC视频流的各PES包的头区域中的平面偏移更新为平面移位引擎19的平面偏移值。优选的是,在1帧的左视野和右视野两者的输出完成的时刻,将与当前处理中的帧对应的偏移更新为平面移位引擎19的平面偏移值。
在将平面偏移装入到MVC视频流中的情况下,由于能够从流随意地错移,所以实时性较高,但编辑时的工作量较大。
(DD)当开始传输流的读出及解码时,将装入在传输流包的头区域中的平面偏移更新为平面移位引擎19的平面偏移值。优选的是,在1帧的左视野和右视野两者的输出完成的时刻,将与当前处理中的帧对应的偏移更新为平面移位引擎19的平面偏移值。
在装入到流内的情况下,能够从流随意地错移,所以实时性较高,但编辑时的工作量较大。
(EE)当决定当前播放列表并装载了播放列表信息时,将该播放列表信息的平面偏移设定为平面移位引擎19的平面偏移值。在使用播放列表信息的情况下,编辑中的自由度较高,但与将偏移嵌入到流中的情况相比,不太能够缩短从一次设定偏移到再次更新偏移为止的偏移更新的时间间隔,实时性稍差。
(FF)UO检测模组26在通过遥控器或设备上附带的按钮等的操作而接受到变更图像平面8及交互图形平面的进深的水平的用户操作的情况下,即在受理了进深感为“远”、“普通”、“近”等的3个水平的情况下,或在如进深感为“几cm”、“几mm”那样、通过数值输入而受理了进深感的水平的情况下,能够使用它将平面移位引擎19的平面偏移值更新。通过该更新,能够根据遥控器上的右箭头键的按下而增大平面偏移、或根据左箭头键而减小平面偏移。通过这样,能够根据右箭头键、左箭头键的按下次数而使图形看起来在近侧、或看起来在里侧,操作性提高。
图像平面8及交互图形平面10的移位量能够经过以上的过程通过基于平面移位引擎19的平面偏移值进行计算处理来得到。基于相对于图像平面8及交互图形平面10的移位量由像素数定义,而平面偏移由与像素数不同的单位系统定义的情况较多,因此需要计算处理。
在将平面偏移装入到MVC视频流内的情况下,平面移位引擎19在对1帧的左视野用的输出和右视野用的输出完成的时刻,通过上述偏移设定部20a基于保存在平面移位引擎19内的平面偏移的移位量计算图形平面的移位量。这是因为,在平面偏移保存在MVC视频流中的情况下,也可能有平面偏移按照帧而变化的情况。
以上是对偏移设定部20设定平面偏移的各种情况的说明。接着,对通过用户操作或应用提供的值进行说明。
从用户操作或应用提供的值也有不是移位量本身、而给出例如相对于现状中设定在平面移位引擎19中的值的调整值的情况。在此情况下,执行平面偏移计算。例如,如果将右箭头键按下3次、或输入数值键的“3”的值,则对设定在装置内的平面偏移加上该值,平面移位引擎19基于相加后的值计算平面偏移。可以考虑,如果是“+”的值则例如将错移幅度进一步缩小、看起来在里侧,如果是“-”的值则例如将错移幅度增加、看起来更靠近侧。
接着,对进深的变更进行说明。
如上所述,在将字幕、GUI等的图形沿横轴移位时,通过变更字幕、GUI等的图形的横轴的错移幅度来变更进深。例如,越是使左视野字幕和右视野字幕向一定方向接近靠近,越在接近于画面的地方进行显示,越是向反方向离开,越能够得到从画面离开的视觉效果。但是,平面偏移与跃出程度的相关性受电视机的英寸数、3D眼镜的液晶的特性影响的地方较大,所以在该视觉效果的实现时,预先在终端内设定系数,将对平面偏移乘以该系数后的值用于移位。通过这样乘以系数,能够基于电视机及再生装置、3D眼镜的特性调节立体视影像的跃出程度。
这里,说明怎样进行错移的“错移方法的变形”。
在向左方向错移的情况下,将其内容保存到图像平面8及交互图形平面中,在右视野的再生时,也能够实现将图形平面向反方向错移本来的2倍的量的变形。在此情况下,可以不进行两次图形解码。
以上是关于再生装置的内部结构的说明。
(显示模式设定初始显示设定部28的安装)
对显示模式设定初始显示设定部28的安装进行说明。在选择一个标题、对应于该标题的BD-J对象在再生装置中为有效的期间中,也有通过动作中的应用根据用户操作而调用JMF播放器例程从而开始新的播放列表的再生的情况。如果这样开始新的播放列表的再生,则需要在标题内重新设定显示模式。
作为显示模式设定初始显示设定部28的功能,必须支持标题变化时的标题间显示模式设定、在标题内播放列表变化时的显示模式设定、和应用明示地调用并设定API的情况下的显示模式设定,具体而言,能够通过制作使MPU执行以下的图29、图30的处理顺序那样的程序来装入到再生装置中而安装。
图29是表示标题切换时的显示模式设定的处理顺序的流程图。本流程图根据步骤S21、步骤S22、步骤S23、步骤S26的判断结果,选择性地执行步骤S24、步骤S25、步骤S27的处理。
步骤S21是是否存在默认启动播放列表的判断,步骤S22是之前的显示模式是否是3D的判断。步骤S23是所选择的标题的默认启动播放列表是否是1920×1080的3D播放列表或1280×720的3D播放列表的判断。
在不存在默认启动播放列表的情况下,在步骤S26中判断BD-J应用的默认析像度是否是HD3D_1920×1080、HD3D_1280×720,如果为是,则在步骤S25中,将显示模式设定为3D,根据BD-J对象中的默认析像度设定为1920×1080、或1280×720。如果为否,则在步骤S27中将显示模式设定为2D,将析像度设定为BD-J对象中的默认析像度。
在不存在默认启动播放列表的情况下,在步骤S22中判断之前的显示模式是否是2D、或者在步骤S23中判断是否播放列表是3D、其析像度是1920×1080、1280×720。如果步骤S22、步骤S23的某个为否,则在步骤S24中将显示模式设定为2D,将析像度设定为默认启动播放列表的析像度。
在步骤S22中判断为是、步骤S23也判断为是的情况下,在步骤S25中,将显示模式设定为3D,将析像度根据默认启动播放列表的析像度而设定为1920×1080、或1280×720。
以上,结束对标题间显示模式设定的处理顺序的说明。
图30是表示标题内显示模式设定的处理顺序的流程图。本流程图是将步骤S31、步骤S32的两个步骤串联连接的。首先,标题内显示模式设定从播放列表的再生请求开始。在受理了播放列表再生请求的时刻,步骤S31进行当前的状态是否是3D的判断,如果是2D,则在步骤S34中将显示模式设定为2D。步骤S32判断有再生请求的播放列表是否是3D播放列表,如果是3D播放列表,则转移到步骤S33,将显示模式设为3D,如果是2D播放列表,则转移到步骤S34,将显示模式设为2D。
以上,结束对标题内显示模式设定的处理顺序的说明。
(再生控制引擎14的安装)
再生控制引擎14是在因某种原因而选择了当前播放列表时进行该播放列表的再生的单元,具体而言,必须实现将对应于当前播放列表的播放列表信息读出到静态脚本存储器13中并将由该播放列表信息的播放项目信息参照的3D流、2D流提供给再生的处理,具体而言,需要制作执行图32、图33的处理顺序那样的程序而装入到再生装置中并使MPU执行。
图32是表示BD-J模式下的播放列表再生的主要的顺序的流程图。
步骤S40是是否通过与所选择的标题相关联的BD-J对象所表示的默认启动播放列表的设定或JMF播放器例程的生成来设定了当前播放列表号码的判断,如果设定了,则在步骤S41中,将由当前播放列表号码指示的播放列表信息文件装载到脚本存储器中,在步骤S42中,如果在播放列表信息中存在平面偏移,则偏移设定部20设定为平面移位引擎19的平面偏移值。并且,在步骤S43中进行标题内显示模式设定。
在步骤S44中,将装载的播放列表信息中的最初的播放项目号码设定为当前播放项目号码。在步骤S45中,从在当前播放列表信息中许可了再生的PES流中选择当前流。
在步骤S46中,基于播放项目信息决定使用哪个流号码。
在步骤S47中,由步骤S43判断出的显示模式进行是2D还是3D的判断。如果是3D,则在步骤S49中执行3D显示模式时的3D视频流的再生。如果是2D,则转移到步骤S48。
步骤S48是由当前流号码指示的视频流及字幕流是2D还是3D的判断。在步骤S48中判断为2D的情况下,在步骤S51中执行2D显示模式下的2DAV流的再生。在判断为3D的情况下,在步骤S50中执行2D显示模式的3D视频流的再生。最后,在到达图32的“结束”的时刻,进行播放列表的再生开始。
图33是表示基于播放列表信息的再生顺序的流程图。
在步骤S60中,将装入在视频流中的平面偏移设定在平面移位引擎19中,在步骤S61中,使用对应于基础视野流的包ID的条目映射表,将当前PlayItem.In_Time及当前PlayItem.Out_Time变换为Start_SPN[i]及End_SPN[i]。
将使用对应于扩展视野流的包ID[j]的条目映射表[j]确定的SubPlayItemIn_Time、SubPlayItem_Out_Time变换为Start_SPN[j]、End_SPN[j])(步骤S62)。
确定属于用来将包ID[i]的TS包[i]从Start_SPN[i]到End_SPN[i]读出的读出范围[i]的区段(步骤S63),确定属于用来将包ID[j]的TS包[j]从Start_SPN[j]到End_SPN[j]读出的读出范围的区段(步骤S64)。并且,在步骤S65中将属于读出范围[i]、[j]的区段以地址的升序排序,在步骤S66中对驱动器指示,以使其使用排序后的地址将属于读出范围[i]、[j]的区段连续地读出。
以上,结束对再生控制引擎14的说明。
(平面移位引擎19的安装)
平面移位引擎19实现以下处理:每当视频帧的显示期间的到来时,从图像平面8、交互图形平面10中读出图形数据并提供给与在其显示期间中应再生的图片数据(有时称做视频帧)的合成。这里,作为平面移位引擎19应支持的处理,有图像平面8为读出目标的情况下的读出及合成处理、交互图形平面10为读出目标的情况下的读出及合成处理。进而,在立体模式是ON的情况、和立体模式是OFF的情况下,必须改变处理内容,在左视野和右视野中必须改变处理内容。因此,在平面移位引擎19的安装中,需要制作根据再生装置的显示模式设定执行图34到图35的处理顺序那样的程序而装入到再生装置中并使MPU执行。
(3D显示模式时的3D视频流的处理顺序)
在当前的显示模式是3D显示模式、再生对象是3D播放列表及3D流的情况下,执行图34~图35的处理顺序。
图34~图35是表示3D显示模式时的3D流处理的流程图。
这些流程图为重复步骤S701~步骤S809的处理的循环构造。本流程图的结束条件是在步骤S809中判断为不存在下一个帧。图34中的步骤S701~步骤S707是左视野用的处理,图35中的步骤S801~步骤809是右视野用的处理。首先,在步骤S701中,合成部15取得写入在用于左视野的左视野背景平面中的背景数据。在左视野背景平面中,保存有通过BD-J应用的描绘命令经由静止图像解码器27b描绘的背景数据。
接着,将左视野用的视频流使用视频解码器5a解码,写入到视频平面6(图5的赋予了(L)的平面)中之后,合成部15取得写入在视频平面中的左视野用的视频数据(步骤S702)。
并且,在步骤S703中,合成部15确认处于显示模式存储部29中的、图像平面设定的立体模式的标志。在立体模式是OFF的情况下,将由图像解码器7a解码后的左视野图像写入到图像平面8(符号(L))中之后,通过平面移位引擎19实施左眼用的移位处理(步骤S704a)。
在立体模式是ON的情况下,将图像解码器7a解码后的左视野图像写入到图像平面8(赋予了符号(L)的平面)中,但对于写入在图像平面8(赋予了符号(L)的平面)中的左视野图像不实施左眼用的移位处理。这是因为,在立体模式是ON的情况下,与左视野图像看到的角度不同的右视野图像被写入到图像平面(赋予了符号(R)的平面)中(步骤S704b)。
在由步骤S704a或步骤S704b赋予了图像平面8的符号(L)的平面中,保存有作为保存在图像存储器7中的左眼用的图像数据且由图形解码器8解码后的数据。
接着,在步骤S705中,合成部15确认处于显示模式存储部29中的、交互图形平面设定的立体模式的标志。在立体模式是OFF的情况下,BD-J应用利用绘制引擎21,将左视野用交互图形写入到左眼用平面(在图5的交互图形平面10中、赋予了符号(L)的平面)中,从左眼用平面(在图5的交互图形平面10中、赋予了符号(L)的平面)取得左视野用交互图形,对所取得的左视野用交互图形,平面移位引擎19实施左眼用的移位处理(步骤S706a)。
在立体模式是ON的情况下,BD-J应用利用绘制引擎21,将左视野用交互图形写入到左眼用平面(在图5的交互图形平面10中、赋予了符号(L)的平面)中。然后,为了显示而从左眼用平面(在图5的交互图形平面10中、赋予了符号(L)的平面)取得左视野用交互图形,但对于左视野用交互图形不实施左眼用的移位处理(步骤S706b)。
在由步骤S706a、步骤S706b取得了左视野交互图形的左视野交互图形平面中,保存有在BD-J模式时基于BD-J应用的描绘命令通过绘制引擎21描绘的数据。
此外,在HDMV模式时,在左视野交互图形平面中,保存有从字幕流以外的图形流中提取的图形数据的解码结果。
在步骤S707中,将步骤S701的写入在背景平面11的赋予了(L)的符号的平面中的背景数据、步骤S702的写入在视频平面的赋予了(L)的符号的平面中的视频数据、步骤S704的写入在图像平面的赋予了(L)的符号的平面中的字幕数据、步骤706的写入在交互图形平面的赋予了(L)的符号的平面中的GUI数据依次合成,作为左视野而向显示器输出。在此情况下,在S703、S705中,在立体模式是OFF的情况下,在对应的平面中实施了移位处理的数据为合成的对象。并且,在显示器的输出的定时,将左右处理存储部的标志转换。另外,S701~S707的各处理实施了左眼用的处理,但当前的处理是否是左眼用的处理通过参照左右处理存储部来判断。
接着,在完成S701~S707的左眼用的处理后,进行右眼用的处理。图35是用来说明右眼用的处理的流程。在步骤S801中,合成部15确认处于显示模式存储部29中的、背景平面设定的立体模式的标志。在立体模式是OFF的情况下,将左视野用的背景数据写入到背景平面11的赋予了(R)的平面中,从背景平面11的赋予了(R)的平面取得背景数据(步骤S802a)。在立体模式是ON的情况下,将右视野用的背景数据写入到背景平面11的赋予了(R)的平面中,从背景平面11的赋予了(R)的平面取得背景数据(步骤S802b)。
接着,在步骤S803中,合成部15确认处于显示模式存储部29中的、视频平面设定的立体模式的标志。在立体模式是OFF的情况下,将左视野用的视频流使用视频解码器5a解码,写入到视频平面6(图5的赋予了(R)的平面)中之后,合成部15从上述视频平面6(图5的赋予了(R)的平面)取得左视野用的视频数据(步骤S804a)。在立体模式是ON的情况下,将右视野用的视频流使用视频解码器5b解码,写入到视频平面6(图5的赋予了(R)的平面)中之后,合成部15从上述视频平面6(图5的赋予了(R)的平面)取得右视野用的视频数据(步骤S804b)。
接着,在步骤S805中,合成部15确认处于显示模式存储部29中的、图像平面设定的立体模式的标志。在立体模式是OFF的情况下,将图像解码器7a解码后的左视野影像写入到图像平面8(赋予了符号(R)的平面)中。然后,对写入在视频平面8的赋予了符号(R)的平面中的左视野图像,平面移位引擎19实施右眼用的移位处理(步骤S806a)。在立体模式是ON的情况下,将图像解码器7b解码后的右视野图像写入到图像平面8(赋予了符号(R)的平面)中,但不实施移位处理(步骤S806b)。
在由步骤S806a、步骤S806b中取得的图像平面中,保存作为保存在图像存储器7中的字幕数据且由图像解码器7(图5的图像解码器7a或7b)解码后的数据。
接着,在步骤S807中,合成部15确认处于显示模式存储部29中的、交互图形平面设定的立体模式的标志。在立体模式是OFF的情况下,BD-J应用利用绘制引擎21,将左视野用交互图形写入到右眼用平面(在图5的交互图形平面10中、赋予了符号(R)的平面)中。并且,对写入在右眼用平面(在图5的交互图形平面10中、赋予了符号(R)的平面)中的左视野用交互图形,平面移位引擎19实施右眼用的移位处理(步骤S808a)。
在立体模式是ON的情况下,BD-J应用利用绘制引擎21,将右视野用交互图形写入到右眼用平面(在图5的交互图形平面10中、赋予了符号(R)的平面)中,但平面移位引擎19对写入在右眼用平面(在图5的交互图形平面10中、赋予了符号(R)的平面)中的右视野用交互图形不实施移位处理(步骤S808b)。
在步骤S809中,将步骤S802的写入在背景平面11(赋予了符号(R)的平面)中的背景数据、步骤S804的写入在视频平面6(赋予了符号(R)的平面)中的视频数据、步骤S806的写入在图像平面8(赋予了符号(R)的平面)中的图像数据、步骤S808的写入在交互图形平面中的GUI数据依次合成。在此情况下,在S805、S807中,在立体模式是关闭的情况下,在对应的平面中被移位处理后的数据成为合成的对象。并且,将合成结果作为右视野向显示器输出。并且,在显示器的输出的定时,将左右处理存储部的标志转换。另外,S801~S809的各处理实施了右眼用的处理,但当前的处理是否是右眼用的处理的判断通过参照左右处理存储部来进行。
只要帧输入继续,就重复以上的处理(步骤S810)。
另外,在终端从AV流的头区域取得偏移的方法、并且进行了按每帧更新的安装的情况下,需要在步骤S810的时刻通过偏移设定部20将平面移位引擎19的偏移值更新为与下个帧对应的值。
以上,结束对3D显示模式时的3D流处理的说明。
(2D显示模式时的处理顺序)
在2D显示模式时,作为再生对象的AV流既可以使用构成3D流的左视野用的流及右视野用的流中的一个,也可以使用2D流。这里,说明使用2D流的例子。在当前的显示模式是2D显示模式的情况下,执行图36的处理顺序。
图36(a)是表示2D显示模式时的2D流处理的流程图。
首先,在步骤S901中,合成部15取得写入在背景平面11中的背景数据。接着,视频解码器5a将2D视频流解码,将解码后的视频数据写入到视频平面6(赋予了符号(L)的平面)中,合成部15取得该视频数据(步骤S902)。
接着,在步骤S903中,图像解码器7a将2D字幕流解码,将解码后的图像数据写入到图像平面8(赋予了符号(L)的平面)中,合成部15取得该图像数据。
接着,在步骤S904中,BD-J应用利用绘制引擎21,将2D图形写入到左眼用平面(在图5的交互图形平面10中、赋予了符号(L)的平面)中,合成部15从交互图形平面10(赋予了符号(L)的平面)取得交互图形数据。
在步骤S905中,将在步骤S901的背景平面、步骤S902的视频平面、步骤S903的图像平面、步骤S904的交互图形平面各自中保存的数据依次合成,向显示器输出。只要帧输入继续,就向步骤S901的处理返回(步骤S810)。
图36(b)是在2D显示模式时、表示使用构成3D流的左视野用的流及右视野用的流中的其一(在该例中是左视野用的流)进行2D显示处理的流程图。
本图基于图34制作,对于与该作为基础的流程图相同的步骤赋予相同的标号。处理的概况也大致相同,简单地进行说明。首先,在步骤S701中,合成部从背景平面(由符号(L)表示的平面)取得背景数据。
接着,将由视频解码器5a解码后的左视野用的视频数据写入到视频平面6(赋予了符号(L)的平面)中,合成部从视频平面6(赋予了符号(L)的平面)取得左视野用的视频数据(步骤S702)。
接着,在步骤S704b中,将由图像解码器7a解码后的左视野用的图像数据写入到图像平面8(赋予了符号(L)的平面)中,合成部15从图像平面8(赋予了符号(L)的平面)取得图像数据。
接着,在步骤S706b中,BD-J应用利用绘制引擎21,将左视野用交互图形写入到左眼用平面(在图5的交互图形平面10中、赋予了符号(L)的平面)中,从交互图形平面10(赋予了符号(L)的平面)取得左视野用交互图形。
在步骤S707中,将在步骤S701的背景平面、步骤S702的视频平面、步骤S704的图像平面、步骤S706的交互图形平面中保存的数据依次合成,向显示器输出。只要帧输入继续,就向S701的处理返回(步骤S810)。
以上,对2D显示模式时的处理顺序结束说明。
(BD-J应用进行的偏移更新的处理顺序)
这里,对作为BD-J应用进行的进深变更的触发事件的事项进行说明。
参照图37,对由BD-J模组15启动的应用调用变更图像平面8或交互图形平面的进深的API的情况下的处理进行说明。
图37是表示BD-J应用进行的偏移更新命令发出时的处理顺序的流程图。为对图34~图35所示的3D显示模式时的3D流显示处理的步骤S701~步骤S810追加了步骤S1001、步骤S1002、步骤S1003的形式。
受理了变更图形平面的进深的API的调用的BD-J模组15基于在步骤S1001中通过输入受理的平面偏移,将作为显示模式存储部29的对象的平面的平面偏移更新。
在此时作为对象的平面是图像平面的情况下,将图像平面设定的平面偏移更新,在交互图形平面的情况下,将交互图形平面设定的平面偏移更新。
另一方面,在步骤S1002中,确认显示模式存储部29的图像平面设定、或者交互图形平面设定的平面偏移是否被更新。在步骤S1002中平面偏移被更新的情况下(步骤S1002:是),将平面移位引擎19的平面偏移值更新(步骤S103)。另外,在步骤S1003中被更新的对象是图像平面设定的情况下将平面移位引擎19的图像平面的平面偏移值更新,在是交互图形平面设定的情况下将平面移位引擎19的交互图形平面的平面偏移值更新。在平面偏移没有被更新的情况下(步骤S1002:否),不实施步骤S1003,再开始步骤S701的处理。
以上,根据本实施方式,通过使图形平面中的像素数据的坐标移动(例如与显示画面沿水平方向移动),能够调节使字幕图形看起来向近侧靠近多少、或使字幕图形看起来向画面里侧退远多少。
进而,即使在因为不从记录媒体供给右视野图形(右视野交互图形)、左视野图形(左视野交互图形)(即仅供给2D图形、2D交互图形),本来只能使字幕图形显示在显示画面上而但嵌入到立体视视频中那样的情况下,也构成为当立体模式为关闭时保存到对应于该2D图形(2D交互图形)的平面(用符号(L)、(R)赋予的平面)中,并且通过调整偏移,能够将字幕、GUI显示在与使用左视野用的视频的数据及右视野用的视频的数据看起来如立体地跃出那样的空间不干涉的位置(例如看起来比3D视频的空间靠近侧的位置)上。因此,能够尽量不损害视频的立体显示而将字幕、GUI合成显示,由此能够调整立体视影像的样式。由于通过该调节来调节字幕图形的进深,所以不需要为了立体视再生而准备左视野图形、右视野图形。由此,即使在将限制了容量的BD-ROM作为供给媒体的情况下,也能够使用户实现适当的立体视再生。
在编辑工作室中,也能够将用于立体视再生的右视野图形、左视野图形的制作的其一省略,能够减少电影作品的制作工序数。
(第2实施方式)
在第1实施方式中,通过将平面存储器中的存储元件的内容移位而实现平面移位,但在本实施方式中,关于在将保存在平面存储器中的像素数据以行单位读出到合成部15中时实现该平面移位的改进。这里,将具有1920×1080、1280×720的析像度的像素数据的集合体中的一行、即横1920像素的集合或横1280的集合称作行数据。并且,合成部15对从视频平面、背景平面11、图像平面8、交互图形平面10中分别读出的行数据执行合成。
图39是表示合成部15的结构的图。如本图所示,合成部15由行存储器50~54、α1乘法部54、(1-α1)乘法部55、混合部56、(1-α2)乘法部57、缩放器58、α2乘法部59、混合部60、缩放器61、α3乘法部62、(1-α3)乘法部63、混合部64构成。
行存储器50保存从交互图形平面10读出的行数据。
行存储器51保存从图像平面8读出的行数据。
行存储器52保存从视频平面读出的行数据。
行存储器53保存从背景平面11读出的行数据。
α1乘法部54对构成读出到行存储器51中的图片的行数据的亮度乘以透过率α1。
(1-α1)乘法部55对构成读出到行存储器53中的图形数据的行数据的亮度乘以透过率(1-α1)。
混合部56将由α1乘法部54按照像素乘以透过率α1后的行数据、和由(1-α1)乘法部55按照像素乘以透过率(1-α1)后的行数据合成。
(1-α2)乘法部57对混合部56的输出乘以透过率(1-α2)。
缩放器58将读出到行存储器52中的行数据放大。
α2乘法部59对由缩放器58进行了放大后的构成图片的行数据的亮度乘以透过率α2。
混合部60将乘以透过率α2后的行数据、与由(1-α2)乘法部57按照像素乘以透过率(1-α2)后的行数据混合。
缩放器61将读出到行存储器50中的行数据放大。
α3乘法部62对读出到行存储器50中、由缩放器61进行了放大后的构成图形的行数据的亮度乘以透过率α3。
(1-α3)乘法部63对作为混合部60的输出结果的行数据的亮度乘以透过率(1-α3)。
混合部64将乘以透过率α3后的行数据、与由(1-α3)乘法部63按照像素乘以透过率(1-α3)后的行数据混合。
以上,结束对合成部15的结构的说明。
在第1实施方式中叙述的平面移位引擎19实现从背景平面、视频平面、图像平面8、交互图形平面10中的存储元件读出行单位的像素数据并分别保存到行存储器50~54中的转发处理。在该转发处理时,通过使行存储器50~54中的、作为像素数据的转发目标的地址变化,实现与第1实施方式所示那样的存储元件内的像素数据的坐标移动等价的处理。
图40表示按照行数据执行右方向的平面移位的过程。图40(a)是存在于图形平面中的第y行的像素数据,图40(b)表示读出到行存储器中的、y行的像素数据。如本图所示,可知如果平面偏移是F像素,则将第y行像素数据中的(F+1,y)到(1919,0)保存。这样,可知在右端存在F像素量的空白。
图40(c)表示透明像素数据的追加。可知在F像素量的空白处追加了透明像素数据。
图41表示按照行数据执行左方向的平面移位的过程。图41(a)是存在于图形平面中的第y行的像素数据,图41(b)表示读出到行存储器中的像素数据。如本图所示,可知如果平面偏移是F像素,则将第y行像素数据中的(0,y)到(1919-F,0)保存。并且,可知在左端存在F像素量的空白。
图41(c)表示向左端的透明像素数据的追加。可知在F像素量的空白处追加了透明像素数据。
以上,结束对按照行数据执行平面移位的过程的说明。
按照行数据执行平面移位的平面移位引擎19能够通过制作使MPU执行图42的流程图的处理顺序那样的程序并装入到再生装置中来安装。以下,对通过软件进行的平面移位引擎19的安装进行说明。
图42是表示向行存储器的读出的处理顺序的流程图。
步骤S111~步骤S115为在步骤S111中对变量i设定0之后、重复步骤S112~步骤S115的处理的循环构造。本循环的结束条件是变量i为行数-1,只要在该步骤S114中判断为否,就将变量i增加,重复步骤S112~115的处理。在步骤S112中,将图形平面中的(X0,Yi)到(Xn-平面偏移-1,Yi)的像素数据读出,写入到行存储器中的(X0+平面偏移)到(Xn)中。在步骤S113中,将透明像素数据写入到行存储器中的X0到(X0+平面偏移-1)中。
步骤S121到步骤S125为在步骤S121中对变量i设定0之后、重复步骤S122~步骤S125的处理的循环构造。本循环的结束条件是在步骤S124中变量i为行数-1,只要在该步骤S124中判断为否,就将变量i增加,重复步骤S122~115的处理。在步骤S122中,将图形平面中的(X0+平面偏移,Yi)到(Xn,Yi)的像素数据读出,写入到行存储器中的(X0)到(Xn-平面偏移-1)中。在步骤S113中,将透明像素数据写入到行存储器中的X0到(X0+平面偏移-1)中。
以上,结束对按照行数据执行左方向的平面移位的过程的说明。
以上,根据本实施方式,在将图形平面中的像素数据按照行读出时,在行存储器中实现右方向的移位、左方向的移位,所以能够减小对图形平面的存储器访问的频度。
(备注)
以上,对在本申请的申请时刻申请人能够知道的最好的实施方式进行了说明,但关于以下所示的技术课题能够加以进一步的改良或变更实施。应注意的是,是否按照各实施方式所示那样实施、是否实施这些改良、变更都是任意的,取决于实施的人的主观。
(作为记录装置的实施)
再生装置200为具备包括内置媒体驱动器、可移除媒体的本地存储设备并设想了向它们的写入的结构,所以在本说明书中记载的再生装置可以说兼具备作为记录装置的功能。在再生装置200作为记录装置发挥功能的情况下,通过以下两种形态执行管理对象的写入。
i)在再生装置200具有将虚拟包再生的功能的情况下,如以下这样进行BD-J对象的写入。即,在装填了BD-ROM时,按照来自应用的请求,经由网络从WWW服务器取得对应于上述BD-ROM的追加内容。所取得的追加内容包括记述有GUI管理表的BD-J对象。在再生装置200中,进行记录控制的控制部按照来自上述应用的请求,将所取得的BD-J对象写入到本地存储设备中。通过这样,通过将记录在BD-ROM中的内容、与记录在上述本地存储设备中的追加内容组合,能够构建上述虚拟包。
这里,在上述BD-ROM中,记录有盘根证书的识别符、发行BD-ROM内容的组织的识别符、BD-ROM的识别符,应保存追加内容的区域由包括盘根证书识别符、组织识别符、和BD-ROM识别符的文件路径确定。
上述应用通过将确定应保存追加内容的区域的文件路径交给控制部来进行写入。
在上述本地存储设备具有目录名及文件名被限制在255字符以下的文件系统的情况下,在向上述本地存储设备的写入中使用的文件路径包括8字符以下的目录名及文件名、并且扩展名为3字符以下的8.3形式的文件系统的文件名和扩展名的指定。
ii)在再生装置200具有接受按需定制服务或电子销售流通服务(MODEST)的供给的功能的情况下,如以下这样进行BD-J对象的写入。
即,再生装置200在通过按需定制服务或电子销售流通服务接受BD-J对象的供给时,在可移除媒体的根目录之下,建立默认的目录、和MODEST目录,在MODEST目录之下建立BDMV目录。MODEST目录是第一MODEST目录,第一MODEST目录是在初次接受上述服务时建立的MODEST目录。在用户于第2次以后接受服务时,再生装置200的控制部建立对应于第2次以后的服务的MODEST目录。
并且,如上述那样,如果取得记述有GUI管理表的BD-J对象,则控制部将启动程序写入到默认目录中,将BD-J对象写入到MODEST目录之下的BDMV目录中。该启动程序是当记录媒体被装填到再生装置200中时应最先被执行的程序,使再生装置200显示用来从用户受理选择BDMV目录的操作的菜单,使再生装置200执行根变更功能。该根变更功能是在由用户进行了对菜单的选择操作的情况下、使所选择的BDMV目录属于的MODEST目录被识别为根目录的功能。通过该根变更功能,能够通过与将BD-ROM再生相同的控制顺序执行基于所取得的BD-J对象的再生控制。
(Java(TM)应用)
BD-J应用既可以是例如电子商务(EC(Electronic Commerce)的客户端应用,也可以是网络对战型的在线游戏。进而,也可以与检索引擎联动而对用户提供各种各样的在线服务。
(装入GUI管理表的单位)
在各实施方式中,在BD-J对象中设有GUI管理表,但也可以设置为,将GUI管理表与播放列表信息或播放项目信息建立对应,当当前播放列表成为指定的播放列表的定时、或当前播放项目成为指定的播放项目时,在进行平面存储器的释放后,执行用于立体视再生的平面存储器的确保或用于平面视再生的平面存储器的确保。通过这样,能够以更精细的时间精度进行存储器设备的区域管理。
(用于立体视的视频流)
将左视野用、右视野用的视频流记录到BD-ROM中不过是一例。也可以按照图片将表示各像素的进深值的视频流作为扩展视野视频流记录到BD-ROM中而供再生。
(应安装的包)
在再生装置的实施时,优选的是将以下的BD-J Extension安装到再生装置中。BD-J Extension包括为了对Java(TM)平台提供超过GEM[1.0.2]的功能而特殊化的各种包。在由BD-J Extension供给的包中有以下的包。
·org.bluray.media
该包提供要追加到Java(TM)Media FrameWork中的特殊的功能。将关于角度、声音、字幕的选择的控制追加到该包中。
·org.bluray.ti
该包包括用来将GEM[1.0.2]的“服务”匹配于“标题”而动作的API、从BD-ROM查询标题信息的机构、及选择新的标题的机构。
·org.bluray.application
该包包括用来管理应用的生存区间的API。此外,包括查询执行应用时的脚本中需要的信息的API。
·org.bluray.ui
该包包括定义用于为BD-ROM特殊化的键事件常数、实现与影像再生的同步那样的类。
·org.bluray.vfs
该包为了不论数据的所在如何都将数据无缝地再生,提供将记录在BD-ROM中的内容(on-disc内容)、与没有记录在BD-ROM中的LocalStorage(本地存储设备)上的内容(off-disc内容)结合的机构(BindingScheme)。
所谓Binding Scheme(结合模式),是将BD-ROM上的内容(AV片断、字幕、BD-J应用)、与Local Storage上的关联内容建立关联的模式。该Binding Scheme不论内容的所在如何都实现无缝再生。
(图形平面的结构)
在图像平面8、交互图形平面10由SDRAM构成的情况下,需要用来使保存在SDRAM中的像素数据移动的特有的控制。
SDRAM具有将以时分割对地址引脚输出的ROW地址向存储器阵列输出的ROW地址解码器、将以时分割对地址引脚输出的COLUMN地址向存储器阵列输出的COLUMN地址解码器、保持从存储器阵列输出的页长的数据而对数据引脚输出的页数据缓冲器、和将应脉冲读出的字长对页数据缓冲器指示的字长寄存器。SDRAM由于在存储元件中采用电容器,所以发生自然放电。因此,在SDRAM中,需要对各存储元件进行刷新,需要用于该刷新的附加电路。
在SDRAM中保存有图片的情况下,由RAS、CAS、WE、CS、CKE的状态的组合形成命令,通过用它与地址的组合执行读出/写入而进行平面移位。例如,在利用脉冲转发模式的情况下,发出活化命令,并且对SDRAM的地址引脚发出ROW地址。在从发出起进行一定时间的延迟后发出READ命令,并且对地址引脚发出COLUMN地址。
(编程语言的适用范围)
在上述实施方式中,作为虚拟机的编程语言而使用Java(TM),但也可以不是Java(TM)、而是在UNIX(TM)OS等中使用的B-Shell、Perl Script、ECMA Script等其他编程语言。
(多驱动器化)
在上述实施方式中,作为记录媒体的一例而举BD-ROM、作为具有从BD-ROM读出数据的功能的具体的机构的一例而举BD-ROM驱动器为例进行了说明。但是,BD-ROM是单纯的一例,如果作为记录媒体是BD-R、BD-RE、DVD、CD等光盘媒体,则只要在这些记录媒体中保存具有上述数据构造的数据、有读取这些记录媒体的驱动器装置,就能够进行在上述实施方式中说明的动作。
各实施方式的记录媒体包括光盘、半导体存储卡等、包媒体的全部。本实施方式的记录媒体以预先记录有需要的数据的光盘(例如BD-ROM、DVD-ROM等的已有的可读取的光盘)为例进行了说明,但并不需要限定于此,例如如果利用具有将经由广播或网络分发的包括本发明的实施所需要的数据的3D内容向光盘写入的功能的终端装置(例如既可以将上述功能装入到再生装置中,也可以是与再生装置不同的装置)记录到可写入的光盘(例如BD-RE、DVD-RAM等的已有的可写入的光盘)中,将该记录的光盘用在本发明的再生装置中,也能够进行本发明的实施。
此外,记录媒体除了光盘以外,如果是例如SD存储卡等的可移除媒体(半导体存储卡),也能够进行本发明的实施。
在代替BD-ROM而使用半导体存储卡的情况下,只要构成为将数据经由用来读出半导体存储卡内的数据的接口(存储卡I/F)向读取缓冲器1、读取缓冲器2、堆存储器31、动态脚本存储器23、静态脚本存储器13转发就可以。
更详细地讲,如果将半导体存储卡插入到再生装置200的插槽(未图示)中,则经由存储卡I/F将再生装置200与半导体存储卡电连接。只要构成为将记录在半导体存储卡中的数据经由存储卡I/F向读取缓冲器1、读取缓冲器2、堆存储器31、动态脚本存储器23、静态脚本存储器13转发就可以。
从例如著作权保护、数据的隐秘性的提高的观点看,也有将记录在BD-ROM中的数据中的一部分根据需要而加密的情况。
例如,记录在BD-ROM中的数据中的、加密的数据是例如对应于视频流的数据、对应于音频流的数据、或者对应于包括它们的流的数据。
以下,对记录在BD-ROM中的数据中的加密的数据的解读进行说明。
在再生装置中,对应于为了将BD-ROM内的加密的数据解读而需要的密钥的数据(例如设备密钥)预先存储在再生装置中。
另一方面,在BD-ROM中记录有对应于为了将加密的数据解读而需要的密钥的数据(例如对应于上述设备密钥的MKB(媒体密钥块))、和将用来解读加密的数据的密钥自身加密后的数据(例如对应于上述设备密钥及MKB的加密标题密钥)。这里,设备密钥、MKB及加密标题密钥成对,还与写入在BD-ROM上的不能进行通常复制的区域(称作BCA的区域)中的识别符(例如卷ID)也建立了对应。如果该组合不正确,则不能进行加密的解读。仅在组合是正确的情况下,能够导出加密解读所需要的密钥(例如基于上述设备密钥、MKB及卷ID、将加密标题密钥解码而得到的标题密钥),能够使用该解密解读所需要的密钥进行加密的数据的解读。
在将装填的BD-ROM在再生装置中再生的情况下,如果例如在再生装置内没有与BD-ROM内的加密标题密钥、MKB成对(或者对应)的设备密钥,则加密的数据不能被再生。这是因为,加密的数据的解读所需要的密钥(标题密钥)的密钥自身被加密(加密标题密钥)而记录在BD-ROM上,如果MKB与设备密钥的组合不正确,则不能导出加密的解读所需要的密钥。
反之,再生装置构成为,如果加密标题密钥、MKB、设备密钥及卷ID的组合正确,则使用例如上述加密解读所需要的密钥(基于设备密钥、MKB及卷ID、将加密标题密钥解密而得到的标题密钥)将视频流用解码器解码,将音频流用音频解码器解码。
在本实施方式中,作为记录媒体,以BD-ROM为例进行了说明,但并不一定限定于BD-ROM,例如在应用到可读入/写入的半导体存储器(例如SD卡等的具有可移动性的半导体存储卡)中的情况下也能够实施。
例如,也可以做成将与记录在BD-ROM中的数据相对应的数据利用例如电子分发而记录到半导体存储卡中、从半导体存储卡进行再生那样的结构。在利用电子分发而分发需要的数据、将分发来的数据记录的情况下,也优选的是对分发的数据中的一部分或全部的数据根据需要而进行加密分发、对于需要的数据在加密的状态下记录到半导体存储器中。
对例如利用电子分发、将与在本实施方式中进行了说明的数据相对应的数据(分发数据)记录到半导体存储器中的动作进行说明。
上述动作既可以是在本实施方式中说明的再生装置能够进行这样的动作的结构,也可以是与本实施方式的再生装置另外地通过进行对半导体存储器存储分发数据的动作的专用的终端装置进行那样的形态。这里,对再生装置进行的例子进行说明。此外,作为记录目标的半导体存储器,以SD卡为例进行说明。
在将分发数据记录到插入在再生装置具备的插槽中的SD存储卡中的情况下,首先向储存分发数据的分发服务器(未图示)请求分发数据的发送。此时,再生装置从SD存储卡读出用来唯一地识别插入的SD存储卡的识别信息(例如各个SD存储卡固有的识别号码、更具体地讲例如是SD存储卡的序列号等),将所读出的识别信息与分发请求一起向分发服务器发送。
该用来唯一地识别SD存储卡的识别信息例如相当于上述卷ID。
另一方面,在分发服务器中,将分发的数据中的需要的数据(例如视频流、音频流等)进行加密以使其能够使用加密解读所需要的密钥(例如标题密钥)解除加密,保存到服务器上。
例如,分发服务器保持有秘密密钥,构成为,能够对半导体存储卡固有的识别号码分别动态地生成不同的公开密钥信息。
此外,分发服务器构成为,使其能够对加密的数据的解读所需要的密钥(标题密钥)自身进行加密(即构成为能够生成加密标题密钥)。
生成的公开密钥信息包括相当于例如上述MKB、卷ID及加密标题密钥的信息。加密的数据例如如果半导体存储器固有的识别号码、包含在后述的公开密钥信息中的公开密钥主体、以及预先记录在再生装置中的设备密钥的组合正确,则能够得到加密解读所需要的密钥(例如基于设备密钥、MKB及半导体存储器固有的识别号码、将加密标题密钥解密而得到的标题密钥),能够使用该得到的加密解读所需要的密钥(标题密钥)进行加密的数据的解读。
接着,再生装置将接收到的公开密钥信息和分发数据记录到插入在插槽中的半导体存储卡的记录区域中。
接着,对将记录在半导体存储卡的记录区域中的公开密钥信息和包含在分发数据中的数据中的加密的数据解密而再生的方法的一例进行说明。
接收到的公开密钥信息例如记录有公开密钥主体(例如上述MKB及加密标题密钥)、签名信息、半导体存储卡的固有的识别号码、以及表示关于应设为无效的设备的信息的设备列表。
在签名信息中,例如包括公开密钥信息的哈希值。
在设备列表中,记载有有可能不正当地进行再生的设备的信息。它例如是预先记录在再生装置中的设备密钥、再生装置的识别号码、或再生装置具备的解码器的识别号码那样用来唯一确定有可能被不正当地再生的装置、包含在装置中的部件或功能(程序)等的信息。
关于记录在半导体存储卡的记录区域中的分发数据中的、加密的数据的再生进行说明。
首先,在利用公开密钥主体将加密的数据解密之前,进行是否可以使解密密钥主体发挥功能的检查。
具体而言,进行:
(1)包含在公开密钥信息中的半导体存储器固有的识别信息与预先存储在半导体存储卡中的固有的识别号码是否一致的检查
(2)在再生装置内计算出的公开密钥信息的哈希值与包含在签名信息中的哈希值是否一致的检查
(3)基于包含在公开密钥信息中的设备密钥列表中表示的信息,进行再生的装置是否有可能进行不正当的再生的检查(例如包含在公开密钥信息中的设备密钥列表中表示的设备密钥、与预先存储在再生装置中的设备密钥是否一致的检查)。
进行这些检查的顺序是怎样的顺序都可以。
在上述(1)~(3)的检查中,如果满足判断为包含在公开密钥信息中的半导体存储器固有的识别信息与预先存储在半导体存储器中的固有的识别号码不一致、在再生装置内计算出的公开密钥信息的哈希值与包含在签名信息中的哈希值不一致、或者进行再生的装置有可能不正当地进行再生的任一个,则进行控制以使再生装置不能进行加密的数据的解读。
此外,如果判断为包含在公开密钥信息中的半导体存储器固有的识别信息与预先存储在半导体存储器中的固有的识别号码一致、并且在再生装置内计算出的公开密钥信息的哈希值与包含在签名信息中的哈希值一致、并且进行再生的装置不可能不正当地进行再生,则判断为半导体存储器固有的识别号码、包含在公开密钥信息中的公开密钥主体、以及预先记录在再生装置中的设备密钥的组合正确,使用加密解读所需要的密钥(基于设备密钥、MKB及半导体存储器固有的识别号码、将加密标题密钥解密而得到的标题密钥)进行加密的数据的解读。
例如在加密的数据是视频流、音频流的情况下,视频解码器利用上述加密解读所需要的密钥(将加密标题密钥解密而得到的标题密钥)将视频流解密(解码),音频解码器利用上述加密解读所需要的密钥将音频流解密(解码)。
通过这样构成,在电子分发时知道有可能进行不正当利用的再生装置、部件、功能(程序)等的情况下,只要将用来识别它们的信息表示在设备列表中而分发,在再生装置侧包括设备列表中表示的事项的情况下,就能够抑制使用公开密钥信息(公开密钥主体)的解密,所以即使半导体存储器固有的识别号码、包含在公开密钥信息中的公开密钥主体、以及预先记录在再生装置中的设备密钥的组合正确,也能够进行控制以使加密的数据的解读不能进行,所以能够抑制不正当的装置上的分发数据的利用。
此外,优选地采用预先记录在半导体存储卡中的半导体存储卡的固有识别符保存在隐秘性较高的记录区域中那样的结构。这是因为,如果预先记录在半导体存储卡中的固有的识别号码(例如如果以SD存储卡为例,则是SD存储卡的序列号等)被篡改,则能够容易地进行违法复制。这是因为,对多个半导体存储卡分配分别不同的固有识别号码,但如果进行篡改以使该固有识别号码相同,则上述(1)的判断变得不再有意义,有可能进行对应于进行篡改的数量的违法复制。
因而,优选地采用半导体存储卡的固有的识别号码等信息记录在隐秘性较高的记录区域中那样的结构。
为了实现这样的结构,例如半导体存储卡做成将用来记录半导体存储卡的固有识别符等隐秘性较高的数据的记录区域设在与保存通常的数据的记录区域(称作第1记录区域)不同的记录区域(称作第2记录区域)中,以及设置用来向该第2记录区域进行访问的控制电路、并且仅能够经由控制电路进行向第2记录区域的访问那样的结构。
例如,将记录在第2记录区域中的数据进行加密而记录,控制电路装入有例如用来将加密的数据解密的电路。只要构成为、在向控制电路有向第2记录区域的数据的访问的情况下、将加密解密、返回解密后的数据就可以。或者,也可以是控制电路保持有记录在第2记录区域中的数据的保存场所的信息,如果有数据的访问的请求则确定对应的数据的保存场所并返回从所确定的保存场所读取的数据那样的结构。
在再生装置上动作的应用中,请求利用电子分发记录到半导体存储卡中的应用如果经由存储卡I/F向控制电路发出向记录在第2记录区域中的数据(例如半导体存储器固有的识别号码)的访问请求,则接受到请求的控制电路将记录在第2记录区域中的数据读出,向在再生装置上动作的应用返回。只要构成为、与该半导体存储卡的固有的识别号码一起将所需要的数据的分发请求对分发服务器请求、将从分发服务器发送的公开密钥信息以及对应的分发数据记录到第1记录区域中就可以。
此外,在再生装置上动作的应用中,请求利用电子分发对半导体存储卡记录的应用优选的是,在经由存储卡I/F向控制电路发出向记录在第2记录区域中的数据(例如半导体存储器固有的识别号码)的访问请求之前,事前检查应用是否没有被篡改。在篡改的检查中,也可以利用使用例如依据已有的X.509规格的数字证书的检查等。
此外,向记录在半导体存储卡的第1记录区域中的分发数据的访问并不一定需要经由半导体存储卡具有的控制电路访问。
(程序的实施方式)
在各实施方式中表示的应用程序可以如以下这样制作。首先,软件开发者使用编程语言记述各流程图、及实现功能性构成要素那样的源程序。在该记述时,软件开发者按照编程语言的句法,使用类构造体及变量、分发变量、外部函数的调用,记述各流程图、及具体实现功能性的构成要素的源程序。
将记述的源程序作为文件交给编译器。编译器将这些源程序翻译而生成目标程序。
由编译器进行的翻译由句法解析、优化、资源分配、代码生成的过程构成。在句法解析中,进行源程序的字句解析、句法解析及意义解析,将源程序变更为中间程序。在优化中,对中间程序进行基本块化、控制流解析、数据流解析的作业。在资源分配中,为了实现向作为目标的处理器的命令集的匹配,将中间程序中的变量对作为目标的处理器的处理器具有的寄存器或存储器分配。在代码生成中,将中间程序内的各中间命令变换为程序代码,得到目标程序。
这里生成的目标程序由使计算机执行各实施方式中表示的流程图的各步骤、及功能性的构成要素的各个顺序那样的1个以上的程序代码构成。这里,程序代码如处理器的本机码、JAVA字节码那样有各种种类。在通过程序代码的各步骤的实现中,有各种形态。在能够利用外部函数实现各步骤的情况下,调用该外部函数的调用语句为程序代码。此外,也有实现1个步骤那样的程序代码归属于各个不同的目标程序的情况。在命令种类受到限制的RISC处理器中,也可以通过将算术运算命令、逻辑运算命令、分支命令等组合来实现流程图的各步骤。
如果生成目标程序,则编程者对它们启动链接。链接将这些目标程序、及关联的库程序分配给存储器空间,将它们结合为1个而生成装载模组。这样生成的装载模组是以计算机的读取为前提的,是使计算机执行各流程图所示的处理顺序及功能性的构成要素的处理顺序的。也可以将该程序记录到计算机可读取的记录媒体中而对用户提供。
(系统LSI的单体实施)
所谓系统LSI,是指将裸芯片安装到高密度基板上并封装的结构。通过将多个裸芯片安装到高密度基板上并封装、使多个裸芯片具有宛如1个LSI那样的外形构造的结构也包含在系统LSI中(这样的系统LSI称作多芯片模组)。
这里,如果着眼于封装的种类,则在系统LSI中,有QFP(Quard FlatArray)、PGA(Pin Grid Array)的种类。QFP是在封装的四侧面上安装有引脚的系统LSI。PGA是在底面整体上安装有许多引脚的系统LSI。
这些引脚担负作为与其他电路的接口的作用。由于在系统LSI的引脚中存在这样的接口的作用,所以通过在系统LSI的这些引脚上连接其他电路,系统LSI起到作为再生装置200的内核的作用。
该系统LSI不仅是再生装置200,还能够装入到电视机或游戏机、个人计算机、one-seg便携电视等处理影像再生的各种设备中,能够大大扩大本发明的用途。
在将缓冲器及视频解码器、音频解码器、图形解码器也做成一体的系统LSI的情况下,系统LSI的架构优选地依据Uniphier架构。
依据Uniphier架构的系统LSI由以下的电路块构成。
·数据并行处理器DPP
它是多个要素处理器同时动作的SIMD型处理器,通过用1个命令使内置在各要素处理器中的运算器同时动作,实现对构成图片的多个像素的解码处理的并行化。
·命令并行处理器IPP
它通过由命令RAM、命令高速缓冲器、数据RAM、数据高速缓冲器构成的“Local Memory Controller(本地存储控制器)”、由命令取出部、解码器、执行单元、寄存器文件构成的“Processing Unit(处理单元)部”、使Processing Unit部进行多个应用的并行执行的“Virtual Multi ProcessorUnit(虚拟多处理器单元)部”构成。
·MPU块
它由ARM核心、外部总线接口(Bus Control Unit:BCU)、DMA控制器、定时器、矢量中断控制器等周边电路、UART、GPIO(General PurposeInput Output(通用目的输入输出))、同步串行接口等的周边接口构成。
·流I/O块
它经由USB接口或ATAPacket接口,进行与连接在外部总线上的驱动器装置、硬盘驱动器装置、SD存储卡驱动器装置的数据输入输出。
·AVI/O块
它由音频输入输出、视频输入输出、OSD控制器构成,进行与电视机、AV放大器的数据输入输出。
·存储器控制块
它是实现经由外部总线连接的SD-RAM的读写的块,由控制各块间的内部连接的内部总线连接部、进行与连接在系统LSI的外部的SD-RAM的数据转发的访问控制部、和调整来自各块的SD-RAM的访问请求的访问模组部构成。
具体的生产顺序的详细情况如下。首先,基于各实施方式所示的结构图,制作应作为系统LSI的部分的电路体,使用电路元件及IC、LSI,将结构图中的构成要素具体化。
这样,如果将各构成要素具体化,则规定将电路元件及IC、LSI间连接的总线及其周边电路、与外部的接口等。还规定连接线、电源线、地线、时钟信号线等。在该规定中,一边考虑LSI的规格而调节各构成要素的动作定时、或加以保证各构成要素所需要的带宽等的调节,一边完成电路图。
如果电路图完成,则进行安装设计。所谓安装设计,是决定将通过电路设计制作的电路图上的部件(电路部件或IC、LSI)向基板上的哪里配置、或者决定将电路图上的连接线怎样配线到基板上的电路布局的制作作业。
这样进行安装设计,如果基板上的布局确定,则将安装设计结果变换为CAM数据,输出给NC工作机械等的设备。NC工作机械基于该CAM数据进行SoC安装及SiP安装。所谓SoC(System on chip)安装,是在1个芯片上焊接多个电路的技术。所谓SiP(System in Package)安装,是将多个芯片用树脂等做成1个封装的技术。经过以上的过程,有关本发明的系统LSI能够基于各实施方式所示的再生装置200的内部结构图制作。
另外,如上述那样生成的集成电路根据集成度的差异,也有称作IC、LSI、超级LSI、超大规模LSI的情况。
在使用FPGA实现系统LSI的情况下,通过将多个逻辑段配置为栅格状,基于记载在LUT(Look Up Table)中的输入输出的组合将纵横的配线连接,能够实现各实施方式所示的硬件结构。LUT存储在SRAM中,该SRAM的内容由于通过电源断开而消失,所以在该FPGA的使用时,需要将通过配置信息的定义实现各实施方式所示的硬件结构的LUT写入到SRAM中。
在本实施方式中,在通过中间件和对应于系统LSI的硬件、系统LSI以外的硬件、对中间件的接口的部分、中间件与系统LSI之间的接口的部分、中间件与系统LSI以外的需要的硬件之间的接口的部分、用户接口的部分实现、将它们装入而构成再生装置时,通过分别联动动作而提供特有的功能。
通过适当地定义对中间件的接口、以及中间件与系统LSI的接口,能够分别独立地并行开发再生装置的用户接口部分、中间件部分、系统LSI部分,能够更高效率地进行开发。另外,在各个接口的部分的分割方式。例如,在将作为包含在系统LSI102中的结构而表示的视频解码器5a、5b、音频解码器9、合成部15一芯片化时,对于控制它们的中间件及与它们对应的中间件之间的接口部分,在开发芯片的一侧进行开发,在完成后将芯片装入到再生装置中,并且将开发出的中间件、接口部分装入到再生装置内的存储器等的存储部中,由此能够并行地进行再生装置侧的开发和芯片侧的开发,开发效率提高。
关于开发出的芯片与关联于开发出的芯片的中间件之间的接口部分,如果使其共用,则通用性变高。
另外,关于由系统LSI构成的部分当然并不是仅能够由LSI构成,当然也可以使用对应于应包含在系统LSI中的功能的信号处理电路构成。
工业实用性
本发明关于在将立体视视频流再生的再生设备中使字幕及图形叠加显示在立体视视频流上的技术,特别能够应用到不仅将立体视视频流还将字幕及图形也一起立体地输出、叠加的立体视视频再生装置中。
符号说明
100  BD-ROM
200  再生装置
300  遥控器
400  电视机
500  液晶开闭器目镜
101  前端部
102  系统LSI
103  存储器设备
104  后端部
105  非易失性存储器
106  主微型计算机
107  网络I/F
110  BD驱动器
111  本地存储设备
1、2 读取缓冲器
3 虚拟文件系统
4 多路分离器
5a、5b 视频解码器
6 视频平面
7a、7b 图像解码器
7c、7d 图像存储器
8 图像平面
9 音频解码器
10 交互图形平面
11 背景平面
12 再生状态/设定寄存器(PSR)集
13 静态脚本存储器
14 再生控制引擎
15 合成部15
16 HDMI收发部
17 左右处理存储部
18 显示功能标志保持部
19 平面移位引擎
20 偏移设定部
22 BD-J平台
23 动态脚本存储器
24 模式管理模组
25 HDMV模组
26 UO检测模组
27a静止图像存储器
27b静止图像解码器
28 显示模式设定初始显示设定部
29 显示模式存储部

Claims (17)

1.一种再生装置,实现立体视再生,其特征在于,具备:
视频解码器,将视频流解码而得到视频帧;
视频平面,保持视频帧;
图形平面,存放图形数据;
合成部,将存放在图形平面中的图形数据与视频帧合成;以及
移位引擎,执行图形平面的平面移位;
在实现上述立体视再生的情况下,将存放在视频平面中的多个视频帧分别作为右视野视频帧及左视野视频帧输出;
图形平面中的图形数据由规定的横像素数×纵像素数的像素数据构成;
上述平面移位是以下处理:在输出左视野视频帧时,使图形平面中的像素数据的各自的坐标向右方向及左方向中的某个方向移动,并且在输出右视野视频帧时,使图形平面中的像素数据的各自的坐标向与左视野相反的方向移动,然后供给至合成部。
2.如权利要求1所述的再生装置,其特征在于,
上述图形平面中的像素数据由表示图形的背景的透明像素的像素数据和表示图形自身的像素数据构成;
通过将上述图形数据中的、右方向的端部及左方向的端部之中的某个端部的矩形区域切除,并在图形数据的相反侧的端部追加由透明像素构成的矩形区域,来进行上述平面移位。
3.如权利要求2所述的再生装置,其特征在于,
从上述图形数据中从一个端部切除的矩形区域、以及在图形数据的另一个端部追加的矩形区域,是横向的像素数为相当于移位量的像素数且纵向的像素数为图形平面的纵像素的区域。
4.如权利要求3所述的再生装置,其特征在于,
在将图形平面中的像素数据的坐标向左侧移动的情况下,被切除矩形区域的一个端部是图形平面的坐标系中的左侧的端部;
在将图形平面中的像素数据的坐标向右侧移动的情况下,被切除矩形区域的另一个端部是图形平面的坐标系中的右侧的端部。
5.如权利要求1所述的再生装置,其特征在于,
上述再生装置具备:
读出机构,将播放列表信息从记录媒体读出,并且将通过播放列表信息参照的AV流从记录媒体读出;以及
多路分离机构,从AV流中多路分离视频流;
上述视频帧通过将视频流解码而得到;
在播放列表信息中插入有偏移;
上述平面移位中的像素数据的移位量根据插入在播放列表信息中的偏移来计算。
6.如权利要求1所述的再生装置,其特征在于,
上述再生装置具备读出机构,该读出机构将播放列表信息从记录媒体读出,并且将通过播放列表信息参照的AV流从记录媒体读出;
在多路复用在AV流中的视频流的头区域中,插入有偏移;
上述平面移位中的像素数据的移位量根据偏移来计算。
7.如权利要求1所述的再生装置,其特征在于,
在上述记录媒体中,记录有元信息;
在元信息中插入有偏移;
当装填了记录媒体时,进行从记录媒体读出元信息的处理;
上述平面移位中的像素数据的移位量根据嵌入在元信息中的偏移来计算。
8.如权利要求1所述的再生装置,其特征在于,
上述再生装置具备读出机构,该读出机构将播放列表信息从记录媒体读出,并且将通过播放列表信息参照的传输流从记录媒体读出;
在构成上述传输流的包的头区域中,插入有偏移;
上述平面移位中的像素数据的移位量是根据偏移计算出的值。
9.如权利要求1所述的再生装置,其特征在于,
再生装置具备缩放器,该缩放器对存放在上述图形平面中的像素数据所表现的图形进行放大或缩小;
上述平面移位中的像素数据的移位量针对由缩放器进行了放大或缩小的图形执行。
10.如权利要求1所述的再生装置,其特征在于,
写入在上述图形平面中的图形是由应用写入的图形;
上述应用指示进深值;
上述平面移位中的像素数据的移位量根据被指示的进深来计算。
11.如权利要求1所述的再生装置,其特征在于,
写入在上述图形平面中的图形是受理用户操作的图形,用户操作包括进深值的指定;
上述平面移位中的像素数据的移位量是根据被指定的进深值计算出的值。
12.如权利要求1所述的再生装置,其特征在于,
写入在上述图形平面中的图形是由应用写入的图形;
上述再生装置还兼备偏移存储部,该偏移存储部临时保存从上述应用指定的偏移;
上述平面移位中的像素数据的移位量在与1帧对应的左视野用的输出和右视野的输出完成的时刻,根据上述偏移存储部的偏移来计算。
13.如权利要求1所述的再生装置,其特征在于,
写入在上述图形平面中的图形是受理用户操作的图形;
上述再生装置还兼备偏移存储部,该偏移存储部临时保存由上述用户操作指定的偏移;
上述平面移位中的像素数据的移位量在与1帧对应的左视野用的输出和右视野的输出完成的时刻,根据上述偏移存储部的偏移来计算。
14.如权利要求1所述的再生装置,其特征在于,
在实现上述立体模式为开启的立体视再生时,上述图形平面存放左视野输出时应合成的图形数据,在上述图形平面的下半部,存放右视野输出时应合成的图形数据;
上述平面移位在立体模式设定为“关闭”时进行。
15.如权利要求1所述的再生装置,其特征在于,
在立体模式设定为“关闭”的情况下,在图形平面的上半部的区域,存放左视野用的图形和右视野用的图形双方。
16.一种再生方法,在计算机上实现立体视再生,其特征在于,具有:
视频解码器,将视频流解码而得到视频帧,并存放到计算机的视频平面中;
合成步骤,将存放在计算机的图形平面中的图形数据与视频帧合成;以及
移位步骤,执行图形平面的平面移位;
在实现立体视再生的情况下,将存放在视频平面中的多个视频帧分别作为右视野视频帧及左视野视频帧输出;
图形平面中的图形数据由规定的横像素数×纵像素数的像素数据构成;
上述平面移位是以下处理:当输出左视野视频帧的情况下,使图形平面中的像素数据各自的坐标向右方向及左方向中的某个方向移动,并且在输出右视野视频帧时,使图形平面中的像素数据各自的坐标向与左视野相反的方向移动,然后供给至合成部。
17.一种程序,使计算机执行立体视再生,其特征在于,使计算机执行:
视频解码器,将视频流解码而得到视频帧,并存放到计算机的视频平面中;
合成步骤,将存放在计算机的图形平面中的图形数据与视频帧合成;以及
移位步骤,执行图形平面的平面移位;
在实现立体视再生的情况下,将存放在视频平面中的多个视频帧分别作为右视野视频帧及左视野视频帧输出;
图形平面中的图形数据由规定的横像素数×纵像素数的像素数据构成;
上述平面移位是以下处理:当输出左视野视频帧的情况下,使图形平面中的像素数据各自的坐标向右方向及左方向中的某个方向移动,并且在输出右视野视频帧时,使图形平面中的像素数据各自的坐标向与左视野相反的方向移动,然后供给至合成部。
CN2009801276745A 2008-07-24 2009-07-23 能够进行立体视觉再生的再生装置、再生方法 Expired - Fee Related CN102100076B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JP2008-190525 2008-07-24
JP2008190525 2008-07-24
US11104508P 2008-11-04 2008-11-04
US61/111,045 2008-11-04
JP2009101846 2009-04-20
JP2009-101846 2009-04-20
PCT/JP2009/003467 WO2010010709A1 (ja) 2008-07-24 2009-07-23 立体視再生が可能な再生装置、再生方法、プログラム

Publications (2)

Publication Number Publication Date
CN102100076A true CN102100076A (zh) 2011-06-15
CN102100076B CN102100076B (zh) 2013-06-12

Family

ID=41568744

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801276745A Expired - Fee Related CN102100076B (zh) 2008-07-24 2009-07-23 能够进行立体视觉再生的再生装置、再生方法

Country Status (7)

Country Link
US (4) US8306387B2 (zh)
EP (1) EP2306749B1 (zh)
JP (2) JP4792127B2 (zh)
CN (1) CN102100076B (zh)
AU (1) AU2009275052B2 (zh)
CA (1) CA2729995C (zh)
WO (1) WO2010010709A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102307311A (zh) * 2011-08-30 2012-01-04 华映光电股份有限公司 播放立体影像的方法
CN109558072A (zh) * 2018-10-10 2019-04-02 建荣半导体(深圳)有限公司 音频播放芯片的存储空间扩展方法、系统、音频播放芯片及存储装置
CN109561263A (zh) * 2018-11-23 2019-04-02 重庆爱奇艺智能科技有限公司 在vr设备的3d视频中实现3d字幕效果
US10719909B2 (en) 2016-09-30 2020-07-21 Alibaba Group Holding Limited Image loading method and device

Families Citing this family (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8515052B2 (en) 2007-12-17 2013-08-20 Wai Wu Parallel signal processing system and method
WO2010064784A2 (ko) 2008-12-02 2010-06-10 (주)엘지전자 3차원 캡션 디스플레이 방법 및 이를 구현하기 위한 3차원 디스플레이 장치
RU2537800C2 (ru) * 2008-12-19 2015-01-10 Конинклейке Филипс Электроникс Н.В. Способ и устройство для наложения трехмерной графики на трехмерное видеоизображение
EP2400772B1 (en) * 2009-02-17 2016-04-13 Panasonic Intellectual Property Management Co., Ltd. Playback device, playback method, and program
US8723927B2 (en) * 2009-03-31 2014-05-13 Daniel Rosen Subtitling stereographic imagery
JP4525831B1 (ja) * 2009-03-31 2010-08-18 株式会社カシオ日立モバイルコミュニケーションズ 画像受信装置、および、プログラム
JP4962814B2 (ja) * 2009-04-03 2012-06-27 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
JP4919122B2 (ja) 2009-04-03 2012-04-18 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
JP2010245970A (ja) * 2009-04-08 2010-10-28 Sony Corp 再生装置、再生方法、およびプログラム
JP2010268431A (ja) * 2009-04-15 2010-11-25 Sony Corp データ構造、記録媒体、再生装置および再生方法、並びにプログラム
JP5627860B2 (ja) * 2009-04-27 2014-11-19 三菱電機株式会社 立体映像配信システム、立体映像配信方法、立体映像配信装置、立体映像視聴システム、立体映像視聴方法、立体映像視聴装置
JP2011041249A (ja) * 2009-05-12 2011-02-24 Sony Corp データ構造および記録媒体、並びに、再生装置、再生方法、プログラム、およびプログラム格納媒体
RU2538307C2 (ru) * 2009-05-12 2015-01-10 Сони Корпорейшн Структура данных и носитель данных, воспроизводящее устройство, способ воспроизведения, программа и носитель для хранения программы
WO2010137261A1 (ja) * 2009-05-25 2010-12-02 パナソニック株式会社 記録媒体、再生装置、集積回路、再生方法、プログラム
TW201119353A (en) * 2009-06-24 2011-06-01 Dolby Lab Licensing Corp Perceptual depth placement for 3D objects
WO2010151555A1 (en) * 2009-06-24 2010-12-29 Dolby Laboratories Licensing Corporation Method for embedding subtitles and/or graphic overlays in a 3d or multi-view video data
JP5285517B2 (ja) * 2009-06-30 2013-09-11 パナソニック株式会社 映像信号処理装置、映像処理システム及び半導体集積回路並びに映像信号処理方法
WO2011004600A1 (ja) 2009-07-10 2011-01-13 パナソニック株式会社 記録媒体、再生装置、及び集積回路
US8270807B2 (en) 2009-07-13 2012-09-18 Panasonic Corporation Recording medium, playback device, and integrated circuit
EP2460360A1 (en) * 2009-07-27 2012-06-06 Koninklijke Philips Electronics N.V. Combining 3d video and auxiliary data
CN102474637A (zh) 2009-07-27 2012-05-23 皇家飞利浦电子股份有限公司 在3d视频和2d视频之间切换
GB2472438A (en) * 2009-08-06 2011-02-09 Sony Corp Multi-person 3D display system with several viewers watching different images on a single screen
KR20110018261A (ko) * 2009-08-17 2011-02-23 삼성전자주식회사 텍스트 서브타이틀 데이터 처리 방법 및 재생 장치
CN102033414B (zh) * 2009-09-27 2012-06-20 深圳市掌网立体时代视讯技术有限公司 一种立体数码成像会聚装置及方法
JP5482254B2 (ja) * 2009-11-05 2014-05-07 ソニー株式会社 受信装置、送信装置、通信システム、表示制御方法、プログラム、及びデータ構造
US9307224B2 (en) * 2009-11-23 2016-04-05 Samsung Electronics Co., Ltd. GUI providing method, and display apparatus and 3D image providing system using the same
JP5502436B2 (ja) 2009-11-27 2014-05-28 パナソニック株式会社 映像信号処理装置
CN102053837B (zh) * 2010-01-07 2014-03-26 董福田 空间实体要素标注的冲突检测与避让方法及装置
CN102349302A (zh) * 2010-01-14 2012-02-08 松下电器产业株式会社 影像输出装置、影像显示系统
US9025933B2 (en) * 2010-02-12 2015-05-05 Sony Corporation Information processing device, information processing method, playback device, playback method, program and recording medium
US9860513B2 (en) 2010-02-19 2018-01-02 Thomson Licensing Stereo logo insertion
KR101445777B1 (ko) * 2010-02-19 2014-11-04 삼성전자 주식회사 재생 기기 및 그 제어방법
US20110211634A1 (en) * 2010-02-22 2011-09-01 Richard Edwin Goedeken Method and apparatus for offset metadata insertion in multi-view coded view
US9426441B2 (en) * 2010-03-08 2016-08-23 Dolby Laboratories Licensing Corporation Methods for carrying and transmitting 3D z-norm attributes in digital TV closed captioning
US8817072B2 (en) 2010-03-12 2014-08-26 Sony Corporation Disparity data transport and signaling
JP2011199389A (ja) * 2010-03-17 2011-10-06 Sony Corp 画像処理装置、画像変換方法、およびプログラム
KR101647064B1 (ko) * 2010-03-24 2016-08-23 삼성전자 주식회사 휴대 단말기의 입체 영상 출력 방법 및 장치
MX2011012447A (es) * 2010-03-29 2011-12-16 Panasonic Corp Dispositivo de procesamiento de video.
JP2011216937A (ja) * 2010-03-31 2011-10-27 Hitachi Consumer Electronics Co Ltd 立体画像表示装置
US10448083B2 (en) 2010-04-06 2019-10-15 Comcast Cable Communications, Llc Streaming and rendering of 3-dimensional video
US11711592B2 (en) 2010-04-06 2023-07-25 Comcast Cable Communications, Llc Distribution of multiple signals of video content independently over a network
JP2011223248A (ja) * 2010-04-08 2011-11-04 Sony Corp 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
WO2011129631A2 (ko) * 2010-04-14 2011-10-20 삼성전자 주식회사 디지털 자막 방송을 위한 방송 비트스트림을 생성하는 방법 및 그 장치, 디지털 자막 방송을 위한 방송 비트스트림을 수신하는 방법 및 그 장치
US20110255003A1 (en) * 2010-04-16 2011-10-20 The Directv Group, Inc. Method and apparatus for presenting on-screen graphics in a frame-compatible 3d format
US9414042B2 (en) 2010-05-05 2016-08-09 Google Technology Holdings LLC Program guide graphics and video in window for 3DTV
JP2011249945A (ja) * 2010-05-24 2011-12-08 Sony Corp 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
US8872893B2 (en) * 2010-05-26 2014-10-28 Broadcom Corporation Systems and methods for managing distribution of 3D media
KR101435594B1 (ko) * 2010-05-31 2014-08-29 삼성전자주식회사 디스플레이 장치 및 그 디스플레이 방법
JP2011254239A (ja) * 2010-06-01 2011-12-15 Sony Corp 記録装置、再生装置、記録再生システム、記録媒体およびプログラム
US8842170B2 (en) 2010-06-01 2014-09-23 Intel Corporation Method and apparaus for making intelligent use of active space in frame packing format
EP2579583B1 (en) 2010-06-02 2017-09-27 Hitachi Maxell, Ltd. Reception device, display control method, transmission device, and transmission method
JP5505637B2 (ja) * 2010-06-24 2014-05-28 ソニー株式会社 立体表示装置および立体表示装置の表示方法
US9591374B2 (en) 2010-06-30 2017-03-07 Warner Bros. Entertainment Inc. Method and apparatus for generating encoded content using dynamically optimized conversion for 3D movies
US10326978B2 (en) 2010-06-30 2019-06-18 Warner Bros. Entertainment Inc. Method and apparatus for generating virtual or augmented reality presentations with 3D audio positioning
US8755432B2 (en) 2010-06-30 2014-06-17 Warner Bros. Entertainment Inc. Method and apparatus for generating 3D audio positioning using dynamically optimized audio 3D space perception cues
US8917774B2 (en) 2010-06-30 2014-12-23 Warner Bros. Entertainment Inc. Method and apparatus for generating encoded content using dynamically optimized conversion
KR101719981B1 (ko) * 2010-07-13 2017-03-27 엘지전자 주식회사 3차원 컨텐츠를 출력하는 디스플레이 기기의 사용자 인터페이스 출력 방법 및 그 방법을 채용한 디스플레이 기기
US10194132B2 (en) 2010-08-03 2019-01-29 Sony Corporation Establishing z-axis location of graphics plane in 3D video display
US10134150B2 (en) * 2010-08-10 2018-11-20 Monotype Imaging Inc. Displaying graphics in multi-view scenes
KR101816846B1 (ko) 2010-08-19 2018-01-12 삼성전자주식회사 디스플레이 장치 및 이에 적용되는 osd 제공방법
JP5454444B2 (ja) * 2010-10-01 2014-03-26 ソニー株式会社 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
KR20120042313A (ko) * 2010-10-25 2012-05-03 삼성전자주식회사 입체영상표시장치 및 그 영상표시방법
GB2485140A (en) * 2010-10-26 2012-05-09 Sony Corp A Method and Apparatus For Inserting Object Data into a Stereoscopic Image
JP2012141448A (ja) * 2010-12-28 2012-07-26 Toshiba Corp 画像処理装置及び表示制御方法
EP2472878A1 (en) * 2010-12-31 2012-07-04 Advanced Digital Broadcast S.A. Method and apparatus for combining images of a graphic user interface with a stereoscopic video
US9204123B2 (en) 2011-01-14 2015-12-01 Comcast Cable Communications, Llc Video content generation
US20130071013A1 (en) * 2011-03-01 2013-03-21 Shinsuke Ogata Video processing device, video processing method, program
JP5987267B2 (ja) * 2011-03-28 2016-09-07 ソニー株式会社 画像処理装置および画像処理方法
TR201103444A2 (tr) 2011-04-08 2012-10-22 Vestel Elektron�K Sanay� Ve T�Caret A.�. 2D imgeden 3D imge oluşturmak için yöntem ve aygıt.
EP2697975A1 (en) 2011-04-15 2014-02-19 Dolby Laboratories Licensing Corporation Systems and methods for rendering 3d images independent of display size and viewing distance
US20120293637A1 (en) * 2011-05-20 2012-11-22 Echostar Technologies L.L.C. Bufferless 3D On Screen Display
WO2012164864A1 (ja) * 2011-06-01 2012-12-06 パナソニック株式会社 映像処理装置、方法、プログラム、記録媒体及び集積回路
US9933935B2 (en) * 2011-08-26 2018-04-03 Apple Inc. Device, method, and graphical user interface for editing videos
KR20130026236A (ko) * 2011-09-05 2013-03-13 엘지전자 주식회사 영상표시장치 및 그 동작방법
CN102427542B (zh) * 2011-09-28 2014-07-30 深圳超多维光电子有限公司 一种立体图像处理方法、图像处理装置和相应的终端设备
CN102568514B (zh) * 2012-01-05 2015-05-27 青岛艾孚高清技术有限公司 一种3d高清多媒体播放装置
GB2498954B (en) * 2012-01-31 2015-04-15 Samsung Electronics Co Ltd Detecting an object in an image
JP6092525B2 (ja) * 2012-05-14 2017-03-08 サターン ライセンシング エルエルシーSaturn Licensing LLC 画像処理装置、情報処理システム、画像処理方法およびプログラム
TWI555400B (zh) * 2012-05-17 2016-10-21 晨星半導體股份有限公司 應用於顯示裝置的字幕控制方法與元件
UA102154U (uk) * 2012-08-03 2015-10-26 Багатофункціональна система представлення кінцевому користувачу мультимедійного вмісту оптимальної якості
US10504132B2 (en) 2012-11-27 2019-12-10 American Express Travel Related Services Company, Inc. Dynamic rewards program
WO2017139034A1 (en) * 2016-02-09 2017-08-17 Google Inc. Pixel adjusting at display controller for electronic display stabilization
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004104742A (ja) * 2002-09-11 2004-04-02 Remedia:Kk 立体映像データの発生方法と装置
JP2004208255A (ja) * 2002-09-27 2004-07-22 Sharp Corp 立体画像表示装置、記録方法、及び伝送方法
JP2004274125A (ja) * 2003-03-05 2004-09-30 Sony Corp 画像処理装置および方法
JP2007200227A (ja) * 2006-01-30 2007-08-09 Nec Corp 立体化処理装置及び立体情報端末
WO2008044191A2 (en) * 2006-10-11 2008-04-17 Koninklijke Philips Electronics N.V. Creating three dimensional graphics data

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6326995B1 (en) * 1994-11-03 2001-12-04 Synthonics Incorporated Methods and apparatus for zooming during capture and reproduction of 3-dimensional images
JPH08182023A (ja) * 1994-12-26 1996-07-12 Sanyo Electric Co Ltd 2次元画像を3次元画像に変換する装置
MXPA03001029A (es) 2000-08-04 2003-05-27 Dynamic Digital Depth Res Pty Tecnica de codificacion y conversion de imagen.
JP3851544B2 (ja) 2001-11-08 2006-11-29 株式会社ブリヂストン 空気入りタイヤ及びその装着方法
JP3954398B2 (ja) 2002-01-25 2007-08-08 株式会社ブリヂストン 空気入りタイヤ
JP2004248212A (ja) * 2003-02-17 2004-09-02 Kazunari Era 立体視画像表示装置
CN1849821B (zh) * 2003-07-11 2012-06-20 松下电器产业株式会社 记录方法、再现装置和方法
MXPA05010367A (es) 2003-11-10 2005-11-17 Matsushita Electric Ind Co Ltd Medio de grabacion, dispositivo de reproduccion, programa, metodo de reproduccion y circuito integrado de sistema.
JP4373264B2 (ja) 2004-04-15 2009-11-25 株式会社ブリヂストン 空気入りタイヤ
MXPA06012806A (es) 2004-05-11 2007-01-26 Matsushita Electric Ind Co Ltd Reproductor, programa y metodo de reproduccion.
CN1938774B (zh) 2004-06-03 2010-04-21 松下电器产业株式会社 再现设备及方法
JP4707368B2 (ja) * 2004-06-25 2011-06-22 雅貴 ▲吉▼良 立体視画像作成方法および装置
WO2006009270A1 (en) 2004-07-22 2006-01-26 Matsushita Electric Industrial Co., Ltd. Playback apparatus and playback method
CN101253567A (zh) 2005-08-31 2008-08-27 松下电器产业株式会社 存储针对内容属性的管理信息的记录介质、针对这种记录介质的记录装置以及再生装置
JP4975376B2 (ja) 2006-05-31 2012-07-11 パナソニック株式会社 音響再生システム
US20080036854A1 (en) 2006-08-08 2008-02-14 Texas Instruments Incorporated Method and system of communicating and rendering stereoscopic and dual-view images
JP2009135686A (ja) * 2007-11-29 2009-06-18 Mitsubishi Electric Corp 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置
JP2009278411A (ja) * 2008-05-15 2009-11-26 Sony Ericsson Mobilecommunications Japan Inc 携帯装置
JP4915457B2 (ja) * 2009-04-03 2012-04-11 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004104742A (ja) * 2002-09-11 2004-04-02 Remedia:Kk 立体映像データの発生方法と装置
JP2004208255A (ja) * 2002-09-27 2004-07-22 Sharp Corp 立体画像表示装置、記録方法、及び伝送方法
JP2004274125A (ja) * 2003-03-05 2004-09-30 Sony Corp 画像処理装置および方法
JP2007200227A (ja) * 2006-01-30 2007-08-09 Nec Corp 立体化処理装置及び立体情報端末
WO2008044191A2 (en) * 2006-10-11 2008-04-17 Koninklijke Philips Electronics N.V. Creating three dimensional graphics data

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102307311A (zh) * 2011-08-30 2012-01-04 华映光电股份有限公司 播放立体影像的方法
US10719909B2 (en) 2016-09-30 2020-07-21 Alibaba Group Holding Limited Image loading method and device
CN109558072A (zh) * 2018-10-10 2019-04-02 建荣半导体(深圳)有限公司 音频播放芯片的存储空间扩展方法、系统、音频播放芯片及存储装置
CN109561263A (zh) * 2018-11-23 2019-04-02 重庆爱奇艺智能科技有限公司 在vr设备的3d视频中实现3d字幕效果

Also Published As

Publication number Publication date
US20120170911A1 (en) 2012-07-05
US8306387B2 (en) 2012-11-06
US20120170916A1 (en) 2012-07-05
EP2306749A4 (en) 2013-06-12
EP2306749B1 (en) 2017-04-12
JP2011234382A (ja) 2011-11-17
JP5395117B2 (ja) 2014-01-22
CA2729995A1 (en) 2010-01-28
CN102100076B (zh) 2013-06-12
JP4792127B2 (ja) 2011-10-12
EP2306749A1 (en) 2011-04-06
US20120170917A1 (en) 2012-07-05
AU2009275052A1 (en) 2010-01-28
CA2729995C (en) 2015-12-22
JPWO2010010709A1 (ja) 2012-01-05
WO2010010709A1 (ja) 2010-01-28
AU2009275052B2 (en) 2014-05-29
US20100021141A1 (en) 2010-01-28

Similar Documents

Publication Publication Date Title
CN102100076B (zh) 能够进行立体视觉再生的再生装置、再生方法
CN102833573B (zh) 接收装置
CN102210156B (zh) 进行立体视觉再生的再生装置、再生方法
RU2496157C2 (ru) Носитель записи, на котором записано 3d видео, устройство воспроизведения для воспроизведения 3d видео и большая интегральная схема системы
CN102172033B (zh) 再生装置、记录方法、记录介质再生系统
CN102547359B (zh) 再现装置、集成电路
CN101911713B (zh) 再现装置、集成电路、再现方法、记录方法、记录介质再现系统
EP2293553B1 (en) Recording medium, reproducing device, recording device, reproducing method, recording method, and program
WO2010143441A1 (ja) 再生装置、集積回路、記録媒体
WO2010143439A1 (ja) 再生装置、集積回路、記録媒体
CN102057682A (zh) 记录介质、再现装置、集成电路、再现方法及程序
CN102150434A (zh) 立体视觉再现影像内容的再现装置、再现方法及再现程序

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130612

Termination date: 20200723

CF01 Termination of patent right due to non-payment of annual fee