CN101312506B - 附带字幕的影像重现装置 - Google Patents

Abstract

本发明涉及一种对字幕语及影像进行处理的附带字幕的影像重现装置。该附带字幕的影像重现装置具备：“附带列表视听模式”，若选择出显示对象的字幕，则显示列表和附带字幕影像；“通常视听模式”，在没有列表的状况下重现附带字幕影像。若指示了“附带列表视听模式”，则控制部(11)显示重现中的字幕语及影像和用来选择字幕语的列表。若从列表选择出字幕语，则显示所选择的字幕语和对应的影像，并更新列表。若转换成“通常视听模式”，则控制部(11)停止列表的显示，显示字幕语和对应的影像。

Description

附带字幕的影像重现装置

技术领域

本发明涉及一种对字幕语及影像进行处理的附带字幕的影像重现装置。

背景技术

日本特开2003-18491号公报公示出一种字幕显示装置。

该字幕显示装置存储影像和该影像中的多个字幕语，在用户选择出某个字幕语时，显示字幕语和与该字幕语对应的影像。

该字幕显示装置将影像和多个字幕语显示于同一画面上。从而，影像的显示区受到限制时，字幕的显示区也受到限制。因此，根据字幕语字符数的不同，用户视听数据流或选择字幕时画面的视觉辨认度或操作性变坏。该问题从可移动这样的特性来看，在要求小型化并且对画面尺寸有限制的移动终端装置的情况下，较为显著。

另外，该字幕显示装置还显示影像、与显示中的影像对应的字幕语和该字幕语之前的字幕语(字幕语的历史)。从而，限定从字幕语及影像获得的信息。

发明内容

本发明是鉴于上述实际情况做出的，其目的为，在视听附带字幕影像时使用户的便利性得到提高。

另外，本发明的另一目的为，提供一种显示图像的视觉辨认度和操作性高的装置。

另外，本发明的再一目的为，提供一种可以将字幕语和对应的影像适当重现的装置。

为了解决上述课题，本发明第1观点所涉及的附带字幕的影像重现装置其特征为，

具备：

存储单元，将定义多个字幕语的字幕信号和定义多个影像的影像信号在重现定时上相对应并存储；

字幕选择单元，选择由存储在上述存储单元中的字幕信号定义的多个字幕语之中的某一个；

字幕重现单元，将由上述字幕选择单元选择出的字幕语重现；影像重现单元，将上述存储单元中所存储的上述影像信号重现；以及

模式转换单元，转换字幕视听模式和通常视听模式，该字幕视听模式通过上述字幕选择单元选择字幕语，并由上述字幕重现单元及上述影像重现单元将所选择的字幕语和与该字幕语对应的影像重现，该通常视听模式由上述影像重现单元将影像重现。

为了解决上述课题，本发明第2观点所涉及的附带字幕的影像重现装置其特征为，

具备：

字幕影像存储单元，将定义多个字幕语的字幕信号和定义多个影像的影像信号在重现定时上相对应并存储；

字幕重现单元，从由上述字幕影像存储单元存储的字幕信号定义的多个字幕语中，将至少2个以上的字幕语重现；

影像提取单元，从由上述字幕影像存储单元存储的影像信号定义的影像中，提取赋予了与下述重现定时对应的重现定时的影像，上述重现定时是对上述字幕重现单元所重现的各字幕语赋予的；以及

影像重现显示单元，将上述影像提取单元所提取的影像重现并显示。

为了解决上述课题，本发明第3观点所涉及的附带字幕的影像重现装置其特征为，

具备：

存储单元，将定义多个字幕语的字幕信号和定义多个影像的影像信号，按照重现顺序进行对应并存储；

字幕重现单元，将由上述字幕信号定义的字幕语重现；

计时单元，计算时间，并检测从上述字幕重现单元重现中的字幕语重现开始经过了规定时间的情况；

字幕转换单元，在由上述计时单元检测到经过规定时间时，控制上述字幕重现单元，取代当前重现中的字幕语使下述字幕语重现，该字幕语具备重现中字幕语的下一重现顺序；

影像重现单元，从上述影像信号定义的各影像之内将具有下述重现顺序的影像重现，该重现顺序与上述字幕重现单元重现中的字幕语对应；以及

列表显示单元，生成并显示下述列表，该列表包括上述字幕重现单元重现中的字幕语、从该字幕语的重现顺序靠前规定顺序的字幕语和从该字幕语的重现顺序靠后规定顺序的字幕语。

根据本发明第1观点所涉及的附带字幕的影像重现装置，可以适当转换重现字幕语(的列表)和影像双方的状态及重现影像的状态，使视觉辨认度及操作性得到提高。

根据本发明第2观点所涉及的附带字幕的影像重现装置，可以同时重现多个影像和对应的字幕语。

根据本发明第3观点所涉及的附带字幕的影像重现装置，每次经过规定时间字幕语都被自动转换，并且影像也被转换。

附图说明

图1是在将本发明实施方式所涉及的移动电话打开的状态下从正面看到时的外观图。

图2是表示图1所示的移动电话结构的框图。

图3(a)是表示存储于存储部中的数据例的附图，图3(b)是示例TSP结构的附图，图3(c)是表示内容数据结构例的附图，图3(d)是表示字幕PES结构例的附图。

图4是表示字幕管理数据的数据结构一例的附图。

图5是表示定位点管理信息的数据结构一例的附图。

图6是表示从内容录制数据提取信息来生成字幕管理数据的处理的流程图。

图7(a)是表示在附带列表视听模式下显示的画面第1例的附图，图7(b)是表示在通常视听模式下显示的画面例的附图，图7(c)是表示在 附带列表视听模式下显示的画面第2例的附图。

图8是表示转换“附带列表视听模式”和“通常视听模式”并重现附带字幕影像的处理的流程图。

图9是影像提取处理的流程图。

图10是表示影像帧和字幕数据的重现定时一例的附图。

图11是表示影像帧一部分缺失后的内容录制数据一例的附图。

图12是表示实施方式1的应用例2所涉及的影像提取处理的流程图。

图13是说明从TV信号提取信息来生成字幕管理数据的动作所用的附图。

图14是表示将显示面板的整个显示区域分割成字幕区域、影像区域、软键区域及图示区域时的配置例的附图。

图15是表示3帧显示模式下的画面一例的附图。

图16是表示提取与字幕语显示时刻对应的影像的处理的流程图。

图17(a)是表示在3帧显示模式下向下滚动1帧之前的画面的附图，图17(b)是表示在3帧显示模式下向下滚动1帧之后的画面的附图。

图18是表示1帧滚动处理的流程图。

图19(a)是表示在3帧显示模式下进行页面后移时的画面例的附图，图19(b)是表示在3帧显示模式下进行页面前移时的画面例的附图。

图20是表示页面调度处理的流程图。

图21是表示对字符数比字幕区域的可显示字符数更多的字幕语全文进行显示之前的画面一例的附图。

图22(a)是表示对字符数比字幕区域的可显示字符数更多的字幕语全文进行显示之后的画面第1例的附图，图22(b)是表示对字符数比字幕区域的可显示字符数更多的字幕语全文进行显示之后的画面第2例的附图。

图23是表示将字幕区域放大的处理的流程图。

图24(a)是表示在“3帧显示模式”下显示通常影像时的画面例的附图，图24(b)是表示在“4帧显示模式”下显示横宽影像时的画面例的附图。

图25是表示对应于影像的形式(横宽影像或通常影像)设定“4帧显示模式”或“3帧显示模式”画面的处理的流程图。

图26是表示“横宽显示模式”画面结构一例的附图。

图27是表示设定“横宽显示模式”画面的处理的流程图。

图28是表示内容列表数据的数据结构一例的附图。

图29(a)是表示同时显示多个内容的各影像时的附带标题的画面的第1例的附图，图29(b)是表示在图29(a)附带标题的画面的显示中变更要重现的内容时的附带标题的画面的附图。

图30是表示在“附带标题显示模式”下用来随着重现的附带字幕影像的变更来变更其标题的处理的流程图。

图31是表示“影像放大显示模式”的画面一例的附图。

图32是表示“影像放大显示模式”动作的流程图。

图33是表示在应用例2-2中和附带字幕影像一起显示字幕列表的画面的附图。

图34是表示实施方式3所涉及的自动滚动处理的流程图。

图35是表示字幕管理数据例的附图。

图36(a)是表示应用例3-1中生成字幕管理数据的处理的流程图，图36(b)是表示应用例3-1中的自动滚动处理的流程图。

图37(a)是表示显示转换时间信息数据结构一例的附图，图37(b)是表示应用例3-2中的自动滚动处理的流程图。

图38(a)是表示子菜单显示前的画面一例的附图，图38(b)是表示子菜单显示后的画面一例的附图，图38(c)是表示实施方式3所涉及的字幕转换时间设定画面一例的附图，图38(d)是表示应用例3-1所涉及的字幕转换时间设定画面第1例的附图，图38(e)是表示应用例3-2所涉及的字幕转换时间设定画面第2例的附图，图38(f)是表示应用例3-3所涉及的字幕转换时间设定画面一例的附图。

图39(a)是表示应用例3-1所涉及的画面第1例的附图。图39(b)是表示应用例3-1所涉及的画面第2例的附图。图39(c)是表示应用例3-1所涉及的画面第3例的附图。图39(d)是表示应用例3-1所涉及的画面的附图。

图40是表示应用例3-1中的自动滚动处理的流程图。

图41是表示字幕管理数据的数据结构第3例的附图。

图42是表示字幕管理数据的数据结构第4例的附图。

图43(a)是表示将起始影像和起始的字幕语没有对应的内容重现时的画面一例的附图，图43(b)是表示将起始影像和伪字幕语相对应来重现内容时的画面一例的附图，图43(c)是表示将最后的影像和最后的字幕语没有对应的内容重现时的画面一例的附图，图43(d)是表示使最后的影像和伪字幕语相对应来重现内容时的画面一例的附图。

图44是表示应用例3-2中显示与起始影像对应的伪字幕语的处理的流程图。

图45是表示应用例3-2中显示当前显示中的前一个字幕语的处理的流程图。

具体实施方式

(实施方式1)

下面，说明本发明实施方式所涉及的附带字幕的影像重现装置。本实施方式是将附带字幕的影像重现装置使用到具备内容接收功能的移动电话装置1中的例子。移动电话装置1能够接收根据任意数据传输方式的内容。在下面，移动电话装置1接收单波段广播。

移动电话1是一种具备内容录制重现功能的移动电话，例如是图1所示的那种折叠型，并且具备键盘2及显示面板5等。

键盘2具备光标键3、显示转换按钮4及其他各种按钮。键盘2被用户操作，输入各种各样的数据和指令。例如，键盘2使用于附带字幕影像的重现及结束、字幕语的列表(下面，称为“字幕列表”)显示或非显示等指令的输入。

显示面板5由点矩阵型的LCD(液晶显示)面板等构成，显示数据(例如，附带字幕影像、字幕列表等)。

另外，在移动电话装置1中，配置通话用麦克风6、通话用扬声器7及扬声器8。通话用麦克风6输入通话声音。通话用扬声器7输出接听声音。扬声器8输出内容重现时的声音等。

对于移动电话1的电路结构进行说明。移动电话1如图2所示，具备控制部11、存储部12、操作部13、显示部14、调谐器15、解码部16、声音输出部17、声音输入部18、通信部19及总线20。

控制部11由微处理单元等构成，控制移动电话1整体的动作。例如，控制部11控制所录制内容(影像)的重现开始和结束。另外，控制部11通过显示部14使数据(字幕语、影像、字幕列表等)显示于显示面板5上。

存储部12存储各种数据。例如，存储部12存储控制部11的动作控制用程序。存储部12由内置在移动电话1中的存储器及/或可拆卸的外部存储器构成。操作部13具备上述的键盘2等，响应用户的操作，将操作信号提供给控制部11。

显示部14由显示面板5和驱动电路等构成，按照控制部11的控制将图像显示于显示面板5上。调谐器15对经由天线所接收到的单波段广播内容进行解调，把解调后的信号(基带信号)输出给解码部16。解码部16对调谐器15所输出的内容进行解码，并加以输出。

声音输出部17具备上述的通话用扬声器7、扬声器8及DAC(DigitalAnalog Converter/数模转换器)等，例如由控制部11对所重现内容的声音信号实施DA转换，并通过扬声器8发出声音。声音输入部18在通话时等，收集声音信号并将其提供给通信部19。通信部19通过基站，收发通话声音及各种数据等。总线20在各单元间相互传输数据。

下面，对于本实施方式中特征性的字幕列表显示动作所需要的信息，进行说明。图2所示的存储部12如图3(a)所示，存储内容录制数据121、字幕管理数据122及定位点管理信息123。  

单波段广播的内容(电视信号)由图3(b)所示的那种TSP(TransportStream Packet/传输流数据包)构成。如图所示，TSP由多个数据包的数据流构成。多个数据包包含：影像数据包V(包含后述的VI和VP)，将影像数据存储于有效载荷中；声音数据包Ap，将声音数据存储于有效载荷中；字幕数据包Cp，将字幕数据存储于有效载荷中。

控制部11将所接收到的构成TSP的各数据包按所存储数据的种类进行分类。控制部11根据对各数据包所赋予的数据包号码等重新配置分类后数据的序号，生成图3(c)所示的视频PES(Packetized Elementary Stream/打包的基本流)131、声音PES132及字幕PES133。控制部11将它们存储于存储部12中，来作为内容录制数据121。

视频PES131是一种打包后的影像帧压缩编码数据，包含定义各影像帧 (影像)的数据。另外，各影像帧包含表示其重现定时的数据。

单波段广播中的TSP是一种根据预编码方式的数据。因此，视频PES131包含：IDR(Instantaneous Decoder Refresh/即时解码器刷新)帧(对应于独立影像数据包VI)，不参照其他的影像帧；P帧(对应于参照影像数据包VP)，参照比自身的重现定时更靠前重现的IDR帧。

还有，在单波段广播中，影像帧的帧速率是15帧/秒。

声音PES132是一种打包后的声音压缩编码数据。

字幕PES133是一种打包后的字幕语压缩编码数据。字幕PES133包含字幕管理数据122的生成所需要的信息。例如，字幕PES133具有表示字幕语Mn(n：1～N，N：内容录制数据121内字幕PES的个数)、字幕重现定时tmn(n：1～N)和控制符号CSn(n：1～N)的信息。

“字幕语Mn”表示附带字幕影像的字幕语内容，是一种作为字幕管理数据122的字幕语Mn被存储的数据。“字幕重现定时tmn”表示重现字幕语Mn的定时，用PTS(Presentation Time Stamp/显示时间标签)单位来表示。在单波段广播中，各字幕语按每15秒1次的比例来生成。

字幕管理数据122如图4所示，将“字幕显示时刻TMn”和“字幕语Mn”相对应。“字幕显示时刻TMn”表示显示字幕语Mn的时刻。在本实施方式中，字幕显示时刻TMn设为以内容录制数据121的重现开始时为基准的偏移时刻。“字幕语Mn”表示附带字幕影像的字幕语内容。还有，字幕显示时刻TMn也可以是帧号码等。

定位点管理信息123如图5所示，将各帧的影像显示时刻TRn(n：1～N)和影像位置PRn(n：1～N)相对应。

“影像显示时刻TRn”表示各影像帧被显示的时刻，以PTS单位来表示。“影像位置PRn”是表示内容录制数据121中的影像帧位置的索引。在本实施方式中，利用包含IDR帧起始的TSP号码(数据包号码)来表示“影像位置PRn”。

下面，说明具有上述结构的实施方式1的移动电话1的动作。移动电话1的通信动作本身和一般的移动电话相同。因此，下面说明本实施方式中特征性的移动电话1重现附带字幕影像的动作。

移动电话1具备：“通常视听模式”，在不显示字幕列表的状况下，重 现附带字幕影像；“附带列表视听模式”，一边显示字幕列表，受理字幕语的选择，一边重现附带字幕影像。在附带列表视听模式下，用户(视听者)可以从所显示字幕的列表中选择任意的字幕语。若选择出字幕，则显示所选择的字幕语，并且显示与该字幕语对应的影像。

用户能够通过显示转换按钮4或软键的操作，在“附带列表视听模式”和“通常视听模式”之间转换画面的显示状态。

若用户选择“附带列表视听模式”，则控制部11显示附带字幕影像，并且显示字幕的列表。该字幕的列表包含当前显示中的字幕语和位于该字幕语前后的规定数目的字幕语。被列表的字幕语是以当前显示中的字幕和该字幕语的重现定时为基准，重现定时在规定时间范围内的字幕语。

在“附带列表视听模式”下显示于显示面板5上的画面例如是图7(a)所示的画面D1。在本实施方式中，字幕列表中所示的字幕语个数是5个。

控制部11在显示字幕列表时，从字幕管理数据122中读出字幕语Mn。因此，控制部11要从内容录制数据121包含的字幕PES中提取信息，预先生成字幕管理数据122。

下面，对于控制部11生成该字幕管理数据122的动作，进行说明。

控制部11在内容(TV信号)的录制后，开始字幕管理数据122的生成。如图6所示，控制部11判断内容录制数据121内字幕PES的有无，如果没有(步骤S11：否)，则结束处理。

如果有字幕PES(步骤S11：是)，则控制部11提取字幕PES(步骤S12)。控制部11判断是否从该字幕PES中提取到字幕语Mn(步骤S13)。若提取到(步骤S13：是)，则分析字幕PES，并取得字幕重现定时tmn。

接着，控制部11从字幕重现定时tmn中，减去内容录制数据121起始帧的重现定时，并求取从影像的重现开始至字幕语Mn的重现为止的经过时间(PTS单位)(步骤S14)。

控制部11将求出的经过时间(PTS单位)换算为时分秒单位(HMS单位)(步骤S15)。控制部11将该经过时间(时分秒单位)存储于字幕管理数据122中来作为字幕显示时刻TMn(步骤S16)。

接着，控制部11从字幕PES133中提取字幕语Mn，并存储于字幕管理数据122中(步骤S17)。控制部11在达到内容录制数据121的最后之 前(步骤S18：是)，重复上述的处理。至此，字幕管理数据122的生成结束。

若用户操作了显示转换按钮4或规定的软键(例如，画面“soft1”键)，指示从“附带列表视听模式”向“通常视听模式”的转换，则控制部11结束字幕列表的显示，并控制显示部14使之只显示附带字幕影像。更为详细而言，控制部11取代图7(a)所示的画面D1，使图7(b)所示例的显示附带字幕影像的画面D2显示于显示面板5上。控制部11为了有效利用空余的空间，例如将影像及字幕语的显示尺寸按纵横增大k倍，在相对较大的画面上显示图像。或者，显示除字幕列表之外的任意信息(例如，所接收到的新闻、消息等)。

在该状态下，若用户操作了显示转换按钮4或规定的软键，指示从“通常视听模式”向“附带列表视听模式”的转换，则控制部11维持附带字幕影像的重现动作，同时使之显示字幕列表。例如，控制部11取代图7(b)所示例的显示附带字幕影像的画面D2，使图7(c)所示的画面D3显示于显示面板5上。

下面，对于控制部11按照用户操作将附带字幕影像的显示模式在“通常视听模式”和“附带列表视听模式”之间转换的处理，进行说明。

如图8所示，若检测到用户按下显示转换按钮4或软键(例如，图7(a)所示的“soft1”)，则控制部11判断作为转移目标的视听模式是否指示了“附带列表视听模式”和“通常视听模式”中的某一个(步骤S21)。如果检测时的视听模式是“通常视听模式”，则控制部11判断为指示了向“附带列表视听模式”的转移。

若是向“附带列表视听模式”的转移(步骤S21：附带列表视听模式)，则控制部11取得指示转移时所重现影像的影像显示时刻(下面，称为“转换时显示时刻TS”)(步骤S22)。转换时显示时刻TS例如可以从当前显示中影像的影像显示时刻TRn、用来管理影像显示时刻的基准时刻(STC)等来取得。

接着，控制部11比较该转换时显示时刻TS和字幕管理数据122内的各字幕显示时刻TMn，确定比转换时显示时刻TS靠后且具有最开始的字幕显示时刻TMn的字幕语Mn(步骤S23)。该字幕语为转换后开始重现的 字幕语。

接着，控制部11确定所确定的字幕语Mn以及比该字幕语靠前或靠后(的范围内)规定定时重现的字幕语，使其列表(字幕列表)显示于显示面板5上(步骤S24)。此时，控制部11使之在字幕列表显示用的列表区域LA中央，显示当前重现中的字幕语Mn。

接着，控制部11从内容录制数据121中提取具有与字幕语Mn对应的影像显示时刻的影像，使之显示于影像区域RA上(步骤S25)。

图9表示步骤S25处理的详细情况。如图所示，控制部11从视频PES提取影像帧的信息(步骤S251)。控制部11根据所提取的信息，判断所提取的影像帧是否是IDR帧(步骤S252)。如果所提取的影像帧不是IDR帧(步骤S252：否)，则处理返回到步骤S251。

另一方面，若所提取的影像帧是IDR帧(步骤S252：是)，则求取在内容录制数据121内从起始影像(帧)的重现开始到该IDR帧重现的经过时间(步骤S253)。例如，控制部11从所提取IDR帧的影像重现定时(PTS单位)减去起始影像的重现定时，来求取经过时间。

接着，控制部11判断该IDR帧是否是当前重现中的字幕语Mn。因此，控制部11要判断字幕语Mn的字幕显示时刻TMn是否比此次求出的经过时刻大(步骤S254)。

如果字幕显示时刻TMn比此次求出的经过时刻大(步骤S254：是)，则存在所提取的IDR帧比当前重现中的字幕语Mn更靠前重现，并且与字幕语Mn对应的可能性。因此，控制部11保存该IDR帧的影像位置(步骤S255)，并且处理返回到步骤S251。

另一方面，如果字幕显示时刻比此次求出的经过时刻小(步骤S254：否)，则上次所提取的IDR帧在紧接字幕语Mn的重现定时之前进行重现，并且与当前重现中的字幕语Mn对应。此时，控制部11从在步骤S255中存储的影像位置PRn读出IDR帧，使之显示于显示面板5上(步骤S256)。然后，处理返回到图8，并结束。

另一方面，若在图8的步骤S21中判断出是向“通常视听模式”的转移，则控制部11因为在不显示字幕列表的状况下进行附带字幕影像的一般重现，所以将处理转移到步骤S26。

比较重现中的字幕语Mn具有的字幕显示时刻TMn和定位点管理信息123内的各影像显示时刻TRn，确定紧接字幕显示时刻TMn之前的影像显示时刻TRn(步骤S26)。

再者，将与所确定的影像显示时刻TRn对应的影像位置PRn所示的数据包影像帧重现(步骤S27)。在图5的例子中，从与影像显示时刻TRn相对应的影像位置PRn(TSP的号码)所示的视频PES的IDR帧In，开始重现。另外，控制部1 1重现与当前重现中的影像对应的字幕语Mn(步骤S27)。

接着，控制部11进行步骤S29～S30的处理，重现附带字幕影像。控制部11通过计时器(例如，控制部11内的软件计时器)开始计算经过时间。控制部11若检测到经过了规定时间的情况(步骤S29：是)，则判断重现中的字幕语在内容录制数据121内是否是最后的字幕语。如果不是最后的字幕语(步骤S30：否)，则处理返回到步骤S26，若是最后的字幕语(步骤S30：是)，则结束附带字幕影像的重现。至此，转换附带列表视听模式和通常视听模式，结束重现内容的处理。

如同上面所说明的那样，在本实施方式中，用户可以通过简单的操作，适当转换“附带列表视听模式”和“通常视听模式”。在附带列表视听模式下，可以利用所显示的字幕列表，适当选择任意的字幕，显示所选择的字幕和对应的影像。

另一方面，在通常视听模式下，可以不显示字幕列表，而有效利用较小的画面来显示各种信息。例如，也可以使用空余的空间来显示影像和字幕，或者也可以显示其他信息。从而，可以一方面维持字幕选择时的操作性，同时另一方面良好维持因限制显示于画面上的信息量而产生的视觉辨认度提高的均衡。

(应用例1-1)

在上述实施方式中，当转换动作模式时，根据重现影像的开始点及重现的字幕语选择方法的不同，有时带来影像在时间轴上回溯的那种印象。

参照图10并根据具体例，来说明该现象。

图10是示例由影像PES及字幕PES定义的影像帧(IDRn和Pm)和字幕(Mn)的显示定时的附图。    

这里，例如设为在“附带列表视听模式”下字幕语M2及IDR帧I2的重 现中，用户指示了向“通常视听模式”的转移。此时，控制部11从紧接转换前所重现的字幕语M2之前的IDR帧，也就是IDR帧I2开始重现。

再者，设为在向该“通常视听模式”的转换后，在处于IDR帧I2～P帧P4之间的某个影像帧重现中，指示了向“附带列表视听模式”的转换。此时，控制部11重现字幕语M1，该字幕语M1在时间上紧接指示时所重现的影像重现定时之前。接着，控制部11从位于在时间上紧接字幕语M1之前的IDR帧I1开始影像的重现。

因此，将显示回溯后的印象附带给视听者。该现象若频繁进行动作模式的转换，则较为显著。

为了解决这种问题，当从“附带列表视听模式”转换成“通常视听模式”时，可以显示具有下述重现定时的字幕语，该重现定时与转换前所显示的影像显示时刻(显示定时)相比更晚。也就是说，在用户将视听模式从“附带列表视听模式”转换成“通常视听模式”时，可以在步骤S28中确定转换前所重现的影像重现定时，在步骤S30中提取具有所确定的重现定时之后且最开始的重现定时的字幕语，使之开始重现。

同样，当从“通常视听模式”转换成“附带列表视听模式”时，可以将在步骤S23中选择的字幕语，作为具有在步骤S22中所确定的重现定时之后且最开始的重现定时的字幕语，并且把在步骤S25中重现的影像开始点称为比该字幕语的重现定时靠后的独立帧。

若以图10为例进行说明，就是例如虚拟在“通常视听模式”→“附带列表视听模式”的转换时显示出帧P3，则在图8的步骤S28中判断帧P3的显示时刻，从紧接其后的独立影像帧IDR3开始影像的重现(步骤S29)，重现在时间上紧接帧P3之后的字幕语M2(步骤S30)。

另外，虚拟在“附带列表视听模式”→“通常视听模式”的转换时显示出帧P3，则在图8的步骤S23中判断帧P3的显示时刻(步骤S22)，将其紧接着的字幕语M2作为重现对象(步骤S23)，从独立影像帧IDR3开始影像的重现(步骤S25)。

因此，即使在短期间内反复进行视听模式的转换时，也可以在附带字幕影像的重现中，避免回溯重现定时来显示字幕语及影像。    

如同上面所说明的那样，根据应用例1-1，在转换了附带列表视听模式 和通常视听模式时，显示下述字幕语，该字幕语具有转换前所重现的影像重现定时之后且最开始的重现定时。因此，可以避免因视听模式转换的重复而再次显示已经重现过的字幕语。

在视听模式的转换时选择的影像帧和字幕语不限定为上述的例子，而可以适当选择。

(应用例1-2)

移动电话一般情况下一边变换当前位置一边接收内容。因此，根据位置的不同，有时不能良好接收广播波，而使内容录制数据121的一部分缺失。

例如，在图11的例子中，内容录制数据121在内容缺失的时间段(数据缺失区间TB)内，P帧P21～P帧P34的数据、I帧IDR2～IDR6的数据以及字幕语M1～M3的数据缺失。

虚拟，在将该内容录制数据121在“通常视听模式”下重现到紧接数据缺失区间TB之后时，用户指示了向“附带列表视听模式”的转换。此时，重现中的字幕语是字幕语M4。

控制部11提取紧接字幕语M4之前的IDR帧作为转换后最先重现的影像。这里，因为不存在数据缺失区间TB内的影像帧，所以提取I帧IDR1作为处于紧接字幕语M4之前的IDR帧要，进行重现。这种情况下，有可能将与重现中字幕语M4的内容不相符的影像重现。

为了解决该问题，可以在数据缺失区间TB内的内容重现中，取代其影像，使之显示规定的画面(例如，完全涂黑的画面)。下面，对于进行这种动作的应用例1-2的移动电话1，进行说明。

在应用例1-2中，转换附带列表视听模式和通常视听模式来重现内容的处理基本上和参照图8所说明的处理相同。但是，在应用例1-2中，控制部11在“附带列表视听模式”下，取代上述的步骤S25(图9)，执行图12所示的步骤V11～V13的处理。

控制部11执行图8所示步骤S21～S23的处理，若检测到向“附带列表视听模式”的转换，则确定要重现的字幕语。接着，处理进入到图12的步骤V11，确定紧接所确定的字幕语之前的IDR，接着，参照定位点管理信息123，求取该IDR的显示时刻，求取所确定字幕语的字幕显示时刻TMn 和紧接该字幕显示时刻之前的IDR帧影像显示时刻之差(步骤V11)。

在其差为规定值(例如，5秒)以上时(步骤V11：是)，取代内容录制数据121的影像，使之显示规定的画面(例如，完全涂黑的画面、图像缺失之意的消息)(步骤V12)。因此，即使内容录制数据121的数据一部分缺失，也可以避免显示与重现中的字幕语不相符的影像。

另一方面，如果求出的差比规定值小(步骤V11：否)，则使之显示影像位置PRn所示的影像帧(步骤V1 3)。步骤V13的处理和图9所示的例子相同。

如同上面所说明的那样，根据应用例1-2，在内容录制数据121内存在数据缺失区间TB并且该区间比规定时间大时，取代内容的影像，使之显示规定的画面。因此，可以避免显示与重现中的字幕语不相符的影像。

(异例)

在上面的说明中，虽然为了易于进行字幕语的选择，显示出字幕语的列表，但是能选择字幕语的方法是任意的。例如，也可以显示与字幕语对应的图标或按钮，通过它们的选择来选择字幕语。另外，也可以将字幕语的列表分层等。再者，也可以通过来自键盘的输入直接受理字幕语的选择。

另外，在图8的例子中从“附带列表视听模式”转换成“通常视听模式”时，如果在“附带列表视听模式”下结束了步骤S25的处理，则不进行步骤S28～S29的处理，也可以。这种情况下，可以从转换前所重现的影像帧重现。

字幕显示时刻TMn不限于附带字幕影像的重现开始时，也可以以任意的时刻为基准来表示。另外，字幕显示时刻TMn及影像显示时刻TRn不限于时分秒单位或PTS(Presentation Time Stamp/显示时间标签)单位，也可以用任意的单位来表示。

在“通常视听模式”下，也可以在不显示字幕语的状况下重现内容。另外，其结构也可以根据需要，具有快进功能。

在从“通常视听模式”转换成“列表视听模式”时，也可以在不进行来自视频PES的影像帧提取处理的状况下，比较字幕管理数据122的字幕显示时刻TMn和定位点管理信息123的影像显示时刻TRn，使之显示紧接字幕显示时刻TMn之前的影像位置PRn所示的TSP影像。

(实施方式2)

下面，对于本发明第2实施方式所涉及的移动电话，进行说明。

本实施方式的移动电话1具备和图1及图2所示的结构相同的结构。

下面，参照图13至图32，对于移动电话1的附带字幕影像重现动作进行说明。

在本实施例中，也能够将多个字幕语和与各字幕语对应的各影像同时重现，并进行显示。(下面，将该显示状态称为“多个影像显示模式”)。用户能够通过显示转换按钮4或软键的操作，在视听附带字幕影像时，选择同时显示于显示面板5上的字幕语及影像个数。

控制部11和第1实施方式相同，在内容的录制后，提取TV信号包含的字幕PES(Packetized Elementary Stream/打包的基本流)中所存储的信息，生成字幕管理数据122。生成字幕管理数据122的动作和在图6所示的第一实施方式1中制作字幕管理数据122的动作相同。

字幕PES是一种打包后的字幕压缩编码数据，具有生成字幕管理数据122所需要的信息。用具体例子进行说明，就是在TV信号作为图13所示的TV信号SG时，字幕PES具有字幕语Mn(n：1～N，N：TV信号SG内包含的字幕PES个数)、字幕重现定时tn(n：1～N)的信息以及控制码CSn(n：1～N)等的信息。

“字幕语”是表示附带字幕影像的字幕语内容的数据。“字幕重现定时”是用来以PTS(Presentation Time Stamp/显示时间标签)单位来表示重现“字幕语”的定时。在图13所示的TV信号SG例子中，多个字幕重现定时t1～tN对应于重现各字幕语M1～MN的定时(PTS单位)。

控制码是意味着将字幕语按规定的单位统一定界的代码。在图13所示的TV信号SG例子中，多个控制码CS1～CSN意味着，对应于各字幕语M1～MN，对各字幕语进行定界。控制部11提取个数和TV信号SG内包含的控制码CSn(n：1～N)个数相同的字幕语。下面，对于控制部11从上述的字幕PES提取信息并生成字幕管理数据122的处理(图6)，以图13的TV信号SG为例进行说明。

如图6所示，控制部11若开始了字幕管理数据122的生成，则首先尝试从上述TV信号SG提取字幕PES，判断TV信号SG内字幕PES的有无 (步骤S11)。如果没有(步骤S11：否)，则控制部11结束字幕管理数据122的生成。

如果在TV信号内有字幕PES(步骤S11：是)，则在字幕PES的提取后(步骤S12)，控制部11判断是否从该字幕PES内包含的信息提取到字幕语(步骤S13)。若提取到字幕语(步骤S13：是)，则控制部11分析字幕PES，取出表示字幕语重现定时(PTS单位)的信息。

接着，控制部11从下述字幕语M1的字幕重现定时t1，减去在起始的影像R1的重现定时TR1，求取从起始影像R1的重现开始至字幕语M1的重现时为止的经过时间(PTS单位)(步骤S14)，上述字幕语M1是从图13所示TV信号SG的字幕PES最先提取的。这里获得的经过时间(PTS单位)相当于以起始影像的重现定时为基准时刻0时的偏移时刻。

接着，控制部11将在步骤S14中求出的经过时间(PTS单位)换算为一般的时分秒单位(步骤S15)，则将该经过时间(时分秒单位)存储于字幕管理数据122中来作为字幕显示时刻TM1(步骤S16)。

以图13的具体例子来说明，就是控制部11将把在步骤S14求出的经过时刻(PTS单位)换算成时分秒单位后的“00:00:00”存储于字幕管理数据122中，来作为字幕显示时刻TM1。还有，字幕语的显示时刻也可以不换算为时分秒单位，而以PTS单位的原状来表示。

在显示时刻的存储后，控制部11从TV信号中提取存储于字幕管理数据122中的字幕语。因此，控制部11如图13所示，存储TV信号SG最开始的字幕PES内包含的紧接控制码CS1之前被定界的字符串(“早晨好。是个好天气呀。”)，来作为字幕管理数据122的字幕语M1(步骤S17)。还有，在TV信号SG内只包含控制码CS1时，控制部11把TV信号SG内包含的全部字幕语存储于字幕管理数据122中，来作为字幕语M1。

在最开始的字幕语M1存储后，控制部11判断是否达到TV信号SG内最后的控制码CSN(步骤S18)。如果未达到最后的控制码(步骤S18：否)，则处理返回步骤S11。控制部11提取下一字幕PES(步骤S12)，取得图13所示的TV信号内在控制码CS1和控制码CS2之间的字幕重现定时(PTS单位)t2。在取得后，控制部11将从该字幕重现定时(PTS单位)t2减去起始影像R1的重现定时TR1(步骤S14)，将求取的经过时间，从 PTS单位换算成时分秒单位(步骤S15)。

控制部11将在步骤S115中换算单位后的经过时间(“00:00:20”)存储于字幕管理数据122中，来作为字幕显示时刻TM2(步骤S16)。

另外，控制部11存储包含于从最开始的控制码CS1到下一控制码CS2之间的字符串，作为字幕管理数据122的字幕语M2(步骤S17)。在图13所示的TV信号SG例子中，控制部11存储位于控制码CS1和控制码CS2之间的字符串“你好。”。还有，控制部11将字幕语Mn(n：1～N)根据字幕显示时刻TMn(n：1～N)按升序进行分类。

控制部11在达到TV信号SG内最后的控制码CSN之前(步骤S18：是)，重复上面的处理，生成字幕管理数据122。

若用户通过显示转换按钮4或软键的操作，选择了“多个影像显示模式”，则控制部11根据所生成的字幕管理数据122，将多个字幕语和赋予了下述重现定时的各影像同时进行重现显示，该重现定时与各字幕语的重现定时对应。还有，将同时显示K个(K帧)字幕语及各影像的多个影像显示模式称为“K帧显示模式”。

在下面，以同时显示3个字幕语和与各字幕语的重现定时对应的各影像的“3帧显示模式”为例，对于本实施方式中将多个字幕语和与各字幕语的重现定时对应的影像同时进行重现显示的动作，进行说明。

若用户操作了显示转换按钮4或软键，选择“3帧显示模式”，则控制部11从在显示面板5上显示各数据的整个区域分配下述区域来进行处理，该区域用来显示3个字幕语和与各字幕语对应的各影像。下面，有关该处理，参照图14进行说明。

首先，控制部11从与整个显示面板5对应的虚拟显示区域D中，去除用来显示图示图标的图示区域PA及用来显示软键的软键区域FA。

接着，控制部11根据去除图示区域PA及软键区域FA后的显示区域D的剩余区域，来决定i)作为用来显示字幕语的字幕区域MA而分配的虚拟区域尺寸及位置、ii)作为用来显示影像的影像区域RA而分配的虚拟区域尺寸及位置。字幕区域MA及影像区域RA例如是单波段广播中的字幕虚拟平面及影像虚拟平面。    

虽然求取字幕区域MA、影像区域RA尺寸的方法是任意的，但是作为 一例可以采用下面的方法。控制部11根据字幕语内包含的字符个数和字体数据的纵横象素数，来决定字幕语的显示所需要的区域尺寸。另外，控制部11根据各影像的纵横象素数，来决定各影像的显示所需要的区域尺寸。

在尺寸的决定后，控制部11决定在显示区域D内确保字幕区域MA及影像区域RA的位置。虽然求取字幕区域MA、影像区域RA位置的方法是任意的，但是作为一例可以采用下面的方法。控制部11决定各区域的位置，以使字幕区域MA和影像区域RA不重合。还有，在决定出字幕区域MA及影像区域RA的位置时，控制部11把代表字幕区域MA、影像区域RA的矩形4个顶点的坐标值(x，y)分别存储于存储部12中。

接着，控制部11按照要显示的字幕语个数及影像个数(“在3帧显示模式”下都是“3”)，将字幕区域MA及影像区域RA分别分割为多个区域。控制部11求取将字幕区域MA的纵向(y方向)宽度(y2-y1)3等份时的2个分割点对应的y坐标值。求出的y坐标值为定义图15所示的字幕区域MA2的矩形4个顶点y坐标值。

另外，控制部11将图14所示的字幕区域MA上x坐标的最小值x1及最大值x0，与前面求出的2个分割点y坐标值进行组合，确定图1 5所示的字幕区域M2的4个顶点坐标值(x，y)。控制部11将从字幕区域MA除去字幕区域MA2得到的2个区域，分别设定为图15所示的字幕区域MA1、MA3。在将图14所示的影像区域RA分割为图15所示的影像区域RA1～RA3时，也可以使用与将字幕区域MA分成3份时实质上相同的方法。

由控制部11分割后字幕的区域是显示登录在字幕管理数据122中的连续字幕语Mn的区域。在图15所示的“3帧显示模式”画面D1例子中，控制部11使之在字幕区域MA1上显示在图4所示的字幕管理数据122之内具有最开始重现定时(字幕显示时刻TM1)的字幕语M1，使之在字幕区域MA2上显示字幕语M2，该字幕语M2具有字幕语M1的下一顺序字幕显示时刻TM2。另外，控制部11使之在字幕区域MA3上显示字幕语M2的下一顺序字幕语M3。

控制部11使之在分割后的各影像区域上分别显示具有下述重现定时的各影像，该重现定时与显示在分割后各字幕区域内的各字幕语重现定时对应。在图15所示的画面D1的例子中，控制部11在分割后的影像区域RA1～ RA3上，显示表示人物脸部的影像R1～R3，作为与字幕语M1～M3的重现定时对应的影像。

控制部11为了在多个影像区域上显示与当前重现中的各字幕语对应的各影像，从TV信号SG的影像信号提取与各字幕语的重现定时对应的影像(影像帧)。下面，对于控制部11检索影像数据121使显示在图15所示的画面D1上的各影像显示于各影像区域上的处理，进行说明。

若用户通过操作部13的操作，指示选择附带字幕影像视听用的应用开始或“3帧显示模式”，则控制部11执行图16流程的处理。

在图16的处理中，控制部11从TV信号SG的影像数据121中，取得显示面板5上显示于各影像区域内的个数(下面，称为“显示影像数”)的影像。控制部11在所取得的影像个数(下面，称为“取得完成数”)达到“显示影像数”之前，重复取得影像，并使所取得的各影像显示于各影像区域上。

为了开始计数“取得完成数”，控制部11首先把已取得影像计数器C(未图示)清零，将其设定为0(步骤S1121)。另外，在步骤S1121中，控制部11进行设定，以使从TV信号SG取得的预定影像个数(下面，称为“取得预定数”)与“显示影像数”一致。在图15所示的“3帧显示模式”画面D1的例子中显示影像数是“3”，并且控制部11将取得预定数设定为“3”。

接着，控制部11提取TV信号SG的影像信号内包含的视频PES，根据视频PES内包含的信息，来确定与各字幕语的显示时刻对应的影像重现定时(PTS单位)。因此，控制部11从TV信号SG的影像信号中提取视频PES，提取在TV信号SG之内处于最开始的影像帧信息(步骤S1122)。

该影像帧的信息包含影像的数据及表示该影像被重现的重现定时的信息。影像帧的信息例如如果是单波段广播，则是IDR(Instantaneous DecoderRefresh/即时解码器刷新)接入单元或非IDR接入单元。用具体例子进行说明，就是在TV信号作为图13所示的TV信号SG时，影像帧的信息包含影像(影像帧)的数据以及下述信息，该信息表示重现处于其起始的影像R1的重现定时TR1。还有，重现定时TR1用PTS单位来表示。

控制部11根据在步骤S1122中所提取的影像帧信息，判断所提取的影像帧是否是IDR帧(步骤S1123)。如果所提取的影像帧不是IDR帧(步骤S1123：否)，则处理返回到步骤S1122，控制部11为了提取处于最开始的 IDR帧信息，从TV信号SG提取下一影像帧的信息。

另一方面，如果当前提取中的影像帧是IDR帧(步骤S1123：是)，则控制部11求取从开始重现起始影像帧至重现该IDR帧为止的经过时间(步骤S1124)。此时，控制部11从该IDR帧具有的重现定时(PTS单位)减去处于TV信号SG起始的影像R1的重现定时(PTS单位)TR1，求取其经过时间。还有，在步骤S1124中求出的经过时间是以在TV信号SG内处于起始的影像重现时刻为基准时刻0时的至当前提取的影像重现时为止的偏移时刻。

控制部11判断存储在字幕管理数据122最开始的字幕语M1的字幕显示时刻TM1是否比在步骤S1124中求出的经过时间更大(步骤S1125)。该判断处理是为了判断当前提取的IDR帧是由字幕语M1对应的影像R1参照的帧的可能性有无，来进行的。

在字幕语M1的显示时刻TM1比从起始影像的重现开始至当前提取中的IDR帧重现时为止的经过时间更大时(步骤S1125：是)，当前提取中的IDR帧是比字幕语M1更靠前重现的帧，有可能是由字幕语M1对应的影像帧进行参照的帧。因此，控制部11保存在步骤S1124中所提取的影像帧数据的位置(例如，存储在存储部12内的地址)(步骤S1126)。随后，处理返回到步骤S1122，控制部11进一步定位影像帧，提取其信息。

控制部11从接着所提取的影像帧重现定时减去处于TV信号SG最开始的影像R1的重现定时TR1，来求取接着所提取的影像帧经过时间。如果其经过时间也比字幕语M1的显示时刻TM1小(步骤S1125：是)，则该影像帧比刚刚之前所提取的IDR帧更靠后重现，且比字幕语M1更靠前重现。因此，控制部11取代刚刚之前所提取的影像帧的数据位置，把当前提取中影像帧的数据位置存储于存储部12中(步骤S1126)。

另一方面，在步骤S1125中，如果与从起始影像的重现开始至当前提取中的影像帧被重现为止的经过时间相比，字幕语M1的字幕显示时刻TM1更小(步骤S1125：否)，则当前提取中的IDR帧比与字幕语M1对应的影像R1更靠后重现，且上次所提取的IDR帧是比与字幕语M1对应的影像R1更靠前重现的IDR帧之内与重现定时最近的影像R1接近的帧。因此，控制部11将在步骤S126中所保存的位置存储于存储部12中，来作为 显示于影像区域RA1上的影像R1参照的IDR帧位置(步骤S1 127)。

接着，控制部11为了表示已取得1个影像帧，所以在已取得影像计数器C中加上1(步骤S1128)。这里，在因为对已取得影像计数器C加上1所以“取得完成数”达到按和显示于影像区域上的影像个数相同的个数所设定的“取得预定数”时，此后不需要从影像数据121提取影像。控制部11为了进行该判断，判断已取得影像计数器C是否达到了“取得预定数”(步骤S1129)。如果未达到“取得预定数”(S1129：否)，则处理返回到步骤S1122，并且控制部11进一步定位影像帧。

在已取得影像数计数器C的值达到“取得预定数”(在3帧显示模式下是3)时(步骤S1129：是)，控制部11根据影像数据的位置信息，读出各影像帧。这里读出的各影像帧相当于显示在图15所示的画面D1上的影像R1～R3。

接着，控制部11通过显示部14，将从影像数据121所读出的影像R1显示于显示面板5上的影像区域RA1内。另外，控制部11将在影像数据121内具有影像R1的下一重现定时的影像R2显示于影像区域RA2内，将影像R2的下一影像R3显示于影像区域RA3内(步骤S11210)。还有，此时控制部11为了通过上述的方法，使之显示影像R1～R3，要进行分割影像区域RA来设定各影像区域RA1～RA3的处理。

另外，控制部11将重现定时与影像区域上所显示的影像具有的重现定时对应的字幕语，显示于字幕区域MA1、MA2、MA3内。在图15所示的画面D1的例子中，在字幕区域MA1～MA3内显示字幕语M1～M3。至此，可以将多个字幕语显示于各字幕区域内，将与各字幕语对应的影像显示于各影像区域内。

下面，对于通过在各字幕区域及各影像区域上将当前显示中的各字幕语及各影像替换为别的字幕语及别的影像进行显示来使用户的便利性得到提高的实施方式，进行说明。若在上面所说明的“3帧显示模式”下，可以将当前显示中的字幕语及影像，分别按1帧(1字幕语)向上或下方向进行帧前移(1帧滚动)，则用户能够依次掌握存储信息的内容，使便利性得到提高。

在各字幕区域及各影像区域上使当前显示中的字幕语及影像滚动1帧 时，可以在各字幕区域及各影像区域上取代当前显示中的各字幕语及各影像，显示与具有其前面或后面的重现定时的字幕语及与该字幕语对应的影像。

作为具体例，设为使之向下方向只滚动1帧的对象画面是图17(a)所示的画面D21。为了取代画面D21，显示图17(b)所示的画面D22，可以取代当前显示在画面D21上的字幕区域MA1～MA3内的各字幕语M1～M3，显示具有其下一重现定时的各字幕语M2～M4。另外，还可以取代当前显示中的各影像R1～R3，将与各字幕语M2～M4对应的各影像R2～R4显示于各影像区域RA1～RA3内。

下面，参照图18，对于使显示在各字幕区域上的字幕语分别滚动1帧进行显示的动作，进行说明。还有，设为显示于画面D21及D22上的字幕语是存储在图4所示的字幕管理数据122中的字幕语(字幕语的个数为N个)，并且当前显示在字幕区域MA1内的影像是从字幕管理数据122的起始位于第n个的字幕语Mn(n：从1到N的正整数)。

若用户向下方向按下光标键3(步骤S131：是)，则控制部11比较(N-n)和2。换言之，判断字幕区域MA3中当前显示中的字幕语是否是存储在字幕管理数据122的最后的字幕语MN(步骤S132)。如果(N-n)比2更大(步骤S132：＞)，则当前显示在字幕区域MA3内的字幕语不是存储在字幕管理数据122最后的字幕语MN(具有最后重现定时的字幕语)。此时，控制部11在各字幕区域MA1～MA3上取代当前显示中的各字幕语，显示处于各字幕语下一顺序的各字幕语(步骤S133)。在具体例子中，显示在图1 7(a)的画面D21上的字幕M1～M3替换为图17(b)画面D22的字幕语M2～M4。

另外，控制部11从影像数据121中读出与在步骤S133中新显示的各字幕语对应的各影像，将其显示于各字幕区域RA1～RA3内(步骤S134)。在具体例子中，当前显示在画面D21上的影像R1～R3替换为画面D22的影像R2～R4。至此，向下方向滚动显示1个画面的处理结束。

另一方面，如果在步骤S132中(N-n)是2，则当前显示在字幕区域MA3内的字幕语是存储在字幕管理数据122内最后的字幕语。此时，控制部11结束处理，即使用户向下方向按下光标键3，仍维持当前显示在各字 幕区域MA1～MA3内的字幕显示。

另一方面，在用户向上方向按下光标键3时(步骤S 1 35：是)，执行分别显示前1帧的字幕语及影像的上滚动显示。

此时，控制部11为了判断最开始显示在字幕区域MA1内的字幕语Mn是否是在字幕管理数据122之内处于起始的字幕语M1，判断(n-1)是否比0更大(步骤S 1 36)。

如果(n-1)比0更大(步骤S136：＞)，则显示在字幕区域MA1内的字幕语Mn不是起始的字幕语M1。此时，控制部11使之在各字幕区域MA1～MA3上显示各字幕语(步骤S137)，该各字幕语赋予了比显示中的各字幕语更靠前1个的显示时刻。再者，控制部11从影像数据121读出与在步骤S137中新显示的字幕语对应的影像，将其显示于影像区域RA1～RA3内(步骤S138)。

具体而言，在显示出图17(b)所示的画面D22时，若用户向上方向按下光标键3，则通过步骤S137的处理，在字幕区域MA1～MA3上取代显示中的字幕语M2～M4，显示字幕语M1～M3。另外，通过步骤S138的处理，在影像区域RA1～RA3上取代显示中的影像R2～R4，显示与字幕语M1～M3的重现定时对应的影像R1～R3。由此，显示图17(a)所示的画面D21。

另一方面，如果在步骤S136中(n-1)是0(步骤S136：＝)，则显示在字幕区域MA1上的字幕语是在字幕管理数据122内处于起始的字幕语M1。此时，即便用户向上方向按下光标键3，控制部11仍维持在各字幕区域MA1～MA3上显示中的字幕语M1～M3的显示。至此，在用户向上方向或下方向按下光标键3时，可以使字幕语和与该字幕语对应的影像滚动1帧，进行显示。

还有，变更一部分上面所说明的1帧滚动的流程处理内容，把当前显示中的各字幕语，全部替换为从各字幕语位于“显示影像数(在3帧显示模式下是3)”前面或后面的各字幕语。此时，可以好像翻动图书的页那样进行显示(下面，将该动作称为“页面调度”)。

另外，在下面，将取代显示中的各字幕语及各影像，而显示赋予了“显示影像数”部分后的重现定时的各字幕语及各影像的动作，称为“前移页 面”。另外，将显示赋予了“显示影像数”部分前的重现定时的字幕语及各影像的动作称为“后移页面”。下面，以“3帧显示模式”为例，对于移动电话1进行“页面调度”时的处理进行说明。

如图20所示，控制部11为了判断是否由用户指示了“页面前移”，判断光标键3向右方向的按下有无(步骤S141)。如果有(步骤S141：是)，则控制部11为了判断能否进行“页面前移”，判断在各字幕区域MA1～MA3内最后到第3个之内的字幕语是否是显示中(步骤S142)。如果不是显示中(步骤S142：否)，则控制部11在字幕区域MA1～MA3上取代当前显示中的各字幕语，显示赋予了下述重现定时的字幕语(步骤S143)，该重现定时与当前显示中的各字幕语相比靠后3个。另外，还将与各字幕区域MA1～MA3内所显示的字幕语对应的影像显示于各影像区域RA1～RA3上，把页面前移(步骤S144)。

用具体例子来说明前移过页面时显示面板5上的画面转移。设为，前移页面的对象画面是图19(a)所示的画面D31。在画面D31上的影像区域RA1、RA2、RA3内显示影像R1、影像R2、影像R3，在字幕区域MA1、MA2、MA3内显示字幕语MA1、字幕语MA2、字幕语MA3。

这里，若用户向右方向按下光标键3，则控制部11在字幕区域MA1～MA3内显示赋予了下述重现定时的字幕语M4～M6，且在影像区域RA1～RA3内显示影像R4～R6，该重现定时与字幕语M1～M3相比只靠后“显示影像数(3)”。此时，图19(b)所示的画面D32被显示于显示面板5上。此后，用户每次向右方向按下光标键3，都依次前移字幕语及与该字幕语对应的影像的页面。

另外，在后移页面时，控制部11在图20所示的步骤S145中判断光标键3向左方向的按下有无。如果有(步骤S145：是)，则判断最开始显示在字幕区域MA1上的字幕语Mn是否是在字幕管理数据122中赋予了起始显示时刻的字幕语M1(步骤S146)。

如果不是起始的字幕语M1(步骤S146：否)，则能够进行页面后移。此时，控制部11从字幕管理数据122读出赋予了下述显示时刻的各字幕语，将其显示于各字幕区域MA1与MA3内(步骤S147)，该显示时刻与当前显示中的各字幕语相比只靠前“显示影像数(3)”。另外，还将与各字幕区 域MA1～MA3内所显示的各字幕语对应的各影像显示于各影像区域RA1～RA3上，使页面后移(步骤S 1 48)。

据此，能够进行“页面调度(页面的前移或后移)”。还有，页面调度中画面的转换方法不限于光标键3左右方向的按下，也可以通过操作部13来操作软键区域FA上所显示的软键等。

下面，有关“字幕语的显示”，对于使用户的便利性得到提高的实施方式进行说明。在上面所说明的实施方式中存在下述这样的问题，即在内容的字幕语内包含的字符数比字幕区域可显示的字符数更多时，即便将该字幕语显示于字幕区域内，字幕语也在中间被断开而不显示全文。

为了解决该问题，例如可以放大字幕区域，使各字幕区域可显示的字符数，比内容的字幕语内包含的字符数更大。下面，对于在字幕语的字符数比可显示于字幕区域上的字符数(下面，称为“可显示字符数”)更多时放大字幕区域来显示包含比可显示字符数多的字符在内的字幕语(下面，称为“长字幕语”。)的动作，进行说明。

如图23所示，若用户通过软键选择出任意的字幕语，则控制部11取得所选择字幕语的字符数(步骤S151)，判断该字符数是否比“可显示字符数”更大(步骤S152)。如果所取得字幕语的字符数在“可显示字符数”以下，并且能够在当前确保的字幕区域上进行显示(步骤S152：否)，则结束处理。

另一方面，在所取得的字幕语是“长字幕语”并且其字符数比“可显示字符数”更大时(步骤S152：是)，则在当前确保的字幕区域内无法全部显示字幕语的内容。此时，为了表示在“长字幕语”中有接续，控制部11从“长字幕语”的起始取得“可显示字符数”部分的字符，将其显示于字幕区域内，并且将下述标识显示于字幕区域内(步骤S153)，该标识促进显示“长字幕语”之内非显示的字符。

用具体例子来说明在用户选择出的字幕语是“长字幕语”时在步骤S153中显示的画面。虚拟用户选择出“长字幕语”时的画面是图21所示的画面D41，则显示在字幕区域MA2内的字幕语M2是包含比可显示字符数更多的字符数在内的“长字幕语M2”，无法在当前的字幕区域MA2上显示全文。

此时，控制部11将“长字幕语M2”的字符之内从起始到“可显示字符数” 部分的字符显示于字幕区域MA2内。另外，还显示标识(“←”)，用来对用户促进显示“长字幕语M2”的字符之内非显示的字符。

接着，控制部11在检测到由用户进行的操作部1 3操作之前进行等待，在检测到时，判断该操作是否是指示“长字幕语”全部字符显示的操作(步骤S154)。全部字符显示的指令也可以通过按下显示确定键(未图示)发出。如果不是全部字符显示的指令(步骤S154：否)，则结束处理。如果是全部字符显示的指令(步骤S154：是)，则控制部11计算显示所选择的“长字幕语”所需要的字幕区域尺寸(步骤S155)。

对于步骤S155的处理，进行具体说明。虚拟用户操作了光标键3，选择图21所示画面D41上的字幕区域MA2。此时，若用户继续操作操作部13，指示显示“长字幕语”的全部字符，则控制部11取得存储在字幕管理数据122中的字幕语(“你好。今天也精神百倍地努力吧。”)的字符数(15个字符)。再者，控制部11例如将与所取得的字符数相等或者比其更大的个数和各字符字体数据的象素尺寸(纵向的象素数×横向的象素数)相乘，来求取可显示“长字幕语”全部字符的字幕区域尺寸。

接着，控制部11按照求出的尺寸，在显示区域上确保使之显示“长字幕语”的字幕区域(步骤S156)。控制部11在该字幕区域内显示“长字幕语”的全文(步骤S157)。至此，放大字幕区域来显示“长字幕语”全文的处理结束。

还有，对于在通过步骤56的处理放大尺寸后的字幕区域内通过步骤S157的处理显示“长字幕语”全文后的画面例，进行说明。在图22(a)所示的画面D42例子中，为了用户能看到各字幕语M1～M3的全文，控制部11要避免字幕区域MA2和字幕区域MA1及MA3之间的重复，将字幕区域MA2纵向的尺寸保持为一定，只按横向放大尺寸来确保区域。

另外，在图22(b)所示的画面D43例子中，控制部11为了用户能和字幕语M2的全文一起看到各影像R1～R3，要避免字幕区域MA2和影像区域R2之间的重复，将字幕区域MA2横向的尺寸保持为一定，只按纵向放大尺寸来确保区域。此时，在除显示出“长字幕语”的字幕区域之外的字幕区域MA1、MA3内不显示字幕语。还有，在从显示图22(a)所示的画面D42及图22(b)所示的画面D43的状态返回到显示图21所示的尺寸放 大前的画面D41的状态时，可以通过再次按下确定键或操作操作部13等，指示“长字幕语”全文显示的结束。

(应用例2-1)

下面，有关内容重现时的“影像的显示”，对于使对用户的便利性得到提高的应用例进行说明。

首先，对于因为在相同大小的影像区域上增加同时显示的影像个数所以用户更为易于掌握内容前后关系的实施方式，进行说明。

一般来说，在通过电视广播发送的影像形式中，存在其横向尺寸和纵向尺寸之比(长宽比)是4∶3的影像(下面，称为“通常影像”)和是16∶9的影像(下面，称为横宽影像)。

作为具体例，设为通常影像是图24(a)所示的通常影像R1、R2、R3，另外横宽影像是图24(b)所示的横宽影像Y1、Y2、Y3、Y4。各通常影像R1～R3的尺寸是纵向240个象素×横向320个象素，各横宽影像Y1～Y4的尺寸是纵向180个象素×横向320个象素。这里，设为确保了纵向的尺寸为720个象素且横向的尺寸和通常影像R1～R3及横宽影像Y1～Y4的横向尺寸(320个象素)相等的影像区域。此时，在所确保的影像区域内如同图24(a)所示的画面D51那样，能够按纵向并排显示3个通常影像R1～R3。另外，在该影像区域内如同图24(b)所示的画面D52那样，能够按纵向并排显示4个横宽影像Y1～Y4。

也就是说，在确保了通常影像的纵向尺寸和横宽影像的纵向尺寸都具有作为公约数的纵向尺寸的影像区域时，可以同时显示比通常影像更多的横宽影像，用户可以确认更多的影像。还有，这种情况对于影像区域的横向尺寸也同样适用。

下面，对于从影像数据121所读出的影像是通常影像时在“3帧显示模式”下显示画面以及是横宽影像时在“4帧显示模式”下显示画面的处理，进行说明。作为前提，在处理的启动时，控制部11要在显示面板5的显示区域上，确保纵向的尺寸为720个象素、横向的尺寸为320个象素的影像区域。

如图25所示，若用户操作了操作部13，指示附带字幕影像视听用的应用开始或者多个影像显示模式的选择，则控制部11开始画面设定处理。在 开始后，控制部11根据其纵向及横向的象素数等，取得从影像数据121所读出影像的尺寸(步骤S161)。

在取得后，控制部11求取从影像数据121所读出影像的尺寸的长宽比，如果其长宽比是16∶9，则判断为横宽影像(步骤S162：是)，将“显示影像数”设定为4(步骤S163)。

接着，控制部11将在显示区域上所确保的影像区域纵向尺寸(720个象素)除以在步骤S163中所设定的“显示影像数”，分割为纵向180个象素×横向320个象素的按纵向并排排列的4个各影像区域RA1～RA4(步骤S165)。

另外，控制部11分割字幕区域使之与分割后的影像区域对应(步骤S166)。控制部11在步骤S165中所分割的各影像区域内显示各横宽影像Y1～Y4，在步骤S166中所分割的各字幕区域内显示与各影像对应的各字幕语。此时，在显示面板5上，显示图24(b)所示的画面D52。

另一方面，如果影像尺寸的长宽比是4∶3，则控制部1 1判断为通常影像(步骤S162：否)，将“显示影像数”设定为3(步骤S164)。接着，控制部11将该影像区域的纵向尺寸3等分，分割为纵向240个象素×横向320个象素的按纵向并排排列的3个各影像区域RA1～RA3(步骤S165)。另外，控制部11分割字幕区域使之与分割后的影像区域对应(步骤S166)。控制部11在步骤S165中所分割的影像区域内显示通常影像R1～R3，在步骤S166中所分割的字幕区域内显示与各影像对应的字幕语。此时，在显示面板5上，显示图24(a)所示的画面D51。

因此，可以对应于内容的影像形式(横宽影像或通常影像)来显示各影像，特别是在横宽影像时，显示比通常影像更多的影像。还有，在本实施方式中，也能够使用i)1帧滚动、ii)页面调度、iii)比字幕区域可显示字符数更长的字幕语的显示。

在上面所说明的实施方式中，对于按纵向并排显示多个影像的显示方式，进行了说明。但是，本实施方式的移动电话1可以变更字幕区域及影像区域的显示位置，以各种配置显示字幕语及影像。

在下面，以按方格状配置4个字幕语和与各字幕语对应的各影像进行显示的情形为例，对于实施方式的异例进行说明。还有，将按方格状配置 字幕语和与各字幕语对应的影像进行显示的动作状态称为“横宽显示模式”，将按纵向并排排列字幕语和与各字幕语对应的影像进行显示的动作状态称为“纵宽显示模式”。

在“横宽显示模式”下显示的画面例如图26所示的显示画面D6那样，在显示面板5上显示区域的长度方向和各横宽影像Y1～Y4的长度方向一致的状态下，将各横宽影像Y1～Y4在显示区域上配置成方格状。另一方面，在“纵宽显示模式”下显示的画面例如是上述图15所示的画面D1。用户可以对操作部13进行操作，来转换“纵宽显示模式”和“横宽显示模式”。

下面，对于设定与“纵宽显示模式”和“横宽显示模式”对应的画面的处理，进行说明。如图27所示，控制部11取得相对于显示区域长度方向(下面，称为“横宽方向”)的内容影像的显示方向(步骤S171)。此时，控制部11根据TV信号SG的影像信号内包含的分辨率信息，取得影像的显示方向。分辨率的信息例如如果是单波段广播中横宽影像的影像虚拟平面，则是“320个象素×180个象素×16位”。

接着，控制部11判断所取得影像的显示方向是否与显示区域的横宽方向一致(步骤S172)。如果与横宽方向一致(步骤S172：是)，则控制部11将从影像数据121取得的影像数(“取得预定数”)设定为4(步骤S173)。在设定后，控制部11执行用来设定“横宽显示模式”显示画面的处理。

控制部11在将影像区域按横宽配置的设定(步骤S174)以及与影像区域配置所对应的字幕区域设定(步骤S175)中，要在显示区域上确保用来作为字幕区域及影像区域进行分配的区域，以便可以将各影像区域及各字幕区域配置为方格状。在确保后，控制部11将该区域在纵向的中心位置及横向的中心位置上分别进行定界，分割为按方格状所配置的4个区域。

控制部11在分割后的各区域上，按在步骤S171中判断出的显示方向配置各影像，将所配置的各区域设定为影像区域(步骤S174)。用具体例来说明设定后的影像区域，例如是图26所示画面D6上的4个影像区域RA1～RA4。

另外，控制部11将从分割后的各区域去除在步骤S175中所设定的各影像区域后的剩余区域，设定为各字幕区域(步骤S175)。设定后的各字幕区域用具体例来说明，就是图26所示画面D6上的4个字幕区域MA1～ MA4。接着，控制部11在各字幕区域内，显示与显示于各影像区域上的各影像重现定时对应的各字幕语。

另外，如果在步骤S172中判断出的影像显示方向是纵宽方向(步骤S172：否)，则控制部11将“取得预定数”设定为3(步骤S176)，执行用来设定“纵宽显示模式”画面的处理。此时，控制部11将画面D6的纵向尺寸均等地进行3等分，生成并排所配置的3个区域，以便可以将各影像区域及各字幕区域在显示面板5上按纵向并排配置。有关此后步骤S177及步骤S178的处理内容，则和上述步骤S174及S175实质上相同。

因此，可以设定与“纵宽显示模式”及“横宽显示模式”对应的画面。还有，该画面设定处理在用户操作了操作部13，指示开始附带字幕影像视听用的应用或者选择多个影像显示模式时，通过在上述图16所示的流程之前启动，就可以按照内容的影像显示方向，自动在“纵宽显示模式”及“横宽显示模式”下显示画面。还有，在本实施方式中，也可以使用1画面滚动、页面调度、“长字幕语”显示时字幕区域的放大。

下面，对于在显示面板5上分别显示出“内容相互不同的影像”时使用户的便利性得到提高的实施方式，进行说明。若多个内容的影像同时显示在显示面板5上，则用户难以区分各影像是包含在同一内容中的影像还是包含在相互不同的内容中的影像。

为了在多个影像同时显示在显示面板5上时，区分各影像是包含于同一内容中还是包含于相互不同的内容中，可以给各内容赋予标题，来区分多个影像是否是包含于同一内容中的影像(下面，将该显示状态称为“附带标题显示模式”)。

用来实现附带标题显示模式动作的移动电话1的基本结构和图2所示的结构相同。但是，图2所示的存储部12存储与多个内容分别对应的字幕管理数据122及影像数据121。

另外，存储部12还存储内容列表数据124。内容列表数据124如同图28所示例的那样，包含“标题TL”、“录制日期时间TT”、“类别TJ”的项目，并且将这些各项目与各内容向对应。

“标题TL”用来表示给各内容所赋予的标题。“录制日期时间TT”用来表示各内容录制从开始的日期及时刻到结束的日期及时刻的期间。“类别TJ” 用来表示各内容按照其内容分类后的领域，例如新闻、体育、电视剧等。还有，应存储于类别TJ中的信息例如如果是单波段广播，则可以从EIT(Event Information Table/事件信息表)等中取得。

用户能够对操作部13进行操作，来选择赋予“标题TL”后的内容。控制部11从内容列表数据124读出用户所选择内容的标题TL，并将该标题TL通过显示部14显示于显示面板5上。显示从内容列表数据124所读出的标题TL后的画面(下面，称为“附带标题画面”)用具体进行说明，就是图29(a)所示的画面D71。

在显示附带标题画面D71时，在显示面板5上显示区域的左下方设定下述标题区域TA，并在标题区域TA内显示出标题TL1(“月亮的传说”)，上述标题区域TA用来显示从内容列表数据124选择出的当前重现中内容的标题TL1。还有，标题TL1的内容是在图28所示的内容列表数据124内录制日期时间TT最新的内容。

另外，在显示区域的中央部，设置按纵向所并排配置的影像区域RA1～RA3，在标题区域TA内显示出与当前显示中的标题TL1对应的影像R11～R13。再者，在字幕区域MA1～MA3内，显示出具有与影像R11～R13对应的重现定时的字幕语M11～M13。

还有，当影像显示在用矩形定义的规定区域上时，如果在规定区域上的中心位置周围显示出影像，则存在对于用户来说视觉辨认度良好的趋势。因此，控制部11要设定显示当前重现的内容多个影像的影像区域RA1～RA3，使之在显示区域横向的中央位置附近按纵向并排配置。

在显示区域的左侧中央设置影像区域RA4，用来显示在图28所示的内容列表数据124内录制日期时间TT最新的内容影像。但是，在图29(a)的例子中，因为最新的内容(标题TL1的内容)是当前重现中，所以接着显示出录制日期时间TT较新的内容(标题TL2(“小鸡散步”))影像R22。

在显示区域的右侧中央设置影像区域RA5，用来显示在内容列表数据124内录制日期时间TT最久的内容，显示出标题TL(“汽车驾驶”)的内容影像R32。还有，显示于影像区域RA4、RA5上的影像是任意的，例如也可以是内容最开始的IDR帧、与在字幕管理数据122内处于起始的字幕语所对应的影像等。

用户能够在显示区域上显示出画面D71的状态下，向左右方向按下光标键3，取代当前选择中的内容而选择其他的内容。此时，控制部11使用户新选择出的内容影像进行显示，并且将给该内容所赋予的标题TL显示于标题区域TA内。下面，以响应用户按下光标键3、由控制部11将显示于显示面板5上的画面从图29(a)所示的画面D71转换为图29(b)所示的画面D72的情形为例，对于转换标题TL显示的处理进行说明。

如图30所示，控制部11响应向左方向按下光标键3的情况(步骤S181：是)，结束在内容列表数据124之内当前在标题区域TA上显示标题TL的内容的重现。与之相伴，向显示区域中央部按纵向所并排设置的各影像区域RA1～RA3的各影像的显示结束(步骤S182)。接着，控制部11开始包含下述影像R22的内容的重现(步骤S183)，该影像R42当前显示在显示区域左侧中央所设置的影像区域RA4内。

伴随内容的重现开始，控制部11从内容列表数据124中读出开始重现后的内容标题TL2，将其显示于标题区域TA内(步骤S184)。

另外，控制部11在字幕区域MA1～MA3上，分别显示开始重现后标题TL2内容的字幕语M21～M23(步骤S185)，并且将与各字幕语M21～M23的重现定时对应的影像R21～R23，分别显示于显示面板5上的中央配置的影像区域RA1～RA3内(步骤S186)。由此，显示图30(b)所示的附带标题画面D72。

还有，若在显示面板5上显示出画面D72的状况下，用户向右方向按下光标键3(步骤S187：是)，则控制部11结束当前重现中标题TL2的内容，也就是在影像区域RA1～RA3内当前显示中的内容的重现(步骤S188)。接着，控制部11开始在显示区域右侧中央所设置的影像区域RA5内显示影像R32的内容的重现(步骤S189)，执行和上面所说明的步骤S184～S186的处理实质上相同的处理(步骤S1810～S1812)，显示图30(a)所示的附带标题画面D71。至此，显示附带标题画面的处理结束。

下面，有关内容重现中的“影像的显示”，对于使用户的便利性得到进一步提高的实施方式进行说明。在上面所说明的实施方式中，分配了尺寸全部相同的区域，作为同时显示各影像时的影像区域。

但是，若按全部相同的尺寸确保显示多个影像的各影像区域，则在各 影像之内包含用户想注视的影像(例如，当前正在重现的情形下的影像)时，也按和其他影像相同的尺寸进行显示。为了解决该问题，可以增大用户想注视的影像被显示的影像区域，来放大显示的影像。

下面，对于控制部11通过用户的操作进行选择并且放大当前重现中的内容的影像将其显示于显示面板5上的动作，进行说明。另外，将放大当前正在重现的影像并进行显示的动作状态称为“影像放大显示模式”。

如图32所示，在影像放大显示模式下，若用户操作了操作部13，选择显示在图29(a)所示的画面D71中央的影像，则控制部11如同图31所示的画面D8那样，放大影像区域RA2，重新确保影像区域RA6，并在显示区域的中央部配置影像区域RA6(步骤S191)。还有，在影像放大显示模式下，在画面D8的中心位置上配置放大后的影像区域RA6的原因是，在用矩形定义的显示区域上，中心位置周围对于用户来说视觉辨认度良好。接着，控制部11放大被用户选择出的内容当前重现情形下的影像，并通过显示部14将其显示于显示面板5上(步骤S192)。

接着，控制部11判断赋予了下述显示时刻的各字幕语的有无(步骤S193)，该显示时刻是在各字幕区域MA1～MA3内显示中字幕语的下一显示时刻；如果没有(步骤S193：否)，则结束影像放大显示的处理。如果有(步骤S193：是)，则控制部11读入赋予了下一显示时刻的各字幕语(步骤S194)，并且检测与各字幕语的显示时刻所对应的影像(步骤S195)。检测该影像的方法参见图16，和上述的方法实质上相同。

若完成了字幕语的读入和影像的检测，则控制部11启动计时器(未图示)来计算时间，检测经过了规定时间的情况(步骤S196)。还有，由计时器来计算时间是为了检测达到了字幕管理数据122中所存储字幕语Mn的字幕显示时刻TMn的情况。

若检测到经过规定时间(步骤S196：是)，则控制部11在各字幕区域MA1～MA3内显示字幕语(步骤S197)，并且在放大后的影像区域RA6内显示与在步骤S197中所显示各字幕语的显示时刻对应的各影像(步骤S198)。也就是说，在影像区域RA6上，标题TL1的内容影像按照字幕语的重现定时被依次显示。

此后，控制部11在到达字幕管理数据122内其内容所涉及的最后字幕 语MN之前(步骤S193：否)，重复上述处理的执行。至此，完成一边在放大后的影像区域内将显示内容的影像重现一边将其内容内包含的字幕语重现显示的处理。

如同上面所说明的那样，根据本实施方式，可以在显示面板5上，将赋予显示时刻后的多个字幕语重现显示，并且将与给各字幕语所赋予的显示时刻对应的各影像重现显示。因此，用户可以看见附带字幕影像的当前重现情形下字幕语及影像的前后被重现的字幕语和影像，用户掌握附带字幕影像的内容变得更为容易。

根据本实施方式，移动电话1按照用户的操作，将当前显示在显示面板5上的字幕语和与各字幕语对应的影像，替换为在字幕管理数据122之内位于前或后1个的字幕语和与该字幕语对应的影像并使之显示，进行附带字幕影像的“1帧滚动”。因此，用户可以比给当前显示中的影像所赋予的重现定时更为提前进行回溯来确认影像，或者确认在显示中的影像之后重现的影像。

根据本实施方式，按照用户的操作，将当前显示中的字幕语及与各字幕语对应的影像，替换为在字幕管理数据122之内虚拟按规定定时靠前或靠后重现的字幕语及与该字幕语对应的影像并使之显示，进行附带字幕影像的“页面调度”。因此，用户可以同时确认更多的影像的内容，并且与“1帧滚动”相比较，可以在更短的时间内找到附带字幕影像的字幕语或影像。

根据本实施方式，控制部11在个数比字幕区域上可显示的字符个数多的字幕语被分配到该字幕区域上时，响应用户的操作，放大字幕区域的尺寸，来显示字幕语包含的全部字符。因此，即便字幕语包含与当前确保的字幕区域上可显示的字符数多的字符，用户也可以一次阅读该字幕语的全文，使便利性得到提高。

另外，根据本实施方式，在放大字幕区域的尺寸时配置放大尺寸后的字幕区域，使之不与其他各字幕区域或各影像区域重合。因此，用户可以在不缺少下述字幕语的显示和与各字幕语对应的影像的显示的状况下，阅读尺寸放大前无法显示全部字符的字幕语全文，上述字幕语处于个数比字幕区域上可显示的字符个数多的字幕语前后。

根据本实施方式，对应于内容的影像形式(“横宽影像”或者“通常影 像”)，在显示各影像的影像区域上变更显示影像的个数。特别是，在显示对象的影像是“横宽影像”时，显示比“通常影像”同时显示于画面上的个数更多的影像。因此，用户在要视听的内容影像是“横宽影像”时，与视听包含“通常影像”的内容时相比较，可以取得更多的信息。

根据本实施方式，即使在相互不同的各内容影像被同时显示时，针对从其内当前由用户选择影像的内容，还在标题区域TA内显示其标题。因此，可以从其他内容的影像区分当前用户选择中的内容影像，并且可以确认其他内容的影像。

另外，根据本实施方式，通过附带字幕影像来重现显示下述内容，该内容是从同时显示在显示面板5上的影像被用户选择出影像后的内容。因此，用户可以通过字幕显示轻易掌握包含所选择影像的内容情况，并且可以区分当前重现中的内容和其他内容。

根据本实施方式，在显示区域的中央部所配置的影像区域内，显示重现中内容的当前重现情形下的影像。此时，为了提高影像的视觉辨认度，当前重现情形下的影像被显示的影像区域与其他的影像区域相比进一步增大。因此，使影像的视觉辨认度得到提高，并且易于识别包含所放大影像的内容被选择的情况。

下面，对于本实施方式的异例进行说明。在显示“长字幕语”全文时如同图22(b)所示的画面D43例子那样，在显示着“长字幕语”的字幕区域之外的字幕区域MA1、MA3上不限于使字幕语变为非显示，也可以进行显示。

在“多个内容的影像”被同时显示时，在图29(a)所示的附带标题画面D71的标题区域TA内，不限于只显示当前重现中内容的标题，也可以显示当前显示影像的其他内容标题。

另外，在附带标题画面D71的标题区域TA上，不仅是当前重现中内容的标题，也可以显示表示下述内容标题TL的列表，该内容与重现中的内容相比按规定数靠前或靠后存储在内容列表数据124中。

计时器计算的规定时间也可以由用户任意设定，另外也可以随着要显示的字幕语内包含的字符数增多，由控制部11增大规定时间。

在“影像放大显示模式”下，通过由用户对操作部13进行操作，能够在 图3 1的画面D8上结束当前选择中的放大显示，还可以返回到图29(a)画面D71的显示。

(实施方式3)

下面，对于本发明实施方式3所涉及的移动电话1动作，进行说明。

本实施方式的移动电话1在附带字幕影像的重现中，和附带字幕影像一起同时显示表示多个字幕语的字幕列表。另外，若由计时器检测到经过预先设定的“字幕转换时间”，则替换重现显示的字幕语和显示于字幕列表中的字幕语。

字幕语的替换不用伴随用户的操作，而自动进行，替换前显示在字幕列表中的字幕语进行滚动(下面，称为“自动滚动”)。用户能够对操作部13进行操作，来指示自动滚动的开始及结束。

还有，自动滚动执行的期间，当前重现中的字幕语显示于字幕列表的中央。在图33所示的画面D1例子中，当前重现中的字幕语(显示在字幕区域MA内的字幕语“早晨好”)配置于字幕列表显示用的列表区域LA中央。将当前重现中的字幕语配置于列表区域LA中央的原因是，在用矩形定义的显示区域上中心位置的周围视觉辨认度较为良好。

移动电话1在内容的重现中，按照字幕管理数据122存储的字幕显示时刻TMn，重现与该字幕显示时刻TMn对应的字幕语。还有，字幕管理数据122是通过图6的处理生成的。

下面，对于本实施方式中特征性的自动滚动动作，进行说明。若用户指示了自动滚动的开始，则控制部11开始图34所示的处理，将表示是否进行自动滚动的自动滚动标志设定为“开启”(步骤S221)。再者，控制部11对显示部14进行指示，使之在显示面板5上显示字幕列表。在图33的例子中，显示在列表区域LA内示出字幕列表的画面D1。

这种状态下，用户能够从字幕列表中的字幕语选择开始重现的字幕语。若用户选择出字幕语，则提取具有与该字幕语的字幕显示时刻对应的重现定时(PTS单位)的影像，因此处理转移到步骤S222。

控制部11从视频PES提取影像帧的信息(步骤S222)，如果该影像帧不是IDR帧(步骤S223：否)，则使处理返回到步骤S222。

另一方面，如果所提取的影像帧是IDR帧(步骤S223：是)，则控制 部11求取从起始影像帧的重现开始至该IDR帧的重现为止的经过时间(步骤S224)。该经过时刻是从该IDR帧具有的重现定时(PTS单位)减去内容录制数据121起始的影像重现定时(PTS单位)后的差分。

接着，判断所提取的IDR帧有无与重现中的字幕语Mn对应的可能性。因此，控制部11判断该字幕语Mn的字幕显示时刻TMn是否比此次求出的经过时间更大(步骤S225)。

如果字幕显示时刻TMn比此次求出的经过时间更大(步骤S225：是)，则所提取的IDR帧比字幕语Mn更靠前重现，存在与字幕语Mn对应的可能性。此时，控制部11保存该IDR帧的数据位置(步骤S226)，使处理返回到步骤S222。在步骤S226中保存的数据位置例如是IDR帧的显示时刻、存储IDR帧的视频PES号码以及存储IDR帧的存储部12内地址等。

如果字幕显示时刻TMn比此次求出的经过时刻小(步骤S225：否)，则上次所提取的IDR帧在当前重现中的字幕语Mn之前重现。因此，控制部11从在步骤S226中所存储的影像位置读出影像帧，令其显示于显示面板5上(步骤S227)。

控制部11使与显示中的影像对应的字幕语显示在字幕区域MA上(步骤S228)。再者，控制部11使字幕列表显示于列表区域上(步骤S229)。此时，将当前重现中的字幕语配置于列表区域LA的中央附近。

控制部11判断由用户进行的自动滚动结束指示的有无。因此，判断自动滚动标志是否是“开启”，如果是“关闭”(步骤S2210：否)，则结束处理。

另一方面，如果自动滚动标志是“开启”(步骤S2210：是)，则控制部11使未图示的计时器启动，检测存储部12存储的“字幕转换时间”的经过。

若检测到“字幕转换时间”的经过(S2211：是)，则为了重现接着重现的字幕语，从字幕管理数据122取得该字幕语及与该字幕语相对应的字幕显示时刻(步骤S2212)。此后，处理返回到步骤S222。至此，每次经过预先设定的“字幕转换时间”都使各字幕语自动滚动的处理结束。

(应用例3-1)

在上述的实施方式3中，与其字符的个数无关，每次经过同样设定的字幕转换时间都转换在字幕列表中显示的各字幕语。因此，在字幕语包含的字符个数较多时，存在用户读完字幕语之前就显示下一字幕语的可能。 另外，在字符的个数较少时，在用户读完字幕语之后到显示下一字幕语的期间，发生等待时间。

为了避免该问题，可以按照字幕语的字符数来变更“字幕转换时间”。下面，对于进行这种自动滚动的实施方式7所涉及的移动电话1，进行说明。

应用例3-1的移动电话1基本结构和图2所示的结构相同。但是，在存储部12中取代图4所示的字幕管理数据122，存储图35所示的字幕管理数据122a。该字幕管理数据122a使字幕显示时刻TMn、字幕语Mn及字幕语的字符数KZn相对应。

生成字幕管理数据122a的处理和图5所示的例子基本上相同。但是，在应用例3-1中如图36(a)所示，控制部11在执行和上述图5所示的步骤S17实质上相同的处理后(步骤S217a)，再对字幕语内包含的字符数进行计数(步骤S217b)，将其存储于字幕管理数据122a中。

应用例3-1的自动滚动处理和图34所示的例子基本上相同。但是，控制部11取代图34所示步骤S2210的处理，执行图36(b)所示的处理。也就是说，若判断出自动滚动标志为“开启”(步骤V11：是)，则从字幕管理数据122a取得当前显示中字幕语Mn的字符数KZn(步骤V1 2)。

接着，控制部11根据所取得的字符数KZn，求取与该字符数KZn相应的“字幕转换时间”(步骤V13)。例如，将字符数KZn和预定设定的每1字符显示时间t相乘，求取“字幕转换时间”。例如，在该显示时间t为0.2秒时，与10个字符的字幕语对应的“字幕转换时间”是2秒，20个字符的字幕语则“字幕转换时间”是4秒。

此后，处理返回图34，若由计时器检测到“字幕转换时间”的经过(步骤S22 11：是)，则取得下一字幕语(S2212)，进行滚动显示。

(应用例3-2)

在上述的实施方式3中，在字幕语Mn的字符数KZn较少时，根据每1字符显示时间t的值的不同，存在用户无法辨认该字幕语的可能。例如，在显示时间t为0.2秒时，从字符数KZn为“1”的字幕语显示开始经过“字幕转换时间(0.2秒)”后，就显示下一字幕语。

为了解决该问题，在显示字符数较少的字幕语时，也可以延长与该字幕语对应的字幕转换时间，以便用户能够辨认。

因此，可以事先按照字幕语的字符数设定分类，按其每个分类设定辨认与各分类相符的字幕语最佳的“字幕转换时间”。例如，在字符数KZn为1～10时，将字幕转换时间设定为2秒，在11～20时，将字幕转换时间设定为3秒。下面，对于进行这种自动滚动的应用例3-2所涉及的移动电话1，进行说明。

应用例3-2的移动电话1基本结构和图2所示的结构相同。但是，在图2所示的存储部12中如图37(a)所示，预先存储显示转换时间信息123，该显示转换时间信息123使按照字幕语的字符数所设定的分类KB和与该分类KB对应的“字幕转换时间TS”相对应。

应用例3-2的自动滚动处理和图34所示的例子基本上相同。但是，在应用例3-2中，控制部11取代图34所示的步骤S2210，执行图37(b)所示步骤V21～V23的处理。

也就是说，在应用例3-2中，进行和图34所示的步骤S221～步骤S229实质上相同的处理，令其显示附带字幕影像和字幕列表。

接着，控制部11若判断出自动滚动标志为“开启”(步骤V21：是)，则求取字幕语的字符数(步骤V22)。再者，还参照显示转换时间信息123，读出与其字符数符合的分类相对应的“字幕转换时间TS”(步骤V23)。

随后，处理返回图34，在经过“字幕转换时间”后(步骤S2211：是)，取得下一字幕语(步骤S2212)，进行自动滚动。至此，按照“字幕转换时间”使字幕语自动滚动的处理结束，该“字幕转换时间”与按照字幕语的字符数所设定的分类对应。

一般情况下，各用户读完字幕语的时间不同。因此，从使用户的便利性得到提高的观点来看，优选的是可以由用户编辑在上述的实施方式6至8中分别设定的“字幕转换时间”。下面，对于移动电话1的编辑功能进行说明。

在实施方式3～应用例3-2中，在自动滚动的执行中如图38(a)所示，和附带字幕影像一起显示示出字幕列表的画面D21。这种状态下，若用户通过操作部13按下软键E1(“子菜单”)，则控制部11令其显示子菜单画面。在图28(b)的例子中，子菜单画面是画面D22。

再者，若用户选择子菜单中的选择备选“1，自动滚动时间设定”，按 下了“选择”键，则显示与实施方式3～应用例3-2对应的自动滚动的时间设定画面。下面，说明使用各时间设定画面的实施方式3～应用例3-2中“字幕转换时间”的设定动作。

在实施方式3的“字幕转换时间”设定中，用户将“字幕转换时间”的值直接变更为自己希望的值。在图38(c)的例子中，用户通过光标键3等使设定为“字幕转换时间”的值(显示于文本框E2中的值)进行增减，选择希望的值(例如，3秒)。

若在希望值的显示中用户按下“确定”键，则控制部11将该值存储于存储部12中，来作为“字幕转换时间”。还有，也可以由用户直接输入设定为“字幕转换时间”的值。

在应用例3-1的“字幕转换时间”设定中，按照每1字符的显示时间t和各字幕语的字符数KZn之积，求取各字幕语的“字幕转换时间”。为了变更“字幕转换时间”，用户可编辑的参数是每1字符的显示时间t。

因此，如同图38(d)所示的例子那样，令其显示能对设定为显示时间t的值(文本框E3中的值)进行编辑的画面D24。设定为显示时间t的值既可以由用户直接输入，也可以通过光标键3使预置的值增减来选择。

还有，如图38(e)所示，也可以同时显示内容全部字幕语的重现所需要的全部字幕重现时间(表示于文本框E4中)、视听内容到最后时的完成预定时刻(表示于文本框E5中)等。由此，因为成为决定每1字符显示时间的标准，所以可以使便利性提到提高。

因此，要事先求取附带字幕影像内包含的全部字幕语的字符数之和(下面，为“全部字幕字符数KZt”)。控制部11将图35所示字幕管理数据122a的字符数KZ1～KZN全部相加，把得到的全部字幕字符数KZt存储于存储部12中。

在图38(e)所示的例子中，若用户输入“0.3秒”作为每1字符显示时间t的值，则将显示时间t(0.3秒)×全部字幕字符数KZt显示于文本框E4中。再者，还将对当前时刻加上文本框E4中所显示的时间后的完成预定时刻显示于文本框E5中。

全部字幕重现时间(文本框E4中的值)也可以由用户进行编辑。此时，将按照用户所编辑的值进行自动滚动时的每1字符显示时间显示于文本框 E3中。该显示时间是将用户所编辑的全部字幕重现时间除以全部字幕字符数KZt，求取的。在文本框E5中，显示对当前时刻加上用户所编辑的全部字幕重现时间后的时刻。

也可以由用户编辑完成预定时刻。此时，将从用户所编辑的值(完成预定时刻)和当前时刻之间的差分求取的全部字幕重现时间，显示于文本框E4中，并将此时每1字符的显示时间显示于文本框E3中。

在应用例3-2的“字幕转换时间”设定中，能够编辑与按照字幕语的字符数所设定的各分类对应的“字幕转换时间TS”。设定为“字幕转换时间TS”的值既可以由用户直接输入，也可以从预置的值中选择。

在图38(f)的例子中，若在希望值的显示中用户按下“确定”键，则该值作为图37(a)所示显示转换时间信息123中的“字幕转换时间”来设定。此时，与字符数为1～10的字幕语对应的“字幕转换时间”设定为3秒，与字符数为11～20的字幕语对应的“字幕转换时间”设定为6秒。

(应用例3-3)

在上述的实施方式3至应用例3-2中，用户无法掌握从当前阅读的字幕语向下一字幕语的显示何时转换。此时，用户难以按字幕语显示转换的定时配合速度来阅读字幕语。

为了避免该问题，可以显示从当前时刻到字幕语的显示转换的剩余时间。下面，对于显示这种剩余时间的实施方式9所涉及的移动电话1，进行说明。

在应用例3-3中，求取转换为下一字幕语之前的剩余时间。例如是从“字幕转换时间”减去由计时器所计算的时间后的差分。再者，还在自动滚动的执行中，将该剩余时间显示于显示面板5上。

表示剩余时间的形式是任意的。例如，在利用文本显示来表示剩余时间时，可以通过用来对用户通知剩余时间的消息(例如，“到下一字幕之前剩余2秒”)等来表示剩余时间。

另外，在利用图标显示来表示剩余时间时，可以利用仿照模拟时钟的图标等来表示剩余时间。这种情况下，可以在该图标所示的剩余时间为零时转换为下一字幕语的显示。

再者，也可以伴随计时器计算的时间经过，使重现中字幕语的颜色产 生变更。例如，可以在字幕语的重现开始时用蓝色来显示字幕语，在即将转换为下一字幕语之前用红色进行显示。

还有，控制部11也可以在转换了字幕语的显示时，将其意思通过报警音的输出或振动动作通知给用户。由此，因为用户可以识别字幕语已转换的情况，所以可以使对于用户的便利性得到提高。

(应用例3-4)

在上述的实施方式中，用户对于显示中的影像，无法了解在内容的录制时间中重现的定时。

应用例3-4用来在内容录制数据121整体的重现时间(下面，称为“全重现时间TT”)内显示当前重现中影像的显示时刻，使对于用户的便利性得到提高。

应用例3-4的自动滚动处理和图34所示的例子基本上相同。但是，在实施方式10中，控制部11在图34步骤S229的处理执行后，在进行步骤S2210的处理之前，执行图40所示步骤V31～V34的处理。

也就是说，在附带字幕影像和字幕列表的显示后(图34，步骤S221～步骤S229)，控制部11取得与当前显示中的内容录制数据121有关的全重现时间TT(步骤V31)。全重现时间TT例如可以通过事先作为存储所录制内容的文件属性和内容录制数据121相对应，来取得。

接着，取得在图34的步骤S226中所存储的当前显示中影像的经过时刻(步骤V32)，将该经过时刻除以全重现时间TT，求取经过时刻占全重现时间的比例(下面，称为“进度比例”)(步骤V33)。再者，将表示该进度比例的图像显示于显示面板5上(步骤V34)。

表示进度比例的形式是任意的，利用图像显示来表示或利用文本显示来表示，都可以。这里，作为图像显示的一例，说明将表示全重现时间的总体条B1(例如，横条)和表示进度比例的比例条B2重叠起来进行显示的例子。例如，在将总体条B1的大小设定成200个象素时，进度比例为10％时，比例条B2的大小是200个象素×10％＝20个象素。

在图39(a)的例子中，因为正在显示起始的字幕语(字幕显示时刻“00:00:00”)及与该字幕语对应的影像，所以进度比例RT处于0的状态。此时，只显示总体条B1。

在图39(b)的例子中，正在显示图4所示的字幕管理数据122内从起始第2个的字幕语。此时，根据影像的显示时刻(00:00:09)确定的表示进度比例的比例条B2重叠于总体条B1上显示。

在上述图39(b)显示方法的例子中，虽然用户可以掌握当前时刻的进度比例，但是无法取得与按时分秒单位等所表示的时间等有关的信息。

为了避免该问题，如同图39(c)所示例的那样，也可以显示与总体条B1对应的全重现时间TT以及与比例条B2对应的重现中影像的显示时刻等。由此，用户可以取得表示视听中内容剩余部分的重现所要的时间以及当前时刻完成视听的内容重现时间的信息，使便利性得到提高。

再者，如同图39(d)所示例的那样，也可以和总体条B1或比例条B2一起，在各字幕语的进度比例与总体条B1对应的位置上显示表示各字幕语存在的图像PI。由此，用户可以掌握随着自动滚动的执行比例条B2的端点到达图像PI时显示字幕语的情况。

另外，一看就可以掌握录制节目内没有字幕的部分。例如，如果录制节目是电视剧，则开始主题歌中或结尾主题歌中、商业广告中等之类的场景没有字幕。但是，在有只想视听开始这样的用户时，可以通过观看图像PI的分布，分清节目起始附近没有字幕的部分是开始，并且那里不用字幕前移就重现，来视听开始。

在图39(d)所示的异例中，事先按每个字幕语Mn求取进度比例RTn，将各进度比例与各字幕语相对应的字幕管理数据122b存储于存储部12中。在图41所示的字幕管理数据122b的例子中，因为起始字幕语M1的字幕显示时刻TM1为00:00:00，所以进度比例RT1是“0”。还有，进度比例既可以在内容的重现前预先求出，也可以在内容的重现中求取并暂时存储于存储部1 2中。

在该异例中执行自动滚动时，在图40所示的步骤V34中，从字幕管理数据122b中取得各进度比例RTn，于各进度比例在总体条B1上对应的位置上显示图像PI。图像PI优选的是用和各个条不同的颜色来显示，以便即使总体条B1及比例条B2重叠进行显示也可以区分。

(应用例3-5)

在上述的实施方式中，在用户从字幕列表中选择出内容录制数据121 内起始的字幕语时，从起始的字幕语开始重现，并且从具有与该字幕语对应的重现定时的影像开始重现。

因此，在内容包含与起始字幕语对应的IDR帧重现时之前重现的影像帧时，还发生那些影像帧不被重现这样的问题。例如，在起始的字幕语从内容的重现开始在3分钟后显示时，在此之前不重现影像。

为了解决该问题，可以使虚拟的字幕语(下面，称为“伪字幕语”)与起始影像帧的重现定时相对应，根据该伪字幕语开始字幕语的重现。下面，说明进行这种动作的实施方式11所涉及的移动电话1。

应用例3-5的移动电话1基本结构和图2所示的例子相同。但是，在存储部12中取代图5所示的字幕管理数据122，存储图42所示的字幕管理数据122c。在该字幕管理数据122c的字幕语中，除了从内容录制数据121所提取的字幕语Mn之外，附加了未包含在内容录制数据121中的伪字幕语。

图42中，“(节目起始)”这样的内容是新附加的，并且表示该内容的字幕语是伪字幕语KM。该伪字幕语KM为了与内容录制数据121内起始的IDR帧相对应，其字幕显示时刻Mn设定成“00:00:00”。还有，向字幕管理数据122c的伪字幕语存储可以在从字幕PES提取字幕语Mn时同时执行。

另外，也可以在内容重现用的应用执行中，在将用来显示字幕语Mn的图5所示的字幕管理数据122在工作存储器中展开时，附加伪字幕语。

下面，说明不用变更字幕管理数据122的内容，用来显示处于内容起始的影像的处理。如图44所示，若用户指示执行内容视听用的应用，则控制部11判断起始的字幕语是否对应于起始的影像帧(步骤V41)。

此时，参照字幕管理数据122，判断起始字幕语的字幕显示时刻是否是“00:00:00”，若是“00:00:00”(步骤V41：是)，则处理进入步骤V45。步骤V45的通常影像显示处理是和图34所示的步骤S222～S229实质上相同的处理。

另一方面，如果起始的字幕显示时刻不是“00:00:00”(步骤V41：否)，则显示处于内容录制数据121起始的IDR帧(步骤V42)。再者，将与该IDR帧对应的伪字幕语KM显示于字幕区域MA内(步骤V43)，将 显示中的伪字幕语KM被配置在中央的字幕列表显示于列表区域LA内(步骤V44)。通过步骤V42～V44的处理，来显示图43(b)所示例的画面D42。

另外，在应用例3-5中，如图45所示，若用户进行了指示使之取代当前显示中的字幕语来显示其前1个字幕语，则判断显示中的字幕语是否是起始的字幕语。该指示可以通过光标键3向上方向的按下等来进行。

如果不是起始的字幕语(步骤V51：否)，则处理进入步骤V55。步骤V55的处理和图34所示的步骤S222～S229实质上相同。

另一方面，如果显示中的字幕语是起始的字幕语(步骤V51：是)，则进行步骤V52～V54的处理。步骤V52～V54的处理和图44所示的步骤V42～V44的处理实质相同。然后，结束处理。

还有，伪字幕语和影像之间的对应不限于起始的字幕语和起始的影像不对应的情形。例如，在内容最后的字幕语和最后的影像不对应时等，也可以同样使用。在最后的字幕语和最后的影像不对应时，因为最后的影像不被显示，所以显示图43(c)所示例的画面D43。使伪字幕语与最后的影像相对应并显示伪字幕语时，显示图43(d)所示例的画面D44。

如同上面所说明的那样，根据本发明的实施方式3，每次经过预先设定的“字幕转换时间”，都取代重现中的字幕语来重现下一字幕语，并且使字幕列表自动滚动。由此，用户不再需要操作光标键3等来显示字幕语，可以使用户的便利性得到提高。

根据应用例3-1，按照将预先设定的“每1字符的显示时间t”和字幕语的字符数KZn相乘后的“字幕转换时间”，来进行字幕列表的自动滚动。由此，随着字幕语的字符数增多，显示该字幕语的时间也延长，可以使用户的便利性得到提高。

根据应用例3-2，借助于与字符数相应的分类来区分字幕语，按照与该分类对应的“字幕转换时间”来进行字幕列表的自动滚动。由此，即使在显示中字幕语的字符数较少时，该字幕语也按照和区分后的分类中字符数最多的字幕语相同的“字幕转换时间”进行显示，用来由用户辨认该字幕语的时间得到延长。

另外，根据本发明的各实施方式，能够由用户编辑“字幕转换时间”。由此，用户可以根据自己的喜好转换字幕语的显示。

根据应用例3-3，将转换为下一字幕语之前的剩余时间显示于显示面板5上。由此，用户可以按照从当前显示中的字幕语转换为下一字幕语显示的定时，调整阅读字幕语的速度。

根据应用例3-4，在内容的重现中，针对内容录制数据121的全重现时间，向用户显示当前时刻之前的内容重现完成的程度。由此，用户可以以所指示的程度为基准，判断是否继续内容的视听。

再者，显示全重现时间、显示中影像的显示时刻等。由此，用户可以掌握视听中内容未重现部分的重现完成所要的时间以及从内容重现开始时到当前时刻的视听时间等。

根据应用例3-5，在内容中起始的字幕语和起始的影像未对应时，使伪字幕语KM与起始影像具有的重现定时相对应。而且，根据伪字幕语KM开始字幕语的重现。由此，用户能够视听起始的影像，可以使用户的便利性得到提高。

还有，也可以由用户编辑字幕列表显示的开启或关闭。此时，可以在从字幕列表显示的开启向关闭的转换后，在从字幕列表选择出字幕语时开始自动滚动。

在应用例3-5中，伪字幕语的内容不限于“(节目起始)”的字符串，也可以是其他的字符串或空白。另外，与伪字幕语相对应的影像不限于内容中起始的影像帧，可以是比与起始字幕语的字幕显示时刻对应的影像更靠前重现的影像。例如，也可以是节目起始的IDR帧或该IDR帧附近的P帧。

此外，本发明的概念不限于专用的计算机系统，例如可以使用于具备内容录制重现功能的PDA、电子摄像机、电子手表、移动型TV、汽车导航装置等任意的移动型电子装置中。也就是说，还可以制作用来使计算机作为移动电话1来发挥作用及进行动作的计算机程序，进行分发、出租以及将该程序安装于计算机中，作为移动电话1对其进行使用、转让、出租等。

Claims (31)

1.一种附带字幕的影像重现装置，其特征为，

具备：

存储单元(12)，将定义多个字幕语的字幕信号和定义多个影像的影像信号在重现定时上相对应并存储；

字幕选择单元(11)，选择由存储在上述存储单元中的字幕信号定义的多个字幕语之中的某一个；

字幕重现单元(11、14)，将由上述字幕选择单元选择出的字幕语重现；

影像重现单元(11、14)，将上述存储单元中存储的上述影像信号重现；以及

模式转换单元，转换字幕视听模式和通常视听模式，该字幕视听模式通过上述字幕选择单元选择字幕语，并由上述字幕重现单元及上述影像重现单元将所选择的字幕语和与该字幕语对应的影像重现，该通常视听模式由上述影像重现单元将影像重现。

2.如权利要求1所述的附带字幕的影像重现装置，其特征为，

上述影像信号包含单独定义影像的独立帧和参照其他影像帧来定义影像的帧，

上述影像重现单元包含下述单元：当上述模式转换单元将动作模式从字幕视听模式转换成通常视听模式时，将要重现的影像信号的起始设置为独立帧，该独立帧是在时间上处于由上述字幕选择单元所选择的字幕语的重现定时紧前面的帧。

3.如权利要求1所述的附带字幕的影像重现装置，其特征为，

上述影像信号包含单独定义影像的独立帧和参照其他影像帧来定义影像的帧，

上述影像重现单元，包含：

影像重现定时判断单元，判断由上述影像重现单元重现中的影像重现定时；以及 

模式设定单元，当上述模式转换单元将动作模式从通常视听模式转换成字幕视听模式时，使具有在时间上处于由上述影像重现定时判断单元判断出的重现定时紧后面的重现定时的字幕语成为选择状态，设定为字幕视听模式。

4.如权利要求1所述的附带字幕的影像重现装置，其特征为，

上述影像重现单元，具备：

字幕重现定时判断单元，判断由上述字幕选择单元选择出的字幕语的重现定时；

影像重现开始定时判断单元，判断与由字幕重现定时判断单元判断出的字幕语重现定时对应的上述影像信号的重现开始定时；

差分运算单元，求取由上述字幕语重现定时判断单元判断出的字幕语重现定时和由上述影像重现开始定时判断单元判断出的影像重现开始定时之间的差分；

差分判断单元，判断由上述差分运算单元求出的差分是否在规定值以上；以及

显示单元，当由上述差分判断单元判断出上述差分在规定值以上时，取代由上述存储单元存储的影像信号所定义的影像，来显示规定的图像。

5.如权利要求1所述的附带字幕的影像重现装置，其特征为，

上述字幕选择单元具有：列表显示单元，显示选择对象的字幕语列表；以及选择单元，从所显示的列表之中选择任意的字幕语；

在上述字幕视听模式下，由上述影像重现单元所重现的影像、由上述字幕重现单元所重现的字幕语和上述列表显示单元的列表被显示于画面上。

6.如权利要求1所述的附带字幕的影像重现装置，其特征为，

在上述通常视听模式下，由上述影像重现单元所重现的影像和由上述字幕重现单元所重现的字幕语被显示于画面上。

7.如权利要求1所述的附带字幕的影像重现装置，其特征为， 

上述字幕选择单元从由存储在上述存储单元中的字幕信号定义的多个字幕语之中，至少选择2个以上的字幕语，

上述字幕重现单元将由上述选择单元选择出的多个字幕语重现，

上述影像重现单元具备下述影像重现单元，从由上述字幕影像存储单元存储的影像信号定义的影像中，重现赋予了与对上述字幕重现单元所重现的各字幕语之中的某一个赋予的重现定时相对应的重现定时的影像。

8.如权利要求7所述的附带字幕的影像重现装置，其特征为，

上述字幕选择单元具备选择单元，选择赋予了与重现中的各字幕语的重现定时相比靠前规定定时的重现定时或者靠后规定定时的重现定时的字幕语；

上述字幕重现单元取代上述重现中的各字幕语，显示由上述选择单元选择出的各字幕语，

当每次由上述字幕重现单元所重现的字幕语变化时，上述影像重现显示单元都将与新显示的各字幕语的重现定时相对应的影像进行显示。

9.如权利要求8所述的附带字幕的影像重现装置，其特征为，

上述字幕选择单元选择赋予了对重现中的各字幕语赋予的重现定时的前1个重现定时、或者后1个重现定时的各字幕语。

10.如权利要求7所述的附带字幕的影像重现装置，其特征为，

具备：

显示单元，具有显示数据的显示区域；以及

区域确保单元，在上述显示区域上确保下述各字幕区域和影像区域，该各字幕区域用来在上述显示区域上显示该各字幕语，该影像区域用来显示与显示于上述显示区域上的各字幕语的重现定时对应的各影像。

11.如权利要求10所述的附带字幕的影像重现装置，其特征为，

上述区域确保单元，具备：

重现字符数判断单元，判断重现中的各字幕语内包含的字符个数；以 

计时单元，计算时间，并检测从上述字幕重现单元重现中的字幕语重现开始经过了规定时间的情况；

字幕转换单元，在由上述计时单元检测到经过规定时间时，控制上述字幕重现单元，取代当前重现中的字幕语，使具备该字幕语的下一重现顺序的字幕语重现；

影像重现单元，从上述影像信号定义的各影像之内重现具有与上述字幕重现单元重现中的字幕语对应的重现顺序的影像；以及

列表显示单元，生成并显示上述字幕重现单元重现中的字幕语和以该字幕语的重现顺序为基准位于规定的重现顺序范围内的字幕语的列表。 

12.如权利要求11所述的附带字幕的影像重现装置，其特征为， 

上述区域确保单元，还具备： 

显示字符数判断单元，判断可以在上述各字幕区域上显示各字幕语的字符个数； 

字符数大小判断单元，判断上述重现字符数判断单元判断出的个数是否比上述显示字符数判断单元判断出的个数更大；以及 

尺寸确定指示单元，在上述字符数大小判断单元判断出由上述重现字符数判断单元判断出的个数大时，响应用户的操作，指示字幕区域尺寸确定单元求取该各字幕区域的尺寸。 

13.如权利要求11所述的附带字幕的影像重现装置，其特征为， 

上述区域确保单元， 

确保各字幕区域，以便上述各字幕区域和上述各影像区域不重合。 

14.如权利要求11所述的附带字幕的影像重现装置，其特征为， 

上述区域确保单元， 

具备通知单元，将未在上述各字幕区域上显示各字幕语全文的情况通知给用户； 

上述区域确保单元在完成上述字幕区域的确保之前的期间，通知用户。 

15.如权利要求10所述的附带字幕的影像重现装置，其特征为， 

上述区域确保单元，具备： 

影像尺寸判断单元，判断由上述影像信号定义的各影像的尺寸；以及 

影像区域数决定单元，根据上述影像尺寸判断单元判断出的各影像尺 寸，决定显示该各影像的各影像区域个数； 

上述区域确保单元从上述显示区域上确保上述影像区域数决定单元所决定的个数的各影像区域和个数与该各影像区域相同的各字幕区域。 

16.如权利要求10所述的附带字幕的影像重现装置，其特征为， 

上述字幕影像存储单元， 

将在上述显示区域上显示各字幕语的方向和确保上述各字幕区域的个数及位置进行对应并存储， 

上述区域确保单元，具备： 

字幕方向判断单元，判断在上述显示区域上各字幕语被显示的方向； 

字幕区域数位置读出单元，从上述字幕影像存储单元读出与上述字幕方向判断单元判断出的方向对应的确保上述各字幕区域的个数及位置；以及 

影像方向判断单元，判断在上述影像区域上各影像被显示的方向； 

上述区域确保单元按照上述字幕区域数位置读出单元所读出的个数及位置，确保各字幕区域， 

并确保各影像区域，以便个数和上述所确保的各字幕区域相同，且上述字幕方向判断单元判断出的各字幕语被显示的方向和与该各字幕语对应的影像被显示的方向一致。 

17.如权利要求10所述的附带字幕的影像重现装置，其特征为， 

上述字幕影像存储单元， 

存储多个内容的列表和上述各内容内包含的字幕信号及影像信号， 

上述字幕重现单元，具备： 

重现备选选择单元，从上述列表选择作为重现备选的多个内容；以及 

重现内容选择单元，从上述重现备选选择单元选择出的重现备选的各内容中，选择要重现的内容； 

并且将由上述重现内容选择单元选择出的内容中所包含的字幕信号定义的多个字幕语重现， 

上述影像重现显示单元， 

显示上述重现备选的各内容之内未被上述重现内容选择单元选择的各内容的各影像。 

18.如权利要求17所述的附带字幕的影像重现装置，其特征为， 

上述区域确保单元， 

具备放大单元，放大正在显示各影像的各影像区域的尺寸； 

上述区域确保单元确保上述放大单元所放大尺寸的影像区域， 

上述字幕重现单元将与影像的重现定时对应的字幕语重现，该影像显示在上述放大单元放大后的影像区域。 

19.如权利要求1所述的附带字幕的影像重现装置，其特征为， 

还具备计时单元，该计时单元计算时间，并检测从上述字幕重现单元重现中的字幕语的重现开始经过了规定时间的情况； 

上述字幕选择单元具备字幕转换单元，该字幕转换单元在由上述计时单元检测到经过规定时间时，控制上述字幕重现单元，取代当前重现中的字幕语而选择具有该字幕语的下一重现顺序的字幕语； 

上述字幕重现单元具备列表显示单元，该列表显示单元生成并显示由字幕选择单元选择出的字幕语和以该字幕语的重现顺序为基准位于规定的重现顺序范围内的字幕语的列表。 

20.如权利要求19所述的附带字幕的影像重现装置，其特征为， 

上述计时单元，具备： 

字符数判断单元，判断当前重现中的字幕语所包含的字符个数；以及时间变更单元，随着由上述字符数判断单元判断出的个数增大，增大上述规定时间，随着上述个数的减少，减小上述规定时间； 

上述计时单元检测经过了由上述时间变更单元变更后的规定时间的情况。 

21.如权利要求19所述的附带字幕的影像重现装置，其特征为， 

上述存储单元存储表示上述字幕语所包含的各字符重现时间的1个字 符重现时间信息， 

上述时间变更单元将上述规定时间变更为根据上述1个字符重现时间信息所示的重现时间和由上述字符数判断单元判断出的个数之积所确定的时间。 

22.如权利要求21所述的附带字幕的影像重现装置，其特征为， 

还具备： 

总字符数运算单元，求取由上述字幕信号定义的全部字幕语总字符数； 

全部字幕重现时间取得单元，根据上述存储单元存储的1个字符重现时间信息所示的重现时间和上述总字符数之积，求取全部字幕语的重现所要的全部字幕语重现时间；以及 

显示单元，将上述全部字幕语重现时间和当前时刻相加来求取字幕语重现完成时刻，并显示该字幕语重现完成时刻。 

23.如权利要求20所述的附带字幕的影像重现装置，其特征为， 

上述存储单元存储将上述字幕语所包含的字符个数与上述规定时间对应的字幕转换时间信息， 

上述时间变更单元， 

具备时间确定单元，该时间确定单元参照上述字幕转换时间信息，确定与由上述字符数判断单元判断出的个数对应的规定时间； 

上述时间变更单元将上述规定时间变更为由上述时间确定单元所确定的规定时间。 

24.如权利要求19所述的附带字幕的影像重现装置，其特征为， 

上述计时单元， 

具备时间输入单元，该时间输入单元响应用户的操作，输入上述规定时间； 

上述计时单元检测经过了由上述时间输入单元所输入的规定时间的情况。 

25.如权利要求19所述的附带字幕的影像重现装置，其特征为， 

上述字幕转换单元， 

具备剩余时间显示单元，该剩余时间显示单元根据上述规定时间和由上述计时单元计算出的时间之差，求取转换重现中的字幕语之前的剩余时间，并显示该剩余时间； 

上述字幕转换单元在上述剩余时间显示单元显示中的剩余时间为零时，控制上述字幕重现单元使字幕语进行转换。 

26.如权利要求19所述的附带字幕的影像重现装置，其特征为， 

具备： 

全部影像时间取得单元，求取全部影像重现时间，该全部影像重现时间表示从上述影像信号定义的全部影像重现开始到结束的时间； 

比例图像生成单元，生成比例指示图像，该比例指示图像表示从起始字幕语的重现开始时至当前重现中的字幕语重现时为止的经过时间占上述全部影像重现时间的比例；以及 

比例图像显示单元，显示由上述比例图像生成单元所生成的比例指示图像。 

27.如权利要求22所述的附带字幕的影像重现装置，其特征为， 

具备重叠显示单元，该重叠显示单元将下述重现时刻指示图像和由上述比例图像生成单元所生成的比例指示图像重叠起来进行显示，上述重现时刻指示图像表示由上述全部影像时间取得单元求出的全部影像重现时间的上述各字幕语的各重现时刻。 

28.如权利要求19所述的附带字幕的影像重现装置，其特征为， 

上述存储单元， 

具备非对应影像提取单元，该非对应影像提取单元从上述各影像提取重现顺序与上述各字幕语没有对应的影像； 

上述存储单元将由上述非对应影像提取单元所提取的影像和作为虚拟字幕语的伪字幕语，按照重现顺序进行对应并存储， 

上述字幕重现单元， 

在上述影像重现单元将由上述非对应影像提取单元所提取的影像进行了重现时，将与该影像对应的伪字幕语重现， 

上述列表显示单元， 

显示上述重现中的伪字幕语和以该伪字幕语的重现顺序为基准位于规定的重现顺序范围内的伪字幕语的列表。 

29.如权利要求19所述的附带字幕的影像重现装置，其特征为， 

上述字幕转换单元， 

具备通知单元，该通知单元将取代重现中的字幕语而将具有该字幕语的下一重现顺序的字幕语重现的情况通知给用户； 

上述字幕转换单元在控制上述字幕重现单元使具有上述下一重现顺序的字幕语重现时，通过上述通知单元向用户通知。 

30.一种附带字幕的影像重现装置，其特征为， 

具备： 

字幕影像存储单元，将定义多个字幕语的字幕信号和定义多个影像的影像信号在重现定时上相对应并存储； 

字幕重现单元，从由上述字幕影像存储单元存储的字幕信号定义的多个字幕语中，将至少2个以上的字幕语重现； 

影像提取单元，从由上述字幕影像存储单元存储的影像信号定义的影像中，提取赋予了与对上述字幕重现单元所重现的各字幕语赋予的重现定时相对应的重现定时的影像；以及 

影像重现显示单元，将上述影像提取单元所提取的影像重现并显示。 

31.一种附带字幕的影像重现装置，其特征为， 

具备： 

存储单元，将定义多个字幕语的字幕信号和定义多个影像的影像信号，按照重现顺序进行对应并存储； 

字幕重现单元，将由上述字幕信号定义的字幕语重现； 

计时单元，计算时间，并检测从上述字幕重现单元重现中的字幕语重现开始经过了规定时间的情况； 

字幕转换单元，在由上述计时单元检测到经过规定时间时，控制上述字幕重现单元，取代当前重现中的字幕语，使具备该字幕语的下一重现顺序的字幕语重现； 

影像重现单元，从上述影像信号定义的各影像之内重现具有与上述字幕重现单元重现中的字幕语对应的重现顺序的影像；以及 

列表显示单元，生成并显示上述字幕重现单元重现中的字幕语和以该字幕语的重现顺序为基准位于规定的重现顺序范围内的字幕语的列表。 

Images