CN102959979A - 再生装置、声音选择方法以声音选择程序 - Google Patents

Abstract

多影像输出部（9）进行用于输出从多个影像信号分别获得的多个影像的处理。再生状态判定部（7）对多个影像信号中的至少一个影像信号的再生状态进行判定。声音选择部（8）根据由再生状态判定部（7）判定的再生状态，选择多个声音信号中的某一个。

Description

再生装置、声音选择方法以声音选择程序

技术领域

本发明涉及对表示多个影像的多影像进行处理的再生装置、声音选择方法以及声音选择程序。

背景技术

近年来，以数字化、高画质化、多频道化广播为背景，对薄型电视机的需求在世界范围内剧增。另外，随着记录介质的进一步大容量化和低价格化，现在普通用户也方便购买到搭载有数百GB以上的HDD（硬盘驱动器）的录像再生设备。因此，比起以前，用户能视听到的内容也在明显增加。

与阴极射线管电视机相比，薄型电视机容易进行大画面化，作为有效活用其大画面的功能之一，例如有以PinP（画中画）为代表的多影像同时显示技术。通过使用具备这种同时显示技术的多影像显示装置，能够高效率地欣赏多个内容。

在使用多影像显示装置时，曾存在因成为操作对象的影像有多个而导致操作变得复杂的问题，为了排除这种不便，已有人提出了用于简化操作的系统。

例如，在专利文献1所示的多画面控制装置中，按每个事项预先设定三个模式的动作。三个模式的动作是指，自动进行画面切换的动作、不进行画面切换的动作以及询问是否进行画面切换的动作。由此，当遇到了广告播出中等事项时，可根据利用者的爱好来设定影像的显示状态。

另外，在专利文献2所示的多画面显示电视接收机中，对各画面的信息、操作对象画面、操作内容和图像信号进行合成并进行屏幕显示，以在不明显阻碍影像的情况下提高操作性。

另一方面，在动画内容的再生设备中，曾存在若在再生期间以外进行停止、倒回、快进动作，声音信号会被中断的问题。

针对这个问题，专利文献3公开了一种可从多个记录介质中读出影像信号和声音信号，并且在历来会成为无声的期间内也不使影像、声音信号中断的技术。

专利文献1：日本特开2006-081106号公报

专利文献2：日本特开平7-162779号公报

专利文献3：日本特开平4-170880号公报

但是，在对表示多个影像的多影像进行处理的再生装置中，存在如下问题。

在此，假设多影像表示第一影像以及第二影像。并且，假设第一影像以及第二影像是通过解码器等的再生处理所获得的影像。另外，假设第一声音与第一影像对应，第二声音与第二影像对应。另外，假设显示装置显示多影像，扬声器输出第一声音从。

在这种情况下，假设第二影像是用户感兴趣的影像。在此情况，为了使扬声器输出第二声音，用户必须进行使第一影像的再生状态成为暂停状态的操作、用于将输出声音从第一声音切换成第二声音的操作等。用户的操作所需时间例如是1秒以上的较长时间。因此，存在无法迅速选择声音的问题。

发明内容

本发明是针对所述问题而开发的技术，其目的在于提供能够迅速选择与多影像对应的声音的再生装置等。

为了解决所述问题，本发明的一形态的再生装置利用多个影像信号以及与该多个影像信号分别对应的多个声音信号来进行处理。其具备：再生部，用于进行所述多个影像信号以及所述多个声音信号的再生；影像输出部，进行用于输出多影像的处理，该多影像表示通过由所述再生部进行再生而从所述多个影像信号分别获得的多个影像；再生状态判定部，对所述多个影像信号中的至少一个影像信号的再生状态，以及所述多个声音信号中的至少一个声音信号的再生状态的至少一方进行判定；选择部，根据由所述再生状态判定部判定的再生状态，选择所述多个声音信号中的某一个；声音信号输出部，输出由所述选择部选择的声音信号。

即，影像输出部进行用于输出表示从所述多个影像信号分别获得的多个影像的处理。再生状态判定部对所述多个影像信号中的至少一个影像信号的再生状态，以及所述多个声音信号中的至少一个声音信号的再生状态的至少一方进行判定。选择部根据由所述再生状态判定部判定的再生状态，选择所述多个声音信号中的某一个。

另外，表示多影像的多个影像是从多个影像信号获得的影像。即，多个影像信号与多影像对应。另外，被选择部作为选择对象的多个声音信号与多个影像信号对应，该多个影像信号与多影像对应。

因此，通过由选择部根据由所述再生状态判定部判定的再生状态来选择所述多个声音信号的某一个，用户的操作等不介入声音信号的选择。从而，能够迅速选择出与多影像对应的声音。

另外，优选为，所述再生状态判定部对作为所述多个影像信号中的至少一个影像信号的再生状态的影像再生状态进行判定，所述选择部根据由所述再生状态判定部判定的影像再生状态来选择所述多个声音信号中的某一个。

另外，优选为，所述再生状态判定部对作为所述多个影像信号中的至少一个影像信号的再生状态的影像再生状态，以及作为所述多个声音信号中的至少一个声音信号的再生状态的声音再生状态进行判定，所述选择部根据所述影像再生状态以及所述声音再生状态来选择所述多个声音信号中的某一个。

根据以上，由于在进行选择时使用所述影像再生状态以及所述声音再生状态，因此能够选择更适当的声音信号。

另外，优选为，所述选择部，在由所述再生状态判定部判定的影像再生状态为特殊的影像再生状态，并且，由所述再生状态判定部判定的声音再生状态为特殊的声音再生状态的情况下，选择所述多个声音信号中的、再生状态没有变化并且与再生状态没有变化的影像信号对应的声音信号。

另外，优选为，所述特殊的影像再生状态是指，被所述再生状态判定部作为判定对象的影像信号所表示的图像在规定时间以上呈大致相同的状态。

另外，优选为，所述特殊的影像再生状态是指，被所述再生状态判定部作为判定对象的影像信号所表示的影像以规定周期变化的状态。

另外，优选为，所述特殊的声音再生状态是指，被所述再生状态判定部作为判定对象的声音信号在规定时间以上表示无声的状态。

另外，优选为，所述再生状态判定部根据来自外部的指示，对作为所述多个影像信号中的至少一个影像信号的再生状态的影像再生状态，以及作为所述多个声音信号中的至少一个声音信号的再生状态的声音再生状态的至少一方进行判定，所述来自外部的指示是由远程控制器发送的、用于使所述多个影像信号中的某一个的再生状态发生变化的指示。

另外，优选为，所述再生装置还具备再生设备，该再生设备对影像信号以及声音信号的至少一方进行再生，所述再生设备向所述再生设备的外部输出表示正被再生的信号的再生状态的再生状态信息，所述再生状态判定部还根据所述再生状态信息，对所述再生设备的再生状态进行判定。

另外，优选为，所述再生状态判定部对多个再生状态进行判定，并对该多个再生状态排定优先级。

另外，优选为，所述选择部根据由所述再生状态判定部判定的再生状态、和用于选择所述多个声音信号中的某一个的优先级，来选择多个声音信号的某一个。

外，优选为，构成所述多影像的所述多个影像中的、与由所述选择部选择的声音信号对应的影像，以不同于其他影像的形态被显示。

由此，用户能够识别出被选择的声音信号。

另外，优选为，构成所述多影像的所述多个影像中的、与由所述选择部选择的声音信号对应的影像是该影像的边缘部分闪灭的影像。

由此，用户能够简单地识别出被选择的声音信号。

另外，优选为，所述多个影像信号以及所述多个声音信号中的至少一个影像信号以及声音信号是从记录介质获得的信号。

另外，优选为，所述多个影像信号以及所述多个声音信号中的至少一个影像信号以及声音信号是从调谐器获得的信号。

另外，优选为，所述再生装置还具备外部声音信号输入部，所述多个声音信号中的至少一个声音信号是由与所述外部声音信号输入部连接的设备发送的声音信号。

本发明的一形态的声音选择方法是利用多个影像信号以及与该多个影像信号分别对应的多个声音信号来进行处理的再生装置的声音选择方法。所述再生装置具备：再生部，用于进行所述多个影像信号以及所述多个声音信号的再生；影像输出部，进行用于输出多影像的处理，该多影像表示通过由所述再生部进行再生而从所述多个影像信号分别获得的多个影像。所述声音选择方法包括：对所述多个影像信号中的至少一个影像信号的再生状态，以及所述多个声音信号中的至少一个声音信号的再生状态的至少一方进行判定的步骤；根据判定出的再生状态，选择所述多个声音信号中的某一个的步骤；输出被选择的声音信号的步骤。

本发明的一形态的声音选择程序是由利用多个影像信号以及与该多个影像信号分别对应的多个声音信号来进行处理的再生装置所执行的声音选择程序。所述再生装置具备：再生部，用于进行所述多个影像信号以及所述多个声音信号的再生；影像输出部，进行用于输出多影像的处理，该多影像表示通过由所述再生部进行再生而从所述多个影像信号分别获得的多个影像。所述声音选择方法包括：对所述多个影像信号中的至少一个影像信号的再生状态，以及所述多个声音信号中的至少一个声音信号的再生状态的至少一方进行判定的步骤；根据判定出的再生状态，选择所述多个声音信号中的某一个的步骤；输出被选择的声音信号的步骤。

另外，可通过系统LSI（Large Scale Integration：大规模集成电路）来实现构成所述再生装置的多个结构要素的全部或者一部分。

另外，可通过以再生装置所具备的特征性构成部分的动作作为步骤的声音选择方法来实现本发明。另外，可通过使计算机执行所述声音选择方法所包含的各步骤的程序来实现本发明。另外，可通过存放所述程序的计算机可读记录介质来实现本发明。另外，可通过互联网等传输介质来传输该程序。

根据本发明，能够迅速选择与多影像对应的声音。

附图说明

图1是表示实施方式1的再生装置的结构的方框图。

图2是再生状态对应处理的流程图。

图3是表示实施方式2的再生装置的结构的方框图。

图4是表示再生状态管理部的结构的方框图。

图5是用于说明被判定的再生状态的图。

图6是表示用于自动切换声音的设定例的图。

图7是表示在考虑优先级的基础上、在成为选择候补的声音信号有多个的情况下的设定例的图。

图8是表示多影像的一个例子的图。

图9是表示多影像的一个例子的图。

图10是再生状态对应处理A的流程图。

图11是表示再生装置的结构的一个例子的方框图。

图12是表示再生装置的特征性功能结构的方框图。

具体实施方式

以下，参照附图说明本发明的实施方式。另外，在实施方式中，被赋予相同符号的结构要素进行相同动作，因此有时会省略重述。另外，以下的实施方式是对本发明进行具体化的一个例子，并不是对本发明技术范围的限定。

（实施方式1）

实施方式1中，对具备2个记录介质、2个视频解码器、2个音频解码器的，能够输出多影像（多画面）的信号的再生装置进行说明。在此，多影像是表示多种影像的影像。

图1是表示实施方式1的再生装置1000的结构的方框图。再生装置1000与未图示的一台显示器以及扬声器连接。该显示器是能够显示影像的显示装置。再生装置1000将生成的影像信号发送到未图示的一台外部的显示器，详情后述。另外，再生装置1000将声音信号发送到扬声器。

参照图1，再生装置1000具备记录介质1A和1B、再生部100、OSD（On-Screen Display：屏上显示）部4、视频合成部5、指示接受部6、再生状态判定部7、声音信号选择部8、多影像输出部9、声音信号输出部10。

记录介质1A、1B例如是HDD（Hard disk drive）、闪存等。

另外，记录介质1A、1B也可以不是再生装置1000所具备的结构。即，记录介质1A、1B可以是能够从再生装置1000上简单卸下的介质。在此情况下，记录介质1A、1B是光学介质、SD卡、USB存储器等。光学介质例如是BD（Blu-ray Disc：蓝光盘）、DVD（Digital VersatileDisc：数字多功能光盘）。

记录介质1A、1B中分别记录有由视频编解码器编码的影像信号，以及由音频编解码器编码的声音信号。

近年来，一般是由视频编解码器对影像信号、由音频编解码器对声音信号分别进行压缩编码之后记录到记录介质中。另外，影像信号以及声音信号的同步信息、管理信息被系统编解码器进行多路复用的情况较多。

视频编解码器例如是MPEG（Moving Picture Experts Group：动态图像专家组）-2，MPEG-4AVC。音频编解码器例如是AAC（Advanced Audio Coding：高级音频编码），Dolby-AC3。另外，系统编解码器例如是QuickTime、MPEG-2PS、MPEG-2TS。

再生部100进行多个影像信号以及声音信号的再生。再生部100包含视频解码器2A、2B和音频解码器3A、3B。

视频解码器2A读出被记录在记录介质1A中的影像信号并对其进行解码（再生），并将解码之后的影像信号发送到视频合成部5。以下，由视频解码器2A发送的影像信号也称之为第一影像信号。另外，以下，第一影像所表示的影像也称之为第一影像。

视频解码器2B读出被记录在记录介质1B中的影像信号并对其进行解码（再生），并将解码之后的影像信号发送到视频合成部5。以下，由视频解码器2B发送的影像信号也称之为第二影像信号。另外，以下，第二影像所表示的影像也称之为第二影像。

音频解码器3A对被记录在记录介质1A中的声音信号进行解码（再生），并将解码之后的声音信号发送到声音信号选择部8。以下，由音频解码器3A发送的声音信号也称之为第一声音信号。另外，以下，第一声音信号所表示的声音也称之为第一声音。

音频解码器3B对被记录在记录介质1B中的声音信号进行解码（再生），并将解码之后的声音信号发送到声音信号选择部8。以下，由音频解码器3B发送的声音信号也称之为第二声音信号。另外，以下，第二声音信号所表示的声音也称之为第二声音

第一影像以及第二影像分别与第一声音以及第二声音对应。

OSD部4进行用于描绘屏上显示用的文字和图形的处理。具体是，OSD部4生成屏上显示用的图像，并生成表示所生成的图像的影像信号（以下，称之为OSD影像信号）。并且，OSD部4根据需要，将该OSD影像信号发送到视频合成部5。

视频合成部5生成表示第一影像和第二影像的多影像，第一影像是第一影像信号表示的影像，第二影像是第二影像信号表示的影像。在多影像中，以互不重叠的方式（Picture by Picture）配置第一影像和第二影像。另外，在多影像中，也可以重叠配置第一影像和第二影像。

另外，生成多影像时，根据需要，由视频合成部5对多影像所表示的该多个影像进行缩小。

即，多影像表示通过由再生部100进行再生而从多个影像信号中分别获得的多个影像。

另外，视频合成部5根据需要，在生成的多影像上重叠OSD影像信号所表示的影像。该OSD影像信号所表示的影像的重叠方法为公知技术，因此不作详述。

并且，视频合成部5将多影像所表示的影像信号（以下，称之为多影像信号）发送到多影像输出部9。

多影像输出部9将接收到的多影像信号发送（输出）到未图示的一台外部的显示器。该显示器显示接收到的多影像信号所表示的多影像。即，多影像输出部9是进行用于输出多影像的处理的影像输出部。

指示接受部6通过接收表示控制指示的控制信号，来接受控制指示。该控制信号例如是，因用户对未图示的远程控制器进行操作，而从该远程控制器以无线通讯的方式发送的控制信号。以下，远程控制器也称之为遥控器。

该控制指示是再生控制指示、影像构成指示、声音选择指示等中的某一个。

再生控制指示是与影像信号的再生有关的指示。再生控制指示例如是通常再生、快进、暂停、倒回等指示。

以下，影像信号所表示的影像被暂停的再生状态也称之为暂停状态。

暂停状态是指该影像信号所表示的图像在规定时间以上呈相同或大致相同的状态。

另外，以下，影像信号所表示的影像被快进的再生状态也称之为快进状态。另外，以下，影像信号所表示的影像被倒回的再生状态也称之为倒回状态。另外，以下，影像信号所表示的影像被进行通常再生的再生状态也称之为通常再生状态。

另外，以下，将暂停状态、快进状态以及倒回状态统称为非通常再生状态。另外，以下，将快进状态以及倒回状态统称为特殊再生状态。

指示接受部6，在接受到的控制指示是再生控制指示的情况下，将该再生控制指示发送到再生部100以及再生状态判定部7。

在此，作为一个例子，假设再生控制指示是要将由视频解码器2A解码（再生）的影像信号的再生状态变更为暂停状态的指示。在此情况下，再生部100中包含的视频解码器2A停止影像信号的解码，而将显示同一帧（图像）的影像信号作为第一影像信号发送到视频合成部5。

由此，由视频合成部5生成的多影像所表示的第一影像显示同一帧（图像）。即，第一影像信号的再生状态成为暂停状态。

影像构成指示是多影像生成指示、单一影像指示等。指示接受部6，在控制指示是影像构成指示的情况下，将该影像构成指示发送到视频合成部5。

多影像生成指示是使视频合成部5生成所述多影像的指示。单一影像指示是不使视频合成部5生成所述多影像的指示。

视频合成部5，在接收了单一影像指示的情况下，不进行生成所述多影像的处理，而向多影像输出部9发送一个影像（例如，第一影像，第二影像）的影像信号。

声音选择指示是用于选择由声音信号选择部8输出的信号的指示。指示接受部6，在接受到的控制指示是声音选择指示的情况下，向声音信号选择部8发送该声音选择指示。

在此，声音选择指示例如是用于将由音频解码器3A发送的第一声音信号发送到声音信号输出部10的指示。在此情况下，声音信号选择部8按照所接收到的声音选择指示，向声音信号输出部10发送第一声音信号。

另外，指示接受部6接收的该控制信号也可以是通过由用户操作被设置在再生装置1000中的未图示的键（按钮）而由未图示的电路发送的控制信号。

再生状态判定部7对由再生部100进行解码（再生）的各信号的再生状态进行判定。再生状态判定部7向声音信号选择部8发送声音选择指示，该声音选择指示表示要选择第一声音信号以及第二声音信号的哪一个。

在影像信号的再生状态为暂停状态、倒回状态等再生状态的情况下，单体的再生机一般会成为无声状态。然而，再生状态判定部7例如能够对声音信号的再生状态进行判定，在该再生状态是表示无声的再生状态时，择与该声音信号不同的声音信号。

另外，再生状态判定部7具有对前一个选择的声音信号进行存储的功能。通过该功能，再生状态判定部7，在声音信号的再生状态成为表示有声的再生状态时，能够返回到前一个选择的声音信号。

声音信号选择部8按照由指示接受部6发送的声音选择指示或者由再生状态判定部7发送的声音选择指示，选择第一声音信号以及第二声音信号的某一个。

由指示接受部6发送的声音选择指示例如，如上所述是通过由用户操作遥控器而发生的指示。

以下，将由用户进行的遥控器的操作，称为遥控操作U。

然后，声音信号选择部8将选择的声音信号发送到声音信号输出部10。

声音信号输出部10将接收到的声音信号发送到扬声器。即，声音信号输出部10向外部输出其接收到的声音信号。扬声器输出其接收到的声音信号所表示的声音。

另外，再生装置1000也可以连接耳机。在此情况下，声音信号输出部10将其接收到的声音信号发送到耳机。

声音信号选择部8，如上所述，能够根据遥控操作U来选择第一声音信号以及第二声音信号中的某一个。然而，用于在改变第一影像以及第二影像中的一方再生状态之后选择声音信号的2个步骤（遥控操作U），随着次数增多，用户的负担越大。

例如，如果利用本实施方式的再生装置1000，通过在显示器上显示表示第一影像以及第二影像的多影像，能够并列欣赏第一影像以及第二影像。

在此，假设当视听第一影像、与第一影像对应的第一声音和第二影像时，用户的兴趣转向了第二影像。即，假设表示第一影像以及第二影像的多影像被显示在显示器上，第一声音从扬声器被输出。

在此情况下，由于用户会集中于欣赏第二影像，因此假设使再生装置1000进行了用于使第一影像的再生状态成为暂停状态，并将再生对象的声音从第一声音切换成与第二影像对应的第二声音的操作。

然后，假设用户在视听了第二影像以及第二声音一段时间之后，为了再次视听第一影像，而对再生装置1000进行了将再生对象的声音从第二声音切换成第一声音的操作。

在通过历来的遥控操作U来使再生装置1000实现所述处理的情况下，用户必须进行以下的遥控操作J1、J2、J3、J4等四个步骤。

遥控操作J1是为了将第一影像的再生状态变更成暂停状态的遥控操作U（例如，按压暂停按钮的操作）。

遥控操作J2是为了将再生对象的声音从第一声音切换成第二声音的遥控操作U（例如，按压声音切换按钮的操作）。

遥控操作J3是为了将再生对象的声音从第二声音切换成第一声音的遥控操作U（例如，按压声音切换按钮的操作）。

遥控器操作J4是为了对暂停状态的第一影像进行再生的遥控操作U（例如，按压再生按钮的操作）。

但是，本实施方式的再生装置1000通过以下的遥控操作N1、N2这2个步骤，就能进行以上处理。以下，将再生装置1000进行的、与再生状态对应的处理，称为再生状态对应处理。

图2是再生状态对应处理的流程图。

在此，再生装置1000的视频合成部5、声音信号选择部8以及声音信号输出部10进行以下的处理。

视频合成部5在向显示器发送（输出）表示多影像的多影像信号，该多影像表示第一影像以及第二影像。声音信号选择部8选择了第一声音信号，并在向声音信号输出部10发送第一声音信号。声音信号输出部10在向扬声器发送第一声音信号。扬声器通过接受第一声音信号，而在输出第一声音。在此情况下，第一影像（第一影像信号）的再生状态为通常再生状态。

在以上的状态下，首先，由用户进行遥控操作N1。遥控操作N1是用于使第一影像的再生状态成为暂停状态的遥控操作U。即，遥控操作N1与所述遥控操作J1相同。

在此情况下，指示接受部6通过从遥控器接收表示用于将第一影像（第一影像信号）的再生状态变更成暂停状态的再生控制指示的控制信号，从而接受该再生控制指示。在此情况下，指示接受部6将该再生控制指示发送到再生部100以及再生状态判定部7。

在此情况下，再生部100中包含的视频解码器2A按照再生控制指示，停止影像信号的解码，并将显示同一帧（图像）的影像信号作为第一影像信号发送到视频合成部5。

由此，由视频合成部5生成的多影像所表示的第一影像显示同一帧（图像）。即，第一影像信号的再生状态成为暂停状态。

另外，在此情况下，再生状态判定部7通过接收用于使第一影像（第一影像信号）的再生状态成为暂停状态的再生控制指示，作出“由于第一影像的再生状态成为暂停状态，因此第一声音成为无声”的判断。

即，再生状态判定部7判定第一影像（第一影像信号）的再生状态是作为特殊的影像再生状态的暂停状态（S110）。即，再生状态判定部7判定为第一影像（第一影像信号）的再生状态从通常再生状态变化成了暂停状态。

另外，在此情况下，再生状态判定部7还判定为第二影像（第二影像信号）的再生状态是通常再生状态。

即，再生状态判定部7对多个影像信号中的至少一个影像信号的再生状态（以下，也称之为影像再生状态）进行判定。

然后，再生状态判定部7将用于选择第二声音信号的声音选择指示发送到声音信号选择部8。即，该声音选择指示是用于将再生对象的声音从第一声音切换成第二声音的指示。

声音信号选择部8接收到声音选择指示之后，选择第二声音信号，以替代第一声音信号（S120）。

即，作为选择部的声音信号选择部8，在由再生状态判定部7判定的影像再生状态为特殊的影像再生状态的情况下，选择多个声音信号中的、与该再生状态发生了变化的第一影像信号对应的第一声音信号以外的第二声音信号。

换言之，声音信号选择部8，在再生状态判定部7判定为多个影像信号中的某一个影像信号的再生状态发生了变化的情况下，选择多个声音信号中的、与该再生状态变化的第一影像信号对应的第一声音信号以外的第二声音信号。

即，作为选择部的声音信号选择部8，根据由再生状态判定部7判定的再生状态，选择多个声音信号的某一个。

并且，声音信号选择部8将选择的第二声音信号发送到声音信号输出部10。

声音信号输出部10将第二声音信号发送（输出）到外部的扬声器（S130）。由此，由扬声器输出的声音从第一声音切换成第二声音。即，声音信号输出部10输出由作为选择部的声音信号选择部8选择的声音信号。

其次，由用户进行遥控操作N2。遥控操作N2是用于对暂停状态的第一影像进行再生的遥控操作U。即，遥控操作N2，与所述遥控操作J4相同。

在此情况下，指示接受部6通过从遥控器接收表示用于使第一影像（第一影像信号）的再生状态成为通常再生状态的再生控制指示的控制信号，从而受理该再生控制指示。在此情况下，指示接受部6将该再生控制指示发送到再生部100以及发送到再生状态判定部7。

在此情况下，再生部100中包含的视频解码器2A按照再生控制指示，开始对停止的影像信号进行解码，并将通过该解码所获得的第一影像信号发送到视频合成部5。即，视频解码器2A将第一影像信号的再生状态变更为通常再生状态。

由此，由视频合成部5生成的多影像所表示的第一影像的再生状态成为通常再生状态。

另外，在此情况下，再生状态判定部7通过接收用于使第一影像（第一影像信号）的再生状态成为通常再生状态的再生控制指示，而作出“由于第一影像的再生状态成为通常生成状态，因此第一声音成为有声”的判断。

即，再生状态判定部7判定为第一影像（第一影像信号）的再生状态是通常再生状态的判定（S110）。即，再生状态判定部7判定为第一影像（第一影像信号）的再生状态从暂停状态变化成了通常再生状态。

并且，再生状态判定部7将用于选择第一声音信号的声音信号指示发送到声音信号选择部8。即，该声音选择指示是用于将再生对象的声音从第二声音切换成第一声音的指示。

声音信号选择部8接收到声音选择指示之后，选择第一声音信号，以代替第二声音信号（S120）。并且，声音信号选择部8将选择的第一声音信号发送到声音信号输出部10。

声音信号输出部10将第一声音信号发送（输出）到外部的扬声器（S130）。由此，从扬声器输出的声音从第二声音被切换为第一声音。

在以上的处理中说明了再生控制指示是用于使影像（影像信号）的再生状态成为暂停状态的指示的例子，但根据本发明，在再生控制指示是用于使影像（影像信号）的再生状态成为快进状态或者倒回状态的指示的情况下，也能够进行与以上的处理相同的处理。

即，即使在变化之后影像（影像信号）的再生状态是快进状态或者倒回状态的情况下，也进行与变化之后的影像（影像信号）的再生状态为暂停状态时的所述处理相同的处理。

如上所述，根据本实施方式，再生状态判定部7对影像（影像信息）的再生状态进行判定，并根据判定的再生状态向声音信号选择部8发送声音选择指示。声音信号选择部8按照声音选择指示，选择声音信号。声音信号输出部10输出由声音信号选择部8选择的声音信号。

另外，被声音信号选择部8作为选择对象的第一声音信号以及第二声音信号分别与第一影像以及第二影像对应。即，被声音信号选择部8作为选择对象的第一声音信号以及第二声音信号与表示第一影像以及第二影像的多影像对应。

因此，声音信号选择部8根据再生状态判定部7判定的再生状态，来选择多个声音信号（第一以及第二声音信号）中的某一个，因此，用户的操作并不介入声音信号的选择。从而，能够迅速选择与多影像对应的声音。

另外，历来，例如在第一影像（第一影像信号）的再生状态是非通常再生状态（暂停状态、快进状态等）、第一声音为无声的状态（以下，称之为状态A）下，为了输出第二声音，必须由用户进行操作。

但是，在本实施方式中，在状态A时，即使没有用户的操作，也能够输出与第一声音不同的第二声音。因此，用户能够高效率地并列欣赏第一影像以及第二影像。

另外，在本实施方式中，说明了从2个记录介质（记录介质1A、1B）读出2个影像信号以及声音信号的情况，此外，记录介质也可以是一个或者三个以上。

另外，在本实施方式中，说明了利用2个视频解码器以及音频解码器的情况，但并不限定于此。例如，可通过进行时间分割处理，利用容量大的解码缓存器，将各解码器简约为一个，以缩小电路规模。另外，可具备三个以上的各解码器，分散负荷，从而削减消耗功率。

另外，在本实施方式中说明了将视频解码器以及音频解码器用为进行解码的再生单元的情况，但并不限定于此。例如，在影像信号以及声音信号未被压缩编码的情况下，用于从记录介质读出影像信号以及声音信号并输出该影像信号以及声音信号的结构将等同于再生单元。因此，并非是定要有视频解码器以及音频解码器。

另外，在本实施方式中，说明了从记录介质读出影像信号以及声音信号的情况，但并不限定于此。影像信号以及声音信号可以是被同时录制的信号，影像信号与声音信号也可以是毫无关联的信号。

另外，在本实施方式中，说明了从记录介质直接读出影像信号以及声音信号，并由视频·音频解码器进行解码的结构，但并不限定于此。例如，也可以从记录介质读出被多路复用的流，对其进行多路分离之后由视频·音频解码器进行解码。

另外，在本实施方式中，说明了多影像输出部将表示多个影像的多影像的信号发送（输出）到一个显示器的结构，但并不限定于此。也可以是将多个影像的信号分别发送到多个显示器的结构。另外，也可以是对多个显示器分别发送（输出）一个以上的影像的信号结构。

另外，在本实施方式中，说明了声音信号选择部8输出的声音信号是一个的情况，但并不限定于此。例如，为了实现多个声音输出，也可以在声音信号输出部上设置多个输出端子。另外，也可以通过耳机和扬声器等多个不同的设备来听取相同或者不同的声源。

＜实施方式2＞

在实施方式2中，将说明具备4个调谐器、4个视频解码器、4个音频解码器、2个外部影像信号输入部、2个外部声音信号输入部的再生装置。

图3是表示实施方式2的再生装置1000A的结构的方框图。

再生装置1000A具备电视接收机200和再生设备301、302。

电视接收机200是可以显示多影像（多画面）的影像显示装置。另外，再生装置1000A所具备的影像显示装置并部限定于电视接收机。再生装置1000A所具备的影像显示装置，只要是可以显示影像的装置，也可以是其他的装置。

电视接收机200与再生设备301、302相连接。

电视接收机200包括调谐器12C、12D、12E、12F以及再生部100A、OSD部4、视频合成部5A、指示接受部6A、再生状态管理部7A、声音信号选择部8、多影像显示部9A、声音信号输出部10、外部影像信号输入部13A和13B、外部声音信号输入部14A和14B、再生状态取得部15。

调谐器12C、12D、12E、12F分别接收来自未图示的天线的广播波。调谐器12C、12D、12E、12F分别通过对接收到的广播波进行解调来取得影像信号以及声音信号，并将该影像信号以及声音信号发送到视频解码器和音频解码器。

以下，将通过由各调谐器对广播浪进行解调而获得的影像信号以及声音信号，分别成为广播影像信号以及广播声音信号。

广播影像信号以及广播声音信号与被记录在记录介质1A中的影像信号以及声音信号是相同的信号。即，广播影像信号是由视频编解码器进行编码的影像信号。广播声音信号是由音频编解码器进行编码的声音信号。

再生部100A进行多个影像信号以及声音信号的再生。再生部100A包括视频解码器2C、2D、2E、2F和音频解码器3C、3D、3E、3F。

调谐器12C将广播影像信号以及广播声音信号分别发送到视频解码器2C以及音频解码器3C。调谐器12D将广播影像信号以及广播声音信号分别发送到视频解码器2D以及音频解码器3D。

调谐器12E将广播影像信号以及广播声音信号分别发送到视频解码器2E以及音频解码器3E。调谐器12F将广播影像信号及广播声音信号分别发送到视频解码器2F及音频解码器3F。

视频解码器2C、2D、2E、2F分别具有与图1的视频解码器2A、2B相同的功能，因此省略重复。以下，仅作简述。

视频解码器2C对接收到的广播影像信号进行解码（再生），并将解码之后的广播影像信号发送到视频合成部5A。以下，由视频解码器2C发送的广播影像信号也称之为第三影像信号。另外，以下，第三影像信号所表示的影像也称之为第三影像。

视频解码器2D对接收到的广播影像信号进行解码（再生），并将解码之后的广播影像信号发送到视频合成部5A。以下，由视频解码器2D发送的广播影像信号也称之为第四影像信号。另外，以下，第四影像信号所表示的影像也称之为第四影像。

视频解码器2E对接收到的广播影像信号解码（再生），并将解码之后的广播影像信号发送到视频合成部5A。以下，由视频解码器2E发送的广播影像信号也称之为第五影像信号。另外，以下，第五影像信号所表示的影像也称之为第五影像。

视频解码器2F对接收到的广播影像信号解码（再生），并将解码之后的广播影像信号发送到视频合成部5A。以下，由视频解码器2F发送的广播影像信号也称之为第六影像信号。另外，以下，第六影像信号所表示的影像也称之为第六影像。

声频解码器3C、3D、3E、3F分别具有与图1的声频解码器3A、3B相同的功能，因此省略重复。以下，仅作简述。

声频解码器3C对接收到的广播声音信号进行解码（再生），并将解码之后的广播声音信号发送到声音信号选择部8。以下，由声频解码器3C发送的广播声频信号也称之为第三声频信号。另外，以下，第三声频信号所表示的声音也称之为第三声音。

音频解码器3D对接收到的广播声音信号进行解码（再生），并将解码之后的广播声音信号发送到声音信号选择部8。以下，也将音频解码器3D发送的广播声音信号称为第四声音信号。

音频解码器3E对接收到的广播声音信号进行解码（再生），并将解码之后的广播声音信号发送到声音信号选择部8。以下，也将音频解码器3E发送的广播声音信号称为第五声音信号。另外，以下，也将第五声音信号所表示的声音称为第五声音。

音频解码器3F对接收到的声音信号进行解码（再生），并将解码之后的声音信号发送到声音信号选择部8。以下，也将音频解码器3F发送的广播声音信号称为第六声音信号。另外，以下，也将第六声音信号所表示的声音称为第六声音。

第三影像、第四影像、第五影像以及第六影像分别与第三声音、第四声音、第五声音以及第六声音对应。

再生状态取得部15通过来自外部的通信单元能够取得外部的再生设备的再生状态（动作状态）。再生状态取得部15通过通信电缆，与再生设备301连接。作为一个例子，再生状态取得部15上设有Ethernet（注册商标）终端设置。在此情况下，再生状态取得部15通过LAN（Local Area Network）电缆，与再生设备301连接。再生状态取得部15与再生设备301进行通信。

再生设备301包含记录介质1A、视频解码器2A、音频解码器3A、影像信号输出部16A、声音信号输出部17A、再生状态判定部18和再生状态通知部19。

图3的记录介质1A、视频解码器2A以及音频解码器3A分别与图1的记录介质1A、视频解码器2A以及音频解码器3A具有相同的功能，因此省略重复详述。以下，仅作简述。

视频解码器2A对被记录在记录介质1A中的影像信号进行解码（再生），并将解码之后的影像发送到影像信号输出部16A。如上所述，视频解码器2A发送的影像信号是第一影像信号，第一影像信号所表示的影像是第一影像。

音频解码器3A对被记录在记录介质1A中的声音信号进行解码（再生），并将解码之后的声音信号发送到输出部17A。

即，再生设备301对影像信号以及声音信号的至少一方进行再生。

如上所述，音频解码器3A发送的声音信号是第一声音信号，第一声音信号所表示的声音是第一声音。

影像信号输出部16A通过电缆，将接收到的第一影像信号发送到外部影像信号输入部13A。声音信号输出部17A通过电缆，将接收到的第一声音信号发送到外部声音信号输入部14A。

外部影像信号输入部13A将接收到的第一影像信号发送到视频合成部5A。外部声音信号输入部14A将接收到的第一声音信号发送到声音信号选择部8。

通过该结构，电视接收机200能够利用由再生设备301发送的影像信号以及声音信号，进行影像的显示以及声音的输出。

即，多个声音信号（第一至第六声音信号）中的至少一个声音信号是由与外部声音信号输入部14A连接的设备（再生设备301）发送的声音信号。

用于传输影像信号以及声音信号的连接类型、终端的形状均存在多种形态。在此，作为一个例子，再生设备301通过HDMI（High-Definition Multimedia Interface）电缆，将影像信号及声音信号发送到电视接收机200。

具体是，影像信号输出部16A以及声音信号输出部17A通过HDMI电缆，分别与外部影像信号输入部13A以及外部声音信号输入部14A连接。

HDMI电缆能够同时传输影像信号以及声音信号。但是，在图3中，方便起见，分开记载了影像信号以及声音信号的传达路径。因此，在图3中，表示了影像信号输出部16A以及声音信号输出部17A分别与外部影像信号输入部13A以及外部声音信号输入部14A连接的结构。即，实际上，影像信号输出部16A以及声音信号输出部17A通过一个HDMI电缆与外部影像信号输入部13A以及外部声音信号输入部14A连接。

再生状态判定部18对再生设备301的再生状态进行管理（识别）。再生状态判定部18通过再生状态通知部19，向外部通知再生设备301的再生状态（动作状态）。再生设备301的再生状态（动作状态）是再生设备301正在进行再生的信号的再生状态。

以下，将表示再生设备301的再生状态（动作状态）的信息称为再生状态信息。

再生状态通知部19通过通信电缆与再生状态取得部15连接。作为一个例子，再生状态通知部19上设有Ethernet（注册商标）终端。在此情况下，再生状态通知部19通过LAN电缆与再生状态取得部15连接。即，再生状态判定部18通过再生状态通知部19将表示再生设备301的再生状态（动作状态）的再生状态信息发送到电视接收机200（再生状态取得部15）。

即，再生设备301将表示再生设备301正在进行再生的信号的再生状态的再生状态信息输出到再生设备301的外部。

再生状态取得部15将接收到的再生状态信息发送到再生状态管理部7A。

通过该结构，电视接收机200能够实时取得再生设备301再生状态（动作状态）。

再生设备302包含记录介质1B、视频解码器2B、音频解码器3B、影像信号输出部16B和声音信号输出部17B。

图3的记录介质1B、视频解码器2B以及音频解码器3B分别具有与图1的记录介质1B、视频解码器2B以及音频解码器3B相同的功能，因此省略重述。以下，仅作简述。

视频解码器2B对被记录在记录介质1B中的影像信号进行解码（再生），并将解码之后的影像信号发送到影像输出部16B。如上所述，视频解码器2B发送的影像信号是第二影像信号，第二影像信号所表示的影像是第二影像。

音频解码器3B对被记录在记录介质1B中的声音信号进行解码（再生），并将解码之后的声音信号发送到声音信号输出部17B。如上所述，音频解码器3B发送的声音信号是第二声音信号，第二声音信号所表示的声音是第二声音。

作为一个例子，影像信号输出部16B通过分量线缆（ComponentCable）与外部影像信号输入部13B连接。作为一个例子，声音信号输出部17B通过RCA立体声线缆与外部声音信号输入部14B连接。

影像信号输出部16B将接收到的第二影像信号，通过分量线缆发送到外部影像信号输入部13B。在此情况下，第二影像信号是分量信号。声音信号输出部17B将接收到的第二声音信号，通过RCA立体声线缆发送到外部声音信号输入部14B。

外部影像信号输入部13B将接收到的第二影像信号发送到视频合成部5A。外部声音信号输入部14B将接收到的第二声音信号发送到声音信号选择部8。

通过该结构，电视接收机200能够利用由再生设备302发送的影像信号以及声音信号，进行影像显示以及声音输出。

即，在第一至第六影像信号以及第一至第六声音信号中，至少一个影像信号以及声音信号是从记录介质获得的信号。

另外，在第一至第六影像信号以及第一至第六声音信号中，至少一个影像信号以及声音信号是从调谐器获得的信号。

在此，本实施方式的再生装置1000A中，再生部可由视频解码器2A、2B、2C、2D、2E、2F和音频解码器3A、3B、3C、3D、3E、3F构成。即，再生装置1000A可以是具备包括视频解码器2A、2B、2C、2D、2E、2F和音频解码器3A、3B、3C、3D、3E、3F的再生部的结构。

由于指示接受部6A具有与图1的指示接受部6相同的功能，因此不重复详述。以下，仅作简述。

指示接受部6A通过被设置在电视接收机200的按钮（键）操作以及所述遥控操作U，向电视接收机200的各部分发送指示。按钮操作以及遥控操作U并不限于电源的开/关操作、调谐器的选台操作、音量调整操作等一般的电视机的操作。

通过可显示多影像的装置的特征性操作，能够对视频合成部5A发出按每个出画画面数以及影像的版图指示，或者能够对声音信号选择部8发出要选择哪个声音信号的指示。

具体是，与指示接受部6同样，指示接受部6A通过接收表示控制指示的控制信号来受理控制指示。该控制指示是所述再生控制指示、影像构成指示以及声音选择指示等中的某一个。

指示接受部6A，在接受到的控制指示是再生控制指示的情况下，将该再生控制指示发送到再生部100A以及再生状态管理部7A。

另外，一般而言电视接收机只能接收面针对该电视接收机的遥控器的键码。然而，本实施方式的电视接收机200能够接收针对再生设备302的遥控的键码，来判别进行了哪个操作。

各厂家的用于进行再生设备的基本操作的遥控码广为人知，市场上还有能够对应多个厂家的各种AV设备的万能遥控器，以及能够接收和学习遥控器的键码并发送的学习型遥控器。

因此，即使是其他公司制造的再生设备，也能够简单地判别出接收遥控码之后进行了什么样的操作。

图3的OSD部4具有与图1的OSD部4相同的功能，因此省略重述。即，OSD部4，根据需要，将OSD影像信号发送到视频合成部5A。

视频合成部5A具有与图1的视频合成部5相同的功能，因此省略重述。以下，仅作简述。

视频合成部5A接收所述第一影像信号、第二影像信号、第三影像信号、第四影像信号、第五影像信号以及第六影像信号。以下，也将第一影像信号、第二影像信号、第三影像信号、第四影像信号、第五影像信号以及第六影像信号分别简称为影像信号。

视频合成部5A从接收的6个影像信号中选择2个以上4个以下的影像信号，并生成表示被选择的多个影像信号所分别表示的多个影像的多影像。另外，生成多影像时，根据需要，视频合成部5A对多影像所表示的该多个影像进行缩小。

另外，视频合成部5A，根据需要，将OSD影像信号所表示的影像重叠在生成的多影像上。

并且，视频合成部5A将表示多影像的多影像信号发送到多影像显示部9A。

另外，视频合成部5A还可以选择1个影像信号。在此情况下，不生成多影像。

多影像显示部9A显示多影像信号所表示的多影像。即，多影像显示部9A通过显示多影像，来输出该多影像。即，多影像显示部9A是进行用于输出多影像的处理的影像输出部。

另外，视频合成部5A，在发送多影像信号的同时，还将多影像所表示的多个影像中成为操作对象的影像的影像信号发送到再生状态管理部7A。在此，成为操作对象的影像例如是，通过由用户进行的遥控操作U，所述再生状态为所述非通常再生状态的影像。以下，将成为操作对象的影像称为操作对象影像。

以下，将多影像所表示的多个影像中的操作对象影像的影像信号，称为操作对象影像信号VSIG。在此情况下，操作对象影像信号VSIG是第一影像信号、第二影像信号、第三影像信号、第四影像信号、第五影像信号以及第六影像信号中的某一个。操作对象影像信号VSIG表示由多个帧构成的影像（动态图像）。

声音信号选择部8接收所述第一声音信号、第二声音信号、第三声音信号、第四声音信号、第五声音信号以及第六声音信号。以下，将第一声音信号、第二声音信号、第三声音信号、第四声音信号、第五声音信号以及第六声音信号，也分别简称为声音信号。

声音信号选择部8按照来自外部的指示，从接收的6个声音信号中选择1个声音信号，并将选择的声音信号发送到声音信号输出部10。

另外，声音信号选择部8，在发送所选择的声音信号的同时，将与多影像所表示的多个影像中的操作对象影像对应的声音信号，发送到再生状态管理部7A。

以下，与多影像所表示的多个影像中的操作对象影像对应的声音信号，也称之为操作对象声音信号ASIG。在此情况下，操作对象声音信号ASIG是第一声音信号、第二声音信号、第三声音信号、第四声音信号、第五声音信号以第六声音信号中的某一个。即，声音信号选择部8将操作对象声音信号ASIG发送到再生状态管理部7A。

声音信号输出部10将接收到的声音信号发送到扬声器。即，声音信号输出部10将接收到的声音信号输出到外部。扬声器输出接收到的声音信号所表示的声音。

另外，声音信号输出部10可以包含扬声器。在此情况下，声音信号输出部10根据接收到的声音信号，从扬声器输出声音。

图4是表示再生状态管理部7A的结构的方框图。

再生状态管理部7A接收操作对象影像信号VSIG、操作对象声音信号ASIG、来自指示接受部6A的指示、再生状态等。

参照图4，再生状态管理部7A包含帧延迟部111、帧比较部112、声音处理部121、再生状态判定部70和控制指示转送部131。

帧延迟部111以及帧比较部112接收操作对象影像信号VSIG。

帧延迟部111使操作对象影像信号VSIG中的各帧延迟1帧期间，并发送到帧比较部112。在此，在构成操作对象影像信号VSIG的多个帧中，将各帧被处理的期间称为1帧期间。1帧期间例如是1/59.97秒。就日本国内的民用设备而言，1/59.97秒是一般的时间。

由此，帧比较部112，每当经过1帧期间时，大致同时接收操作对象影像信号VSIG的当前帧以及过去帧。当前帧是最新的帧。过去帧是指，在时间上位于当前帧的前1位的帧。

帧比较部112，每当接收到当前帧以及过去帧时，对当前帧和过去帧进行比较。

声音处理部121接收操作对象声音信号ASIG。声音处理部121对操作对象声音信号ASIG进行处理，详情后述。

另外，再生状态判定部70，如上所述，从再生状态取得部15（再生设备301）接收再生状态信息。如上所述，再生状态信息表示再生设备301在进行再生的信号的再生状态。即，再生状态判定部70根据接收到的再生状态信息所表示的再生状态，来判定再生设备301的再生状态。

即，再生状态管理部7A（再生状态判定部70），通过再生状态取得部15，接收由再生设备301发送的、表示再生设备301的再生状态（动作状态）的再生状态信息。

但是，再生设备302并不具备用于通知再生状态（动作状态）的通信单元。因此，再生状态管理部7A无法通过再生状态取得部取得再生设备302的再生状态（动作状态）。

在此，作为一个例子，假设多影像显示部9A显示着表示第一影像、第二影像、第三影像以及第四影像的多影像，第二影像是操作对象影像。即，假设由再生设备302发送的第二影像信号所表示的第二影像是操作对象影像。

在此情况下，用于判定是否能将再生对象的声音从与第二影像对应的第二声音切换成其他声音的判定方法A、B、C如下所示。

判定方法A是根据操作对象影像信号VSIG中的当前帧和过去帧的比较结果的方法。具体是，帧比较部112，每当接收到当前帧以及过去帧时，算出表示当前帧和过去帧的类似程度的类似度。

以下，当前帧和过去帧的类似度也称之为帧类似度。算出2个帧的类似度的方法是众所周知的算出方法，因此不作详述，表示为0～100％。

例如，根据构成当前帧的多个像素的像素值和构成过去帧的多个像素的像素值的差值，求出帧类似度。在此情况下，各差值的绝对值的平均值越小，帧类似度的值就越接近100％。

帧类似度例如是100％的情况下，当前帧以及过去帧是同一帧。帧类似度例如是90％的情况下，当前帧以及过去帧大体上是同一帧。

帧类似度例如是20％的情况下，当前帧和过去帧为同一帧的可能性低。

帧比较部112，每当算出帧类似度时，将该帧类似度发送到再生状态判定部70。

再生状态判定部70，每当接收到帧类似度时，对操作对象影像信号VSIG的再生状态进行判定。

再生状态判定部70，在接收到规定的类似阈值（例如，90％）以上的帧类似度的时间为规定的类似判定时间（例如，1秒）以上的情况下，能够判定为操作对象影像信号VSIG的再生状态为暂停状态（参照图5的（ａ））。即，在此情况下，能够判定为来自再生设备302的第二声音信号是表示无声的信号。在此，类似判定时间是用于判定帧是否类似的时间。

另外，在操作对象影像信号VSIG的再生状态是特殊再生状态（例如，快进状态、倒回状态等）的情况下，如图5的（b）所示，帧以规定时间（例如，0.1秒）间隔发生变化。

因此，再生状态判定部70，在从帧比较部112接收的帧类似度以规定的周期判定时间（例如，0.1秒）间隔发生变化的情况下，能够判定为操作对象影像信号VSIG的再生状态是特殊再生状态（例如，快进状态、倒回状态等）。即，作为特殊的影像再生状态的特殊再生状态是指，被再生状态判定部70作为判断对象的影像信号（操作对象影像信号VSIG）所表示的影像以规定周期发生变化的状态。

即，再生状态判定部70判定为操作对象影像信号VSIG的再生状态从通常再生状态变化成了特殊再生状态。

即，再生状态判定部70可判定出作为操作对象影像信号VSIG的再生状态的暂停状态、特殊再生状态。因此，再生状态判定部70可以进行更细微的声音信号选择控制。

另外，在本实施方式的结构中，有时操作对象影像信号VSIG有时是从再生设备302输出的分量信号。分量信号与复合信号相比噪音虽然少，但由于是模拟信号，因此有时无法达到像素的完全一致。因此，如上所述，优选设定可容许一定程度的误差的阈值。

判定方法B是判定操作对象声音信号ASIG是否是表示无声的信号的方法。

具体是，声音处理部121对操作对象声音信号ASIG进行取样，算出在规定时间（例如，100毫秒）内的，操作对象声音信号ASIG所表示的声音的音量的平均值（称之为音量值）。音量值例如表示0～100的范围的值。在音量值为0的情况下，操作对象声音信号ASIG中的与该规定时间对应的部分表示无声。

并且，声音处理部121，每当算出音量值时，将该音量值发送到再生状态判定部70。

再生状态判定部70，在连续接收到规定的无声判定阈值以下的音量值的时间为规定的无声判定时间以上的情况下，判定为操作对象声音信号ASIG表示无声。无声判定阈值例如是用于判定是否是无声的阈值。无声判定阈值例如是10。无声判定时间是用于判定是否是无声的时间。

如果无声的时间为规定的无声判定时间以上，再生设备302的第二声音信号表示无声，因此再生状态判定部70能够判定为可对再生对象的声音进行切换。

另外，在实施判定方法B的情况下，如果操作对象声音信号ASIG是数字信号，则能够判定为该操作对象声音信号ASIG是0水平的无声信号。但是，在操作对象声音信号ASIG是模拟信号的情况下，考虑到噪声的存在，优选设定可容许一定程度的误差的阈值。

判定方法C是根据针对再生设备的遥控器按钮（键）操作，对再生设备的状态进行虚拟判定的方法。为了变更再生设备的再生状态，对与该再生设备对应的遥控器进行按钮（键）操作，此外还能够从指示接受部6A接受该操作（控制指示）。因此，通过电视接收机200内部的控制指示转送部131的处理，即使不向再生设备进行询问，也能够对再生设备的状态进行虚拟判定。

具体是，控制指示转送部131接收由指示接受部6A发送的控制指示（再生控制指示），并将接收到的控制指示（再生控制指示）发送到再生状态判定部70。由此，再生状态判定部70能够对再生设备302的再生状态进行虚拟判定。

以上，说明了用于判定能否将再生对象的声音从第二声音切换成其他声音的判定方法A、B、C，但是，分别单独使用所述判定方法A、B、C时，判定精度不佳。

在判定方法A的帧（像素）比较的情况下，例如，在VTR中，难以对应在快进或者暂停时发生的随机影像噪声。另外，上演内容时，即使影像停止，有时还是有声音流出。为此，只靠判定方法A，有时会造成误判定，并非理想。

判定方法B的情况下，新闻或者电视剧等必须有间断的内容时，会屡屡出现无声状态。在此情况下，如果只采用判定方法B，将会出现声音频繁切换的状态，而这并非是理想的状态。

在判定方法C的情况下，由于再生设备302以及电视接收机200的配置、遥控信号（控制指示）的发送方向，有时会出现只有再生设备302取得遥控信号（控制指示），而电视接收机200无法取得遥控信号（控制指示）的情况。在此情况下，会出现再生设备302的再生状态与虚拟判定出的再生状态不同的情况，而这并非是理想的状态。

因此，必须采用例如在对判定方法A、B、C各自的判定结果进行组合（以AND条件），从而进行判定的方法。

例如，通过由用户事先进行如图6所示的设定，能够实现符合用户爱好的声音切换定时。

图6是表示用于自动切换声音的设定例的图。

在图6所示的设定例中，例如进行“将判定方法A的影像变化的阈值（例如，类似判定时间）设为1秒，将判定方法B的无声检测的阈值（无声判定时间）设为200ms，当AND条件成立时自动切换到其他的声音”的处理。

具体是，在此情况下，再生状态判定部70，在接收到类似阈值以上的帧类似度的时间为类似判定时间（1秒）以上，且，连续接收到无声判定阈值以下的音量值的时间为无声判定时间（200ms）以上的情况下，判定为操作对象声音信号ASIG是表示无声的信号。在此，操作对象声音信号ASIG是表示无声的信号的情况下的操作对象声音信号ASIG的再生状态，也称之为无声状态。

即，在此情况下，再生状态判定部70判定为操作对象影像信号VSIG的再生状态是暂停状态，并且，判定为操作对象声音信号ASIG的再生状态是无声状态。

暂停状态以及无声状态分别是特殊的影像再生状态以及特殊的声音再生状态。

即，作为特殊的影像再生状态的暂停状态是指，被再生状态判定部70作为判定对象的影像信号（操作对象影像信号VSIG）所表示的图像（帧），在规定时间以上呈大致相同的状态。

即，作为特殊的声音再生状态的无声状态是指，被再生状态判定部70作为判定对象的声音信号（操作对象声音信号ASIG）在规定时间以上表示无声的状态。

另外，由再生状态判定部70判定出的操作对象影像信号VSIG的再生状态，因控制指示而异。由再生状态判定部70判定出的操作对象影像信号VSIG的再生状态，并非只是所述暂停状态，例如还可以是快进状态、倒回状态等的特殊再生状态。

操作对象影像信号VSIG，如上所述，是第一至第六影像信号中的某一个。另外，操作对象声音信号ASIG是第一至第六声音信号中的某一个。

另外，在此情况下，再生状态判定部70例如将用于选择第一声音信号的声音选择指示发送到声音信号选择部8。在此情况下，声音选择指示是用于将再生对象的声音从第二声音切换成其他声音（例如，第一声音）的指示。在此，第一声音信号是再生状态没有变化并且与再生状态没有变化的第一影像信号对应的声音信号。

声音信号选择部8按照所接收到的声音选择指示，选择第一声音信号。

即，作为选择部的声音信号选择部8，在由再生状态判定部70判定出的影像再生状态是特殊的影像再生状态，并且，由再生状态判定部70判定出的声音再生状态是特殊的声音再生状态的情况下，从多个声音信号中，选择再生状态没有变化并且与再生状态没变有化的影像信号对应的声音信号。

在此，再生状态判定部70可以对判定出的多个再生状态排定优先级。例如，假设再生状态判定部70对操作对象影像信号VSIG以及操作对象声音信号ASIG的再生状态进行了判定。在此情况下，例如，由用户事先进行设定，以优先采用影像信号的再生状态。

在此情况下，再生状态判定部70对操作对象影像信号VSIG以及操作对象声音信号ASIG的再生状态进行判定，并从操作对象影像信号VSIG以及操作对象声音信号ASIG的再生状态中，优先采用操作对象影像信号VSIG的再生状态。

即，再生状态判定部70对多个再生状态进行判定，并对该多个再生状态排定优先级。

另外，通过由用户事先进行如图7所示的设定，即使在成为选择候补的声源（声音信号）存在多个的情况下，也能够选择符合用户的爱好的声源（声音信号）。

图7是表示在考虑优先级的基础上，在成为选择候补的声音信号存在多个的情况下的设定例的图。

例如，如图7所示，假设被选择的是优先声源（声音信号），多影像显示部9A在显示以下的多影像P100。

图8是表示多影像P100的一个例子的图。

参照图8，多影像P100显示第一影像P110、第二影像P120、第三影像P130和第四影像P140。第一影像P110是从再生设备301接收的第一影像信号所表示的影像。第二影像P120是从再生设备302接收的第二影像信号所表示的影像。

第三影像P130是通过对来自调谐器12C的广播影像信号进行解码（再生）而获得的影像。作为一个例子，假设第三影像P130是被归类于音乐的音乐节目的影像。

第三影像P140是通过对来自调谐器12D的广播影像信号进行解码（再生）而获得的影像。作为一个例子，假设第四影像P140是被归类于体育的体育节目的影像。

在本实施方式的电视接收机200中，为了便于用户识别出与现在发出的声音对应的影像，在该影像的边缘部显示声音输出框。

另外，假设声音信号输出部10在向外部的扬声器发送（输出）与第二影像P120对应的第二声音信号。即，假设在由扬声器输出与第二影像P120对应的第二声音。

在此情况下，为了表示正在输出与第二影像P120对应的第二声音，在第二影像P120的边缘部例如显示图8的声音输出框L10。即，在多影像中，第二影像以不同于第一以及第三影像的形态被显示。

即，构成多影像的多个影像中的、与由作为选择部的声音信号选择部8选择的声音信号对应的影像，以不同于其他影像的形态被显示。

在此，作为一个例子，如图7所示，设定有优先级，并且，多影像显示部9A，作为一个例子，显示有图8的多影像P100。另外，假设进行了如图6所示的设定。另外，假设用户进行了用于使由再生设备302进行再生的第二影像信号的再生状态成为暂停状态的遥控操作U，第二影像信号（再生设备302）的再生状态成了暂停状态。

在此情况下，再生状态判定部70，按照图6的设定条件，判定由第二影像信号（再生设备302）发送的第二声音信号所表示的声音变成了无声。另外，在图7中，所选择的类别不是音乐，而选择了体育。因此，再生状态判定部70进行用于优先选择与类别为体育的体育节目即第四影像P140对应的第四声音信号的处理。

具体是，再生状态判定部70将用于选择第四声音信号的声音选择指示发送到声音信号选择部8。声音信号选择部8，按照所接收的声音选择指示，选择第四声音信号，并将该第四声音信号发送到声音信号输出部10。并且，声音信号输出部10通过进行与所述处理同样的处理，由扬声器输出第四声音。

即，发送与类别为体育的体育节目的影像对应的广播影像信号的调谐器12D的声音被优先放出。

即，作为选择部的声音信号选择部8，根据由再生状态判定部70判定出的再生状态、和用于选择多个声音信号中的某一个的优先级，来选择多个声音信号中的某一个。

另外，多影像显示部9A所显示的影像并不限定于像图8的多影像P100那样布置有4个影像的影像。多影像显示部9A所显示的影像例如可以是表示单一影像或者2个影像的多影像。

另外，多影像并不限定于像图8的多影像P100那样布置有4个影像的影像，也可以是采用与图8不同的布置方式来表示4个影像的多影像。

如上所述，在本实施方式的电视接收机200中，为了便于识别出与现在放出的声音对应的影像，在对应的影像的边缘部显示声音输出框。

另外，在本实施方式的电视接收机200中，还采用，在再生对象的声音切换了的情况下，为了表示声音被切换的这一情况，使声音输出框以规定时间（例如，3秒钟）闪灭的结构。

例如假设为，在多影像显示部9A显示图8的多影像P100时，用户进行了遥控操作U，而第二影像的再生状态成为了暂停状态。即，第二影像成为了操作对象影像。另外，与该第二影像对应的第二声音信号表示无声。

在此情况下，假设为，通过进行组合判定方法A、B、C的所述处理，以及如图7中说明的那样考虑到优先程度的所述处理等，再生状态判定部70例如将用于选择第四声音信号的声音选择指示，发送到声音信号选择部8。

声音信号选择部8以及声音信号输出部10通过进行与所述处理相同的处理来从扬声器被输出第四声音。另外，声音信号选择部8将表示所选择的声音信号的声音选择信息声发送到视频合成部5A。在此，声音选择信息是表示选择了第四声音信号的信息。

另外，视频合成部5A通过接收声音选择信息，生成以下的多影像P100A，即，在多影像P100所表示的第四影像的边缘部闪灭显示声音输出框L10A的影像，并使多影像显示部9A显示该多影像P100A。多影像P100A是对声音输出框L10A进行规定时间（例如，3秒钟）的闪灭显示的影像。

图9是表示多影像P100A的一个例子的图。

参照图9，在多影像P100A中，在第四影像P140的边缘部表示有声音输出框L10A。另外，声音输出框L10A被闪灭显示规定时间（例如，3秒钟）。即，在构成多影像的多个影像中，与由作为选择部的声音信号选择部8选择的声音信号对应的影像（第四影像），是该影像的边缘部闪灭的影像。

以上说明的本实施方式的再生装置1000A进行与各种再生状态对应的处理（以下，称之为再生状态对应处理A）。

图10是再生状态对应处理A的流程图。

再生状态判定部70如上所述，利用从帧比较部112接收的帧类似度，对作为第一至第六影像信号中的某一个的操作对象影像信号VSIG的再生状态进行判定。另外，再生状态判定部70利用从声音处理部121接收的音量值，如上所述，对作为第一至第六声音信号的某一个的操作对象声音信号ASIG的再生状态进行判定。

即，再生状态判定部70对作为多个影像信号中的至少1个影像信号（操作对象影像信号VSIG）的再生状态的影像再生状态，以及，作为多个声音信号中的至少1个声音信号（操作对象声音信号ASIG）的再生状态的声音再生状态进行判定（S110A）。即，再生状态判定部70对多个影像信号中的至少1个影像信号的再生状态，以及，所述多个声音信号中的至少1个声音信号的再生状态的至少一方进行判定（S110A）。

另外，再生状态判定部70能够利用从控制指示转送部131接收的控制指示（再生控制指示），对再生设备302的再生状态，即，操作对象影像信号VSIG的再生状态进行判定。该控制指示（再生控制指示）是用于使多个影像信号中的操作对象影像信号VSIG的再生状态发生变化的指示。

在此，再生状态判定部70从控制指示转送部131接收的控制指示（再生控制指示）是通过进行遥控操作U而从远程控制器发送的、来自外部的指示。

即，来自外部的指示（控制指示（再生控制指示））是由远程控制器发送的、用于使多个影像信号中的某一的再生状态发生变化的指示。

并且，再生状态判定部70，如上所述，例如在判定为操作对象影像信号VSIG的再生状态是暂停状态，并且，判定为操作对象声音信号ASIG的再生状态是无声状态的情况下，再生状态判定部70例如将用于选择第一声音信号的声音选择指示，发送到声音信号选择部8。

另外，再生状态判定部70可根据来自外部的指示（控制指示（再生控制指示）），对操作对象影像信号VSIG的再生状态以及操作对象声音信号ASIG的再生状态的至少一方进行判定。

例如，假设控制指示（再生控制指示）是用于使操作对象影像信号VSIG的再生状态成为暂停状态的指示。在此情况下，再生状态判定部70根据控制指示（再生控制指示），判定为操作对象影像信号VSIG的再生状态是暂停状态。

即，再生状态判定部70根据来自外部的指示（控制指示（再生控制指示）），对作为多个影像信号中的至少1个影像信号的再生状态的影像再生状态，以及，作为多个声音信号中的至少1个声音信号的再生状态的声音再生状态的至少一方进行判定。

声音信号选择部8按照所接收的声音选择指示，例如，选择第一声音信号的（S120A）。即，作为选择部的声音信号选择部8，根据影像再生状态以及声音再生状态，选择多个声音信号中的某一个。

并且，声音信号选择部8将选择的第一声音信号发送到声音信号输出部10。

声音信号输出部10将第一声音信号发送（输出）到外部的扬声器（S130A）。即，声音信号输出部10输出由作为选择部的声音信号选择部8所选择出的声音信号。

如上所述，根据本实施方式，与实施方式1同样，再生状态管理部7A对影像以及声音的再生状态进行判定，并根据判定出的再生状态，进行用于选择声音信号的处理。

具体是，再生状态判定部70对作为多个影像信号中的至少1个影像信号（操作对象影像信号VSIG）的再生状态的影像再生状态，以及，作为多个声音信号中的至少1个声音信号（操作对象声音信号ASIG）的再生状态的声音再生状态进行判定。另外，声音信号选择部8，根据由再生状态判定部70判定出的影像再生状态以及声音再生状态，选择多个声音信号中的某一个。

因此，声音信号选择部8，根据影像再生状态以及声音再生状态，来选择多个声音信号（第一至第六声音信号）中的某一个，从而声音信号的选择无需用户操作的介入。由此，能够迅速选择与多影像对应的声音。

另外，历来是，例如在第一影像（第一影像信号）的再生状态是非通常再生状态（暂停状态、快进状态等）、第一声音是无声的状态（以下，称之为状态A）时，为了放出与第一声音不同的其他声音，则必须由用户进行操作。

然而，在本实施方式中，在状态A时，即使没有用户的操作，也能输出其他声音。由此，用户能够高效率地、同时观赏到从再生设备301、302接收的影像和从调谐器12C～12F获得的影像等。

另外，根据本实施方式，采用了设定用于切换声音信号的多个条件并对该多个条件设定优先级结构。由此，即使在无法通过通信来取得再生设备的再生状态（动作状态）的状况下，也能够高精度地判定再生设备的再生状态（动作状态）。

另外，根据本实施方式，采用了对于成为切换对象的声音信号（声源）以及与该声音信号对应的影像等设定优先级的结构。由此，可进行符合用户的爱好的自动声源选择。

另外，根据本实施方式，根据再生状态来进行输出对象的声音信号选择。因此，即使在多影像所表示的多个影像中的某一个的再生状态是非通常再生状态的情况下，也能够提示与并非是放出对象的其他影像对应的声音或者记录介质中的其他乐曲数据。因此，能够获得可高效率地并列欣赏多个内容的效果。

因此，能使并列欣赏多个内容的方式成为更常见的方式。另外，在通过再生设备视听内容时，能够进行符合用户的爱好的声音切换。

另外，根据本实施方式，由于可与再生状态连动地切换输出声音，因此通过1个步骤就能够完成主画面和副画面的声音切换这个向来繁杂的处理。

并且，由于能够只切换输出声音，因此，能够对其他画面进行视听，而不会给视听者带来历来的那种多余的视点移动所造成的负担。

另外，由于只通过影像显示装置（电视接收机）就能检测出再生设备的状态，因此，即使再生设备不具备用于向影像显示装置传达动作状态的机构，也能够自动也进行声音切换。

另外，根据本实施方式，将多影像所表示的多个影像中的1个影像作为从再生设备获得的影像，将其他影像作为通过调谐器接收到的广播波的影像。由此，即使不预先准备多个再生设备，也能够有效使用多画面。因此，能够获得可更高效地对多个内容进行并列欣赏的效果。

另外，根据本实施方式，即使是再生装置的记录介质中未记录的声源，也能够通过外部声音信号输入部输入声音。因此，在使用再生装置的记录介质的容量时不会再造成浪费，从而能够获得可更高效地并列欣赏多个内容的效果。

另外，根据本实施方式，再生装置具有通过再生状态取得部来接收再生状态的机构。因此，再生装置即使不搭载再生状态管理部，也能够获得与实施方式1相同的效果。因此，能够获得削减再生装置的零部件数，降低商品成本的效果。

另外，根据本实施方式，即使在将电视接收机200与不具备用于通知再生状态的单元的再生设备302进行了组合的情况下，也能够识别出再生设备302的再生状态。

另外，根据本实施方式，能够获得，即使在将电视接收机200与不具备用于通知再生状态的单元的再生设备302进行了组合的情况下，也能够通过由再生装置接收遥控的键码来管理其他再生设备的再生状态的效果。

另外，根据本实施方式，能够从再生设备直接取得正确的再生状态，因此能够获得可进行更严密的再生状态管理的效果。

另外，根据本实施方式，即使在将电视接收机200与不具备用于通知再生状态的单元的再生设备302进行了组合的情况下，如果影像信号的像素在一定时间不变化，也能够判别为暂停状态。因此，能够获得可对其他再生设备的再生状态进行管理的效果。

另外，根据本实施方式，即使在将电视接收机200与不具备用于通知再生状态的单元的再生设备302进行了组合的情况下，如果能够检测出影像信号的像素在以一定时间周期发生变化，就能够将影像信号的再生状态判定为特殊再生状态。因此，能够获得可对其他再生设备的再生状态进行管理的效果。

另外，根据本实施方式，即使在将电视接收机200与不具备用于通知再生状态的单元的再生设备302进行了组合的情况下，也能够判别出历来为无声的特殊再生状态，以及暂停状态。因此，能够获得可对其他再生设备的再生状态进行管理的效果。

另外，根据本实施方式，能够获得如下效果，即，即使在将电视接收机200与不具备用于通知再生状态的单元的再生设备302进行了组合的情况下，也能够通过对多个再生状态进行组合来判定出正确的再生状态。

另外，根据本实施方式，能够获得如下效果，即，通过参考每个再生状态判定部的再生状态的判定所需的时间、判定的正确性等特性，能够提高设定的自由度，例如，应重视用于选择声音信号的反应速度还是正确性。

另外，根据本实施方式，尤其是在多影像表示3个以上的影像的情况下，利用优先级，基于影像或者声音的分析结果来选择声音。由此，能够获得可提供符合用户的爱好的声源的效果。

另外，根据本实施方式，尤其是在多影像表示3个以上的影像的情况下，即使声音信号选择部自动选择了其他影像的情况下，也以特定的颜色圈定其他影像的边缘部。即，显示框。

由此，能够简单地识别出切换成了与哪个影像对应的声音。因此，能够获得可瞬间就能判断出现在正输出的声音与哪个影像对应的效果。

另外，根据本实施方式，对声音输出框进行闪灭显示。由此，即使在声音放出对象的影像所表示的声音输出框的颜色、和声音发出对象的影像的显示部分的声音输出框附近的颜色相似的情况下，也能够简单地识别出切换成了与哪个影像对应的声音。因此，能够获得可瞬间判断出现在被放出的声音与哪个影像对应的效果。

另外，可通过计算机来实现图2的再生状态对应处理或者图10的再生状态对应处理A。由此，与民用设备相比，能够活用计算机的高速运算能力和大容量的存储介质。

因此，能够获得可实现民用设备中难以实现的多画面同时视听、灵活的功能扩展的效果。另外，能够获得民用设备中难以实现的广播波的多画面同时视听的效果。

另外，在本实施方式中，说明了电视接收机200的调谐器12C、12D、12E、12F从天线接收广播波的结构，但并不限定于此。例如，可以用可连接互联网的结构来代替调谐器、外部影像信号输入部以及外部声音信号，从而通过互联网来对VOD（视频点播）内容、网络广播以及流广播进行接收和再生。

另外，在本实施方式中说明了电视接收机200包含4个调谐器的结构，但并不限定于此。例如，可通过在电视接收机200的内部分配信号，从而可使调谐器少于4个。由此，能够抑制电视接收机200的制造成本，以及缩小安装面积。另外，还可在电视接收机200上设置用于接收BS广播和CS广播的其他调谐器。

另外，在本实施方式中，作为在再生状态取得部15和再生设备301之间进行通信的通信单元，利用了Ethernet（注册商标），但并不限定于此。例如，也可以是HDMI-CEC、无线ＬＡＮ（IEEE 802.11ａ/b/g/n）、RS-232C等能够收发再生状态的其他通信单元。

在此，再生状态的表现方法（以多少比特保持，各数值表示什么状态）与再生设备以及电视接收机相符即可，用于表现再生状态的信息的大小为数比特即可，因此不要求高速的通信速度。

另外，在本实施方式中，作为连接电视接收机和再生设备的电缆使用了HDMI电缆、分量电缆、RCA立体声电缆，但并不限定于此。

影像信号，可通过合成电缆或者S端子电缆等的其他影像信号传达单元来传达影像信号。另外，可通过在输入输出部设有S/PDIF端子的光缆等其他的声音传达单元来传达声音信号。

另外，作为优先声音信号（声源），在本实施方式中，说明了将操作对象影像信号VSIG以及操作对象声音信号ASIG发送到再生状态管理部7A，并将声源（声音信号）的附有优先级的信息（声源·类别）作为声源选择的要素的结构，但并不限定于此。

例如，像由调谐器获取的影像和声音那样，对再生设备以外的信号进行监视，如果适合用户的爱好，可提高该声音的优先级。另外，关于用户的爱好，可根据面部检测以及原数据制作成数据库，根据演出者和导演来提高优先级。

另外，可根据节目的受欢迎程度来变更优先级。并且，可根据平常视听节目时的倾向来预先制作用户的爱好的数据库，以能够在设定有相同的优先级的情况下，通过加入数据库的信息来帮助自动选择声源。

另外，在本实施方式中，说明了从外部影像信号输入部、外部声音信号输入部获得记录介质的影像信号以及声音信号的结构，但并不限定于此。例如，作为能够将记录介质连接到电视接收机上的结构，也可以采用从记录介质获得影像信号以及声音信号的一方或者双方的结构。

另外，在本实施方式中，以包含电视接收机200、再生设备301以及再生设备302的装置作为再生装置，此外也可以改变设备的分割点。例如，可以采用，在再生设备301的内部设置具有与再生状态管理部7A相同的功能的再生状态判定部，由再生设备301向电视接收机200的声音信号选择部8发出指示的结构。

在此情况下的再生装置，例如是以下的图10的再生装置1000B。另外，关于再生装置1000B中包含的调谐器、视频解码器以及音频解码器的各自的数量，作为一个例子，假设为2个。图11是表示再生装置1000B的结构的一个例子的方框图。

再生装置1000B具备电视接收机200B和再生设备301B。

与图3的电视接收机200相比，电视接收机200B的不同点在于，用再生部100B代替了再生部100A，以及不包括调谐器12E和12F、再生状态管理部7A、再生状态取得部15、外部影像信号输入部13B以及外部声音信号输入部14B。电视接收机200B的其他结构与电视接收机200的相同，因此省略重述。

与再生部100A相比，再生部100B的不同点在于，不包含视频解码器2E、2F以及音频解码器3E、3F。再生部100B的其他结构与再生部100A的相同，因此省略重述。

与图3是再生设备301相比，再生设备301B的不同在于，包含再生状态取得部15B和再生状态管理部7A，以及不包含再生状态判定部18以及再生状态通知部19。再生设备301B的其他结构与再生设备301的相同，因此省略重述。

再生状态取得部15B具有取得再生设备301B的再生状态的功能。再生状态取得部15B将取得的再生状态发送到再生状态管理部7A。

再生状态管理部7A具有与所述再生状态管理部7A相同的功能，例如，将基于所接收到的再生状态的声音选择指示发送到声音信号选择部8。

在具有此类结构的再生装置1000B中，也能够获得与实施方式2相同的效果。

另外，在本实施方式中，电视接收机200的多影像显示部9A是显示由视频合成部5A生成的多影像的结构，但并不限定于此。例如，还可以采用，除了多影像显示部9A之外另行设置外部影像信号输出端子，将视频合成部5A生成的多影像或者视频合成部5A接收的信号的一部分的，由外部视频信号输出端子输出到外部的结构。

另外，在本实施方式中，作为由视频合成部5A生成的多影像的例子，表示了图8的布置，但并不限定于此。例如，各影像的大小可以是相同的。另外，可以对同一影像进行多个显示，多影像所表示的影像的数量也可以不是4个。

另外，在本实施方式中，以视频解码器和音频解码器作为再生单元，但并不限定于此。例如，在影像信号以及声音信号未被压缩编码的情况下，从记录介质读出影像和声音并进行输出的处理等同于再生单元。因此，并非是必须要有视频解码器和音频解码器，从而也可以是不具备视频解码器以及音频解码器的结构。

（功能方框图）

图12是表示再生装置2000的特征性功能结构的方框图。再生装置2000相当于再生装置1000、再生装置1000A以及再生装置1000B中的某一个。即，图12是表示再生装置1000、再生装置1000A以及再生装置1000B的某一个所具有的功能中与本发明有关的主要功能的方框图。

再生装置2000进行利用多个影像信号以及与该多个影像信号分别对应的多个声音信号的处理。

再生装置2000，就其功能方面而言，具备再生部2100、影像输出部2200、再生状态判定部2300、选择部2400、声音信号输出部2500的再生部2100，进行所述多个影像信号以及声音信号的再生。再生部2100相当于再生部100、100A、100B的某一个。影像输出部2200，进行用于输出多影像的处理，该多影像表示通过由所述再生部2100进行再生而从所述多个影像信号分别获得的多个影像。影像输出部2200相当于多影像输出部9或者多影像显示部9A。

再生状态判定部2300对所述多个影像信号中的至少1个影像信号的再生状态，以及，所述多个声音信号中的至少1个声音信号的再生状态的至少一方进行判定。再生状态判定部2300例如相当于图1的再生状态判定部7或者图4的再生状态判定部70。

选择部2400根据由所述再生状态判定部2300判定出的再生状态，选择所述多个声音信号中的某一个。选择部2400相当于声音信号选择部8。

声音信号输出部2500输出由所述选择部2400选择的声音信号。声音信号输出部2500相当于声音信号输出部10。

另外，可通过LSI（Large Scale Integration：大规模集成电路）等硬件来构成再生装置2000中包含的再生部2100、影像输出部2200、再生状态判定部2300、选择部2400以及声音信号输出部2500的全部或者一部分。另外，再生部2100、影像输出部2200、再生状态判定部2300、选择部2400以及声音信号输出部2500的全部或者一部分也可以是由CPU等的处理器执行的程序的模块。

以上，根据实施方式说明了本发明的再生装置1000、1000A、1000B，但本发明并不限定于这些实施方式。只要不脱离本发明的宗旨，本领域技术人员将其想到的各种变形方式实施于本实施方式所获得的形态，或者对不同的实施方式的结构要素进行组合而成的形态也属于本发明的范围内。

另外，构成所述再生装置1000、1000A、1000B的多个结构要素的全部或者一部分可由硬件构成。另外，构成所述再生装置1000、1000A、1000B的多个结构要素的全部或者一部分可以是由CPU（Central Processing Unit：中央处理器）等执行的程序的模块。

由1个系统LSI（Large Scale Integration∶大规模集成电路）构成所述再生装置1000、1000A、1000B的多个结构要素的全部或者一部分。系统LSI是在1个芯片上对多个结构要素进行集成而制造成的超多功能LSI，具体是，包括微处理器、ROM（Read Only Memory）以及RAM（Random Access Memory）等构成的计算机系统。

例如，在图1中，再生部100、OSD部4、视频合成部5、指示接受部6、再生状态判定部7、声音信号选择部8、多影像输出部9以及声音信号输出部10可由1个系统LSI构成。

另外，可通过以再生装置1000、1000A、1000B所具备的特征结构部分的动作作为步骤的声音选择方法来实现本发明。另外，还可以通过由计算机执行以上的声音选择方法所包含的各步骤的程序来实现本发明。另外，还可以通过存放有所述程序的、计算机可读取的记录介质来实现本发明。另外，可通过互联网等的传送介质来分发该程序。

以上公开的实施方式在所有的内容点而言仅为例示，并非是限定。本发明的范围如权利要求范围所示，而不是以上的说明。在与权利要求范围同等意义的范围内进行的所有变更都属于本发明。

本发明可利用于能够迅速选择与多影像对应的声音的再生装置。尤其是，本发明可用于电视机、记录器、便携式电话的影像·声音再生装置等。

符号说明

1A、1B                     记录介质

2A、2B、2C、2D、2E、2F     视频解码器

3A、3B、3C、3D、3E、3F     音频解码器

4                          OSD部

5、5A                      视频合成部

6、6A                      指示接受部

7、18、70、2300            再生状态判定部

7A                         再生状态管理部

8                          声音信号选择部

9                          多影像输出部

9A                         多影像显示部

10、2500                   声音信号输出部

12C、12D、12E、12F        调谐器

13A、13B                  外部影像信号输入部

14A、14B                  外部声音信号输入部

15、15B                   再生状态取得部

16A、16B                  影像信号输出部

17A、17B、2500            声音信号输出部

19                        再生状态通知部

100、100A、100B、2100     再生部

111                       帧延迟部

112                       帧比较部

121                       声音处理部

131                       控制指示转送部

200、200B                 电视接收机

301、301B、302            再生设备

1000、1000A、1000B、2000  再生装置

2200                      影像输出部

2400                      选择部

Claims (18)

1.一种再生装置，利用多个影像信号以及与该多个影像信号分别对应的多个声音信号来进行处理，该再生装置具备：

再生部，用于进行所述多个影像信号以及所述多个声音信号的再生；

影像输出部，进行用于输出多影像的处理，该多影像表示通过由所述再生部进行再生而从所述多个影像信号分别获得的多个影像；

再生状态判定部，对所述多个影像信号中的至少一个影像信号的再生状态，以及所述多个声音信号中的至少一个声音信号的再生状态的至少一方进行判定；

选择部，根据由所述再生状态判定部判定的再生状态，选择所述多个声音信号中的某一个；以及

声音信号输出部，输出由所述选择部选择的声音信号。

2.如权利要求1所述的再生装置，

所述再生状态判定部，对作为所述多个影像信号中的至少一个影像信号的再生状态的影像再生状态进行判定，

所述选择部，根据由所述再生状态判定部判定的影像再生状态，选择所述多个声音信号中的某一个。

3.如权利要求1所述的再生装置，

所述再生状态判定部，对作为所述多个影像信号中的至少一个影像信号的再生状态的影像再生状态，以及作为所述多个声音信号中的至少一个声音信号的再生状态的声音再生状态进行判定，

所述选择部，根据所述影像再生状态以及所述声音再生状态，选择所述多个声音信号中的某一个。

4.如权利要求3所述的再生装置，

所述选择部，在由所述再生状态判定部判定的影像再生状态为特殊的影像再生状态，并且，由所述再生状态判定部判定的声音再生状态为特殊的声音再生状态的情况下，选择所述多个声音信号中的、再生状态没有变化并且与再生状态没有变化的影像信号对应的声音信号。

5.如权利要求4所述的再生装置，

所述特殊的影像再生状态是指，被所述再生状态判定部作为判定对象的影像信号所表示的图像在规定时间以上呈大致相同的状态。

6.如权利要求4所述的再生装置，

所述特殊的影像再生状态是指，被所述再生状态判定部作为判定对象的影像信号所表示的影像以规定周期变化的状态。

7.如权利要求4所述的再生装置，

所述特殊的声音再生状态是指，被所述再生状态判定部作为判定对象的声音信号在规定时间以上表示无声的状态。

8.如权利要求1所述的再生装置，

所述再生状态判定部根据来自外部的指示，对作为所述多个影像信号中的至少一个影像信号的再生状态的影像再生状态，以及作为所述多个声音信号中的至少一个声音信号的再生状态的声音再生状态的至少一方进行判定，

所述来自外部的指示是由远程控制器发送的、用于使所述多个影像信号中的某一个的再生状态发生变化的指示。

9.如权利要求3所述的再生装置，

所述再生装置还具备再生设备，

该再生设备对影像信号以及声音信号的至少一方进行再生，

所述再生设备向所述再生设备的外部输出表示正被再生的信号的再生状态的再生状态信息，

所述再生状态判定部还根据所述再生状态信息，对所述再生设备的再生状态进行判定。

10.如权利要求1至3中的任一项所述的再生装置，

所述再生状态判定部对多个再生状态进行判定，并对该多个再生状态排定优先级。

11.如权利要求1所述的再生装置，

所述选择部根据由所述再生状态判定部判定的再生状态、和用于选择所述多个声音信号中的某一个的优先级，来选择所述多个声音信号的某一个。

12.如权利要求1至3中的任一项所述的再生装置，

构成所述多影像的所述多个影像中的、与由所述选择部选择的声音信号对应的影像，以不同于其他影像的形态被显示。

13.如权利要求12所述的再生装置，

构成所述多影像的所述多个影像中的、与由所述选择部选择的声音信号对应的影像是该影像的边缘部分闪灭的影像。

14.如权利要求1至13中的任一项所述的再生装置，

所述多个影像信号以及所述多个声音信号中的至少一个影像信号以及声音信号是从记录介质获得的信号。

15.如权利要求1至14中的任一项所述的再生装置，

所述多个影像信号以及所述多个声音信号中的至少一个影像信号以及声音信号是从调谐器获得的信号。

16.如权利要求1至15中的任一项所述的再生装置，

所述再生装置还具备外部声音信号输入部，

所述多个声音信号中的至少一个声音信号是由与所述外部声音信号输入部连接的设备发送的声音信号。

17.一种声音选择方法，是利用多个影像信号以及与该多个影像信号分别对应的多个声音信号来进行处理的再生装置的声音选择方法，

所述再生装置具备：

再生部，用于进行所述多个影像信号以及所述多个声音信号的再生；以及

影像输出部，进行用于输出多影像的处理，该多影像表示通过由所述再生部进行再生而从所述多个影像信号分别获得的多个影像，

所述声音选择方法包括：

对所述多个影像信号中的至少一个影像信号的再生状态，以及所述多个声音信号中的至少一个声音信号的再生状态的至少一方进行判定的步骤；

根据判定出的再生状态，选择所述多个声音信号中的某一个的步骤；以及

输出被选择的声音信号的步骤。

18.一种声音选择程序，是由利用多个影像信号以及与该多个影像信号分别对应的多个声音信号来进行处理的再生装置所执行的声音选择程序，

所述再生装置具备：

再生部，用于进行所述多个影像信号以及所述多个声音信号的再生；以及

影像输出部，进行用于输出多影像的处理，该多影像表示通过由所述再生部进行再生而从所述多个影像信号分别获得的多个影像，

所述声音选择程序包括：

对所述多个影像信号中的至少一个影像信号的再生状态，以及所述多个声音信号中的至少一个声音信号的再生状态的至少一方进行判定的步骤；

根据判定出的再生状态，选择所述多个声音信号中的某一个的步骤；以及

输出被选择的声音信号的步骤。

Images