CN110035309A - 播放装置、远程播放系统、播放方法以及记录介质 - Google Patents

Abstract

本发明的课题在于提供能够兼顾低通信量以及高画质、且抑制映像与声音的不同步的播放装置、远程播放系统、播放方法以及记录介质。作为解决方案，播放装置具备通信部、第一映像播放部、第二映像播放部以及声音播放部。通信部接收附加了声音时刻信息的声音数据、时间上一前一后的两帧之间的差分数据以及附加了动画时刻信息的动画数据。第一映像播放部通过基于差分数据以及两帧中的前一帧生成的后一帧来播放映像。第二映像播放部通过基于动画数据生成的时间上连续的多个帧来播放映像。声音播放部基于声音数据播放声音，并且，在第二映像播放部播放映像的情况下，基于动画时刻信息以及声音时刻信息，使声音与映像同步。

Description

播放装置、远程播放系统、播放方法以及记录介质

技术领域

本发明涉及播放通过流传输的映像以及声音的播放装置、远程播放系统、播放方法以及存储了使计算机作为播放装置发挥作用的计算机程序的记录介质。

背景技术

已知下述远程播放系统：例如，在学校的授课中，将与教师所使用的终端装置中输出的映像以及声音相同的映像以及声音在设置于教室内的大型显示装置上进行远程播放(镜像)(例如，专利文献1)。在该远程播放系统中，终端装置读取本装置输出的映像以及声音，生成映像数据以及声音数据并将这些数据通过例如无线通信方式发送。无线LAN(LocalArea Network；局域网)的接入点等播放装置接收这些数据并播放，在与播放装置连接的显示装置上输出映像以及声音。

现有技术文献

专利文献1：日本特开2016-213541号公报

发明内容

另外，为了兼顾低通信量以及高画质，考虑在低画质而每单位时间处理的数据量较小的映像播放处理与高画质而每单位时间处理的数据量较大的映像播放处理之间切换。但是，在这种映像播放处理的切换中，后者与前者相比，播放负荷较高，从接收数据到播放映像的延迟时间较大。而前者与后者相比，声音的播放负荷较低，播放的延迟时间较短，因此，在从后者切换为前者的情况下，存在映像相对于声音发生延迟的问题。

本发明就是鉴于上述问题而提出的，其目的在于提供能够解决上述问题的播放装置、远程播放系统、播放方法以及记录介质。

为了解决上述问题，本发明的一个方式的播放装置具备：通信部，接收附加了声音时刻信息的声音数据、时间上一前一后的两帧之间的差分数据以及附加了动画时刻信息的动画数据；第一映像播放部，通过基于所述差分数据以及所述两帧中的前一帧生成的后一帧来播放映像；第二映像播放部，通过基于所述动画数据生成的时间上连续的多个帧来播放映像；以及声音播放部，基于所述声音数据播放声音，并且，在所述第二映像播放部播放所述映像的情况下，基于所述动画时刻信息以及所述声音时刻信息，使所述声音与所述映像同步。

另外，本发明的另一个方式的远程播放系统具备：内容发送装置，发送附加了声音时刻信息的声音数据、时间上一前一后的两帧之间的差分数据以及附加了动画时刻信息的动画数据；以及上述方式的播放装置。

另外，在本发明的另一个方式的播放方法中，接收附加了声音时刻信息的声音数据以及表示时间上一前一后的两帧之间的差分的差分数据，通过基于接收到的所述差分数据以及所述两帧中的前一帧生成的后一帧来播放映像，基于接收到的声音数据，与所述映像同时播放声音，在从基于所述差分数据的映像切换为基于用于生成时间上连续的多个帧的动画数据的映像的情况下，接收附加了声音时刻信息的声音数据以及附加了动画时刻信息的动画数据，停止播放基于所述差分数据的映像，通过基于接收到的所述动画数据生成的时间上连续的多个帧来播放映像，基于接收到的声音数据播放声音，并且，基于所述动画时刻信息以及所述声音时刻信息，使所述声音与所述映像同步。

另外，本发明的另一个方式的计算机可读取的记录介质，存储了用于使计算机作为发送包含映像以及声音的内容的内容发送装置发挥作用的计算机程序，所述计算机程序使所述计算机作为第一映像发送单元、第二映像发送单元、声音发送单元以及切换单元进行发挥作用，所述第一映像发送单元发送表示时间上一前一后的两帧之间的差分的差分数据，所述第二映像发送单元发送附加了动画时刻信息的动画数据，所述声音发送单元发送附加了声音时刻信息的声音数据，所述切换单元在将映像播放从所述差分数据以及所述动画数据中的一方切换为另一方的情况下，将执行对象从所述第一映像发送单元以及所述第二映像发送单元中的一方切换为另一方。

发明效果

根据本发明，能够兼顾低通信量以及高画质，并且抑制映像以及声音的不同步。

附图说明

图1是表示实施方式所涉及的远程播放系统的结构的示意图。

图2是表示实施方式所涉及的内容发送装置的结构的框图。

图3是表示实施方式所涉及的内容发送装置的功能的功能性的框图。

图4是表示实施方式所涉及的播放装置的结构的框图。

图5是表示实施方式所涉及的显示装置的结构的框图。

图6是表示实施方式所涉及的播放装置的功能的功能性的框图。

图7A实施方式所涉及的远程播放系统进行内容的远程播放的步骤的流程图(其一)。

图7B实施方式所涉及的远程播放系统进行内容的远程播放的步骤的流程图(其二)。

图7C实施方式所涉及的远程播放系统进行内容的远程播放的步骤的流程图(其三)。

图7D实施方式所涉及的远程播放系统进行内容的远程播放的步骤的流程图(其四)。

图8是用于说明差分数据的生成处理的图。

图9是表示从差分模式切换为动画模式时第一透射率α1以及第二透射率α2的变化的曲线图。

图10是表示从差分模式切换为动画模式时声音输出等级SL的变化的曲线图。

图11是表示从动画模式切换为差分模式时第一透射率α1以及第二透射率α2的变化的曲线图。

附图标记说明

100 远程播放系统

200 内容发送装置

201 无线通信部

205 存储部

206 控制部

210 内容发送程序

217 变化量检测部

218 输入检测部

219 切换指示受理部

220 发送对象切换部

261 CPU

262 存储器

300 播放装置

301 无线通信部

303 控制部

311 通信部

312 第一映像播放部

313 第二映像播放部

314 声音播放部

315 转移播放部

331 CPU

341 第一帧存储器

342 第二帧存储器

400 显示装置

具体实施方式

下面，一边参照附图一边对本发明的优选实施方式进行说明。此外，以下所示的各实施方式只是示例用于将本发明的技术思想具体化的方法以及装置，本发明的技术思想不限于此。本发明的技术思想能够在权利要求范围记载的技术范围内进行各种变更。

本实施方式中，说明将与教师所使用的终端装置即内容发送装置中输出的映像以及声音(内容)相同的映像以及声音远程播放(镜像)的远程播放系统。

[远程播放系统的结构]

图1是表示本实施方式所涉及的远程播放系统的结构的示意图。本实施方式所涉及的远程播放系统例如可设置于学校、公司大楼、医院、公共大厅等公共施設中。本实施方式中，说明远程播放系统设置于学校的例子。如图1所示，远程播放系统100具备内容发送装置200、播放装置300以及显示装置400。播放装置300设置在教室内。内容发送装置200是平板电脑装置，供教师使用。内容发送装置200能够进行无线LAN规格IEEE802.11a/b/g/n/ac的无线通信，播放装置300是能够进行相同无线LAN规格的无线通信的接入点。各教室以及校长室中，通过播放装置300构成无线LAN450。另外，播放装置300与铺设于各教室以及其他房间(校长室、职员室等)的有线LAN460以及互联网(未图示)连接，能够与连接于有线LAN460以及互联网的通信机器之间通信。

此外，内容发送装置200只要能够进行无线LAN的无线通信即可，可以是笔记本电脑、智能电话、手机等。

说明内容发送装置200的结构。图2是表示内容发送装置200的结构的框图。内容发送装置200具备无线通信部201、显示部202、扬声器203、输入部204、存储部205以及控制部206。

无线通信部201能够进行IEEE802.11a/b/g/n/ac的无线通信，具有无线通信用天线207。显示部202由LCD(liquid crystal display；液晶显示器)或者有机EL(ElectroLuminescence；电致发光)构成。另外，输入部204是压敏或者静电电容式的透明触摸板等位置输入装置。输入部204贴合在显示部202的表面，显示部202以及输入部204构成为一体型的触摸面板。存储部205是闪存或者硬盘等非易失性存储装置，存储用于发送内容的计算机程序即内容发送程序210、动画播放软件、演示软件等教育用程序230。控制部206具备CPU261以及存储器262，控制上述的各部。

通过CPU261执行内容发送程序210，使平板电脑作为内容发送装置200发挥作用，在内容发送装置200中实现后面所述的动作。

图3是表示本实施方式所涉及的内容发送装置200的功能的功能性的框图。如图3所示，内容发送装置200具有通信部211、显示部212、扬声器213、内容播放部214、映像读取部215、声音读取部216、变化量检测部217、输入检测部218、切换指示受理部219、发送对象切换部220以及切换请求部221的各种功能。

通信部211是上述的无线通信部201，向播放装置300发送内容数据。具体来讲，通信部211选择性地发送表示时间上一前一后的两帧之间的差分的差分数据以及用于生成时间上连续的多个帧的动画数据。另外，通信部211在发送上述差分数据以及动画数据的同时，发送声音数据。另外，动画数据以及声音数据中分别附加有各自的时间戳即动画时刻信息以及声音时刻信息。

显示部212是上述的显示部202，扬声器213是上述的扬声器203。内容播放部214播放动画、演示资料、声音等内容，使显示部212输出映像，扬声器213输出声音。

映像读取部215读取显示部212显示的映像，生成映像数据。该映像读取部215具有作为映像数据而生成两帧的差分数据的功能以及生成将时间上连续的多个帧通过规定的动画压缩方法编码的动画数据的功能。声音读取部216读取从扬声器213输出的声音，生成线性PCM格式的声音数据。

由映像读取部215生成的差分数据或者动画数据以及由声音读取部生成的声音数据通过通信部211发送。播放装置300播放这些内容，由此，显示装置400显示映像，输出声音。另外，如后面所述，显示装置400能够通过触笔或者指示灯等进行输入，从播放装置300发送用户给出的输入信息。如上所述，通信部211发送差分数据或者动画数据、以及声音数据，并且，接收输入信息。

变化量检测部217检测帧之间的映像的时间上的变化量即相对于前一帧变化的像素数。输入检测部218监视通信部211接收到的输入信息，检测用户针对显示的映像进行的输入。例如，在存在通过触笔或者用户的手指对显示装置400进行的输入的情况下，输入检测部218检测到该输入。切换指示受理部219在用户进行指示显示装置400在差分数据以及动画数据之间切换映像播放的特定操作的情况下，根据由通信部211接收到的输入信息，受理该指示。本实施方式中，将变化量检测部217检测到规定的变化量、输入检测部218检测到规定的输入以及切换指示受理部219受理了映像的切换指示分别作为差分数据以及动画数据的切换条件。即，在满足上述切换条件中的任意一个的情况下，将发送对象从差分数据以及动画数据中的一方切换为另一方。

切换条件包含用于将发送对象从差分数据切换为动画数据的条件即第一切换条件以及用于将发送对象从动画数据切换为差分数据的条件即第二切换条件。后面说明第一切换条件以及第二切换条件。

发送对象切换部220在满足切换条件的情况下，将针对播放装置300的发送对象从差分数据以及动画数据中的一方切换为另一方。即，在内容发送装置200发送差分数据的情况下，当满足第一切换条件时，由映像读取部215生成的映像数据从差分数据切换为动画数据，发送对象从差分数据切换为动画数据。另一方面，在内容发送装置200发送动画数据的情况下，当满足第二切换条件时，由映像读取部215生成的映像数据从动画数据切换为差分数据，发送对象从动画数据切换为差分数据。

切换请求部220在满足切换条件的情况下，向播放装置300请求将接收对象从差分数据以及动画数据中的一方切换为另一方。即，在内容发送装置200发送差分数据的情况下，当满足第一切换条件时，切换请求部220向通信部211发送将接收对象切换为动画数据的切换请求。另一方面，在内容发送装置200发送动画数据的情况下，当满足第二切换条件时，切换请求部220向通信部211发送将接收对象切换为差分数据的切换请求。

这里，播放装置300在映像播放的切换时，进行转移播放处理，使得从通过差分数据以及动画数据中的一方生成的映像阶段性地向通过另一方生成的映像变化。该处理中同时使用差分数据以及动画数据这双方。因此，通信部211在满足切换条件后的一定的切换期间，同时发送差分数据以及动画数据(分别包含同一帧)，在经过切换期间后，仅发送用于播放切换后的映像的数据。后面详细说明转移播放处理。

下面，说明播放装置300的结构。图4是表示播放装置300的结构的框图。如图4所示，播放装置300具备无线通信部301、有线通信部302、控制部303、外部输出部304以及外部连接端子305。

无线通信部301能够进行IEEE802.11a/b/g/n/ac的无线通信，具有用于无线通信的天线306。有线通信部302是Ethernet的通信接口，与有线LAN460连接。控制部303具备CPU331以及存储器332，控制无线通信部301以及有线通信部302的通信。另外，存储器332中包含第一帧存储器341以及第二帧存储器342这两个帧存储器。

外部输出部304是HDMI(注册商标，High-Definition Multimedia Interface；高清多媒体接口)端子，与显示装置400连接，能够向显示装置400输出映像信号以及声音信号，使其输出映像以及声音。外部连接端子405是USB(Universal Serial Bus；通用串行总线)端子。该外部连接端子405也与显示装置400连接。

图5是表示显示装置400的结构的框图。显示装置400具备显示部401、扬声器402、输入部403、外部输入部404、外部连接端子405以及控制部406。显示部401是大型的LCD或者有机EL面板，通过该显示部401输出映像，通过扬声器402输出声音，由此，班级全员能够视听内容。输入部403是压敏或者静电电容式的透明触摸板等位置输入装置。输入部403贴合在显示部401的表面，显示部401以及输入部204构成为一体型的触摸面板。

外部输入部404是HDMI端子，外部连接端子405是USB端子。外部输入部404以及外部连接端子405分别与播放装置300的外部输出部304以及外部连接端子305连接。外部输入部404接收从播放装置300输出的映像信号以及声音信号，外部连接端子405将来自输入部403的输出信号向播放装置300发送。

控制部406具有CPU以及存储器或者ASIC(Application Specific IntegratedCircuit；专用集成电路)、FPGA(Field Programmable Gate Array；现场可编程门阵列)等半导体电路，具有控制上述各部的功能。该控制部406基于向外部输入部404输入的映像信号以及声音信号，在显示部401显示映像，在扬声器402输出声音。

图6是表示本实施方式所涉及的播放装置的功能的功能性的框图。如图6所示，播放装置300具有通信部311、第一映像播放部312、第二映像播放部313、声音播放部314以及转移播放部315的各种功能。

通信部311是上述的无线通信部301，从内容发送装置200接收内容的数据。具体来讲，通信部311选择性地接收表示时间上一前一后的两帧之间的差分的差分数据以及用于生成时间上连续的多个帧的动画数据。另外，通信部311在接收上述差分数据以及动画数据的同时，接收声音数据。另外，动画数据以及声音数据中分别付加有时刻信息即时间戳。

第一映像播放部312基于两帧的差分数据以及两帧中的前一帧来生成后一帧并输出，从而播放映像。第二映像播放部313基于动画数据生成多个帧，将这些帧以时间连续的方式输出，从而播放映像。声音播放部314基于声音数据播放声音。此外，这里的“播放”是指将差分数据、动画数据以及声音数据进行处理而生成映像信号以及声音信号，并将生成的映像信号以及声音信号输出。在以下说明中，将第一映像播放部312进行的映像播放，即，进行差分数据的映像播放的操作模式称为“差分模式”，将第二映像播放部313进行的映像播放，即，进行动画数据的映像播放的操作模式称为“动画模式”。

在以差分模式播放映像时，声音播放部314不使用时刻信息，在每次接收到声音数据时，对声音数据进行处理，播放声音。另一方面，在以动画模式播放映像时，声音播放部314基于动画数据中附加的时间戳以及声音数据中附加的时间戳，与映像同步地播放声音。声音播放部314使用共同的声音数据，分别在差分模式以及动画模式下播放声音。

如上所述，在将映像播放从差分数据以及动画数据中的一方切换为另一方的情况下，内容播放装置300发送接收对象的切换请求。如果接收到该切换请求，则通信部311将接收对象从差分数据以及动画数据中的一方切换为另一方。

内容发送装置200在满足切换条件后的一定的切换期间，同时发送差分数据以及动画数据，通信部311同时接收它们。转移播放部315进行转移播放处理，使得从通过同时接收到的差分数据以及动画数据中的一方生成的映像阶段性地向通过另一方生成的映像变化。下面，将执行该转移播放处理的操作模式称为“转移模式”。具体来讲，在转移模式下，转移播放部315对通过差分数据生成的帧进行基于第一透射率α1的透射处理从而生成第一透射图像，对通过动画数据生成的帧进行基于第一透射率α1的补数即第二透射率α2(即，α2＝1-α1)的透射处理从而生成第二透射图像，将第一透射图像与第二透射图像合成，生成合成图像，即，执行α混合。从切换期间的初期直到末期的过程中，使第一透射率α1从1变为0，或者从0变为1(即，使第二透射率α2从0变为1，或者从1变为0)，由此，从由差分数据以及动画数据中的一方生成的映像阶段性地向由另一方生成的映像变化。

转移播放部315在设置于第一映像播放部312以及第二映像播放部313中的一方播放映像的第一期间与另一方播放映像的第二期间之间的切换期间，执行上述转移播放处理。即，在从差分模式切换为动画模式的情况下，在第一期间的末期，即切换期间的初期，将第一透射率α1设置为1，将第二透射率α2设置为0，开始α混合，逐渐使第一透射率α1向0接近、第二透射率α2向1接近，并且依次执行α混合，在切换期间的末期，即第二期间的初期，将第一透射率α1设置为0，第二透射率α2设置为1，执行α混合。另一方面，在从动画模式切换为差分模式的情况下，在第一期间的末期，即切换期间的初期，将第一透射率α1设置为0，将第二透射率α2设置为1，开始α混合，逐渐使第一透射率α1接近1、第二透射率α2接近0，并且依次执行α混合，在切换期间的末期，即第二期间的初期，将第一透射率α1设置为1，将第二透射率α2设置为0，执行α混合。

在上述切换期间内，声音播放部314使伴随由第一映像播放部以及第二映像播放部中的一方播放的映像而播放的声音的等级阶段性地变小，使伴随由另一方播放的映像而播放的声音的等级阶段性地变大。即，使伴随第一期间播放的映像而播放的声音在切换期间淡出，使伴随第二期间播放的映像而播放的声音在切换期间淡入。

[远程播放系统的动作]

下面，说明本实施方式所涉及的远程播放系统100的动作。本实施方式所涉及的远程播放系统100中，内容发送装置200以及播放装置300使用连接型协议即TCP(Transmission Control Protocol；传输控制协议)以及无连接型协议即UDP(UserDatagram Protocol；用户数据报协议)通过无线LAN进行内容的收发。收发声音数据使用UDP，收发差分数据以及动画数据使用TCP。播放装置300播放接收到的内容，将映像以及声音在显示装置400上输出。

图7A～图7D是表示本实施方式所涉及的远程播放系统进行内容的远程播放的步骤的流程图。作为例子，使用学校教师(下面称为“用户”)进行授课的情景。用户启动内容发送装置200的内容发送程序210，另外，启动教育用程序230。当执行教育用程序230时，播放动画或者播放演示的幻灯，在播放装置200的显示部202上显示映像。另外，从扬声器203输出动画或者幻灯中附加的声音。

当执行内容发送程序210时，首先，CPU261以差分模式发挥作用。CPU261读取显示部202显示的映像，生成最初一帧或者几帧的映像数据(步骤S101)。然后，CPU261根据生成的映像数据生成TCP分组。此时，对非压缩的映像数据附加TCP报头，生成TCP分组。并且，CPU261对TCP分组附加IP报头生成IP分组，然后，附加MAC报头、物理报头等，生成包含映像数据的无线LAN帧(下面称为“初始映像分组”)(步骤S102)。此外，该初始映像分组的目标地址是播放装置300的IP地址。CPU261使无线通信部201通过TCP发送生成的初始映像分组(步骤S103)。发送的初始映像数据由播放装置300接收(步骤S104)。

然后，CPU261读取显示部202显示的映像以及从扬声器203输出的声音，生成映像数据以及声音数据(步骤S105)。CPU261生成前一帧(即，前一次发送的映像数据，下面称为“前一帧”)与本次读取的帧(下面称为“本次帧”)的差分数据(步骤S106)。该处理中，运算前一帧与本次帧对应的像素之间的亮度值(RGB值)的差分，基于其运算结果生成差分数据。图8是用于说明差分数据的生成处理的图。前一帧501以及本次帧502中，除了差异部503以外，各像素的亮度值相同。由此，如果获取前一帧501与本次帧502之间的各像素的亮度值的差，则除了差异部503以外，其值为0。CPU261去除亮度的差为0的像素的信息，生成差分数据。因此，差分数据中仅包含差异部503的信息，由此，可以抑制信息量。

CPU261根据生成的差分数据生成TCP分组。此时，对非压缩的差分数据附加TCP报头，生成TCP分组。然后，CPU261对TCP分组附加IP报头，生成IP分组，然后，附加MAC报头、物理报头等，生成包含差分数据的无线LAN帧(下面称为“差分分组”)(步骤S107)。差分分组的目标地址也是播放装置300的IP地址。CPU261使无线通信部201通过TCP发送生成的差分分组(步骤S108)。

另外，CPU261对线性PCM(Pulse Code Modulation；脉冲编码调制)格式的声音数据附加UDP报头，生成UDP分组。线性PCM格式是非压缩的声音数据格式。CPU261对该UDP分组附加IP报头，生成IP分组，并且，附加MAC报头、物理报头等，生成包含声音数据的无线LAN帧(下面称为“声音分组”)(步骤S109)。该声音分组中包含时刻信息即时间戳。另外，声音分组的目标地址是播放装置300的IP地址。CPU261将生成的声音分组在无线通信部201通过UDP发送(步骤S110)。

播放装置300接收从内容发送装置200发送的差分分组以及声音分组(步骤S111、S112)。播放装置300的CPU331从接收到的差分分组中提取差分数据，将前一帧中存在差分数据的部位(像素)替换为差分数据，生成本次帧的映像数据(步骤S113)，播放映像(步骤S114)。具体来讲，CPU261将生成的映像数据写入第一帧存储器341，将第一帧存储器341的映像数据作为映像信号从外部输出部304向显示装置400输出。由此，以差分模式进行映像播放。

另外，CPU331从接收到的声音分组中提取声音数据，播放声音(步骤S115)。即，CPU261根据声音数据生成声音信号，从外部输出部304向显示装置400输出。由此，在显示装置400的显示部401显示映像，从扬声器402输出声音。

在显示装置400中，用户有时通过触笔或者手指对画面进行输入。由此，输入部403受理用户的输入，通过外部连接端子405向播放装置300发送输入信息。播放装置300的CPU331判定用户是否进行了输入(步骤S116)，在进行了输入的情况下(步骤S116的“是”)，将输入信息向内容发送装置200发送(步骤S117)。另一方面，在用户没有进行输入的情况下(步骤S116的“否”)，CPU331跳转至步骤S120的处理。

如果接收到输入信息，则内容发送装置200将用户的输入反映显示到映像中。例如，用户在显示装置400的画面上进行手写输入的情况下，包含输入的文字的映像会显示在播放装置200的显示部202。

内容发送装置200的CPU261判定是否满足将发送对象从差分数据切换为动画数据的切换条件即第一切换条件(步骤S118)。

这里，说明第一切换条件。第一切换条件包含以下的(1)～(2)两个条件，在满足这些条件中的任一个的情况下，则认为满足第一切换条件。

(1)映像变化量超过规定的基准值。

(2)用户给出向动画模式的切换指示。

说明条件(1)。内容发送装置200的CPU261在前一帧与本次帧之间检测亮度值(RGB值)存在差异的像素，计算其像素数，并作为映像变化量。在差分模式下，数据通信量较少，但是，难以流场地显示动画。另一方面，在动画模式下，数据压缩处理所需时间变大。因此，时间上变化较大的映像适合动画模式，而时间上变化较少的映像适合差分模式。由此，内容发送装置200检测映像变化量，在该映像变化量超过规定的基准值的情况下，将发送对象从差分数据切换为动画数据。

说明条件(2)。本实施方式中，规定了用于指示从差分模式切换为动画模式的用户操作。例如，可以通过以特定方向滑动画面(即，输入部403)的操作或者选择用于选择显示画面中包含的从差分模式切换为动画模式的选择部的操作等来实现该用户操作。当对输入部403进行该操作输入时，对内容发送装置200的CPU261给出从差分模式到动画模式的切换指示。

在不满足上述的第一切换条件的情况下(步骤S118的“否”)，CPU261返回步骤S105的处理。由此，重复步骤S105～S110以及步骤S118的处理，继续进行差分数据以及声音数据的发送。另一方面，在满足第一切换条件的情况下(步骤S118的“是”)，CPU261向播放装置300发送将接收对象从差分数据切换为动画数据的切换请求(下面称为“接收对象切换请求”)(步骤S119)。

播放装置300的CPU331判定是否接收到接收对象切换请求(步骤S120)。在播放装置300没有接收到接收对象切换请求的情况下(步骤S120的“否”)，CPU331返回步骤S111的处理。由此，重复步骤S111～S117以及步骤S120的处理，继续执行基于差分数据的映像播放以及基于声音数据的声音播放。

内容发送装置200的CPU261在发送了接收对象切换请求后，如下所述，在规定的切换期间将差分数据以及动画数据这双方向播放装置300发送。首先，CPU261开始切换期间(步骤S121)。然后，CPU261读取显示部202显示的映像以及从扬声器203输出的声音，生成映像数据以及声音数据(步骤S122)。

CPU261与步骤S106～108同样地生成差分数据(步骤S123)，生成差分分组(步骤S124)，并将差分分组通过TCP向无线通信部201发送(步骤S125)。

另外，CPU261将时间上连续的多个帧通过动画压缩规格即H.264中规定的动画压缩方法进行编码，生成动画数据(步骤S126)。此外，本实施方式中说明了生成H.264格式的动画数据的结构，但不限于此，也可以是生成其他动画压缩格式，例如，Divx、Xvid、VP9、MPEG-4等动画数据的结构。

CPU261根据生成的动画数据生成TCP分组。然后，CPU261对TCP分组附加IP报头，生成IP分组，并且，附加MAC报头、物理报头等，生成包含动画数据的无线LAN帧(下面称为“动画分组”)(步骤S127)。该动画分组中包含动画时刻信息即时间戳。另外，动画分组的目标地址也是播放装置300的IP地址。CPU261使无线通信部201通过TCP发送生成的动画分组(步骤S128)。

另外，CPU261与步骤S109～110同样地生成声音分组(步骤S129)，使无线通信部201通过UDP发送声音分组(步骤S130)。

CPU261判定切换期间是否结束(步骤S131)，在没有结束的情况下(步骤S131的“否”)，返回步骤S122的处理。由此，从内容发送装置200持续发送差分数据以及动画数据这双方，直到切换期间结束。

另一方面，在播放装置300中接收到接收对象切换请求的情况下(步骤S120的“是”)，CPU331开始切换期间(步骤S132)。然后，播放装置300分别接收从内容发送装置200发送的差分分组、动画分组以及声音分组(步骤S133～S135)。CPU331设定第一透射率α1、第二透射率α2以及声音输出等级SL(步骤S136)。在从差分模式向动画模式切换时，第一透射率α1的初始值为“1”，第二透射率α2的初始值为“0”。另外，声音输出等级SL的初始值与差分模式的声音输出等级的值相同。

然后，CPU331从接收到的差分分组中提取差分数据，针对每个像素，将前一帧与差分数据的亮度值相加，生成本次帧的映像数据(步骤S137)。将生成的映像数据写入第一帧存储器341。然后，CPU331将第一帧存储器341中存储的映像数据的各像素的亮度值乘以第一透射率α1，生成第一透射图像(步骤S138)。

另外，CPU331从接收到的动画分组中提取动画数据，将动画数据解码，生成帧的映像数据(步骤S139)。将生成的映像数据写入第二帧存储器342。然后，CPU331将第二帧存储器342中存储的映像数据的各像素的亮度值乘以第二透射率α2，生成第二透射图像(步骤S140)。

CPU331将第一透射图像与第二透射图像合成，将合成图像的映像信号从外部输出部304向显示装置400输出(步骤S141)。由此，在转移模式下进行映像播放。

另外，CPU331从接收到的声音分组中提取声音数据，以设定的声音输出等级SL播放声音(步骤S142)。即，CPU261根据声音数据生成声音信号，并从外部输出部304向显示装置400输出。

然后，CPU331判定切换期间是否结束(步骤S143)，在切换期间没有结束的情况下(步骤S143的“否”)，返回步骤S133的处理。由此，重复步骤S133～S143的处理，继续执行映像的α混合。在该切换期间，逐渐变更第一透射率α1、第二透射率α2以及声音输出等级SL。

图9是表示从差分模式切换为动画模式时第一透射率α1以及第二透射率α2的变化的曲线图。图9中，纵轴表示透射率，横轴表示时间。如图9所示，在切换期间的初期，第一透射率α1为1，第二透射率α2为0。随着切换期间的行进，第一透射率α1逐渐减小，第二透射率α2逐渐增大。在切换期间的末期，第一透射率α1变为0，第二透射率α2变为1。由此，通过使第一透射率α1以及第二透射率α2变化，在切换期间，从差分数据的映像逐渐向动画数据的映像切换。

图10是表示从差分模式切换为动画模式时声音输出等级SL的变化的曲线图。图10中，纵轴表示声音输出等级SL，横轴表示时间。如图10所示，在切换期间的初期，声音输出等级SL最大，随着切换期间行进，声音输出等级SL逐渐减小，切换期间的中期，声音输出等级SL变为0。由此，声音淡出。另外，从切换期间的中期开始，随着时间继续行进，声音输出等级SL逐渐增大，在切换期间的末期，声音输出等级SL最大。由此，声音淡入。另外，CPU331通过声音数据中附加的时间戳以及动画数据中附加的时间戳，使动画数据的映像与声音同步。

参照图7B。内容发送装置200在切换期间结束的情况下(步骤S131的“是”)，如下所述，将动画分组以及声音分组发送给播放装置300。首先，CPU261读取显示部202显示的映像以及从扬声器203输出的声音，生成映像数据以及声音数据(步骤S144)。然后，CPU261与步骤S126～S128同样地生成动画数据(步骤S145)，生成动画分组(步骤S146)，并使无线通信部201通过TCP发送动画分组(步骤S147)。

另外，CPU261与步骤S109～110同样地生成声音分组(步骤S148)，并使无线通信部201通过UDP发送声音分组(步骤S149)。

另一方面，播放装置300在切换期间结束的情况下(步骤S143的“是”)，播放装置300接收从内容发送装置200发送的动画分组以及声音分组(步骤S150、S151)。播放装置300的CPU331从接收到的动画分组中提取动画数据，将动画数据解码而生成帧的映像数据(步骤S152)，播放映像(步骤S153)。具体来讲，CPU261将生成的映像数据写入第二帧存储器342，将第二帧存储器342的映像数据作为映像信号从外部输出部304向显示装置400输出。由此，在动画模式下进行映像播放。

另外，CPU331从接收到的声音分组中提取声音数据，播放声音(步骤S154)。即，CPU261根据声音数据生成声音信号，并从外部输出部304向显示装置400输出。此时，CPU331使用动画数据中附加的时间戳以及声音数据中附加的时间戳，使声音与映像同步。由此，显示装置400的显示部401显示映像，从扬声器402输出声音。

CPU331判定用户对输入部403是否进行了输入(步骤S155)，在进行了输入的情况下(步骤S155的“是”)，将输入信息发送给内容发送装置200(步骤S156)。另一方面，在用户没有进行输入的情况下(步骤S155的“否”)，CPU331跳转到步骤S159的处理。

内容发送装置200的CPU261判定是否满足将发送对象从动画数据切换为差分数据的切换条件即第二切换条件(步骤S157)。

其中，说明第二切换条件。第二切换条件包含以下的(3)～(5)的三个条件，在满足这些条件中的任意一个的情况下，则认为满足第二切换条件。

(3)映像变化量没有超过规定的基准值的状态超过规定的第一判定期间。

(4)在规定的第二判定期间以上持续检测到用户对于画面的输入。

(5)用户给出向差分模式的切换指示。

说明条件(3)。如上所述，时间上变化较大的映像适合动画模式，时间上变化较少的映像适合差分模式。由此，内容发送装置200检测映像变化量，在该映像变化量持续第一判定期间以上没有超过基准值的情况下，将发送对象从动画数据切换为差分数据。

说明条件(4)。内容发送装置200的CPU261根据来自播放装置300的输入信息，监视对于输入部403的操作。在第二判定期间以上持续存在对于输入部403的操作的情况下，CPU331检测出针对映像的规定的输入。例如，用户有时将显示装置400作为电子黑板使用，通过触笔在画面上描画文字，即进行手写输入。对于这种手写输入，尽可能无延迟地将用户的输入反映到显示中是很重要的。因此，与映像播放中会产生延迟的动画数据的映像播放相比，延迟较少的差分数据的映像播放更为合适。由此，内容发送装置200在第二判定期间以上持续检测到针对映像的用户输入的情况下，将发送对象从动画数据切换为差分数据。

说明条件(5)。本实施方式中，规定了用于指示从动画模式切换为差分模式的用户操作。例如，通过以特定方向滑动画面(即，输入部403)的操作或者选择用于选择显示画面中包含的从动画模式切换为差分模式的选择部的操作等来实现该用户操作。当对输入部403进行该操作输入时，对内容发送装置200的CPU261给出从动画模式到差分模式的切换指示。

在不满足上述第二切换条件的情况下(步骤S157的“否”)，CPU261返回至步骤S144的处理。由此，重复步骤S144～S149以及步骤S157的处理，继续进行动画数据以及声音数据的发送。另一方面，在满足第二切换条件的情况下(步骤S157的“是”)，CPU261将接收对象从动画数据切换为差分数据的切换请求(接收对象切换请求)发送给播放装置300(步骤S158)。

播放装置300的CPU331判定是否接收到接收对象切换请求(步骤S159)。在播放装置300没有接收到接收对象切换请求的情况下(步骤S159的“否”)，CPU331返回至步骤S150的处理。由此，重复步骤S150～S156以及步骤S159的处理，继续执行基于动画数据的映像播放以及基于声音数据的声音播放。

内容发送装置200的CPU261在发送了接收对象切换请求后，与步骤S121～S131同样，在规定的切换期间，将差分数据、动画数据以及声音数据发送给播放装置300(步骤S160～S170)。

另一方面，在播放装置300接收到接收对象切换请求的情况下(步骤S120的“是”)，CPU331开始切换期间(步骤S171)。然后，播放装置300分别接收从内容发送装置200发送的差分分组、动画分组以及声音分组(步骤S172～S174)。CPU331设定第一透射率α1、第二透射率α2以及声音输出等级SL(步骤S175)。在从动画模式切换为差分模式时，第一透射率α1的初始值为“0”，第二透射率α2的初始值为“1”。另外，声音输出等级SL的初始值是与动画模式的声音输出等级相同得值。

然后，CPU331从接收到的差分分组中提取差分数据，针对每个像素，将前一帧与差分数据的亮度值相加，生成本次帧的映像数据(步骤S176)。将生成的映像数据写入第一帧存储器341。并且，CPU331将第一帧存储器341中存储的映像数据的各像素的亮度值乘以第一透射率α1，生成第一透射图像(步骤S177)。

另外，CPU331从接收到的动画分组中提取动画数据，将动画数据解码，生成帧的映像数据(步骤S178)。将生成的映像数据写入第二帧存储器342。并且，CPU331将第二帧存储器342中存储的映像数据的各像素的亮度值乘以第二透射率α2，生成第二透射图像(步骤S179)。

CPU331将第一透射图像与第二透射图像合成，将合成图像的映像信号从外部输出部304向显示装置400输出(步骤S180)。由此，在转移模式下进行映像播放。

另外，CPU331从接收到的声音分组中提取声音数据，以设定的声音输出等级SL播放声音(步骤S181)。即，CPU331根据声音数据生成声音信号，并从外部输出部304向显示装置400输出。

然后，CPU331判定切换期间是否结束(步骤S182)，在切换期间没有结束的情况下(步骤S182的“否”)，返回步骤S172的处理。由此，重复步骤S172～S182的处理，继续执行映像的α混合。在该切换期间，逐渐变更第一透射率α1、第二透射率α2以及声音输出等级SL。

图11是表示从动画模式切换至差分模式时第一透射率α1以及第二透射率α2的变化的曲线图。图11中，纵轴表示透射率，横轴表示时间。如图11所示，在切换期间的初期，第一透射率α1为0，第二透射率α2为1。随着切换期间行进，第一透射率α1逐渐增大，第二透射率α2逐渐减小。在切换期间的末期，第一透射率α1变为1，第二透射率α2变为0。由此，通过使第一透射率α1以及第二透射率α2变化，在切换期间，从动画数据的映像逐渐向差分数据的映像切换。

在从动画模式向差分模式的切换期间，与从差分模式向动画模式的切换期间同样地变化声音输出等级SL。即，在切换期间的初期，声音输出等级SL最大，随着切换期间行进，声音输出等级SL逐渐减小，切换期间的中间，声音输出等级SL变为0。由此，声音淡出。另外，从切换期间中间开始，随着时间行进，声音输出等级SL逐渐增大，在切换期间的末期，声音输出等级SL最大。由此，声音淡入。另外，CPU331根据声音数据中附加的时间戳以及动画数据中附加的时间戳，使动画数据的映像与声音同步。

参照图7D。内容发送装置200的CPU261在切换期间结束的情况下(步骤S170的“是”)，返回步骤S105的处理。由此，发送对象从动画分组切换为差分分组，将差分分组以及声音分组发送给播放装置300(步骤S105～S110)。

另一方面，在播放装置300中切换期间结束的情况下(步骤S182的“是”)，播放装置300的CPU331返回步骤S111的处理。由此，向差分模式转移，播放差分数据的映像。

根据上述结构，通过在低画质而每单位时间处理的数据量较小的差分模式与高画质而每单位时间能够处理的数据量较大的动画模式之间切换，能够兼顾低通信量以及高画质。另外，在映像易于与声音发生不同步的动画模式，能够使映像与声音同步，因此，能够抑制映像与声音的不同步。此外，在差分模式下，数据量较小，映像播放处理中无法播放的情况较少，即使无法实现同步，映像与声音的不同步的程度也较小。

另外，内容发送装置200与差分分组以及动画分组独立地生成声音分组，在分别发送差分分组以及动画分组时发送声音分组。即，声音数据可在差分模式以及动画模式中共用，无需生成差分模式专用的声音数据、动画模式专用的声音数据。因此，用于播放同一声音的声音数据不会重复，可减轻通信量，并且，无需为了差分模式以及动画模式分别生成互不相同的格式的声音数据，可简化内容发送装置200的结构。同样，在播放装置300中，也无需处理互不相同的格式的声音数据，可简化结构。

(其他实施方式)

在上述的实施方式中，说明了设置用于在差分模式与动画模式之间切换操作模式的切换期间，在该切换期间，从差分数据以及动画数据中的一方的映像播放逐渐向另一方的映像播放切换的结构，但不限于此。也可以是不设置切换期间而直接从差分模式向动画模式或者从动画模式向差分模式切换的结构。

另外，在上述的实施方式中，说明了在切换期间内容发送装置200向播放装置300发送差分数据以及动画数据这双方的结构，但不限于此。例如，在切换发送对象的情况下，可以是不发送切换前的发送对象的数据而发送切换后的发送对象的数据的结构。在该情况下，可以在切换期间，通过α混合，逐渐切换根据切换前的数据播放的最后一帧的映像以及根据切换后接收的新的发送对象的数据生成的映像。

另外，在上述的实施方式中，说明了第一切换条件包含条件(1)以及(2)、第二切换条件包含条件(3)～(5)的结构，但不限于此。第一切换条件也可以仅包含条件(1)以及(2)中的任意一个，第二切换条件也可以仅包含条件(3)～(5)中的一个或者两个。另外，第一切换条件以及第二切换条件也可以包含条件(1)、(2)以及条件(3)～(5)以外的条件。

另外，在上述的实施方式中，说明了在切换期间，使伴随通过差分数据以及动画数据中的一方播放的映像而播放的声音淡出，使伴随通过另一方播放的映像而播放的声音淡入的结构，但不限于此。也可以不使播放的声音的输出等级SL不随着通过差分数据以及动画数据分别播放的映像而增减，在切换期间内的一个时刻，切换声音。但是，使声音淡出、淡入的结构能够抑制对视听者的不适感，因此，是优选方式。

另外，在上述的实施方式中，说明了在内容发送装置200中设置变化量检测部217、输入检测部218、切换指示受理部219、发送对象切换部220以及切换请求部221的各种功能的结构，但不限于此。也可以在播放装置300中设置变化量检测部、输入检测部、切换指示受理部以及切换请求部的各种功能，在播放装置300中产生了播放的映像的变化量的检测、用户针对映像的输入的检测以及来自用户的映像播放的切换指示的受理中的任一个的情况下，将发送对象的切换请求发送给内容发送装置200，内容发送装置200在接收到切换请求后，将发送对象从差分数据以及动画数据中的一方切换为另一方。

另外，在上述的实施方式中，说明了将声音数据通过UDP发送，将差分数据以及动画数据通过TCP发送的结构，但不限于此。也可以将声音数据通过TCP发送，将差分数据以及动画数据中的一方或者双方通过UDP发送。但是，通过进行响应确认以及重发处理的TCP来发送差分数据以及动画数据，能够抑制映像中断或者紊乱，从而播放高画质的映像，因此，使用TCP发送差分数据以及动画数据是优选方案。

另外，在上述的实施方式中，说明了发送非压缩格式的差分数据以及声音数据，发送压缩格式的动画数据的结构，但不限于此。可以将差分数据以及声音数据中的一方或者双方设置为压缩格式，也可以将动画数据设置为非压缩格式。但是，通过将差分数据以及声音数据设置为非压缩格式，无需播放装置的解压缩处理，可减小播放负荷，因此，能够抑制内容发送装置200与显示装置400之间的映像以及声音的延迟。另外，通过将动画数据设置为压缩格式，能够提高映像的比特率，抑制通信量，并且播放高画质的映像。

另外，在上述的实施方式中，说明了将播放装置300作为无线接入点的结构，但不限于此。例如，也可以是专用于播放内容的播放装置能够执行上述动作的结构。另外，也可以不是分别设置播放装置以及显示装置400并将它们连接的结构，而是具备显示部的播放装置的结构。也可以不是内容发送装置200与播放装置300通过无线LAN通信的结构，而是进行有线通信的结构。

工业实用性

本发明的播放装置、远程播放系统、播放方法以及记录介质作为播放通过流传输的映像以及声音的播放装置、远程播放系统、播放方法以及存储了使计算机作为播放装置发挥作用的计算机程序的记录介质是有用的。

Claims (18)

1.一种播放装置，其中，具备：

通信部，接收附加了声音时刻信息的声音数据、时间上一前一后的两帧之间的差分数据以及附加了动画时刻信息的动画数据；

第一映像播放部，通过基于所述差分数据以及所述两帧中的前一帧生成的后一帧来播放映像；

第二映像播放部，通过基于所述动画数据生成的时间上连续的多个帧来播放映像；以及

声音播放部，基于所述声音数据播放声音，并且，在所述第二映像播放部播放所述映像的情况下，基于所述动画时刻信息以及所述声音时刻信息，使所述声音与所述映像同步。

2.根据权利要求1所述的播放装置，其中，

在所述第一映像播放部播放映像时和所述第二映像播放部播放映像时，所述声音播放部分别通过共同的声音数据播放声音。

3.根据权利要求1或2所述的播放装置，其中，

所述通信部通过无连接型协议接收所述声音数据。

4.根据权利要求3所述的播放装置，其中，

所述通信部接收非压缩的所述声音数据。

5.根据权利要求1至4中任一项所述的播放装置，其中，

所述通信部通过连接型协议接收所述差分数据。

6.根据权利要求5所述的播放装置，其中，

所述通信部接收非压缩的所述差分数据。

7.根据权利要求1至6中任一项所述的播放装置，其中，

所述通信部通过连接型协议接收所述动画数据。

8.根据权利要求7所述的播放装置，其中，

所述通信部接收压缩的所述动画数据。

9.根据权利要求1至8中任一项所述的播放装置，其中，

所述通信部从所述差分数据以及所述动画数据的发送源接收将接收对象从所述差分数据以及所述动画数据中的一方切换为另一方的切换请求，

在由所述通信部接收到所述切换请求的情况下，所述第一映像播放部以及所述第二映像播放部从所述第一映像播放部以及第二映像播放部中的一方播放映像切换为另一方播放映像。

10.根据权利要求1至9中任一项所述的播放装置，其中，

所述通信部在切换播放所述映像的情况下，同时接收所述差分数据以及所述动画数据这双方，

所述播放装置还具备转移播放部，

在规定的切换期间，所述转移播放部以从通过同时接收到的所述差分数据以及所述动画数据中的一方生成的映像阶段性地向通过另一方生成的映像变化的方式播放，

所述规定的切换期间设置于所述第一映像播放部以及所述第二映像播放部中的一方播放映像的第一期间与另一方播放映像的第二期间之间。

11.根据权利要求10所述的播放装置，其中，

具有第一帧存储器以及第二帧存储器，

所述转移播放部将对通过所述差分数据生成的图像进行基于规定的第一透射率的透射处理得到的第一透射图像存储到所述第一帧存储器，将对通过所述动画数据生成的图像进行基于所述第一透射率的补数即第二透射率的透射处理得到的第二透射图像存储到所述第二帧存储器，并将所述第一透射图像与所述第二透射图像合成。

12.根据权利要求1至11中任一项所述的播放装置，其中，

在切换播放所述映像的情况下，所述声音播放部使伴随由所述第一映像播放部以及第二映像播放部中的一方播放的映像而播放的声音的等级阶段性地变小，使伴随由另一方播放的映像而播放的声音的等级阶段性地变大。

13.一种远程播放系统，其中，具备：

内容发送装置，发送附加了声音时刻信息的声音数据、时间上一前一后的两帧之间的差分数据以及附加了动画时刻信息的动画数据；以及

权利要求1至12中任一项所述的播放装置。

14.根据权利要求13所述的远程播放系统，其中，

所述内容发送装置具有：

变化量检测部，检测播放的映像的时间上的变化量；

发送对象切换部，基于由所述变化量检测部检测到的所述映像的时间上的变化量，将发送对象从所述差分数据以及所述动画数据中的一方切换为另一方；以及

切换请求部，向所述播放装置请求将接收对象从所述差分数据以及所述动画数据中的一方切换为另一方，

所述播放装置是权利要求9所述的播放装置。

15.根据权利要求13或14所述的远程播放系统，其中，

所述内容发送装置具有：

输入检测部，检测对于显示的所述映像的输入；

发送对象切换部，基于所述输入检测部检测出所述输入，将发送对象从所述差分数据以及所述动画数据中的一方切换为另一方；以及

切换请求部，向所述播放装置请求将接收对象从所述差分数据以及所述动画数据中的一方切换为另一方，

所述播放装置是权利要求9所述的播放装置。

16.根据权利要求13至15中任一项所述的远程播放系统，其中，

所述内容发送装置具有：

切换指示受理部，受理在播放基于所述差分数据的映像与播放基于所述动画数据的映像之间切换的切换指示；

发送对象切换部，基于由所述切换指示受理部受理的所述切换指示，将发送对象从所述差分数据以及所述动画数据中的一方切换为另一方；以及

切换请求部，向所述播放装置请求将接收对象从所述差分数据以及所述动画数据中的一方切换为另一方，

所述播放装置是权利要求9所述的播放装置。

17.一种播放方法，其中，

接收附加了声音时刻信息的声音数据以及表示时间上一前一后的两帧之间的差分的差分数据，

通过基于接收到的所述差分数据以及所述两帧中的前一帧生成的后一帧来播放映像，

基于接收到的声音数据，与所述映像同时播放声音，

在从基于所述差分数据的映像切换为基于用于生成时间上连续的多个帧的动画数据的映像的情况下，接收附加了声音时刻信息的声音数据以及附加了动画时刻信息的动画数据，

停止播放基于所述差分数据的映像，

通过基于接收到的所述动画数据生成的时间上连续的多个帧来播放映像，

基于接收到的声音数据播放声音，并且，基于所述动画时刻信息以及所述声音时刻信息，使所述声音与所述映像同步。

18.一种计算机可读取的记录介质，存储了使计算机作为发送包含映像以及声音的内容的内容发送装置发挥作用的计算机程序，其中，

所述计算机程序使所述计算机作为第一映像发送单元、第二映像发送单元、声音发送单元以及切换单元发挥作用，

所述第一映像发送单元发送表示时间上一前一后的两帧之间的差分的差分数据，

所述第二映像发送单元发送附加了动画时刻信息的动画数据，

所述声音发送单元发送附加了声音时刻信息的声音数据，

所述切换单元在将映像播放从所述差分数据以及所述动画数据中的一方切换为另一方的情况下，将执行对象从所述第一映像发送单元以及所述第二映像发送单元中的一方切换为另一方。