CN110089110A - 显示器及显示方法 - Google Patents

Abstract

在可编程显示器中具备：存储部，其对主影像、从属影像、开始事件和结束事件进行存储，该主影像为同步播放的多个影像中的基准影像，该从属影像是多个影像中被调整播放速度的影像，该开始事件是使主影像的一部分和从属影像的一部分的同步播放开始的事件，该结束事件是使同步播放结束的事件；数据处理部，其对从开始事件至结束事件为止的期间的从属影像的播放速度的设定进行调整，以使得从开始事件至结束事件为止的期间的从属影像内的影像和从开始事件至结束事件为止的期间的主影像内的影像同步播放；以及显示部，其在从开始事件至结束事件为止的期间，对主影像以及调整后的从属影像进行同步播放。

Description

显示器及显示方法

技术领域

本发明涉及显示影像的显示器及显示方法。

背景技术

近年来，显示影像的显示器具有改变影像的显示速度的功能、同时显示多个影像的功能这样的各种显示功能，能够以各种方式显示影像。

在专利文献1记载的视频播放装置对主侧的影像和从属侧的影像以相同的帧率进行拍摄，对主侧的特定动作的动作速度和从属侧的特定动作的动作速度进行比较。而且，在专利文献1记载的视频播放装置基于动作速度的比较结果来控制从属侧的播放速度，由此，对主侧的影像和从属侧的影像进行同步播放。

专利文献1：日本特开2014－225772号公报

发明内容

但是，在上述作为现有技术的专利文献1中，由于需要对主侧的影像和从属侧的影像以相同帧率进行拍摄，所以存在对影像进行摄录时的限制变多的问题。

本发明是鉴于上述问题而提出的，其目的在于，得到能够对以各种条件取得了视频帧的多个影像进行同步播放的显示器。

为了解决上述课题而达成目的，就本发明而言，在显示器中具备存储部，该存储部对主影像、从属影像、开始事件和结束事件进行存储，该主影像为同步播放的多个影像中的基准影像，该从属影像是所述多个影像中被调整播放速度的影像，该开始事件是使所述主影像的一部分和所述从属影像的一部分的同步播放开始的事件，该结束事件是使所述同步播放结束的事件。另外，在本发明的显示器中具备数据处理部，该数据处理部对从所述开始事件至所述结束事件为止的期间的所述从属影像的播放速度的设定进行调整，以使得所述从属影像的一部分即从所述开始事件至所述结束事件为止的期间的所述从属影像内的影像和所述主影像的一部分即从所述开始事件至所述结束事件为止的期间的所述主影像内的影像同步播放。另外，在本发明的显示器中具备显示部，该显示部在从所述开始事件至所述结束事件为止的期间，对所述主影像以及调整后的所述从属影像进行同步播放。

发明的效果

本发明涉及的显示器获得如下效果，即，能够对以各种条件取得了视频帧的多个影像进行同步播放。

附图说明

图1是表示本发明的实施方式涉及的可编程显示器的结构的框图。

图2是表示实施方式涉及的事件设定处理的处理流程的流程图。

图3是表示实施方式涉及的录像处理的处理流程的流程图。

图4是表示实施方式涉及的录像时的影像数据的结构的图。

图5是表示实施方式涉及的影像播放处理的处理流程的流程图。

图6是表示实施方式涉及的同步播放时的影像数据的结构的图。

图7是表示实施方式涉及的数据处理部的硬件结构例的图。

具体实施方式

下面，基于附图，详细地说明本发明的实施方式涉及的显示器以及显示方法。此外，本发明不受本实施方式限定。

实施方式

图1是表示本发明的实施方式涉及的可编程显示器的结构的框图。显示器的一个例子即可编程显示器10与外部装置30以及摄录装置40连接。

外部装置30的例子是可编程逻辑控制器(PLC：Programmable Logic Controller)这样的控制仪器。在外部装置30是PLC的情况下，外部装置30将从传感器或机器人这样的其他仪器收集到的信息向可编程显示器10发送。此外，传感器或机器人这样的其他仪器也可以是外部装置30。下面，对外部装置30是PLC的情况进行说明。因此，通过传感器或机器人这样的其他仪器检测出的信息经由PLC向可编程显示器10发送。

外部装置30将表示工序开始的事件以及表示工序结束的事件向可编程显示器10发送。在下面的说明中，将表示工序开始的事件称为开始事件V1，将表示工序结束的事件称为结束事件V2。外部装置30在满足第1触发条件的情况下发生开始事件V1，在满足第2触发条件的情况下发生结束事件V2。开始事件V1以及结束事件V2是表示在工序中发生了特定事件的信息。事件信息即开始事件V1以及结束事件V2的例子是外部装置30所监视的监视对象的设备值或传感器信息。在产生了触点的接通、触点的断开、语句的转变、或检测出的数值的转变这样的现象的情况下发生开始事件V1以及结束事件V2。通过从外部装置30向可编程显示器10的位(bit)的接通(on)或断开(off)来表示开始事件V1以及结束事件V2有无发生。

可编程显示器10是对PLC的内部存储器的值、PLC从传感器或机器人取得的信息、摄录装置40摄录到的影像这样的各种信息进行显示的仪器。

实施方式的可编程显示器10基于从外部装置30发送来的开始事件V1以及结束事件V2，对以各种条件取得了帧的多个影像进行同步播放。具体而言，可编程显示器10在从开始事件V1至结束事件V2为止的期间，调整从属影像的播放速度，以使得后述的从属影像和后述的主影像同步播放。此外，在实施方式中，对可编程显示器10是在实现工厂的生产工序的自动化的FA(Factory Automation)领域使用的显示器的情况进行说明。

摄录装置40对工厂内的产品、制造装置或材料这样的各种监视对象进行摄录，将摄录数据即影像向可编程显示器10发送。监视对象在外部装置30是控制装置的情况下是被控制装置，在外部装置30是传感器这样的检测仪器的情况下是被检测装置。此外，摄录装置40也可以对摄录了监视对象而得到的影像进行录像。

摄录装置40对主影像和从属影像进行摄录，该主影像是同步播放的影像中成为基准的影像，该从属影像是同步播放的影像中播放速度受到调整的影像。什么样的影像成为主影像、什么样的影像成为从属影像是在同步播放时由操作者通过可编程显示器10指定的。摄录装置40将摄录到的影像向摄录装置连接IF(I/F：Interface)13发送。摄录装置40向摄录装置连接IF 13发送的影像的例子是通过照相机或录像机进行摄录而得到的影像。

此外，对主影像以及从属影像进行摄录的摄录装置40可以是1个，也可以是多个。即，主影像以及从属影像可以通过同一个摄录装置40摄录，也可以通过不同的摄录装置40摄录。另外，主影像以及从属影像可以同时摄录，也可以在不同的日期时间摄录。另外，主影像以及从属影像在同时摄录的情况下，通过不同的摄录装置40摄录。另外，主影像以及从属影像既可以从同一角度摄录，也可以从不同角度摄录。

另外，主影像和从属影像可以是帧率不同的影像，也可以是帧率相同的影像。帧率是每单位时间的帧数。

另外，主影像中同步播放的影像部分和从属影像中同步播放的影像部分可以是摄录时间即摄录长度不同，也可以是摄录时间相同。主影像中同步播放的影像部分是从后述的主开始帧MS至主结束帧ME为止的影像，从属影像中同步播放的影像部分是从后述的从属开始帧SS至从属结束帧SE为止的影像。

在下面的说明中说明以下情况，即，摄录装置40是1个，同一摄录装置40在不同的日期时间对主影像以及从属影像进行摄录。另外，在实施方式中，摄录装置40所摄录的主影像是使监视对象以第1动作进行动作的情况下的影像，摄录装置40所摄录的从属影像是使监视对象以第2动作进行动作的情况下的影像。

在外部装置30向可编程显示器10发送通过传感器检测出的检测值的情况下，如果传感器检测出的检测值超过基准值，则外部装置30检测出开始事件V1或结束事件V2的发生而向可编程显示器10发送。另外，在外部装置30向可编程显示器10发送通过机械臂这样的机器人检测出的动作的信息的情况下，如果机器人进行了特定的动作，则外部装置30检测出开始事件V1或结束事件V2的发生而向可编程显示器10发送。另外，在外部装置30按照梯形图程序这样的程序进行动作的情况下，如果外部装置30执行了与特定的动作对应的程序，则外部装置30检测出开始事件V1或结束事件V2的发生而向可编程显示器10发送。

可编程显示器10具备接收从摄录装置40发送来的影像的摄录装置连接IF 13。从摄录装置40发送来的影像是设定为主影像或从属影像的影像。另外，可编程显示器10具备接收从外部装置30发送来的开始事件V1以及结束事件V2的外部装置连接IF 12。另外，可编程显示器10具备：输入部11，其接收来自操作者的指示；以及数据处理部14，其调整影像的播放速度。另外，可编程显示器10具备：显示部17，其显示影像；显示信息生成部16，其生成使显示部17显示的信息；存储部15，其对从数据处理部14发送来的影像进行存储。

外部装置连接IF 12是用于与外部装置30通信的接口。外部装置连接IF 12与外部装置30连接，接收从外部装置30发送来的开始事件V1以及结束事件V2。外部装置连接IF 12的例子是USB(Universal Serial Bus)连接器或RS(Recommended Standard)-232C连接器。外部装置连接IF 12将接收到的开始事件V1以及结束事件V2向数据处理部14发送。

摄录装置连接IF 13是用于与摄录装置40通信的接口。摄录装置连接IF 13与摄录装置40连接，接收从摄录装置40发送来的影像。摄录装置连接IF 13的例子是USB连接器或以太网(注册商标)。摄录装置连接IF 13将接收到的影像向数据处理部14发送。

输入部11是鼠标、键盘或触摸屏。如果由操作者向鼠标、键盘或触摸屏输入了指示，则输入部11接收该指示而向数据处理部14输入。

输入部11是接收操作者发出的下面的(1)至(7)的指示的接口，将接收到的指示向数据处理部14输入。

(1)指定开始事件V1的种类的指示

(2)指定结束事件V2的种类的指示

(3)开始影像的录像的指示

(4)结束影像的录像的指示

(5)指定同步播放的主影像的指示

(6)指定同步播放的从属影像的指示

(7)开始主影像以及从属影像的同步播放的指示

数据处理部14如果从输入部11接收到指定开始事件V1的种类的指示，则对影像的同步播放的开始定时即开始事件V1进行设定。另外，数据处理部14如果从输入部11接收到指定结束事件V2的种类的指示，则对影像的同步播放的结束定时即结束事件V2进行设定。数据处理部14将设定的开始事件V1以及结束事件V2存储于存储部15。

数据处理部14具备RAM(Random Access Memory)140，RAM 140对从摄录装置40发送来的影像进行临时存储。RAM 140具有环形缓冲区的功能，如果RAM 140内的数据储存区域被影像填满，则数据处理部14从旧影像起按顺序删除，优先储存新的影像。

数据处理部14如果从输入部11接收到开始影像的录像的指示，则开始从摄录装置40发送来的影像的录像，将影像储存于RAM 140。具体而言，数据处理部14通过对影像的影像信号执行AD(Analog-to-Digital：模拟-数字)变换这样的处理，使影像信号电子数据化，由此生成影像数据。而且，数据处理部14将生成的影像数据存储于存储部15。

如果在录像过程中从外部装置30发送来与已设定的开始事件V1相同的开始事件V1，则数据处理部14检测出开始事件V1，将在检测出开始事件V1的定时(timing)取得的帧的帧位置储存于RAM 140。另外，如果在录像过程中从外部装置30发送来与已设定的结束事件V2相同的结束事件V2，则数据处理部14检测出结束事件V2，将在检测出结束事件V2的定时取得的帧的帧位置储存于RAM 140。

帧位置是表示帧是从影像数据的头部起第几个帧的帧编号的信息。在下面的说明中，对可编程显示器10将帧编号作为帧位置的情况进行说明，但可编程显示器10也可以将影像的经过时间用作帧位置来取代帧编号。另外，在下面的说明中，将在检测出开始事件V1的定时取得的帧的帧位置称为开始帧位置。另外，将在检测出结束事件V2的定时取得的帧的帧位置称为结束帧位置。开始帧位置是同步播放的影像部分的起始的帧的位置，结束帧位置是同步播放的影像部分的最后的帧的位置。

数据处理部14将录像结束的RAM 140内的影像部分存储于存储部15。数据处理部14针对RAM 140内的影像部分，将未储存于存储部15的最新的影像部分按顺序存储于存储部15。在这种情况下，数据处理部14将已录像的影像、开始帧位置和结束帧位置关联地存储于存储部15。由数据处理部14存储于存储部15的影像包含开始帧位置的帧和结束帧位置的帧。

数据处理部14如果从输入部11接收到结束影像的录像的指示，则结束将影像储存于RAM 140的处理。而且，数据处理部14如果使RAM 140内的全部的最新影像部分存储于存储部15，则结束将影像储存于存储部15的处理。由此，存储部15对从开始录像至结束为止的一系列影像进行存储。

数据处理部14如果从输入部11接收到指定从属影像的指示，则从存储部15读取指定的从属影像。数据处理部14将读取的影像的帧中的开始帧位置的帧设定为从属开始帧SS。从属开始帧SS是从属影像中的发生了开始事件V1的第1定时的帧，是开始同步播放的帧。换言之，从属开始帧SS是进行同步播放的从属影像的第一个帧。

另外，数据处理部14将读取的影像的帧中的结束帧位置的帧设定为从属结束帧SE。从属结束帧SE是从属影像中的发生了结束事件V2的第2定时的帧，是结束同步播放的帧。换言之，从属结束帧SE是进行同步播放的从属影像的最后的帧。从从属开始帧SS至从属结束帧SE为止由监视对象执行的处理是1个节拍的处理。1个节拍的处理是PLC执行的1个定序处理的范围内包含的处理。1个节拍的处理的一个例子是从通过传感器检测出开始事件V1至通过传感器检测出结束事件V2为止的处理。

数据处理部14如果从输入部11接收到指定主影像的指示，则从存储部15读取指定的主影像。数据处理部14将读取的影像的帧中的开始帧位置的帧设定为主开始帧MS。主开始帧MS是主影像中的发生了开始事件V1的第3定时的帧，是开始同步播放的帧。换言之，主开始帧MS是进行同步播放的主影像的第1个帧。

另外，数据处理部14将读取的影像的帧中的结束帧位置的帧设定为主结束帧ME。主结束帧ME是主影像中的发生了结束事件V2的第4定时的帧，是结束同步播放的帧。换言之，主结束帧ME是进行同步播放的主影像的最后的帧。

此外，数据处理部14如果从输入部11接收到指定多个从属影像的指示，则对指定的多个从属影像分别设定从属开始帧SS以及从属结束帧SE。

数据处理部14如果从输入部11接收到使主影像以及从属影像的同步播放开始的指示，则调整从属影像的播放速度的设定，以在从开始事件V1至结束事件V2为止的期间，从属影像和主影像同步播放。此时，数据处理部14对从从属开始帧SS至从属结束帧SE为止的播放速度的设定进行调整，以使得从从属开始帧SS至从属结束帧SE为止的播放时间与从主开始帧MS至主结束帧ME为止的播放时间相同。在这种情况下，数据处理部14对从属影像的播放速度的设定进行调整，以使得从属影像以固定帧率播放。数据处理部14将主影像和调整了播放速度的设定后的从属影像向显示信息生成部16发送。

此外，数据处理部14也可以是如果从输入部11接收到对同步播放的主影像以及从属影像进行指定的指示，则判断为存在使主影像以及从属影像的同步播放开始的指示。在这种情况下，数据处理部14无需接收使同步播放开始的指示，即可调整从属影像的播放速度。

存储部15是非易失性的存储装置。存储部15的例子是闪存这样的非易失性存储器、HDD(Hard Disk Drive)这样的驱动器。存储部15对摄录了监视对象摄录的影像即主影像以及从属影像进行存储。另外，存储部15对开始事件V1和结束事件V2进行存储，该开始事件V1是使主影像的一部分和从属影像的一部分的同步播放开始的事件，该结束事件V2是使同步播放结束的事件。

显示信息生成部16基于从数据处理部14发送来的主影像和调整了播放速度的设定后的从属影像，生成用于由显示部17显示影像的画面数据。显示信息生成部16生成的影像的例子是使主影像和调整了播放速度的从属影像同时显示的影像。在这种情况下，显示信息生成部16生成如下影像，即，在影像显示画面中的第1区域显示主影像，在第2区域显示调整了播放速度的从属影像。显示信息生成部16将生成的影像向显示部17发送。

显示部17是对数据、图像以及影像这样的各种信息进行显示的功能部。通过显示信息生成部16生成的画面数据的一个例子是影像数据。实施方式的显示部17对主影像和调整了播放速度的从属影像进行同步播放。显示部17能够应用液晶面板或有机电致发光(EL：Electro Luminescence)面板。此外，可编程显示器10也可以具有一体形成了输入部11和显示部17的触摸面板。

接着，对可编程显示器10的动作进行说明。图2是表示实施方式涉及的事件设定处理的处理流程的流程图。这里，说明在可编程显示器10调整对监视对象进行录像而得到的影像的播放定时时使用的开始事件V1以及结束事件V2的设定流程。此外，可编程显示器10设定的事件的数量可以是任意个，但在这里，说明可编程显示器10对2个事件进行设定的情况下的处理流程。

在开始进行事件设定后，如果由操作者输入了指定了开始事件V1的指定信息，则可编程显示器10的输入部11接收该指定信息，向数据处理部14发送。由此，在步骤S11中，数据处理部14设定开始事件V1，将设定的开始事件V1存储于存储部15。

另外，如果由操作者输入了指定了结束事件V2的指定信息，则输入部11接收该指定信息，向数据处理部14发送。由此，在步骤S12中，数据处理部14设定结束事件V2，将设定的结束事件V2存储于存储部15。

输入部11先接收指定了开始事件V1的信息和指定了结束事件V2的信息的哪一者均可。另外，数据处理部14先设定开始事件V1和结束事件V2的哪一者均可，将哪个事件先存储于存储部15均可。

图3是表示实施方式涉及的录像处理的处理流程的流程图。此外，由于主影像和从属影像的录像处理流程相同，所以这里说明从属影像的录像处理流程。

摄录装置40如果开始了监视对象的摄录，则将摄录得到的从属影像向可编程显示器10的摄录装置连接IF 13发送。然后，摄录装置连接IF 13将从属影像向数据处理部14发送。此时，数据处理部14读取存储部15存储的开始事件V1。换言之，数据处理部14从存储部15读取设定的开始事件V1。

数据处理部14通过将从摄录装置40发送来的影像储存于RAM 140而对影像进行录像。另外，外部装置30如果检测出开始事件V1，则将开始事件V1向可编程显示器10发送。在开始事件V1是设备值的转变的情况下，外部装置30在被设定为开始事件V1的设备值转变时，检测出开始事件V1，向可编程显示器10发送。

如果在录像过程中从外部装置30发送来与已设定的开始事件V1相同的开始事件V1，则数据处理部14检测出开始事件V1。然后，在步骤S21中，数据处理部14在由摄录装置40摄录而储存于RAM 140的影像中，确定检测出开始事件V1时的开始帧位置，将确定出的开始帧位置储存于RAM 140。这样，数据处理部14将在检测出开始事件V1的定时取得的帧的开始帧位置储存于RAM 140。然后，数据处理部14将检测出开始事件V1时的开始帧位置与影像关联地存储于存储部15。

另外，在结束事件V2是设备值的转变的情况下，外部装置30在被设定为结束事件V2的设备值转变时，检测出结束事件V2，向可编程显示器10发送。

如果在录像过程中从外部装置30发送来与已设定的结束事件V2相同的结束事件V2，则数据处理部14检测出结束事件V2。然后，在步骤S22中，数据处理部14在由摄录装置40摄录而储存于RAM 140的影像中，确定检测出结束事件V2时的结束帧位置，将确定出的结束帧位置储存于RAM 140。这样，数据处理部14将在检测出结束事件V2的定时取得的帧的结束帧位置储存于RAM 140。然后，数据处理部14将检测出结束事件V2时的结束帧位置与影像关联地存储于存储部15。由此，数据处理部14将开始帧位置、结束帧位置和储存于RAM 140的影像关联地存储于存储部15。

这里，说明在存储部15存储的影像的影像数据的结构。图4是表示实施方式涉及的录像时的影像数据的结构的图。在图4中表示出通过图3的流程而存储于存储部15的影像数据的概念。此外，这里，说明可编程显示器10将1个主影像101M和1个从属影像101S存储于存储部15的情况，但可编程显示器10也可以将大于或等于2个从属影像101S存储于存储部15。另外，从属影像101S以及主影像101M中的几个不限于存储部15内的录像影像，也可以是对现实的生产线的工序进行摄录而得到的实时影像。实时影像是储存于存储部15之前的影像。

存储部15存储有开始帧位置52、结束帧位置53和影像数据被关联起来的状态下的主影像101M。另外，存储部15存储有开始帧位置62、结束帧位置63和影像数据被关联起来的状态下的从属影像101S。

主影像101M包含影像内的起始的帧即起始帧F0、影像内的最后的帧即最终帧F1和其他帧。起始帧F0是主影像101M的录像开始的定时即录像开始定时51时的帧。另外，最终帧F1是主影像101M的录像结束的定时即录像结束定时54时的帧。

主影像101M内的其他帧包含开始帧位置52的帧即主开始帧MS和结束帧位置53的帧即主结束帧ME。主开始帧MS是同步播放的起始的帧，主结束帧ME是同步播放的最后的帧。

另外，从属影像101S包含影像内的起始的帧即起始帧F10、影像内的最后的帧即最终帧F11和其他帧。起始帧F10是从属影像的录像开始的定时即录像开始定时61时的帧。另外，最终帧F11是从属影像的录像结束的定时即录像结束定时64时的帧。

从属影像101S内的其他帧包含开始帧位置62的帧即从属开始帧SS、结束帧位置63的帧即从属结束帧SE。从属开始帧SS是同步播放的起始的帧，从属结束帧SE是同步播放的最后的帧。

从属影像101S内的帧中的发生了开始事件V1的第1定时的帧是从属开始帧SS，从属影像101S内的帧中的发生了结束事件V2的第2定时的帧是从属结束帧SE。

另外，主影像101M内的帧中的发生了开始事件V1的第3定时的帧是主开始帧MS，主影像101M内的帧中的发生了结束事件V2的第4定时的帧是主结束帧ME。

此外，数据处理部14也可以在将主影像101M存储于存储部15时，将表示是开始帧位置52的信息赋予主开始帧MS。另外，数据处理部14也可以在将主影像101M存储于存储部15时，将表示是结束帧位置53的信息赋予主结束帧ME。另外，数据处理部14也可以在将从属影像101S存储于存储部15时，将表示是开始帧位置62的信息赋予从属开始帧SS。另外，数据处理部14也可以在将从属影像101S存储于存储部15时，将表示是结束帧位置63的信息赋予从属结束帧SE。

如图4所示，从属开始帧SS是在比主开始帧MS迟的定时取得的，从属结束帧SE是在比主结束帧ME早的定时取得的。这是由于，与摄录主影像101M时相比，在摄录从属影像101S时，监视对象执行更快的动作。换言之，监视对象执行越快的动作，开始事件V1和结束事件V2之间的时间越短。

这样，在从属影像101S和主影像101M中，通过开始事件V1以及结束事件V2规定的录像时间不同，因此，如果就这样对从属影像101S和主影像101M同时进行播放，则是以监视对象具有不同的动作速度的状态播放的。在从属影像101S和主影像101M中监视对象以不同的动作速度播放的情况下，实施方式的可编程显示器10对从属影像101S的播放速度进行调整，由此，对从属影像101S和主影像101M进行同步播放。换言之，可编程显示器10对从属影像101S的播放速度进行调整，以使得主影像101M中的监视对象的动作速度和从属影像101S中的监视对象的动作速度变成相同的动作速度。

图5是表示实施方式涉及的影像播放处理的处理流程的流程图。如果由操作者输入了指定了主影像101M的指定信息，则可编程显示器10的输入部11接收该指定信息，向数据处理部14发送。由此，在步骤S31中，数据处理部14从存储部15内选择、读取所指定的主影像101M。该主影像101M是成为同步播放处理的基准的影像。

然后，在步骤S32中，数据处理部14在主影像101M所包含的帧中设定检测出开始事件V1时确定出的主开始帧MS和检测出结束事件V2时确定出的主结束帧ME。此时，数据处理部14基于存储部15内的开始帧位置52设定主开始帧MS，基于存储部15内的结束帧位置53设定主结束帧ME。

另外，如果由操作者输入了指定了从属影像101S的指定信息，则可编程显示器10输入部11接收该指定信息，向数据处理部14发送。由此，在步骤S33中，数据处理部14从存储部15内选择、读取所指定的从属影像101S。该从属影像101S是被调整播放速度的影像。

然后，在步骤S34中，数据处理部14在从属影像101S所包含的帧中设定检测出开始事件V1时确定出的从属开始帧SS和检测出结束事件V2时确定出的从属结束帧SE。此时，数据处理部14基于存储部15内的开始帧位置62设定从属开始帧SS，基于存储部15内的结束帧位置63设定从属结束帧SE。

这样，可编程显示器10在步骤S31之后执行步骤S32的处理，在步骤S33之后执行步骤S34的处理。此外，可编程显示器10也可以在步骤S31以及步骤S32的处理之前先执行步骤S33以及步骤S34的处理。

在步骤S31至S34之后，数据处理部14从存储部15读取从属影像101S以及主影像101M。然后，在步骤S35中，数据处理部14对从属影像101S的播放速度的设定进行调整，以使得至从属开始帧SS为止的播放时间和至主开始帧MS为止的播放时间相同。

具体而言，数据处理部14对从从属影像101S的播放开始至从属开始帧SS为止的帧的播放速度进行调整，以使得从从属影像101S的播放开始至从属开始帧SS为止的播放时间和从主影像101M的播放开始至主开始帧MS为止的播放时间相同。从属影像101S的播放开始的帧是起始帧F10，主影像101M的播放开始的帧是起始帧F0。因此，数据处理部14对从属影像101S的播放速度的设定进行调整，以使得从起始帧F10至从属开始帧SS为止的播放时间和从起始帧F0至主开始帧MS为止的播放时间相同。

然后，在步骤S36中，数据处理部14对从属影像101S的播放速度的设定进行调整，以使得至从属结束帧SE为止的播放时间和至主结束帧ME为止的播放时间相同。

具体而言，数据处理部14对从从属影像101S的从属开始帧SS至从属结束帧SE为止的帧的播放速度的设定进行调整，以使得从从属影像101S的从属开始帧SS至从属结束帧SE为止的播放时间和从主影像101M的主开始帧MS至主结束帧ME为止的播放时间相同。

然后，在步骤S37中，数据处理部14对从属影像101S的播放速度的设定进行调整，以使得至从属影像101S的播放结束为止的播放时间和至主影像101M的播放结束为止的播放时间相同。

具体而言，数据处理部14对从从属影像101S的从属结束帧SE至播放结束为止的帧的播放速度的设定进行调整，以使得从从属影像101S的从属结束帧SE至播放结束为止的播放时间与从主影像101M的主结束帧ME至播放结束为止的播放时间相同。从属影像101S的播放结束的帧是最终帧F11，主影像101M的播放结束的帧是最终帧F1。因此，数据处理部14对从属影像101S的播放速度的设定进行调整，以使得从从属结束帧SE至最终帧F11为止的播放时间和从主结束帧ME至最终帧F1为止的播放时间相同。

数据处理部14将主影像101M和对从属影像101S的播放速度的设定进行了调整后的影像即后述的从属影像102S经由显示信息生成部16向显示部17发送。由此，显示部17对主影像101M和从属影像102S并列地进行同步播放。这样，可编程显示器10使主影像101M和从属影像102S以每个节拍为单位同步播放。

图6是表示实施方式涉及的同步播放时的影像数据的结构的图。在图6中，表示出可编程显示器10使用图4中说明的影像数据执行同步播放的情况下的影像数据的概念。

数据处理部14从存储部15读取主影像101M。另外，数据处理部14读取从属影像101S，通过图5中说明的处理，对从属影像101S的播放速度进行调整，由此生成从属影像102S。

数据处理部14对从从属开始帧SS至从属结束帧SE为止的播放速度的设定进行调整，以使得从属开始帧SS和主开始帧MS同时显示，并且从属结束帧SE和主结束帧ME同时显示。该调整后的从属影像是从属影像102S。

具体而言，数据处理部14将主影像101M的起始帧F0以及从属影像102S的起始帧F10设定为在定时71同时显示的帧。定时71是开始主影像101M以及从属影像102S的同步播放的定时。

另外，数据处理部14将主开始帧MS以及从属开始帧SS设定为在定时72同时显示的帧。定时72的主开始帧MS以及从属开始帧SS是发生了开始事件V1的定时的帧。

另外，数据处理部14将主结束帧ME以及从属结束帧SE设定为在定时73同时显示的帧。定时73的主结束帧ME以及从属结束帧SE是发生了结束事件V2的定时的帧。

另外，数据处理部14将主影像101M的最终帧F1以及从属影像102S的最终帧F11设定为在定时74同时显示的帧。定时74是结束主影像101M以及从属影像102S的同步播放的定时。

而且，显示部17在定时71至定时72，以恒定的第1帧率播放主影像101M，以恒定的第2帧率播放从属影像102S。具体而言，显示部17以恒定的第1帧率对起始帧F0至主开始帧MS进行播放，同时以恒定的第2帧率对起始帧F10至从属开始帧SS进行播放。

另外，显示部17在定时72至定时73，以恒定的第3帧率播放主影像101M，以恒定的第4帧率播放从属影像102S。具体而言，显示部17以恒定的第3帧率对主开始帧MS至主结束帧ME进行播放，同时以恒定的第4帧率对从属开始帧SS至从属结束帧SE进行播放。

另外，显示部17在定时73至定时74，以恒定的第5帧率播放主影像101M，以恒定的第6帧率播放从属影像102S。具体而言，显示部17以恒定的第5帧率对主结束帧ME至最终帧F1进行播放，同时以恒定的第6帧率对从属结束帧SE至最终帧F11进行播放。

这里，说明数据处理部14的硬件结构。图7是表示实施方式涉及的数据处理部的硬件结构例的图。数据处理部14能够通过图7所示的控制电路300、即处理器301以及存储器302实现。处理器301的例子是CPU(Central Processing Unit，也称为中央处理装置、处理装置、运算装置、微处理器、微型计算机、处理器、DSP)或系统LSI(Large ScaleIntegration)。存储器302的例子是RAM、ROM(Read Only Memory)或闪存。

数据处理部14是通过处理器301读取、执行在存储器302中存储的用于执行数据处理部14的动作的程序来实现的。另外，该程序也可以说是使计算机执行数据处理部14的流程或方法。存储器302也用作处理器301执行各种处理时的临时存储器。

这样，处理器301执行的程序是计算机程序产品，该计算机程序产品包含能够由计算机执行的用于进行数据处理的多个命令并且具有计算机可读取且非暂时性的(non-transitory)记录介质。处理器301执行的程序使计算机执行多个命令进行数据处理。

另外，也可以通过专用的硬件实现数据处理部14。另外，关于数据处理部14的功能，也可以是通过专用的硬件实现一部分，通过软件或固件实现一部分。

这样，实施方式的可编程显示器10将从开始事件V1至结束事件V2为止的从属影像101S与从开始事件V1至结束事件V2为止的主影像101M一起播放。由此，即使在多个影像中监视对象以不同的速度进行动作的情况下，可编程显示器10也能够在播放时针对每个工序使监视对象的动作速度同步而并列地进行比较。

另外，在主影像101M是监视对象的正常动作时的影像、从属影像101S是监视对象的异常动作时的影像的情况下，可编程显示器10能够对正常动作时的影像和异常动作时的影像进行同步播放。另外，可编程显示器10也可以将使监视对象以与通常动作时不同的速度动作的情况下的影像设定为从属影像101S。在这种情况下，可编程显示器10也能够对主影像101M和从属影像101S进行同步播放。因此，即使在工序中发生了不规率的状况的情况下，可编程显示器10也能够使操作者容易地对差异的检测或状况的掌握进行确认。

另外，在实施方式中，可编程显示器10基于开始事件V1以及结束事件V2对从属影像101S的播放速度进行调整。因此，可编程显示器10即使在主影像101M和从属影像101S的录像时的帧率不同的情况下，也能够进行同步播放。另外，可编程显示器10即使在多个从属影像101S的帧率不同的情况下，也能够进行多个从属影像101S的同步播放。另外，可编程显示器10即使在主影像101M和从属影像101S的摄录时间不同的情况下，也能够进行同步播放。

另外，在实施方式中，可编程显示器10能够将通过多个摄录装置40摄录的从属影像101S与主影像101M同步播放。换言之，可编程显示器10能够同步播放主影像101M和从不同的角度对监视对象即被摄体进行了拍摄的情况下的从属影像101S。因此，可编程显示器10在对针对每个从属影像101S分配的信道进行了切换的情况下，也能够保证从属影像101S以及主影像101M的相关性。另外，可编程显示器10能够从各种角度对监视对象即生产线的工序进行比较，因此，能够容易地检测仅依靠一个方向的一个影像难以察觉的差异。

另外，在实施方式中，可编程显示器10能够以开始事件V1以及结束事件V2为基准，对多个影像进行管理，因此，能够抑制对成为进行同步播放的基准数据的基准帧进行提取时的计算量以及计算时间。成为进行同步播放的基准数据的基准帧是主开始帧MS、主结束帧ME、从属开始帧SS以及从属结束帧SE。

另外，在实施方式中，可编程显示器10能够以开始事件V1以及结束事件V2为基准，对多个影像进行管理，因此，即使在取得了大量的影像数据的情况下，也能够容易地执行同步播放。

另外，在实施方式中，可编程显示器10无需使用时间戳即可执行同步播放，因此，不需要以同一时间轴来管理主影像101M以及从属影像101S。因此，即使在由于摄录装置40的故障而在主影像101M或从属影像101S的帧率产生了偏差的情况下，可编程显示器10也能够执行同步播放。即，可编程显示器10能够执行以不同的时间轴取得的主影像101M以及从属影像101S的同步播放。

此外，在实施方式中说明了可编程显示器10基于开始事件V1以及结束事件V2这两个事件，对影像进行同步播放的情况，但可编程显示器10也可以基于大于或等于3个事件对影像进行同步播放。可编程显示器10在基于大于或等于3个事件对影像进行同步播放的情况下，基于第1个第1事件和第2个第2事件对影像的前段部进行同步播放，基于第2个第2事件和第3个第3事件对影像的后段部进行同步播放。

另外，在从属影像101S是实时影像的情况下，可编程显示器10基于从第1事件至第2事件为止的从属影像101S以及主影像101M的显示方式，对从第2事件至第3事件为止的从属影像101S的播放速度进行调整。在这种情况下，数据处理部14计算用于从第1事件至第2事件为止对从属影像101S以及主影像101M进行同步播放的从属影像101S的播放方法，将计算结果即播放方法应用于从属影像101S的从第2事件至第3事件为止的播放。即，可编程显示器10在从第1事件至第2事件为止的期间，对主影像101M以及从属影像101S的播放速度、帧率以及播放时间的信息进行收集，基于收集结果，对从第3事件至第4事件为止的从属影像101S的播放速度进行调整。

另外，在从属影像101S或主影像101M是实时影像的情况下，可编程显示器10也可以基于主影像101M以及从属影像101S的帧率以及录像时间，对从属影像101S的播放速度进行调整。在这种情况下，可编程显示器10预先取得主影像101M以及从属影像101S的帧率以及录像时间。然后，可编程显示器10基于取得的帧率以及录像时间，对同步播放时的播放速度进行计算，基于计算结果，对从开始事件V1至结束事件V2为止的从属影像101S的播放速度进行调整。此外，也可以是主影像101M是实时影像，也可以主影像101M以及从属影像101S是实时影像。

另外，可编程显示器10也可以从除了摄录装置40以外的其他装置取得主影像101M以及从属影像101S中的一者。另外，可编程显示器10也可以基于开始事件V1以及结束事件V2这两个事件，对多个声音进行同步播放。在这种情况下，可编程显示器10对同步播放的声音中成为基准的声音的主声音和同步播放的影像中被调整播放速度的声音即从属声音进行同步播放。在这种情况下，可编程显示器10对从属声音的播放速度进行调整，以使得主声音中的监视对象的动作速度和从属声音中的监视对象的动作速度成为相同的动作速度。取代帧，可编程显示器10基于声音的波形这样的声音具有的信息，对主声音以及从属声音进行同步播放。

另外，可编程显示器10也可以对除了影像以及声音以外的测定数据进行同步播放。这种情况下，同样地，取代帧，可编程显示器10基于测定数据的波形这样的测定数据具有的信息，对主测定数据以及从属测定数据进行同步播放。

另外，在实施方式中说明了可编程显示器10执行步骤S31至S37的处理的情况，但可编程显示器10也可以省略步骤S35或步骤S37的处理。

这样，根据实施方式，基于开始事件V1以及结束事件V2对从属影像101S的播放速度进行调整，以使得主影像101M和从属影像101S同步播放，因此，能够对以各种条件取得了视频帧的多个影像进行同步播放。

上面的实施方式所示的结构表示的是本发明的内容的一个例子，也能够与其他的公知技术进行组合，还能够在不脱离本发明的主旨的范围对结构的一部分进行省略、变更。

标号的说明

10可编程显示器，11输入部，12外部装置连接IF，13摄录装置连接IF，14数据处理部，15存储部，16显示信息生成部，17显示部，30外部装置，40摄录装置，51、61录像开始定时，52、62开始帧位置，53、63结束帧位置，54、64录像结束定时，101M主影像，101S、102S从属影像，F0、F10起始帧，F1、F11最终帧，ME主结束帧，MS主开始帧，SE从属结束帧，SS从属开始帧。

Claims (13)

1.一种显示器，其特征在于，具备：

存储部，其对主影像、从属影像、开始事件和结束事件进行存储，该主影像为同步播放的多个影像中的基准影像，该从属影像是所述多个影像中被调整播放速度的影像，该开始事件是使所述主影像的一部分和所述从属影像的一部分的同步播放开始的事件，该结束事件是使所述同步播放结束的事件；

数据处理部，其对从所述开始事件至所述结束事件为止的期间的所述从属影像的播放速度的设定进行调整，以使得所述从属影像的一部分即从所述开始事件至所述结束事件为止的期间的所述从属影像内的影像和所述主影像的一部分即从所述开始事件至所述结束事件为止的期间的所述主影像内的影像同步播放；以及

显示部，其在从所述开始事件至所述结束事件为止的期间，对所述主影像以及调整后的所述从属影像进行同步播放。

2.根据权利要求1所述的显示器，其特征在于，

所述数据处理部对播放速度的设定进行调整，以使得从从属开始帧至从属结束帧为止的播放时间和从主开始帧至主结束帧为止的播放时间相同，该从属开始帧是所述从属影像内的视频帧中发生了所述开始事件的第1定时的视频帧，该从属结束帧是所述从属影像内的视频帧中发生了所述结束事件的第2定时的视频帧，该主开始帧是所述主影像内的帧中发生了所述开始事件的第3定时的视频帧，该主结束帧是所述主影像内的视频帧中发生了所述结束事件的第4定时的视频帧。

3.根据权利要求2所述的显示器，其特征在于，

所述数据处理部针对制造工序的每1个节拍对从所述从属开始帧至所述从属结束帧为止的播放速度的设定进行调整。

4.根据权利要求3所述的显示器，其特征在于，

所述1个节拍的处理是在可编程逻辑控制器执行的1个定序处理的范围内包含的处理。

5.根据权利要求3所述的显示器，其特征在于，

所述1个节拍是从通过传感器检测出所述开始事件至通过所述传感器检测出所述结束事件为止的工序。

6.根据权利要求2所述的显示器，其特征在于，

所述数据处理部基于从外部装置发送来的信息检测所述第1定时至第4定时，

所述数据处理部基于所述第1定时设定所述从属开始帧，基于所述第2定时设定所述从属结束帧，基于所述第3定时设定所述主开始帧，基于所述第4定时设定所述主结束帧。

7.根据权利要求1至6中任一项所述的显示器，其特征在于，

所述主影像和所述从属影像是帧率或录像时间不同的影像。

8.根据权利要求1至7中任一项所述的显示器，其特征在于，

所述从属影像是与所述主影像同时摄录的影像。

9.根据权利要求1至7中任一项所述的显示器，其特征在于，

所述从属影像是在与所述主影像不同的时期摄录的影像。

10.根据权利要求1至9中任一项所述的显示器，其特征在于，

所述从属影像是以与所述主影像不同的角度摄录的影像。

11.根据权利要求1至10中任一项所述的显示器，其特征在于，

所述主影像或所述从属影像是实时的影像。

12.根据权利要求1至10中任一项所述的显示器，其特征在于，

所述显示部对所述主影像和所述从属影像一边进行切换一边进行显示。

13.一种显示方法，其特征在于，包含：

取得步骤，取得主影像和从属影像，该主影像为同步播放的多个影像中的基准影像，该从属影像是所述多个影像中被调整播放速度的影像；

设定步骤，设定使所述主影像的一部分和所述从属影像的一部分的同步播放开始的事件即开始事件和使所述同步播放结束的事件即结束事件；

调整步骤，对从所述开始事件至所述结束事件为止的期间的所述从属影像的播放速度的设定进行调整，以使得从所述开始事件至所述结束事件为止的期间的所述从属影像内的影像和从所述开始事件至所述结束事件为止的期间的所述主影像内的影像同步播放；以及

播放步骤，在从所述开始事件至所述结束事件为止的期间，对所述主影像以及调整后的所述从属影像进行同步播放。