CN101107848A - 场面区间分割装置 - Google Patents

Abstract

提供一种场面区间分割装置，它能够从运动图像正确地确定中断区间和比赛中区间，能够将在比赛中区间的一连串的攻击以每个场面区间正确地管理。提供一种场面区间分割装置(102)，它包括：球轨迹信息存储部分(117)，其管理对球的每个轨迹变化确定了主体者的球轨迹信息；球停止一定时间点提取部分(121)，使用球轨迹信息，提取球的移动停止了一定时间的时刻；球最近点提取部分(122)，使用球轨迹信息，提取最接近停止点的时刻；中断区间确定部分(123)，通过球轨迹信息存储部分(117)取得球轨迹信息，并根据球停止一定时间点提取部分(121)和球最近点提取部分(122)所提取的各时刻，确定中断区间；场面区间分割部分(125)，根据所确定的中断区间，提取比赛中区间的球轨迹信息，并分割为每个场面区间。

Description

场面区间分割装置

技术领域

本发明涉及与运动图像一同提示图像的结构信息的技术。

背景技术

以往，已知例如可以将足球比赛的运动图像分割为比赛中区间和中断区间，对比赛中区间的图像进行摘要(digest)视听的技术(参照专利文献1)。在专利文献1中，从运动图像求出背景色的比率，推断出拍摄方式使得其比率大的图像为广角(wide)，小的图像为放大(zoom)，而且，根据前后的图像求出平均运动量。此外，拍摄方式为广角中心且平均运动量较多的地方判定为比赛中区间，除此之外的地方判定为中断区间。由此，可摘要视听比赛中区间的图像。此外，已知识别在运动图像中拍摄的球，并根据球的移动来确定比赛的内容的技术(参照非专利文献1)。在非专利文献1中，识别在运动图像中拍摄的球，根据球的移动提取变化点，将在该时刻最接近球的选手确定为进行了该动作的主体者，并根据球和主体者的位置关系或者在其之后的球的移动方向等来确定主体者进行的比赛内容，例如带球、防守、传球、射门、解围(clear)等。此外，在非专利文献1中，也对场地信息进行管理，可通过球位置和场地信息，判定球是否在场地内，并分割为比赛中区间和中断区间。因此，可摘要视听比赛中区间的图像。

专利文献1：特开2004-40750号公报

非专利文献1：サツカ一における選手のプレ一判定  慶應羲塾大学  理工学部情報工学科  長瀬  也  小沢  慎

发明内容

本发明要解决的课题

但是，在上述专利文献1中，在拍摄方式中频繁使用放大的情况下，即使实际上是在比赛中区间，但有可能误判定为中断区间。此外，在频繁使用剪切(cut)的图像的情况下，前后的图像的变化较大，被判定为平均运动量较多，即使实际上是在中断区间，但有可能误判定为比赛中区间。这样，在上述专利文献1中，即使是利用摄像机的拍摄方式或由前后的图像所求出的平均运动量，也误判定比赛中区间和中断区间，不能正确地进行摘要视听。

另一方面，在上述非专利文献1中具有以下问题，球的位置在场地外时，可根据球位置和场地信息，正确地确定中断区间，但是球的位置在场地内时，由于犯规等导致发生了中断区间的情况下，不能正确地确定中断区间。即，即使在中断区间，犯规之后选手所进行的带球或穿过等也被判断为比赛中区间。

而且，在例如足球比赛的运动图像，可将利用者最想视听的场面进行摘要视听，因此要求将比赛中区间分割为场面区间进行管理。为此，首先进行将运动图像分割为进行比赛的比赛中区间、和比赛被中断的中断区间的处理，之后，通过对于比赛中区间的图像在攻守的转换或攻击的中断的时刻进行分割，从而可将一连串的攻击作为一个场面区间来分割并管理。

但是，在上述专利文献1和非专利文献1中存在以下问题，即使在比赛中区间存在攻守的转换或攻击的中断，也不能正确地识别它们，因此不能将一连串的攻击作为一个场面区间来分割，不能将比赛中区间分割为每个场面区间。假设在非专利文献1中，在存在攻守的转换或攻击的中断的情况下，即使作为场面区间来确定并分割，这些也仅是在主体者的所属团队在球轨迹变化点上存在变更的地方上分割的区间。因此，在混战状态下，选手之间互相争夺的情况下，在一连串的攻击中主体者所属的团队频繁地切换，在每次存在该变更时，被作为场面区间分割，一连串的攻击场面由多个场面区间来构成，被分割为碎块。

本发明的目的在于，提供一种场面区间分割装置，即使在运动图像的拍摄方式中频繁使用放大或剪切等的情况下或者球在场地内时发生犯规的情况下，也能正确地确定中断区间，而且，在比赛中区间中存在混战状态下，不会在每次主体者切换时分割场面区间，可将一连串的攻击作为一个场面区间来正确地管理，另一方面，可在通过解围而结束了一连串的攻击的情况下，分割并管理场面区间。

为解决本发明的方法

本发明的场面区间分割装置，其特征在于，它包括：球轨迹信息存储部分，其管理球轨迹信息，该球轨迹信息对运动图像中拍摄的球的每个轨迹变化确定了主体者；球停止一定时间点提取部分，使用所述球轨迹信息，提取球的移动停止了一定时间的时刻；球最近点提取部分，使用所述球轨迹信息，提取最接近所述停止了一定时间的球位置的时刻：中断区间确定部分，通过所述球轨迹信息存储部分取得球轨迹信息，根据所述球停止一定时间点提取部分和所述球最近点提取部分所提取的各时刻，确定中断区间；以及场面区间分割部分，根据所述确定的中断区间，提取比赛中区间的球轨迹信息，并分割为每个场面区间。

发明效果

如上，根据本发明的场面区间分割装置，即使在运动图像的拍摄方式中频繁使用放大或剪切等的情况下或者球在场地内时发生犯规的情况下，也能正确地确定中断区间，而且，在比赛中区间中存在混战状态下，不会在每次主体者切换时分割场面区间，可将一连串的攻击作为一个场面区间来正确地管理，另一方面，可在通过解围而结束了一连串的攻击的情况下，分割并管理场面区间。

附图说明

图1是表示具有本发明的一个实施方式的场面区间分割装置的运动图像发送装置的内部结构方框图。

图2是表示取得球轨迹信息的处理步骤的流程图。

图3是表示分割场面区间的处理步骤的流程图。

图4是表示使用球轨迹信息的球位置来确定中断区间的处理步骤的流程图。

图5是表示根据球位置确定中断区间时使用的信息的图。

图6是表示使用裁判信号信息的发生时刻来确定中断区间的处理步骤的流程图。

图7是表示根据裁判信号的发生时刻来确定中断区间时使用的信息的图。

图8是表示使用球轨迹信息的球移动向量来确定中断区间的处理步骤的流程图。

图9是表示根据球移动向量来确定中断区间时使用的信息的图。

图10是表示在分割比赛中区间中的场面区间的处理步骤的流程图。

图11是表示在分割场面区间时的球轨迹信息的图(解围场面)

图12是表示不分割场面区间时的球轨迹信息的图(混战状态)

图13是表示球轨迹信息的数据结构的图。

图14是表示对球轨迹信息存储部分存储数据的例子的图。

图15是表示团队信息的数据结构的图。

图16是表示对团队信息存储部分存储数据的例子的图。

图17是表示场地信息的数据结构的图。

图18是表示对场地信息存储部分存储数据的例子的图。

图19是表示裁判信号信息的数据结构的图。

图20是表示对裁判信号信息存储部分存储数据的例子的图。

图21是表示中断区间的数据结构的图。

图22是表示对中断区间存储部分存储数据的例子的图。

图23是表示场面区间的数据结构的图。

图24是表示对场面区间存储部分存储数据的例子的图。

图25是表示其它方式的运动图像发送系统的图。

图26是表示其它方式的运动图像发送系统的图。

标号说明

102场面区间分割装置

117球轨迹信息存储部分

121球停止一定时间点提取部分

122球最近点提取部分

123中断区间确定部分

125场面区间分割部分

具体实施方式

接着，说明为了实施本发明的最佳的方式。另外，本发明不限定于以下的实施方式，在不脱离本发明的意旨的范围内，可适当地进行变形、实施。

第一实施方式

以下，说明本发明的第一实施方式。本实施方式中，说明在运动图像发送端的装置中具有场面区间分割装置，场面区间分割装置根据对在被拍摄的运动图像中拍摄的球的轨迹信息确定了中断区间之后，根据中断区间来提取比赛中区间，而且，将比赛中区间分割为多个场面区间来管理，并将这些发送到运动图像接收端的终端的方式。

如图1所示，运动图像发送装置100大体由球轨迹信息取得部分101和场面区间分割部分102构成。球轨迹信息取得部分101是这样的模块，它使用存储了由摄像机拍摄的多个运动图像的运动图像存储部分10、和管理拍摄时的摄像机的移动或拍摄角度的变化等的信息的摄像机参数存储部分20，取得球的轨迹信息。此外，场面区间分割部分102是这样的模块，它根据由球轨迹信息取得部分101取得的球轨迹信息，确定运动图像的中断区间，并根据这个来提取比赛中区间，进而将比赛中区间分割为多个场面区间来管理。

球轨迹信息取得部分101包括：球识别部分111，从运动图像存储部分10识别拍摄到图像中的球；球移动向量提取部分112，提取所识别的球的移动；球移动向量校正部分113，使用由摄像机参数存储部分20管理的摄像机参数，对由于摄像机的移动或拍摄角度的变化等而产生的在运动图像中拍摄的球的移动的误差进行校正；球移动向量变化点提取部分114，从被校正的球的移动，提取变化点；团队信息存储部分115，为了确定团队，将制服(uniform)的颜色等的信息与团队名相关联地管理；主体者团队确定部分116，取得各个球移动向量变化点的图像和摄像机参数，并将在变化点最接近于球的选手确定为主体者，进而，使用团队信息存储部分115来确定主体者的团队信息，并取得球轨迹信息，该球轨迹信息由在每个球轨迹变化点的轨迹变化时刻、球位置、球移动向量以及主体者的团队信息构成。另外，通过预先在团队信息存储部分115中管理好制服的颜色或图样等的信息，能够确定主体者所属的团队(参照图15和图16)。

场面区间分割部分102包括：球轨迹信息存储部分117，从主体者团队确定部分116接受球轨迹信息并管理；裁判信号信息存储部分118，在每次发生裁判的信号信息的时刻，对其进行管理；场地信息存储部分119，用X、Y坐标管理场地的边界；场地内外球判定部分120，使用球轨迹信息和场地信息，判定球轨迹变化点的球位置在场地内外的哪一侧；球停止一定时间点提取部分121，根据球轨迹信息，提取球停止了一定时间的点；球位置最近点提取部分122，提取最接近于某一球轨迹变化点的球的位置的球轨迹变化点；中断区间确定部分123，使用球轨迹信息存储部分117内的球轨迹信息、和场地内外球判定部分120的判定结果、以及球停止一定时间点提取部分121和球位置最近点提取部分122的提取结果或者裁判信号信息存储部分118内的裁判信号信息，由球轨迹信息确定中断区间；中断区间存储部分124，接受并管理所确定的中断区间；攻守场面分割部分125，根据球轨迹信息存储部分117的球轨迹信息和中断区间存储部分124的中断区间，提取比赛中区间，并将比赛中区间分割为每一连串的攻击场面区间；场面区间存储部分126，管理所分割的场面区间。

其中，球轨迹信息存储部分117管理着每个球轨迹变化点的时刻、用X、Y坐标表示的球位置、和球移动向量以及主体者的团队(参照图13和图14)。此外，裁判信号信息存储部分118管理着裁判每次发出信号的时刻(参照图19和图20)。裁判信号时刻的登记方法包括登记人确认并登记比赛中裁判吹哨的时刻的方法，或在裁判的哨上搭载发送装置，在裁判吹哨时，发送装置进行无线通信，运动图像发送装置100登记接收时刻的方法等。进而，场地信息存储部分119用X、Y坐标管理场地的边界，通过使用这个，可以判定用球轨迹信息的X、Y坐标表示的球的位置是否在场地内(参照图17和图18)。此外，在每个中断区间，中断区间存储部分124管理中断区间的开始、结束时刻(参照图21和图22)。进而，在每个场面区间，场面区间存储单元126管理攻击团队名、开始时刻、结束时刻(参照图23和图24)。

接着，使用图2，说明球轨迹信息取得部分101内的球轨迹信息的取得步骤。在步骤201中，球识别部分111识别从运动图像存储部分10被映到图像的球，在步骤202中，球移动向量提取部分112追踪所识别的球的移动，并提取球的移动向量。所提取的球移动向量在运动图像的拍摄时受到摄像机的移动或拍摄角度的变化等影响而导致产生误差，所以在步骤203中，球移动向量校正部分113，使用管理着摄像机信息的摄像机参数存储部分20，对所提取的球移动向量进行校正，该摄像机信息是拍摄了运动图像的摄像机的移动或拍摄角度的变化等。接着，在步骤204中，球移动向量变化点提取部分114判定所校正的球移动向量中是否存在变化点。存在时进至步骤205；不存在时返回至步骤201。在步骤205中，主体者团队确定部分116使用在球移动向量变化点上的运动图像和摄像机参数，取得正确的图像，而且，将在该时刻最接近球的选手确定为主体者，并使用团队信息存储部分115的团队信息来确定主体者所属的团队，取得确定了这个时间点的时刻、球位置、球移动向量以及主体者(团队名)的球轨迹信息。在步骤206中，对球轨迹信息存储部分117登记所取得的球轨迹信息，在步骤207中，判定是否存在下一个运动图像。存在时返回至步骤201，进行步骤201至206的处理；不存在时结束。根据以上的步骤，可通过使用由多个视点拍摄的运动图像、和对拍摄了图像的摄像机的移动或拍摄角度的变化等进行管理的摄像机参数，取得球轨迹信息。

接着，使用图3，说明场面区间分割部分102内的场面区间分割步骤。在步骤301中，球轨迹信息存储部分117登记了从球轨迹信息取得部分101发送来的球轨迹信息之后，场地内外球判定部分120使用球轨迹信息和场地信息存储部分119的场地信息，根据球位置进行中断区间的确定。在步骤302中，中断区间确定部分123使用根据步骤301的球位置所确定的中断区间的球轨迹信息之外的信息以及裁判信号信息存储部分118的裁判信号信息，将存在裁判信号之后的球轨迹信息确定为中断开始点，此外，中断区间确定部分123通过使用其之后的球轨迹信息，使球停止一定时间点提取部分121提取球停止了一定时间的轨迹信息或者使球位置最近点提取部分122提取最接近于发生裁判信号之前的球轨迹信息的位置的轨迹信息，从而确定中断结束点。接着，在步骤303中，中断区间确定部分123通过使用根据步骤301的球位置所确定的中断区间以及根据步骤302的裁判的信号所确定的中断区间的球轨迹信息之外的信息，使球停止一定时间点提取部分121提取球停止了一定时间的时刻，从而确定中断结束点，此外，中断区间确定部分123使用其之前的球轨迹信息，使球位置最近点提取部分122取得最接近于中断结束点的位置的轨迹信息，并使其提取其之后的轨迹信息，从而确定中断开始点。然后，在步骤304中，中断区间确定部分123将在步骤301至303中确定的各个中断区间登记到中断区间存储部分124。接着，在步骤305中，攻守场面分割部分125根据球轨迹信息存储部分117的球轨迹信息和中断区间存储部分124的中断区间来提取比赛中区间，并将比赛中区间分割为每一连串的攻击场面区间。接着，在步骤306中，攻守场面分割部分125将分割的场面区间登记到场面区间存储部分126。在步骤307中，判定是否存在下一个球轨迹信息，存在时返回到步骤301，进行步骤301至306的处理；不存在时结束。根据以上的步骤，可使用由球轨迹信息取得流程图取得的球轨迹信息，将运动图像分割为中断区间和比赛中区间，进而，将比赛中区间分割为每一连串的攻击场面区间。另外，步骤301到步骤303的各处理也可以并行进行。以下，说明根据步骤301的球位置确定的中断区间、根据步骤302的裁判的信号确定的中断区间、根据步骤303的球启动开始点确定的中断区间、在步骤305的比赛中区间中的场面区间的分割。

使用图4，说明根据球轨迹信息的球位置而确定中断区间的处理步骤。在步骤401中，中断区间确定部分123从球轨迹信息存储部分117取得球轨迹信息。球轨迹信息的取得可以考虑以下方法，从球轨迹信息存储部分117一个一个取得的方法、连续取得多个的方法、全部取得的方法等，但哪一种方法也都可以。例如，在图5中，中断区间确定部分123取得球轨迹信息a至f。在步骤402中，能够取得球轨迹信息时进至步骤403，不能取得时结束。在步骤403中，中断区间确定部分123将所取得的球轨迹信息的一个信息送到场地内外球判定部分120，场地内外球判定部分120使用被场地信息存储部分119管理的场地信息，判定所取得的球轨迹信息是否为场地内的信息。在步骤404中，该球轨迹信息被判定为在场地内时进至步骤405，被判定为在场地外时进至步骤410。例如，在图5中，在中断区间确定部分123将球轨迹信息a送到场地内外球判定部分120时，场地内外球判定部分120使用被场地信息存储部分119管理的场地信息，判定所取得的球轨迹信息a的球位置(400，300)是否为场地(100，100)(100，100)(100，100)(100，100)内的信息。球轨迹信息a被判定为场地内，进至步骤405。另一方面，在中断区间确定部分123将球轨迹信息d送到场地内外球判定部分120时，场地内外球判定部分120判定所取得的球轨迹信息d的球位置(70，600)为场地外，进至步骤410。

在步骤405中，场地内外球判定部分120从中断区间确定部分123取得被判定为场地内的球轨迹信息之后的球轨迹信息。在图5中，球轨迹信息a之后有球轨迹信息b，场地内外球判定部分120从中断区间确定部分123取得球轨迹信息b。在步骤406中，与步骤402相同地，场地内外球判定部分120使用被场地信息存储部分119管理的场地信息，判定所取得的该球轨迹信息是否为场地内的信息。在步骤407中，该球轨迹信息也被判定为场地内时返回至步骤405，从中断区间确定部分123取得其之后的球轨迹信息，并再次进行步骤405和步骤406。另一方面，在被判定为场地外时进至步骤408。在图5中，因所取得的球轨迹信息b的球位置(200，350)是场地内，所以场地内外球判定部分120从中断区间确定部分123取得其之后的球轨迹信息，并对球轨迹信息c判定是否为场地内的信息。所取得的球轨迹信息c的球位置(60，380)是场地外，此时进至步骤408。在步骤408中，场地内外球判定部分120将判定为场地外的球轨迹信息识别为中断开始点，并对中断区间确定部分123通知该球轨迹信息。这里，将球轨迹信息c识别为中断开始点，并对中断区间确定部分123通知该信息。在步骤409中，被通知了表示中断开始点的球轨迹信息的中断区间确定部分123对中断区间存储部分124登记该球轨迹信息。这里，对中断区间存储部分124登记作为中断开始点的球轨迹信息c。

在步骤410中，场地内外球判定部分120从中断区间确定部分123取得被判定为场地外的球轨迹信息之后的球轨迹信息。在图5中，球轨迹信息d之后有球轨迹信息e，场地内外球判定部分120从中断区间确定部分123取得球轨迹信息e。在步骤411中，与步骤402相同地，场地内外球判定部分120使用被场地信息存储部分119管理的场地信息，判定所取得的该球轨迹信息是否为场地内的信息。在步骤412中，该球轨迹信息也被判定为场地外时返回至409，从中断区间确定部分123取得其之后的球轨迹信息，并再次进行步骤410和步骤411。另一方面，在判定为场地内时进至412。在图5中，因所取得的球轨迹信息e的球位置(60，380)是场地外，所以场地内外球判定部分120从中断区间确定部分123取得其之后的球轨迹信息f，并对球轨迹信息f判定是否为场地内的信息。所取得的球轨迹信息f的球位置(220，650)是场地内，此时进至步骤413。在步骤413中，场地内外球判定部分120将判定为场地内的球轨迹信息之前的球轨迹信息识别为中断结束点，同时将在中断结束点之前所得的球轨迹信息也识别为在中断区间中，并对中断区间确定部分123通知这些球轨迹信息。这里，将球轨迹信息e识别为中断结束点，同时将在中断结束点之前所得的球轨迹信息d也识别为在中断区间中，并对中断区间确定部分123通知球轨迹信息d、e。在步骤414中，被通知了表示中断结束点和中断区间的球轨迹信息的中断区间确定部分123对中断区间存储部分124登记这些球轨迹信息。这里，对中断区间存储部分124登记作为中断结束点的球轨迹信息e和中断区间的球轨迹信息d。在步骤415中，中断区间确定部分123从球轨迹信息存储部分117取得下一个球轨迹信息。在步骤416中，中断区间确定部分123判定是否存在下一个球轨迹信息，存在时返回至步骤403，再次进行步骤403至步骤414的处理。另一方面，不存在时结束处理。根据如上的处理，可使用球轨迹信息的球位置和场地信息，确定场地外的中断区间。

接着，使用图6，说明根据裁判信号信息的发生时刻确定中断区间的处理步骤。在步骤601中，中断区间确定部分123从裁判信号信息存储部分118取得裁判信号信息。这里，裁判信号信息不取得根据球位置所确定的场地外的中断区间的时刻发生的裁判信号信息。即，这里取得的裁判信号信息仅取得球在场地内时所发生的信息。取得的方法可以考虑，从裁判信号信息存储部分118一个一个取得的方法、连续取得多个的方法、全部取得的方法等，但哪一种方法也都可以。例如，在图7中，中断区间确定部分123取得裁判信号时刻为00:12:05的裁判信号信息。在步骤602中，能够取得裁判信号信息时进至步骤603，不能取得时结束处理。在步骤603中，从球轨迹信息存储部分117取得裁判信号时刻之后的球轨迹信息。此时，取得的球轨迹信息是取得根据步骤301的球位置所确定的场地外的中断区间之外的球轨迹信息。例如，在图7中，裁判信号时刻之后的球轨迹信息从其轨迹变化时刻取得00:12:10的球轨迹信息b。在步骤604中，将所取得的球轨迹信息识别为中断开始点。在识别了中断开始点之后，在步骤605中，取得多个在之后的一定时间以内的球轨迹信息；在步骤606中，从那些球轨迹信息中，提取球停止了一定时间的时刻。在步骤607中，存在球停止了一定时间的点时进至步骤608，没有停止的点时进至步骤609。在步骤608中，取得球停止了一定时间的球轨迹信息，并将取得的球轨迹信息识别为中断结束点。在图7中，取得球轨迹信息b至e，其中停止了一定时间的球轨迹信息取得其球移动向量成为(0，0)的球轨迹信息d，并将该时刻识别为中断结束点。

另一方面，在步骤609中，因没有球停止了一定时间的点，在这种情况下，取得裁判信号时刻之前的球轨迹信息。例如，在图7中，没有球移动向量成为(0，0)的球轨迹信息的情况下，取得裁判信号时刻之前的球轨迹信息a。在步骤610中，取得最接近于所取得的球轨迹信息的球轨迹信息。这里，球轨迹信息a的球位置为(500，300)，在球轨迹信息b至e中最接近的位置为(520，320)，所以取得球轨迹信息d，并将该时刻识别为中断结束点。

在步骤611中，中断区间确定部分123将在步骤604中识别的中断开始点到在步骤608或步骤610中识别的中断结束点为止作为中断区间登记到中断区间存储部分124。这里，将中断开始点的球轨迹信息b开始到中断结束点的球轨迹信息d为止登记到中断区间存储部分124。在步骤612中，中断区间确定部分123判定是否存在下一个裁判信号信息，存在时返回至步骤603，再次进行步骤603至步骤611的处理。另一方面，没有时结束处理。根据如上的处理，可使用根据步骤301的球位置所确定的场地外的中断区间之外的球轨迹信息和裁判信号信息存储部分118的裁判信号信息，确定场地内的中断区间。

接着，使用图8，说明根据球轨迹信息的球移动向量确定中断区间的步骤。在步骤801中，中断区间确定部分123使用球轨迹信息存储部分117，取得根据步骤301的球位置所确定的中断区间和根据步骤302的裁判的信号所确定的中断区间的球轨迹信息之外的球轨迹信息，取得停止了一定时间的球轨迹信息。在步骤802中，能够取得球轨迹信息的情况下进至步骤803，不能取得的情况下结束。在图9中，因停止了一定时间的球轨迹信息的球移动向量为(0，0)，所以判断为在该时刻停止，取得球轨迹信息d。在步骤803中，将所取得的球轨迹信息识别为中断结束点。识别了中断结束点之后，在步骤804中，取得之后一定时间以内的多个球轨迹信息，在步骤805中，从那些球轨迹信息中，取得最接近于中断结束点的球轨迹信息。在这里，因中断结束点的球位置为(520，320)，其之前取得的多个球轨迹信息a至c中，最接近的位置为(500，300)，所以取得球轨迹信息a。即，识别为球轨迹信息a的位置为比赛中区间的结束点，在步骤806中，取得其之后的球轨迹信息，并将该时刻识别为中断开始点。在这里，取得球轨迹信息b，并将该时刻识别为中断开始点。

在步骤807中，中断区间确定部分123将在步骤806中识别的中断开始点到在步骤803中识别的中断结束点为止作为中断区间登记到中断区间存储部分124。这里，从中断开始点的球轨迹信息b到中断结束点的球轨迹信息d为止登记到中断区间存储部分124。在步骤808中，判定是否存在下一个停止了一定时间的球轨迹信息，存在时返回至步骤803，再次进行步骤803至步骤808的处理。另一方面，没有时结束处理。根据如上的处理，可通过使用球轨迹信息的球移动向量来提取球的一定时间停止点，从而确定中断区间。

接着，使用图10，说明在比赛中区间中的场面区间的分割处理步骤。在步骤1001中，攻守场面分割部分125根据球轨迹信息存储部分117的球轨迹信息和中断区间存储部分124的中断区间，提取比赛中区间。在步骤1002中，存在比赛中区间时进至步骤1003，没有时结束处理。在步骤1003中，取得所提取的比赛中区间的前端的球轨迹信息，在步骤1004中，取得之后的球轨迹信息。例如，在图11或图12中，提取的比赛中区间的前端是球轨迹信息a，之后是球轨迹信息b，取得这些。在步骤1005中，判定是否存在之后的球轨迹信息，存在时进至步骤1006，没有时进至步骤1015。在步骤1006中，判定该球轨迹信息是否为比赛中区间的结束点，不是结束点时进至步骤1007，是结束点时进至步骤1015。在图11或图12中，因球轨迹信息b不是比赛中区间的结束点，所以进至步骤1007。在步骤1007中，判定在步骤1004中取得的球轨迹信息和之前的球轨迹信息的主体者是否为同一团队。在同一团队时返回至步骤1004，再次进行步骤1004至步骤1007；不是同一团队时进至步骤1008。在图11或图12中，球轨迹信息b的主体者团队为A队，其之前的球轨迹信息a的主体者团队为A队，所以主体者相同。这种情况下，返回至步骤1004，再次进行步骤1004至步骤1007；在取得了主体者团队为B队的球轨迹信息c之后进至步骤1008。

在步骤1008中，取得在步骤1004中所取得的球轨迹信息之后的球轨迹信息。在图11或图12中，取得球轨迹信息d。在步骤1009中，比较在步骤1008中所取得的球轨迹信息和其之前的信息，即在步骤1004中所取得的球轨迹信息，判定轨迹变化时刻的差是否大，在时刻的差较大时进至步骤1011，在时刻的差较小时进至步骤1010。另外，对于其判定基准可任意地设定，但是在本实施方式中，存在5秒以上的差就判定为轨迹变化时刻的差较大。在图11或图12中，球轨迹信息c的轨迹变化时刻为00:12:18，球轨迹信息d的轨迹变化时刻为00:12:22，其轨迹变化时刻的差较小，此时进至步骤1010。另外，在球轨迹信息d的轨迹变化时刻为00:12:28的情况下进至步骤1011。在步骤1010中，判定在步骤1008中所取得的球轨迹信息和其之前的信息的球位置的差是否大，位置的差较大时进至步骤1011，位置的差较小时返回至步骤1004。另外，对于其判定基准可任意地设定，但是在本实施方式中，在X轴或者Y轴上存在400以上的差就判定为球位置的差较大。在图11中，球轨迹信息d的球位置为(200，650)，球轨迹信息c的球位置为(550，150)，所以位置的差较大，此时进至步骤1011。另一方面，在图12中，球轨迹信息d的球位置为(500，350)，球轨迹信息c的球位置为(400，150)，所以位置的差较小，此时返回至步骤1004，取得其之后的球轨迹信息e。

在步骤1011中，将在步骤1008中取得的球轨迹信息之前的信息识别为场面区间结束点，在步骤1012中，将在场面区间结束点之前所取得的球轨迹信息作为一个场面区间管理，在步骤10 13中，将该场面区间登记到场面区间存储部分126。在步骤1014中，将在步骤1011中识别的场面区间结束点识别为下一个场面区间开始点，即，识别为下一个场面区间的前端的球轨迹信息，并返回至步骤1003再次进行处理。

另一方面，在步骤1004中检索之后的球轨迹信息，在没有其球轨迹信息时或之后的球轨迹信息为比赛中区间的结束点时，在步骤1015中，将当前为止取得的球轨迹信息作为一个场面区间。即，在没有球轨迹信息时，将之前的信息识别为场面区间结束点；在之后的球轨迹信息为比赛中区间的结束点时，将该信息识别为场面区间结束点。在图11或图12中，球轨迹信息e之后没有球轨迹信息，所以，此时将球轨迹信息e识别为场面区间结束点。此外，因球轨迹信息d之后的球轨迹信息e是比赛中区间的结束点，此时，将球轨迹信息e识别为场面区间结束点。而且，将在场面区间结束点之前取得的球轨迹信息作为一个场面区间管理，在步骤1016中，将该场面区间登记到场面区间存储部分126。在步骤1017中，检索下一个比赛中区间，并返回至步骤1002。在步骤1002中，存在下一个比赛中区间时进至步骤1003，没有时结束处理。根据如上的处理，可根据球轨迹信息存储部分117的球轨迹信息和中断区间存储部分124的中断区间，提取比赛中区间，并将场面区间分割为每一连串的攻击场面来管理。

如上所述，本实施方式的场面区间分割装置，管理对在被拍摄的运动图像中拍摄的球的每个轨迹变化确定了主体者的球轨迹信息，通过进行根据球位置确定中断区间的处理、根据裁判信号信息的发生时刻确定中断区间的处理、根据提取球停止了一定时间的点来确定中断区间的处理，取得了各个中断区间之后，根据休息区间提取比赛中区间，进而，对比赛中区间中的场面区间进行分割处理，即使存在混战状态或解围场面的情况下，也能将一连串的攻击作为一个场面区间正确地管理。

另外，在本实施方式中，主要说明了根据在运动图像中拍摄的球的轨迹信息以每一连串的攻击正确地管理场面区间的情况，但通过确定中断区间，可确定中断开始之前或结束之后的中断内容，并通过将其与球轨迹信息相关联地管理，从而容易地掌握比赛中区间的中断内容。

例如，在使用步骤301的球轨迹信息和场地信息确定场地外的中断区间时，可确定中断区间结束之后的比赛内容为界外球(throw in)、球门球(goalkick)、角球等。例如，在图5中，中断结束点的球位置是被进行界外球的位置，所以可确定中断结束点之后的比赛内容为界外球。除此之外，使用球位置而确定的中断结束点之后的比赛内容有球门球或角球。中断结束点之后的比赛内容为界外球时，通过将界外球与球轨迹信息f相关联，并将其登记到球轨迹信息存储部分117，从而容易地掌握界外球场面(参照图5)。

此外，使用步骤302或303的场地内的球轨迹信息，根据球停止了一定时间的时刻来确定中断区间时，可确定中断区间结束之后的比赛内容为任意球等。此时，将任意球与中断结束点之后的球轨迹信息d′相关联，并将其登记到球轨迹信息存储部分117，从而容易地掌握任意球场面(参照图7、图9)。

此外，在步骤305中，比赛中区间中的场面区间被分割时，可确定被分割的场面区间的结束时的比赛内容为解围。此时，将解围与场面区间结束时的球轨迹信息c相关联，并将其登记到球轨迹信息存储部分117，从而容易地掌握解围场面(参照图11)。此外，在步骤305中，比赛中区间中的场面区间不被分割时，可确定该比赛中区间为混战状态。此时，通过将混战状态与比赛中区间的前端的球轨迹信息a相关联，并将其登记到球轨迹信息存储部分117，从而容易地掌握混战状态(参照图12)。

此外，通过使用场地信息或裁判信号信息，根据球轨迹信息的球位置确定射门场面，此外，也可以确定射门之后的中断区间。例如，射门的位置可使用场地信息来掌握((400～600，80～100)或者(400～600，900～920))，在球的位置移到球门内的位置之后((550，90))，存在裁判信号信息时，可确定在该时刻有射门场面。此时，通过将射门与发生射门场面的时刻的球轨迹信息相关联，并将其登记到球轨迹信息存储部分117，从而容易地掌握比赛中区间的比赛内容。此外，可确定射门之后的球轨迹信息是中断区间，球轨迹信息的球位置移到中心线位置((500，500))，并在中断区间直到发生裁判信号信息为止。

除此之外，通过使用球轨迹信息的轨迹变化时刻以及裁判信号信息等，将球轨迹信息与开始比赛的时刻或结束的时刻相关联，并将其登记到球轨迹信息存储部分117，从而容易地掌握比赛开始之后或比赛结束之前的场面。

此外，在本实施方式中作为最佳的方式，说明了用运动图像发送装置分割并管理场面区间，并将其发送到运动图像接收终端的方式，但中断区间的确定或场面区间的分割等可以用运动图像发送装置或运动图像接收终端的任一个进行。例如也可以是，如图25所示，从运动图像发送装置发送球轨迹信息、场地信息以及裁判信号信息，并使用这些信息由运动图像接收终端进行中断区间的确定和场面区间的分割处理。此外，也可以是，如图26所示，用运动图像发送装置确定中断区间后与球轨迹信息一同发送，并使用这些用运动图像接收终端进行场面区间的分割处理。

产业上的可利用性

如上，本发明可适用于摘要视听如足球等的运动图像，不仅可在短时间内仅视听比赛中区间，也可以视听利用者所期望的每个场面。

Claims (8)

1.一种场面区间分割装置，其特征在于，它包括：

球轨迹信息存储部分，其管理球轨迹信息，该球轨迹信息对运动图像中拍摄的球的每个轨迹变化确定了主体者；

球停止一定时间点提取部分，使用所述球轨迹信息，提取球的移动停止了一定时间的时刻；

球最近点提取部分，使用所述球轨迹信息，提取最接近所述停止了一定时间的球位置的时刻：

中断区间确定部分，从所述球轨迹信息存储部分取得球轨迹信息，并根据所述球停止一定时间点提取部分和所述球最近点提取部分所提取的各时刻，确定中断区间；以及

场面区间分割部分，根据所述确定的中断区间，提取比赛中区间的球轨迹信息，并分割为每个场面区间。

2.如权利要求1所述的场面区间分割装置，其特征在于，它包括：

场地信息存储部分，管理场地的边界；以及

场地内外判定部分，使用所述场地信息，判定球的位置是否在场地内，

所述中断区间确定部分从所述球轨迹信息存储部分取得球轨迹信息，并使用该球轨迹信息，将由所述场地内外判定部分所判定的场地外的球轨迹信息确定为中断区间。

3.如权利要求1所述的场面区间分割装置，其特征在于，它包括：

裁判信号信息存储部分，管理裁判发出信号的时刻，

所述中断区间确定部分使用所述球轨迹信息和所述裁判信号信息，确定中断区间。

4.一种场面区间分割方法，其特征在于，它包括：

取得球轨迹信息的步骤，该球轨迹信息对运动图像中拍摄的球的每个轨迹变化确定了主体者；

使用球轨迹信息的球位置和管理场地的边界的场地信息，确定场地外的中断区间的步骤；

使用球轨迹信息的球轨迹变化时刻和管理裁判信号时刻的裁判信号信息，确定中断区间的步骤；

根据所述被确定的各中断区间，从所述球轨迹信息存储部分提取比赛中区间的球轨迹信息的步骤；以及

将所述比赛中区间分割为每个场面区间的步骤。

5.如权利要求4所示的场面区间分割方法，其特征在于，

使用所述球轨迹信息的球位置和管理场地的边界的场地信息，确定场地外的中断区间的步骤包括：

取得第1球轨迹信息的步骤；

使用所述场地信息，判定所述第1球轨迹信息的球位置是否在场地内的步骤；以及

在所述第1球轨迹信息在场地内的情况下，还包括：取得之后的第2球轨迹信息的步骤；使用所述场地信息，在所述第2球轨迹信息的球的位置在场地外的情况下，将其识别为中断开始点而取得的步骤，

另一方面，在所述第1球轨迹信息在场地外的情况下，还包括：取得之后的第3球轨迹信息的步骤；使用所述场地信息，在所述第3球轨迹信息的球的位置在场地内的情况下，将所述第3球轨迹信息识别为中断结束点而取得的步骤。

6.如权利要求4所示的场面区间分割方法，其特征在于，

使用球轨迹信息的球轨迹变化时刻和管理裁判信号时刻的裁判信号信息，确定中断区间的步骤包括：

取得所述裁判信号信息的步骤；

在所述裁判信号信息的裁判信号时刻之后，取得规定时间以内的多个球轨迹信息，并将前端的第1球轨迹信息识别为中断开始点的步骤；

判断在所述取得的多个球轨迹信息中，是否存在停止了一定时间的第2球轨迹信息的步骤；以及

在存在所述停止了一定时间的第2球轨迹信息的情况下，将该球轨迹信息识别为中断结束点而取得的步骤，

另一方面，在不存在所述停止了一定时间的第2球轨迹信息的情况下，还包括：取得所述裁判信号时刻之前的第3球轨迹信息的步骤；在所述取得的多个球轨迹信息中，将最接近所述第3球轨迹信息的球位置的第4球轨迹信息识别为中断结束点而取得的步骤。

7.如权利要求4所示的场面区间分割方法，其特征在于，

使用所述球轨迹信息的球移动向量和球的位置，确定中断区间的步骤包括：

取得球的移动停止了一定时间的第1球轨迹信息，并其识别为中断结束点而取得的步骤；

取得在所述第1球轨迹信息之前、规定时间内的多个球轨迹信息的步骤；以及

在所述取得的多个球轨迹信息中，将最接近所述第1球轨迹信息的球位置的球轨迹信息之后的第2球轨迹信息识别为中断开始点而取得的步骤。

8.如权利要求4所示的场面区间分割方法，其特征在于，

将所述比赛中区间分割为每个场面区间的步骤包括：

取得在比赛中区间中的前端的第1球轨迹信息的步骤；

取得其之后的第2球轨迹信息的步骤；

在所述第2球轨迹信息与比赛中区间的结束点、并且与第1球轨迹信息的主体者不同的情况下，取得其之后的第3球轨迹信息的步骤；

在所述第2球轨迹信息与第3球轨迹信息的时刻的差或者位置的差较大时，将所述第2球轨迹信息识别为场面区间结束点的步骤；以及

将所述场面区间结束点之前取得的球轨迹信息作为一个场面区间而取得的步骤。

Images