CN114842550B - 犯规行为检测方法、装置、电子设备和存储介质 - Google Patents

Abstract

本申请实施例涉及机器视觉技术领域，公开了一种犯规行为检测方法、装置、电子设备和存储介质，该方法包括：在彩色视频中截取时序连续的N个第一目标帧得到N个第一图像，并分别在N个第一图像中确定第一运动员和第二运动员；在深度视频中确定分别与N个第一目标帧时序相同的N个第二目标帧，并截取N个第二目标帧得到N个第二图像；分别基于N个第二图像，确定各第二目标帧对应的第二图像中第一运动员与第二运动员之间的三维距离；在至少有连续K个第二目标帧对应的第二图像中的三维距离小于预设的安全距离的情况下，确定第一运动员存在犯规行为，增强了犯规行为的判罚的可解释性，同时尽可能地避免误判、漏判现象的发生。

Description

犯规行为检测方法、装置、电子设备和存储介质

技术领域

本申请实施例涉及机器视觉技术领域，特别涉及一种犯规行为检测方法、装置、电子设备和存储介质。

背景技术

体育运动是在人类发展过程中逐步开展起来的有意识地对自己身体素质的培养的各种活动，包括走、跑、跳、投以及舞蹈等多种形式的身体活动，现已发展成田径、球类、游泳，武术、健美操、登山、滑冰、举重、摔跤、柔道、自行车等多种项目，随着人们的精神生活的需要，体育竞赛即比赛性质的体育运动已经成为人类生活必不可缺的一部分，体育竞赛有助于培养人们的勇敢顽强的性格、超越自我的品质、迎接挑战的意志、承担风险的能力、协作精神和公平观念。

为了维护体育竞赛的公平性和安全性，各项体育竞赛项目均设置有一定的规则和章程，违犯各种规矩和章程的行为被称为“犯规”行为，犯规行为不符合体育竞赛中公平竞技的精神，严重的犯规行为甚至会威胁到运动员的身体健康和生命安全，运动员的犯规行为需要及时被指出和纠正，而裁判员正是在各项体育竞赛中指出和纠正运动员的犯规行为的角色。

本申请的发明人发现，在一些对抗性很强的体育竞赛项目中，防守方运动员短时间的贴身逼防、近身缠斗等行为是被允许的，在竞速类体育竞赛项目中，处于领先位置的运动员的战术卡位等行为也是被允许的，但如果这些行为持续的时间过长则很可能会对进攻方运动员、处于落后位置意图超越的运动员的安全造成威胁，也就是某些持续时间较长的近身动作其实是危险的犯规动作，但这些动作不容易被裁判员发现，是否判罚全靠裁判员个人的执法经验，缺乏解释性，容易造成犯规行为的漏判、误判，无法满足体育竞赛中公平性的需要。

发明内容

本申请实施例的目的在于提供一种犯规行为检测方法、装置、电子设备和存储介质，能够科学、准确地检测出无身体接触的长时间近身的犯规行为，增强了犯规行为的判罚的可解释性，同时尽可能地避免误判、漏判现象的发生。

为解决上述技术问题，本申请的实施例提供了一种犯规行为检测方法，包括以下步骤：在彩色视频中截取时序连续的N个第一目标帧得到N个第一图像，并分别在所述N个第一图像中确定第一运动员和第二运动员；其中，N为大于1的整数，所述第一运动员为疑似犯规的运动员，所述第二运动员为疑似被犯规的运动员；在深度视频中确定分别与所述N个第一目标帧时序相同的N个第二目标帧，并截取所述N个第二目标帧得到N个第二图像；其中，所述深度视频与所述彩色视频由同一相机同时拍摄得到；分别基于所述N个第二图像，确定各所述第二目标帧对应的第二图像中所述第一运动员与所述第二运动员之间的三维距离；在至少有连续K个所述第二目标帧对应的第二图像中的所述三维距离小于预设的安全距离的情况下，确定所述第一运动员存在犯规行为；其中，K为小于N的整数。

本申请的实施例还提供了一种犯规行为检测装置，所属装置包括相机模块、定位模块、计算模块和检测模块；所述相机模块用于同时拍摄彩色视频和深度视频；所述定位模块用于在所述彩色视频中截取时序连续的N个第一目标帧得到N个第一图像，分别在所述N个第一图像中确定第一运动员和第二运动员，并在所述深度视频中确定分别与所述N个第一目标帧时序相同的N个第二目标帧，截取所述N个第二目标帧得到N个第二图像，其中，所述N为大于1的整数，所述第一运动员为疑似犯规的运动员，所述第二运动员为疑似被犯规的运动员；所述计算模块用于分别基于所述N个第二图像，确定各所述第二目标帧对应的第二图像中所述第一运动员与所述第二运动员之间的三维距离；所述检测模块用于在至少有连续K个所述第二目标帧对应的第二图像中的所述三维距离小于预设的安全距离的情况下，确定所述第一运动员存在犯规行为，其中，所述K为小于N的整数。

本申请的实施例还提供了一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的犯规行为检测方法。

本申请的实施例还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述的犯规行为检测方法。

本申请实施例提供的犯规行为检测方法、装置、电子设备和存储介质，在彩色视频中截取时序连续的N个第一目标帧得到N个第一图像，并分别在N个第一图像中确定疑似犯规的第一运动员和疑似被犯规的第二运动员，再在与彩色视频由同一相机同时拍摄得到的深度视频中确定分别与N个第一目标帧时序相同的N个第二目标帧，并截取N个第二目标帧得到N个第二图像，随后分别基于N个第二图像，确定各第二目标帧对应的第二图像中第一运动员与第二运动员之间的三维距离，并在至少有连续K个第二目标帧对应的第二图像中的第一运动员与第二运动员之间的三维距离小于预设的安全距离的情况下，确定第一运动员存在犯规行为，考虑到某些持续时间较长的近身动作比如过久的贴身逼防、近身缠斗，其实也会对其他的运动员的安全造成威胁而，是危险的犯规动作，但这些动作不容易被裁判员发现，而本申请的实施例，服务器基于彩色视频和深度视频进行综合研判，检测是否在足够的连续帧内第一运动员持续侵犯了第二运动员的安全区域，从而简单、及时、科学、准确地检测出无身体接触的长时间近身的犯规行为，尽可能地避免误判、漏判等现象的发生，同时，本申请的检测方式清晰可视，具有强大的数据支持，增强了犯规行为的判罚的可解释性。

另外，所述分别基于所述N个第二图像，确定各所述第二图像中所述第一运动员与所述第二运动员之间的三维距离，包括：依次将所述N个第二图像作为待计算图像，在所述待计算图像中确定所述第一运动员的第一关键点和所述第二运动员的第二关键点；根据所述第一关键点的坐标和所述第二关键点的坐标，计算所述第一关键点与所述第二关键点之间的二维距离；根据所述第一关键点的深度值和所述第二关键点的深度值，计算所述第一关键点与所述第二关键点之间的深度值差值；根据所述二维距离和所述深度值差值，计算所述第一关键点与所述第二关键点之间的三维距离，并将所述第一关键点与所述第二关键点之间的三维距离作为所述待计算图像中所述第一运动员与所述第二运动员之间的三维距离，考虑到在激烈的体育竞赛中，近距离对抗是必不可少的一部分，大部分身体部位的靠近甚至触碰不会威胁到运动员的安全，但小部分身体部分是比较脆弱、容易受伤的，长时间的近身缠斗对容易这些部位造成损伤，因此本申请选定第一运动员的第一关键点、第二运动员的第二关键点来进行第一运动员与第二运动员之间的三维距离的计算，计算过程简单且快速，更加符合体育竞赛的实际情况。

另外，在所述分别基于所述N个第二图像，确定各所述第二目标帧对应的第二图像中所述第一运动员与所述第二运动员之间的三维距离之后，包括：在没有连续K个所述第二目标帧对应的第二图像中的所述三维距离小于预设的安全距离，且有连续D个所述第二目标帧对应的第二图像中的所述三维距离小于预设的安全距离的情况下，检测所述连续D个所述第二目标帧是否包括时序最靠前的第二目标帧；其中，D为小于K的整数；在所述连续D个所述第二目标帧包括所述时序最靠前的第二目标帧的情况下，以所述时序最靠前的第二目标帧为起点，向前连续获取K-D个第三目标帧；截取所述K-D个第三目标帧得到K-D个第三图像，并分别基于所述K-D个第三图像，确定各所述第三图像中所述第一运动员与所述第二运动员之间的三维距离；在所述K-D个第三图像中的所述三维距离均小于所述预设的安全距离的情况下，确定所述第一运动员存在犯规行为，考虑到在实际应用中，连续的N个第一目标帧是按照裁判员的意愿进行选取的，并不一定是最合适的，因此本申请的实施例在连续的目标帧内没有检测到持续时间足够长的近身动作，但这些连续的目标帧的第一帧中第一运动员与第二运动员距离过近时，可以再向前获取一段连续的帧，若后获取的连续的帧中第一运动员与第二运动员均距离过近，可以确定第一运动员进行了过久的贴身逼防、近身缠斗，确定第一运动员存在犯规行为，从而可以进一步避免误判、漏判现象的发生，提升体育竞赛的公平性。

另外，在所述分别基于所述N个第二图像，确定各所述第二目标帧对应的第二图像中所述第一运动员与所述第二运动员之间的三维距离之后，包括：在没有连续K个所述第二目标帧对应的第二图像中的所述三维距离小于预设的安全距离，且有连续F个所述第二目标帧对应的第二图像中的所述三维距离小于预设的安全距离的情况下，检测所述连续F个所述第二目标帧是否包括时序最靠后的第二目标帧；其中，F为小于K的整数；在所述连续F个所述第二目标帧包括所述时序最靠后的第二目标帧的情况下，以所述时序最靠后的第二目标帧为起点，向后连续获取K-F个第四目标帧；截取所述K-F个第四目标帧得到K-F个第四图像，并分别基于所述K-F个第四图像，确定各所述第四图像中所述第一运动员与所述第二运动员之间的三维距离；在所述K-F个第四图像中的所述三维距离均小于所述预设的安全距离的情况下，确定所述第一运动员存在犯规行为，考虑到在实际应用中，连续的N个第一目标帧是按照裁判员的意愿进行选取的，并不一定是最合适的，因此本申请的实施例在连续的目标帧内没有检测到持续时间足够长的近身动作，但这些连续的目标帧的最后一帧中第一运动员与第二运动员距离过近时，可以再向后获取一段连续的帧，若后获取的连续的帧中第一运动员与第二运动员均距离过近，可以确定第一运动员进行了过久的贴身逼防、近身缠斗，确定第一运动员存在犯规行为，从而可以进一步避免误判、漏判现象的发生，提升体育竞赛的公平性。

另外，在所述确定所述第一运动员存在犯规行为之后，所述方法还包括：获取所述连续K个所述第二目标帧中第一帧在所述深度视频中的时间戳和最后一帧在所述深度视频中的时间戳；根据所述第一帧在所述深度视频中的时间戳和最后一帧在所述深度视频中的时间戳，确定并输出所述第一运动员的犯规时长，考虑到裁判员的判罚需要以事实为基准，强有力的数据证据可以大大增强犯规行为判罚的可解释性，本申请的实施例在确定第一运动员存在犯规行为后，可以获取并输出第一运动员的犯规时长，使得判罚有理有据。

另外，所述彩色视频包干若干不同角度拍摄得到的彩色视频，所述深度视频包干若干不同角度拍摄得到的深度视频，所述不同角度至少包括主视角度、俯视角度和侧视角度，考虑到一个相机进行基于竞赛的拍摄可能不能满足犯规检测的需要，有些过于偏僻的角落拍摄不到，因此本申请的实施例选用若干不同角度拍摄得到的彩色视频，也就是设置多个在不同角度进行拍摄的相机，从而进一步提升犯规行为检测的准确性。

另外，所述确定所述第一运动员存在犯规行为，包括：获取所述第二运动员的受伤状态信息；其中，所述受伤状态信息包括受伤和未受伤；若所述第二运动员未受伤，则确定所述第一运动员存在普通犯规行为；若所述第二运动员受伤，则确定所述第一运动员存在恶意犯规行为，为了保护被犯规的运动员，体育竞赛中一般采用结果导向的判罚标准，即根据被犯规运动员的受伤情况对犯规的运动员进行不同程度的犯规判罚，可以进一步保护被犯规的运动员的权益、进一步提升体育竞赛的公平性。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定。

图1是根据本申请的一个实施例的犯规行为检测方法的流程图一；

图2是根据本申请的一个实施例中，分别基于N个第二图像，确定各第二图像中第一运动员与第二运动员之间的三维距离的流程图；

图3是根据本申请的另一个实施例的犯规行为检测方法的流程图二；

图4是根据本申请的另一个实施例的犯规行为检测方法的流程图三；

图5是根据本申请的另一个实施例的犯规行为检测方法的流程图四；

图6是根据本申请的另一个实施例的犯规行为检测方法的流程图五；

图7是根据本申请的另一个实施例的犯规行为检测装置的示意图；

图8是根据本申请的另一个实施例的电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请的各实施例进行详细的阐述。然而，本领域的普通技术人员可以理解，在本申请各实施例中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施例的种种变化和修改，也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本申请的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。

本申请的一个实施例涉及一种犯规行为检测方法，应用于电子设备，其中，电子设备可以为终端或服务器，本实施例以及以下各个实施例中电子设备以服务器为例进行说明，下面对本实施例的犯规行为检测方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。

本实施例的犯规行为检测方法的具体流程可以如图1所示，包括：

步骤101，在彩色视频中截取时序连续的N个第一目标帧得到N个第一图像，并分别在N个第一图像中确定第一运动员和第二运动员。

具体而言，N为大于1的整数，服务器确定的第一运动员为疑似犯规的运动员，服务器确定的第二运动员为疑似被犯规的运动员。

在具体实现中，服务器可以先在彩色视频中确定出时序连续的N个第一目标帧，在彩色视频中连续截取这N个第一目标帧得到N个第一图像，并分别在N个第一图像中确定出第一运动员和第二运动员。

可以理解的是，时序连续的N个第一目标帧是彩色视频中的帧，服务器在彩色视频中截取时序连续的N个第一目标帧，得到的N个第一图像均为彩色图像。

在一个例子中，体育竞赛场地边设置有实时对场内比赛进行拍摄的相机，该相机拥有彩色镜头和红外镜头，可以同时拍摄得到目标场地内的彩色视频和深度视频，拍摄得到的彩色视频和深度视频是时序对齐的。

在一个例子中，体育竞赛场地边可以并排设置有实时对场内比赛进行拍摄的一台彩色相机和一台红外相机，彩色相机可以拍摄得到目标场地内的彩色视频，红外相机可以拍摄得到目标场地内的深度视频。

步骤102，在深度视频中确定分别与N个第一目标帧时序相同的N个第二目标帧，并截取N个第二目标帧得到N个第二图像。

具体而言，服务器在确定时序连续的N个第一目标帧后，可以在与彩色视频由同一相机同时拍摄得到的深度视频中找到分别与N个第一目标帧时序相同的N个第二目标帧，并截取这N个第二目标帧得到N个第二图像。

可以理解的是，N个第二目标帧是深度视频中的帧，服务器截取深度视频中的N个第二目标帧得到的N个第二图像均为深度图像，第二图像中的每个像素点均带有对应的深度数据。

在一个例子中，服务器可以根据N个第一目标帧在彩色视频中的排位，在深度视频中找到分别与N个第一目标帧对应的N个第二目标帧，比如：N个第一目标帧为彩色视频中的第1200帧至第1500帧，服务器可以在深度视频中找到深度视频的第1200帧至第1500帧，深度视频的第1200帧至第1500帧即分别与N个第一目标帧对应的N个第二目标帧。

在另一个例子中，服务器可以根据N个第一目标帧的时间戳，在深度视频中找到分别与N个第一目标帧对应的N个第二目标帧，比如：N个第一目标帧的时间戳为16分05秒00至16分10秒00，服务器可以在深度视频中找到16分05秒00至16分10秒00的帧，深度视频中16分05秒00至16分10秒00的帧即分别与N个第一目标帧对应的N个第二目标帧。

步骤103，分别基于N个第二图像，确定各第二目标帧对应的第二图像中第一运动员与第二运动员之间的三维距离。

具体而言，服务器截取得到N个第二图像后，可以分别基于N个第二图像，确定各第二目标帧对应的第二图像中第一运动员与第二运动员之间的三维距离。

在具体实现中，由于彩色视频和深度视频之间是时序对齐的，所以第一图像中第一运动员的位置就是第二图像中第一运动员的位置，第一图像中第二运动员的位置就是第二图像中第二运动员的位置，这是不会改变的，服务器也就无需在第二图像中搜索第一运动员和第二运动员。

在一个例子中，服务器可以遍历N个第二图像，依次将这N个第二图像作为待计算图像，服务器将待计算图像中第一运动员对应的各像素点的坐标、第一运动员对应的各像素点的深度值、第二运动员对应的各像素点的坐标、以及第二运动员对应的各像素点的深度值，均输入至预训练的测距模型中，得到测距模型输出的该待计算图像中第一运动员与第二运动员之间的三维距离，预训练的测距模型基于海量的训练样本训练得到，测距模型可以由本领域的技术人员根据实际需要进行配置。

步骤104，在至少有连续K个第二目标帧对应的第二图像中的三维距离小于预设的安全距离的情况下，确定第一运动员存在犯规行为。

具体而言，服务器确定各第二目标帧对应的第二图像中第一运动员与第二运动员之间的三维距离后，可以分别检测各第二目标帧对应的第二图像中第一运动员与第二运动员之间的三维距离是否小于预设的安全距离，服务器在检测到至少有连续K个第二目标帧对应的第二图像中的三维距离小于预设的安全距离的情况下，确定第一运动员存在犯规行为，其中，K为小于N的整数。

在一个例子中，服务器在检测到没有连续K个第二目标帧对应的第二图像中的三维距离小于预设的安全距离的情况下，可以第一运动员不存在犯规行为。

在一个例子中，本申请实施例中的彩色视频包括若干不同角度拍摄得到的彩色视频，深度视频包括若干不同角度拍摄得到的深度视频，不同的拍摄角度至少包括主视角度、俯视角度和侧视角度，考虑到只使用一个相机进行体育竞赛的拍摄可能不能满足犯规检测的需要，有些过于偏僻的角落拍摄不到，因此本申请的实施例选用若干不同角度拍摄得到的彩色视频，也就是设置多个在不同角度进行拍摄的相机，从而进一步提升犯规行为检测的准确性。

本实施例，服务器在彩色视频中截取时序连续的N个第一目标帧得到N个第一图像，并分别在N个第一图像中确定疑似犯规的第一运动员和疑似被犯规的第二运动员，再在与彩色视频由同一相机同时拍摄得到的深度视频中确定分别与N个第一目标帧时序相同的N个第二目标帧，并截取N个第二目标帧得到N个第二图像，随后分别基于N个第二图像，确定各第二目标帧对应的第二图像中第一运动员与第二运动员之间的三维距离，并在至少有连续K个第二目标帧对应的第二图像中的第一运动员与第二运动员之间的三维距离小于预设的安全距离的情况下，确定第一运动员存在犯规行为，考虑到某些持续时间较长的近身动作比如过久的贴身逼防、近身缠斗，其实也会对其他的运动员的安全造成威胁而，是危险的犯规动作，但这些动作不容易被裁判员发现，而本申请的实施例，服务器基于彩色视频和深度视频进行综合研判，检测是否在足够的连续帧内第一运动员持续侵犯了第二运动员的安全区域，从而简单、及时、科学、准确地检测出无身体接触的长时间近身的犯规行为，尽可能地避免误判、漏判等现象的发生，同时，本申请的检测方式清晰可视，具有强大的数据支持，增强了犯规行为的判罚的可解释性。

在一个实施例中，服务器分别基于N个第二图像，确定各第二图像中第一运动员与第二运动员之间的三维距离，可以通过如图2所示的各步骤实现，具体包括：

步骤201，依次将N个第二图像作为待计算图像，在待计算图像中确定第一运动员的第一关键点和第二运动员的第二关键点。

具体而言，服务器在截取N个第二目标帧得到N个第二图像后，可以遍历这N个第二图像，依次将N个第二图像作为待计算图像，并在待计算图像中确定第一运动员的第一关键点和第二运动员的第二关键点。

在具体实现中，考虑到第一图像中第一运动员的位置就是对应的第二图像中第一运动员的位置，第一图像中第二运动员的位置就是对应的第二图像中第二运动员的位置，这是不会改变的，同时，在激烈的体育竞赛中，近距离对抗是必不可少的一部分，运动员的大部分的身体部位的靠近甚至触碰是不会威胁到运动员的安全的，但运动员的小部分身体部分是比较脆弱、容易受伤的，因此服务器对这些部位进行检测就可以进行科学、合理的犯规行为检测，因此本实施例中，服务器在确定第一运动员与第二运动员之间的三维距离时，可以先在第二图像中确定第一运动员的第一关键点和第二运动员的第二关键点。

在一个例子中，运动员的面部是比较脆弱的，比如眉骨、鼻梁骨都比较容易受伤，因此试图击打面部、戳眼等行为都是危险的犯规行为，服务器可以选定第一运动员的手为第一关键点，用鼻尖来代表面部，即选定第二运动员的鼻尖点为第二关键点。

步骤202，根据第一关键点的坐标和第二关键点的坐标，计算第一关键点与第二关键点之间的二维距离。

具体而言，服务器在待计算图像中确定出第一运动员的第一关键点和第二运动员的第二关键点后，可以以待计算图像的左下角为原点建立二维直角坐标系，获取第一关键点的坐标和第二关键点的坐标，并根据第一关键点的坐标和第二关键点的坐标，计算第一关键点与第二关键点之间的二维距离。

步骤203，根据第一关键点的深度值和第二关键点的深度值，计算第一关键点与第二关键点之间的深度值差值。

具体而言，由于待计算图像是从深度视频中截取得到的，待计算图像即深度图像，含有每个像素点的深度数据，因此服务器在待计算图像中确定出第一运动员的第一关键点和第二运动员的第二关键点后，可以获取第一关键点的深度值和第二关键点的深度值，并根据第一关键点的深度值和第二关键点的深度值，计算出第一关键点与第二关键点之间的深度值差值。

在具体实现中，服务器可以先执行步骤202再执行步骤203，也可以先执行步骤203再执行步骤202，还可以同时执行步骤202和步骤203。

步骤204，根据二维距离和深度值差值，计算第一关键点与第二关键点之间的三维距离，并将第一关键点与第二关键点之间的三维距离作为待计算图像中第一运动员与第二运动员之间的三维距离。

具体而言，服务器在计算出第一关键点与第二关键点之间的二维距离，以及第一关键点与第二关键点之间的深度值差值之后，可以基于三角原理，根据第一关键点与第二关键点之间的二维距离，以及第一关键点与第二关键点之间的深度值差值，计算出第一关键点与第二关键点之间的三维距离，并将第一关键点与第二关键点之间的三维距离，作为该待计算图像中第一运动员与第二运动员之间的三维距离。

本实施例，考虑到在激烈的体育竞赛中，近距离对抗是必不可少的一部分，大部分身体部位的靠近甚至触碰不会威胁到运动员的安全，但小部分身体部分是比较脆弱、容易受伤的，长时间的近身缠斗对容易这些部位造成损伤，因此本申请选定第一运动员的第一关键点、第二运动员的第二关键点来进行第一运动员与第二运动员之间的三维距离的计算，计算过程简单且快速，更加符合体育竞赛的实际情况。

本申请的另一个实施例涉及一种犯规行为检测方法，下面对本实施例的犯规行为检测方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须，本实施例的犯规行为检测方法的具体流程可以如图3所示，包括：

步骤301，在彩色视频中截取时序连续的N个第一目标帧得到N个第一图像，并分别在N个第一图像中确定第一运动员和第二运动员。

步骤302，在深度视频中确定分别与N个第一目标帧时序相同的N个第二目标帧，并截取N个第二目标帧得到N个第二图像。

步骤303，分别基于N个第二图像，确定各第二目标帧对应的第二图像中第一运动员与第二运动员之间的三维距离。

其中，步骤301至步骤303与步骤101至步骤103大致相同，此处不再赘述。

步骤304，在没有连续K个第二目标帧对应的第二图像中的三维距离小于预设的安全距离，且有连续D个第二目标帧对应的第二图像中的三维距离小于预设的安全距离的情况下，检测连续D个第二目标帧是否包括时序最靠前的第二目标帧。

步骤305，在连续D个第二目标帧包括时序最靠前的第二目标帧的情况下，以时序最靠前的第二目标帧为起点，向前连续获取K-D个第三目标帧。

在具体实现中，由于时序连续的N个第一目标帧是由裁判员或视频裁判组选取的，这依据于裁判员或视频裁判组的经验，选取的N个第一目标帧不一定非常精准，为了提升判罚的准确性，服务器在检测到没有连续K个第二目标帧对应的第二图像中的三维距离小于预设的安全距离，且有连续D个第二目标帧对应的第二图像中的三维距离小于预设的安全距离的情况下，可以继续检测这连续D个第二目标帧是否包括时序最靠前的第二目标帧，如果这连续D个第二目标帧包括时序最靠前的第二目标帧，说明第一运动员的犯规行为可能在裁判员或视频裁判组选取的帧之前，服务器可以以时序最靠前的第二目标帧为起点，向前连续获取K-D个第三目标帧，从而继续检测，其中，D为小于K的整数。

在一个例子中，如果服务器检测到没有连续K个第二目标帧对应的第二图像中的三维距离小于预设的安全距离，且没有连续D个第二目标帧对应的第二图像中的三维距离小于预设的安全距离，则服务器可以确定第一运动员不存在犯规行为。

在一个例子中，如果服务器检测到没有连续K个第二目标帧对应的第二图像中的三维距离小于预设的安全距离，且有连续D个第二目标帧对应的第二图像中的三维距离小于预设的安全距离，但这连续D个第二目标帧不包括时序最靠前的第二目标帧，服务器也可以确定第一运动员不存在犯规行为。

步骤306，截取K-D个第三目标帧得到K-D个第三图像，并分别基于所述K-D个第三图像，确定各第三图像中第一运动员与第二运动员之间的三维距离。

具体而言，服务器在以时序最靠前的第二目标帧为起点，向前连续获取K-D个第三目标帧后，可以截取这K-D个第三目标帧得到K-D个第三图像，并分别基于所述K-D个第三图像，确定各第三图像中第一运动员与第二运动员之间的三维距离。

步骤307，在K-D个第三图像中的三维距离均小于预设的安全距离的情况下，确定第一运动员存在犯规行为。

在具体实现中，服务器在检测到K-D个第三图像中的三维距离均小于预设的安全距离的情况下，也就是说总共有连续K个帧中第一运动员都侵犯了第二运动员的安全范围，服务器可以确定第一运动员存在犯规行为。

在一个例子中，如果这K-D个第三图像中至少有一个第三图像中的三维距离大于或等于预设的安全距离，说明第一运动员没有对第二运动员进行时间过长的贴身逼防、近身缠斗，服务器确定第一运动员不存在犯规行为。

本实施例，考虑到在实际应用中，连续的N个第一目标帧是按照裁判员的意愿进行选取的，并不一定是最合适的，因此本申请的实施例在连续的目标帧内没有检测到持续时间足够长的近身动作，但这些连续的目标帧的第一帧中第一运动员与第二运动员距离过近时，可以再向前获取一段连续的帧，若后获取的连续的帧中第一运动员与第二运动员均距离过近，可以确定第一运动员进行了过久的贴身逼防、近身缠斗，确定第一运动员存在犯规行为，从而可以进一步避免误判、漏判现象的发生，提升体育竞赛的公平性。

本申请的另一个实施例涉及一种犯规行为检测方法，下面对本实施例的犯规行为检测方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须，本实施例的犯规行为检测方法的具体流程可以如图4所示，包括：

步骤401，在彩色视频中截取时序连续的N个第一目标帧得到N个第一图像，并分别在N个第一图像中确定第一运动员和第二运动员。

步骤402，在深度视频中确定分别与N个第一目标帧时序相同的N个第二目标帧，并截取N个第二目标帧得到N个第二图像。

步骤403，分别基于N个第二图像，确定各第二目标帧对应的第二图像中第一运动员与第二运动员之间的三维距离。

其中，步骤401至步骤403与步骤101至步骤103大致相同，此处不再赘述。

步骤404，在没有连续K个第二目标帧对应的第二图像中的三维距离小于预设的安全距离，且有连续F个第二目标帧对应的第二图像中的三维距离小于预设的安全距离的情况下，检测连续F个第二目标帧是否包括时序最靠后的第二目标帧。

步骤405，在连续F个第二目标帧包括时序最靠后的第二目标帧的情况下，以时序最靠后的第二目标帧为起点，向后连续获取K-F个第四目标帧。

在具体实现中，由于时序连续的N个第一目标帧是由裁判员或视频裁判组选取的，这依据于裁判员或视频裁判组的经验，选取的N个第一目标帧不一定非常精准，为了提升判罚的准确性，服务器在检测到没有连续K个第二目标帧对应的第二图像中的三维距离小于预设的安全距离，且有连续F个第二目标帧对应的第二图像中的三维距离小于预设的安全距离的情况下，可以继续检测这连续F个第二目标帧是否包括时序最靠后的第二目标帧，如果这连续F个第二目标帧包括时序最靠后的第二目标帧，说明第一运动员的犯规行为可能在裁判员或视频裁判组选取的帧之后，服务器可以以时序最靠后的第二目标帧为起点，向后连续获取K-F个第四目标帧，从而继续检测，其中，F为小于K的整数。

在一个例子中，如果服务器检测到没有连续K个第二目标帧对应的第二图像中的三维距离小于预设的安全距离，且没有连续F个第二目标帧对应的第二图像中的三维距离小于预设的安全距离，则服务器可以确定第一运动员不存在犯规行为。

在一个例子中，如果服务器检测到没有连续K个第二目标帧对应的第二图像中的三维距离小于预设的安全距离，且有连续F个第二目标帧对应的第二图像中的三维距离小于预设的安全距离，但这连续F个第二目标帧不包括时序最靠后的第二目标帧，服务器也可以确定第一运动员不存在犯规行为。

步骤406，截取K-F个第四目标帧得到K-F个第四图像，并分别基于K-F个第四图像，确定各第四图像中第一运动员与第二运动员之间的三维距离。

具体而言，服务器在以时序最靠后的第二目标帧为起点，向后连续获取K-F个第四目标帧后，可以截取这K-F个第四目标帧得到K-F个第四图像，并分别基于所述K-F个第四图像，确定各第四图像中第一运动员与第二运动员之间的三维距离。

步骤407，在K-F个第四图像中的三维距离均小于预设的安全距离的情况下，确定第一运动员存在犯规行为。

在具体实现中，服务器在检测到K-F个第四图像中的三维距离均小于预设的安全距离的情况下，也就是说总共有连续K个帧中第一运动员都侵犯了第二运动员的安全范围，服务器可以确定第一运动员存在犯规行为。

在一个例子中，如果这K-F个第四图像中至少有一个第四图像中的三维距离大于或等于预设的安全距离，说明第一运动员没有对第二运动员进行时间过长的贴身逼防、近身缠斗，服务器确定第一运动员不存在犯规行为。

本实施例，考虑到在实际应用中，连续的N个第一目标帧是按照裁判员的意愿进行选取的，并不一定是最合适的，因此本申请的实施例在连续的目标帧内没有检测到持续时间足够长的近身动作，但这些连续的目标帧的最后一帧中第一运动员与第二运动员距离过近时，可以再向后获取一段连续的帧，若后获取的连续的帧中第一运动员与第二运动员均距离过近，可以确定第一运动员进行了过久的贴身逼防、近身缠斗，确定第一运动员存在犯规行为，从而可以进一步避免误判、漏判现象的发生，提升体育竞赛的公平性。

本申请的另一个实施例涉及一种犯规行为检测方法，下面对本实施例的犯规行为检测方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须，本实施例的犯规行为检测方法的具体流程可以如图5所示，包括：

步骤501，在彩色视频中截取时序连续的N个第一目标帧得到N个第一图像，并分别在N个第一图像中确定第一运动员和第二运动员。

步骤502，在深度视频中确定分别与N个第一目标帧时序相同的N个第二目标帧，并截取N个第二目标帧得到N个第二图像。

步骤503，分别基于N个第二图像，确定各第二目标帧对应的第二图像中第一运动员与第二运动员之间的三维距离。

步骤504，在至少有连续K个第二目标帧对应的第二图像中的三维距离小于预设的安全距离的情况下，确定第一运动员存在犯规行为。

其中，步骤501至步骤503与步骤101至步骤103大致相同，此处不再赘述。

步骤505，获取连续K个第二目标帧中第一帧在深度视频中的时间戳和最后一帧在深度视频中的时间戳。

步骤506，根据第一帧在深度视频中的时间戳和最后一帧在深度视频中的时间戳，确定并输出第一运动员的犯规时长。

具体而言，服务器在确定第一运动员存在犯规行为后，可以获取连续K个第二目标帧中第一帧在深度视频中的时间戳和最后一帧在深度视频中的时间戳，用连续K个第二目标帧中最后一帧在深度视频中的时间戳减去连续K个第二目标帧中第一帧在深度视频中的时间戳，即可得到第一运动员的犯规时长，服务器将第一运动员的犯规时长进行输出。

本实施例，考虑到裁判员的判罚需要以事实为基准，强有力的数据证据可以大大增强犯规行为判罚的可解释性，本申请的实施例在确定第一运动员存在犯规行为后，可以获取并输出第一运动员的犯规时长，使得判罚有理有据。

本申请的另一个实施例涉及一种犯规行为检测方法，下面对本实施例的犯规行为检测方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须，本实施例的犯规行为检测方法的具体流程可以如图6所示，包括：

步骤601，在彩色视频中截取时序连续的N个第一目标帧得到N个第一图像，并分别在N个第一图像中确定第一运动员和第二运动员。

步骤602，在深度视频中确定分别与N个第一目标帧时序相同的N个第二目标帧，并截取N个第二目标帧得到N个第二图像。

步骤603，分别基于N个第二图像，确定各第二目标帧对应的第二图像中第一运动员与第二运动员之间的三维距离。

步骤604，在至少有连续K个第二目标帧对应的第二图像中的三维距离小于预设的安全距离的情况下，确定第一运动员存在犯规行为。

其中，步骤601至步骤603与步骤101至步骤103大致相同，此处不再赘述。

步骤605，获取第二运动员的受伤状态信息。

步骤606，判断第二运动员是否受伤，若是，执行步骤607，否则，执行步骤608。

步骤607，确定第一运动员存在普通犯规行为。

步骤608，确定第一运动员存在恶意犯规行为。

在具体实现中，服务器在确定第一运动员存在犯规行为之后，可以获取第二运动员的受伤状态信息，如果判断第二运动员未受伤，则确定第一运动员存在普通犯规行为，如果判断第二运动员受伤，则确定第一运动员存在恶意犯规行为，为了保护被犯规的运动员，体育竞赛中一般采用结果导向的判罚标准，即根据被犯规运动员的受伤情况对犯规的运动员进行不同程度的犯规判罚，可以进一步保护被犯规的运动员的权益、进一步提升体育竞赛的公平性。

上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。

本申请的另一个实施例涉及一种犯规行为检测装置，下面对本实施例的犯规行为检测装置的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须，本实施例的犯规行为检测装置的示意图可以如图7所示，该装置包括相机模块701、定位模块702、计算模块703和检测模块704。

相机模块701用于同时拍摄彩色视频和深度视频。

定位模块702用于在彩色视频中截取时序连续的N个第一目标帧得到N个第一图像，分别在N个第一图像中确定第一运动员和第二运动员，并在深度视频中确定分别与N个第一目标帧时序相同的N个第二目标帧，截取N个第二目标帧得到N个第二图像，其中，N为大于1的整数，第一运动员为疑似犯规的运动员，第二运动员为疑似被犯规的运动员。

计算模块703用于分别基于N个第二图像，确定各第二目标帧对应的第二图像中第一运动员与第二运动员之间的三维距离。

检测模块704用于在至少有连续K个第二目标帧对应的第二图像中的三维距离小于预设的安全距离的情况下，确定第一运动员存在犯规行为，其中，K为小于N的整数。

值得一提的是，本实施例中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本申请的创新部分，本实施例中并没有将与解决本申请所提出的技术问题关系不太密切的单元引入，但这并不表明本实施例中不存在其它的单元。

本申请另一个实施例涉及一种电子设备，如图8所示，包括：至少一个处理器801；以及，与所述至少一个处理器801通信连接的存储器802；其中，所述存储器802存储有可被所述至少一个处理器801执行的指令，所述指令被所述至少一个处理器801执行，以使所述至少一个处理器801能够执行上述各实施例中的犯规行为检测方法。

其中，存储器和处理器采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器和存储器的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器。

处理器负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。

本申请另一个实施例涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。

即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，简称：ROM)、随机存取存储器(Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域的普通技术人员可以理解，上述各实施例是实现本申请的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本申请的精神和范围。

Claims (9)

1.一种犯规行为检测方法，其特征在于，包括：

在彩色视频中截取时序连续的N个第一目标帧得到N个第一图像，并分别在所述N个第一图像中确定第一运动员和第二运动员；其中，N为大于1的整数，所述第一运动员为疑似犯规的运动员，所述第二运动员为疑似被犯规的运动员；

在深度视频中确定分别与所述N个第一目标帧时序相同的N个第二目标帧，并截取所述N个第二目标帧得到N个第二图像；其中，所述深度视频与所述彩色视频由同一相机同时拍摄得到；

分别基于所述N个第二图像，确定各所述第二目标帧对应的第二图像中所述第一运动员与所述第二运动员之间的三维距离；

在至少有连续K个所述第二目标帧对应的第二图像中的所述三维距离小于预设的安全距离的情况下，确定所述第一运动员存在犯规行为；其中，K为小于N的整数；

在所述分别基于所述N个第二图像，确定各所述第二目标帧对应的第二图像中所述第一运动员与所述第二运动员之间的三维距离之后，包括：

在没有连续K个所述第二目标帧对应的第二图像中的所述三维距离小于预设的安全距离，且有连续D个所述第二目标帧对应的第二图像中的所述三维距离小于预设的安全距离的情况下，检测所述连续D个所述第二目标帧是否包括时序最靠前的第二目标帧；其中，D为小于K的整数；

在所述连续D个所述第二目标帧包括所述时序最靠前的第二目标帧的情况下，以所述时序最靠前的第二目标帧为起点，向前连续获取K-D个第三目标帧；

截取所述K-D个第三目标帧得到K-D个第三图像，并分别基于所述K-D个第三图像，确定各所述第三图像中所述第一运动员与所述第二运动员之间的三维距离；

在所述K-D个第三图像中的所述三维距离均小于所述预设的安全距离的情况下，确定所述第一运动员存在犯规行为。

2.根据权利要求1所述的犯规行为检测方法，其特征在于，所述分别基于所述N个第二图像，确定各所述第二图像中所述第一运动员与所述第二运动员之间的三维距离，包括：

依次将所述N个第二图像作为待计算图像，在所述待计算图像中确定所述第一运动员的第一关键点和所述第二运动员的第二关键点；

根据所述第一关键点的坐标和所述第二关键点的坐标，计算所述第一关键点与所述第二关键点之间的二维距离；

根据所述第一关键点的深度值和所述第二关键点的深度值，计算所述第一关键点与所述第二关键点之间的深度值差值；

根据所述二维距离和所述深度值差值，计算所述第一关键点与所述第二关键点之间的三维距离，并将所述第一关键点与所述第二关键点之间的三维距离作为所述待计算图像中所述第一运动员与所述第二运动员之间的三维距离。

3.根据权利要求1所述的犯规行为检测方法，其特征在于，在所述分别基于所述N个第二图像，确定各所述第二目标帧对应的第二图像中所述第一运动员与所述第二运动员之间的三维距离之后，包括：

在没有连续K个所述第二目标帧对应的第二图像中的所述三维距离小于预设的安全距离，且有连续F个所述第二目标帧对应的第二图像中的所述三维距离小于预设的安全距离的情况下，检测所述连续F个所述第二目标帧是否包括时序最靠后的第二目标帧；其中，F为小于K的整数；

在所述连续F个所述第二目标帧包括所述时序最靠后的第二目标帧的情况下，以所述时序最靠后的第二目标帧为起点，向后连续获取K-F个第四目标帧；

截取所述K-F个第四目标帧得到K-F个第四图像，并分别基于所述K-F个第四图像，确定各所述第四图像中所述第一运动员与所述第二运动员之间的三维距离；

在所述K-F个第四图像中的所述三维距离均小于所述预设的安全距离的情况下，确定所述第一运动员存在犯规行为。

4.根据权利要求1所述的犯规行为检测方法，其特征在于，在所述确定所述第一运动员存在犯规行为之后，所述方法还包括：

获取所述连续K个所述第二目标帧中第一帧在所述深度视频中的时间戳和最后一帧在所述深度视频中的时间戳；

根据所述第一帧在所述深度视频中的时间戳和最后一帧在所述深度视频中的时间戳，确定并输出所述第一运动员的犯规时长。

5.根据权利要求1至权利要求4中任一项所述的犯规行为检测方法，其特征在于，所述彩色视频包干若干不同角度拍摄得到的彩色视频，所述深度视频包干若干不同角度拍摄得到的深度视频，所述不同角度至少包括主视角度、俯视角度和侧视角度。

6.根据权利要求1至权利要求4中任一项所述的犯规行为检测方法，其特征在于，所述确定所述第一运动员存在犯规行为，包括：

获取所述第二运动员的受伤状态信息；其中，所述受伤状态信息包括受伤和未受伤；

若所述第二运动员未受伤，则确定所述第一运动员存在普通犯规行为；

若所述第二运动员受伤，则确定所述第一运动员存在恶意犯规行为。

7.一种犯规行为检测装置，其特征在于，所述装置包括相机模块、定位模块、计算模块和检测模块；

所述相机模块用于同时拍摄彩色视频和深度视频；

所述定位模块用于在所述彩色视频中截取时序连续的N个第一目标帧得到N个第一图像，分别在所述N个第一图像中确定第一运动员和第二运动员，并在所述深度视频中确定分别与所述N个第一目标帧时序相同的N个第二目标帧，截取所述N个第二目标帧得到N个第二图像，其中，N为大于1的整数，所述第一运动员为疑似犯规的运动员，所述第二运动员为疑似被犯规的运动员；

所述计算模块用于分别基于所述N个第二图像，确定各所述第二目标帧对应的第二图像中所述第一运动员与所述第二运动员之间的三维距离；

所述检测模块用于在至少有连续K个所述第二目标帧对应的第二图像中的所述三维距离小于预设的安全距离的情况下，确定所述第一运动员存在犯规行为，其中，K为小于N的整数；

在所述分别基于所述N个第二图像，确定各所述第二目标帧对应的第二图像中所述第一运动员与所述第二运动员之间的三维距离之后，包括：

在没有连续K个所述第二目标帧对应的第二图像中的所述三维距离小于预设的安全距离，且有连续D个所述第二目标帧对应的第二图像中的所述三维距离小于预设的安全距离的情况下，检测所述连续D个所述第二目标帧是否包括时序最靠前的第二目标帧；其中，D为小于K的整数；

在所述连续D个所述第二目标帧包括所述时序最靠前的第二目标帧的情况下，以所述时序最靠前的第二目标帧为起点，向前连续获取K-D个第三目标帧；

截取所述K-D个第三目标帧得到K-D个第三图像，并分别基于所述K-D个第三图像，确定各所述第三图像中所述第一运动员与所述第二运动员之间的三维距离；

在所述K-D个第三图像中的所述三维距离均小于所述预设的安全距离的情况下，确定所述第一运动员存在犯规行为。

8.一种电子设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至权利要求6中任一所述的犯规行为检测方法。

9.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至权利要求6中任一项所述的犯规行为检测方法。

Images