CN114092706A - 一种体育全景足球录像方法、系统、存储介质及终端设备 - Google Patents
一种体育全景足球录像方法、系统、存储介质及终端设备 Download PDFInfo
- Publication number
- CN114092706A CN114092706A CN202111337299.6A CN202111337299A CN114092706A CN 114092706 A CN114092706 A CN 114092706A CN 202111337299 A CN202111337299 A CN 202111337299A CN 114092706 A CN114092706 A CN 114092706A
- Authority
- CN
- China
- Prior art keywords
- image
- layer
- extraction layer
- paths
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000001514 detection method Methods 0.000 claims abstract description 49
- 238000012545 processing Methods 0.000 claims abstract description 27
- 238000012544 monitoring process Methods 0.000 claims abstract description 11
- 238000000605 extraction Methods 0.000 claims description 140
- 238000013507 mapping Methods 0.000 claims description 28
- 238000005070 sampling Methods 0.000 claims description 28
- 238000004590 computer program Methods 0.000 claims description 17
- 238000009432 framing Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 14
- 239000013598 vector Substances 0.000 claims description 14
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 230000036544 posture Effects 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000000386 athletic effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Evolutionary Biology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本申请涉及一种体育全景足球录像方法，包括获取两路图像采集设备在监测区域内所采集的原始图像信息，并分别对两路所述原始图像信息进行图像处理，得到两路处理图像；将两路所述处理图像输入运动检测模型进行运动目标检测；根据所述图像采集设备的标定内外参数进行图像拼接，得到拼接图像；根据拼接图像中所述运动目标的位置进行图像取景景。相比现有技术，本发明能够对足球比赛视频中的运动目标进行自动捕捉，根据足球位置实时计算需要输出的最佳观看区域图像，满足了实际应用需求。
Description
技术领域
本申请涉及物联网技术领域，特别是涉及一种体育全景足球录像方法、系统、介质及设备。
背景技术
众所周知的，在各种体育运动中，球类运动是参与人数最多，受关注度最高的运动。其中，又以足球、篮球等具有大场景、变动快、竞技性强的运动最受欢迎。由于足球及相关产业，全球年产值超过5000亿美元，因此其成为了受众最多的体育运动。大众观赏足球比赛的方式除了现场观看外，就只有通过看体育视频来获取了，这需要专业人员配备专业摄像机通过剪辑生成体育视频。需要大量的人力物力才能呈现出可供观看的体育视频。而这只在顶级的职业联赛才能耗费的起制作体育视频的成本。
然而，各种半职业联赛、高校联赛、业余比赛、职工比赛、中小学比赛等等，多达99％的现场比赛只供现场观众观看，都没能以流媒体或者专业转播的形式呈现在我们面前。针对此场景的比赛，现有技术主要还是通过人工方法到现场拿摄像机拍摄直播，不能自动根据足球位置生成直播视频，或者是简单对画面进行拼接，看全整个球场，不仅拼接分辨率极大，聚焦不够，手机播放视频横纵比压缩严重。
发明内容
基于此，有必要针对上述技术问题，提供一种能够对足球比赛视频中的运动目标进行自动捕捉，根据足球位置实时计算需要输出的最佳观看区域图像的体育全景足球录像方法、系统、介质及设备。
本发明实施例提供了一种体育全景足球录像方法，应用与一电路考试系统，所述方法包括以下步骤：
获取两路图像采集设备在监测区域内所采集的原始图像信息，并分别对两路所述原始图像信息进行图像处理，得到两路处理图像；
将两路所述处理图像输入运动检测模型进行运动目标检测；
根据所述图像采集设备的标定内外参数进行图像拼接，得到拼接图像；
根据拼接图像中所述运动目标的位置进行图像取景。
进一步地，将两路所述处理图像输入运动检测模型进行运动目标检测的方法包括：
融合上下文信息，通过所运动检测模型对所述处理图像中的运动目标进行特征提取，并记录图像的时间戳，同时将相关数据进行缓存至缓存队列。
进一步地，所述运动检测模型包括：依次与深度神经网络连接的第一信息提取层、第二信息提取层、第三信息提取层、第四信息提取层，以及与所述第一信息提取层连接的预测层；
所述第一信息提取层，用于对所述深度神经网络输出的处理图像进行第一特征提取；
所述第二信息提取层，用于对进行第一特征提取后特征图进行第二特征提取，并将提取的所述第二特征与所述第一特征进行融合；
所述第三信息提取层，用于对进行第二特征提取后特征图进行第三特征提取，并将提取的所述第三特征与所述第二特征进行融合；
所述第四信息提取层，用于对进行第三特征提取后特征图进行第四特征提取，并将提取的所述第四特征与所述第三特征进行融合；
所述预测层，用于对所述运动目标的置信度、半径、中心偏移及矢量进行预测。
进一步地，所述第一信息提取层包括第一特征提取层及与所述第一特征提取层连接的第一卷积层；
所述第二信息提取层包括第二特征提取层、与所述第二特征提取层连接的第二卷积层，以及与所述第二卷积层输出端连接的第一上采样层，所述第一上采样层的输出端与所述第一卷积层的输入端连接；
所述第三信息提取层包括第三特征提取层、与所述第三特征提取层连接的第三卷积层，以及与所述第三卷积层输出端连接的第二上采样层，所述第二上采样层的输出端与所述第二卷积层的输入端连接；
所述第四信息提取层包括第四特征提取层，以及依次与所述第四特征提取层连接的第一轻量化卷积层、第二轻量化卷积层和第三上采样层，所述第三上采样层的输出端与所述第三上采样层的输入端连接。
进一步地，所述标定内外参数的获取方法包括：
对于内参的标定：通过棋盘格分别对两路原始图像信息通过摆放棋盘格不同位置和不同姿态，得到待标定内参的图像。
对于外参的标定：通过棋盘格对两路所述原始图像信息的重叠区域内进行棋盘格不同位置和不同姿态摆放，得到待标定的外参图像。
将上述采集到的内外参图像数据导入标定工具，进行内外参数的标定，得到标定内外参数。
进一步地，根据所述图像采集设备的标定内外参数进行图像拼接，得到拼接图像的方法包括：
根据所述标定内外参数创建拼接组，将所述拼接组输入拼接函数，设置拼接输出通道的属性并使能，以对所述缓存队列中的每一对对齐的帧进行拼接，得到拼接图像。
进一步地，根据拼接图像中所述运动目标的位置进行图像取景方法包括：
获取输出域拼接图像坐标与输入域原始图像坐标的映射表；
根据所述映射表得到当前运动目标的中心坐标映射至所述拼接图像上的映射坐标；
将所述映射坐标作为输出图像的投影中心，并设置拼接图像输出的分辨率，得到根据所述运动目标的位置移动输出的取景区域。
本发明的另一实施例提出一种体育全景足球录像系统，所述系统包括：
信息获取模块，用于获取两路图像采集设备在监测区域内所采集的原始图像信息，并分别对两路所述原始图像信息进行图像处理，得到两路处理图像；
目标检测模块，用于将两路所述处理图像输入运动检测模型进行运动目标检测；
图像拼接模块，用于根据所述图像采集设备的标定内外参数及所述运动目标进行图像拼接，得到拼接图像；
图像取景模块，用于根据拼接图像中所述运动目标的位置进行图像取景。
本发明的另一个实施例还提出一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行如上所述的体育全景足球录像方法。
本发明的另一个实施例还提出一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现如上所述的体育全景足球录像方法。
上述体育全景足球录像方法，获取两路图像采集设备在监测区域内所采集的原始图像信息，并分别对两路所述原始图像信息进行图像处理，得到两路处理图像；将两路所述处理图像输入运动检测模型进行运动目标检测；根据所述图像采集设备的标定内外参数进行图像拼接，得到拼接图像；根据拼接图像中所述运动目标的位置进行图像取景。相比现有技术，本发明能够对足球比赛视频中的运动目标进行自动捕捉，根据足球位置实时计算需要输出的最佳观看区域图像，满足了实际应用需求。
附图说明
图1为本发明实施例提供的体育全景足球录像方法的一种流程示意图；
图2为图1中运动检测模型的数据流图；
图3为本发明实施例提供的体育全景足球录像系统的结构框图；
图4为本发明实施例提供的设备终端的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本技术领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，文中的步骤编号，仅为了方便具体实施例的解释，不作为限定步骤执行先后顺序的作用。本实施例提供的方法可以由相关的服务器执行，且下文均以服务器作为执行主体为例进行说明。
如图1所示，本发明实施例提供的体育全景足球录像方法，所述方法包括步骤S11至步骤S14：
步骤S11，获取两路图像采集设备在监测区域内所采集的原始图像信息，并分别对两路所述原始图像信息进行图像处理，得到两路处理图像。
具体的，基于Hisi3559a开发板，接两路IMX340 sensor对所述监测区域如足球场内的图像进行采集。其中，所述sensor使用slaver模式，达到两个sensor同步曝光，减少拼接图像的颜色等差异性。另外，sensor采集到的原始图像数据，我们为两路视频配置各自的处理流水线，每条流水线包括：VI模块处理，VPSS处理(即视频处理子系统)，AVS处理配置(AVS指拼接处理模块)。sensor数据经过VI模块后得到数字图像，准备用于足球检测和拼接。
进一步地，sensor接入到VI模块，VI模块对从sensor采集到的原始数据进行图像信号处理，得到YUV格式图像，接着经过VPSS(视频处理子系统)对图像进一步操作，配置视频压缩数据格式，视频格式，图像格式等内容，从VPSS处理后的图像准备用于运动目标检测使用。而AVS模块，则需要运动目标检测后，对检测的运动目标帧进行缓存，并从缓冲区里匹配两个sensor最靠近的两个PTS(时间戳)作为AVS的输入帧，调用海思的AVS模块进行拼接。可以理解，本实施例中所述运动目标为包括但不限于足球，在其他实施例中，所述运动目标还可以为运动员。
步骤S12，将两路所述处理图像输入运动检测模型进行运动目标检测。
具体的，融合上下文信息，通过所运动检测模型对所述处理图像中的运动目标进行特征提取，并记录图像的时间戳，同时将相关数据进行缓存至缓存队列。
进一步，请参阅图2，所述运动检测模型包括：依次与深度神经网络连接的第一信息提取层、第二信息提取层、第三信息提取层、第四信息提取层，以及与所述第一信息提取层连接的预测层；
所述第一信息提取层，用于对所述深度神经网络输出的特征图进行第一特征提取；
所述第二信息提取层，用于对进行第一特征提取后特征图进行第二特征提取，并将提取的所述第二特征与所述第一特征进行融合；
所述第三信息提取层，用于对进行第二特征提取后特征图进行第三特征提取，并将提取的所述第三特征与所述第二特征进行融合；
所述第四信息提取层，用于对进行第三特征提取后特征图进行第四特征提取，并将提取的所述第四特征与所述第三特征进行融合；
所述预测层，用于对所述运动目标的置信度、半径、中心偏移及矢量进行预测。
进一步地，所述第一信息提取层包括第一特征提取层blob1及与所述第一特征提取层连接的第一卷积层；其中，所述第一特征提取层blob1的输出分辨率为原始尺寸的1/4。所述第二信息提取层包括第二特征提取层blob2、与所述第二特征提取层blob2连接的第二卷积层，以及与所述第二卷积层输出端连接的第一上采样层，所述第一上采样层的输出端与所述第一卷积层的输入端连接；其中，所述第二特征提取层blob2的输出分辨率为原始尺寸的1/8。所述第三信息提取层包括第三特征提取层blob3、与所述第三特征提取层blob3连接的第三卷积层，以及与所述第三卷积层输出端连接的第二上采样层，所述第二上采样层的输出端与所述第二卷积层的输入端连接；其中，所述第三特征提取层blob3的输出分辨率为原始尺寸的1/16。所述第四信息提取层包括第四特征提取层blob4，以及依次与所述第四特征提取层blob4连接的第一轻量化卷积层、第二轻量化卷积层和第三上采样层，所述第三上采样层的输出端与所述第三上采样层的输入端连接；其中，所述第四特征提取层blob4的输出分辨率为原始尺寸的1/32。
以所述运动目标为足球为例来讲，通过高清分辨率(3840*2176)的图像对足球进行检测，主要原因是足球在画面中较小，如果用低分辨率的处理，则对模型性能比较低，因此需要设计一个高分辨率并且能在嵌入式运行的运动检测模型。具体地，基于深度神经网络设计了一个残差结构加金字塔的网络结构，融合上下文信息，使用anchor free的目标检测方法对足球进行了检测。对两个sensor的图像进行足球检测，并记录图像的时间戳，同时将相关数据进行缓存至缓存队列，便于后续拼接输出的匹配。其中特征提取blob是由若干卷积层堆叠而成，用于提取图像的特征信息，而第4特征提取层后接的两个结构相同，卷积核个数不同的轻量化网络结构则由不同分支卷积，并设置不同的膨胀率的结构来获取不同感受野来提升对小目标的检测能力。网络经过上采样方式进行深浅特征融合，最后输出4个分支用于回归球的信息，包括球的半径，球的置信度，球的矢量，用于判断画面中是否有球以及球的位置。具体地，可以通过置信度判断画面是否有球，置信度取值为[0,1]，默认取0.5，当置信度大于0.5时，认为该位置有球。该置信度有球坐标记录为P，则返回原图坐标为4*P，半径返回原图坐标同理乘以4，即得到球的位置信息，至于矢量，则用于判断球的模糊程度，当矢量大于半径时，认为球是模糊的，在该球的周围要找到一个跟它匹配的球矢量配对(配对指的是两个球的矢量分别指向另外一个球的圆心方向)，否则是其他运动目标的误检，不应判断为球，减少运动模糊的目标(比如人的运动过程中的手，脚等部位快速运动产生模糊误检为球)。
步骤S13，根据所述图像采集设备的标定内外参数进行图像拼接，得到拼接图像。其中内参包括：每个相机的焦距，图像主点坐标；外参包括：相机的旋转矩阵和平移矩阵，它描述的是点从世界坐标系转换到相机坐标系的过程。
具体的，根据所述运动目标及处理图像进行图像拼接之前，需要对相机进行内外参标定：对于内参的标定：通过棋盘格分别对两路原始图像信息通过摆放棋盘格不同位置和不同姿态，得到待标定内参的图像。对于外参的标定：通过棋盘格对两路所述原始图像信息的重叠区域内进行棋盘格不同位置和不同姿态摆放，得到待标定的外参图像。将上述采集到的内外参图像数据导入标定工具，进行内外参数的标定，得到标定内外参数。
进行图像拼接时，创建拼接组，将内外参关联该拼接组，将所述拼接组输入拼接函数，设置拼接输出通道的属性并使能，以对所述缓存队列中的每一对对齐的帧进行拼接，得到拼接图像。
详细来讲，在图像拼接之前，需要对两个sensor进行标定内外参数，具体地标定：使用棋盘格分别单独对两个相机进行采集数据，然后对两路图像的重叠区域摆放棋盘格，将数据导入hisi标定工具得到内外参，用于后续拼接。在拼接时，需要对缓存队列的相关数据pts进行匹配，由于两个sensor是slaver模式，帧率是30fps，因此我们认为当两个pts小于5ms，则认为此两路视频帧是同步触发的，将对齐的这两帧输入到avs拼接模块，进行图像的拼接。拼接方法：首先导入标定好的相机内外参数，根据海思3559a的拼接使用流程和函数，首先创建拼接组，然后设置拼接输出通道的属性并使能，最后启动组，这样每一对对齐的帧就会进行拼接，得到拼接图像。
步骤S14，根据拼接图像中所述运动目标的位置进行图像取景。
具体的，获取输出域拼接图像坐标与输入域原始图像坐标的映射表；根据所述映射表得到当前运动目标的中心坐标映射至所述拼接图像上的映射坐标；将所述映射坐标作为输出图像的投影中心，并设置拼接图像输出的分辨率，得到根据所述运动目标的位置移动输出的取景区域。
以所述运动目标为足球为例来讲，首先找到输出域拼接图像坐标与输入域原始图像坐标的映射表，具体做法是：将标定好的得到的相机参数加载，并设置拼接输出的配置参数(分辨率，投影模式)，输入图像参数(宽和高)，调用hisi(海思3559a)提供的相关函数(HI_AVS_PosMeshGenerate函数)，生成映射表，并保存，用于取景。在得到映射表后，根据足球的位置，尺寸来取拼接图像中应该显示哪部分区域来显示，使用球的中心坐标，通过映射表，得到当前球心坐标映射到拼接图像上的坐标，记录为C，将C作为拼接输出图像的投影中心，并设置拼接图像输出的分辨率，从而得到根据球的位置移动输出的不同取景区域。
进一步地，假设我们已知原始画面中网络检测到球的中心为C，通过海思提供的函数(HI_AVS_PosQuerySrc2Dst)，传入生成的新生成的映射表和点C的坐标，得到原始图像上的点C映射到拼接图上的位置，得到了该点在拼接图的位置，则可以根据该位置进行取景，以该点为拼接图像输出的投影中心，设置拼接输出分辨率，只输出根据球位置不同而输出不同图像区域，实现画面智能随球运动，将得到的运动画面图像进行编码，推送到云端，供用户下载或者观看。
可以理解的，本发明采用视频全景融合、智能追踪技术，对足球比赛视频中的运动目标，如足球和运动员，进行检测、提取、定位、跟踪、特殊场景捕捉记录，使足球运动能轻松、实惠的录制比赛，让每个人都能通过视频成为更好的运动员，分享比赛中的精彩瞬间，极大提升了用户体验感，能够针对业余足球比赛转播的智能化产品，助力国家足球产业发展，推进体育智能化演进。
上述体育全景足球录像方法，获取两路图像采集设备在监测区域内所采集的原始图像信息，并分别对两路所述原始图像信息进行图像处理，得到两路处理图像；将两路所述处理图像输入运动检测模型进行运动目标检测；根据所述图像采集设备的标定内外参数及所述运动目标进行图像拼接，得到拼接图像；根据拼接图像中所述运动目标的位置进行图像取景。相比现有技术，本发明能够对足球比赛视频中的运动目标进行自动捕捉，根据足球位置实时计算需要输出的最佳观看区域图像，满足了实际应用需求。
应该理解的是，虽然上述流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
请参阅图3，本发明提供还提供了一种体育全景足球录像系统，所述系统包括：
信息获取模块21，用于获取两路图像采集设备在监测区域内所采集的原始图像信息，并分别对两路所述原始图像信息进行图像处理，得到两路处理图像。
具体的，基于Hisi3559a开发板，接两路IMX340 sensor对所述监测区域如足球场内的图像进行采集。其中，所述sensor使用slaver模式，达到两个sensor同步曝光，减少拼接图像的颜色等差异性。另外，sensor采集到的原始图像数据，我们为两路视频配置各自的处理流水线，每条流水线包括：VI模块处理，VPSS处理(即视频处理子系统)，AVS处理配置(AVS指拼接处理模块)。sensor数据经过VI模块后得到数字图像，准备用于足球检测和拼接。
进一步地，sensor接入到VI模块，VI模块对从sensor采集到的原始数据进行图像信号处理，得到YUV格式图像，接着经过VPSS(视频处理子系统)对图像进一步操作，配置视频压缩数据格式，视频格式，图像格式等内容，从VPSS处理后的图像准备用于运动目标检测使用。而AVS模块，则需要运动目标检测后，对检测的运动目标帧进行缓存，并从缓冲区里匹配两个sensor最靠近的两个PTS(时间戳)作为AVS的输入帧，调用海思的AVS模块进行拼接。可以理解，本实施例中所述运动目标为包括但不限于足球，在其他实施例中，所述运动目标还可以为运动员。
目标检测模块22，用于将两路所述处理图像输入运动检测模型进行运动目标检测。
具体的，融合上下文信息，通过所运动检测模型对所述处理图像中的运动目标进行特征提取，并记录图像的时间戳，同时将相关数据进行缓存至缓存队列。
进一步，请参阅图2，所述运动检测模型包括：依次与深度神经网络连接的第一信息提取层、第二信息提取层、第三信息提取层、第四信息提取层，以及与所述第一信息提取层连接的预测层；
所述第一信息提取层，用于对所述深度神经网络输出的特征图进行第一特征提取；
所述第二信息提取层，用于对进行第一特征提取后特征图进行第二特征提取，并将提取的所述第二特征与所述第一特征进行融合；
所述第三信息提取层，用于对进行第二特征提取后特征图进行第三特征提取，并将提取的所述第三特征与所述第二特征进行融合；
所述第四信息提取层，用于对进行第三特征提取后特征图进行第四特征提取，并将提取的所述第四特征与所述第三特征进行融合；
所述预测层，用于对所述运动目标的置信度、半径、中心偏移及矢量进行预测。
进一步地，所述第一信息提取层包括第一特征提取层blob1及与所述第一特征提取层连接的第一卷积层；其中，所述第一特征提取层blob1的输出分辨率为原始尺寸的1/4。所述第二信息提取层包括第二特征提取层blob2、与所述第二特征提取层blob2连接的第二卷积层，以及与所述第二卷积层输出端连接的第一上采样层，所述第一上采样层的输出端与所述第一卷积层的输入端连接；其中，所述第二特征提取层blob2的输出分辨率为原始尺寸的1/8。所述第三信息提取层包括第三特征提取层blob3、与所述第三特征提取层blob3连接的第三卷积层，以及与所述第三卷积层输出端连接的第二上采样层，所述第二上采样层的输出端与所述第二卷积层的输入端连接；其中，所述第三特征提取层blob3的输出分辨率为原始尺寸的1/16。所述第四信息提取层包括第四特征提取层blob4，以及依次与所述第四特征提取层blob4连接的第一轻量化卷积层、第二轻量化卷积层和第三上采样层，所述第三上采样层的输出端与所述第三上采样层的输入端连接；其中，所述第四特征提取层blob4的输出分辨率为原始尺寸的1/32。
以所述运动目标为足球为例来讲，通过高清分辨率(3840*2176)的图像对足球进行检测，主要原因是足球在画面中较小，如果用低分辨率的处理，则对模型性能比较低，因此需要设计一个高分辨率并且能在嵌入式运行的运动检测模型。具体地，基于深度神经网络设计了一个残差结构加金字塔的网络结构，融合上下文信息，使用anchor free的目标检测方法对足球进行了检测。对两个sensor的图像进行足球检测，并记录图像的时间戳，同时将相关数据进行缓存至缓存队列，便于后续拼接输出的匹配。其中特征提取blob是由若干卷积层堆叠而成，用于提取图像的特征信息，而第4特征提取层后接的两个结构相同，卷积核个数不同的轻量化网络结构则由不同分支卷积，并设置不同的膨胀率的结构来获取不同感受野来提升对小目标的检测能力。网络经过上采样方式进行深浅特征融合，最后输出4个分支用于回归球的信息，包括球的半径，球的置信度，球的矢量，用于判断画面中是否有球以及球的位置。具体地，可以通过置信度判断画面是否有球，置信度取值为[0,1]，默认取0.5，当置信度大于0.5时，认为该位置有球。该置信度有球坐标记录为P，则返回原图坐标为4*P，半径返回原图坐标同理乘以4，即得到球的位置信息，至于矢量，则用于判断球的模糊程度，当矢量大于半径时，认为球是模糊的，在该球的周围要找到一个跟它匹配的球矢量配对(配对指的是两个球的矢量分别指向另外一个球的圆心方向)，否则是其他运动目标的误检，不应判断为球，减少运动模糊的目标(比如人的运动过程中的手，脚等部位快速运动产生模糊误检为球)。
图像拼接模块23，用于根据所述图像采集设备的标定内外参数进行图像拼接，得到拼接图像。
具体的，根据所述运动目标及处理图像进行图像拼接之前，需要对相机进行内外参标定，对于内参的标定：通过棋盘格分别对两路原始图像信息通过摆放棋盘格不同位置和不同姿态，得到待标定内参的图像；对于外参的标定：通过棋盘格对两路所述原始图像信息的重叠区域内进行棋盘格不同位置和不同姿态摆放，得到待标定的外参图像；将上述采集到的内外参图像数据导入标定工具，进行内外参数的标定，得到标定内外参数。
进行图像拼接时，根据所述标定内外参数创建拼接组，将所述拼接组输入拼接函数，设置拼接输出通道的属性并使能，以对所述缓存队列中的每一对对齐的帧进行拼接，得到拼接图像。
详细来讲，在图像拼接之前，需要对两个sensor进行标定内外参数，具体地标定：使用棋盘格分别单独对两个相机进行采集数据，然后对两路图像的重叠区域摆放棋盘格，将数据导入hisi标定工具得到内外参，用于后续拼接。在拼接时，需要对缓存队列的相关数据pts进行匹配，由于两个sensor是slaver模式，帧率是30fps，因此我们认为当两个pts小于5ms，则认为此两路视频帧是同步触发的，将对齐的这两帧输入到avs拼接模块，进行图像的拼接。拼接方法：首先导入标定好的相机内外参数，根据海思3559a的拼接使用流程和函数，首先创建拼接组，然后设置拼接输出通道的属性并使能，最后启动组，这样每一对对齐的帧就会进行拼接，得到拼接图像。
图像取景模块24，用于根据拼接图像中所述运动目标的位置进行图像取景。
具体的，获取输出域拼接图像坐标与输入域原始图像坐标的映射表；根据所述映射表得到当前运动目标的中心坐标映射至所述拼接图像上的映射坐标；将所述映射坐标作为输出图像的投影中心，并设置拼接图像输出的分辨率，得到根据所述运动目标的位置移动输出的取景区域。
以所述运动目标为足球为例来讲，首先找到输出域拼接图像坐标与输入域原始图像坐标的映射表，具体做法是：将标定好的得到的相机参数加载，并设置拼接输出的配置参数(分辨率，投影模式)，输入图像参数(宽和高)，调用hisi(海思3559a)提供的相关函数(HI_AVS_PosMeshGenerate函数)，生成映射表，并保存，用于取景。在得到映射表后，根据足球的位置，尺寸来取拼接图像中应该显示哪部分区域来显示，使用球的中心坐标，通过映射表，得到当前球心坐标映射到拼接图像上的坐标，记录为C，将C作为拼接输出图像的投影中心，并设置拼接图像输出的分辨率，从而得到根据球的位置移动输出的不同取景区域。
进一步地，假设我们已知原始画面中网络检测到球的中心为C，通过海思提供的函数(HI_AVS_PosQuerySrc2Dst)，传入生成的新生成的映射表和点C的坐标，得到原始图像上的点C映射到拼接图上的位置，得到了该点在拼接图的位置，则可以根据该位置进行取景，以该点为拼接图像输出的投影中心，设置拼接输出分辨率，只输出根据球位置不同而输出不同图像区域，实现画面智能随球运动，将得到的运动画面图像进行编码，推送到云端，供用户下载或者观看。
可以理解的，本发明采用视频全景融合、智能追踪技术，对足球比赛视频中的运动目标，如足球和运动员，进行检测、提取、定位、跟踪、特殊场景捕捉记录，使足球运动能轻松、实惠的录制比赛，让每个人都能通过视频成为更好的运动员，分享比赛中的精彩瞬间，极大提升了用户体验感，能够针对业余足球比赛转播的智能化产品，助力国家足球产业发展，推进体育智能化演进。
本发明实施例所提供的体育全景足球录像系统，获取两路图像采集设备在监测区域内所采集的原始图像信息，并分别对两路所述原始图像信息进行图像处理，得到两路处理图像；将两路所述处理图像输入运动检测模型进行运动目标检测；根据所述图像采集设备的标定内外参数进行图像拼接，得到拼接图像；根据拼接图像中所述运动目标的位置进行图像取景。相比现有技术，本发明能够对足球比赛视频中的运动目标进行自动捕捉，根据足球位置实时计算需要输出的最佳观看区域图像，满足了实际应用需求。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行如上所述的体育全景足球录像方法。
本发明实施例还提供了一种终端设备，参见图4所示，是本发明提供的一种终端设备的一个优选实施例的结构框图，所述终端设备包括处理器10、存储器20以及存储在所述存储器20中且被配置为由所述处理器10执行的计算机程序，所述处理器10在执行所述计算机程序时实现如上所述的体育全景足球录像方法。
优选地，所述计算机程序可以被分割成一个或多个模块/单元(如计算机程序1、计算机程序2、······)，所述一个或者多个模块/单元被存储在所述存储器20中，并由所述处理器10执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述终端设备中的执行过程。
所述处理器10可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，通用处理器可以是微处理器，或者所述处理器10也可以是任何常规的处理器，所述处理器10是所述终端设备的控制中心，利用各种接口和线路连接所述终端设备的各个部分。
所述存储器20主要包括程序存储区和数据存储区，其中，程序存储区可存储操作系统、至少一个功能所需的应用程序等，数据存储区可存储相关数据等。此外，所述存储器20可以是高速随机存取存储器，还可以是非易失性存储器，例如插接式硬盘，智能存储卡(Smart Media Card，SMC)、安全数字(Secure Digital，SD)卡和闪存卡(Flash Card)等，或所述存储器20也可以是其他易失性固态存储器件。
需要说明的是，上述终端设备可包括，但不仅限于，处理器、存储器，本领域技术人员可以理解，图4结构框图仅仅是终端设备的示例，并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
Claims (10)
1.一种体育全景足球录像方法，其特征在于，所述方法包括以下步骤：
获取两路图像采集设备在监测区域内所采集的原始图像信息，并分别对两路所述原始图像信息进行图像处理，得到两路处理图像；
将两路所述处理图像输入运动检测模型进行运动目标检测；
根据所述图像采集设备的标定内外参数进行图像拼接，得到拼接图像；
根据拼接图像中所述运动目标的位置进行图像取景。
2.根据权利要求1所述的体育全景足球录像方法，其特征在于，将两路所述处理图像输入运动检测模型进行运动目标检测的方法包括：
融合上下文信息，通过所运动检测模型对所述处理图像中的运动目标进行特征提取，并记录图像的时间戳，同时将相关数据进行缓存至缓存队列。
3.根据权利要求2所述的体育全景足球录像方法，其特征在于，所述运动检测模型包括：依次与深度神经网络连接的第一信息提取层、第二信息提取层、第三信息提取层、第四信息提取层，以及与所述第一信息提取层连接的预测层；
所述第一信息提取层，用于对所述深度神经网络输出的特征图进行第一特征提取；
所述第二信息提取层，用于对进行第一特征提取后特征图进行第二特征提取，并将提取的所述第二特征与所述第一特征进行融合；
所述第三信息提取层，用于对进行第二特征提取后特征图进行第三特征提取，并将提取的所述第三特征与所述第二特征进行融合；
所述第四信息提取层，用于对进行第三特征提取后特征图进行第四特征提取，并将提取的所述第四特征与所述第三特征进行融合；
所述预测层，用于对所述运动目标的置信度、半径、中心偏移及矢量进行预测。
4.根据权利要求3所述的体育全景足球录像方法，其特征在于，
所述第一信息提取层包括第一特征提取层及与所述第一特征提取层连接的第一卷积层；
所述第二信息提取层包括第二特征提取层、与所述第二特征提取层连接的第二卷积层，以及与所述第二卷积层输出端连接的第一上采样层，所述第一上采样层的输出端与所述第一卷积层的输入端连接；
所述第三信息提取层包括第三特征提取层、与所述第三特征提取层连接的第三卷积层，以及与所述第三卷积层输出端连接的第二上采样层，所述第二上采样层的输出端与所述第二卷积层的输入端连接；
所述第四信息提取层包括第四特征提取层，以及依次与所述第四特征提取层连接的第一轻量化卷积层、第二轻量化卷积层和第三上采样层，所述第三上采样层的输出端与所述第三上采样层的输入端连接。
5.根据权利要求2所述的体育全景足球录像方法，其特征在于，所述标定内外参数的获取方法包括：
对于内参的标定：通过棋盘格分别对两路原始图像信息通过摆放棋盘格不同位置和不同姿态，得到待标定内参的图像
对于外参的标定：通过棋盘格对两路所述原始图像信息的重叠区域内进行棋盘格不同位置和不同姿态摆放，得到待标定的外参图像；
将上述采集到的内外参图像数据导入标定工具，进行内外参数的标定，得到标定内外参数。
6.根据权利要求5所述的体育全景足球录像方法，其特征在于，根据所述图像采集设备的标定内外参数进行图像拼接，得到拼接图像的方法包括：
根据所述标定内外参数创建拼接组，将所述拼接组输入拼接函数，设置拼接输出通道的属性并使能，以对所述缓存队列中的每一对对齐的帧进行拼接，得到拼接图像。
7.根据权利要求6所述的体育全景足球录像方法，其特征在于，根据拼接图像中所述运动目标的位置进行图像取景方法包括：
获取输出域拼接图像坐标与输入域原始图像坐标的映射表；
根据所述映射表得到当前运动目标的中心坐标映射至所述拼接图像上的映射坐标；
将所述映射坐标作为输出图像的投影中心，并设置拼接图像输出的分辨率，得到根据所述运动目标的位置移动输出的取景区域。
8.一种体育全景足球录像系统，其特征在于，所述系统包括：
信息获取模块，用于获取两路图像采集设备在监测区域内所采集的原始图像信息，并分别对两路所述原始图像信息进行图像处理，得到两路处理图像；
目标检测模块，用于将两路所述处理图像输入运动检测模型进行运动目标检测；
图像拼接模块，用于根据所述图像采集设备的标定内外参数进行图像拼接，得到拼接图像；
图像取景模块，用于根据拼接图像中所述运动目标的位置进行图像取景。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行如权利要求1至7中任一项所述的体育全景足球录像方法。
10.一种终端设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现如权利要求1至7中任一项所述的体育全景足球录像方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111337299.6A CN114092706A (zh) | 2021-11-11 | 2021-11-11 | 一种体育全景足球录像方法、系统、存储介质及终端设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111337299.6A CN114092706A (zh) | 2021-11-11 | 2021-11-11 | 一种体育全景足球录像方法、系统、存储介质及终端设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114092706A true CN114092706A (zh) | 2022-02-25 |
Family
ID=80300082
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111337299.6A Pending CN114092706A (zh) | 2021-11-11 | 2021-11-11 | 一种体育全景足球录像方法、系统、存储介质及终端设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114092706A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115348385A (zh) * | 2022-07-06 | 2022-11-15 | 深圳天海宸光科技有限公司 | 一种枪球联动的足球检测方法及系统 |
-
2021
- 2021-11-11 CN CN202111337299.6A patent/CN114092706A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115348385A (zh) * | 2022-07-06 | 2022-11-15 | 深圳天海宸光科技有限公司 | 一种枪球联动的足球检测方法及系统 |
| CN115348385B (zh) * | 2022-07-06 | 2024-03-01 | 深圳天海宸光科技有限公司 | 一种枪球联动的足球检测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11310418B2 (en) | Computer-implemented method for automated detection of a moving area of interest in a video stream of field sports with a common object of interest | |
| US20210136278A1 (en) | System and method for providing virtual pan-tilt-zoom, ptz, video functionality to a plurality of users over a data network | |
| US10382680B2 (en) | Methods and systems for generating stitched video content from multiple overlapping and concurrently-generated video instances | |
| KR102013978B1 (ko) | 이미지들의 융합을 위한 방법 및 장치 | |
| CN105144687B (zh) | 图像处理装置、图像处理方法及计算机可读介质 | |
| CN103916605B (zh) | 具有影中影实时广播能力的移动计算装置 | |
| CN105765959B (zh) | 用于制作视频作品的方法和系统 | |
| CN107105315A (zh) | 直播方法、主播客户端的直播方法、主播客户端及设备 | |
| WO2018223554A1 (zh) | 一种多源视频剪辑播放方法及系统 | |
| US20070064975A1 (en) | Moving object measuring apparatus, moving object measuring system, and moving object measurement | |
| JP4674725B2 (ja) | 移動物体計測装置、移動物体計測システム、および移動物体計測方法 | |
| US20150092995A1 (en) | Image processing apparatus for specifying an image relating to a predetermined moment from among a plurality of images | |
| JP2019159950A (ja) | 情報処理装置および情報処理方法 | |
| US9087380B2 (en) | Method and system for creating event data and making same available to be served | |
| JP2009505553A (ja) | ビデオストリームへの視覚効果の挿入を管理するためのシステムおよび方法 | |
| El-Saban et al. | Improved optimal seam selection blending for fast video stitching of videos captured from freely moving devices | |
| Sabirin et al. | Toward real-time delivery of immersive sports content | |
| US20170134794A1 (en) | Graphic Reference Matrix for Virtual Insertions | |
| CN114092706A (zh) | 一种体育全景足球录像方法、系统、存储介质及终端设备 | |
| CN110910489B (zh) | 一种基于单目视觉的智能球场运动信息采集系统与方法 | |
| US20160127617A1 (en) | System for tracking the position of the shooting camera for shooting video films | |
| Gaddam et al. | Camera synchronization for panoramic videos | |
| CN105204284A (zh) | 基于全景环拍技术的3维立体回放系统 | |
| CA2633197A1 (en) | Method and system for creating event data and making same available to be served | |
| WO2021056552A1 (zh) | 视频的处理方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |