CN115136590A - 信息处理程序、装置以及方法 - Google Patents

信息处理程序、装置以及方法 Download PDF

Info

Publication number
CN115136590A
CN115136590A CN202080096350.6A CN202080096350A CN115136590A CN 115136590 A CN115136590 A CN 115136590A CN 202080096350 A CN202080096350 A CN 202080096350A CN 115136590 A CN115136590 A CN 115136590A
Authority
CN
China
Prior art keywords
ice
time
information processing
audio signal
player
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080096350.6A
Other languages
English (en)
Inventor
中村公治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of CN115136590A publication Critical patent/CN115136590A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B2071/0647—Visualisation of executed movements
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/808—Microphones
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/83—Special sensors, transducers or devices therefor characterised by the position of the sensor
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2244/00—Sports without balls
    • A63B2244/18—Skating
    • A63B2244/183—Artistic or figure skating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image

Abstract

目的在于确定花样滑冰中从跳跃的开始到结束为止的区间。信息处理装置(10)基于由设置在滑冰场的冰中的麦克风(20)收集到的声音信号的消失以及恢复，来估计离冰时刻tA以及落冰时刻tB，通过由摄像机(22)拍摄在滑冰场(30)中竞技的竞技者(32)而得到的影像和声音信号使时刻信息同步，将分别与离冰时刻tA以及落冰时刻tB对应的从开始帧mS到结束帧mE为止确定为跳跃的区间。另外，信息处理装置(10)对所确定的跳跃的区间的影像进行3维解析，计算落冰时的冰刀的旋转角度等信息。

Description

信息处理程序、装置以及方法
技术领域
所公开的技术涉及信息处理程序、信息处理装置和信息处理方法。
背景技术
以往，从体育竞技中的影像中截取规定的场景。规定的场景例如是高尔夫球、棒球、网球等中的包含对球的击打的瞬间的场景、体操竞技等中的包含跳跃、着地的场景等。
作为与如上所述的场景截取相关的技术，例如提出了从被摄体的连续的运动中确定决定性瞬间并作为图像提取的信息处理装置。该装置接收来自安装在用户或与用户接触的对象上的传感器的传感器数据、以及与传感器数据对应的时刻信息。另外，该装置基于传感器数据以及时刻信息，确定在用户或者对象中产生了规定的运动模式的时刻。然后，该装置根据所确定的时刻，从以规定的时间间隔拍摄到的包含用户或对象的一系列图像中选择1个或多个图像。
现有技术文献
专利文献
专利文献1：日本特开2015-82817号公报
发明内容
发明所要解决的课题
作为截取对象的场景，设想花样滑冰的跳跃的区间。在花样滑冰中，有时在竞技者、或者竞技者所穿戴的服装或鞋上安装传感器等稍微的变化会对跳跃等的精度造成影响。因此，难以应用现有技术来确定花样滑冰中从跳跃的开始到结束的区间。
作为一个方面，所公开的技术的目的在于，确定花样滑冰中从跳跃的开始到结束的区间。
用于解决课题的手段
作为一个方式，所公开的技术取得由设置在包括滑冰场在内的会场内的麦克风收集到的声音信号、以及拍摄在所述滑冰场中竞技的竞技者而得到的影像。另外，公开的技术根据基于所述声音信号的冰的声音的消失和恢复，估计所述竞技者进行的跳跃的离冰时刻以及落冰时刻。而且，公开的技术使所述声音信号的时刻信息与所述影像的时刻信息同步，将所述影像中从与所述离冰时刻对应的帧到与所述落冰时刻对应的帧为止确定为跳跃的区间。
发明效果
作为一个方面，具有能够确定花样滑冰中从跳跃的开始到结束的区间的效果。
附图说明
图1是表示本实施方式的信息生成系统的概略结构的框图。
图2是本实施方式的信息处理装置的功能框图。
图3是用于说明离冰时刻和落冰时刻的估计的图。
图4是用于说明跳跃的区间的确定的图。
图5是用于说明声音信号相对于影像的延迟时间的图。
图6是用于说明计算冰刀的前端及末端的位置作为规定部位的图。
图7是用于说明基准线和旋转角度的图。
图8是表示根据跳跃的区间所包含的各个帧计算出的旋转角度θ的图。
图9是图8的虚线框所示的部分的放大图。
图10是表示作为信息处理装置发挥功能的计算机的概略结构的框图。
图11是表示本实施方式中的信息处理例程的一例的流程图。
具体实施方式
以下，参照附图，对公开的技术所涉及的实施方式的一例进行说明。在以下的实施方式中，对生成与由信息处理装置确定的跳跃的区间的影像有关的信息的信息生成系统进行说明。
首先，对本实施方式所涉及的信息生成系统的概要进行说明。如图1所示，信息生成系统100包括信息处理装置10、麦克风20和多个摄像机22。信息生成系统100对从麦克风20输出的声音信号以及从摄像机22输出的影像进行信息处理，计算并输出跳跃的落冰时的冰刀的旋转角度等信息。
麦克风20设置在滑冰场30的冰中。例如，在建造滑冰场30时，通过在铺冰时埋入滑冰场30内，能够将麦克风20设置在冰中。麦克风20收集竞技会场的声音，输出声音信号。通过将麦克风20设置在冰中，在由麦克风20收集的声音信号中包含的声音成分中，表示欢呼、音乐等的声音成分被抑制，表示滑冰场30表面(冰)与滑冰鞋的冰刀的摩擦音的声音成分成为支配性的。所输出的声音信号的各采样点与时刻信息建立对应。
多个摄像机22分别被安装在能够通过立体照相机方式而对滑冰场30上的竞技者32以及竞技者32所佩戴的佩戴物的规定部位的3维位置进行计测的位置处。各摄像机22输出以规定的帧率(例如，30fps、60fps等)拍摄到的影像。输出的影像包含多个帧，各帧与时刻信息建立对应。另外，也可以使用ToF(Time-of-Flight：飞行时间)方式的1台摄像机。
如图2所示，信息处理装置10在功能上包括取得部12、估计部14、确定部16和计算部18。
取得部12取得从麦克风20输出的声音信号、以及从多个摄像机22分别输出的影像。取得部12将取得的声音信号传递给估计部14，将取得的影像传递给确定部16。
估计部14根据基于声音信号的冰的声音的消失和复原，估计竞技者进行的跳跃的离冰时刻以及落冰时刻。例如，估计部14基于声音信号的电平成为预先确定的阈值以下的区间，估计竞技者进行的跳跃的离冰时刻以及落冰时刻。这利用了在跳跃开始的离冰时，冰刀与冰的摩擦音消失，在落冰时摩擦音恢复的情况。作为阈值，只要确定大致可视为声音信号消失的值即可。具体而言，如图3所示，估计部14将声音信号成为阈值TH以下的时刻估计为离冰时刻tA。另外，估计部14将成为阈值TH以下的声音信号再次超过阈值TH的时刻估计为落冰时刻tB。
此外，估计部14也可以基于除去声音信号所包含的规定的频率成分后的声音信号，估计跳跃的离冰时刻tA以及落冰时刻tB。作为规定的频率成分，例如能够设为相当于欢呼、音乐等冰刀与冰的摩擦音以外的声音的频率成分。如上所述，在麦克风20设置于冰中的情况下，欢呼、音乐等冰刀与冰的摩擦音以外的声音被抑制。但是，通过除去与冰刀和冰的摩擦音以外的声音相当的频率成分，能够更高精度地估计跳跃的离冰时刻tA以及落冰时刻tB。此外，在麦克风20设置在不是冰中的会场内的情况下，声音信号中也包含很多欢呼、音乐等，因此，除去规定的频率成分是有效的。估计部14将估计出的跳跃的离冰时刻tA以及落冰时刻tB传递给确定部16。
确定部16使声音信号的时刻信息与影像的时刻信息同步，在从取得部12传递来的影像中，将从与跳跃的离冰时刻tA对应的帧到与落冰时刻tB对应的帧确定为跳跃的区间。
具体而言，如图4所示，确定部16将与离冰时刻tA同步的时刻信息的帧(以下，称为“离冰帧mA”)的规定数前的帧确定为与离冰时刻tA对应的开始帧mS。另外，确定部16将与落冰时刻tB同步的时刻信息的帧(以下，称为“落冰帧mB”)的规定数后的帧确定为与落冰时刻tB对应的结束帧mE。包括离冰帧mA～落冰帧mB的前后的帧是为了可靠地将从离冰到落冰为止包括在内来确定开始帧mS以及结束帧mE。如图4所示，规定数例如能够设为1。
另外，确定部16也可以将规定数设为根据竞技者32和麦克风20之间的距离将声音信号相对于影像的延迟时间换算为帧数而得到的数。如图5所示，在竞技者32与麦克风20的距离为X[m]的情况下，使用冰中的声速3230[m/s]，延迟时间为X÷3230。在此，不需要使用严格的距离X，例如，能够将从麦克风20的位置到滑冰场30的端部的距离的最大值设为X。例如，在设为X＝30m的情况下，延迟时间为30÷3230＝9.28[ms]。在影像的帧率为30fps或60fps的情况下，与上述图4的例子同样地，将规定数设为1，在120fps的情况下，将规定数设为2即可。
另外，确定部16也可以在确定开始帧mS时使用基于延迟时间的规定数，在确定结束帧mE时使用1作为规定数。
确定部16从由取得部12传递的影像中提取从开始帧mS到结束帧mE的区间作为跳跃的区间，并传递给计算部18。
计算部18对从确定部16传递的跳跃的区间中所包含的各个帧进行3维解析，并对竞技者32以及竞技者32所佩戴的佩戴物的规定部位的3维位置(x，y，z)进行计算。如图6所示，规定部位包括竞技者32所佩戴的滑冰鞋的冰刀的前端34以及末端36。另外，规定部位也可以包括竞技者32的各关节、头部、以及眼睛、鼻子、嘴等脸部的部位。此外，从各帧识别这些规定部位的方法能够使用使用了规定部位的形状的识别方法、使用了人体骨骼模型的识别方法等现有的方法。
此外，在信息生成系统100具备3台以上的摄像机22的情况下，只要使用由多个摄像机22分别拍摄到的影像中的、以适合于3维位置的计算的角度拍摄竞技者32而得到的2个影像，来对规定部位的3维位置进行计算即可。
计算部18使用根据跳跃的区间所包含的各个帧计算出的冰刀的前端34以及末端36的位置，计算以摄像机22的拍摄方向为基准的冰刀的绝对角度。例如，计算部18能够计算摄像机22的拍摄方向或与拍摄方向垂直的线、与连接冰刀的前端34和末端36的线所成的角度，作为冰刀的绝对角度。另外，将多个摄像机22中的任意的摄像机22确定为主摄像机，以主摄像机22的拍摄方向为基准，计算冰刀的绝对角度即可。另外，计算部18将冰刀的绝对角度转换为相对于用于判定跳跃的旋转不足的基准线的角度(以下，称为“旋转角度θ”)。
具体而言，计算部18基于分别在离冰时刻tA以及落冰时刻tB冰刀的前端34的位置来确定基准线。更具体而言，如图7所示，计算部18将根据离冰帧mA计算出的冰刀的前端34的位置确定为离冰点A。另外，计算部18将根据落冰帧mB计算出的冰刀的前端34的位置确定为落冰点B。而且，计算部18将通过离冰点A以及落冰点B的直线作为基准线，从冰刀的绝对角度减去与摄像机22的拍摄方向垂直的线与基准线的角度差，计算冰刀的旋转角度θ。图8表示根据跳跃的区间所包含的各个帧计算出的旋转角度θ。
计算部18计算落冰时的声音信号相对于影像的延迟时间Δt。如上所述，延迟时间是距离X[m]÷3230[m/s](冰中的声速)。在此，将距离X设为麦克风20的位置与冰点B的距离。
计算部18基于根据结束帧mE计算出的旋转角度θ(mE)和根据结束帧mE的前1个帧mE－1计算出的旋转角度θ(mE－1)，计算落冰时的冰刀的旋转角度。
参照图9进行具体说明。图9是图8的虚线框所示的部分的放大图。对基于声音信号估计出的落冰时刻tB考虑了计算出的延迟时间Δt而进行了校正后的落冰时刻tB－Δt包含在帧mE－1～帧mE的1帧量的时间内。另外，在此，延迟时间Δt是与1帧量的时间相比较微小的时间。计算部18假定跳跃中的旋转速度大致恒定，使用旋转角度θ(mE－1)以及旋转角度θ(mE)对帧mE－1～帧mE间的旋转角度进行线性插值。而且，计算部18计算与校正后的落冰时刻tB－Δt对应的旋转角度作为落冰时的旋转角度θ(tB－Δt)。
另外，计算部18也能够基于与跳跃的区间对应的规定部位的3维位置，计算其他信息。例如，计算部18能够计算腰的位置作为规定部位，计算根据跳跃的区间所包含的各帧计算出的腰的位置的最小值与最大值之差作为跳跃的高度。另外，计算部18能够计算从离冰点A到落冰点B的距离作为跳跃的飞跃距离。另外，计算部18能够根据从离冰时刻tA到落冰时刻tB的时间和跳跃的区间内的旋转角度的变化来计算旋转速度。另外，计算部18能够根据从开始帧mS到规定帧为止的时间和该期间内的规定部位的位置的变化量来计算起跳速度。
计算部18输出落冰时的旋转角度θ(tB－Δt)及其他计算出的信息。落冰时的旋转角度θ(tB－Δt)能够用于跳跃的旋转不足等的判定。另外，也可以将输出的信息作为显示在电视广播等的画面上的统计数据来使用。
信息处理装置10例如能够通过图10所示的计算机40来实现。计算机40具备CPU(Central Processing Unit：中央处理单元)41、作为临时存储区域的存储器42、以及非易失性的存储部43。另外，计算机40具备输入部、显示部等输入输出装置44和控制对存储介质49的数据的读入以及写入的R/W(Read/Write：读/写)部45。另外，计算机40具备与因特网等网络连接的通信I/F(Interface：接口)46。CPU41、存储器42、存储部43、输入输出装置44、R/W部45以及通信I/F46经由总线47相互连接。
存储部43能够通过HDD(Hard Disk Drive：硬盘驱动器)、SSD(Solid StateDrive：固态硬盘)、闪存等来实现。在作为存储介质的存储部43中存储有用于使计算机40作为信息处理装置10发挥功能的信息处理程序50。信息处理程序50包括取得进程52、估计进程54、确定进程56和计算进程58。
CPU41从存储部43读出信息处理程序50并在存储器42中展开，依次执行信息处理程序50所具有的进程。CPU41通过执行取得处理52，作为图2所示的取得部12进行动作。另外，CPU41通过执行估计过程54，作为图2所示的估计部14进行动作。另外，CPU41通过执行确定进程56，作为图2所示的确定部16进行动作。另外，CPU41通过执行计算进程58，作为图2所示的计算部18进行动作。由此，执行了信息处理程序50的计算机40作为信息处理装置10发挥功能。此外，执行程序的CPU41是硬件。
此外，通过信息处理程序50实现的功能例如也能够通过半导体集成电路、更详细而言通过ASIC(Application Specific Integrated Circuit：专用集成电路)等来实现。
接下来，对本实施方式所涉及的信息生成系统100的作用进行说明。当向信息处理装置10输入从麦克风20输出的声音信号、以及由多个摄像机22分别拍摄到的影像时，在信息处理装置10中执行图11所示的信息处理例程。此外，信息处理例程是所公开的技术的信息处理方法的一例。
在步骤S12中，取得部12取得输入到信息处理装置10的声音信号和影像。取得部12将取得的声音信号传递给估计部14，将取得的影像传递给确定部16。
接着，在步骤S14中，估计部14将声音信号成为阈值TH以下的时刻估计为离冰时刻tA，将成为阈值TH以下的声音信号再次超过阈值TH的时刻估计为落冰时刻tB。估计部14将估计出的跳跃的离冰时刻tA以及落冰时刻tB传递给确定部16。
接着，在步骤S16中，确定部16将与离冰时刻tA同步的时刻信息的离冰帧mA的规定数(例如1帧)前的帧确定为与离冰时刻tA对应的开始帧mS。另外，确定部16将与落冰时刻tB同步的时刻信息的落冰帧mB的规定数(例如1帧)后的帧确定为与落冰时刻tB对应的结束帧mE。确定部16从由取得部12传递的影像中提取从开始帧mS到结束帧mE的区间作为跳跃的区间，并传递给计算部18。
接着，在步骤S18中，计算部18对从确定部16传递的跳跃的区间所包含的各个帧进行3维解析，计算包含冰刀的前端34以及末端36的规定部位的3维位置(x，y，z)。然后，计算部18计算与摄像机22的拍摄方向垂直的线与连接冰刀的前端34和末端36的线所成的角度，作为冰刀的绝对角度。
接着，在步骤S20中，计算部18将根据离冰帧mA计算出的冰刀的前端34的位置确定为离冰点A，将根据落冰帧mB计算出的冰刀的前端34的位置确定为落冰点B。然后，计算部18将通过离冰点A以及落冰点B的直线作为基准线，从冰刀的绝对角度减去与摄像机22的拍摄方向垂直的线与基准线之间的角度差，计算冰刀的旋转角度θ。
接着，在步骤S22中，计算部18计算麦克风20的位置与冰点B的距离X，将落冰时的声音信号相对于影像的延迟时间Δt计算为Δt＝距离X[m]÷3230[m/s](冰中的声速)。
接着，在步骤S24中，计算部18使用旋转角度θ(mE－1)以及θ(mE)对帧mE－1～帧mE间的旋转角度进行线性插值，计算与校正后的落冰时刻tB－Δt对应的旋转角度作为落冰时的旋转角度θ(tB－Δt)。另外，计算部18也可以基于与跳跃的区间对应的规定部位的3维位置，计算其他信息。计算部18输出计算出的落冰时的旋转角度θ(tB－Δt)以及计算出的其他信息，信息处理例程结束。
如以上所说明的那样，根据本实施方式所涉及的信息生成系统，信息处理装置取得由被设置在滑冰场中的麦克风所收集到的声音信号、以及对在滑冰场中进行竞技的竞技者进行拍摄而得到的影像。而且，信息处理装置根据声音信号的电平成为预先确定的阈值以下的区间，而对竞技者所进行的跳跃的离冰时刻以及落冰时刻进行估计。进而，信息处理装置使声音信号的时刻信息与影像的时刻信息同步，将影像中从与离冰时刻对应的帧到与落冰时刻对应的帧为止确定为跳跃的区间。由此，无需在竞技者上安装传感器等，就能够确定花样滑冰中从跳跃的开始到结束的区间。
另外，与仅通过影像的图像解析来确定跳跃的开始以及结束的情况相比，能够使用声音信号来估计精度更高的离冰落冰的时刻，根据估计出的时刻，能够高精度地确定跳跃的区间。
另外，在跳跃的旋转不足的判定中，使用落冰时的冰刀的角度。若想要仅通过影像对其进行判定，则在帧率30fps的情况下，在1帧之间旋转60°左右，因此无法进行正确的判定。在本实施方式中，使用利用声音信号估计出的落冰的时刻，能够计算比1帧的时间单位的时刻更细的时刻下的旋转角度，因此能够高精度地辅助旋转不足的判定。
此外，在上述实施方式中，对信息处理程序预先存储(安装)于存储部的方式进行了说明，但并不限定于此。所公开的技术所涉及的程序也能够以存储于CD-ROM、DVD-ROM、USB存储器等存储介质中的方式来提供。
标号说明
10 信息处理装置
12 取得部
14 估计部
16 确定部
18 计算部
20 麦克风
22 摄像机
30 滑冰场
32 竞技者
34 冰刀的前端
36 冰刀的末端
40 计算机
41 CPU
42 存储器
43 存储部
49 存储介质
50 信息处理程序
100 信息生成系统。

Claims (20)

1.一种信息处理程序，其用于使计算机执行处理，所述处理包括：
取得声音信号和影像，所述声音信号由设置在包括滑冰场在内的会场内的麦克风收集，所述影像通过拍摄在所述滑冰场中竞技的竞技者而得到；
根据基于所述声音信号的冰的声音的消失和恢复，估计所述竞技者进行的跳跃的离冰时刻以及落冰时刻；以及
使所述声音信号的时刻信息与所述影像的时刻信息同步，将所述影像中从与所述离冰时刻对应的帧到与所述落冰时刻对应的帧为止确定为跳跃的区间。
2.根据权利要求1所述的信息处理程序，其中，所述信息处理程序使所述计算机还执行如下处理：
根据所述影像，确定所述竞技者以及所述竞技者所佩戴的佩戴物的规定部位的3维位置；以及
根据所述跳跃的区间所包含的各个帧，计算所述离冰时刻以及所述落冰时刻的各个时刻所述规定部位相对于基准线的角度，所述基准线基于所述规定部位的位置。
3.根据权利要求2所述的信息处理程序，其中，
根据基于与所述落冰时刻对应的帧而计算出的所述角度和基于与所述落冰时刻对应的帧的前1个帧而计算出的所述角度，计算所述落冰时刻的所述规定部位的角度。
4.根据权利要求2或3所述的信息处理程序，其中，
根据与所述跳跃的区间对应的所述规定部位的3维位置，计算起跳速度、跳跃的高度、飞跃距离以及旋转速度中的至少1个。
5.根据权利要求2至4中任一项所述的信息处理程序，其中，
所述规定部位是能够确定所述竞技者所佩戴的滑冰鞋的冰刀的朝向的部位。
6.根据权利要求1至5中任一项所述的信息处理程序，其中，
将与所述离冰时刻同步的时刻信息的帧的规定数之前的帧确定为与所述离冰时刻对应的帧，将与所述落冰时刻同步的时刻信息的帧的规定数之后的帧确定为与所述落冰时刻对应的帧。
7.根据权利要求6所述的信息处理程序，其中，
设所述规定数为1，或者设所述规定数为将与所述竞技者和所述麦克风之间的距离对应的、所述声音信号相对于所述影像的延迟时间换算为帧数后的数。
8.根据权利要求1至7中任一项所述的信息处理程序，其中，
所述麦克风设置在所述滑冰场的冰中。
9.根据权利要求1至8中任一项所述的信息处理程序，其中，
根据除去了所述声音信号中包含的规定的频率成分后的声音信号，估计所述离冰时刻及所述落冰时刻。
10.一种信息处理装置，其包括：
取得部，其取得声音信号和影像，所述声音信号由设置在滑冰场中的麦克风收集，所述影像通过拍摄在所述滑冰场中竞技的竞技者而得到；
估计部，其根据所述声音信号的电平成为预先确定的阈值以下的区间，估计所述竞技者所进行的跳跃的离冰时刻以及落冰时刻；以及
确定部，其使所述声音信号的时刻信息与所述影像的时刻信息同步，将所述影像中从与所述离冰时刻对应的帧到与所述落冰时刻对应的帧为止确定为跳跃的区间。
11.根据权利要求10所述的信息处理装置，其中，
所述取得部取得能够计测所述竞技者以及所述竞技者所佩戴的佩戴物的规定部位的3维位置的影像作为所述影像，
所述信息处理装置包括计算部，所述计算部根据所述跳跃的区间中包含的各个帧，计算所述离冰时刻以及所述落冰时刻的各个时刻所述规定部位相对于基准线的角度，所述基准线基于所述规定部位的位置。
12.根据权利要求11所述的信息处理装置，其中，
所述计算部根据基于与所述落冰时刻对应的帧而计算出的所述角度和基于与所述落冰时刻对应的帧的前1个帧而计算出的所述角度，计算所述落冰时刻的所述规定部位的角度。
13.根据权利要求11或12所述的信息处理装置，其中，
所述计算部基于与所述跳跃的区间对应的所述规定部位的3维位置，计算起跳速度、跳跃的高度、飞跃距离以及旋转速度中的至少1个。
14.根据权利要求11至13中任一项所述的信息处理装置，其中，
所述规定部位是能够确定所述竞技者所佩戴的滑冰鞋的冰刀的朝向的部位。
15.根据权利要求10至14中任一项所述的信息处理装置，其中，
所述确定部将与所述离冰时刻同步的时刻信息的帧的规定数之前的帧确定为与所述离冰时刻对应的帧，将与所述落冰时刻同步的时刻信息的帧的规定数之后的帧确定为与所述落冰时刻对应的帧。
16.根据权利要求15所述的信息处理装置，其中，
所述确定部将所述规定数设为1，或者将所述规定数设为将与所述竞技者和所述麦克风之间的距离对应的、所述声音信号相对于所述影像的延迟时间换算为帧数后的数。
17.根据权利要求10至16中任一项所述的信息处理装置，其中，
所述麦克风设置在所述滑冰场的冰中。
18.根据权利要求10至17中任一项所述的信息处理装置，其中，
所述估计部根据除去了所述声音信号中包含的规定的频率成分后的声音信号，估计所述离冰时刻及所述落冰时刻。
19.一种信息处理方法，所述信息处理方法用于计算机执行处理，所述处理包括：
取得声音信号和影像，所述声音信号由设置在滑冰场内的麦克风收集，所述影像通过拍摄在所述滑冰场中竞技的竞技者而得到；
根据所述声音信号的电平成为预先确定的阈值以下的区间，估计所述竞技者进行的跳跃的离冰时刻以及落冰时刻；以及
使所述声音信号的时刻信息与所述影像的时刻信息同步，将所述影像中从与所述离冰时刻对应的帧到与所述落冰时刻对应的帧为止确定为跳跃的区间。
20.一种记录介质，其记录有信息处理程序，所述信息处理程序用于使计算机执行处理，所述处理包括：
取得声音信号和影像，所述声音信号由设置在滑冰场内的麦克风收集，所述影像通过拍摄在所述滑冰场中竞技的竞技者而得到；
根据所述声音信号的电平成为预先确定的阈值以下的区间，估计所述竞技者进行的跳跃的离冰时刻以及落冰时刻；以及
使所述声音信号的时刻信息与所述影像的时刻信息同步，将所述影像中从与所述离冰时刻对应的帧到与所述落冰时刻对应的帧为止确定为跳跃的区间。
CN202080096350.6A 2020-02-27 2020-02-27 信息处理程序、装置以及方法 Pending CN115136590A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/007998 WO2021171470A1 (ja) 2020-02-27 2020-02-27 情報処理プログラム、装置、及び方法

Publications (1)

Publication Number Publication Date
CN115136590A true CN115136590A (zh) 2022-09-30

Family

ID=77490036

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080096350.6A Pending CN115136590A (zh) 2020-02-27 2020-02-27 信息处理程序、装置以及方法

Country Status (6)

Country Link
US (1) US20220392222A1 (zh)
EP (1) EP4093023A4 (zh)
JP (1) JP7400937B2 (zh)
KR (1) KR20220128404A (zh)
CN (1) CN115136590A (zh)
WO (1) WO2021171470A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4093024A4 (en) * 2020-03-18 2023-03-01 Fujitsu Limited INFORMATION PROCESSING PROGRAM, DEVICE AND METHOD

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6539336B1 (en) * 1996-12-12 2003-03-25 Phatrat Technologies, Inc. Sport monitoring system for determining airtime, speed, power absorbed and other factors such as drop distance
DE19614253A1 (de) * 1996-03-05 1997-09-11 Karl Leonhardtsberger Elektronisches Aufzeichnungs- und Wiedergabeverfahren für Bewegungsabläufe auf Sportplätzen und/oder in Sport- und Eislaufhallen
JP5924109B2 (ja) 2012-05-11 2016-05-25 セイコーエプソン株式会社 センサーユニット、運動解析装置
JP6213146B2 (ja) 2013-10-24 2017-10-18 ソニー株式会社 情報処理装置、記録媒体、および情報処理方法
WO2016092933A1 (ja) 2014-12-08 2016-06-16 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP6673221B2 (ja) 2014-12-18 2020-03-25 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US9812175B2 (en) * 2016-02-04 2017-11-07 Gopro, Inc. Systems and methods for annotating a video
JP6882057B2 (ja) 2017-05-11 2021-06-02 キヤノン株式会社 信号処理装置、信号処理方法、およびプログラム
JP2019033869A (ja) 2017-08-14 2019-03-07 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム

Also Published As

Publication number Publication date
US20220392222A1 (en) 2022-12-08
EP4093023A4 (en) 2023-03-01
EP4093023A1 (en) 2022-11-23
WO2021171470A1 (ja) 2021-09-02
JP7400937B2 (ja) 2023-12-19
JPWO2021171470A1 (zh) 2021-09-02
KR20220128404A (ko) 2022-09-20

Similar Documents

Publication Publication Date Title
US7532215B2 (en) Image generating apparatus, image generating method and image generating program
US10444843B2 (en) Systems and methods for converting sensory data to haptic effects
JP5867432B2 (ja) 情報処理装置、記録媒体および情報処理システム
US20160225410A1 (en) Action camera content management system
JP2004500756A (ja) ビデオシーケンスと時空正規化との調整および合成
JPWO2016111069A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20160065984A1 (en) Systems and methods for providing digital video with data identifying motion
CN115136590A (zh) 信息处理程序、装置以及方法
US20210158033A1 (en) Method and apparatus of game status determination
JP7444238B2 (ja) 情報処理プログラム、装置、及び方法
KR20000064088A (ko) 스포츠 영상 분석 방송 시스템 및 방법
JP7074059B2 (ja) 情報処理装置及び情報処理システム
CN114728194B (zh) 信息处理装置、信息处理方法和程序
JPWO2021171470A5 (zh)
WO2022215116A1 (ja) 情報処理プログラム、装置、及び方法
JP7054950B1 (ja) 位置計測システム、及び位置計測方法
KR20150087093A (ko) 추출 방법 및 장치
JPWO2021186645A5 (zh)
JP2017126935A (ja) 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
KR20220114129A (ko) 스포츠 기술들에 대한 동기화된 디스플레이를 위한 시스템 및 방법
AU2003268578B2 (en) Method and System for Combining Video Sequences With Spatio-temporal Alignment
JP2016015780A (ja) 情報処理装置、記録媒体および情報処理システム
JP2009239721A (ja) テレビジョン受像装置及びテレビジョン受像方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination