CN103404122A - 基于运动矢量的运动对象比较 - Google Patents
基于运动矢量的运动对象比较 Download PDFInfo
- Publication number
- CN103404122A CN103404122A CN2012800066065A CN201280006606A CN103404122A CN 103404122 A CN103404122 A CN 103404122A CN 2012800066065 A CN2012800066065 A CN 2012800066065A CN 201280006606 A CN201280006606 A CN 201280006606A CN 103404122 A CN103404122 A CN 103404122A
- Authority
- CN
- China
- Prior art keywords
- motion
- frame
- video sequence
- video
- visual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000013598 vector Substances 0.000 title claims abstract description 26
- 230000033001 locomotion Effects 0.000 claims abstract description 100
- 230000000007 visual effect Effects 0.000 claims description 24
- 238000000034 method Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 7
- 230000001133 acceleration Effects 0.000 claims description 3
- 238000013459 approach Methods 0.000 abstract 1
- 238000004458 analytical method Methods 0.000 description 6
- 230000000386 athletic effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013480 data collection Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 108091035707 Consensus sequence Proteins 0.000 description 1
- 208000001613 Gambling Diseases 0.000 description 1
- 235000010627 Phaseolus vulgaris Nutrition 0.000 description 1
- 244000046052 Phaseolus vulgaris Species 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 231100001261 hazardous Toxicity 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B69/00—Training appliances or apparatus for special sports
- A63B69/36—Training appliances or apparatus for special sports for golf
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
- A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B2220/00—Measuring of physical parameters relating to sporting activity
- A63B2220/80—Special sensors, transducers or devices therefor
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B2220/00—Measuring of physical parameters relating to sporting activity
- A63B2220/80—Special sensors, transducers or devices therefor
- A63B2220/806—Video cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
- H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
- H04N7/013—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the incoming video signal comprising different parts having originally different frame rate, e.g. video and graphics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Physical Education & Sports Medicine (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Studio Circuits (AREA)
- Processing Or Creating Images (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明提出通过进行运动估计以在每一帧确定运动矢量来分析视频序列(例如体育运动视频)中对象的运动。利用计算出的运动矢量,可以定量地测量对象(例如运动员)的运动。基于此,可以在视频序列的每个单独帧处比较两个视频中的运动。可以使用不同的方法(例如颜色编码)使这些运动可视化并比较这些运动。利用运动估计,还可以插入中间帧,以实现在两个给定视频中更好的运动比较。
Description
技术领域
本发明涉及用于比较视频序列中的运动的装置和方法及系统。
背景技术
各种增强技术已经被用于体育视频广播。这种增强可以向观众提供更好的观看体验。例如,在赛车中,可以利用图形来增强视频,该图形识别汽车驾驶者并且显示(例如通过全球定位系统(GPS)获得的)诸如汽车速度之类的信息。第一个例子是足球比赛的视频序列,在该视频序列中可以插入虚拟的越位线,这使得观看者能够明确看到何时以及如何犯规的。另一个例子是高尔夫球的视频序列,其中码数点、危险区、倾斜球道以及果岭前带(false fronts)可以被标识并添加到视频中。
US7042493和WO01/78050A2公开了用于从视频产生体育赛事的频闪观测仪序列的运动分析系统。这种系统允许观看者看到在时间和空间上展开的运动员的运动,其中运动对象被感知为沿着对象轨迹的一系列静态图像。
此外,EP1247255和WO01/39130A1公开了能够从两个给定的视频序列产生合成视频序列的图像处理系统,该合成视频序列包括来自每个给定的序列的视觉元素,这些视觉元素被适当地同步化并且表示在选定的焦平面中。例如,给定均分别示出不同选手在同一下坡赛道单独比赛的两个视频序列,该合成序列可以包括来自给定序列中每一个的元素,以示出这两个选手好像在同时比赛。
另外,WO2007/006346A1公开一种用于通过限定某种体育运动的多个不均匀分布的关键位置来分析运动员的运动的方法。该方法从输入的视频中提取与这些关键位置相对应的静态图片,并且将提取的静态图片同时显示在屏幕上。可以通过预定义的模板来触发静态图片的提取。
然而,在上述现有系统中,通过将视频展开为静态图片/帧的序列来分析运动员的运动,其中预定义的模板/规则可被用于提取与关键位置相对应的静态照片。然而,对于观看者来说,仍不能看到运动员在每个单独时刻/帧处如何运动。例如,不同的运动员可能以不同的速度和运动方向执行相同的关键位置。
当比较两个视频时,在现有系统中考虑空间和时间的对准。然而,这仅通过对准视频中的现有图像/帧来完成。给定两个不同的表现(来自不同的主体),因为运动的不同执行(例如不同的速度或幅度)的缘故,基于现有帧的空间-时间对准可能是困难的,有时导致不精确的对准。
US7602301和US6567536公开了用于基于身体上传感器的运动分析的解决方案,但是这些解决方案需要应用到身体上的额外的标记和传感器。
发明内容
本发明的目的是提供一种用于在维持不引人注目的通过视频的数据收集的同时更好地分析和比较运动的解决方案。
该目的是通过如权利要求1所述的装置、如权利要求8所述的方法以及通过如权利要求9所述的计算机程序产品来实现的。
因此,可以在没有用户手动绘图/点击以及也不使用任何身体上的标记或传感器的情况下,定量地且自动地分析视频序列中的任何类型对象的运动。运动估计的结果实现了更好的运动分析和比较,特别在体育运动中,同时维持不引人注目的通过视频的数据收集。利用计算出的运动矢量,可以产生并插入中间帧,以实现更好的对准。例如,当比较两个运动员的冲刺时,可以针对跑得较快的运动员插入中间帧。另一个应用是比较利用不同帧速率的照相机捕获的两个视频。例如,在某些情况中,可以利用高速照相机进行一个重编码。以低帧速率进行的另一个重编码需要通过中间帧来增强,以更好地进行运动比较。
根据第一方面,一种可视化器或者可视化级可以被提供用于使所述至少一个对象的运动可视化。
根据可以与第一方面结合的第二方面,一种视频产生器或者视频产生级可以被提供用于产生第三视频序列,该第三视频序列包含由所提出的方法或装置处理的第一和第二视频序列的对象的运动差别。这样,基于两个视频流的比较,也可能产生用于分析的特殊信息视频,其中对两个视频流之间的运动差别进行注释。例如,可以想到游泳者和理想的模型(或者先前的记录)之间膝盖伸展的差别。这样,除了提供两个对准的视频流且然后让这种解释由用户(例如教练员或运动员)完成之外,有可能产生利用运动差别增强的或者减少到运动差别的第三流,从而帮助用户看到该差别。
根据可以与第一和第二方面中的至少一个结合的第三方面,该可视化器或可视化级可以适于通过添加关于运动方向、运动量级和加速度中的至少一个的信息而使对象的运动可视化。在特定的示例性实施方式中,该可视化器或可视化级可以适于添加作为颜色编码的信息。
根据可以与上面的第一至第三方面中的至少一个结合的第四方面,该可视化器或可视化级可以适于检测所述至少一个视频序列中预定的关注对象(例如,身体部位)。
上述装置可以被实现为集成在单个芯片或芯片组上的或者在电路板上布线的硬件电路。作为可替代方案,该装置的至少部分可以实现为计算机程序或软件例程,当该计算机程序运行在控制该装置的计算机上时,该计算机程序或软件例程控制处理器或计算机设备以执行上述方法的步骤。
应当理解,本发明的优选实施例也可以是从属权利要求与相应的独立权利要求的任何组合。
本发明的这些和其他方面将根据下文描述的实施例而清楚明白并参照这些实施例进行阐述。
附图说明
在附图中:
图1示出根据第一实施例的运动比较过程或设备的示意性处理图;
图2示出运动比较的例子;以及
图3示出根据第二实施例的运动比较过程或设备的示意性处理图。
具体实施方式
现在基于其中定量分析视频序列(例如,体育运动视频)中的运动员或其他对象的运动的实施例来描述本发明。更具体来说,视频分析被加强,以提取运动数据。即使在具有运动的不同执行(例如不同速度并且/或者运动方向)的不同表现(由不同的主体进行)的情况下,仍可以实现帧对准。
图1示出根据第一实施例的处理流程或处理链的示意图,其中使用可以发现视频帧之间的对应关系的运动估计或其他技术计算在各视频帧处的运动矢量。在各视频帧处计算出的运动矢量可被用于更好地比较运动。在步骤或阶段110中,针对至少两个视频序列的各帧,计算运动矢量。然后在步骤或阶段120中使用计算出的运动矢量来产生并插入中间帧。对于步骤或阶段120,可以基于来自视频领域的交错技术来产生中间帧,其中它例如用于从第一帧速率上调到第二帧速率(例如从50Hz到200Hz)。可以使用非整数因子执行该上调。为了比较(由不同的人或者由同一人在不同的时间执行的)至少两个视频序列中的运动或者在视频序列和基准序列之间比较运动,在步骤130中将两个序列在空间和时间上对准。由于运动的不同执行(例如,不同的速度或幅度)的缘故,基于现有帧的空间-时间对准是困难的。然而,利用计算出的运动矢量,可以产生并插入中间帧,以实现更好的对准。例如,当比较两个运动员的冲刺时,可以在针对所走的距离对准图像时,针对跑得较快的运动员构成中间图像。
此外,当比较实地记录与更高速照相机的主视频时,实体记录可能需要增强以优化比较性能。
例如,在某些情况下,记录由高速照相机制作。以低帧速率制作的记录需要利用中间帧来增强,以用于更好的运动比较。最后,在步骤140中,将目标对象或者目标部分的运动参数可视化,以用于更好的比较。
因此,在步骤或阶段110中计算出的运动矢量可被用于比较所述运动。例如,基于这些运动矢量,在步骤或阶段120可以插入中间帧,以在步骤130中实现更好的空间和时间对准,导致增强的运动比较。
可以通过运动估计技术导出在每一帧处的运动矢量。在文献中存在不同的运动估计算法。它们中的一种是3-D递归搜索块匹配(3DRS)。然后计算出的运动矢量被用来增强视频序列。在步骤或阶段140中,可以通过可以根据用户或者目标观众(例如,运动员、教练员、粉丝)的需要选择的不同方式使该运动可视化。作为例子,可以使用颜色编码使该运动可视化。当比较两个视频中的运动时,利用一个视频作为基线/基准,可以添加颜色以指示不同的(或相同的)运动。
此外,为了更精确地测量目标对象或对象部分的运动,可以考虑其他线索。例如,对于游泳者来说,皮肤颜色可被用来消除非身体区域中的运动矢量。在某些情况下,人们有兴趣观看特定身体部分(例如,手臂)的运动。然后,可以应用计算机视觉技术来自动检测感兴趣的身体部分。
可以从估计出的运动矢量导出进一步的信息,并且该信息可以用于增强视频。例如,可以导出加速度(即,运动速度的速度)。
图2示出两个高尔夫球选手的高尔夫球运动的例子。在这些例子中,当高尔夫球杆接触球时,定义关键帧。尽管两个选手都执行该关键位置,但是他们可能具有不同的运动。使用颜色编码针对这两个选手使在该关键帧处的运动估计结果可视化,其中使用不同的颜色指示不同的运动方向,而颜色强度指示运动的量级。在图2中,利用不同的影线图案C1至C4简化颜色编码。所给出的运动估计示出这两个选手以不同的方式(即不同的运动速度和方向)表现。如从图2中的影线图案C1至C4可以获悉,这两个选手的右臂运动明显不同。
图3示出根据第二实施例的处理流程或处理链的示意图,其中产生包含两个输入的视频序列V1和V2的两个目标对象之间的运动差别的视频序列。在步骤或阶段210A和210B中,针对所述输入视频序列V1和V2的各帧计算运动矢量。在步骤或阶段220中,基于计算出的运动矢量,产生中间帧合成的中间帧以用于输入视频序列V1、V2中的至少一个,并将该中间帧插入到输入视频序列V1、V2中的至少一个。然后,在步骤或阶段230中,将其中至少一个已经通过插入的中间帧增强的两个视频序列V1、V2在空间和时间上对准。在第二实施例中,在步骤或阶段240中,基于两个视频序列V1、V2的比较,产生特殊信息视频用于分析,在该特殊信息视频中添加两个视频序列V1、V2之间的运动差别或者该特殊信息视频减少到该差别。作为例子,这样的差别可以是游泳者与理想模型(或者先前记录)之间膝盖伸展的差别。因此,除了提供两个对准的视频序列且然后让用户(例如教练员或运动员)完成该解释以外,还产生第三视频序列,第三视频序列利用运动差别来增强或者减少到该运动差别,从而帮助用户识别和评价该差别。
简而言之,本发明提出,通过在每一帧处执行运动估计以确定运动矢量来分析视频序列(例如体育运动视频)中对象的运动。利用计算出的运动矢量,可以定量地测量对象(例如运动员)的运动。基于此,可以在视频序列的每个单独帧处比较两个视频中的运动。可以使用不同的方法(例如颜色编码)来使所述运动可视化并且比较所述运动。利用运动估计,还可以插入中间帧以实现在两个给定的视频中更好的运动比较。
本发明可被用于增强(体育运动)视频广播。作为表现反馈的方式,本发明可以被教练员或运动员用于训练目的。本发明还可以用在体育运动广播中以用于增强的观看者体验。本发明可以在诸如电视(TV)或其他显示器之类的显示设备中实现,作为电视机的附加功能,例如用于观看体育运动。本发明也可以在用于广播的电视演播室中实现。另一种应用例如用在如WO01/26760中描述的游戏或赌博中,或者例如用在如由US6567536启示的监视和军事中。作为表现反馈的方式,本发明也可以被教练员或运动员用于训练目的。另一种应用是游戏或娱乐,其中本发明增强了与黄金参考模型或真实的人的差别分析。一个例子可以是视频支持的游戏,其中使用照相机记录玩家的运动,然后系统提供这里提到的反馈。
本领域的技术人员通过研究附图、公开内容和所附权利要求书来实践本发明时,可以理解并实现所公开的实施例的其他变体。
在权利要求中,词语“包括”不排除其它元素或步骤,并且不定冠词“一”不排除多个。
单个单元或设备可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中列举特定措施这一事实不表示这些措施的组合不能被有利地使用。
图1和图3中的步骤或阶段可以由单个单元或者由任意其他数目的不同单元来执行。所提出的运动分析和/或比较的计算、处理和/或控制可以实现为计算机程序的程序代码部和/或实现为专用硬件。
计算机程序可以存储/分布在与其他硬件一起提供的或者作为其他硬件的一部分的诸如光学存储介质或者固态介质之类的适当的介质上,但是也可以通过其他形式分发,例如经由因特网或者其他有线或无线通信系统分发。
权利要求中的任何附图标记不应该理解为限制范围。
本发明提出通过在每一帧处执行运动估计以确定运动矢量来分析视频序列(例如体育运动视频)中对象的运动。利用计算出的运动矢量,可以定量地测量对象(例如运动员)的运动。基于此,可以在视频序列的每个单独帧处比较两个视频中的运动。可以使用不同的方法(例如颜色编码)使所述运动可视化并且比较所述运动。利用运动估计,还可以插入中间帧,以实现在两个给定的视频中更好的运动比较。
Claims (10)
1.一种用于分析至少两个视频序列中至少一个对象的运动的装置,所述装置包括:
- 运动估计器(110;210A;210B),其用于在第一视频序列的各帧处计算运动矢量;
- 帧插入器(120;220),其用于基于计算出的运动矢量产生中间帧并且将所述中间帧插入所述第一视频序列;以及
- 帧对准器(130;230),其用于执行所述第一视频序列的帧与第二视频序列的帧的空间和时间的对准。
2.根据权利要求1的装置,进一步包括可视化器(140),其用于使所述至少一个对象的所述运动可视化。
3.根据权利要求1或2的装置,进一步包括视频产生器(240),其用于产生第三视频序列,所述第三视频序列包含由所述装置处理的所述第一和第二视频序列的对象的运动差别。
4.根据权利要求2的装置,其中所述可视化器(140)适于通过添加关于运动方向、运动量级和运动加速度中的至少一个的信息而使所述对象的所述运动可视化。
5.根据权利要求4的装置,其中所述可视化器(140)适于将所述信息作为颜色编码来添加。
6.根据权利要求2的装置,其中所述可视化器(140)适于检测所述第一和第二视频序列中感兴趣的预定对象。
7.一种显示设备,包括根据权利要求1的装置。
8.一种游戏设备,包括根据权利要求7的显示器。
9.一种用于分析至少两个视频序列中的至少一个对象的运动的方法,所述方法包括:
- 在第一视频序列的各帧处计算运动矢量;
- 基于计算出的运动矢量产生中间帧并且将所述中间帧插入所述第一视频序列;以及
- 执行所述第一视频序列的帧与第二视频序列的帧的空间和时间的对准。
10.一种计算机程序产品,包括代码部,其在计算设备上运行时用于产生方法权利要求9的步骤。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP11152548.1 | 2011-01-28 | ||
EP11152548 | 2011-01-28 | ||
PCT/IB2012/050196 WO2012101542A1 (en) | 2011-01-28 | 2012-01-16 | Motion vector based comparison of moving objects |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103404122A true CN103404122A (zh) | 2013-11-20 |
CN103404122B CN103404122B (zh) | 2017-03-22 |
Family
ID=45558796
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201280006606.5A Expired - Fee Related CN103404122B (zh) | 2011-01-28 | 2012-01-16 | 基于运动矢量的运动对象比较 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20130293783A1 (zh) |
EP (1) | EP2668771A1 (zh) |
JP (1) | JP6030072B2 (zh) |
CN (1) | CN103404122B (zh) |
RU (1) | RU2602792C2 (zh) |
WO (1) | WO2012101542A1 (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014205643A1 (en) * | 2013-06-25 | 2014-12-31 | Thomson Licensing | Method and system capable of alignment of video frame sequences |
DE112018002096T5 (de) | 2017-04-21 | 2020-01-09 | Zenimax Media Inc. | Spielereingabebewegungskompensation durch antizipation von bewegungsvektoren |
KR101946256B1 (ko) | 2018-07-09 | 2019-02-11 | 이노뎁 주식회사 | 압축영상에 대한 움직임 벡터의 시각화 표시 처리 방법 |
CN111294644B (zh) * | 2018-12-07 | 2021-06-25 | 腾讯科技(深圳)有限公司 | 视频拼接方法、装置、电子设备及计算机可读存储介质 |
RU2737343C2 (ru) * | 2019-01-10 | 2020-11-27 | Федеральное государственное казенное военное образовательное учреждение высшего образования "Военный учебно-научный центр Военно-воздушных сил "Военно-воздушная академия имени профессора Н.Е. Жуковского и Ю.А. Гагарина" (г. Воронеж) Министерства обороны Российской Федерации | Способ определения характера движения объекта на кадрах видеопоследовательности |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020114493A1 (en) * | 2001-02-16 | 2002-08-22 | Golftec, Inc. | Method and system for physical motion analysis |
CN1650634A (zh) * | 2002-04-29 | 2005-08-03 | 皇家飞利浦电子股份有限公司 | 利用根据多个参考帧的运动补偿时域滤波的基于可分级小波的编码 |
US20060262184A1 (en) * | 2004-11-05 | 2006-11-23 | Yissum Research Development Company Of The Hebrew University Of Jerusalem | Method and system for spatio-temporal video warping |
CN1885946A (zh) * | 2005-06-24 | 2006-12-27 | 三星电子株式会社 | 运动错误补偿器以及检测和补偿运动错误的方法 |
CN101652994A (zh) * | 2007-03-29 | 2010-02-17 | 夏普株式会社 | 视频发送装置、视频接收装置、视频记录装置、视频重放装置及视频显示装置 |
US7843510B1 (en) * | 1998-01-16 | 2010-11-30 | Ecole Polytechnique Federale De Lausanne | Method and system for combining video sequences with spatio-temporal alignment |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU702724B1 (en) * | 1998-07-20 | 1999-03-04 | Ian Galbraith Hay | Image manipulation apparatus |
EP1144059A3 (en) * | 1999-10-08 | 2002-09-04 | Inmotion Technologies Ltd. | Video training and gaming method for comparing events |
JP2004500756A (ja) * | 1999-11-24 | 2004-01-08 | ダートフィッシュ エルティーディー. | ビデオシーケンスと時空正規化との調整および合成 |
WO2001078050A2 (en) | 2000-04-07 | 2001-10-18 | Inmotion Technologies Ltd. | Automated stroboscoping of video sequences |
JP2002027315A (ja) * | 2000-07-07 | 2002-01-25 | Sony Corp | 動き検出装置及び動き検出方法 |
JP3668168B2 (ja) * | 2001-09-14 | 2005-07-06 | 株式会社東芝 | 動画像処理装置 |
WO2003060823A2 (en) * | 2001-12-26 | 2003-07-24 | Yeda Research And Development Co.Ltd. | A system and method for increasing space or time resolution in video |
EP1404130A1 (en) * | 2002-09-24 | 2004-03-31 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for processing a video signal mixed with an additional image signal |
JP2004164563A (ja) * | 2002-09-26 | 2004-06-10 | Toshiba Corp | 画像解析方法、画像解析装置、画像解析プログラム |
US7752548B2 (en) * | 2004-10-29 | 2010-07-06 | Microsoft Corporation | Features such as titles, transitions, and/or effects which vary according to positions |
EP1907076B1 (en) | 2005-07-12 | 2008-11-05 | Dartfish SA | A method for analyzing the motion of a person during an activity |
US7978081B2 (en) | 2006-01-09 | 2011-07-12 | Applied Technology Holdings, Inc. | Apparatus, systems, and methods for communicating biometric and biomechanical information |
US8340185B2 (en) * | 2006-06-27 | 2012-12-25 | Marvell World Trade Ltd. | Systems and methods for a motion compensated picture rate converter |
WO2008091207A1 (en) * | 2007-01-26 | 2008-07-31 | Telefonaktiebolaget Lm Ericsson (Publ) | Border region processing in images |
JP5125294B2 (ja) * | 2007-07-31 | 2013-01-23 | 株式会社ニコン | プログラム、画像処理装置、撮像装置および画像処理方法 |
RU2408160C1 (ru) * | 2009-08-10 | 2010-12-27 | Зао "Ниир-Ком" | Способ нахождения векторов движения деталей в динамических изображениях и устройство для его реализации |
JP5424852B2 (ja) * | 2009-12-17 | 2014-02-26 | キヤノン株式会社 | 映像情報処理方法及びその装置 |
US8421847B2 (en) * | 2010-05-21 | 2013-04-16 | Mediatek Inc. | Apparatus and method for converting two-dimensional video frames to stereoscopic video frames |
-
2012
- 2012-01-16 JP JP2013550971A patent/JP6030072B2/ja not_active Expired - Fee Related
- 2012-01-16 EP EP12701949.5A patent/EP2668771A1/en not_active Withdrawn
- 2012-01-16 RU RU2013139872/08A patent/RU2602792C2/ru not_active IP Right Cessation
- 2012-01-16 CN CN201280006606.5A patent/CN103404122B/zh not_active Expired - Fee Related
- 2012-01-16 US US13/976,483 patent/US20130293783A1/en not_active Abandoned
- 2012-01-16 WO PCT/IB2012/050196 patent/WO2012101542A1/en active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7843510B1 (en) * | 1998-01-16 | 2010-11-30 | Ecole Polytechnique Federale De Lausanne | Method and system for combining video sequences with spatio-temporal alignment |
US20020114493A1 (en) * | 2001-02-16 | 2002-08-22 | Golftec, Inc. | Method and system for physical motion analysis |
CN1650634A (zh) * | 2002-04-29 | 2005-08-03 | 皇家飞利浦电子股份有限公司 | 利用根据多个参考帧的运动补偿时域滤波的基于可分级小波的编码 |
US20060262184A1 (en) * | 2004-11-05 | 2006-11-23 | Yissum Research Development Company Of The Hebrew University Of Jerusalem | Method and system for spatio-temporal video warping |
CN1885946A (zh) * | 2005-06-24 | 2006-12-27 | 三星电子株式会社 | 运动错误补偿器以及检测和补偿运动错误的方法 |
CN101652994A (zh) * | 2007-03-29 | 2010-02-17 | 夏普株式会社 | 视频发送装置、视频接收装置、视频记录装置、视频重放装置及视频显示装置 |
Also Published As
Publication number | Publication date |
---|---|
RU2602792C2 (ru) | 2016-11-20 |
CN103404122B (zh) | 2017-03-22 |
WO2012101542A1 (en) | 2012-08-02 |
US20130293783A1 (en) | 2013-11-07 |
RU2013139872A (ru) | 2015-03-10 |
EP2668771A1 (en) | 2013-12-04 |
JP2014508455A (ja) | 2014-04-03 |
JP6030072B2 (ja) | 2016-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Li et al. | Application of artificial intelligence in basketball sport | |
US11049258B2 (en) | Stereoscopic image capture with performance outcome prediction in sporting environments | |
Rana et al. | Wearable sensors for real-time kinematics analysis in sports: A review | |
Baca et al. | Ubiquitous computing in sports: A review and analysis | |
AU2017331639B2 (en) | A system and method to analyze and improve sports performance using monitoring devices | |
EP2977087B1 (en) | Athletic activity heads up display systems and methods | |
US20190057508A1 (en) | Multi-sensor event analysis and tagging system | |
US8944928B2 (en) | Virtual reality system for viewing current and previously stored or calculated motion data | |
CN113599788B (zh) | 用于在体育事件中监测运动员表现的系统和方法 | |
Vignais et al. | Virtual thrower versus real goalkeeper: the influence of different visual conditions on performance | |
KR102030747B1 (ko) | 가상현실 스포츠 시스템 | |
US20090015678A1 (en) | Method and system for automatic pose and trajectory tracking in video | |
WO2017141166A1 (en) | Device for assessing and training the perceptual, cognitive, and motor performance, and method thereof | |
CN103404122A (zh) | 基于运动矢量的运动对象比较 | |
Yamaoka et al. | Feedback of flying disc throw with Kinect and its evaluation | |
CN116328279A (zh) | 一种基于视觉人体姿势估计的实时辅助训练方法及设备 | |
Sykora et al. | Advances in sports informatics research | |
Lefèvre et al. | A deep dive into the use of local positioning system in professional handball: Automatic detection of players’ orientation, position and game phases to analyse specific physical demands | |
KR101864039B1 (ko) | 증강현실을 이용한 격투기 스포츠의 공정심사 솔루션 제공용 빅데이터 분석처리 시스템 및 그 구동방법 | |
Fung et al. | Hybrid markerless tracking of complex articulated motion in golf swings | |
Tanaka et al. | Automatic edge error judgment in figure skating using 3d pose estimation from a monocular camera and imus | |
Kuruppu et al. | Comparison of different template matching algorithms in high speed sports motion tracking | |
Sattar et al. | Body sensor networks for monitoring performances in sports: A brief overview and some new thoughts. | |
US20240144613A1 (en) | Augmented reality method for monitoring an event in a space comprising an event field in real time | |
KR102518635B1 (ko) | 비젼 ai와 사물인터넷을 이용한 인터랙티브 구기종목 연습 시스템 및 그 동작방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170322 Termination date: 20180116 |
|
CF01 | Termination of patent right due to non-payment of annual fee |