CN101795363A - 视频处理装置、视频处理方法以及程序 - Google Patents

视频处理装置、视频处理方法以及程序 Download PDF

Info

Publication number
CN101795363A
CN101795363A CN201010116454A CN201010116454A CN101795363A CN 101795363 A CN101795363 A CN 101795363A CN 201010116454 A CN201010116454 A CN 201010116454A CN 201010116454 A CN201010116454 A CN 201010116454A CN 101795363 A CN101795363 A CN 101795363A
Authority
CN
China
Prior art keywords
data
video
unit
object specific
obtains
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201010116454A
Other languages
English (en)
Other versions
CN101795363B (zh
Inventor
引田纯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101795363A publication Critical patent/CN101795363A/zh
Application granted granted Critical
Publication of CN101795363B publication Critical patent/CN101795363B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021Tracking a path or terminating locations
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/322Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier used signal is digitally coded
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/21805Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365Multiplexing of several video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4545Input to filtering algorithms, e.g. filtering a region of the image
    • H04N21/45455Input to filtering algorithms, e.g. filtering a region of the image applied to a region of the image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84Generation or processing of descriptive data, e.g. content descriptors
    • H04N21/8405Generation or processing of descriptive data, e.g. content descriptors represented by keywords
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8545Content authoring for generating interactive applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8549Creating video summaries, e.g. movie trailer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/173Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309Transmission or handling of upstream communications
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021Tracking a path or terminating locations
    • A63B2024/0025Tracking the path or location of one or more users, e.g. players of a game
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021Tracking a path or terminating locations
    • A63B2024/0056Tracking a path or terminating locations for statistical or strategic analysis
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/80Special sensors, transducers or devices therefor
    • A63B2220/806Video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了视频处理装置、视频处理方法以及程序。视频处理装置包括:被配置为通过捕捉特定区域的视频来获得视频数据的视频获得单元;被配置为蓄积由视频获得单元获得的视频数据的视频蓄积单元;被配置为输入事件发生数据和对象指定数据的数据输入单元,事件发生数据指示与由视频获得单元获得的视频数据相对应的视频图像中已经发生的事件,对象指定数据用于指定与该事件相关的对象;以及添加处理单元,该添加处理单元被配置为通过对用于将视频数据链接至事件发生数据和对象指定数据的链接数据的提供、利用预定格式、来将由数据输入单元输入的事件发生数据和对象指定数据添加到视频蓄积单元中蓄积的视频数据中。

Description

视频处理装置、视频处理方法以及程序
技术领域
本发明涉及适用于处理例如所记录的体育比赛的视频的视频处理装置和方法,并且涉及使用该方法的程序。
背景技术
当实况广播的体育比赛被记录时,比赛的场景一般利用多个相机来捕捉,并且编辑操作被执行,例如根据比赛的进行在相机之间适当地切换。最后,产生了视频内容。
当再现视频内容时,如希望的那样,以引导图像被重叠在再现的视频图像上的这样的方式,可显示表示了诸如得分和选手名字之类的细节的引导图像。
还可执行进一步的编辑操作,例如紧接比赛中令人印象深刻的行为场景、例如足球比赛中的进球得分之后再次再现该场景,或者以不同的角度插入该场景的镜头,并且最后产生视频内容。编辑者还可对视频文件应用特殊效果。
近来,与体育比赛的进行有关的详细信息已经利用计算机装置来电子地创建,并且已经经由因特网等来呈现或蓄积。关于体育比赛的这样的信息被称为统计资料(stats)。
统计资料是由统计资料信息输入操作者在实际的体育比赛正在发生同时操作者在观看比赛的体育场中利用计算机装置或专用输入装置而人工输入的信息,例如比赛的进行状况以及选手的名字。此信息在下文中被称为“统计资料”、“统计资料信息”或“统计资料数据”。统计资料信息使观看者能容易地获得例如足球比赛的细节,例如哪个选手尝试了射门以及哪个选手进球得分。
日本未经实审的专利申请公布No.2007-102503描述了生成反映电子游戏(video game)中选手的运动的运动数据的示例,该运动数据对于利用游戏设备来执行电子体育游戏是必要的。
发明内容
如上所述,所记录的体育比赛的视频内容一般由编辑者编辑以产生视频内容。视频内容的产生可能涉及用于编辑操作的很多劳动。
此外,关于体育比赛的上述统计资料信息不受该体育比赛的记录视频影响地存在,并且一般不与该体育比赛的记录视频相关联。当体育比赛被实况广播时,最新的得分或简要的进程报告可经由数据广播来发送。然而,与视频内容相关联的详细信息,例如与选手的行为有关的信息,一般是不可得的。
如日本未经实审的专利申请公布No.2007-102503中所公开的,用于生成反映体育比赛中选手的运动的运动数据的技术被用在电子游戏设备上的虚拟电子体育游戏中。然而,这样的技术一般不应用于所记录的真实体育比赛的视频。很多时间和努力被投入于创建用于在电子游戏设备上玩体育游戏的程序,并且这样的程序事实上并不适用于实际的体育比赛。
因此希望将体育比赛的视频与关于比赛的详细信息相关联。
在本发明的一个实施例中,通过捕捉特定区域的视频来获得视频数据,并且蓄积所获得的视频数据。
然后,输入事件发生数据和对象指定数据,其中事件发生数据表示与所获得的视频数据相对应的视频图像中已经发生的事件,对象指定数据用于指定与该事件相关的对象。通过对用于将视频数据链接至事件发生数据和对象指定数据的数据的提供、利用预定格式、来将所输入的事件发生数据和对象指定数据添加到所蓄积的视频数据中。
因此,视频数据、事件发生数据和对象指定数据可被链接和蓄积。
根据本发明的一个实施例,视频数据、事件发生数据和对象指定数据被链接和蓄积。这促进了对由事件发生数据和对象指定数据表示的视频图像的容易的检索。
例如,当获得了表示诸如足球比赛之类的体育比赛的图像的视频序列时,可通过参考事件发生数据和对象指定数据来容易地检索当诸如得分场景之类的事件在比赛期间发生时所捕捉的视频图像。
附图说明
图1是示出根据本发明的一个示例性实施例的系统的示例配置的框图;
图2是示出根据本发明的一个实施例的全统计资料生成装置的示例的框图;
图3是示出根据本发明的一个实施例的、表示场地的整个区域的所捕捉的视频图像的示图;
图4是示出根据本发明的一个实施例的统计资料数据的示例的示图;
图5是示出根据本发明的一个实施例的数据格式的示例(概要格式的示例)的示图;
图6是示出根据本发明的一个实施例的数据格式的示例(固定位置数据的示例)的示图;
图7是示出根据本发明的一个实施例的数据格式的示例(实况位置数据的示例)的示图;
图8是示出根据本发明的一个实施例的数据格式的示例(固定事件数据的示例)的示图;
图9是示出根据本发明的一个实施例的数据格式的示例(实况事件数据的示例)的示图;
图10是示出根据本发明的一个实施例的数据格式的示例(文件头的示例)的示图;
图11是示出根据本发明的一个实施例的数据格式的示例(球位置文件的示例)的示图;
图12是示出根据本发明的一个实施例的数据格式的示例(选手位置文件的示例)的示图;
图13是示出根据本发明的一个实施例的数据格式的示例(选手事件文件的示例)的示图;
图14是示出根据本发明的一个实施例的数据格式的示例(文件尾的示例)的示图;
图15是示出根据本发明的一个实施例的示例性视频编辑处理的流程图;
图16是示出根据本发明的一个实施例的示例性被编辑视频同步处理的流程图;
图17是示出根据本发明的一个实施例的视频图像和元数据的示例的示图;
图18是示出在图17的状况下被处理的视频图像的示例的示图,其中广角视频图像的部分被缩放和再现;
图19是示出根据本发明的一个实施例的视频图像和元数据的另一示例的示图;
图20是示出在图19的状况下被处理的视频图像的示例的示图;
图21是示出根据本发明的一个实施例的所再现的视频图像的示例的示图;
图22A和图22B是示出根据本发明的一个实施例的所再现的视频图像的其他示例的示图;并且
图23A和图23B是示出根据本发明的一个实施例的所再现的视频图像的其他示例的示图。
具体实施方式
在下文中将参考附图以下面的顺序来描述本发明的示例性实施例:
(1)总体系统的示例配置:图1
(2)全统计资料生成装置的示例配置:图2
(3)统计资料信息的示例:图4
(4)数据结构的示例:图5到图14
(5)示例性视频编辑处理:图15和图16
(6)视频图像与元数据之间的关联的示例:图17到图20
(7)所再现的视频图像的示例:图21、图22A、图22B、图23A和图23B
(1)总体系统的示例配置:图1
首先,将参考图1描述根据本发明的示例性实施例(在下文中被称为本实施例)的总体系统的示例配置。在本实施例中,被配置为利用足球运动场中的相机来捕捉足球比赛的视频并且被配置为蓄积足球比赛的捕获视频以及其他数据的系统被用作示例。
在本实施例中,多个相机11和12被放置在体育比赛发生的运动场10中,比赛的视频利用相机11和12来捕捉,并且所捕捉的视频的视频数据被供应至编辑装置13。至少一个相机被用来捕捉运动场10中比赛发生的场地的整个区域的视频。
例如,如图3所示,利用位于固定位置以捕捉表示运动场中场地的整个区域的视频图像的相机所捕捉的视频数据被获得。在图3的示例中,假设利用并排放置的两个相机所捕捉的视频图像被连接以形成表示运动场中场地的整个区域的视频图像。
编辑装置13对比赛的图像的视频序列执行编辑操作,例如选择包括了利用相机捕捉的希望的场景的视频图像。编辑装置13可与在运动场10中执行的捕捉操作同时地执行编辑操作。表示场地的整个区域的视频图像可恒定地被输出,而不用管所编辑的视频图像。
输入装置14也位于运动场10中。操作者利用输入装置14输入统计资料信息,例如比赛的进程。可通过例如将专用软件安装进个人计算机装置来构成输入装置14。
输入装置14被操作者操作以输入比赛的详细进程以及诸如参加足球比赛的队伍的名字、选手的名字和裁判的名字之类的数据。除了诸如进球得分之类的基本数据以外,比赛的详细进程还可包括与诸如射门、犯规和角球之类的事件的发生有关的信息、连同各个事件中所涉及的选手的名字。如果可得的话,还可输入与场地上选手的粗略位置有关的信息。关于比赛进程的信息还可包括自从比赛开始以来所流逝的时间、或者绝对时间。
可在进行中的比赛期间实时地执行以上处理。
由编辑装置13编辑的视频数据以及利用输入装置14输入的统计资料信息被发送至全统计资料生成装置20。全统计资料生成装置20的操作基本在运动场10中进行的足球比赛结束之后执行。
全统计资料生成装置20连接至输入装置21,并且接收详细的统计资料信息。全统计资料生成装置20处理利用输入装置14输入的统计资料信息以产生完整的统计资料信息(全统计资料信息)。如果利用输入装置14输入的统计资料信息包含错误,则纠正该错误。也可利用计算机装置来构成输入装置21。
利用输入装置21输入的统计资料信息的示例包括难以实时输入的详细数据,例如与场地中选手或裁判的位置有关的数据、与选手或裁判的面部的朝向有关的数据、以及与球的位置有关的数据。以上的数据一般由操作者人工输入,或者可基于运动场10中场地的整个区域的捕获视频而自动生成。
全统计资料生成装置20还连接至视频处理装置22,并且视频处理装置22编辑比赛的图像的视频序列。视频处理装置22的编辑操作是利用全统计资料生成装置20所创建的统计资料信息在某种程度上自动地执行的。
由全统计资料生成装置20创建的统计资料信息和由视频处理装置22创建的被编辑的视频数据被供应至服务器30并被蓄积在服务器30中。在服务器30中,关于单场比赛的视频数据和统计资料信息作为与单段视频内容有关的数据而被蓄积。当存在附接至视频数据的音频数据时,音频数据也被蓄积。
服务器30中蓄积的足球比赛的视频内容例如与附随的统计资料信息一起被传送至已访问过服务器30的终端装置31、32和33。可替代地,视频内容被存储在某存储介质中,并且如希望的那样分发给用户。
(2)全统计资料生成装置的示例配置:图2
接下来,将参考图2描述全统计资料生成装置20和外围设备的示例配置。
实况视频捕捉单元101接收从图1所示的编辑装置13发送的视频数据。由实况视频捕捉单元101捕捉的视频序列被供应至视频处理单元102,并且如希望的那样被蓄积在缓冲器103中。
利用体育比赛事件输入单元104输入的数据被发送至事件数据发送功能单元105。体育比赛事件输入单元104和事件数据发送功能单元105与图1所示的输入装置21相对应。
从事件数据发送功能单元105输出的事件数据被事件数据接收功能单元106接收,并且被发送至事件处理器单元107。事件处理器单元107基于事件数据向视频分割单元108发送视频编辑指令。
根据来自事件处理器单元107的指令,视频分割单元108执行编辑处理,例如供应至视频处理单元102的视频序列中特定部分的视频图像的提取和扩大。利用视频处理单元102编辑的视频数据被蓄积在存储单元110中。由事件数据接收功能单元106接收的事件数据(统计资料信息)也被蓄积在存储单元110中。存储单元110中蓄积的视频数据还可被图1所示的视频处理装置22编辑。在图2中,仅仅对作为统计资料信息的事件数据的处理被示出。诸如关于个别选手的位置信息之类的其他数据也可被输入,并且利用类似于上述处理配置的处理配置来处理。
所编辑的视频数据和统计资料信息被发送至图1所示的服务器30。
(3)统计资料信息的示例:图4
接下来,将参考图4描述添加到根据本实施例的系统中的视频数据中的统计资料信息的概要。
如图4所示,从足球比赛的开始直到比赛的结束,与选手、裁判和球有关的事件数据和位置信息数据被添加。
如图4所示,事件数据包含针对诸如开球、传球、接触或射门之类的已在比赛期间发生的每个事件的信息,包括事件发生的时间、用于指定事件的号码以及哪个选手被涉及在事件中。位置信息数据可以是以诸如每秒之类的预定时间间隔来指示场地上所有选手、裁判和球的坐标位置的数据。事件数据和位置数据被统计地处理和分析,从而提供对每个比赛的细节的分析,例如射门的数目和得分的进球的数目。在图4的示例中,计算了用右脚射门的成功率和用左脚射门的成功率。要理解的是,图4所示的数据项仅是示例,并且其他详细的分析可利用下面描述的详细的数据结构来进行。
(4)数据结构的示例:图5到图14
接下来,将参考图5到图14来描述由全统计资料生成装置20生成的统计资料信息的数据结构。
首先,将参考图5到图9来描述统计资料信息的数据结构的概要。
在本实施例中,如图5所示,统计资料信息具有包括头部分、体部分和尾部分的数据格式。体部分包含下面描述的实际数据。
图6到图9示出体部分的示例。
图6示出固定位置数据。固定位置数据可以是指示足球比赛中场地上的个别选手的固定位置的数据。也就是说,针对每个帧一个选手一个选手地设置和布置与诸如中锋之类的指定给每个选手的位置有关的数据。固定位置数据可以是一次添加到每个比赛的数据中就足够的数据,除非选手被替换。
图7示出实况位置数据。实况位置数据可以是在每个时间步长处指示场地上所有选手、裁判和球的坐标位置的数据。这里,如图7所示,每单位的实况位置数据便指示视频序列的帧号码,并且在相应的帧号码处的视频序列中的选手位置等被指示。因此,在最详细的数据中,呈现了每帧的表示。每秒的表示可被呈现以减少数据量。
图8示出固定事件数据。对于每个事件,固定事件数据包括事件发生处的帧号码,以及指示已发生的事件的细节的数据。固定事件数据可以是与诸如比赛的开始、比赛的结束以及伤停补时之类的、比赛期间规则地发生的固定事件有关的数据。
图9示出实况事件数据。对于每个事件,实况事件数据包括事件发生处的帧号码,以及指示已发生的事件的细节的数据。实况事件可以是在比赛期间的任何时间发生的事件,例如传球、接触、射门和角球,并且与涉及在事件中的选手有关的数据被添加在详细数据中。实况事件数据可以是在比赛期间连续生成的数据。如图9所示,头和尾被添加到每某个量的数据上以形成分组。
接下来,将参考图10到图14来描述数据项的详细示例数据配置。在图10到图14中,以预定数目字节为单位表示数据项。
图10示出文件头的示例。在文件头中,指示数据结构的数据项,例如格式类型、格式版本和帧频,被添加在开始处,后跟足球竞赛(competition)的ID(“竞赛ID”)、足球比赛的ID(“比赛ID”)、主队的ID(“主队ID”)以及客队的ID(“客队ID”)。诸如场地的横纵尺寸(X方向场地大小和Y方向场地大小)以及选手的数目之类的其他数据项也被添加。
如图10所示,包括了上半场的开始时间、上半场的结束时间、下半场的开始时间、下半场的结束时间、加时的上半场的开始时间、点球决胜的开始时间(“PK开始”)以及其他数据项。在所示出的示例中,时间标度指示符基于绝对时间或UTC(协调世界时)时间。与每个时间戳有关的信息的详细结构在图10的右部分示出。
图11示出球位置文件的示例配置。
在UTC时间、视频的帧号码、场地上的X和Y坐标位置、以及高度方向(Z)坐标位置方面来表示比赛期间球的位置。
图12示出选手位置文件的示例配置。
对于每个选手,选手位置文件描述了场地上的X和Y坐标位置、以及高度方向(Z)坐标位置。还在场地上的X和Y坐标位置、以及高度方向(Z)坐标位置方面表示了每个选手的面部的位置。每个选手的面部数据还可包括与选手的面部的朝向有关的数据。
选手位置文件还包括与个别选手的行为有关的详细数据,例如选手移动脚步的时段。
图13示出选手事件文件的示例配置。
选手事件文件包含与比赛期间由个别选手上演的事件的细节有关的数据。选手事件文件包括帧号码、选手ID、队伍ID、球衣号码(“制服号码”)、以及表示事件的细节的事件数据。
图14示出描述了事件的总数以及视频的帧的数目的文件尾。
(5)示例性视频编辑处理:图15和图16
图15和图16是示出用于基于以上述方式获得的统计资料信息来编辑视频序列的示例性处理的流程图。图15示出了基于元数据的效果在视频图像被再现的时候被重叠的示例,并且图16示出了效果从元数据生成并且当视频图像被再现的时候被重叠的示例。流程图中的处理步骤可在例如图1所示的视频处理装置22中被自动执行。可替代地,例如,用于基于统计资料信息来选择编辑操作的指示可显示在编辑操作者所观看的画面上,并且操作者可选择编辑操作并确定所选的编辑操作是否要被执行。在流程图中,术语“元信息”和“元数据”与上述统计资料信息相对应。
首先,表示场地的整个区域的广角捕捉的视频图像(图3)利用视频处理装置22来再现(步骤S11),并且确定元信息是否与当前的再现时间相关联(步骤S12)。当元信息(这里,统计资料信息中的实况事件数据)不相关联时,处理返回至步骤S11。
如果在步骤S12中确定元信息(统计资料信息中的实况事件数据)是相关联的,则广角视频图像中事件正在发生的区域基于元信息所指示的、选手或选手们或球的坐标位置来确定(步骤S13)。要应用于视频图像的编辑操作(效果)也根据事件的类型来确定。
然后,当前再现的视频图像被编辑以反映所确定的区域和效果(步骤S14),并且所编辑的视频数据被提取。然后,处理返回至步骤S11。所编辑的视频图像的具体示例在下面描述。
图16示出用于将所提取的被编辑的视频数据与原始视频图像同步的示例性处理。
首先,元数据被分析并且编辑操作(效果)被确定(步骤S21)。然后,确定视频数据是否已通过执行编辑操作(效果)来创建(步骤S22)。处理等待所希望的视频数据被创建。当所希望的视频数据被创建时,执行用于将表示场地的整个区域的广角视频图像的再现时间与所创建的视频图像的再现时间同步的时间同步处理(步骤S23)。通过执行时间同步处理,其中同时再现了广角视频图像和所编辑的视频图像的视频内容被创建(步骤S24)。然后,处理返回至步骤S21。
(6)视频图像与元数据之间的关联的示例:图17到图20
接下来,将参考图17到图20来描述广角视频图像的视频数据与元数据之间的关联的示例。
例如,如图17所示,假设元数据指示位置“A-5”处的选手在某时间制造了射门。
在此情况下,如图18所示,包括该选手的部分从广角视频图像中被提取,并且其中放大了所提取的视频图像部分的被编辑视频数据被创建。放大了的视频图像部分与广角视频图像一起被呈现。
例如,如图19所示,还假设元数据指示某选手在某帧号码的定时处传球给另一选手。
在此情况下,如图20所示,其中绘制了球的轨迹的视频图像被创建,并且示出球的轨迹的视频图像以重叠在广角视频图像上的方式被显示。
在所示出的示例中,仅仅表示场地的整个区域的广角视频图像作为示例而被获得。当可获得以不同角度捕捉的视频图像时,以不同角度捕捉的视频图像可用来创建所编辑的视频数据。
(7)所再现的视频图像的示例:图21、图22A、图22B、图23A和图23B
图21、图22A、图22B、图23A和图23B是示出所编辑的视频图像的更具体示例的示图。
在图21所示的示例中,表示场地的整个区域的广角捕捉的视频图像位于画面的下部,并且基于元数据创建的所编辑的视频图像位于比广角视频图像更上的位置,其中比分和选手的名字的列表在适当的位置被示出。根据本实施例,以上视频图像可通过元数据的使用来自动地创建。
图22A、图22B、图23A和图23B示出除了表示场地的整个区域的广角视频图像以外的视频图像的示例。在示例中,基于元数据提取以不同角度捕捉的视频图像并且创建所编辑的视频图像。此外,通过分析元数据而获得的信息也利用字符和任何其他合适的项目来重叠。图22A、图22B、图23A和图23B所示的视频图像可与表示场地的整个区域的广角视频图像一起被呈现和再现,以创建视频内容。
因此,根据本实施例,足球比赛的捕获图像的视频序列与关于足球比赛的统计资料信息在帧号码和绝对时间信息方面被关联,并且特定区域的视频图像被基于统计资料信息而从视频序列中提取并被编辑。因此,比赛的捕获图像的视频序列被与诸如统计资料信息之类的元数据集成,并且被自动编辑。在此情况下,编辑区域通过参考元数据来确定,而不用利用图像识别等来检测视频序列中的对象。因此,有利地,高质量的处理可伴随着用于视频编辑处理的被减少的负载而执行。
虽然在上述实施例中,足球比赛的图像的视频序列被用作示例,但是任何其他体育比赛的图像的视频序列也可被使用。
在上述实施例中,视频数据、与已在比赛中发生的事件有关的数据、以及用于在图像的视频序列中指定事件中所涉及的对象(例如选手)的数据在视频序列的帧号码方面被链接。以上的数据项可利用任何其他数据来链接。在上述实施例中,因为添加了用作绝对时间数据的UTC数据,所以以上的数据项可利用UTC数据来链接。可替代地,以上的数据项可利用自从比赛的开始时间以来的绝对流逝时间、或者流逝的帧的数目来链接。
图1所示的装置还可通过将用于执行实施例中描述的处理的程序结合进计算机装置(信息处理装置)来构成,从而可得到类似的装置。
本申请包含与2009年2月4日递交日本专利局的日本优先专利申请JP 2009-024301中所公开的主题相关的主题,该日本优先专利申请的全部内容通过引用由此被结合。
本领域的技术人员应当理解,各种修改、组合、子组合和变更可根据设计需求和其他因素来发生,只要它们在所附权利要求或其等同物的范围内。

Claims (6)

1.一种视频处理装置,包括:
视频获得单元,所述视频获得单元被配置为通过捕捉特定区域的视频来获得视频数据;
视频蓄积单元,所述视频蓄积单元被配置为蓄积由所述视频获得单元获得的视频数据;
数据输入单元,所述数据输入单元被配置为输入事件发生数据和对象指定数据,所述事件发生数据指示与由所述视频获得单元获得的视频数据相对应的视频图像中已经发生的事件,所述对象指定数据用于指定与所述事件相关的对象;以及
添加处理单元,所述添加处理单元被配置为通过提供用于将视频数据链接至所述事件发生数据和所述对象指定数据的链接数据,利用预定格式来将由所述数据输入单元输入的所述事件发生数据和所述对象指定数据添加到所述视频蓄积单元中蓄积的视频数据中。
2.根据权利要求1所述的视频处理装置,其中由所述视频获得单元获得的视频数据是被记录的体育比赛的视频数据,并且
其中由所述数据输入单元输入的所述对象指定数据包括参加所述体育比赛的选手的注册位置的数据、以及进行中的所述体育比赛中所述选手的移动的位置的数据。
3.根据权利要求2所述的视频处理装置,其中所述链接数据是视频数据的帧号码的数据。
4.根据权利要求3所述的视频处理装置,还添加了绝对时间数据。
5.一种视频处理方法,包括以下步骤:
通过捕捉特定区域的视频来获得视频数据;
蓄积在获得步骤中获得的视频数据;
输入事件发生数据和对象指定数据,所述事件发生数据指示与在获得步骤中获得的视频数据相对应的视频图像中已经发生的事件,所述对象指定数据用于指定与所述事件相关的对象;以及
通过提供用于将视频数据链接至所述事件发生数据和所述对象指定数据的链接数据,利用预定格式来将在输入步骤中输入的所述事件发生数据和所述对象指定数据添加到在蓄积步骤中蓄积的视频数据中。
6.一种用于导致信息处理装置执行以下步骤的程序:
通过捕捉特定区域的视频来获得视频数据;
蓄积在获得步骤中获得的视频数据;
输入事件发生数据和对象指定数据,所述事件发生数据指示与在获得步骤中获得的视频数据相对应的视频图像中已经发生的事件,所述对象指定数据用于指定与所述事件相关的对象;以及
通过提供用于将视频数据链接至所述事件发生数据和所述对象指定数据的链接数据,利用预定格式来将在输入步骤中输入的所述事件发生数据和所述对象指定数据添加到在蓄积步骤中蓄积的视频数据中。
CN2010101164547A 2009-02-04 2010-01-28 视频处理装置和视频处理方法 Expired - Fee Related CN101795363B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-024301 2009-02-04
JP2009024301A JP2010183301A (ja) 2009-02-04 2009-02-04 映像処理装置、映像処理方法及びプログラム

Publications (2)

Publication Number Publication Date
CN101795363A true CN101795363A (zh) 2010-08-04
CN101795363B CN101795363B (zh) 2012-11-07

Family

ID=42212196

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010101164547A Expired - Fee Related CN101795363B (zh) 2009-02-04 2010-01-28 视频处理装置和视频处理方法

Country Status (4)

Country Link
US (1) US8988528B2 (zh)
EP (1) EP2216787A1 (zh)
JP (1) JP2010183301A (zh)
CN (1) CN101795363B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105122789A (zh) * 2012-12-12 2015-12-02 克劳德弗里克公司 用于用户生成的视频的同步的编辑的数字平台
CN105959710A (zh) * 2016-05-26 2016-09-21 简极科技有限公司 一种运动视频直播、剪切及存储系统
CN107333031A (zh) * 2017-07-27 2017-11-07 李静雯 一种适用于校园足球比赛的多路视频自动编辑方法

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010183301A (ja) 2009-02-04 2010-08-19 Sony Corp 映像処理装置、映像処理方法及びプログラム
JP6189577B2 (ja) 2010-08-18 2017-08-30 株式会社リコー 転写装置、画像形成装置、及び転写方法
CN102752529B (zh) * 2011-09-28 2017-09-19 新奥特(北京)视频技术有限公司 一种比赛现场数据采集的同步输出方法及系统
JP5936109B2 (ja) 2011-12-06 2016-06-15 株式会社リコー 転写装置及びこれを用いる画像形成装置
CN102724428B (zh) * 2011-12-06 2017-06-13 新奥特(北京)视频技术有限公司 一种比赛系统中数据监控输出的方法
JP6079450B2 (ja) * 2012-09-27 2017-02-15 株式会社Jvcケンウッド 撮像装置、撮像方法、及び撮像プログラム
US9839843B1 (en) 2014-11-14 2017-12-12 Amazon Technologies, Inc. Coordination of content presentation operations
US9821222B1 (en) 2014-11-14 2017-11-21 Amazon Technologies, Inc. Coordination of content presentation operations
US10158700B1 (en) * 2014-11-14 2018-12-18 Amazon Technologies, Inc. Coordination of content presentation operations
CN105678732B (zh) * 2014-11-18 2018-07-03 北京数码视讯科技股份有限公司 一种点球、角球和任意球关键帧的检测方法和装置
US10389935B2 (en) 2016-12-13 2019-08-20 Canon Kabushiki Kaisha Method, system and apparatus for configuring a virtual camera
JP6913552B2 (ja) * 2017-07-27 2021-08-04 株式会社セガ プログラムおよびダーツゲームシステム
JP7076727B2 (ja) * 2017-08-31 2022-05-30 成典 田中 プレイヤ位置可視化装置
JP6996384B2 (ja) 2018-03-27 2022-01-17 富士通株式会社 表示プログラム、表示方法および表示装置
CN110741652A (zh) * 2018-05-21 2020-01-31 青岛海信电器股份有限公司 具有智能用户界面的显示设备
US10963841B2 (en) 2019-03-27 2021-03-30 On Time Staffing Inc. Employment candidate empathy scoring system
US10728443B1 (en) 2019-03-27 2020-07-28 On Time Staffing Inc. Automatic camera angle switching to create combined audiovisual file
US11127232B2 (en) 2019-11-26 2021-09-21 On Time Staffing Inc. Multi-camera, multi-sensor panel data extraction system and method
US11023735B1 (en) 2020-04-02 2021-06-01 On Time Staffing, Inc. Automatic versioning of video presentations
US11144882B1 (en) 2020-09-18 2021-10-12 On Time Staffing Inc. Systems and methods for evaluating actions over a computer network and establishing live network connections
JP7122438B1 (ja) 2021-06-17 2022-08-19 株式会社 ディー・エヌ・エー 試合の統計情報を管理するためのシステム、方法、及びプログラム
US11727040B2 (en) 2021-08-06 2023-08-15 On Time Staffing, Inc. Monitoring third-party forum contributions to improve searching through time-to-live data assignments
US11423071B1 (en) 2021-08-31 2022-08-23 On Time Staffing, Inc. Candidate data ranking method using previously selected candidate data
US11907652B2 (en) 2022-06-02 2024-02-20 On Time Staffing, Inc. User interface and systems for document creation

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1995010915A1 (en) * 1993-10-12 1995-04-20 Orad, Inc. Sports event video
US6144375A (en) 1998-08-14 2000-11-07 Praja Inc. Multi-perspective viewer for content-based interactivity
US6731788B1 (en) * 1999-01-28 2004-05-04 Koninklijke Philips Electronics N.V. Symbol Classification with shape features applied to neural network
JP2006312088A (ja) * 1999-01-29 2006-11-16 Scale:Kk 時系列データ処理装置及び方法
US6378132B1 (en) * 1999-05-20 2002-04-23 Avid Sports, Llc Signal capture and distribution system
US7230653B1 (en) * 1999-11-08 2007-06-12 Vistas Unlimited Method and apparatus for real time insertion of images into video
US7823066B1 (en) * 2000-03-03 2010-10-26 Tibco Software Inc. Intelligent console for content-based interactivity
DE60143081D1 (de) 2000-04-07 2010-10-28 Dartfish Sa Automatisiertes stroboskop-verfahren für videosequenzen
GB0105421D0 (en) 2001-03-06 2001-04-25 Prozone Holdings Ltd Sport analysis system and method
WO2002102080A1 (en) * 2001-06-08 2002-12-19 Pinnacle Systems, Inc. Automated presentation of a live event
JP2003250141A (ja) * 2002-02-22 2003-09-05 Ricoh Co Ltd 映像配信サーバ
JP2003333570A (ja) * 2002-05-13 2003-11-21 Ricoh Co Ltd コンテンツ配信システム、そのサーバ、電子機器、コンテンツ配信方法、そのプログラム、及びそのプログラムを記録した記録媒体
US20040068758A1 (en) 2002-10-02 2004-04-08 Mike Daily Dynamic video annotation
US7979877B2 (en) * 2003-12-23 2011-07-12 Intellocity Usa Inc. Advertising methods for advertising time slots and embedded objects
US7680301B2 (en) * 2005-06-30 2010-03-16 Sportvision, Inc. Measurements using a single image
JP4388004B2 (ja) 2005-10-04 2009-12-24 株式会社スクウェア・エニックス 画像生成装置及び方法、プログラム、並びに記録媒体
GB2447053A (en) * 2007-02-27 2008-09-03 Sony Uk Ltd System for generating a highlight summary of a performance
CN101354786B (zh) * 2007-07-23 2011-07-06 中国科学院计算技术研究所 一种体育视频事件分析方法
US20090262137A1 (en) * 2008-01-10 2009-10-22 Walker Jay S Systems and methods for presenting prediction in a broadcast
US9141859B2 (en) * 2008-11-17 2015-09-22 Liveclips Llc Method and system for segmenting and transmitting on-demand live-action video in real-time
JP2010183301A (ja) 2009-02-04 2010-08-19 Sony Corp 映像処理装置、映像処理方法及びプログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105122789A (zh) * 2012-12-12 2015-12-02 克劳德弗里克公司 用于用户生成的视频的同步的编辑的数字平台
CN105959710A (zh) * 2016-05-26 2016-09-21 简极科技有限公司 一种运动视频直播、剪切及存储系统
CN105959710B (zh) * 2016-05-26 2018-10-26 简极科技有限公司 一种运动视频直播、剪切及存储系统
CN107333031A (zh) * 2017-07-27 2017-11-07 李静雯 一种适用于校园足球比赛的多路视频自动编辑方法
CN107333031B (zh) * 2017-07-27 2020-09-01 李静雯 一种适用于校园足球比赛的多路视频自动编辑方法

Also Published As

Publication number Publication date
JP2010183301A (ja) 2010-08-19
CN101795363B (zh) 2012-11-07
EP2216787A1 (en) 2010-08-11
US8988528B2 (en) 2015-03-24
US20100194891A1 (en) 2010-08-05

Similar Documents

Publication Publication Date Title
CN101795363B (zh) 视频处理装置和视频处理方法
CN101834999B (zh) 视频处理装置、视频处理方法以及程序
CN101257582B (zh) 媒体生成系统
JP6947985B2 (ja) ゲーム動画編集プログラムならびにゲーム動画編集システム
JP7132730B2 (ja) 情報処理装置および情報処理方法
JP6744080B2 (ja) ゲームシステム、撮影装置およびプログラム
WO2019021375A1 (ja) 映像生成プログラム、映像生成方法および映像生成装置
CN104288992A (zh) 用于自动创建视频游戏精彩场面的系统及方法
CN112533003B (zh) 一种视频处理系统、装置、方法
JP6882057B2 (ja) 信号処理装置、信号処理方法、およびプログラム
JP2012084979A (ja) 情報処理装置及び方法、プログラム、並びに情報処理システム
JP5407708B2 (ja) 撮影映像処理装置、制御方法及びプログラム
KR102171356B1 (ko) 대회 일정과 연동되는 경기영상 스트리밍 방법 및 장치
JP2007089648A (ja) 競技情報の配信システム、携帯機器、配信方法、及びプログラム
JP2022093223A (ja) プレイ記録動画作成システム
CN205699280U (zh) 自动捕捉精彩镜头的篮球架
KR20110103962A (ko) 배신 서버, 데이터 배신 방법 및 프로그램
CN112135067B (zh) 比赛直播竞猜互动及分组传播系统、方法、存储器和设备
JP7079822B2 (ja) ゲームシステムおよび投稿用動画生成方法
JP5895921B2 (ja) 撮影映像処理装置、制御方法及びプログラム
JP7572651B2 (ja) ゲームシステム及び装置
JP2020107991A (ja) 動画タグ付け装置および動画タグ付け方法
CN112533011B (zh) 一种直播系统、方法、设备
CN114556963B (zh) 内容生成装置、内容分发服务器、内容生成方法以及存储介质
JP7336684B2 (ja) ゲームシステム及び装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20121107

Termination date: 20160128

EXPY Termination of patent right or utility model