CN101686352B - 显示控制装置、显示控制方法和程序 - Google Patents

显示控制装置、显示控制方法和程序 Download PDF

Info

Publication number
CN101686352B
CN101686352B CN2009101786186A CN200910178618A CN101686352B CN 101686352 B CN101686352 B CN 101686352B CN 2009101786186 A CN2009101786186 A CN 2009101786186A CN 200910178618 A CN200910178618 A CN 200910178618A CN 101686352 B CN101686352 B CN 101686352B
Authority
CN
China
Prior art keywords
player
information
image
excited
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2009101786186A
Other languages
English (en)
Other versions
CN101686352A (zh
Inventor
稻垣岳夫
藤木元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101686352A publication Critical patent/CN101686352A/zh
Application granted granted Critical
Publication of CN101686352B publication Critical patent/CN101686352B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

一种显示控制装置包括：接收单元，其接收至少包含远程广播图像信息的电视广播信号；显示单元，其显示图像信息；记录和再现单元，其记录和再现所述图像信息；选手信息获取单元，其从所述远程广播图像信息获取关于广播图像信号中包括的体育比赛中的选手的选手信息；以及记录和再现控制功能单元，其接收广播信号中包含的音频信号，并且生成表示沿着时间线的广播体育比赛的兴奋水平的兴奋曲线图，并且将兴奋曲线图、比赛的图像、时间信息和选手信息记录在记录和再现单元中。在接收指示体育比赛的中断的信息时，记录和再现控制功能单元将兴奋曲线图与记录的图像一起显示。

Description

显示控制装置、显示控制方法和程序
技术领域
本发明涉及显示控制装置、显示控制方法和程序，其能够处理体育比赛(如足球比赛)的运动图像，其中选手追逐体育比赛中要推进的运动对象(例如，球)来得分。
背景技术
近来，足球比赛已经变得越来越流行。因此，足球比赛已经在电视上广播。
不仅日本本土足球比赛，而且外国足球比赛(例如，欧洲各国家和南美各国家的联赛、世界杯比赛、欧洲冠军杯的分组预选赛、以及冠军杯比赛)已经在电视上广播。
此外，随着电视显示设备(如液晶监视器)的技术进步，并且随着电视显示设备的大小增加，包括快速运动的足球比赛的视频已经自然地显示。例如，精彩的带球和射门场景可以清楚地并且漂亮地广播，并显示在电视显示设备上。
发明内容
通常，户外比赛(如足球比赛)在大的场地上进行。此外，因为需要摄像机捕捉场地上宽的区域或球(在比赛中要推进的运动对象)附近区域的图像，所以摄像机相对于运动场放置在相对高的位置。
因此，在比赛正在进行时，显示场地上的宽的区域或球附近的小的区域的图像，如果需要，则在捕获图像时执行摇镜头、倾斜、或缩放操作。
例如，对刚刚进球的选手或选手犯规的区域执行放大操作。这种放大操作被普遍执行，并且放大操作满足足球TV广播的观众。
然而，通常足球TV广播趋向显示场地的大的区域，并且观众难以识别各个选手。
此外，想要观看特定选手的观众(用户)期望通过他们自己来放大选手并欣赏比赛。
为了识别在大的场地中比赛的各个选手，选手的姓名可以显示在屏幕中选手的头部附近。然而，利用该方法，观众不能欣赏比赛。
此外，足球比赛具有称为越位的规则。然而，在许多情况下，观众难以识别越位线。此外，在一些情况下，观众难以跟踪球的运动和轨迹。
此外，在90分钟比赛时段期间，观众通常狂热地兴奋(例如，在进球场景时)。在这种情况下，观众难以立刻观看记录视频中的场景。
因此，本发明提供一种显示控制装置、显示控制方法和程序，其允许观众在比赛广播期间在屏幕上显示与比赛有关的期望的信息。
根据本发明的实施例，一种显示控制装置包括：接收单元，配置为接收至少包含远程广播图像信息的电视广播信号；显示单元，配置为显示所述电视广播信号中包含的图像信息；记录和再现单元，配置为记录和再现所述图像信息；选手信息获取单元，配置为从所述远程广播图像信息获取关于广播图像信号中包括的体育比赛中的选手的选手信息；以及记录和再现控制功能单元，配置为接收所述电视广播信号中包含的音频信号，并且生成表示沿着图像的时间线的广播体育比赛的兴奋水平的兴奋曲线图。所述记录和再现控制功能单元将生成的兴奋曲线图与体育比赛的图像、时间信息和选手信息关联，并且将生成的兴奋曲线图、体育比赛的图像、时间信息和选手信息记录在所述记录和再现单元中。在接收指示体育比赛的中断的信息时，所述记录和再现控制功能单元指示显示单元将兴奋曲线图与所述记录和再现单元中记录的体育比赛的图像一起显示。
所述记录和再现控制功能单元可以指示显示单元将选手信息和兴奋曲线图与所述记录和再现单元中记录的体育比赛的图像一起显示。
所述记录和再现控制功能单元可以指示显示单元将现场图像与所述记录和再现单元中记录的体育比赛的图像、选手信息和兴奋曲线图一起显示。
所述记录和再现控制功能单元可以指示显示单元显示兴奋曲线图，使得沿着曲线图的时间线的预定时间段之一是可选择的。
所述记录和再现控制功能单元可以指示显示单元显示选手信息，使得关于选手之一的选手信息是可选择的，并且在接收用于选择所选择的并且显示的选手出现在广播图像中的时间段的指令时，所述记录和再现控制功能单元可以再现与所选择的时间段对应的记录的图像，并且指示显示单元显示再现的图像。
根据本发明的另一实施例，一种显示控制方法包括以下步骤：接收至少包含远程广播图像信息的电视广播信号；在显示单元上显示所述电视广播信号中包含的图像信息；从所述远程广播图像信息中获取关于广播图像信号中包括的体育比赛中的选手的选手信息；接收所述电视广播信号中包含的音频信号，并且生成表示沿着图像的时间线的广播体育比赛的兴奋水平的兴奋曲线图；将生成的兴奋曲线图与体育比赛的图像、时间信息和选手信息关联，并且将生成的兴奋曲线图、体育比赛的图像、时间信息和选手信息记录在记录和再现单元中；以及在接收指示体育比赛的中断的信息时，将兴奋曲线图与所述记录和再现单元中记录的体育比赛的图像一起显示在显示单元上。
根据本发明的另一实施例，一种程序包括用于使得计算机执行显示控制处理的程序代码。所述显示控制处理包括以下步骤：接收至少包含远程广播图像信息的电视广播信号；在显示单元上显示所述电视广播信号中包含的图像信息；从所述远程广播图像信息中获取关于广播图像信号中包括的体育比赛中的选手的选手信息；接收所述电视广播信号中包含的音频信号，并且生成表示沿着图像的时间线的广播体育比赛的兴奋水平的兴奋曲线图；将生成的兴奋曲线图与体育比赛的图像、时间信息和选手信息关联，并且将生成的兴奋曲线图、体育比赛的图像、时间信息和选手信息记录在记录和再现单元中；以及在接收指示体育比赛的中断的信息时，将兴奋曲线图与所述记录和再现单元中记录的体育比赛的图像一起显示在显示单元上。
根据本发明，例如，接收单元接收包含体育比赛的远程广播图像信息的电视广播信号，并且接收的远程广播图像显示在显示单元上。此外，选手信息获取单元从接收的信息获取选手信息。将获取的选手信息提供给记录和再现控制功能单元。
记录和再现控制功能单元接收电视广播信号中包含的音频信号，并且生成表示沿着图像的时间线的广播体育比赛的兴奋水平的兴奋曲线图。记录和再现控制功能单元将生成的兴奋曲线图与体育比赛的图像、时间信息和选手信息关联，并且将生成的兴奋曲线图、体育比赛的图像、时间信息和选手信息记录在记录和再现单元中。在接收指示体育比赛的中断的信息时，所述记录和再现控制功能单元指示显示单元将兴奋曲线图与所述记录和再现单元中记录的体育比赛的图像一起显示。
根据本发明，可以提供这样的服务，其允许观众在观看TV广播图像的同时立刻获取期望的额外信息。
附图说明
图1是图示根据本发明实施例的显示控制装置的示例性配置的方块图；
图2是根据本发明实施例的显示控制装置的显示设备的示意性图示；
图3是图示根据该实施例的位置信息获取单元的示例性配置的方块图；
图4是根据该实施例的OSD控制电路的主要部分的功能方块图；
图5图示包括子显示区域的显示设备的显示屏幕的示例；
图6图示将光标设置在选择的选手上的屏幕；
图7图示对使用光标选择的选手执行的放大操作的第一示例；
图8图示对使用光标选择的选手执行的放大操作的第二示例；
图9图示将光标设置在球上的屏幕；
图10是图示只显示位于球附近的选手的选手信息(姓名和队服号码)的示例的图；
图11是图示显示越位线和球轨迹的第一示例的图；
图12是图示显示越位线和球轨迹的第二示例的图；
图13图示由记录和再现单元生成的并且显示在显示设备上的屏幕的示例；
图14A到14D图示根据本实施例的遥控器的示例性配置；
图15是图示由根据本实施例的显示控制装置执行的操作的第一流程图；
图16是图示由根据本实施例的显示控制装置执行的操作的第二流程图；
图17是图示由根据本实施例的显示控制装置执行的操作的第三流程图；
图18是图示由根据本实施例的显示控制装置执行的操作的第四流程图；
图19是图示由根据本实施例的显示控制装置执行的操作的第五流程图；
图20是图示由根据本实施例的显示控制装置执行的操作的第六流程图；以及
图21是图示由根据本实施例的显示控制装置执行的操作的第七流程图。
具体实施方式
以下，将参照附图描述本发明的各种示例实施例。
图1是图示根据本发明实施例的显示控制装置的示例性配置的方块图。图2是根据本发明实施例的显示控制装置的显示设备的示意性图示。
根据本实施例，显示控制装置10包括显示设备20、扬声器30、电视(TV)天线40、控制单元50、用作操作单元的遥控器60、光接收单元70、以及记录和再现单元80。
用作显示单元的显示设备20从平板显示器(如液晶显示设备或有机电致发光(EL)设备)形成。如图2所示，显示设备20具有水平方向上长的纵横比。例如，显示设备20的纵横比为16∶9。
从扬声器30输出的声音由接收电视(TV)广播信号的控制单元50控制。
控制单元50经由TV天线40接收TV广播信号，并且解码音频信号和视频信号。此后，控制单元50控制扬声器30以基于音频信号输出声音。此外，控制单元50控制显示设备20以基于由观众(用户)调谐的TV广播信号显示广播视频。
根据本实施例，控制单元50具有以下各种功能。
控制单元50具有从广播视频信息中获取关于广播视频信号中包括的比赛(例如，足球比赛)的选手的选手信息的功能。控制单元50还具有使用广播视频中的线和场地模型之间的对应获取场地信息的功能。
此外，控制单元50具有基于选手信息和场地信息，从视频信号中获取关于选手的位置的选手位置信息的功能。此外，控制单元50具有基于场地信息，从视频信号中获取关于球的位置的信息的功能，以及具有将选手信息显示在显示设备20上的功能，该球用作在比赛中要推进的运动对象。
当显示选手信息时，控制单元50具有安排多个选手信息项目并且将各选手信息项目显示在一部分显示区域上的功能。
此外，控制单元50可以显示每个队的选手信息。控制单元50可以以不同于其它选手信息项目的方式(例如，高亮显示)显示由光标指示的选手信息项目。
以下，参照用作在体育比赛中要推进的运动对象的球进行描述。
此外，控制单元50具有使用选手位置信息将光标设置在通过提供的选手信息选择并且显示在显示设备20上的选手的功能。此外，控制单元50具有将光标设置在选择来由光标指示的球上的功能。
此外，在接收用于显示选手信息的指令时，控制单元50具有基于球位置信息、选手位置信息和选手信息，显示选手附近的选手信息的功能。此时，控制单元50可以显示位于其中心是球的预定区域中的每个选手附近的选手信息。
此外，在将光标设置在对象(如选手或球)上以后，控制单元50具有在对象移动时自动跟踪对象的功能。在接收缩放指令时，包括自动跟踪控制功能子单元的控制单元50至少放大并显示由光标指示的区域。
此外，控制单元50具有使用球位置信息、选手位置信息、选手信息以及场地信息形成关于球的线(如足球的越位线或球的轨迹)的功能。控制单元50形成具有预定宽度的越位线，而不是简单的线。
此外，控制单元50具有接收电视广播信号中的音频信号并且创建指示相对于广播视频的时间线的广播比赛的兴奋水平的兴奋曲线图的功能。控制单元50将创建的兴奋曲线图与时间信息和选手信息关联，并且将兴奋曲线图与比赛的视频一起记录在记录和再现单元80中。
在接收指示比赛中断的信息(如半场休息)时，控制单元50指示显示设备20将现场图像、选手信息和兴奋曲线图与记录在记录和再现单元80中的比赛视频一起显示。
控制单元50可以选择性地显示时间线中的每个预定时间段的兴奋曲线图。可替代地，控制单元50选择性地显示选手信息项目。在接收用于选择所选择的并且显示的选手出现在广播图像中的时段的指令时，控制单元50重放并显示所选择的时段的记录视频。
如图1所示，具有这种功能的控制单元50包括TV调谐器51和音频解码电路52。控制单元50还包括视频解码电路53、叠加电路54、选手信息获取单元55、场地信息获取单元56、位置信息获取单元57、微计算机(μ-Com)58、以及屏幕上显示(OSD)控制电路59。
在微计算机58的控制下，TV调谐器51接收并解调选择的TV广播频道的TV广播信号。此后，微计算机58将音频信号提供给音频解码电路52，并且将视频信号提供给视频解码电路53。
注意，在微计算机58的控制下，接收的广播信号记录在记录和再现单元80中，并且记录的信息在显示设备20上再现和显示。
音频解码电路52解码音频信号，并且将解码的音频信号输出给扬声器30。此外，音频解码电路52将音频信号AUD提供给OSD控制电路59。
在微计算机58的控制下，视频解码电路53解码视频信号以生成解码的视频信号PCTR。此后，视频解码电路53将解码的信号PCTR提供给叠加电路54、选手信息获取单元55、场地信息获取单元56、以及位置信息获取单元57。
通过使用OSD控制电路59，叠加电路54在显示设备20上将各种信息(例如，光标、选手姓名、选手的队服号码、越位线、或者用作额外信息的球轨迹图像)叠加在从视频解码电路53输出的信号PCTR上。此后，叠加电路54显示图像。
叠加电路54具有使用OSD控制电路59将兴奋曲线图叠加在由记录和再现单元80再现的重放视频上并将图像显示在显示设备20上的功能。
选手信息获取单元55获取广播视频信号中包括的球比赛信息，如关于两支足球队的选手(首发选手和替补选手)的选手信息IPLY。此后，选手信息获取单元55存储选手信息IPLY。
由选手信息获取单元55获取的选手信息IPLY包括选手的姓名、选手的队服号码、和选手的脸部图像。
选手信息获取单元55将获取并存储的选手信息IPLY提供给场地信息获取单元56和OSD控制电路59。
场地信息获取单元56使用输入图像中的线和场地模型之间的对应，从足球比赛的未编辑的TV广播视频中获取场地信息IFLD。此后，场地信息获取单元56存储场地信息IFLD，并且随后将获取并存储的场地信息IFLD提供给场地信息获取单元56和OSD控制电路59。
位置信息获取单元57从足球TV广播的视频信号PCTR中使用场地信息IFLD获取关于位于场地内或场地外的球的球位置信息IBLP，并且基于场地信息IFLD和选手信息IPLY获得关于每个选手的位置信息IPLYP。此后，位置信息获取单元57将获取的球位置信息IBLP和选手位置信息IPLYP提供给OSD控制电路59。
图3是图示根据本实施例的位置信息获取单元57的示例性配置的方块图。
如图3所示，位置信息获取单元57包括用作运动对象位置信息获取单元的球位置信息获取子单元571和选手位置信息获取子单元572。
球位置信息获取子单元571从足球TV广播的视频信号PCTR中使用场地信息IFLD获取关于位于场地内或场地外的球位置信息IBLP。此后，球位置信息获取子单元571将获取的位置信息IBLP提供给OSD控制电路59。
选手位置信息获取子单元572从足球TV广播的视频信号PCTR中，使用场地信息IFLD和选手信息IPLY获取关于位于场地内或场地外的每个选手的选手信息IPLYP。此后，选手位置信息获取子单元572将获取的位置信息IBLP提供给OSD控制电路59。
例如，为了获取球位置信息获取子单元571和选手位置信息获取子单元572中的位置信息，可以应用如但不限于在下面的非专利文献中描述的技术：
电子、信息和通信工程师协会报告，PRUMU，Image Recognition and MediaUnderstanding，IEICE的技术报告，PRMU，Vol.103，No.585(20040116)，pp.95-100，PRMU2003-214，电子、信息和通信工程师协会，ISSN：09135685。
在该情况下，位置信息获取单元57从足球比赛的未编辑TV广播图像中，使用输入视频信号中的线和场地模型之间的对应计算单应性矩阵(homography matrix)。然后，位置信息获取单元57估计场地中的球位置和选手位置。
不同于由固定相机捕获的视频，TV广播视频包括通过摇镜头、倾斜和缩放操作获得的运动图像。因此，单应性矩阵随着时间经过而改变。
因此，为了计算单应性矩阵，位置信息获取单元57在通过Hough变换的参数生成的空间中，将视频中的线和场地模型之间的对应相互比较。因此，位置信息获取单元57计算各线之间的对应，并且估计单应性矩阵，并且随后估计场地中的球位置和选手位置。
例如，在记录视频时，在比赛进行期间由位置信息获取单元57获取的球位置信息和选手位置信息与时间信息和兴奋曲线图一起记录在记录和再现单元80中。
响应于从遥控器60接收的指令信号，微计算机58控制用作TV接收机的控制单元50。响应于从遥控器60接收的指令信号，微计算机58改变频道或控制音量。
此外，微计算机58分析从遥控器60输入的信号。根据分析处理，微计算机58将用于生成各种信息(如光标、选手姓名、选手的队服号码、越位线或用作额外信息的球的轨迹)的指令和关于OSD显示的指令发送给OSD控制电路59。
响应于微计算机58的命令CMD，OSD控制电路59生成用于在显示屏幕中显示图标、字符和图形的各种OSD视频信号。然后，OSD控制电路59将OSD视频信号输出到叠加电路54。
此外，响应于微计算机58的命令CMD，OSD控制电路59生成各种信息，如光标、选手姓名、选手的队服号码、越位线、球的轨迹、兴奋曲线图、和用作额外信息的选手的脸部照片。
随后，OSD控制电路59将生成的OSD视频信号输出到叠加电路54。
通过叠加电路54，基于OSD视频信号的视频叠加在基于从视频解码电路53输出的TV视频信号的视频上。然后，该视频输出到显示设备20。
此外，例如，在显示设备20上显示足球比赛的TV广播视频时，OSD控制电路59具有响应于从微计算机58接收的命令CMD、在显示区域的预定子区域中显示每个队的选手脸部照片和姓名的功能。
图4是根据本实施例的OSD控制电路59的主要部分的功能方块图。
如图4所示，OSD控制电路59包括子显示控制功能单元591、光标控制功能单元592、自动跟踪控制功能单元593、选手信息控制功能单元594、越位线控制功能单元595、球轨迹控制功能单元596、以及记录和再现控制功能单元597。
子显示控制功能单元591、光标控制功能单元592、自动跟踪控制功能单元593、选手信息控制功能单元594、越位线控制功能单元595、球轨迹控制功能单元596、以及记录和再现控制功能单元597连接到总线598。
注意，子显示控制功能单元591用作选手信息提供单元。此外，越位线控制功能单元595和球轨迹控制功能单元596用作线形成单元。
此外，例如，在显示设备20上显示足球比赛的TV广播视频时，子显示控制功能单元591具有响应于从微计算机58接收的命令CMD、在显示区域的预定子区域中显示每个队的选手脸部照片和姓名的功能。
注意，例如当用户使用遥控器60选择喜欢的模式时，响应于由微计算机58提供的子显示命令CMD，启动子显示功能。
图5图示包括子显示区域的显示设备的显示屏幕的示例。
在图5的示例中，子显示区域220形成并显示在显示设备20的显示区域21的主要显示区域210的下部。
用于显示比赛分数的分数显示区域221提供在子显示区域220的中间。用于显示相对各队的选手信息的显示区域222和223形成在分数显示区域221的任一侧。
子显示控制功能单元591控制显示区域222和223，使得两队的选手脸部照片和姓名(Romaji表示日本选手)显示在显示区域222和223中。
此外，子显示控制功能单元591形成用于每个选手的脸部照片显示区域224，使得脸部照片显示区域224是可选择的。例如，将选择的脸部照片显示区域224高亮。
此外，当子显示控制功能单元591将至少一个选手的姓名和队服号码显示在主显示区域210中时，子显示控制功能单元591将选手的脸部照片显示区域224高亮。
如这里使用的，术语“高亮”指以高于其它区域亮度的亮度显示一个区域。
例如，当在子显示区域中选择特定选手并且如果光标控制功能单元592从微计算机58接收光标设置命令CMD时，光标控制功能单元592显示光标，使得光标使用选手位置信息围绕在主要显示区域210中显示的场地中的选手。
图6图示将光标CSL设置在选择的选手上的屏幕。
如图6所示，例如，当在子显示区域中选择特定选手时，光标控制功能单元592将光标CSL设置在主显示区域210中显示的场地中的选手上，使得光标基于选手位置信息围绕选手。
在将光标CSL放置在选择的选手上以后，如果光标控制功能单元592从微计算机58接收移动命令CMD，则光标控制功能单元592在由移动命令CMD指示的方向上移动光标CSL。该方向对应于由遥控器60的移动指令开关的用户操作确定所有方向之一。
在将光标CSL放置在选择的选手上以后，如果光标控制功能单元592从微计算机58接收放大命令CMD，则光标控制功能单元592将由光标CSL指示的选手和选手附近放大由放大命令指示的缩放因子。该缩放因子由遥控器60的缩放开关的用户操作确定。
图7图示对使用光标CSL选择的选手执行的放大操作的第一示例。图8图示对使用光标CSL选择的选手执行的放大操作的第二示例。
如图7和8所示，在将光标CSL放置在选择的选手上以后，如果光标控制功能单元592接收放大命令CMD，则光标控制功能单元592放大使用屏幕中的光标CSL选择的选手。
在图7所示的第一示例中，放大主要显示区域210中的显示图像。相反，在图8所示的第二示例中，主显示区域210中的显示图像的大小保持不变。然而，子显示区域230形成在图的右侧，并且由光标CSL选择的区域的放大图像显示在子显示区域230中。
当光标控制功能单元592接收放大取消命令时，光标控制功能单元592具有将放大显示图像改变为正常显示图像的功能。
在从微计算机58接收球的光标设置命令时，光标控制功能单元592还具有将光标CSL设置在球上使得光标围绕球的功能。
图9图示将光标CSL设置在球上的屏幕。
如图9所示，在从微计算机58接收球BL的光标设置命令时，光标控制功能单元592将光标CSL设置在球上，使得光标围绕球BL。
一旦将光标CSL设置在选手PLY或球BL上，光标控制功能单元592就使用自动跟踪控制功能单元593的跟踪功能，在将光标CSL放置在选手PLY或球BL上的同时自动跟踪选手PLY或球。
例如，如图9所示，一旦光标控制功能单元592将光标CSL放置在选手PLY或球BL上，自动跟踪控制功能单元593使得光标跟踪选择的选手PLY或球BL。根据该跟踪功能，用户的眼睛不必认真地追逐选手PLY或球BL，因此，用户可以在放松的状态下观看期望的比赛。
在接收选手信息显示命令CMD时，选手信息控制功能单元594基于球位置信息IBLP、选手位置信息IPLYP和选手信息IPLY，在位于其中心是球BL的预定区域内的选手的头部附近显示选手的姓名和队服号码。
如果选手信息控制功能单元594已经接收包含选择的队名(A队或B队)的命令CMD，则选手信息控制功能单元594在位于其中心是球BL的预定区域内的、选择的A队或B队的选手的头部附近显示选手的姓名和队服号码。
选手信息控制功能单元594为何只显示位于其中心是球BL的预定区域内的选手的姓名和队服号码的原因如下。
在比赛进行期间，用户可能想要知道哪个选手在哪个位置。如果在所有选手的头部附近显示姓名和队服号码，则屏幕变得凌乱，因此，用户难以容易地观看屏幕。因此，只显示可能接球的选手的姓名和队服号码。
图10是图示只显示位于球附近的选手的姓名和队服号码的示例的图。
如果选手信息控制功能单元594已经接收包含选择的队名(A队或B队)的命令CMD，则用户手动选择A队和B队之一。此后，如图10所示，选手信息控制功能单元594在位于球附近的、选择的队伍的选手的头部附近显示选手的队服号码和姓名。
在图10所示的示例中，显示位于球附近的A队的10号、11号和3号选手的队服号码和姓名。
此外，在子显示区域220的脸部照片显示区域224中，将具有显示的队服号码和姓名的选手的脸部照片高亮。
在接收越位线显示命令CMD时，越位线控制功能单元595基于场地信息IFLD、球位置信息IBLP、选手位置信息IPLYP和选手信息IPLY，在主显示区域210中显示越位线。
在接收球轨迹显示命令CMD时，球轨迹控制功能单元596基于场地信息IFLD、球位置信息IBLP、选手位置信息IPLYP和选手信息IPLY，在主显示区域210中显示球轨迹。
注意，越位线和球轨迹可以同时显示在屏幕上，或者可以选择性地或分开地显示。
图11是图示显示越位线和球轨迹的第一示例的图。图12是图示显示越位线和球轨迹的第二示例的图。
在图11和12中，越位线LOFSD和球轨迹LTRBL同时显示在相同屏幕中。在图11中，例如，A队的选手正朝B队的球门移动(处于进攻)，并且只显示越位线LOFSD。图12图示A队和B队正在中场进行进攻和防守的场景。因此，在图12中，显示两条越位线LOFSD。
如可以从图11和12看到的，越位线LOFSD不是细线(简单的线)，如场地线。越位线LOFSD具有基本上与选手的步幅长度相同的宽度W。例如，越位线LOFSD以半透明颜色显示。
不同于由固定相机捕获的视频，TV广播视频包括通过摇镜头、倾斜和缩放操作获得的运动图像。因此，如果越位线LOFSD以细线(如场地线)形成，则观众可能难以分辨越位线LOFSD。因此，根据本实施例，越位线LOFSD具有一定宽度。以此方式，观众可以在任何视角容易地分辨越位线，并且以高的实际感来观看足球比赛。
记录和再现控制功能单元597从音频解码电路52接收音频信号AUD，并且使用欢呼的音频水平生成表示沿着视频的时间线的现场观众的兴奋水平的兴奋曲线图。
记录和再现控制功能单元597将生成的兴奋曲线图与时间信息、选手信息IPLY、选手位置信息IPLYP和场地信息IFLD相关联，并且将兴奋曲线图与比赛视频一起记录在记录和再现单元80中。
在从微计算机58接收指示比赛广播中断(如半场休息)的信息时，记录和再现控制功能单元597还具有将记录和再现单元80中记录的比赛视频与现场图像、选手信息和兴奋曲线图一起显示的功能。
图13图示由记录和再现单元80生成的并显示在显示设备20上的示例兴奋视频屏幕。
为了显示兴奋视频屏幕，记录和再现控制功能单元597在显示设备20的显示区域21中，形成视频重放子区域240、现场图像子区域250、选手信息显示子区域260和兴奋曲线图显示子区域270。
兴奋视频屏幕可以通过显示显示设备20的显示区域21中形成的视频重放子区域240、现场图像子区域250、选手信息显示子区域260和兴奋曲线图显示子区域270中的各种视频和信息来显示。
视频重放子区域240大概占显示区域21的大约百分之60到80。记录在记录和再现单元80中的比赛视频在视频重放子区域240中重放。
例如，如图13所示，记录和再现控制功能单元597将现场图像子区域250、选手信息显示子区域260和兴奋曲线图显示子区域270布局在显示区域21的右侧，在相互的顶部，使得现场图像子区域250、选手信息显示子区域260和兴奋曲线图显示子区域270的每一个与视频重放子区域240平行。
在图13所示的示例中，现场图像子区域250、选手信息显示子区域260和兴奋曲线图显示子区域270从显示区域21的顶部到底部顺序形成。
当在例如半场休息期间将正在进行的比赛广播改变为广告(CM)视频时，正在进行的比赛广播在现场图像子区域250中显示。以此方式，观众可以与现场图像一起观看记录的视频。
记录和再现控制功能单元597在选手信息显示子区域260中形成每个选手的显示子-子区域261。例如，各队的选手之一的脸部照片和选手姓名(Romaji表示日本选手)显示在显示子-子区域261中。
在显示子-子区域261中，选择的选手的脸部照片利用更亮的高亮显示。球队名称显示在照片的左边。选手的姓名和队服号码显示在照片右边。
例如，可以通过操作遥控器60的上下键，由观众(用户)改变其信息显示在选手信息显示子区域260中的选择的选手。
记录和再现控制功能单元597从记录和再现单元80中读取兴奋曲线图271，其例如通过使用欢呼的水平表示沿着当前广播比赛的时间线的兴奋的水平。此后，记录和再现控制功能单元597将兴奋曲线图271显示在兴奋曲线图显示子区域270中。
例如，观众可以通过操作遥控器60的左右键来选择兴奋曲线图271的时间线中的预定时段之一。选择的时段中的兴奋曲线图271利用框高亮。
此外，显示兴奋曲线图271以便以频谱方式表示比赛的兴奋水平。此外，对于选择并显示在选手信息显示子区域260中的选手正在比赛视频中显示的时段，利用如由参照标号“HLT”指示的高亮显示兴奋曲线图271。
记录和再现控制功能单元597基本执行控制，以便在视频重放子区域240中显示对应于使用在兴奋曲线图显示子区域270中显示的兴奋曲线图271中高亮的框选择的时段的记录视频。
因此，用户可以选择在选手信息显示子区域260中显示的任何选手。此后，用户可以使用光标并选择在兴奋曲线图显示子区域270中显示的兴奋曲线图271的高亮并且高度兴奋的时段。
利用这种操作，用户可以在视频重放子区域240中立即显示与期望的选手出现并且比赛的现场观众兴奋的时段对应的视频。
已经参照这样的情况描述了本实施例，其中在视频重放子区域240中重放对应于使用在兴奋曲线图显示子区域270中显示的兴奋曲线图271中的高亮框选择的时段的记录视频。然而，用于重放视频重放子区域240中的视频的方法不限于此。例如，如果需要，其中在选手信息显示子区域中选择的选手出现的视频可以在视频重放子区域240中显示。
如上所述，根据本实施例，通过使用记录和再现控制功能单元597的控制功能，通过沿着时间线的频谱中的高亮框指示选择的选手出现的时段。通过使用光标选择具有高兴奋水平的时段之一，可以立即启动对应的视频的重放。
遥控器60具有例如使用红外光、将频道选择命令和关于比赛的各种显示控制命令无线传输给控制单元50的微计算机58的功能。
当用户操作遥控器60时，指示由用作TV接收机的控制单元50执行的各种操作之一的红外光命令输入到光接收单元70。此后，该命令转换为电信号，并且输入到微计算机58。
当从遥控器60接收的命令信号是指示特定频道的选择的信号时，微计算机58输出与该信号对应的频道选择命令到TV调谐器51。
当从遥控器60接收的命令信号是指示关于比赛的显示控制的信号时，微计算机58输出与该信号对应的命令CMD到OSD控制电路59。
图14A到14D图示根据本实施例的遥控器60的示例性配置。图14A是遥控器60的前视图。图14B和14C是遥控器60的侧视图。图14D是遥控器60的后视图。
遥控器60包括电源开关61、频道上下开关62和音量上下开关63。
电源开关61放置在侧面之一上。操作电源开关61以便打开或关闭TV接收机。
操作频道上下开关62以便将当前TV频道改变为前一TV频道或下一TV频道。
操作音量上下开关63以便增加或降低输出音频水平。
注意，遥控器60在其上包括数字键。然而，数字键没有在图14A到14D中示出。例如，数字键用于选择与数字对应的TV频道。
遥控器60还包括四通杆(four-way stick)开关单元64、第一功能开/关开关65、第二功能开/关开关66、第三功能开/关开关67和在背面的队伍切换开关68。
四通杆开关单元64包括外围环形部分641和放置在四通杆开关单元64中央的按压按钮642。环形部分641包括四个按钮，其允许四通杆提供四个功能。例如，右下按钮可以用作缩放功能按钮。四个开关也用作上、下、左和右键，分别用于将光标CSL向上、向下、向左和向右移动。此外，可以根据按压按压按钮642的量来确定缩放水平。
操作第一功能开/关开关65以便打开或关闭选手信息显示功能。
操作第二功能开/关开关66以便打开或关闭越位线显示功能和球轨迹显示功能。
操作第三功能开/关开关67以便打开或关闭现场图像显示功能、选手信息显示功能、兴奋曲线图显示功能和记录视频显示功能。
队伍切换开关68放置在遥控器60的背面的上部。例如，操作队伍切换开关68以便选择作为足球比赛对手的A队和B队之一。
记录和再现单元80将接收的视频与兴奋曲线图、时间信息、选手信息IPLY、选手位置信息IPLYP和场地信息IFLD相关联，并且记录视频。此外，记录和再现单元80显示现场图像并且再现选手信息IPLY和兴奋曲线图以及重放记录的比赛视频。
参照图15所示的流程图描述根据本实施例的显示控制装置10执行的示例操作。
在用户操作显示控制装置10的电源开关61以便给显示控制装置10通电后(步骤ST1)，用户操作数字键或频道上下开关62以便指示显示控制装置10选择预定的TV频道(步骤ST2)。
以此方式，从遥控器60输出的命令信号经由控制单元50的接收单元70输入到微计算机58。
在接收命令信号时，微计算机58将用于选择例如广播足球TV比赛的TV频道的TV频道选择命令输出到TV调谐器51。在接收TV频道选择命令时，TV调谐器51选择预定的TV频道。随后，TV调谐器51将音频信号输出到音频解码电路52，并且将视频信号输出到视频解码电路53。
视频信号由视频解码电路53解码，并且经由叠加电路54发送到显示设备20。因此，基于解码的视频信号的图像显示在显示设备20上。此外，音频解码电路52解码音频信号，并且将解码的音频信号输出到扬声器30。
以此方式，在显示设备20上显示足球TV广播(步骤ST3)，并且将TV音频信号从扬声器30输出。
此外，由视频解码电路53解码的视频信号PCTR提供给选手信息获取单元55、场地信息获取单元56和位置信息获取单元57。
选手信息获取单元55获取广播视频信号中包括的球比赛信息，如关于两支足球队的选手(首发选手和替补选手)的选手信息IPLY此后，选手信息获取单元55将选手信息IPLY存储在存储单元(未示出)中(步骤ST4)。
将获取并存储的选手信息IPLY提供给场地信息获取单元56和OSD控制电路59。
场地信息获取单元56使用输入图像中的线和场地模型之间的对应，从足球比赛的未编辑的TV广播视频中获取场地信息IFLD。此后，场地信息获取单元56存储场地信息IFLD(步骤ST5)。随后，场地信息获取单元56将获取并存储的场地信息IFLD提供给场地信息获取单元56和OSD控制电路59。
位置信息获取单元57从足球TV广播的视频信号PCTR中，使用场地信息IFLD获取关于位于场地内或场地外的球的球位置信息IBLP，并且基于场地信息IFLD和选手信息IPLY获得关于每个选手的位置信息IPLYP(步骤ST6和ST7)。此后，位置信息获取单元57将获取的球位置信息IBLP和选手位置信息IPLYP提供给OSD控制电路59。
此外，OSD控制电路59的记录和再现控制功能单元597从音频解码电路52接收音频信号AUD、选手信息IPLY、选手位置信息IPLYP、场地信息IFLD以及球位置信息IBLP。记录和再现控制功能单元597使用欢呼的音频水平生成表示沿着视频的时间线的现场观众的兴奋水平的兴奋曲线图(步骤ST8)。此后，记录和再现控制功能单元597将生成的兴奋曲线图与时间信息、选手信息IPLY、选手位置信息IPLYP和场地信息IFLD相关联，并且将兴奋曲线图与比赛视频一起记录在记录和再现单元80中(步骤ST9)。
此时，如果观看足球TV广播的用户选择喜欢的模式并使用遥控器60提交命令以显示选手信息，则执行图16所示的处理。
在接收命令时，微计算机58提交子显示命令CMD到OSD控制电路59的子显示控制功能单元591。子显示控制功能单元591经由叠加电路54显示包括每个队的选手的脸部照片和姓名的显示区域的预定子区域(步骤ST10)。在该情况下，例如，如图5所示，子显示区域220形成并显示在显示设备20的显示区域21中的主显示区域210中。例如，显示两队的每个的选手的脸部照片和姓名(Romaii表示日本选手)。
当用户使用上、下、左和右键选择其中要显示在子显示区域220中显示的喜爱选手的脸部照片显示区域224时(步骤ST11)，例如，将喜爱选手的脸部照片显示区域224高壳。
此后，例如在子显示区域中选择特定选手，并且OSD控制电路59从微计算机58接收光标设置命令CMD。
因此，OSD控制电路59的光标控制功能单元592显示光标CSL，使得光标CSL围绕主显示区域210中显示的场地中的选手(步骤ST12)。
此时，如果用户指示使用遥控器60的上、下、左、右键移动光标CSL，则移动命令CMD从微计算机58输入到OSD控制电路59(步骤ST13)。
在从微计算机58接收移动命令CMD时，光标控制功能单元592使用叠加电路54在由移动命令CMD指示的方向上移动光标CSL(步骤ST14)。该方向对应于通过遥控器60的移动指令开关的用户操作确定的所有方向之一。
此外，如果用户对遥控器60的四通杆开关单元64执行预定键操作，并且使用按压按钮642指示缩放操作和缩放水平，则放大命令CMD从微计算机58输入到OSD控制电路59(ST15)。
以此方式，光标控制功能单元592从微计算机58接收放大命令，并且光标控制功能单元592使用叠加电路54将由光标CSL指示的选手放大由放大命令指示的放大因子(步骤ST16)。
在该情况下，如图7所示，放大了在主显示区域210中显示的图像。
可替代地，如图8所示，在主显示区域210中的显示图像的大小保持不变。然而，子显示区域230形成在图的右侧，并且由光标CSL选择的区域的放大图像显示在子显示区域230中。
此时，如果用户使用遥控器60提交放大取消指令，则放大取消命令CMD从微计算机58输入到OSD控制电路59(步骤ST17)。
在从微计算机58接收放大取消命令CMD时，光标控制功能单元592将放大的显示图像改变为正常显示图像(步骤ST18)。
此外，如在光标设置在选手上的情况下，当用户提供用于球BL的光标设置指令时，执行如图17所示的处理。
当提交光标设置指令时，OSD控制电路59从微计算机58接收用于球BL的光标设置命令CMD。在接收光标设置命令CMD时，OSD控制电路59的光标控制功能单元592将光标CSL放置在主显示区域210的场地中显示的球BL上，使得光标CSL围绕球BL(步骤ST20和ST21)。
此时，如果用户使用遥控器60的上、下、左和右键指示移动光标CSL时，移动命令CMD从微计算机58输入到OSD控制电路59(步骤ST22)。
在从微计算机58接收移动命令CMD时，光标控制功能单元592使用叠加电路54在由移动命令CMD指示的方向上移动光标CSL(步骤ST23)。该方向对应于通过遥控器60的移动指令开关的用户操作确定的所有方向之一。
此外，如果用户对遥控器60的四通杆开关单元64执行预定键操作，并且使用按压按钮642指示缩放操作和缩放水平，则放大命令CMD从微计算机58输入到OSD控制电路59(ST24)。
以此方式，光标控制功能单元592从微计算机58接收放大命令，并且光标控制功能单元592使用叠加电路54将由光标CSL指示的球BL放大由放大命令指示的放大因子(步骤ST25)。
在该情况下，如图9所示，放大了在主显示区域210中显示的图像。
此时，如果用户使用遥控器60提交放大取消指令，则放大取消命令CMD从微计算机58输入到OSD控制电路59(步骤ST26)。
在从微计算机58接收放大取消命令CMD时，光标控制功能单元592将放大的显示图像改变为正常显示图像(步骤ST27)。
如图16或17的流程图所示，当将光标放置在选手或球上时，如图18的流程图所示，启动自动跟踪处理。
如果通过使用光标CSL为光标控制功能单元592选择选手PLY或球BL(步骤ST30)，则使用自动跟踪控制功能单元593的跟踪功能自动跟踪选手PLY或球BL(步骤ST31)。此时，自动跟踪控制功能单元593移动光标CSL，使得光标CSL自动跟随选手PLY或球BL。
当用户使用遥控器60提交自动跟踪取消指令时，将自动跟踪取消命令MCD从微计算机58输入OSD控制电路59(步骤ST32)。在从微计算机58接收自动跟踪取消命令CMD时，光标控制功能单元592将显示图像改变为正常显示图像(步骤ST33)。
此外，当用户使用遥控器60的第一功能开/关开关65提交选手信息显示指令时，执行如图19所示的处理。
当提交选手信息显示指令时，将选手信息显示命令CMD从微计算机58输入OSD控制电路59。在接收选手信息显示命令CMD时(步骤ST40)，OSD控制电路59的选手信息控制功能单元594基于球位置信息IBLP、选手位置信息IPLYP和选手信息IPLY，选择位于其中心是球BL的预定区域内的选手(步骤ST41)。此后，如果选手信息控制功能单元594已经接收包含选择的队名(A队或B队)的命令CMD，则选手信息控制功能单元594在位于其中心是球BL的预定区域内的、选择的A队或B队的选手的头部附近显示选手的姓名和队服号码(步骤ST42)。
如果选手信息控制功能单元594已经接收包含选择的队名(A队或B队)的命令CMD，则用户手动选择A队和B队之一。此后，如图10所示，选手信息控制功能单元594显示位于球附近的、选择的队伍的选手的姓名和队服号码。
在图10所示的示例中，显示位于球附近的A队的10号、11号和3号选手的队服号码和姓名。
此外，在子显示区域220的脸部照片显示区域224中，将具有显示的队服号码和姓名的选手的脸部照片高亮。
此外，当观看足球比赛的TV广播的用户使用遥控器60的第二功能开/关开关66提交越位线和球轨迹显示指令时，执行如图20所示的处理。
当提交越位线和球轨迹显示指令时，OSD控制电路59从微计算机58接收越位线和球轨迹显示命令CMD(步骤ST50)。
OSD控制电路59的越位线控制功能单元595接收越位线显示命令CMD，而OSD控制电路59的球轨迹控制功能单元596接收球轨迹显示命令CMD。
在接收越位线显示命令CMD时，越位线控制功能单元595基于场地信息IFLD、球位置信息IBLP、选手位置信息IPLYP和选手信息IPLY，使用叠加电路54将越位线显示在主显示区域210中(步骤ST51)。
注意，不同于为细线的场地线，显示越位线LOFSD以便例如具有基本上与选手的步幅长度相同的宽度。
此外，在接收球轨迹显示命令CMD时，球轨迹控制功能单元596基于场地信息IFLD、球位置信息IBLP、选手位置信息IPLYP和选手信息IPLY，将球轨迹显示在主显示区域210中(步骤ST52)。
例如，如图11和12所示，将越位线LOFSD和球轨迹LTRBL同时显示在相同屏幕中。在图11中，例如，A队的选手正朝B队的球门移动(处于进攻)，并且只显示越位线LOFSD。图12图示A队和B队正在中场进行进攻和防守的场景。因此，在图12中，显示两条越位线LOFSD。
当OSD控制电路59从微计算机58接收指示足球TV广播中的中断(例如，半场休息)的信息时，执行如图21所示的处理。
随后，如图21所示，当观看足球比赛的TV广播的用户操作遥控器60的第三功能开/关开关67时(步骤ST60)，执行步骤ST61到ST67所示的处理。
此时，如图13所示，记录和再现控制功能单元597在显示设备20的显示区域21中，形成视频重放子区域240、现场图像子区域250、选手信息显示子区域260和兴奋曲线图显示子区域270。
此后，记录和再现控制功能单元597将现场图像、选手信息和兴奋曲线图与记录和再现单元80中记录的比赛视频一起显示(步骤ST61到ST64)。
当在例如半场休息期间将正在进行的比赛广播改变为广告(CM)视频时，当前广播视频在现场图像子区域250中显示。
记录和再现控制功能单元597在选手信息显示子区域260中形成每个选手的显示子-子区域261。例如，各队的选手之一的脸部照片和队员姓名(Romaji表示日本选手)显示在显示子-子区域261中。
在显示子-子区域261中，选择的选手的脸部照片利用更亮的高亮显示。球队名称显示在照片的左边。选手的姓名和队服号码显示在照片右边。
记录和再现控制功能单元597从记录和再现单元80中读取兴奋曲线图271，其例如通过使用欢呼的水平表示沿着当前广播比赛的时间线的兴奋的水平。此后，记录和再现控制功能单元597将兴奋曲线图271显示在兴奋曲线图显示子区域270中。
此外，对于选择并显示在选手信息显示子区域260中的选手正在比赛视频中显示的时段，利用如由参照标号“HLT”指示的高亮显示兴奋曲线图271。
此时，用户使用遥控器60的上/下键选择要在重放视频中显示的期望的选手(步骤ST65)。此后，用户操作遥控器60的左/右键，并且选择选择的选手出现的兴奋曲线图271的高亮的并且高度兴奋的时段(步骤ST66)。
在接收选择命令时，记录和再现控制功能单元597在视频重放子区域240中显示与选择的时段对应的记录视频(步骤ST67)。注意，选择的时段在兴奋曲线图显示子区域270中显示的兴奋曲线图中用框高亮，并且在该时段期间，选择的选手出现在视频中。
利用这种配置，用户可以在视频重放子区域240中立即显示与期望的选手出现并且比赛的现场观众兴奋的时段对应的视频。
如上所述，根据本实施例，控制单元50提供以下各种功能。
也就是说，控制单元50具有从广播视频信息中获取关于广播视频信号中包括的比赛(例如，足球比赛)的选手的选手信息的功能。控制单元50还具有使用广播视频中的线和场地模型之间的对应获取场地信息的功能。
此外，控制单元50具有基于选手信息和场地信息，从视频信号中获取关于选手的位置的选手位置信息的功能。此外，控制单元50具有基于场地信息，从视频信号中获取关于球的位置的信息的功能，以及具有将选手信息显示在显示设备20上的功能，该球用作在比赛中要推进的运动对象。
在该情况下，控制单元50具有安排多个选手信息项目并且将各选手信息项目显示在一部分显示屏幕上的功能。此外，控制单元50可以显示每个队的选手信息。控制单元50可以以不同于其它选手信息项目的方式(例如，高亮显示)显示由光标指示的选手信息项目。
此外，控制单元50具有使用选手位置信息将光标设置在通过提供的选手信息选择并且显示在显示设备20上的选手的功能。
此外，控制单元50具有将光标设置在选择来由光标指示的球上。
此外，在接收用于显示选手信息的指令时，控制单元50具有基于球位置信息、选手位置信息和选手信息，显示选手附近的选手信息的功能。此时，控制单元50可以显示位于其中心是球的预定区域中的每个选手附近的选手信息。如果选择了队伍之一，则控制单元50可以显示关于选择的队伍的队员信息。
此外，在将光标设置在对象(如选手或球)上以后，控制单元50具有在对象移动时自动跟踪对象的功能。在接收缩放指令时，包括自动跟踪控制功能子单元的控制单元50至少放大并显示由光标指示的区域。
也就是说，根据本实施例，当用户观看TV广播视频时，用户可以获取包括期望的额外信息的视频。
此外，如果用户选择选手信息选择屏幕中的期望选手，则光标自动设置在对象上。如果将光标设置在选手或球上，则可以自动跟踪或可以放大该选手或球。因此，用户可以利用容易的操作选择并显示期望的额外信息。
此外，控制单元50具有使用球位置信息、选手位置信息、选手信息以及场地信息形成与球位置有关的线(如足球的越位线或球的轨迹)的功能。此时，控制单元50具有形成具有预定宽度的越位线而不是简单的线的功能。
因此，观众可以在任何视角容易地识别越位线，，并且以高的实际感来观看足球比赛。
此外，控制单元50具有接收电视广播信号中的音频信号并且创建指示关于广播视频的时间线的广播比赛的兴奋水平的兴奋曲线图的功能。控制单元50具有将创建的兴奋曲线图与时间信息和选手信息关联、并且将兴奋曲线图与比赛的视频一起记录在记录和再现单元80中的功能。
在接收指示比赛中断的信息(如半场休息)时，控制单元50具有指示显示设备20将现场图像、选手信息和兴奋曲线图与记录在记录和再现单元80中的比赛视频一起显示的功能。
控制单元50具有可以选择性地显示时间线中的每个预定时间段的兴奋曲线图或选择性地显示选手信息项目的功能。在接收用于选择所选择的并且显示的选手出现在广播图像中的时段的指令时，控制单元50可以重放并显示所选择的时段的记录视频。
以此方式，根据本实施例，选择的选手出现的时段在沿着时间线的频谱中用高亮指示。此外，高度兴奋场景的时段可以通过频谱来识别。通过使用光标选择具有高兴奋水平并且其中选择的选手出现的时段之一，可以立即启动与该时段对应的视频的重放。
尽管已经参照足球比赛描述了本实施例，但是本发明可以应用到其它比赛，如橄榄球比赛和曲棍球比赛。此外，记录和再现控制功能单元597的控制功能可应用到大型比赛和戏剧表演以及使用移动对象(如球)的比赛的视频。
此外，上述方法可以提供为程序，其表示上述处理序列并且由计算机(如中央处理单元(CPU))执行。
此外，可以配置这种程序以便存储在记录介质(例如，半导体存储器、磁盘、光盘或软盘(商标名称))中，并且可以由包括安装在其中的记录介质的计算机访问和执行。
本申请包含涉及于2008年9月22日向日本专利局提交的日本优先权专利申请JP 2008-243073中公开的主题，在此通过引用并入其全部内容。
本领域技术人员应当理解，依赖于设计需求和其他因素可以出现各种修改、组合、子组合和更改，只要它们在权利要求或其等效物的范围内。

Claims (8)

1.一种显示控制装置，包括：
接收单元，配置为接收至少包含远程广播图像信息的电视广播信号；
显示单元，配置为显示所述电视广播信号中包含的视频信号；
记录和再现单元，配置为记录和再现所述视频信号；
选手信息获取单元，配置为从所述远程广播图像信息获取关于广播图像信号中包括的体育比赛中的选手的选手信息；以及
记录和再现控制功能单元，配置为接收所述电视广播信号中包含的音频信号，并且生成表示沿着图像的时间线的广播体育比赛的兴奋水平的兴奋曲线图；
其中所述记录和再现控制功能单元将生成的所述兴奋曲线图与体育比赛的图像、时间信息和所述选手信息关联，并且将生成的所述兴奋曲线图、体育比赛的图像、时间信息和所述选手信息记录在所述记录和再现单元中，其中，在接收指示体育比赛的中断的信息时，所述记录和再现控制功能单元指示显示单元将所述兴奋曲线图与所述记录和再现单元中记录的体育比赛的图像一起显示。
2.如权利要求1所述的显示控制装置，其中所述记录和再现控制功能单元指示显示单元将选手信息和兴奋曲线图与所述记录和再现单元中记录的体育比赛的图像一起显示。
3.如权利要求2所述的显示控制装置，其中所述记录和再现控制功能单元指示显示单元将现场图像与所述记录和再现单元中记录的体育比赛的图像、选手信息和兴奋曲线图一起显示。
4.如权利要求1-3的任一所述的显示控制装置，其中所述记录和再现控制功能单元指示显示单元显示兴奋曲线图，使得沿着曲线图的时间线的预定时间段之一是可选择的。
5.如权利要求4所述的显示控制装置，其中所述记录和再现控制功能单元指示显示单元显示选手信息，使得关于选手之一的选手信息是可选择的，并且其中，在接收用于选择所选择的并且显示的选手出现在广播图像中的时间段的指令时，所述记录和再现控制功能单元再现与所选择的时间段对应的记录的图像，并且指示显示单元显示再现的图像。
6.一种显示控制方法，包括以下步骤：
接收至少包含远程广播图像信息的电视广播信号；
在显示单元上显示所述电视广播信号中包含的视频信号；
从所述远程广播图像信息获取关于广播图像信号中包括的体育比赛中的选手的选手信息；
接收所述电视广播信号中包含的音频信号，并且生成表示沿着图像的时间线的广播体育比赛的兴奋水平的兴奋曲线图；
将生成的兴奋曲线图与体育比赛的图像、时间信息和选手信息关联，并且将生成的兴奋曲线图、体育比赛的图像、时间信息和选手信息记录在记录和再现单元中；以及
在接收指示体育比赛的中断的信息时，将兴奋曲线图与所述记录和再现单元中记录的体育比赛的图像一起显示在显示单元上。
7.如权利要求6所述的显示控制方法，其中显示兴奋曲线图，使得沿着曲线图的时间线的预定时间段之一是可选择的。
8.如权利要求7所述的显示控制方法，其中显示选手信息，使得关于选手之一的选手信息是可选择的，并且其中，在接收用于选择所选择的并且显示的选手出现在广播图像中的时间段的指令时，再现并显示与所选择的时间段对应的记录的图像。
CN2009101786186A 2008-09-22 2009-09-22 显示控制装置、显示控制方法和程序 Expired - Fee Related CN101686352B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP243073/08 2008-09-22
JP2008243073A JP4591586B2 (ja) 2008-09-22 2008-09-22 表示制御装置、表示制御方法、およびプログラム

Publications (2)

Publication Number Publication Date
CN101686352A CN101686352A (zh) 2010-03-31
CN101686352B true CN101686352B (zh) 2012-06-27

Family

ID=42049279

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009101786186A Expired - Fee Related CN101686352B (zh) 2008-09-22 2009-09-22 显示控制装置、显示控制方法和程序

Country Status (3)

Country Link
US (1) US8358907B2 (zh)
JP (1) JP4591586B2 (zh)
CN (1) CN101686352B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5396620B2 (ja) * 2010-01-08 2014-01-22 任天堂株式会社 情報処理プログラム及び情報処理装置
US20120069143A1 (en) * 2010-09-20 2012-03-22 Joseph Yao Hua Chu Object tracking and highlighting in stereoscopic images
ES2421309T3 (es) * 2010-11-12 2013-08-30 Swiss Timing Ltd. Procedimiento de regeneración de un tiempo de duración de una competición de una competición deportiva en curso
CN102752528A (zh) * 2011-09-28 2012-10-24 新奥特（北京）视频技术有限公司 一种竞技比赛换人信息的生成方法及系统
US9202526B2 (en) * 2012-05-14 2015-12-01 Sstatzz Oy System and method for viewing videos and statistics of sports events
CN102819749B (zh) * 2012-07-23 2016-08-03 西安体育学院 一种基于视频分析的足球越位自动判别系统和方法
JP2014027635A (ja) * 2012-07-30 2014-02-06 Sharp Corp 携帯端末装置および情報通信システム
TWI566175B (zh) * 2012-11-22 2017-01-11 華碩電腦股份有限公司 屏幕顯示控制系統之顯示方法
WO2014098783A1 (en) * 2012-12-21 2014-06-26 Echostar Ukraine, LLC Identification and tracking onscreen
US20160050349A1 (en) * 2014-08-15 2016-02-18 Sony Corporation Panoramic video
CN105847933A (zh) * 2016-03-30 2016-08-10 天脉聚源（北京）科技有限公司 显示球队入场的方法和装置
US10623525B2 (en) * 2016-06-23 2020-04-14 DISH Technologies L.L.C. Methods, systems, and apparatus for presenting participant information associated with a media stream
CN106713999A (zh) * 2016-12-31 2017-05-24 天脉聚源（北京）科技有限公司 一种显示参赛者信息的方法和装置
US10877555B2 (en) 2017-03-21 2020-12-29 Sony Corporation Information processing device and information processing method for controlling user immersion degree in a virtual reality environment
JP6922369B2 (ja) * 2017-04-14 2021-08-18 富士通株式会社 視点選択支援プログラム、視点選択支援方法及び視点選択支援装置
WO2019046095A1 (en) * 2017-08-30 2019-03-07 Vid Scale, Inc. VIDEO ZOOM FOLLOW
GB2571106A (en) * 2018-02-16 2019-08-21 Sony Corp Image processing apparatuses and methods
JP7301521B2 (ja) * 2018-11-07 2023-07-03 キヤノン株式会社 画像処理装置
WO2020095647A1 (ja) * 2018-11-07 2020-05-14 キヤノン株式会社 画像処理装置、画像処理サーバー、画像処理方法、コンピュータプログラム及び記憶媒体
CN114697740B (zh) * 2022-03-28 2024-02-23 咪咕数字传媒有限公司 信息处理方法、装置、设备及计算机可读存储介质

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05114280A (ja) * 1991-10-21 1993-05-07 Toshiba Corp 映像音声記録再生装置
JP2000308038A (ja) * 1999-04-19 2000-11-02 Matsushita Electric Ind Co Ltd 蓄積型放送システムと放送送信装置及び放送受信装置
JP3424204B2 (ja) * 1999-07-23 2003-07-07 インターナショナル・ビジネス・マシーンズ・コーポレーション オブジェクトの軌跡を利用したビデオ・コンテンツへのアクセス方法及び装置
JP4208434B2 (ja) * 2000-05-25 2009-01-14 富士通株式会社 放送受信機，放送制御方法，コンピュータ読み取り可能な記録媒体，及びコンピュータプログラム
US7796162B2 (en) * 2000-10-26 2010-09-14 Front Row Technologies, Llc Providing multiple synchronized camera views for broadcast from a live venue activity to remote viewers
JP4658391B2 (ja) * 2001-06-19 2011-03-23 財団法人エヌエイチケイエンジニアリングサービス 映像補助効果生成装置および映像送信装置ならびに映像受信装置
JP4546682B2 (ja) * 2001-06-26 2010-09-15 パイオニア株式会社 映像情報要約装置、映像情報要約方法および映像情報要約処理プログラム
US7657836B2 (en) * 2002-07-25 2010-02-02 Sharp Laboratories Of America, Inc. Summarization of soccer video content
US7458093B2 (en) * 2003-08-29 2008-11-25 Yahoo! Inc. System and method for presenting fantasy sports content with broadcast content
JP4305269B2 (ja) * 2004-04-30 2009-07-29 ソニー株式会社 信号処理装置及び方法
JP2006140913A (ja) * 2004-11-15 2006-06-01 Pioneer Electronic Corp 情報再生装置及び方法、情報記録装置及び方法、情報記録再生装置及び方法、並びにコンピュータプログラム
US7831112B2 (en) * 2005-12-29 2010-11-09 Mavs Lab, Inc. Sports video retrieval method
JP2007208651A (ja) * 2006-02-01 2007-08-16 Sharp Corp コンテンツ視聴装置
KR100841315B1 (ko) * 2006-02-16 2008-06-26 엘지전자 주식회사 방송 프로그램 정보를 처리하는 이동통신단말기와 데이터 관리 서버, 및 이동통신단말기를 이용한 방송 프로그램 정보 처리 방법
EP2479991A3 (en) * 2006-12-04 2014-01-08 Lynx System Developers, Inc. Autonomous systems and methods for still and moving picture production
JP4771424B2 (ja) * 2006-12-08 2011-09-14 ソニー株式会社 情報処理装置および方法、並びにプログラム
US8881191B2 (en) * 2008-03-31 2014-11-04 Microsoft Corporation Personalized event notification using real-time video analysis

Also Published As

Publication number Publication date
US8358907B2 (en) 2013-01-22
JP4591586B2 (ja) 2010-12-01
US20100092155A1 (en) 2010-04-15
CN101686352A (zh) 2010-03-31
JP2010074775A (ja) 2010-04-02

Similar Documents

Publication Publication Date Title
CN101686352B (zh) 显示控制装置、显示控制方法和程序
CN101686350B (zh) 显示控制设备以及显示控制方法
JP4683103B2 (ja) 表示制御装置、表示制御方法、およびプログラム
JP4492462B2 (ja) 電子機器、映像処理装置及び映像処理方法
KR100830739B1 (ko) 멀티미디어 재생 장치, 재생 방법, 및 컴퓨터프로그램을 저장한 기록 매체
US20110157370A1 (en) Tagging product information
US20080136937A1 (en) Image processing apparatus, image processing method, and program
JP2001292402A (ja) デジタルビデオ再生方法、デジタルビデオ再生装置及びデジタルビデオ録画再生装置
CN101878643A (zh) 电子设备、再现方法和程序
JP4781728B2 (ja) 番組映像作成装置、番組映像表示装置、番組映像録画再生装置、番組表示方法、プログラム、及び記録媒体
JP4500432B2 (ja) 画像表示装置、画像表示方法および記憶媒体
JP5067472B2 (ja) 表示制御装置、表示制御方法、およびプログラム
KR20050017061A (ko) 디지털 비디오 재생장치의 재생위치 이동 시스템
JP2014127906A (ja) 情報提示装置
JP2010074776A (ja) 表示制御装置、表示制御方法、およびプログラム
JP2010074788A (ja) 表示制御装置、表示制御方法、およびプログラム
JP4244030B2 (ja) デジタル放送受信機及びデジタル放送受信方法
JP2010074789A (ja) 表示制御装置、表示制御方法、およびプログラム
KR100698271B1 (ko) 텍스트 정보를 이용하여 녹화물을 탐색하기 위한 텔레비젼수상기 및 방법
JP3809174B2 (ja) デジタル放送受信機及びデジタル放送受信方法
JP4244031B2 (ja) デジタル放送受信機及びデジタル放送受信方法
JP2003216302A (ja) 文字入力装置及び文字入力装置を備えたデジタル／アナログｔｖ録画装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120627

Termination date: 20150922

EXPY Termination of patent right or utility model