CN102342124B - 用于提供与广播节目相关的信息的装置和方法 - Google Patents

用于提供与广播节目相关的信息的装置和方法 Download PDF

Info

Publication number
CN102342124B
CN102342124B CN201080010003.3A CN201080010003A CN102342124B CN 102342124 B CN102342124 B CN 102342124B CN 201080010003 A CN201080010003 A CN 201080010003A CN 102342124 B CN102342124 B CN 102342124B
Authority
CN
China
Prior art keywords
keyword
information
scene
relevant information
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201080010003.3A
Other languages
English (en)
Other versions
CN102342124A (zh
Inventor
柳元皓
朴喜仙
崔溢焕
崔闰熙
崔畅桓
姜相旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN102342124A publication Critical patent/CN102342124A/zh
Application granted granted Critical
Publication of CN102342124B publication Critical patent/CN102342124B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74Browsing; Visualisation therefor
    • G06F16/748Hypervideo
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7844Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using original textual content or text extracted from visual content or transcript of audio data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/11Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information not detectable on the record carrier
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8126Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84Generation or processing of descriptive data, e.g. content descriptors
    • H04N21/8405Generation or processing of descriptive data, e.g. content descriptors represented by keywords
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/147Scene change detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Marketing (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Circuits Of Receivers In General (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

提供一种用于提供与广播节目相关的信息的装置和方法。根据示例,从广播场景中检测对象,并产生多个关键词,每个关键词包含对象名称和含义信息。接着,基于关键词设置场景段,并为每个场景段搜索相关信息。将找到的相关信息与对应的场景段同步并接着提供给用户。

Description

用于提供与广播节目相关的信息的装置和方法
技术领域
以下说明涉及用于通过网络搜索向正在看电视的用户提供相关信息的技术。
背景技术
最近,随着因特网或万维网支持的电视(TV)服务的引入,已经开发多种服务用于促进用户的便利。这样的TV的一个示例是因特网协议电视(IPTV)。
由于用于IPTV的广播信号能够包含多种附加信息,用户可以通过IPTV得到多种信息,包括广播节目的时间表、字幕等等。
另外,IPTV允许用户通过连接到其的网络搜索期望的信息。例如,当有动物记录片在线时,用户可以通过操作IPTV或连接到其的机顶盒来搜索关于相关的动物的信息。
发明内容
技术问题
然而,在数字TV等中搜索信息的传统方法不便于使用,因为它们需要用户的直接操作。
解决方案
根据一个方面,提供一种提供与广播节目相关的信息的装置,包括:对象检测器,用于从场景中检测至少一个对象;关键词产生器,用于产生包含对象的名称和含义信息的关键词;段(section)设置单元,用于使用关键词设置场景段;相关信息搜索单元,用于使用关键词请求搜索与对象关联的相关信息,并接收搜索到的相关信息;以及相关信息提供器,用于将接收的相关信息与场景段同步,并提供与场景段同步的相关信息。
根据另一个方面,提供一种提供与广播节目相关的信息的方法,包括:从场景中检测至少一个对象;产生包含对象的名称和含义信息的关键词;使用关键词设置场景段;使用关键词请求搜索与对象关联的相关信息,并接收搜索到的相关信息;以及将接收的相关信息与场景段同步,并提供与场景段同步的相关信息。
关键词可以是具有很少歧义或没有歧义的词。对象名称的歧义大部分可以通过将添加类别信息到对象名称来消除。可以通过参照其中将对象名称单独地映射到类别名称的对象名称词典将适当的类别添加到对象名称、通过执行上下文分析或通过使用风格(genre)信息来消除对象名称的歧义。
场景段可以基于场景之间保持的关键词的量来确定,而且可以是涉及基本相同的主题的一组场景。
通过以下详细说明、附图、和权利要求书,其他特征和方面将变得显而易见。
附图说明
图1是说明提供与广播节目相关的信息的装置的示例的图;
图2说明对象的示例;
图3说明关键词表的示例;
图4说明场景段的示例;
图5说明场景段与相关信息之间的映射关系的示例;
图6说明相关信息显示屏幕的一个示例;
图7说明相关信息显示屏幕的另一个示例;以及
图8是说明提供与广播节目相关的信息的方法的示例的流程图。
附图和说明书全文中,除非另外描述,相同的附图引用数字将被理解为指代相同的元件、特征、和结构。为清楚、例示、和方便起见,可以夸大这些元件的相对尺寸和图示。
具体实施方式
提供以下说明以帮助读者充分理解这里描述的方法、装置、和/或系统。因此,本领域普通技术人员将领会这里描述的方法、装置、和/或系统的各种变更、修改、和等价物。而且,为清楚和简洁起见,将略去公知功能和构造的说明。
图1是说明提供与广播节目相关的信息的装置100的示例的图。
广播节目相关信息提供装置100可以安装在连接到网络的多种有线/无线终端中的任何一种,包括数字TV、IPTV、计算机、移动电话机、智能电话机、机顶盒等,其能够向用户提供广播节目。
参照图1,广播节目相关信息提供装置100包括广播流接收器101、流处理器102、显示器103、对象检测器104、关键词产生器105、段设置单元106、相关信息搜索单元107和相关信息提供单元108。
广播流接收器101接收广播流。广播流是从广播站发送的广播数据。广播流可以包含视频信号、音频信号、字幕信号、电子节目指南(EPG)信号等。
流处理器102处理广播流以使得在显示器103上显示场景。例如,流处理器102可以执行多种图像处理和声音处理。
显示器103显示场景。显示器103可以是诸如液晶(LCD)监视器的显示器或诸如触摸屏的输入/输出设备。
对象检测器104从显示在显示器103上的场景中检测对象或对象名称。术语对象是指与场景关联或在场景中出现的字符、条目、区域等。对象的检测包括识别对象以及提取已识别的对象的名称。例如,对象检测器104可以识别显示在当前屏幕上的对象,并检测对象的名称。
对象检测器104可以使用以下方法检测对象。
根据一个示例,对象检测器104从广播流的字幕或投影(telop)字符信息中提取字符串(或字符),并分析已提取的字符串以检测对象。例如,对象检测器104将基于自然语言处理的词法分析(morphological analysis)和词性标注(part-of-speech tagging)应用于字符串,以将具有有意义的信息的名词检测为对象。
根据另一个示例,对象检测器104将广播流的声音转换为文本,并分析文本以检测对象。例如,对象检测器104将广播流的声音转换为文本以产生字符串(或字符),并分析字符串以将具有有意义的信息的名词检测为对象。
根据另一个示例,对象检测器104分析广播流的画面以检测对象。例如,对象检测器104可以将字符识别算法应用于从广播流中提取的画面以提取预定字符,并从提取的字符中检测对象。替换地,对象检测器104可以将对象识别算法应用于广播流的画面以识别画面的预定部分,并接着检测与识别的部分对应的对象的名称。然而,对象检测器104检测对象的方法不限于上述示例。
接着,关键词产生器105产生与对象检测器104检测的对象对应的关键词。关键词包含对象的名称和含义信息。对象的含义信息用于消除对象名称的任何歧义,而且可以是对象的类别信息。例如,当检测到可以意指飞行动物“Bat(蝙蝠)”和运动装备“Bat(球棒)”二者的对象名称“BAT”时,关键词产生器105可以将诸如“动物”或“运动装备”的类别信息指派给对象名称“BAT”以消除对象名称“BAT”的歧义,于是产生关键词“BAT/动物”或“BAT/运动装备”。
关键词产生器105以如下多种方式将含义信息指派给对象名称以从对象名称中消除歧义。
根据一个示例,关键词产生器105可以参照对象名称词典将含义信息指派给对象名称。对象名称词典是其中对象名称单独地映射到类别的词列表。例如,对象名称词典可以包括诸如“BAT-动物”和“BAT-运动装备”的映射的词。关键词产生器105估计对象名称属于哪一类别的概率,并基于估计的概率确定适合于对象名称的类别。可以基于自然语言处理的消除歧义模型来估计对象名称属于哪一类别的概率。
根据另一个示例,关键词产生器105可以分析对象名称的上下文以将适当的含义信息指派给对象名称。例如,当词“洞穴”和“夜晚”出现在对象名称“BAT”之前和/或之后时,关键词产生器105可以将“动物”类别指派给对象名称“BAT”。此时,关键词产生器105可以使用诸如贝叶斯、条件随机场、支持向量机等的机器学习用于消除歧义。
根据另一个示例,关键词产生器105可以使用风格信息将含义信息指派给对象名称。例如,当在广播节目风格为“记录片”的节目的同时检测到对象名称“BAT”时,将“动物”类别指派给对象名称“BAT”。另一方面,如果节目风格为“运动”,则将“运动装备”类别指派给对象名称“BAT”。风格信息也可以以多种方式获取,例如,来自广播流的EPG信息或通过分析节目的名称。另外,可以从广播站之外的任何其他地方通过第三方服务获取风格信息。然而,确定广播节目的风格的方法不限于这些示例,而是可以使用任何其他适当的方法。
接着,段设置单元106使用关键词产生器105产生的关键词设置场景段。场景段意指可以被认为涉及基本相同的主题的一组场景。段设置单元106可以基于场景之间保持的关键词的量来设置场景段。这里,保持的关键词的量可以由从连续的场景中共同提取的关键词的数量来定义。段设置单元106可以通过确定其间保持的关键词的数量等于或大于一阈值的一组场景来设置场景段。换句话说,段设置单元106可以识别被认为涉及基本相同的内容的场景,并将一组场景确定为场景段。
例如,假定从第一场景中提取的10个关键词和从第二场景中提取的10个关键词当中有共同的6个关键词。该情况下,保持的关键词的量被计算为60%((2*6)/(10+10)=0.6),而且如果阈值已经被设置为50%,则第一和第二场景被确定为包含在场景段中。
同时,当从第一场景中提取的10个关键词和从第二场景中提取的15个关键词当中有共同的3个关键词时,保持的关键词的量被计算为24%((2*3)/(10+15)=0.24)。该情况下,如果阈值已经被设置为50%,则第一和第二场景不被包含在场景段中。
然而,代替使用保持的关键词的量来设置场景段,段设置单元106可以基于场景或基于场景/文本来决定场景转换的时间以确定场景段。
之后,相关信息搜索单元107使用关键词产生器105产生的关键词请求搜索与对象相关的信息。例如,相关信息搜索单元107可以向搜索服务器发送基于关键词产生的询问,并从搜索服务器接收搜索的结果。另外,相关信息搜索单元107可以向搜索服务器请求与关键词相关的广告条目。依赖于关键词的类别,相关信息搜索单元107可以从各种网站收集多种相关信息。例如,如果关键词的类别是电影标题,则相关信息搜索单元107从电影介绍网站收集诸如剧场、演员、和概要的关于电影的多种信息。如果关键词的类别是动物名称,则相关信息搜索单元107搜索维基百科或电脑百科全书。当前示例中,相关信息可以包括这样的搜索的结果以及广告条目。
进一步,相关信息搜索单元107可以通过将附加信息添加到关键词来产生扩展询问。例如,相关信息搜索单元107可以使用包含对象名称和类别的关键词作为询问,或者可以通过将详细类别添加到包含对象名称和类别的关键词来产生扩展询问。
相关信息搜索单元107可以从其自身的数据库中搜索包括广告的相关信息,而不是从单独的搜索服务器中搜索。另外,相关信息搜索单元107可以从网络上的第三方信息提供网站接收相关信息,而不是从搜索服务器接收,以便提供广播节目的屏幕上未明确示出的信息(例如,商店、餐厅的名称等)。
相关信息提供单元108将接收的相关信息与对应的场景段同步,并向显示器103提供与场景段同步的相关信息。这里,同步意指将接收的相关信息与对应的对象在屏幕上出现的时间匹配。
例如,相关信息提供单元108可以在显示广播屏幕的显示器的一部分上显示跟与场景段的关键词对应的相关信息关联的场景段的代表性画面。换句话说,可以仅在被认为涉及基本相同的主题的场景继续的同时示出对应的相关信息,而当发生到基本不同的主题的场景转换时,停止相关信息的显示。
另外,相关信息提供单元108可以基于用户简档将接收的相关信息分等级,并主要显示高等级的相关信息。用户简档可以存储诸如用户的年龄和性别的个人信息、以及用户关于广播节目的偏好信息。
图2说明对象的示例。
参照图1和2,对象检测器104分析字幕202、声音203以及当前屏幕201上的特定部分以检测屏幕201涉及的主对象211、212和213。
具体地,对象检测器104提取字幕202“法国的卢浮宫博物馆收藏有大量艺术作品”,并根据自然语言处理算法对提取的字幕202执行词法分析和词性标注。词法分析可以是将字幕分割为语义(meaning)单元的过程,而词性标注可以是为每个语义单元标注词性信息的过程。于是,对象检测器104从经历词法分析和词性标注的字幕202中检测对象211。对象211可以对应于具有有意义的信息的名词。例如,可以从字幕212中检测到对象“法国”、“卢浮宫”和“艺术品”。
接着,对象检测器104可以提取声音203(例如,叙述),并将提取的声音203转换为文本。分析文本以检测另一个对象212。例如,可以从叙述“我沿着塞纳河去往卢浮宫”中检测到对象“塞纳河”212。
另外,对象检测器104可以从屏幕201上的特定部分中检测另一个对象213。例如,对象检测器104可以通过将对象识别算法应用于屏幕201来检测另一个对象“金字塔”。
图3说明关键词表301的示例。
参照图3,关键词表301包括对象名称302和含义信息303。对象名称302可以是指示对象的代表性名称。含义信息303可以是用于消除对象名称的歧义的类别信息。例如,由于究竟“卢浮宫宫殿”和“卢浮宫博物馆”中的哪一个指示“卢浮宫”含糊不清,可以产生关键词“卢浮宫/博物馆”,其中将类别“博物馆”作为含义信息添加到“卢浮宫”。
当前示例中,关键词产生器105可以使用存储在对象名称数据库304中的对象名称词典305来将含义信息303指派给对象名称302。对象名称词典305可以是其中对象名称单独地映射到类别的词列表。关键词产生器105可以分析对象名称的上下文,以盖然地确定对象名称属于对象名称词典中的哪一类别。盖然确定可以依赖于以下等式1。
P T ( W n | W M - n n - 1 ) = 1 M Σ m = 1 M α ( W n | W m ) (1)
α ( W n | W m ) = P ( W n , W m ) log P ( W n , W m ) P ( W n ) P ( W m )
等式1中,Wn表示识别的字符串的第n个词,WM-n n-1表示M个词当中位于Wn的左边的n-1个词以及位于Wn的右边的M-n个词,而Wm表示M个词当中的第m个词。这里,M表示包含在识别的字符串中的词的数量,n表示M个词中定位识别的字符串的地方,P表示对应的词属于哪一类别的概率,而且是两个词之间的互信息(mutual information)的量,并表示两个词将要一起出现的概率。
而且,关键词产生器105可以使用对象名称词典305和词“卢浮宫”的上下文来确定“卢浮宫”的类别。例如,如果对象名称“艺术品”或“金字塔”常常出现在词“卢浮宫”的上下文中,则可以将与“艺术品”或“金字塔”具有高度相关性的词“博物馆”确定为“卢浮宫”的类别。
另外,关键词产生器105可以基于风格信息确定类别。可以从广播流的EPG信息、从通过网络接收的第三方服务、通过分析节目名称或节目内容等获取风格信息。
图4是用于解释场景段的示例的视图。
图4中,引用数字401到405表示广播场景,而每个场景的字母表示从场景中提取的关键词。
参照图1和4,段设置单元106为每个场景识别关键词。例如,段设置单元106从第一场景401中识别关键词A、B、C、D和E,并从跟随第一场景401的第二场景402中识别关键词A、B、C、D和F。
接着,段设置单元106计算场景401至405之间保持的关键词的量。保持的关键词的量可以由即便场景转换也保持的关键词的数量来定义。
可以利用以下等式2来计算保持的关键词的量。
等式2中,第一和第二场景401和402之间4个关键词A、B、C和D被维持,因此利用等式2计算的保持的关键词的量为80%(2*4/(5+5)=0.8)。同样,在第三和第四场景403和404中,只有一个关键词F被维持,因此保持的关键词的量被计算为大约18.1%(2*1/(6+5)=0.181)。
接着,段设置单元106将计算的保持的关键词的量与一阈值进行比较以设置场景段。如果阈值为50%,则其间保持的关键词的量为80%的第一和第二场景401和402被设置为属于相同的场景段,而其间保持的关键词的量为18.1%的第三和第四场景403和404被设置为属于不同的场景段。
以这样的方式,段设置单元106可以将第一至第三场景401、402和403设置为第一场景段410,并将第四和第五场景404和405设置为第二场景段420。即,段设置单元106将被认为涉及基本相同的主题的场景分组,而不管场景的单独显示如何。
然而,以上参照图1和4描述的场景段设置方法是示范性的,而且也可以基于场景的画面统计或场景的文本统计来设置场景段,而不是使用场景之间保持的关键词的数量。
图5说明场景段与相关信息501之间的映射关系的示例。
相关信息501可以是与关键词相关的多种信息。例如,相关信息501可以包括通过基于关键词产生的询问搜索的结果以及与关键词关联的多种广告条目。图5中,相关信息A可以是与关键词A关联的一组信息,而且可以包括搜索的结果(例如,A1和A2)以及广告信息(例如,A3)。
当前示例中,将相关信息501与场景段502同步。即,将某关键词的相关信息映射到该关键词所属的场景段。例如,参照图4和5,将相关信息A与场景段1同步并在场景段1中提供,因为对应的关键词A出现在场景段1中,而且可以将相关信息F与场景段1和2同步并在场景段1和2中提供,因为对应的关键词F出现在场景段1和2二者中。
而且,当相关信息A是关键词卢浮宫/博物馆的相关信息时,A1可以是关于卢浮宫博物馆的历史的信息,A2可以是关于卢浮宫博物馆的开放时间的信息,而A3可以是包含卢浮宫博物馆的游览的旅游产品的广告。该情况下,相关信息提供单元108(参见图1)可以参照用户简档将相关信息A1、A2和A3作优先级排序,并按优先级次序提供它们。
图6说明相关信息显示屏幕的一个示例。
参照图6,可以将相关信息602与对应于当前正在广播的屏幕的场景段同步,并显示在屏幕的下边部分。从而,如果场景段因场景变换而改变,则可以将相关信息602相应地改变为不同的相关信息。
而且,用户可以选择相关信息602中的一条并显示详细信息603。另外,当创建新的相关信息602时,可以在屏幕的上边部分显示通知新的相关信息的创建的图标601。当显示图标601时,用户可以操作遥控器以选择图标601并在屏幕上显示相关信息602。
图7说明相关信息显示屏幕的另一个示例。
参照图7,可以在屏幕的下方显示代表性场景701-a至701-f。每个代表性场景(例如,场景701-a)可以是场景段的代表性帧。代表性场景701-a包括与场景段对应的关键词。当用户选择代表性场景701-a至701-f之一时,可以在屏幕的右边部分显示与选择的代表性场景对应的相关信息703。如果选择了代表性场景,则可以将屏幕移动到选择的代表性场景所属的场景段。
图6和7中说明的相关信息显示屏幕是用于解释相关信息与场景段的同步的示例,可以使用任何其他方法显示相关信息。例如,可以显示当前正在广播的节目中已经出现的全部关键词,并允许用户选择任何一个关键词,以使得从选择的关键词已经在其中出现的场景段开始再现节目。
图8是说明提供与广播节目相关的信息的方法800的示例的流程图。
参照图1和8,从场景中检测对象(801)。例如,对象检测器104可以使用视频信息、音频信息、字幕信息、电子节目指南(EPG)信息、投影字符信息等中的至少一个来识别当前广播节目涉及的对象,并接着检测对象的名称。
接着,产生包含对象的名称和含义信息的关键词(802)。例如,关键词产生器105可以确定每个对象的名称和对象名称所属的类别以消除对象名称的歧义,从而产生包含对象名称和对应的类别的关键词。这里,可以通过利用其中为每个类别存储多个对象名称的对象名称词典、通过分析出现对象名称的部分的上下文或通过使用风格信息来确定每个对象的类别。可以从包含在广播流中的附加信息、从通过网络提供风格信息的第三方服务或通过分析产生的关键词获取风格信息。
接着,使用关键词设置场景段(803)。例如,场景段设置单元106可以使用由场景之间共同出现的关键词的数量定义的保持的关键词的量来设置场景段。
接着,使用关键词搜索与关键词相关的信息(804)。例如,相关信息搜索单元107可以基于关键词产生询问,向搜索服务器传送询问,并从搜索服务器接收包含与关键词关联的广告的相关信息。
之后,将找到的相关信息与场景段同步并提供给用户(805)。例如,相关信息提供单元108可以在显示场景的屏幕的一部分上显示与接收的相关信息关联的场景段的代表性场景。而且,相关信息提供单元108可以根据用户简档将接收的相关信息作优先级排序,并按优先级次序提供相关信息。
上述过程、功能、方法和/或软件可以记录、存储、或固定在一个或多个计算机可读存储介质中,其包含由计算机实施的程序指令,以致使处理器运行或执行所述程序指令。所述介质还可以(单独或与程序指令组合地)包括数据文件、数据结构等。所述介质和程序指令可以是特殊设计和构造的,或者它们可以为公知类型且能够为计算机软件领域技术人员取得。计算机可读存储介质的示例包括:磁介质,诸如硬盘、软盘、和磁带;光介质,诸如CD ROM盘和DVD;磁光介质,诸如光盘;以及特殊配置用于存储和执行程序指令的硬件设备,诸如只读存储器(ROM)、随机存取存储器(RAM)、闪速存储器等。程序指令的示例包括诸如由编译器产生的机器码、以及包含可以由计算机使用解释器执行的高级代码的文件。所述硬件设备可以配置为充当一个或多个软件模块以便执行上述操作和方法,或者反之。此外,计算机可读存储介质可以分布在通过网络连接的计算机系统之间,而且可以以分散的方式存储和执行计算机可读代码或程序指令。
上面已经描述多个示例。然而,不难理解,可以进行多种修改。例如,所述技术如果以不同的次序执行和/或如果所述系统、架构、设备、或电路的组件以不同的方式组合和/或由其他组件或它们的等价物替换或补充,则可以实现合适的结果。因此,其他实施方式在所附权利要求书的范围内。

Claims (21)

1.一种提供与广播节目相关的信息的装置,包括:
对象检测器,用于从场景中检测至少一个对象,以及检测对象的名称;
关键词产生器,用于产生包含与对象对应的对象名称和该对象名称所属的类别的关键词,其中该类别是用来消除对象名称的歧义;
段设置单元,用于使用关键词设置场景段;
相关信息搜索单元,用于使用关键词请求搜索与对象关联的相关信息,并接收搜索到的相关信息;以及
相关信息提供器,用于将接收的相关信息与场景段同步,并提供与场景段同步的相关信息,
其中段设置单元将场景间保持的关键词的量等于或大于一阈值的一组场景设置为场景段。
2.如权利要求1所述的装置,其中段设置单元使用保持的关键词的量来设置场景段,保持的关键词的量由从第一场景中产生的关键词与从第二场景中产生的关键词之间共同存在的关键词的数量定义。
3.如权利要求1所述的装置,其中关键词产生器使用其中将多个对象名称单独地映射到类别的对象名称词典来确定类别。
4.如权利要求1所述的装置,其中关键词产生器通过分析出现关键词的部分的上下文来确定类别。
5.如权利要求1所述的装置,其中关键词产生器通过获取场景的风格信息来确定类别。
6.如权利要求5所述的装置,其中从包含在广播流中的附加信息、从通过因特网提供风格信息的第三方服务或通过分析产生的关键词获取风格信息。
7.如权利要求1所述的装置,其中对象检测器使用包含在接收的广播流中的视频信息、音频信息、字幕信息、电子节目指南(EPG)信息和投影字符信息中的至少一个来检测对象。
8.如权利要求1所述的装置,进一步包括显示器,用于显示场景和相关信息。
9.如权利要求8所述的装置,其中相关信息提供器控制显示器以向用户提供相关信息。
10.如权利要求9所述的装置,其中相关信息提供器控制显示器以在显示器的一部分上显示关于与相关信息关联的场景段的信息。
11.如权利要求9所述的装置,其中相关信息提供器根据用户简档将相关信息作优先级排序,并按优先级次序提供相关信息。
12.一种提供与广播节目相关的信息的方法,包括:
从场景中检测至少一个对象,以及检测对象的名称;
产生包含与对象对应的对象名称和该对象名称所属的类别的关键词,其中该类别是用来消除对象名称的歧义;
使用关键词设置场景段;
使用关键词请求搜索与对象关联的相关信息,并接收搜索到的相关信息;以及
将接收的相关信息与场景段同步,并提供与场景段同步的相关信息,
其中设置场景段的步骤包括将场景间保持的关键词的量等于或大于一阈值的一组场景设置为场景段。
13.如权利要求12所述的方法,其中保持的关键词的量由从第一场景中产生的关键词与从第二场景中产生的关键词之间共同存在的关键词的数量定义。
14.如权利要求12所述的方法,其中产生关键词的步骤包括使用其中将多个对象名称单独地映射到类别的对象名称词典来确定类别。
15.如权利要求12所述的方法,其中产生关键词的步骤包括通过分析出现关键词的部分的上下文来确定类别。
16.如权利要求12所述的方法,其中产生关键词的步骤包括通过获取场景的风格信息来确定类别。
17.如权利要求16所述的方法,其中从包含在广播流中的附加信息、从通过网络提供风格信息的第三方服务或通过分析产生的关键词获取风格信息。
18.如权利要求12所述的方法,其中检测对象的步骤包括使用包含在接收的广播流中的视频信息、音频信息、字幕信息、电子节目指南(EPG)信息和投影字符信息中的至少一个来检测对象。
19.如权利要求12所述的方法,其中提供相关信息的步骤包括在预定显示器上显示相关信息。
20.如权利要求19所述的方法,其中提供相关信息的步骤包括控制预定显示器以在预定显示器的一部分上显示关于与相关信息关联的场景段的信息。
21.如权利要求19所述的方法,其中提供相关信息的步骤包括根据用户简档将相关信息作优先级排序,并按优先级次序提供相关信息。
CN201080010003.3A 2009-04-10 2010-04-07 用于提供与广播节目相关的信息的装置和方法 Expired - Fee Related CN102342124B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR10-2009-0031471 2009-04-10
KR20090031471 2009-04-10
KR10-2010-0019153 2010-03-03
KR1020100019153A KR101644789B1 (ko) 2009-04-10 2010-03-03 방송 프로그램 연관 정보 제공 장치 및 방법
PCT/KR2010/002144 WO2010117213A2 (en) 2009-04-10 2010-04-07 Apparatus and method for providing information related to broadcasting programs

Publications (2)

Publication Number Publication Date
CN102342124A CN102342124A (zh) 2012-02-01
CN102342124B true CN102342124B (zh) 2015-07-01

Family

ID=43132770

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080010003.3A Expired - Fee Related CN102342124B (zh) 2009-04-10 2010-04-07 用于提供与广播节目相关的信息的装置和方法

Country Status (6)

Country Link
US (1) US9202523B2 (zh)
EP (1) EP2417767B1 (zh)
JP (1) JP5557401B2 (zh)
KR (1) KR101644789B1 (zh)
CN (1) CN102342124B (zh)
WO (1) WO2010117213A2 (zh)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102572534A (zh) * 2010-12-09 2012-07-11 财团法人资讯工业策进会 与多媒体广播节目同步的系统与方法
US10070201B2 (en) 2010-12-23 2018-09-04 DISH Technologies L.L.C. Recognition of images within a video based on a stored representation
KR101789831B1 (ko) * 2010-12-24 2017-10-25 한국전자통신연구원 방송 컨텐츠 처리 장치 및 방법
US9100669B2 (en) 2011-05-12 2015-08-04 At&T Intellectual Property I, Lp Method and apparatus for associating micro-blogs with media programs
WO2013046218A2 (en) * 2011-06-17 2013-04-04 Tata Consultancy Services Limited Method and system for differentiating plurality of scripts of text in broadcast video stream
JP5318160B2 (ja) * 2011-06-29 2013-10-16 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および情報処理方法
CN102622451A (zh) * 2012-04-16 2012-08-01 上海交通大学 电视节目标签自动生成系统
US20130283330A1 (en) * 2012-04-18 2013-10-24 Harris Corporation Architecture and system for group video distribution
US9788055B2 (en) * 2012-09-19 2017-10-10 Google Inc. Identification and presentation of internet-accessible content associated with currently playing television programs
CN102833596B (zh) * 2012-09-20 2014-09-17 北京酷云互动科技有限公司 一种信息的传送方法及装置
WO2014043987A1 (zh) * 2012-09-20 2014-03-27 北京酷云互动科技有限公司 一种信息的传送方法、装置及系统
CN103714087B (zh) * 2012-09-29 2017-06-27 联想(北京)有限公司 一种信息处理的方法及电子设备
CN103024572B (zh) * 2012-12-14 2015-08-26 深圳创维-Rgb电子有限公司 一种电视机
JP5908855B2 (ja) * 2013-02-21 2016-04-26 日本電信電話株式会社 3次元オブジェクト生成装置、方法、及びプログラム
KR20140131166A (ko) * 2013-05-03 2014-11-12 삼성전자주식회사 디스플레이 장치 및 검색 방법
US20150026718A1 (en) * 2013-07-19 2015-01-22 United Video Properties, Inc. Systems and methods for displaying a selectable advertisement when video has a background advertisement
JP6266271B2 (ja) * 2013-09-04 2018-01-24 株式会社東芝 電子機器、電子機器の制御方法及びコンピュータプログラム
JP6440350B6 (ja) * 2013-09-06 2019-02-06 東芝映像ソリューション株式会社 電子機器、電子機器の制御方法、及びプログラム
US20150319509A1 (en) * 2014-05-02 2015-11-05 Verizon Patent And Licensing Inc. Modified search and advertisements for second screen devices
CN104105002B (zh) * 2014-07-15 2018-12-21 百度在线网络技术(北京)有限公司 音视频文件的展示方法和装置
KR102217191B1 (ko) * 2014-11-05 2021-02-18 삼성전자주식회사 단말 장치 및 그 정보 제공 방법
KR102019493B1 (ko) * 2015-02-09 2019-09-06 삼성전자주식회사 디스플레이 장치 및 그 정보 제공 방법
CN105072459A (zh) * 2015-07-28 2015-11-18 无锡天脉聚源传媒科技有限公司 一种视频信息的处理方法及装置
CN105244048B (zh) * 2015-09-25 2017-12-05 小米科技有限责任公司 音频播放控制方法和装置
WO2017087641A1 (en) * 2015-11-17 2017-05-26 BrightSky Labs, Inc. Recognition of interesting events in immersive video
CN105589955A (zh) * 2015-12-21 2016-05-18 米科互动教育科技(北京)有限公司 一种多媒体课程处理方法和装置
US20170257678A1 (en) * 2016-03-01 2017-09-07 Comcast Cable Communications, Llc Determining Advertisement Locations Based on Customer Interaction
US11228817B2 (en) * 2016-03-01 2022-01-18 Comcast Cable Communications, Llc Crowd-sourced program boundaries
KR102557574B1 (ko) * 2016-05-17 2023-07-20 엘지전자 주식회사 디지털 디바이스 및 그 제어 방법
US10607463B2 (en) * 2016-12-09 2020-03-31 The Boeing Company Automated object and activity tracking in a live video feed
KR102202372B1 (ko) * 2017-01-17 2021-01-13 한국전자통신연구원 영상 컨텐츠를 재사용하여 사용자 인터랙션을 인지할 수 있는 인터랙티브 미디어 제작 시스템 및 그 운용방법
KR102402513B1 (ko) 2017-09-15 2022-05-27 삼성전자주식회사 컨텐트를 실행하는 방법 및 장치
JP2019074949A (ja) * 2017-10-17 2019-05-16 株式会社Nttドコモ 検索装置およびプログラム
KR102102164B1 (ko) * 2018-01-17 2020-04-20 오드컨셉 주식회사 영상 전처리 방법, 장치 및 컴퓨터 프로그램
KR102700003B1 (ko) * 2018-10-08 2024-08-29 삼성전자주식회사 전자 장치 및 그 제어 방법
CN113508419B (zh) 2019-02-28 2024-09-13 斯塔特斯公司 从广播视频生成运动员跟踪数据的系统及方法
JP7350883B2 (ja) * 2019-04-04 2023-09-26 グーグル エルエルシー ビデオ時間調節アンカー
US11120490B1 (en) 2019-06-05 2021-09-14 Amazon Technologies, Inc. Generating video segments based on video metadata
US10657176B1 (en) * 2019-06-11 2020-05-19 Amazon Technologies, Inc. Associating object related keywords with video metadata
WO2021149924A1 (ko) * 2020-01-20 2021-07-29 주식회사 씨오티커넥티드 미디어 인리치먼트 제공 방법 및 장치
WO2021177495A1 (ko) * 2020-03-06 2021-09-10 엘지전자 주식회사 자연어 처리 장치
US11875823B2 (en) * 2020-04-06 2024-01-16 Honeywell International Inc. Hypermedia enabled procedures for industrial workflows on a voice driven platform
KR20210133588A (ko) * 2020-04-29 2021-11-08 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
US20220046237A1 (en) * 2020-08-07 2022-02-10 Tencent America LLC Methods of parameter set selection in cloud gaming system
KR102414993B1 (ko) * 2020-09-18 2022-06-30 네이버 주식회사 연관 정보 제공 방법 및 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1016991A2 (en) * 1998-12-28 2000-07-05 Kabushiki Kaisha Toshiba Information providing method and apparatus, and information reception apparatus

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6240555B1 (en) * 1996-03-29 2001-05-29 Microsoft Corporation Interactive entertainment system for presenting supplemental interactive content together with continuous video programs
US5905981A (en) 1996-12-09 1999-05-18 Microsoft Corporation Automatically associating archived multimedia content with current textual content
WO1999066722A1 (en) * 1998-06-17 1999-12-23 Hitachi, Ltd. Broadcasting method and broadcast receiver
EP1684517A3 (en) 1998-08-24 2010-05-26 Sharp Kabushiki Kaisha Information presenting system
EP1079387A3 (en) 1999-08-26 2003-07-09 Matsushita Electric Industrial Co., Ltd. Mechanism for storing information about recorded television broadcasts
JP4205293B2 (ja) * 2000-07-04 2009-01-07 慶一 樋口 情報提供サービスシステムの動作方法、このために用いられる情報提供供給装置及び送受信機
JP2004102494A (ja) * 2002-09-06 2004-04-02 Nippon Telegr & Teleph Corp <Ntt> エージェントを利用したインターネット質問応答方法および装置
US8037496B1 (en) * 2002-12-27 2011-10-11 At&T Intellectual Property Ii, L.P. System and method for automatically authoring interactive television content
JP4241261B2 (ja) 2003-08-19 2009-03-18 キヤノン株式会社 メタデータ付与方法およびメタデータ付与装置
JP2005327205A (ja) * 2004-05-17 2005-11-24 Nippon Telegr & Teleph Corp <Ntt> 情報検索装置、情報検索方法、情報検索プログラム、及び情報検索プログラム記録媒体
US20060059120A1 (en) 2004-08-27 2006-03-16 Ziyou Xiong Identifying video highlights using audio-visual objects
WO2006038529A1 (ja) * 2004-10-01 2006-04-13 Matsushita Electric Industrial Co., Ltd. チャンネル契約提案装置、方法、プログラム及び集積回路
JP4981026B2 (ja) * 2005-03-31 2012-07-18 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 複合ニュース・ストーリーの合成
WO2007086233A1 (ja) 2006-01-27 2007-08-02 Pioneer Corporation 広告配信システム、広告配信方法、放送受信装置および広告配信装置
JP4618166B2 (ja) * 2006-03-07 2011-01-26 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
KR100792261B1 (ko) 2006-07-19 2008-01-07 삼성전자주식회사 토픽 기반의 비디오 관리 시스템 및 방법과 비디오 검색방법
US20080066107A1 (en) 2006-09-12 2008-03-13 Google Inc. Using Viewing Signals in Targeted Video Advertising
JP2009059335A (ja) * 2007-08-07 2009-03-19 Sony Corp 情報処理装置および方法、並びにプログラム
EP1965312A3 (en) 2007-03-01 2010-02-10 Sony Corporation Information processing apparatus and method, program, and storage medium
JP2008227909A (ja) * 2007-03-13 2008-09-25 Matsushita Electric Ind Co Ltd 映像検索装置
JP2008294943A (ja) * 2007-05-28 2008-12-04 Hitachi Ltd 番組関連情報取得システム及び録画装置
US20100229078A1 (en) 2007-10-05 2010-09-09 Yutaka Otsubo Content display control apparatus, content display control method, program, and storage medium
KR20090085791A (ko) * 2008-02-05 2009-08-10 삼성전자주식회사 멀티미디어 컨텐츠 서비스 장치 및 방법, 이를 포함하는멀티미디어 컨텐츠 서비스 제공시스템
US11832024B2 (en) * 2008-11-20 2023-11-28 Comcast Cable Communications, Llc Method and apparatus for delivering video and video-related content at sub-asset level

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1016991A2 (en) * 1998-12-28 2000-07-05 Kabushiki Kaisha Toshiba Information providing method and apparatus, and information reception apparatus

Also Published As

Publication number Publication date
WO2010117213A2 (en) 2010-10-14
KR101644789B1 (ko) 2016-08-04
JP5557401B2 (ja) 2014-07-23
EP2417767B1 (en) 2020-11-04
CN102342124A (zh) 2012-02-01
KR20100113020A (ko) 2010-10-20
US9202523B2 (en) 2015-12-01
JP2012523607A (ja) 2012-10-04
WO2010117213A3 (en) 2011-01-06
US20120017239A1 (en) 2012-01-19
EP2417767A4 (en) 2013-07-31
EP2417767A2 (en) 2012-02-15

Similar Documents

Publication Publication Date Title
CN102342124B (zh) 用于提供与广播节目相关的信息的装置和方法
US20210397651A1 (en) Estimating social interest in time-based media
CN103052953B (zh) 信息处理设备、信息处理方法
EP2541963B1 (en) Method for identifying video segments and displaying contextually targeted content on a connected television
US9244923B2 (en) Hypervideo browsing using links generated based on user-specified content features
US9043860B2 (en) Method and apparatus for extracting advertisement keywords in association with situations of video scenes
US20150082331A1 (en) Methods for identifying video segments and displaying contextually targeted content on a connected television
CN103069414A (zh) 信息处理设备、信息处理方法和程序
KR101550886B1 (ko) 동영상 콘텐츠에 대한 부가 정보 생성 장치 및 방법
CN101616264A (zh) 新闻视频编目方法及系统
KR20110062567A (ko) 비디오 스크랩을 이용한 비디오 콘텐츠 요약 방법 및 장치
US8352985B2 (en) Method of storing and displaying broadcast contents and apparatus therefor
JP4270118B2 (ja) 映像シーンに対する意味ラベル付与方法及び装置及びプログラム
KR101930488B1 (ko) 연동형 서비스 제공을 위한 메타데이터 생성 방법 및 그를 위한 장치
EP3424223A1 (en) Method and system for influencing digital content or access to content
Hanjalic et al. Indexing and retrieval of TV broadcast news using DANCERS
CN111625674A (zh) 一种图片处理方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150701

Termination date: 20200407