CN104756511B - 传送媒体相关的消息的系统及方法 - Google Patents
传送媒体相关的消息的系统及方法 Download PDFInfo
- Publication number
- CN104756511B CN104756511B CN201380057466.9A CN201380057466A CN104756511B CN 104756511 B CN104756511 B CN 104756511B CN 201380057466 A CN201380057466 A CN 201380057466A CN 104756511 B CN104756511 B CN 104756511B
- Authority
- CN
- China
- Prior art keywords
- media
- media item
- rinf
- facility
- information representative
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 16
- 102100036167 CXXC-type zinc finger protein 5 Human genes 0.000 claims abstract description 57
- 101000947154 Homo sapiens CXXC-type zinc finger protein 5 Proteins 0.000 claims abstract description 57
- 230000000007 visual effect Effects 0.000 claims abstract description 5
- 238000000605 extraction Methods 0.000 claims description 31
- 230000004044 response Effects 0.000 claims description 15
- 239000000284 extract Substances 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 11
- 238000013075 data extraction Methods 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 description 6
- 238000012937 correction Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 230000003213 activating effect Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 241000331006 Euchaeta media Species 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229940005022 metadate Drugs 0.000 description 1
- JUMYIBMBTDDLNG-UHFFFAOYSA-N methylphenidate hydrochloride Chemical compound [Cl-].C=1C=CC=CC=1C(C(=O)OC)C1CCCC[NH2+]1 JUMYIBMBTDDLNG-UHFFFAOYSA-N 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440236—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by media transcoding, e.g. video is transformed into a slideshow of still pictures, audio is converted into text
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4782—Web browsing, e.g. WebTV
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4786—Supplemental services, e.g. displaying phone caller identification, shopping application e-mailing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Information Transfer Between Computers (AREA)
- Telephonic Communication Services (AREA)
Abstract
一种系统(1)包括用于接收包括媒体数据的广播信号的媒体接收机(10)、用于根据媒体数据提供可闻输出和/或视觉输出的再现装置(20)以及能够经由因特网服务(40)交换消息(M)的用户设备(30),该用户设备(30)具有用于提交与媒体项有关的消息(MSG)的媒体项评论选项。用户设备(30)被安排用于在用户选择媒体项评论选项时发出数据请求信号(DRQ),并且媒体接收机被安排用于提供与在接收到请求时或在接收到请求之前不久再生的媒体项的一部分有关的所提取的代表性信息(RINF)和用于将所述代表性信息(RINF)提供给用户设备(30)。用户设备(30)能够将所述代表性信息包括在与媒体项有关的所述消息(MSG)中。
Description
技术领域
本发明涉及用于传送媒体相关的消息的系统。
本发明进一步涉及用于传送媒体相关的消息的方法。
本发明还进一步涉及用于在该系统中使用的媒体接收机、服务器和用户设备。
本发明还进一步涉及用于用户设备和用于数据处理装置的计算机程序产品。
背景技术
对许多人而言,观看TV(电视)一直是一项社交活动。在同一个房间中与其他人一起观看电视表演、足球比赛等等追加这种体验。某人能够对实时显示的内容实时进行评论,并且情绪能够实时进行共享。这一直是所感知到的观看电视的吸引力的重要方面。并且,直到最近,单个家庭的成员通常将花费不少时间在一起观看电视。
随着这些年来电视机价格的不断降低,我们看到每个家庭的电视机的数量的增加。另外,很常见的是:部分地由于如YouTube之类的因特网视频库的成功,人们开始在PC或便携式装置上观看电视和其他视频内容。结果,人们越来越多地独自观看电视和其他视频内容,而不再具有向其他人直接评论他们所观看的内容的可能性。
社交媒体以及更具体地如Facebook、电子邮件、mms和Twitter之类的社交网络服务的出现使之再次有可能在一定程度上向其他人实时传送有关用户当前正在观看的内容。以这种方式,用户可以交换与他们正在观看和/或正在收听的内容有关的消息。尤其,对于实时评论当前正在广播的电视节目而言,Twitter已变得很受欢迎。
然而,现有的社交网络服务很受限制。将要交换的消息可以包括至网页的链接,但是这无助于对发生在电视节目中的意想不到的事情立即作出反应。就对当前广播的电视节目作出反应而言,用户不得不键入关于语境的细节,以使之对于消息的接受者而言是可理解的。这能够是非常分心的,并且当正忙于键入消息时,某人可能错过电视节目中有趣的下一个事件。另外,Twitter只允许其用户发送多至140个字符的短消息。
一些新近可用的服务提供部分缓解这个问题的解决方案。例如,Yahoo提供一种能够在移动电话上使用的称为IntoNow的服务。移动电话分析它利用其麦克风捕获到的声音,以便自动地识别用户正在观看哪个电视节目,以致带有该电视节目的名称的标签能够自动地被包括在能够发送给朋友的推文(tweet)中。然而,这仅仅识别电视节目而不识别用户或许想要提及的特定事件或特定场景。假设:在观看电视时,用户想要对电视节目中的特定事件或某一个人的具体引语(quote)做出反应或进行评论。
US2012/0117594公开一种用于提供社交广播服务的广播站的方法。该方法包括以下步骤:
- 从社交网络服务器接收指示由用户设备的用户使用社交应用注册的消息是关于由内容提供商提供的广播节目的消息的写入指示符;以及
- 将包括写入指示符的附加数据和广播节目二者发送到该设备。
该已知方法允许用户在实时观看广播节目的同时通过社交圈来分享她/他的个人意见和想法以及与相应节目相关联的附加数据。然而,为了向该设备发送包括写入指示符的附加数据和广播节目二者,具有宽带宽的信道是必要的。
进一步指出:EP1421792公开一种系统,用于利用或在中央位置上为了所连接用户的共享使用或在每个个别用户的位置上创建的元数据来增强用户对于可用广播节目内容的享受。采用各种各样的机制来自动地和手动地识别与指定节目片段、将描述性元数据与所识别的片段相关联、分发元数据以便在客户端位置上使用并使用所供应的元数据来选择地记录和回放所希望的节目。EP1421792也指出:“可替代地,使用因特网,能够经由即时书签消息传送连接或通过电子邮件发送消息至指定的一个人或多个人”。
本发明的目标是至少缓解上面介绍的缺陷之中的至少一个缺陷。
根据这个目标,提供如在权利要求1中请求保护的根据本发明的第一方面的系统。
根据这个目标,提供如在权利要求10中请求保护的根据本发明的第二方面的方法。
根据这个目标,提供如在权利要求12中请求保护的根据本发明的第三方面的用户设备。
根据这个目标,提供如在权利要求13中请求保护的根据本发明的第四方面的媒体接收机。
根据这个目标,提供如在权利要求14中请求保护的根据本发明的第五方面的服务器。
根据这个目标,在权利要求15中请求保护用于用户设备的根据第六方面的计算机程序产品。
根据这个目标,在权利要求16中请求保护用于数据处理装置的根据第七方面的计算机程序产品。
根据本发明,因特网服务用于发送用户的消息,其中该消息包括所提取的与在和所述请求的时刻相关联的时隙中再生的媒体项的一部分有关的代表性信息。措辞“与……相关联”被理解为包括请求的时间点或在请求的时间之前不久的时隙,考虑到用户的一定反应时间,其可以从零点几秒变化到例如一分钟。代表性信息能够利用相对有限的数据量来代表,这是因为它只代表媒体项的特定时隙并且通过提取来获得该信息。相关的时隙可以具有几秒例如从1秒直至10秒的持续时间。该时隙甚至可以是单个帧的持续时间。于是,该系统也适合于与诸如Twitter之类的具有相对小带宽的社交媒体一起使用。
在一个实施例中,从媒体项中提取的代表性信息是文本信息。文本信息特别适合于后一种使用,这在于它通常仅要求适量的数据并能够容易地与用户评论进行组合。文本信息可以包括例如从闭合字幕中或通过语音识别导出的口语文本。可替代地,可以从其他的源例如通过识别在时隙中出现在媒体项中的物体或面部并随后利用描述来标识这些物体而导出文本信息。代表性信息的提取能够以各种方式发生。
附图说明
参考附图更详细描述这些和其他方面,其中:
图1显示包括根据本发明的第三方面的用户设备和根据本发明的第四方面的媒体接收机的根据本发明的第一方面的系统的概述,
图2更详细地显示根据本发明的第三方面的用户设备和根据本发明的第四方面的媒体接收机的实施例,
图3更详细地显示根据本发明的第四方面的媒体接收机的模块,
图3a更加详细地显示图3的模块的组件,
图4更详细地显示根据本发明的第三方面的用户设备的可替代实施例,
图5显示包括根据本发明的第三方面的用户设备、根据本发明的第四方面的媒体接收机和根据本发明的第五方面的服务器的根据本发明的第一方面的可替代系统的概述,
图5a更详细地显示图5的服务器的实施例,
图5B显示包括根据本发明的第三方面的用户设备、根据本发明的第四方面的媒体接收机和根据本发明的第五方面的服务器的根据本发明的第一方面的另一可替代系统的概述,
图6显示根据本发明的第二方面的方法。
具体实施方式
除非另有说明,否则在各个附图中类似的参考符号指示类似的元件。
在下面详细的描述中,阐述许多具体细节,以便提供本发明的透彻理解。然而,本领域的技术人员将明白:可以在没有这些具体细节的情况下实践本发明。在其他实例中,没有具体描述众所周知的方法、程序和组件,以免使得本发明的各方面模糊。
将明白:虽然在这里可以使用术语第一、第二、第三等等来描述各个设施、元件、组件、步骤和/或模式,但是这些设施、元件、组件、步骤和/或模式不应受这些术语限制。这些术语仅用于将一个设施、元件、组件、步骤和/或模式与另一元件、组件、步骤和/或模式区分开来。因而,下面讨论的第一设施、元件、组件、步骤和/或模式能够被称为第二设施、元件、组件、步骤和/或模式而不偏离本发明的教导。
除非另有定义,否则在这里使用的所有术语(包括技术和科学术语)具有如本发明所属的领域中的普通技术人员一般理解的相同含义。进一步将明白:诸如在常用字典中定义的术语应被解释成具有与其在相关领域的语境中的含义相一致的含义并且将不在理想化或过于正式的意义上来解释,除非在这里明确地如此定义。在这里提及的所有出版物、专利申请、专利和其他参考文献被整体引用作为参考。在冲突的情况下,包括定义的本说明书将处于支配地位。另外,材料、方法和示例只是说明性的而不打算进行限制。
图1示意性地显示包括媒体接收机10、再现装置20和用户设备30的系统1。媒体接收机10被安排用于接收包括诸如音频和/或视频数据之类的媒体数据的广播信号BRS。广播信号可以是包括媒体数据的任何数字或模拟信号。再现装置20提供可闻输出和/或视觉输出A/V,以响应广播信号BRS。再现装置20可以是媒体接收机10的不可分割部分。
用户设备30能够使用因特网连接50、经由因特网服务40来交换消息,例如经由Twitter或Facebook与一个或多个接受者交换消息。用户设备30进一步具有用于提交与媒体项有关的消息MSG的媒体项评论选项。在一个实施例中,用户设备30也可以允许用户USR1控制媒体接收机10。
用户设备30被安排用于在用户选择媒体项评论选项MIC时向媒体接收机10发出数据请求信号DRQ,并且媒体接收机10被安排用于提取与在所述请求的时刻在时隙中再生的媒体项的一部分有关的代表性信息并将所述代表性信息RINF提供给用户设备。用户设备30能够将所述代表性信息RINF包括在与媒体项有关的所述消息中。消息MSG随后使用因特网服务40、经由因特网被提交给接受者USR2的用户设备302。
图2更详细地显示媒体接收机10和用户设备30的实施例。用户设备30具有允许用户选择媒体项评论选项MIC和提供评论COMM的用户界面32。用户设备30进一步包括用于向媒体接收机10发出数据请求信号DRQ的发送模块34。用户设备30的请求发送模块34与媒体接收机的通信设施16的请求接收模块161协作。在请求发送模块34与请求接收模块161之间的传输可以使用任何无线手段来发送数据请求信号DRQ,例如,可以在如Upnp或DLNA之类的较高级协议中使用的Wifi、Bluetooth或红外连接。可替代地,例如,如果在共享住房中集成用户设备30与媒体接收机10,则可以使用有线连接。用户设备30进一步包括用于从媒体接收机10的响应发送模块162接收代表性信息RINF的响应接收模块36。同样地,任何的无线或有线连接可以用于这个传输,只要其最佳适合。用户设备30具有用于将由用户提供的评论COMM和关于媒体项的所述消息MSG中的代表性信息RINF进行组合的组合模块38。用户设备30具有利用因特网访问模块39形成的通信设施,其中利用因特网服务40,因特网访问模块39随后经由因特网50发送包括评论COMM和代表性信息RINF的消息MSG至一个或多个其他用户USR2的各自用户设备302。
媒体接收机10包括能够接收模拟或数字媒体广播信号BRS的广播接收模块12。广播接收模块12可以包括用于根据信号BRS来选择特别信道的调谐器。媒体接收机10进一步包括用于提取与在请求DRQ的时刻在时隙中再生的媒体项的一部分有关的代表性信息RINF的代表性信息提取模块14。利用提取模块14所提取的代表性信息RINF在数据内容方面显著减少,例如,与利用广播接收模块12所接收的媒体信号SA/V相比,至少减少100倍(factor),但是优选地减少至少1000倍,乃至更多减少至少10000倍。下面描述允许所需的数据内容减少的提取模块14的各个实施例。
图3更详细地显示提取模块14的示例。在所显示的实施例中,提取模块14包括多个组件,其中每个组件能够从输入信号SA/V中提取特别信息。在所显示的实施例中,提取模块包括第一组件141,用于从代表用户USR1正在观看的媒体项的媒体信号SA/V中提取闭合字幕。由于代表闭合字幕所需要的数据只是媒体信号SA/V中的所有数据的一小部分,所以第一组件141实现数据量的显著减少。闭合字幕可以在媒体信号SA/V中作为子信号而呈现。在这种情况下,第一组件141只需要分离这个子信号。可替代地,第一组件141可以包括用于识别图像信号中的闭合字幕数据的OCR设施。第二组件142是语音识别模块。这个组件142能够被用作独立的模块来识别口语文本。可替代地,这个组件142可以与第一组件141相组合来使用。组件141、142的这种组合可以导致存在于媒体信号SA/V中的文本的改善识别。第二组件142可以另外被用于区分不同的说话者。即使不能识别说话者,这个功能也仍然能够用于指示所识别的文本的不同部分来源于不同的说话者。这个信息能够例如通过针对每个说话者利用不同的颜色显示所识别的文本而在视觉上进行代表。第三组件143是图像识别组件。例如,这个第三组件143可以用于识别面部,例如在媒体项中出现的人的面部。由第三组件143生成的信息可以在组合模块144中与第二组件142的信息进行组合,以改善识别。可替代地或附加地,图像识别组件可以用于识别媒体项中的其他特征,例如特色建筑或场景。例如,这个信息又可以用于识别城市或国家。在所显示的实施例中,提取模块14包括延迟组件140来延迟输入媒体信号SA/V。以这种方式,考虑到在用户对特定场景做出反应之前将花费特定时间。此外,可能所希望的是:在反应的时刻之前和之后的时间间隔中从媒体项中提取相关信息。实践中,提取模块14不需要具有组件141-143中的每一个或者可以具有可替代的提取组件,例如,用于从媒体信号SA/V中提取EPG数据的组件或用于提取代表帧的组件。在一些实施例中,提取模块可以具有这些组件的子集,例如,仅具有一个组件,例如第一组件141,以便从代表媒体项的媒体信号SA/V中提取闭合字幕。
图3A更详细地显示说话者识别组件142,其中语音识别组件142具有被安排用于识别所述口语的说话者的说话者识别部分1421。语音识别组件142进一步具有用于允许用户USR1校正利用说话者识别部分1421所获得的说话者识别结果的校正部分1422并且具有用于使用由用户提供的校正来训练说话者识别部分1421的训练部分1423。说话者识别部分1421可以使用媒体信号SA/V中可用的元数据MDT,以致说话者识别部分1421只需要从利用该元数据所指示的有限集合的说话者中识别说话者。在使用期间,说话者识别部分1421生成指示它识别的说话者的信号SCL。如果有必要的话,例如,通过键入或者说出校正的名字或通过指向名字列表例如在元数据MDT中可用的名字列表中的正确名字,用户能够校正这个识别结果。由用户以这种方式给出的反馈被指示为信号SCR。可替代地,用户可以通过仅批准或不批准分类结果SCL来给出反馈SCR。使用用户的反馈,训练部分1423训练识别部分1421来改善识别结果。
同样地,图像识别模块可以具有用于允许用户USR1校正利用面部识别组件所获得的面部识别结果的校正部分和用于使用由用户提供的校正来训练面部识别组件的训练部分。
图4显示用户设备30的可替代实施例。这个实施例也适于与媒体接收机一起使用,其中媒体接收机被安排用于提供所述代表性信息RINF作为更广泛的代表性信息XINF的一部分。为此,用户设备30具有允许用户通过指定选择SINF而从所述更广泛的代表性信息XINF中选择所述代表性信息RINF的设施37。例如,所述更广泛的代表性信息XINF可以包括在请求DRQ的时刻在时隙中在媒体项中发表(utter)的文本的概述,并且设施37允许用户USR1在这个概述中根据该文本作出选择。通常,设施37将在单个概述中呈现多个文本项。设施37可以利用用户设备30的用户界面32来呈现这个更广泛的代表性信息XINF。然而,可替代地,接收机10和再现装置20的设施可以用于显示更广泛的代表性信息XINF。在后一种情况中,通常,较大屏幕可用于信息XINF的显示。所发表的文本可以在视觉上被群集(cluster)到每个场景的各自群集中。对于每一个说话者,可以利用不同的颜色来给文本着色。用户USR1随后可以例如通过选择文本群集或选择语句来选择代表性信息。可以利用任何已知的手段例如通过指向语句或语句群集、在语句被编号的情况下键入编号、说出针对语句之一而言独特的关键词来指定选择SINF。为此,用户界面32可以具有语音识别模块321。
作为另一示例,利用提取单元14所提供的更广泛的代表性信息XINF可以是出现在包括媒体评论选项的选择的时刻的时间窗口中的人的列表。用户可以从那个列表中选择一个或多个项,以便作为代表性信息RINF而被包括在消息MSG中。
图5显示可替代的安排。在这种安排中,媒体接收机10在这里经由因特网连接50耦合至服务器60。在这种安排中,媒体接收机10是向服务器60请求关于媒体项的代表性信息的请求者。为此,在激活媒体项评论选项时,该系统被安排用于向服务器60提交指示MIDT。该指示MIDT指示在所述激活的时刻再生的媒体项并且也包括指示在所述激活的时刻所述媒体项的哪个部分被再生的时间指示。例如,媒体项的指示可从EPG中得到,并且例如视频信号中的时间戳信息能够被用作时间指示。例如,该指示MIDT可以根据称为诸如TVAnytime Standard之类的标准或作为专有ID例如UUID(Universally Unique Identifier)(通用唯一标识符)来发送。响应于该指示MIDT,服务器60被安排用于给媒体接收机提供所述代表性信息RINF,以便被包括在与所述媒体项有关的所述消息MSG中。任选地,所述代表性信息RINF作为更广泛的信息XINF的一部分来提供。媒体接收机10然后将这个信息RINF提供给用户设备30。在参考附图5B更详细描述的可替代的实施例中,用户设备30发送该指示MIDT并且又从服务器60接收代表性信息RINF。
图5A更详细地显示服务器60。该服务器包括用于从请求者接收该指示MIDT的输入设施621,在这里即媒体接收机10。该服务器60进一步包括用于存储媒体信息的存储设施66。媒体信息可以包括媒体项的内容信息,但是可替代地或附加地可以包括有关媒体项的元日期(meta-date)。服务器60进一步包括用于从存储在存储设施66中的所述媒体信息中提取与所述媒体项的临时(temporary)部分有关的代表性信息RINF的数据提取设施64。数据提取设施64可以包括与参考图3针对媒体接收机10的数据提取设施14所描述的模块相类似的模块。该服务器进一步包括用于向请求者发送代表性信息RINF的输出设施622。同样地,服务器60可能能够提供所述代表性信息RINF作为更广泛的代表性信息XINF的一部分。在这种情况下,用户USR能够采用如参考图4所述的相类似的方式从更广泛的代表性信息XINF中选择代表性信息RINF。
图5B显示根据本发明的第一方面的另一可替代系统的概述,其包括根据本发明的第三方面的用户设备、根据本发明的第四方面的媒体接收机以及根据本发明的第五方面的服务器。在图5B的安排中,用户设备30是请求者。在这个可替代系统中在激活所述媒体项评论选项时,用户设备30被安排用于从媒体接收机10接收指示MIDT并用于在这里经由因特网连接50向服务器60提交这个指示。服务器60被安排用于向所述用户设备30提供所述提取的代表性信息RINF,以便被包括在与所述媒体项有关的所述消息MSG中。
图6示意性地显示根据本发明的第二方面的方法。图6所示的方法包括以下步骤。在第一步骤S1中,媒体接收机10接收包括媒体数据的广播信号BRS,在第二步骤S2中,由再现装置20使用这个媒体数据来再现可闻输出和/或视觉输出,以响应该广播信号。再现装置20可以与媒体接收机10进行集成。可替代地,媒体接收机10可以是单独的装置,例如机顶盒。感知到可闻输出和/或视觉输出的用户能够利用用户设备30来控制媒体接收机10。这可以是例如遥控器、平板计算机或智能电话。在一个实施例中,用户设备30可以是媒体接收机10的不可分割部分。在另一实施例中,用户设备30也可以充当再现装置20。在还一个实施例中,单个装置(例如适当编程的个人计算机、膝上型计算机或平板计算机等等)执行媒体接收机10、再现装置20和用户设备30的功能。用户设备30具有媒体项评论选项。通过在步骤S3中选择这个选项,允许用户经由诸如Twitter或Facebook之类的因特网服务40来提交有关媒体项的消息MSG。在选择S3该媒体项评论选项时,在步骤S4中向媒体接收机10发出数据请求信号DRQ。如果用户设备30和媒体接收机10是单独的组件,通常将例如经由Bluetooth连接无线地发送这个数据请求信号DRQ。如果用户设备30与媒体接收机10被集成,则有线连接可能更适合于这个传输。在接收到该信号DRQ时,与媒体的一部分有关的代表性信息RINF在步骤S5中被提取并被提交S6给用户设备30。这个提取S5可以由媒体接收机10来完成,但是可替代地可以由远程服务器60来完成,如在图6中利用虚线所指示的。在后一种情况中,媒体接收机10被安排用于在步骤S51中向所述服务器60提交在所述激活的时刻再生的媒体项的指示MIDT以及指示在所述激活的时刻再生的所述媒体项的哪个部分的时间指示。使用这个信息,服务器60生成代表性信息RINF并在步骤S52中将这个信息发送到媒体接收机10。在步骤S6中,该代表性信息RINF被提供给用户设备30。随后,在步骤S7中,用户设备30将该代表性信息RINF包括在消息MSG中,以致该消息包括用户的评论COMM和代表性信息RINF二者。
可替代地,有可能的是:媒体接收机提供代表性信息RINF作为更广泛的代表性信息XINF的一部分。在这种情况下,允许用户在可选步骤S61中从所述更广泛的代表性信息XINF中选择所述代表性信息RINF。并且,在这种情况下,媒体接收机30可以从外部服务器60检索该信息XINF。
在还一个实施例中,媒体接收机10给用户设备30提供在所述激活的时刻再生的媒体项的指示MIDT以响应所述数据请求信号DRQ以及指示在所述激活的时刻再生的所述媒体项的哪个部分的时间指示。用户设备30能够使用这个指示MIDT向服务器60请求代表性信息RINF。
如对于本领域技术人员来说将是显而易见的,“设施”旨在包括或单独地或与其他功能相结合、或孤立或与其他元件协作在操作中再生指定功能或者被设计成再生指定功能的任何硬件(诸如单独的或集成的电路或电子元件)或软件(诸如程序或程序的部分)。本发明能够借助于包括若干不同元件的硬件以及借助于适当编程的计算机来实现。在枚举若干设施的装置权利要求中,这些设施之中的若干设施能够利用同一个硬件项来实现。“计算机程序产品”应被理解成意指存储在诸如软盘之类的计算机可读介质上、经由诸如因特网之类的网络可下载的或以任何其他方式可销售的任何软件产品。
如在这里所使用的,术语“包括”、“由……组成”、“包含”、“包括……在内”、“有”、“具有”或其任何变体打算覆盖非排他性包含。例如,包括一系列元件的处理、方法、制品或器械不一定仅限于那些元件,而可以包括未明确列出的或这样的处理、方法、制品或器械所固有的其他元件。进一步,除非另有明确说明,否则“或”指的是包含性的或而非排他性的或。例如,以下的任何一项满足条件A或B:A为真(或存在)和B为假(或不存在),A为假(或不存在)和B为真(或存在),以及A和B二者为真(或存在)。并且,“一”或“一个”的使用仅被采用来描述本发明的元件和组件。这仅仅是为了方便起见以及给出本发明的一般含义。这个描述应被阅读为包括一个或至少一个,并且单数也包括复数,除非明显的是:这意味着其他。
在另一实施例中,该系统进一步包括面部识别模块(143),其被安排用于根据存在于媒体项中的图像数据来识别物体或人,并且用于包括物体或人的标识作为代表该媒体项的文本信息。
在进一步实施例中,该系统进一步包括数据提取设施(14),该数据提取设施是媒体接收机(10)的一部分,其中用户设备(30)被安排用于向媒体接收机(10)发出数据请求信号(DRQ),并且其中媒体接收机(10)被安排用于提供所述提取的代表性信息(RINF),以便被包括在与所述媒体项有关的所述消息(MSG)中。
在另一实施例中,该系统进一步包括服务器(60)和请求者(10;30),所述服务器(60)包括数据提取设施(14),其中在激活所述媒体项评论选项时,请求者(10;30)被安排用于向所述服务器提交在所述激活的时刻再生的媒体项以及与所述激活的时刻相关联的所述媒体项的一部分的指示(MIDT),以及其中服务器(60)被安排用于给所述请求者提供所述提取的代表性信息(RINF),以便被包括在与所述媒体项有关的所述消息(MSG)中。
在该系统的另一实施例中,媒体接收机(10)是请求者。
在该系统的另一实施例中,用户设备(30)是请求者,其中在激活所述媒体项评论选项时,用户设备(30)被安排用于从媒体接收机(10)接收该指示(MIDT)并且用于将这个指示提交给服务器,以及其中服务器(60)被安排用于给所述用户设备(30)提供所述提取的代表性信息(RINF),以便被包括在与所述媒体项有关的所述消息(MSG)中。
在该系统的另一实施例中,从媒体项中提取的代表性信息(RINF)是文本信息。
在另一实施例中,计算机程序产品包括用于使得数据处理装置完成以下步骤的指令:
- 从用户设备接收数据请求信号(DRQ),
- 提取与在和所述数据请求信号的时刻相关联的时隙中再生的媒体项的一部分有关的代表性信息(RINF),以及
- 将所述代表性信息(RINF)提供给用户设备。
Claims (15)
1.一种用于传送媒体相关的消息的系统(1),包括:
媒体接收机(10),用于接收包括媒体数据的广播信号;
再现装置(20),用于根据媒体数据提供可闻输出和/或视觉输出;
用户设备(30),其能够经由因特网服务(40)来交换消息,所述用户设备(30)具有用于提交与媒体项有关的消息(MSG)的媒体项评论选项;
数据提取设施,用于提供与所述媒体项的一部分有关的所提取的代表性信息(RINF),
其特征在于,在所述用户选择所述媒体项评论选项时,所述系统具有操作状态,其中:
所述用户设备(30)发出数据请求信号(DRQ);
所述数据提取设施提供与在和来自所述用户设备(30)的所述请求的时刻相关联的时隙中再生的所述媒体项的一部分有关的代表性信息(RINF);和
所述用户设备(30)将所述代表性信息包括在与所述媒体项有关的所述消息(MSG)中。
2.根据权利要求1所述的系统,其中从所述媒体项中提取的所述代表性信息(RINF)是文本信息。
3.根据权利要求1或2所述的系统,其中所述数据提取设施被安排用于提供所述代表性信息(RINF)作为更广泛的代表性信息(XINF)的一部分,并且所述用户设备(30)具有允许所述用户从所述更广泛的代表性信息中选择所述代表性信息的设施(37)。
4.根据权利要求3所述的系统,其中所述更广泛的信息包括在所述时隙中在所述媒体项中发表的文本的概述,以及其中所述设施(37)允许所述用户在这个概述中根据所述文本作出选择。
5.根据权利要求2所述的系统,其中从所述媒体项中的闭合字幕中获得所述文本信息。
6.根据权利要求2所述的系统,其中所述数据提取设施具有用于通过语音识别从所述媒体项的口语中导出所述文本信息的组件(142)。
7.根据权利要求6所述的系统,其中所述组件(142)具有说话者识别部分(1421),其被安排用于识别所述口语的说话者并用于包括所述说话者的标识作为代表所述媒体项的文本信息。
8.一种用于传送媒体相关的消息的方法,包括以下步骤:
由媒体接收机(10)接收(S1)包括媒体数据的广播信号,
再现(S2)可闻输出和/或视觉输出,以响应所述广播信号,
利用用户设备选择(S3)媒体项评论选项,以便经由因特网服务(40)提交与媒体项有关的消息(MSG),
在选择所述媒体项评论选项时,其特征在于,响应于所述选择所述媒体项评论选项:
向所述媒体接收机(10)发出(S4)数据请求信号(DRQ);
提取(S5)与在和所述数据请求信号的时刻相关联的时隙中再生的所述媒体项的一部分有关的代表性信息(RINF);
将所述代表性信息(RINF)提供(S6)给所述用户设备;以及
将所述代表性信息包括(S7)在所述消息(MSG)中。
9.根据权利要求8所述的方法,其中提供所述代表性信息(RINF)作为更广泛的代表性信息(XINF)的一部分,以及其中允许所述用户从所述更广泛的代表性信息中选择(S61)所述代表性信息。
10.一种用户设备(30),包括:
第一通信设施,用于经由因特网服务(40)来交换消息,所述第一通信设施具有媒体项评论选项,用于提交具有与媒体项有关的用户评论(COMM)的消息(MSG);
提取信息接收模块(36;39),用于接收与所述媒体项的一部分有关的所提取的代表性信息(RINF);
第二通信设施,其具有请求发送模块(34)和响应接收模块(36);和
组合设施,
在选择所述媒体项评论选项时,所述用户设备具有操作状态,其中:
所述第二通信设施的请求发送模块(34)向媒体接收机(10)发送媒体提取请求信号(DRQ),
所述第二通信设施的响应接收模块(36)从所述媒体接收机接收针对与由所述媒体接收设施在和接收到所述提取请求信号(DRQ)的时刻相关联的时隙中再生的所述媒体项的一部分相关的所述媒体提取请求信号(DRQ)的响应(RINF/XINF;MIDT),
所述提取信息接收模块(36;39)接收与所述媒体项的所述部分有关的所提取的代表性信息(RINF),
所述组合设施将所提取的代表性信息(RINF)与所述消息进行组合,
所述第一通信设施经由因特网服务来发送包括所提取的代表性信息(RINF)的消息(MSG)。
11.根据权利要求10所述的用户设备(30),其中所述第二通信设施的响应接收模块(36)被安排成从所述媒体接收机(10)接收与所述媒体项的所述部分有关的所提取的代表性信息(RINF)作为响应。
12.根据权利要求10所述的用户设备(30),其中所述第二通信设施的响应接收模块(36)被安排成从所述媒体接收机(10)接收指示在激活的时刻再生的媒体项以及指示和所述媒体评论选项的激活的时刻相关联的所述媒体项的一部分的指示(MIDT)作为响应,其中所述第一通信设施被安排成将所述指示(MIDT)发送至服务器(60),其中所述提取信息接收模块是所述第一通信设施的一部分,所述提取信息接收模块被安排成从所述服务器(60)接收与所述媒体项的所述部分有关的所提取的代表性信息(RINF)。
13.一种媒体接收机(10),包括:
接收设施,用于接收包括将要再生的媒体数据(SA/V)的广播信号(BRS);
通信设施(16),用于与用户设备(30)通信以控制所述媒体接收机,所述通信设施具有请求接收模块(161)和响应发送模块(162);和
数据提取设施,用于提取与媒体项的一部分有关的代表性信息(RINF),
其特征在于,所述媒体接收机具有操作状态,其中:
所述通信设施(16)的请求接收模块(161)接收媒体提取请求信号(DRQ);
所述数据提取设施提取与在和接收到所述提取请求信号的时刻相关联的时隙中再生的所述媒体项的一部分有关的代表性信息(RINF);和
所述通信设施(16)的响应发送模块(162)向所述用户设备(30)发送所提取的代表性信息(RINF)。
14.一种服务器(60),包括:
输入设施(621);
存储设施(66),用于存储媒体信息;
数据提取设施,用于从存储在所述存储设施(66)中的所述媒体信息中提取与媒体项的临时部分有关的代表性信息(RINF);
输出设施(622),用于发送所述代表性信息(RINF),
其特征在于,所述服务器具有操作状态,其中:
所述输入设施(621)从请求者接收媒体项的指示(MIDT)以及指示所述媒体项的临时部分的时间指示;
所述数据提取设施根据从所述请求者接收的指示提取与所述媒体项的所述临时部分有关的代表性信息(RINF);和
所述输出设施(622)向所述请求者发送所述代表性信息(RINF)。
15.一种选择媒体项评论选项以便经由因特网服务(40)提交包括与媒体项有关的评论(COMM)的消息(MSG)的设备,
其特征在于,所述设备进一步包括:
-用于在选择所述媒体项评论选项时,向媒体接收机(10)发出数据请求信号(DRQ)或向服务器(60)发出指示(MIDT),其指示在所述选择的时刻再生的媒体项和指示与所述媒体评论选项的激活的时刻相关联的所述媒体项的一部分的器件,
-用于从所述媒体接收机(10)或所述服务器(60)接收与在和所述数据请求信号的时刻相关联的时隙中再生的所述媒体项的一部分有关的代表性信息(RINF)的器件,
-用于将所述代表性信息包括在所述消息(MSG)中的器件。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201261721532P | 2012-11-02 | 2012-11-02 | |
US61/721532 | 2012-11-02 | ||
PCT/IB2013/058484 WO2014068416A1 (en) | 2012-11-02 | 2013-09-12 | Communicating media related messages |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104756511A CN104756511A (zh) | 2015-07-01 |
CN104756511B true CN104756511B (zh) | 2018-08-17 |
Family
ID=49620248
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201380057466.9A Expired - Fee Related CN104756511B (zh) | 2012-11-02 | 2013-09-12 | 传送媒体相关的消息的系统及方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20150281789A1 (zh) |
EP (1) | EP2915335A1 (zh) |
JP (1) | JP6382209B2 (zh) |
CN (1) | CN104756511B (zh) |
BR (1) | BR112015009480A2 (zh) |
RU (1) | RU2015120789A (zh) |
WO (1) | WO2014068416A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108769825B (zh) * | 2018-06-21 | 2020-11-06 | 北京密境和风科技有限公司 | 直播的实现方法和装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101247364A (zh) * | 2008-03-31 | 2008-08-20 | 腾讯科技(深圳)有限公司 | 会话消息管理系统和管理方法 |
CN102547433A (zh) * | 2010-12-07 | 2012-07-04 | 华录文化产业有限公司 | 一种基于播放时间点的互动评论方法和装置 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020120925A1 (en) * | 2000-03-28 | 2002-08-29 | Logan James D. | Audio and video program recording, editing and playback systems using metadata |
JP4172079B2 (ja) * | 1998-12-28 | 2008-10-29 | ソニー株式会社 | ディジタル放送を使用した情報システムおよび情報伝送方法 |
US6219640B1 (en) * | 1999-08-06 | 2001-04-17 | International Business Machines Corporation | Methods and apparatus for audio-visual speaker recognition and utterance verification |
EP1421792B1 (en) * | 2001-06-08 | 2011-11-09 | Grotuit Media Inc. | Audio and video program recording, editing and playback systems using metadata |
EP1545132A1 (en) * | 2003-12-19 | 2005-06-22 | Alcatel | An interactive digital television broadcast system |
JP4271211B2 (ja) * | 2006-06-30 | 2009-06-03 | 株式会社東芝 | 放送番組のメタデータを提供する装置及びプログラム |
US8438214B2 (en) * | 2007-02-23 | 2013-05-07 | Nokia Corporation | Method, electronic device, computer program product, system and apparatus for sharing a media object |
KR100871983B1 (ko) * | 2007-07-24 | 2008-12-03 | 주식회사 동부하이텍 | 반도체 메모리 소자 및 그 제조 방법 |
US20100043020A1 (en) * | 2008-08-15 | 2010-02-18 | At&T Labs, Inc. | System and method for fine grain payment for media services |
JP5204010B2 (ja) * | 2009-03-05 | 2013-06-05 | 株式会社日立製作所 | コンテンツ管理方法、コンテンツ管理システム、および録画再生装置 |
CN102450030A (zh) * | 2009-04-24 | 2012-05-09 | 泰景系统公司 | 用于包括通过基于视频键控或标记内容的传送的信息传送的系统和方法 |
US20110112899A1 (en) * | 2009-08-19 | 2011-05-12 | Vitrue, Inc. | Systems and methods for managing marketing programs on multiple social media systems |
JP2011239247A (ja) * | 2010-05-12 | 2011-11-24 | Nippon Hoso Kyokai <Nhk> | デジタル放送受信装置および関連情報提示プログラム |
JP5466119B2 (ja) * | 2010-09-21 | 2014-04-09 | Kddi株式会社 | 同一の共有コンテンツに興味を持つ視聴者の属性の観点を推定する最適観点推定プログラム、装置及び方法 |
US9332206B2 (en) * | 2010-10-13 | 2016-05-03 | Verizon Patent And Licensing Inc. | Frame sharing |
US20120117594A1 (en) | 2010-11-05 | 2012-05-10 | Net & Tv, Inc. | Method and apparatus for providing converged social broadcasting service |
US20120259924A1 (en) * | 2011-04-05 | 2012-10-11 | Cisco Technology, Inc. | Method and apparatus for providing summary information in a live media session |
US20140129676A1 (en) * | 2011-06-28 | 2014-05-08 | Nokia Corporation | Method and apparatus for live video sharing with multimodal modes |
JP6067708B2 (ja) * | 2011-09-01 | 2017-01-25 | トムソン ライセンシングThomson Licensing | ビデオに関係するコンテンツをキャプチャする方法 |
-
2013
- 2013-09-12 BR BR112015009480A patent/BR112015009480A2/pt not_active IP Right Cessation
- 2013-09-12 EP EP13792751.3A patent/EP2915335A1/en not_active Withdrawn
- 2013-09-12 CN CN201380057466.9A patent/CN104756511B/zh not_active Expired - Fee Related
- 2013-09-12 JP JP2015540230A patent/JP6382209B2/ja not_active Expired - Fee Related
- 2013-09-12 WO PCT/IB2013/058484 patent/WO2014068416A1/en active Application Filing
- 2013-09-12 US US14/439,362 patent/US20150281789A1/en not_active Abandoned
- 2013-09-12 RU RU2015120789A patent/RU2015120789A/ru not_active Application Discontinuation
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101247364A (zh) * | 2008-03-31 | 2008-08-20 | 腾讯科技(深圳)有限公司 | 会话消息管理系统和管理方法 |
CN102547433A (zh) * | 2010-12-07 | 2012-07-04 | 华录文化产业有限公司 | 一种基于播放时间点的互动评论方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2016504786A (ja) | 2016-02-12 |
CN104756511A (zh) | 2015-07-01 |
RU2015120789A (ru) | 2016-12-27 |
JP6382209B2 (ja) | 2018-08-29 |
US20150281789A1 (en) | 2015-10-01 |
WO2014068416A1 (en) | 2014-05-08 |
BR112015009480A2 (pt) | 2017-07-04 |
EP2915335A1 (en) | 2015-09-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9590837B2 (en) | Interaction of user devices and servers in an environment | |
CN102656898B (zh) | 在线社交网络上的自动媒体资产更新 | |
US20150296247A1 (en) | Interaction of user devices and video devices | |
US9143889B2 (en) | Method of establishing application-related communication between mobile electronic devices, mobile electronic device, non-transitory machine readable media thereof, and media sharing method | |
US20160249096A1 (en) | Methods and systems enabling access by portable wireless handheld devices to audio and other data associated with programming rendering on flat panel displays | |
US11503378B2 (en) | Media sharing and communication system | |
CN106489150A (zh) | 用于识别和保存媒体资产的一部分的系统和方法 | |
CN105308975A (zh) | 内容的精准投放 | |
US11457284B2 (en) | Media sharing and communication system | |
JP5944920B2 (ja) | 端末、電子機器のログイン設定情報の入力方法、コンピュータ読み取り可能な情報記録媒体、電子機器 | |
US20150067726A1 (en) | Interaction of user devices and servers in an environment | |
US11272246B2 (en) | System and method for management and delivery of secondary syndicated companion content of discovered primary digital media presentations | |
CN102129636A (zh) | 用于提供基于识别的广告给观众的系统和方法 | |
US11831960B2 (en) | Media sharing and communication system | |
CN104125499A (zh) | 电视节目的播放方法及装置 | |
US10555049B2 (en) | Music sharing and advertising | |
CN104756511B (zh) | 传送媒体相关的消息的系统及方法 | |
EP3262789B1 (en) | System and method for associating messages with media during playing thereof | |
TWI484821B (zh) | 電視節目分享播放系統與應用於其上之方法 | |
US11934412B2 (en) | Systems and methods for providing contextual messages for media contents | |
US20140317651A1 (en) | Electronic device, information processing method, and information processing program | |
EP3763130B1 (en) | Systems and methods for scheduling a communication session based on media asset communication data | |
WO2015089224A1 (en) | Enabling interaction between social network users during synchronous display of video channel |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180817 Termination date: 20200912 |
|
CF01 | Termination of patent right due to non-payment of annual fee |