CN109525877B - 基于视频的信息获取方法和装置 - Google Patents

基于视频的信息获取方法和装置 Download PDF

Info

Publication number
CN109525877B
CN109525877B CN201811215133.5A CN201811215133A CN109525877B CN 109525877 B CN109525877 B CN 109525877B CN 201811215133 A CN201811215133 A CN 201811215133A CN 109525877 B CN109525877 B CN 109525877B
Authority
CN
China
Prior art keywords
main body
video
terminal equipment
video picture
terminal device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811215133.5A
Other languages
English (en)
Other versions
CN109525877A (zh
Inventor
王群
董维山
马春洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201811215133.5A priority Critical patent/CN109525877B/zh
Publication of CN109525877A publication Critical patent/CN109525877A/zh
Priority to KR1020207024019A priority patent/KR102370699B1/ko
Priority to PCT/CN2019/109446 priority patent/WO2020078215A1/zh
Priority to JP2020547082A priority patent/JP7231638B2/ja
Priority to EP19874167.0A priority patent/EP3869810A4/en
Priority to US17/013,686 priority patent/US20200404378A1/en
Application granted granted Critical
Publication of CN109525877B publication Critical patent/CN109525877B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42653—Internal components of the client ; Characteristics thereof for processing graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4826—End-user interface for program selection using recommendation lists, e.g. of programs or channels sorted out according to their score
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4828—End-user interface for program selection for searching program descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供一种基于视频的信息获取方法和装置，所述方法包括：终端设备检测当前播放的视频画面中的主体，从视频画面中截取主体的图像，根据主体的图像获取主体的相关信息，同屏显示主体的相关信息和视频画面。终端设备通过主动检测视频画面中的主体，并触发获取主体的相关信息显示给用户，就能够主动为用户推荐视频中的主体的相关内容，不需要用户进行任何操作，提高了用户体验。

Description

基于视频的信息获取方法和装置
技术领域
本发明涉及视频技术领域，尤其涉及一种基于视频的信息获取方法和装置。
背景技术
随着智能手机、平板电脑、智能电视、智能家居等智能终端的普及，通过智能终端观看视频成为人们日常生活中进行娱乐或者获取信息的重要手段。目前，通过智能终端播放视频的过程中，用户无法基于视频画面中的内容进行交互。
如果用户在视频播放过程中对视频中的某个人物、物体甚至场景等产生兴趣，则用户只能中断当前视频的播放通过搜索引擎等进行查询，或者，使用其他设备进行查询，用户操作比较繁琐、费时。另外，用户可能会面临不知道查询什么的问题，例如用户可能对视频中的某个人物感兴趣，但并不知道这个人物是谁，从而无法在搜索引擎中输入准确的关键词进行搜索。
发明内容
本发明提供一种基于视频的信息获取方法和装置，不需要用户触发，就能够主动为用户推荐视频中的主体的相关内容，提高了用户体验。
本发明第一方面提供一种基于视频的信息获取方法，包括：
终端设备检测当前播放的视频画面中的主体；
所述终端设备从所述视频画面中截取所述主体的图像；
所述终端设备根据所述主体的图像获取所述主体的相关信息；
所述终端设备同屏显示所述主体的相关信息和所述视频画面。
一种示例性的方式中，所述终端设备根据所述主体的图像获取所述主体的相关信息，包括：
所述终端设备将所述主体的图像发送给服务器，以使所述服务器根据所述主体的图像识别所述主体；
所述终端设备接收所述服务器发送的所述主体的相关信息。
一种示例性的方式中，所述终端设备接收所述服务器发送的所述主体的相关信息之前，还包括：
所述终端设备接收所述服务器发送的所述主体的识别结果；
所述终端设备根据所述识别结果判断所述主体是否检测过；
如果所述主体没有检测过，则所述终端设备向所述服务器发送数据请求，所述数据请求用于请求获取所述主体的相关信息。
又一种示例性的方式中，所述终端设备根据所述主体的图像获取所述主体的相关信息，包括：
所述终端设备根据所述主体的图像，识别所述主体得到识别结果；
所述终端设备根据所述识别结果，判断所述主体是否检测过；
如果所述主体没有检测过，则所述终端设备向服务器发送数据请求，所述数据请求用于请求获取所述主体的相关信息；
所述终端设备接收所述服务器发送的所述主体的相关信息。
一种示例性的方式中，还包括：
所述终端设备在屏幕上显示提示信息，所述提示信息用于提示屏幕上的相关信息为所述主体的相关信息。
一种示例性的方式中，所述终端设备同屏显示所述主体的相关信息和所述视频画面，包括：
所述终端设备将所述主体的相关内容叠加显示在所述视频内容的预设位置上，所述主体的相关内容的显示窗口小于所述视频的显示窗口的一半。
又一种示例性的方式中，所述终端设备同屏显示所述主体的相关信息和所述视频画面，包括：
所述终端设备将所述主体的内容显示在所述视频的显示窗口之外的预设区域。
一种示例性的方式中，所述终端设备检测播放的视频画面中的主体，包括：
所述终端设备检测所述视频画面中的检测对象的轮廓；
所述终端设备根据所述视频画面中的检测对象的轮廓，确定所述主体。
本发明第二方面提供一种基于视频的信息获取装置，包括：
检测模块，用于检测终端设备上当前播放的视频画面中的主体；
截取模块，用于从所述视频画面中截取所述主体的图像；
获取模块，用于根据所述主体的图像获取所述主体的相关信息；
显示模块，用于同屏显示所述主体的相关信息和所述视频画面。
一种示例性的方式中，所述获取模块具体用于：
将所述主体的图像发送给服务器，以使所述服务器根据所述主体的图像识别所述主体；
接收所述服务器发送的所述主体的相关信息。
一种示例性的方式中，所述获取模块接收所述服务器发送的所述主体的相关信息之前，还用于：
接收所述服务器发送的所述主体的识别结果；
根据所述识别结果判断所述主体是否检测过；
如果所述主体没有检测过，则向所述服务器发送数据请求，所述数据请求用于请求获取所述主体的相关信息。
又一种示例性的方式中，所述获取模块具体用于：
根据所述主体的图像，识别所述主体得到识别结果；
根据所述识别结果，判断所述主体是否检测过；
如果所述主体没有检测过，则向服务器发送数据请求，所述数据请求用于请求获取所述主体的相关信息；
接收所述服务器发送的所述主体的相关信息。
一种示例性的方式中，所述显示模块还用于：在屏幕上显示提示信息，所述提示信息用于提示屏幕上的相关信息为所述主体的相关信息。
一种示例性的方式中，所述显示模块具体用于：
将所述主体的相关内容叠加显示在所述视频内容的预设位置上，所述主体的相关内容的显示窗口小于所述视频的显示窗口的一半。
又一种示例性的方式中，所述显示模块具体用于：
将所述主体的内容显示在所述视频的显示窗口之外的预设区域。
一种示例性的方式中，所述检测模块具体用于：
检测所述视频画面中的检测对象的轮廓；
根据所述视频画面中的检测对象的轮廓，确定所述主体。
本发明第三方面提供一种终端设备，包括处理器、存储器和收发器，所述存储器用于存储指令，所述收发器用于和其他设备通信，所述处理器用于执行所述存储器中存储的指令，以使所述终端设备执行如本发明第一方面所述的方法。
本发明第四方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有指令，当所述指令被执行时，使得计算机执行如本发明第一方面所述的方法。
本发明提供的基于视频的信息获取方法和装置，终端设备检测当前播放的视频画面中的主体，从视频画面中截取主体的图像，根据主体的图像获取主体的相关信息，同屏显示主体的相关信息和视频画面。终端设备通过主动检测视频画面中的主体，并触发获取主体的相关信息显示给用户，就能够主动为用户推荐视频中的主体的相关内容，不需要用户进行任何操作，提高了用户体验。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1为本发明适用的一种网络架构的示意图；
图2为本发明实施例一提供的基于视频的信息获取方法的流程图；
图3为视频和主体的相关信息的一种显示示意图；
图4为视频和主体的相关信息的又一种显示示意图；
图5为本发明实施例二提供的基于视频的信息获取方法的信令流程图；
图6为本发明实施例三提供的基于视频的信息获取装置的结构示意图；
图7为本发明实施例四提供的终端设备的结构示意图。
通过上述附图，已示出本发明明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本发明构思的范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种基于视频的信息获取方法，图1为本发明适用的一种网络架构的示意图，如图1所示，该网络架构包括至少一个终端设备11和至少一个服务器12。终端设备11能够播放视频，终端设备11可以通过已安装的视频播放器播放视频，也可以通过浏览器播放视频。终端设备11也称为终端(Terminal)、用户设备(user equipment，简称UE)、接入终端、用户单元、移动设备、用户终端、无线通信设备、用户代理或用户装置。终端设备可以是个人数字处理(personal digital assistant，简称PDA)设备、智能电视、具有无线通信功能的手持设备(例如智能手机、平板电脑)、计算设备(例如个人电脑(personalcomputer，简称PC)、车载设备以及可穿戴设备等。
服务器12可以用于图像识别，在服务器12上预先存储有大量人物、物体、风景等的图像特征，后续可以根据终端设备发送的图像和预先存储的大量图像的特征参数进行匹配，以识别该图像中的人物、物体或者风景等。服务器12还可以用于生成图像主体的相关内容，其中，服务器12上可以存储有人物、物体、风景等的相关内容，人物、物体、风景等的相关内容也可以存储在其他服务器上。
图2为本发明实施例一提供的基于视频的信息获取方法的流程图，如图2所示，本实施例的方法包括以下步骤：
步骤S101、终端设备检测当前播放的视频画面中的主体。
终端设备可以通过安装的视频播放器播放视频，也可以通过浏览器播放视频，该视频可以是电视剧、电影或者其他节目。终端设备可以周期性检测当前播放的视频画面中的主体，例如，每隔5分钟检测一次。
可选的，在视频播放页面上设置有搜索推荐功能的开启和关闭按钮，如果用户开启了该搜索推荐功能，则终端设备会周期性检测当前播放的视频画面中的主体，如果用户没有开启搜索推荐功能，则不会检测当前播放的视频画面中的主体。在视频播放过程中，用户也可以根据需求随时开启或者关闭搜索推荐功能。例如，当用户看到不认识的演员时，开启搜索推荐功能，在获取到该演员的相关信息后，关闭搜索推荐功能。
视频画面中的主体可以是人物，例如电视剧中的某个人物，比赛中的某个参赛者；该主体还可以是物体，例如，汽车、家电、建筑物等；该主体还可以是风景名胜。可选的，不同检测对象之间可以具有优先级顺序，当视频画面中既有人物、物体和风景时，终端设备在检测视频画面中的主体时，选择优先级最高的检测对象为备选对象，从备选对象中确定主体。通常情况下，人物的优先级最高，其次为物体，最后是风景，当视频画面中同时存在人物、物体和风景时，终端设备选择人物为备选对象，视频中可能存在多个人物，需要从多个人物中选择一个或者多个作为主体。当然，也可以设置视频画面中的主体为人物，这样，检测对象只能是人物。
示例性的，终端设备检测视频画面中的检测对象的轮廓，根据视频画面中的检测对象的轮廓，确定主体。可以先根据检测对象的轮廓识别视频画面中的人物，当识别出多个人物时，根据检测对象的轮廓确定哪些人物的脸是正面、侧面和背面。如果有人物的脸是正面，则剔除侧面和背面的人物，如果只有一个人物的脸是正面，则确定脸是正面的人物为视频画面的主体，如果有多个人物的脸是正面，则可以将该多个脸是正面的人物作为主体，也可以选择一个位于画面中间的人物作为主体，或者轮廓面积最大的人物作为主体。
步骤S102、终端设备从视频画面中截取主体的图像。
终端设备可以截取该主体的一个或者多个图像，终端设备可以对视频画面整体进行截图，再对截图进行裁剪，得到主体的图像，当该主体为人物时，截取的该主体的图像必须包括人物的脸部。终端设备也可以只截取主体的图像，不需要将整个视频画面都截图。
步骤S103、终端设备根据主体的图像获取主体的相关信息。
一种方式中，终端设备将主体的图像发送给服务器，以使服务器根据主体的图像识别主体，终端设备接收服务器发送的主体的相关信息。
该方式中，服务器接收到主体的图像后，获取主体的图像的特征参数，该特征参数可以包括以下任意一个参数或其组合：颜色特征、形状特征和纹理特征。服务器可以通过水平垂直投影、边缘检测结果、形状分析或颜色分析中的至少一种方法获取主体的图像的特征参数。
服务器将主体的图像的特征参数与本地保存或者数据库中保存的大量的模板图像的特征参数进行匹配，模板图像中的主体是已知的，如果主体的图像与某个图像的特征参数匹配成功，则可以识别出该主体。例如，服务器本地或者数据库中保存了大量的明星的图像的特征参数，通过匹配可以识别出主体为某个明星。服务器进一步查询该主体的相关信息，该主体的相关信息可以是主体的简单介绍(例如百度百科的内容)，也可以是主体的最新消息，还可以是主体的其他相关视频。
可选的，服务器识别出主体后，向终端设备发送主体的识别结果，主体的识别结果中包括主体的名称，还可以包括主体的一些简单描述，例如，当主体为人物时，识别结果中可以包括人物的名称，还可以包括性别、职业和年龄。
终端设备接收服务器发送的主体的识别结果，根据识别结果判断主体是否检测过。终端设备在每次识别出主体后，会保存新的主体的识别结果，后续，当接收到主体的识别结果时，终端设备判断是否保存有该主体的识别结果，如果保存有该主体的识别结果，说明该主体已经检测过，如果没有保存该主体的识别结果，则说明该主体没有检测过。
如果该主体没有检测过，则终端设备向服务器发送数据请求，该数据请求用于请求获取主体的相关信息，该数据请求中可以包括主体的关键字，该关键字可以是人物的名称、性别以及职业，物体的名称、属性等。服务器根据主体的关键词查询主体的相关内容，并发送给终端设备。如果该主体检测过，则结束本次搜索推荐流程。
另一种方式中，终端设备根据主体的图像，识别主体得到识别结果，根据识别结果，判断主体是否检测过，如果主体没有检测过，则终端设备向服务器发送数据请求，数据请求用于请求获取主体的相关信息，服务器将主体的相关信息发送给终端设备。与前一种方式不同，该方式中由终端设备识别主体，终端设备采用的识别方式与服务器的识别方式可以相同。
本实施例中，终端设备通过根据识别结果判断主体是否检测过，避免重复的向用户推荐同一个主体的相关内容，提高了用户体验，也避免了重复向服务器请求相同的内容造成资源的浪费。
步骤S104、终端设备同屏显示主体的相关信息和视频画面。
终端设备可以根据预先设计好的模板样式，将主体的相关内容和视频画面显示在同一屏上。一种方式中，终端设备将主体的相关内容叠加显示在视频内容的预设位置上，主体的相关内容的显示窗口小于视频的显示窗口的一半。
该预设位置可以为视频的显示窗口的右上角、右下角、左上角或者左下角，以避免主体的相关内容的显示窗口遮挡视频，影响用户观看视频。另外，主体的相关内容的显示窗口也不宜过大，以避免遮挡视频，影响用户观看视频。图3为视频和主体的相关信息的一种显示示意图，如图3所示，主体的相关信息的显示窗口位于视频的显示窗口内的右上角。
可选的，主体的相关内容的显示窗口的大小可以调整，位置也可以移动，用户可以根据自己的需求移动主体的相关内容的显示窗口，以及调整显示窗口的大小。主体的相关内容的显示窗口的形状可以为矩形、圆形、多边形，为了增加趣味性，还可以为动物轮廓形状，本实施例不对此进行限制。主体的相关内容的显示窗口也可以为半透明方式显示。
另一种方式中，终端设备将主体的内容显示在视频的显示窗口之外的预设区域。图4为视频和主体的相关信息的又一种显示示意图，如图4所示，主体的相关信息的显示窗口位于视频的显示窗口外的下方。
可选的，终端设备在屏幕上显示提示信息，该提示信息用于提示屏幕上的相关信息为主体的相关信息。通过将主体和相关信息关联起来，避免当屏幕上有多个人物或者物体时，用户不知道屏幕上的相关信息属于哪个人物或者物体。该提示信息可以为文字，例如，在主体的旁边用文字提示相关信息属于主体。该提示信息还可以为图形，例如，通过虚线框将主体框起来，或者，通过一个悬浮的箭头指向主体。
本实施例中，终端设备检测当前播放的视频画面中的主体，从视频画面中截取主体的图像，根据主体的图像获取主体的相关信息，同屏显示主体的相关信息和视频画面。终端设备通过主动检测视频画面中的主体，并触发获取主体的相关信息显示给用户，就能够主动为用户推荐视频中的主体的相关内容，不需要用户进行任何操作，提高了用户体验。
图5为本发明实施例二提供的基于视频的信息获取方法的信令流程图，本实施例以服务器进行图像识别为例进行说明，如图5所示，本实施例提供的方法包括以下步骤：
步骤S201、终端设备检测当前播放的视频画面中的主体。
步骤S202、终端设备从视频画面中截取主体的图像。
步骤S203、终端设备将主体的图像发送给服务器。
步骤S204、服务器根据主体的图像识别主体，得到识别结果。
步骤S205、服务器将主体的识别结果发送给终端设备。
步骤S206、终端设备根据识别结果，判断主体是否检测过。
如果主体没有检测过，则执行步骤S207，如果主体检测过，则结束流程。
步骤S207、终端设备向服务器发送数据请求，该数据请求用于请求获取主体的相关信息。
步骤S208、服务器根据数据请求，查询主体的相关信息。
步骤S209、服务器将主体的相关信息发送给终端设备。
步骤S210、终端设备同屏显示主体的相关信息和视频画面。
本实施例的具体实现方式，参照实施例一的相关描述，这里不再赘述。
图6为本发明实施例三提供的基于视频的信息获取装置的结构示意图，该装置可以集成在终端设备中，如图6所示，该装置包括：
检测模块21，用于检测终端设备上当前播放的视频画面中的主体；
截取模块22，用于从所述视频画面中截取所述主体的图像；
获取模块23，用于根据所述主体的图像获取所述主体的相关信息；
显示模块24，用于同屏显示所述主体的相关信息和所述视频画面。
一种示例性的方式中，所述获取模块23具体用于：
将所述主体的图像发送给服务器，以使所述服务器根据所述主体的图像识别所述主体；
接收所述服务器发送的所述主体的相关信息。
一种示例性的方式中，所述获取模块23接收所述服务器发送的所述主体的相关信息之前，还用于：
接收所述服务器发送的所述主体的识别结果；
根据所述识别结果判断所述主体是否检测过；
如果所述主体没有检测过，则向所述服务器发送数据请求，所述数据请求用于请求获取所述主体的相关信息。
又一种示例性的方式中，所述获取模块23具体用于：
根据所述主体的图像，识别所述主体得到识别结果；
根据所述识别结果，判断所述主体是否检测过；
如果所述主体没有检测过，则向服务器发送数据请求，所述数据请求用于请求获取所述主体的相关信息；
接收所述服务器发送的所述主体的相关信息。
一种示例性的方式中，所述显示模块24还用于：在屏幕上显示提示信息，所述提示信息用于提示屏幕上的相关信息为所述主体的相关信息。
一种示例性的方式中，所述显示模块24具体用于：
将所述主体的相关内容叠加显示在所述视频内容的预设位置上，所述主体的相关内容的显示窗口小于所述视频的显示窗口的一半。
又一种示例性的方式中，所述显示模块24具体用于：
将所述主体的内容显示在所述视频的显示窗口之外的预设区域。
一种示例性的方式中，所述检测模块21具体用于：
检测所述视频画面中的检测对象的轮廓；
根据所述视频画面中的检测对象的轮廓，确定所述主体。
本实施例提供的装置可用于执行实施例一和实施例二中终端设备执行的方法，具体实现方式和技术效果类似，这里不再赘述。
图7为本发明实施例四提供的终端设备的结构示意图，如图7所示，本实施例提供的终端设备包括处理器31、存储器32和收发器33，所述存储器32用于存储指令，所述收发器33用于和其他设备通信，所述处理器31用于执行所述存储器32中存储的指令，以使所述终端设备执行如实施例一或实施例二所述的方法，这里不再赘述。
其中，该处理器31可以是微控制单元(Microcontroller Unit，MCU)，MCU又称单片微型计算机(Single Chip Microcomputer)或者单片机，该处理器31还可以是中央处理器(Central Process Unit，CPU)、数字信号处理器(digital signal processor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现成可编程门阵列(fieldprogrammable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件。
存储器32可以是随机存取存储器(random access memory，RAM)、闪存、只读存储器(read-only memory，ROM)、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。
本发明实施例五提供一种计算机可读存储介质，所述计算机可读存储介质存储有指令，当所述指令被执行时，使得计算机执行如实施例一或实施例二中终端设备执行的所述方法。

Claims (14)

1.一种基于视频的信息获取方法，其特征在于，包括：
终端设备主动检测当前播放的视频画面中的主体；
所述终端设备从所述视频画面中截取所述主体的图像；
所述终端设备根据所述主体的图像，识别所述主体得到识别结果；
所述终端设备根据所述识别结果，判断所述主体是否检测过；
如果所述主体没有检测过，则所述终端设备向服务器发送数据请求，所述数据请求用于请求获取所述主体的相关信息；
所述终端设备接收所述服务器发送的所述主体的相关信息；
所述终端设备在视频播放过程中同屏显示所述主体的相关信息和所述视频画面。
2.根据权利要求1所述的方法，其特征在于，还包括：
所述终端设备在屏幕上显示提示信息，所述提示信息用于提示屏幕上的相关信息为所述主体的相关信息。
3.根据权利要求1所述的方法，其特征在于，所述终端设备在视频播放过程中同屏显示所述主体的相关信息和所述视频画面，包括：
所述终端设备在视频播放过程中，将所述主体的相关内容叠加显示在所述视频内容的预设位置上，所述主体的相关内容的显示窗口小于所述视频的显示窗口的一半。
4.根据权利要求1所述的方法，其特征在于，所述终端设备在视频播放过程中同屏显示所述主体的相关信息和所述视频画面，包括：
所述终端设备在视频播放过程中将所述主体的内容显示在所述视频的显示窗口之外的预设区域。
5.根据权利要求1所述的方法，其特征在于，所述终端设备主动检测播放的视频画面中的主体，包括：
所述终端设备主动检测所述视频画面中的检测对象的轮廓；
所述终端设备根据所述视频画面中的检测对象的轮廓，确定所述主体。
6.一种基于视频的信息获取方法，其特征在于，包括：
终端设备主动检测当前播放的视频画面中的主体；
所述终端设备从所述视频画面中截取所述主体的图像；
所述终端设备将所述主体的图像发送给服务器，以使所述服务器根据所述主体的图像识别所述主体；
所述终端设备接收所述服务器发送的所述主体的识别结果；
所述终端设备根据所述识别结果判断所述主体是否检测过；
如果所述主体没有检测过，则所述终端设备向所述服务器发送数据请求，所述数据请求用于请求获取所述主体的相关信息；
所述终端设备接收所述服务器发送的所述主体的相关信息；
所述终端设备在视频播放过程中同屏显示所述主体的相关信息和所述视频画面。
7.根据权利要求6所述的方法，其特征在于，还包括：
所述终端设备在屏幕上显示提示信息，所述提示信息用于提示屏幕上的相关信息为所述主体的相关信息。
8.根据权利要求6所述的方法，其特征在于，所述终端设备在视频播放过程中同屏显示所述主体的相关信息和所述视频画面，包括：
所述终端设备在视频播放过程中，将所述主体的相关内容叠加显示在所述视频内容的预设位置上，所述主体的相关内容的显示窗口小于所述视频的显示窗口的一半。
9.根据权利要求6所述的方法，其特征在于，所述终端设备在视频播放过程中同屏显示所述主体的相关信息和所述视频画面，包括：
所述终端设备在视频播放过程中将所述主体的内容显示在所述视频的显示窗口之外的预设区域。
10.根据权利要求6所述的方法，其特征在于，所述终端设备主动检测播放的视频画面中的主体，包括：
所述终端设备主动检测所述视频画面中的检测对象的轮廓；
所述终端设备根据所述视频画面中的检测对象的轮廓，确定所述主体。
11.一种终端设备，其特征在于，包括处理器、存储器和收发器，所述存储器用于存储指令，所述收发器用于和其他设备通信，所述处理器用于执行所述存储器中存储的指令，以使所述终端设备执行如权利要求1-5任一项所述的方法。
12.一种终端设备，其特征在于，包括处理器、存储器和收发器，所述存储器用于存储指令，所述收发器用于和其他设备通信，所述处理器用于执行所述存储器中存储的指令，以使所述终端设备执行如权利要求6-10任一项所述的方法。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有指令，当所述指令被执行时，使得计算机执行如权利要求1-5任一项所述的方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有指令，当所述指令被执行时，使得计算机执行如权利要求6-10任一项所述的方法。
CN201811215133.5A 2018-10-18 2018-10-18 基于视频的信息获取方法和装置 Active CN109525877B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201811215133.5A CN109525877B (zh) 2018-10-18 2018-10-18 基于视频的信息获取方法和装置
KR1020207024019A KR102370699B1 (ko) 2018-10-18 2019-09-30 영상에 기반한 정보 획득 방법 및 장치
PCT/CN2019/109446 WO2020078215A1 (zh) 2018-10-18 2019-09-30 基于视频的信息获取方法和装置
JP2020547082A JP7231638B2 (ja) 2018-10-18 2019-09-30 映像に基づく情報取得方法及び装置
EP19874167.0A EP3869810A4 (en) 2018-10-18 2019-09-30 Video-based information acquisition method and device
US17/013,686 US20200404378A1 (en) 2018-10-18 2020-09-07 Video-based information acquisition method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811215133.5A CN109525877B (zh) 2018-10-18 2018-10-18 基于视频的信息获取方法和装置

Publications (2)

Publication Number Publication Date
CN109525877A CN109525877A (zh) 2019-03-26
CN109525877B true CN109525877B (zh) 2021-04-20

Family

ID=65772515

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811215133.5A Active CN109525877B (zh) 2018-10-18 2018-10-18 基于视频的信息获取方法和装置

Country Status (6)

Country Link
US (1) US20200404378A1 (zh)
EP (1) EP3869810A4 (zh)
JP (1) JP7231638B2 (zh)
KR (1) KR102370699B1 (zh)
CN (1) CN109525877B (zh)
WO (1) WO2020078215A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109525877B (zh) * 2018-10-18 2021-04-20 百度在线网络技术（北京）有限公司 基于视频的信息获取方法和装置
CN111836093B (zh) * 2019-04-16 2022-05-31 百度在线网络技术（北京）有限公司 视频播放方法、装置、设备和介质
CN110582014A (zh) * 2019-10-17 2019-12-17 深圳创维－Rgb电子有限公司 电视机及其电视控制方法、控制装置和可读存储介质
CN112601116A (zh) * 2020-12-11 2021-04-02 海信视像科技股份有限公司 一种显示设备及内容显示方法
CN113434729B (zh) * 2021-08-04 2024-01-30 深圳墨世科技有限公司 视频相关信息聚合获取方法、装置和终端设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103080951A (zh) * 2010-08-23 2013-05-01 诺基亚公司 用于识别媒体内容中的对象的方法和装置
CN103297810A (zh) * 2013-05-23 2013-09-11 深圳市爱渡飞科技有限公司 一种电视画面关联信息的显示方法、装置及系统
CN104066009A (zh) * 2013-10-31 2014-09-24 腾讯科技（深圳）有限公司 节目识别方法、装置、终端、服务器及系统
CN104184923A (zh) * 2014-08-27 2014-12-03 天津三星电子有限公司 用于视频中检索人物信息的系统和方法
EP3065067A1 (en) * 2015-03-06 2016-09-07 Captoria Ltd Anonymous live image search
CN106162355A (zh) * 2015-04-10 2016-11-23 北京云创视界科技有限公司 视频交互方法及终端
CN106686404A (zh) * 2016-12-16 2017-05-17 中兴通讯股份有限公司 一种视频分析平台、匹配方法、精准投放广告方法及系统
CN108171207A (zh) * 2018-01-17 2018-06-15 百度在线网络技术（北京）有限公司 基于视频序列的人脸识别方法和装置
CN108399349A (zh) * 2018-03-22 2018-08-14 腾讯科技（深圳）有限公司 图像识别方法及装置

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR900004954B1 (ko) * 1986-12-10 1990-07-12 삼성전자 주식회사 실시간 영상경계 검출회로
US7467131B1 (en) * 2003-09-30 2008-12-16 Google Inc. Method and system for query data caching and optimization in a search engine system
JP2006185320A (ja) 2004-12-28 2006-07-13 Ricoh Co Ltd 画像検索装置
JP2006209657A (ja) 2005-01-31 2006-08-10 Bandai Co Ltd オーサリング装置、オーサリング方法およびコンピュータプログラム
US8861898B2 (en) * 2007-03-16 2014-10-14 Sony Corporation Content image search
JP2009232250A (ja) 2008-03-24 2009-10-08 Panasonic Corp 番組情報表示装置および番組情報表示方法
US8239896B2 (en) * 2008-05-28 2012-08-07 Sony Computer Entertainment America Inc. Integration of control data into digital broadcast content for access to ancillary information
JP2010152744A (ja) 2008-12-25 2010-07-08 Toshiba Corp 再生装置
US8839306B2 (en) * 2009-11-20 2014-09-16 At&T Intellectual Property I, Lp Method and apparatus for presenting media programs
US9015139B2 (en) * 2010-05-14 2015-04-21 Rovi Guides, Inc. Systems and methods for performing a search based on a media content snapshot image
KR101708646B1 (ko) * 2010-05-26 2017-03-08 엘지전자 주식회사 영상표시기기, 그 시스템 및 그 영상표시기기에 표시된 오브젝트 검색방법
KR101357262B1 (ko) * 2010-08-13 2014-01-29 주식회사 팬택 필터 정보를 이용한 객체 인식 장치 및 방법
JP5594672B2 (ja) * 2011-04-14 2014-09-24 株式会社 日立産業制御ソリューションズ 物体認識装置および物体認識方法
JP5834541B2 (ja) 2011-06-29 2015-12-24 三菱電機株式会社 デジタル放送受信装置及びデジタル放送受信方法
US20130036442A1 (en) * 2011-08-05 2013-02-07 Qualcomm Incorporated System and method for visual selection of elements in video content
CN103729614A (zh) * 2012-10-16 2014-04-16 上海唐里信息技术有限公司 基于视频图像的人物识别方法及人物识别装置
US9409081B2 (en) * 2012-11-16 2016-08-09 Rovi Guides, Inc. Methods and systems for visually distinguishing objects appearing in a media asset
US9247309B2 (en) * 2013-03-14 2016-01-26 Google Inc. Methods, systems, and media for presenting mobile content corresponding to media content
CN104301755B (zh) * 2013-07-19 2017-11-03 联想(北京)有限公司 一种电视信息获取方法、电视、后台服务器及系统
KR102365393B1 (ko) * 2014-12-11 2022-02-21 엘지전자 주식회사 이동단말기 및 그 제어방법
JP2016119508A (ja) 2014-12-18 2016-06-30 株式会社東芝 方法、システム及びプログラム
US10440435B1 (en) * 2015-09-18 2019-10-08 Amazon Technologies, Inc. Performing searches while viewing video content
JP6783618B2 (ja) * 2016-10-18 2020-11-11 株式会社日立システムズ 情報表示装置、及びその処理制御方法
US10477277B2 (en) * 2017-01-06 2019-11-12 Google Llc Electronic programming guide with expanding cells for video preview
CN107315844A (zh) * 2017-08-17 2017-11-03 广州视源电子科技股份有限公司 一种基于图片的检索方法、装置、设备及存储介质
CN108491419A (zh) * 2018-02-06 2018-09-04 北京奇虎科技有限公司 一种基于视频实现推荐的方法和装置
CN108471551A (zh) * 2018-03-23 2018-08-31 上海哔哩哔哩科技有限公司 基于主体识别的视频主体信息显示方法、装置、系统和介质
CN109525877B (zh) * 2018-10-18 2021-04-20 百度在线网络技术（北京）有限公司 基于视频的信息获取方法和装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103080951A (zh) * 2010-08-23 2013-05-01 诺基亚公司 用于识别媒体内容中的对象的方法和装置
CN103297810A (zh) * 2013-05-23 2013-09-11 深圳市爱渡飞科技有限公司 一种电视画面关联信息的显示方法、装置及系统
CN104066009A (zh) * 2013-10-31 2014-09-24 腾讯科技（深圳）有限公司 节目识别方法、装置、终端、服务器及系统
CN104184923A (zh) * 2014-08-27 2014-12-03 天津三星电子有限公司 用于视频中检索人物信息的系统和方法
EP3065067A1 (en) * 2015-03-06 2016-09-07 Captoria Ltd Anonymous live image search
CN106162355A (zh) * 2015-04-10 2016-11-23 北京云创视界科技有限公司 视频交互方法及终端
CN106686404A (zh) * 2016-12-16 2017-05-17 中兴通讯股份有限公司 一种视频分析平台、匹配方法、精准投放广告方法及系统
CN108171207A (zh) * 2018-01-17 2018-06-15 百度在线网络技术（北京）有限公司 基于视频序列的人脸识别方法和装置
CN108399349A (zh) * 2018-03-22 2018-08-14 腾讯科技（深圳）有限公司 图像识别方法及装置

Also Published As

Publication number Publication date
CN109525877A (zh) 2019-03-26
EP3869810A1 (en) 2021-08-25
JP7231638B2 (ja) 2023-03-01
WO2020078215A1 (zh) 2020-04-23
JP2021516501A (ja) 2021-07-01
EP3869810A4 (en) 2022-06-29
US20200404378A1 (en) 2020-12-24
KR102370699B1 (ko) 2022-03-04
KR20200110407A (ko) 2020-09-23

Similar Documents

Publication Publication Date Title
CN109525877B (zh) 基于视频的信息获取方法和装置
US10157326B2 (en) Method and device for character area identification
CN107818180B (zh) 视频关联方法、视频显示方法、装置及存储介质
RU2625340C1 (ru) Способ и устройство для обработки идентификатора видеофайла
CN111897507B (zh) 投屏方法、装置、第二终端和存储介质
US20170032219A1 (en) Methods and devices for picture processing
CN107194817B (zh) 用户社交信息的展示方法、装置和计算机设备
US10701301B2 (en) Video playing method and device
CN108897589B (zh) 显示设备中人机交互方法、装置、计算机设备和存储介质
CN112866577B (zh) 图像的处理方法、装置、计算机可读介质及电子设备
CN108170266A (zh) 智能设备控制方法、装置及设备
JP2017509090A (ja) 画像分類方法及び装置
US20230316529A1 (en) Image processing method and apparatus, device and storage medium
CN112822531A (zh) 内容显示方法、装置、智能电视及存储介质
CN112099704A (zh) 信息显示方法、装置、电子设备和可读存储介质
CN112866801A (zh) 视频封面的确定方法、装置、电子设备及存储介质
CN105160236B (zh) 一种输入验证码的方法和装置
CN111432274A (zh) 视频的处理方法和装置
CN108848404B (zh) 移动终端的二维码信息共享系统
CN112989299A (zh) 一种交互式身份识别方法、系统、设备及介质
CN111797746B (zh) 人脸识别方法、装置及计算机可读存储介质
CN107391661B (zh) 推荐词显示方法及装置
CN111611470A (zh) 一种数据处理方法、装置和电子设备
JP2009188886A (ja) 情報処理装置および情報処理装置用のプログラム
CN113537127A (zh) 影片匹配方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant