CN113099265A - 一种交互方法及装置 - Google Patents

一种交互方法及装置 Download PDF

Info

Publication number
CN113099265A
CN113099265A CN202110462016.4A CN202110462016A CN113099265A CN 113099265 A CN113099265 A CN 113099265A CN 202110462016 A CN202110462016 A CN 202110462016A CN 113099265 A CN113099265 A CN 113099265A
Authority
CN
China
Prior art keywords
video stream
data
student
teacher
portrait
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110462016.4A
Other languages
English (en)
Other versions
CN113099265B (zh
Inventor
李德涛
高柏青
骆曦
张会云
李梦醒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dami Technology Co Ltd
Original Assignee
Beijing Dami Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dami Technology Co Ltd filed Critical Beijing Dami Technology Co Ltd
Priority to CN202110462016.4A priority Critical patent/CN113099265B/zh
Publication of CN113099265A publication Critical patent/CN113099265A/zh
Application granted granted Critical
Publication of CN113099265B publication Critical patent/CN113099265B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H04N21/2335—Processing of audio elementary streams involving reformatting operations of audio signals, e.g. by converting from one coding standard to another
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06T3/04—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • G09B5/14—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations with provision for individual teacher-student communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2355—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H04N21/4355—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/437—Interfacing the upstream path of the transmission network, e.g. for transmitting client requests to a VOD server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4398—Processing of audio elementary streams involving reformatting operations of audio signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server

Abstract

本发明实施例公开了一种交互方法及装置。所述方法在接收视频流后，会提取出相应的人像数据，再获取初始背景数据，根据人像数据和初始背景数据，生成并输出虚拟教室视频流，在接收到控制信令后，根据控制信令调整所述虚拟教室视频流，通过所述方法可以丰富交流过程中的展现形式，增加可选择的交互方式。

Description

一种交互方法及装置
技术领域
本发明涉及计算机技术领域，尤其涉及一种交互方法及装置。
背景技术
在进行在线教学的过程时，通常是直接由教师直接向学生进行教学讲解，在视频会议中，通常是由主讲人直接与参会者进行沟通，这种交流方式的效果很差。
在现有技术中，通常会借助演示材料来进行交流，但这种交流过程中的展现形式单一，讲解者与听众之间可选择的互动方式较少。
发明内容
有鉴于此,本发明实施例提供了一种交互方法及装置，来丰富交流过程中的展现形式，增加可选择的互动方式。
第一方面，本发明实施例提供一种交互方法，适用于服务器，所述方法包括：
接收视频流；
从所述视频流中提取对应的人像数据；
获取初始背景数据，其中，所述初始背景数据包括图片、视频或课件中的至少一项；
根据所述人像数据和所述初始背景数据，生成虚拟教室视频流；
输出所述虚拟教室视频流；
响应于接收到控制信令，调整所述虚拟教室视频流，其中，所述控制信令用于指示所述服务器调整所述虚拟教室视频流的图像属性，所述图像属性包括图像的大小、位置以及形状。
进一步地，所述接收视频流包括：
接收教师视频流。
进一步地，所述从所述视频流中提取对应的人像数据包括：
从所述教师视频流中提取对应的教师人像数据：
其中，所述从所述教师视频流中提取对应的教师人像数据包括：
将所述教师视频流输入分割模型，得到与所述教师视频流对应的教师人像数据。
进一步地，所述根据所述人像数据和所述初始背景数据，生成虚拟教室视频流包括：
根据所述教师人像数据和所述初始背景数据，生成所述虚拟教室视频流。
进一步地，所述接收视频流还包括：响应于接收到学生视频流处理指令，接收至少一个学生视频流；
所述从所述视频流中提取对应的人像数据包括：
从所述教师视频流和学生视频流中提取对应的教师人像数据和学生人像数据：
其中，从所述教师视频流和至少一个学生视频流中提取对应的教师人像数据和学生人像数据包括：
将所述教师视频流输入分割模型，得到与所述教师视频流对应的教师人像数据；
将所述学生视频流输入所述分割模型，得到与所述学生视频流对应的学生人像数据。
进一步地，所述根据所述人像数据和所述初始背景数据，生成虚拟教室视频流包括：
将所述人像数据作为人像层；
将所述初始背景数据作为背景层；
将所述人像层和所述背景层进行叠加，生成所述虚拟教室视频流。
进一步地，所述响应于接收到控制信令，调整所述虚拟教室视频流包括：
响应于接收到的控制信令为添加前景，获取要添加的前景数据；
将所述前景数据作为前景层；
将所述人像层、所述背景层和所述前景层进行叠加，重新生成虚拟教室视频流；
其中，所述前景数据包括图片、视频、音频、文本、可触发动画或题板中的至少一项。
进一步地，所述响应于接收到控制信令，调整所述虚拟教室视频流还包括：
响应于接收到的控制信令为更换背景，获取要更换的背景数据；
将所述要更换的背景数据替换所述初始背景数据作为背景层；
重新生成虚拟教室视频流。
进一步地，所述方法还包括：
响应于接收到播放信令，控制播放背景数据或前景数据中与所述播放信令对应的视频或动态效果。
进一步地，所述初始背景数据、所述要更换的背景数据和所述前景数据预先存储在所述服务器中或由教师端进行上传。
进一步地，所述从至少一个学生视频流中提取对应的学生人像数据包括：
接收学生选择指令，所述学生选择指令用于指定当前虚拟教室视频流中出现的学生人像数据；
根据所述学生选择指令在至少一个学生视频流中提取对应的学生人像数据。
第二方面，本发明实施例提供一种交互方法，适用于教师端，所述方法包括：
发送教师视频流；
读取并显示虚拟教室视频流；
响应于接收到互动指令，发送与所述互动指令对应的控制信令，所述控制信令用于指示所述服务器调整所述虚拟教室视频流的图像属性，所述图像属性包括图像的大小、位置以及形状。
进一步地，所述响应于接收到互动指令，发送与所述互动指令对应的控制信令包括：
响应于接收到的互动指令为添加前景，发送添加前景的控制信令；
发送要添加的前景数据；
其中，所述前景数据包括图片、视频、音频、文本、可触发动画或题板中的至少一项。
进一步地，所述响应于接收到互动指令，发送与所述互动指令对应的控制信令还包括：
响应于接收到的互动指令为更换背景，发送更换背景的控制信令；
发送要更换的背景数据；
其中，所述初始背景数据包括图片、视频或课件中的至少一项。
进一步地，所述方法还包括：
响应于接收到的互动指令为播放指令，发送播放信令；
其中，所述播放信令用于指示播放背景数据或前景数据中的视频或动态效果。
进一步地，所述方法还包括：
发送学生选择指令；
其中，所述学生选择指令用于指定当前虚拟教室视频流中出现的学生人像数据。
进一步地，所述方法还包括：
发送学生视频流处理指令；
其中，所述学生视频流处理指令用于指示服务器接收学生视频流。
第三方面，本发明实施例提供一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如第一方面和第二方面所述的方法。
第四方面，本发明实施例提供一种计算机可读存储介质，用于存储计算机程序指令，所述计算机程序指令在被处理器执行时实现如第一方面和第二方面所述的方法。
本发明实施例的方法在接收视频流后，会提取出相应的人像数据，再获取初始背景数据，根据人像数据和初始背景数据，生成并输出虚拟教室视频流，在接收到控制信令后，根据控制信令调整所述虚拟教室视频流，通过所述方法可以丰富交流过程中的展现形式，同时增加可选择的交互方式。
附图说明
通过以下参照附图对本发明实施例的描述，本发明的上述以及其它目的、特征和优点将更为清楚，在附图中：
图1为本发明实施例的线上教学系统的组成框图；
图2为本发明实施例的交互方法的流程图；
图3为本发明实施例的虚拟教室视频流的组成示意图；
图4为本发明实施例的生成虚拟教室视频流的流程图；
图5为本发明实施例的服务器一侧的交互方法的流程图；
图6为本发明实施例的教师端一侧的交互方法的流程图；
图7是本发明实施例的电子设备的示意图。
具体实施方式
以下基于实施例对本发明进行描述，但是本发明并不仅仅限于这些实施例。在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。为了避免混淆本发明的实质，公知的方法、过程、流程、元件和电路并没有详细叙述。
此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的，并且附图不一定是按比例绘制的。
除非上下文明确要求，否则在说明书的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义；也就是说，是“包括但不限于”的含义。
在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
图1为本发明实施例的线上教学系统的组成框图，如图1所示，所述系统包括教师端110、学生端120和服务器130。
其中，所述教师端110和学生端120为智能终端，所述智能终端例如可以是电脑、手机或平板电脑等。所述服务器130与教师端110和至少一个学生端120连接。所述学生端的数量取决于参与视频会议或在线教学的听众数量。
在本实施例中，服务器130可以接收教师端110和至少一个学生端120所采集的视频流，并从中提取对应的人像数据，获取初始数据，根据人像数据和初始背景数据，生成虚拟教室视频流，将虚拟教室视频流发送给教师端110和至少一个学生端120，服务器130在接收到控制信令时，还会调整虚拟教室视频流。
图2为本发明实施例的交互方法的流程图。如图2所示，本实施例的交互方法包括如下步骤。
在步骤S210中，由教师端向服务器发送教师视频流。
在步骤S220中，由学生端向服务器发送学生视频流。
应理解，在实时在线教学的场景下，步骤S210和步骤S220是同时进行的。
在一种可实现方式中，步骤S210和步骤S220也可以根据实际需要分开进行。
其中，学生端的数量并不局限于图中所给出的，在实际应用中，学生端的数量由参与在线教学或视频会议的人数来决定。
在步骤S230中，服务器分别从所述教师视频流和学生视频流中提取对应的教师人像数据和学生人像数据。
具体地，图4为本发明实施例的生成虚拟教室视频流的流程图。如图4所示，教师视频流410为服务器所接收的教师视频流，学生视频流420为服务器所接收的学生视频流，服务器从教师视频流410和学生视频流420中提取出对应的教师人像数据430和学生人像数据440。
可选地，在步骤S230前，还可以由教师端向服务器发送学生选择指令，服务器在接收到该指令后，可以从所获取的多个学生视频流中选择指定的学生视频流来提取学生人像数据。
在步骤S240中，服务器获取初始背景数据。
其中，所述初始背景数据由主讲人在进行视频会议或在线教学前预先选择，选择方式可以是由主讲人从服务器中存储的多个默认背景数据中进行选择，或是由主讲人通过教师端进行上传。所述初始背景数据可以为图片、视频或课件。
在步骤S250中，服务器根据所述教师人像数据、学生人像数据和所述初始背景数据，生成虚拟教室视频流。
可选地，所述生成方式可以是将教师人像数据和学生人像数据作为人像层，初始背景数据作为背景层，将人像层叠加在背景层上，生成虚拟教室视频流，具体表现为人像数据显示在全屏形式的背景层中。
具体地，如图4所示，在获取教师人像数据430、学生人像数据440和背景数据450后，将教师人像数据430和学生人像数据440作为人像层，将背景数据450作为背景层，将人像层叠加在背景层上，生成虚拟教室视频流460，所述虚拟教室视频流460具体表现为教师人像和学生人像显示在背景层中。
在步骤S260中，服务器向学生端和服务器端输出虚拟教室视频流。
在步骤S270中，教师端读取并显示虚拟教室视频流。
在步骤S280中，学生端读取并显示虚拟教室视频流。
在步骤S290中，当教师端接收到互动指令时，向服务器发送与互动指令对应的控制信令。
可选地，教师端可以在接收到调整图像的互动指令时，向服务器发送相应的控制信令。
例如：若教师想要对虚拟教室视频流中的人像进行位置、大小或形状的调整，则可以向教师端发出互动指令，教师端在接收到互动指令后，向服务器发送相应的控制信令。
优选地，所述控制信令中应包括图像调整的对象和具体参数以指示服务器做出调整。例如：移动后的具体位置信息或调整后的图像大小信息。
可选地，教师端可以在接收到添加前景的互动指令时，向服务器发送相应的控制信令和所要添加的前景数据。其中，所述前景数据包括图片、视频、音频、文本、可触发动画或题板中的至少一项。
例如：教师想要在虚拟教室视频流中的添加与高山植物相关的教学视频，则可以向教师端发出互动指令，教师端在接收到互动指令后，向服务器发送相应的控制信令和与高山植物相关的教学视频。
可选地，教师端可以在接收到更换背景互动指令时，向服务器发送相应的控制信令和所要更换的背景数据。
例如：教师想要更换虚拟教室视频流中背景，则可以向教师端发出互动指令，教师端在接收到互动指令后，向服务器发送相应的控制信令和所要更换的背景数据。
可选地，教师端可以在接收到播放的互动指令时，向服务器发送相应的播放信令。
例如：教师想要播放虚拟教室视频流中的背景视频，则可以向教师端发出互动指令，教师端在接收到互动指令后，向服务器发送相应的播放信令。所述播放信令用于指示服务器播放相应的视频。
在步骤S2100中，服务器接收到控制信令后，根据控制信令调整虚拟教室视频流。
具体地，若服务器接收到控制信令，根据所述控制信令调整虚拟教室视频流中的图像、大小以及位置。
可选地，若服务器接收到的控制信令为添加前景，获取要添加的前景数据，将前景数据作为前景层，将前景层叠加在人像层和背景层上，生成新的虚拟教室视频流。
如图4所示，在接收到添加前景的控制信令时，可以获取要添加的前景数据470，将前景数据470作为前景层叠加在虚拟教室视频流460之上，生成新的虚拟教室视频流480。
可选地，若接收到的控制信令为更换背景，获取要更换的背景数据，将要更换的背景数据替换初始背景数据作为背景层，重新生成虚拟教室视频流。
如图4所示，在接收到更换背景的控制信令时，可以获取要更换的背景数据490，将背景数据490替换虚拟教室视频流460中的初始背景数据450作为背景层，重新生成虚拟教室视频流4100。
可选地，若接收到播放信令，控制播放背景数据或前景数据中与所述播放信令对应的视频或动态效果。其中，所述控制方式可以为由服务器进行播放，也可以是由服务器发送对应的播放命令，指示教师端和学生端进行播放。
可选地，在实际应用中，服务器也可以选择性的接收学生视频流以满足相应的教学要求。例如，可以由教师端来控制是否引入学生视频流，当服务器接收到教师端发送的学生视频流处理指令后，服务器通过交互接收学生视频流，否则在后续的虚拟教室视频流中将不会出现学生人像数据。
本发明实施例的方法在接收教师视频流和学生视频流后，会提取出相应的教师人像数据和学生人像数据，再获取初始背景数据，根据教师人像数据、学生人像数据和初始背景数据，生成并输出虚拟教室视频流，在接收到控制信令后，根据控制信令调整所述虚拟教室视频流，通过所述方法可以丰富交流过程中的展现形式，同时增加可选择的交互方式。
图5为本发明实施例的服务器一侧的交互方法的流程图。如图5所示，本实施例的服务器一侧的交互方法包括如下步骤：
在步骤S510中，接收视频流。
所述视频流中包括教师视频流，可选地，在接收到学生视频流处理指令后，还可以接收至少一个学生视频流。
其中，所述教师视频流为教师端所采集的实时视频流，所述教师视频流中应至少包括教师人像数据，可选地，所述教师端可以通过配置的摄像头来获取实时视频流。所述学生视频流为学生端所采集的实时视频流，所述学生视频流中应至少包括学生人像数据，可选地，所述学生端可以通过配置的摄像头来获取实时视频流。
例如：在进行在线教学时，服务器会实时接收当前参与在线教学的教师端和学生端所发送的教师视频流和学生视频流。
在步骤S520中：从所述视频流中提取对应的人像数据。
若在步骤S510中只接受教师视频流，则从教师视频流中提取教师人像数据，若在步骤S510中同时接受教师视频流和至少一个学生视频流，则分别从所述教师视频流和至少一个学生视频流中提取对应的教师人像数据和学生人像数据。
其中，所述提取方式可以是通过人像识别算法将视频流中的人像数据识别出来，再进行分割。
具体地，在接收到教师视频流和至少一个学生视频流后，从教师视频流中提取出教师人像数据，从至少一个学生视频流中提取出学生人像数据。
可选地，可以通过预先训练的分割模型来提取人像数据，其中，所述分割模型为采用神经网络构建的深度可学习卷积模型。所述分割模型可以从视频流中提取出多个视频帧，分别对各视频帧进行语义分割得到与各视频帧对应的二值化掩模图，再根据多个视频帧和与其对应的掩模图得到人像数据。
具体地，在接收到教师视频流和至少一个学生视频流后，分别将教师视频流和至少一个学生视频流输入到分割模型中，得到对应的教师人像数据和学生人像数据。
在步骤S530中：获取初始背景数据。
其中，所述初始背景数据由主讲人在进行视频会议或在线教学前预先选择，选择方式可以是由主讲人从服务器中存储的多个默认背景数据中进行选择，也可以是由主讲人通过教师端进行上传。所述初始背景数据可以为图片、视频或课件。
例如：在线教学主题为讲解某一高山，教师可以在教学前在服务器存储的默认背景数据中寻找与该主题相关的图片或视频作为初始背景数据，或者，教师也可以通过其他方法获取相关课件，再通过教师端上传至服务器作为初始背景数据，在教学开始时，服务器在获取教师人像数据和学生人像数据后，会获取该初始背景数据。
可选地，服务器还可以将主讲人每次上传的背景数据作为历史背景数据存储在服务器中，以供主讲人进行选择。
可选地，若在进行视频会议或在线教学前，主讲人未预先选择初始背景数据，服务器可以获取上一次所选择的初始背景数据。
在步骤S540中：根据所述人像数据和所述初始背景数据，生成虚拟教室视频流。
其中，所述虚拟教室视频流中至少包括教师人像数据和所述初始背景数据。若在步骤S510中，接收到学生视频流处理指令，则还应包括学生人像数据。
可选地，图3为本发明实施例的虚拟教室视频流的组成示意图。如图3所示，可以将教师人像数据、学生人像数据作为人像层33，将初始背景数据作为背景层34，将人像层33和背景层34进行叠加，生成所述虚拟教室视频流31。所述背景层34可以为图片、视频或课件。
可选地，所述背景层34还可以是预先设置好的背景模板，所述背景模板中包括多种的可触发动态效果。
其中，所述背景层的展现形式为全屏展示，所述叠加方式为人像层叠加在背景层之上，也即，所述虚拟教室视频流的内容具体表现为教师人像和学生人像出现在全屏展示的背景中。
例如：本次在线教学的主题为讲解某一高山，则服务器可以将教师所选择的与该高山相关的教学视频作为背景层，将教师人像数据和学生人像数据作为人像层，将人像层叠加在背景层上，生成相应的虚拟教室视频流，在该虚拟教室视频流中，教师人像和学生人像可以出现在全屏展示的高山背景视频中，以此来营造一种沉浸式的学习环境。
可选地，若服务器接收到学生选择指令，还会从多个学生视频流中选择与学生选择指令对应的指定学生视频流，提取相应的学生人像数据，以此指定当前虚拟教室视频流中出现的学生人像。
例如：在进行在线教学的过程中，服务器在接收到了教师端发送的学生选择指令后，会从多个学生视频流中选出对应的学生视频流提取学生人像数据，以此来指定出现在虚拟课堂视频流中的学生。
在步骤S550中：输出所述虚拟教室视频流。
在步骤S560中：响应于接收到控制信令，调整所述虚拟教室视频流。
其中，所述控制信令用于指示服务器调整虚拟教室视频流的图像属性，所述图像属性包括图像的大小、位置以及形状。
具体地，在输出虚拟教室视频流后，若接收到控制信令，根据所述控制信令调整虚拟教室视频流中的图像、大小以及位置。
例如：在输出虚拟教室视频流后，若服务器接收到控制信令，控制信令的指示内容为放大教师人像数据并移动到指定位置，则根据控制信令对应虚拟教室视频流的图像属性进行调整。
可选地，若服务器接收到的控制信令为添加前景，获取要添加的前景数据，将前景数据作为前景层，将前景层与人像层和背景层重新进行叠加，生成新的虚拟教室视频流。
其中，所述前景数据包括图片、视频、音频、文本、可触发动画或题板中的至少一项。
具体地，如图3所示，若服务器接收到添加前景的控制信令，获取要添加的前景数据，将前景数据作为前景层31，叠加在人像层33和背景层34之上，重新生成虚拟教室视频流31。
例如：教师在讲解高山的过程中，为了具体讲解高山上的某一高山植物，则可以通过教师端向服务器发送添加前景的控制信令，并发送与该植物相关的图片，服务器在接收到控制信令后，获取所述图片，将该图片作为前景层，叠加在已有的人像层和背景层之上，重新生成虚拟教室视频流。
可选地，若接收到的控制信令为更换背景，获取要更换的背景数据，将要更换的背景数据替换初始背景数据作为背景层，重新生成虚拟教室视频流。
可选地，若接收到播放信令，控制播放背景数据或前景数据中与所述播放信令对应的视频或动态效果。
其中，所述控制方式可以为由服务器进行播放，也可以是由服务器发送对应的播放命令，指示教师端和学生端进行播放。
例如：服务器在接收到播放信令后，可以直接播放虚拟教室视频流中的视频并输出给教师端和学生端，也可以由服务器发送相应的播放命令，由教师端和学生端各自进行播放。
本发明实施例的方法在接收视频流后，会提取出相应的人像数据，再获取初始背景数据，根据人像数据和初始背景数据，生成并输出虚拟教室视频流，在接收到控制信令后，根据控制信令调整所述虚拟教室视频流，通过所述方法可以丰富交流过程中的展现形式，同时增加可选择的交互方式。
图6为本发明实施例的教师端一侧的交互方法的流程图。如图6所示，本实施例的交互方法包括如下步骤：
在步骤S610中：发送教师视频流。
其中，所述教师视频流为教师端所采集的实时视频流，所述教师视频流中应至少包括教师人像数据，可选地，所述教师端可以通过配置的摄像头来获取实时视频流。
在步骤S620中：读取并显示虚拟教室视频流。
在步骤S630中：响应于接收到互动指令，发送与所述互动指令对应的控制信令。其中，所述控制信令用于指示所述服务器调整所述虚拟教室视频流的图像属性，所述图像属性包括图像的大小、位置以及形状。
例如：教师想要放大教师人像数据并移动到指定位置，则可以向教师端发送相应的互动指令，教师端在接收互动指令后，会发送相应的控制信令。
可选地，若教师端接收到的互动指令为添加前景，发送添加前景的控制信令，发送要添加的前景数据，其中，所述前景数据包括图片、视频、音频、文本或题板中的至少一项。
例如：教师想要在虚拟教室视频流中添加前景，则可以向教师端发送相应的互动指令，教师端在接收互动指令后，发送相应的控制信令和所要添加的前景数据。
可选地，若教师端接收到的互动指令为更换背景，发送更换背景的控制信令，发送要更换的背景数据。
例如：教师想要在虚拟教室视频流中更换背景，则可以向教师端发送相应的互动指令，教师端在接收互动指令后，发送相应的控制信令和所要添加的背景数据。
可选地，若教师端接收到的互动指令为播放指令，发送播放信令，其中，所述播放信令用于指示播放背景数据或前景数据中的视频或动态效果。
例如：教师想要播放前景数据或背景数据中的视频或动态效果，则可以向教师端发送相应的互动指令，教师端在接收互动指令后，发送相应的播放指令。
可选地，教师端可以发送学生视频流处理指令，其中，所述学生视频流处理指令用于指示服务器接收至少一个学生视频流。
例如：教师若想要虚拟教室视频流中同时出现教师和学生，则可以向服务器发送学生视频流处理指令，来指示服务器是否接收学生视频流。
可选地，教师端可以发送学生选择指令，其中，所述学生选择指令用于指定当前虚拟教室视频流中出现的学生人像数据。
例如：教师想要指定虚拟教室视频流中出现的学生人像数据，则可以向教师端发送相应的互动指令，教师端在接收互动指令后，发送学生选择指令。
图7是本发明实施例的电子设备的示意图。如图7所示，电子设备为通用数据处理装置，其包括通用的计算机硬件结构，其至少包括处理器71和存储器72。处理器71和存储器72通过总线73连接。存储器72适于存储处理器71可执行的指令或程序。处理器71可以是独立的微处理器，也可以是一个或者多个微处理器集合。由此，处理器71通过执行存储器72所存储的指令，从而执行如上所述的本发明实施例的方法流程实现对于数据的处理和对于其它装置的控制。总线73将上述多个组件连接在一起，同时将上述组件连接到显示控制器74和显示装置以及输入/输出(I/O)装置75。输入/输出(I/O)装置75可以是鼠标、键盘、调制解调器、网络接口、触控输入装置、体感输入装置、打印机以及本领域公知的其他装置。典型地，输入/输出装置75通过输入/输出(I/O)控制器76与系统相连。
本领域的技术人员应明白，本申请的实施例可提供为方法、装置(设备)或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品。
本申请是参照根据本申请实施例的方法、装置(设备)和计算机程序产品的流程图来描述的。应理解可由计算机程序指令实现流程图中的每一流程。
这些计算机程序指令可以存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现流程图一个流程或多个流程中指定的功能。
也可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程中指定的功能的装置。
本发明的另一实施例涉及一种非易失性存储介质，用于存储计算机可读程序，所述计算机可读程序用于供计算机执行上述部分或全部的方法实施例。
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指定相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (19)

1.一种交互方法，适用于服务器，其特征在于，所述方法包括：
接收视频流；
从所述视频流中提取对应的人像数据；
获取初始背景数据，其中，所述初始背景数据包括图片、视频或课件中的至少一项；
根据所述人像数据和所述初始背景数据，生成虚拟教室视频流；
输出所述虚拟教室视频流；
响应于接收到控制信令，调整所述虚拟教室视频流，其中，所述控制信令用于指示所述服务器调整所述虚拟教室视频流的图像属性，所述图像属性包括图像的大小、位置以及形状。
2.根据权利要求1所述的方法，其特征在于，所述接收视频流包括：
接收教师视频流。
3.根据权利要求2所述的方法，其特征在于，所述从所述视频流中提取对应的人像数据包括：
从所述教师视频流中提取对应的教师人像数据：
其中，所述从所述教师视频流中提取对应的教师人像数据包括：
将所述教师视频流输入分割模型，得到与所述教师视频流对应的教师人像数据。
4.根据权利要求3所述的方法，其特征在于，所述根据所述人像数据和所述初始背景数据，生成虚拟教室视频流包括：
根据所述教师人像数据和所述初始背景数据，生成所述虚拟教室视频流。
5.根据权利要求2所述的方法，其特征在于，所述接收视频流还包括：响应于接收到学生视频流处理指令，接收至少一个学生视频流；
所述从所述视频流中提取对应的人像数据包括：
从所述教师视频流和学生视频流中提取对应的教师人像数据和学生人像数据：
其中，从所述教师视频流和至少一个学生视频流中提取对应的教师人像数据和学生人像数据包括：
将所述教师视频流输入分割模型，得到与所述教师视频流对应的教师人像数据；
将所述学生视频流输入所述分割模型，得到与所述学生视频流对应的学生人像数据。
6.根据权利要求1所述的方法，其特征在于，所述根据所述人像数据和所述初始背景数据，生成虚拟教室视频流包括：
将所述人像数据作为人像层；
将所述初始背景数据作为背景层；
将所述人像层和所述背景层进行叠加，生成所述虚拟教室视频流。
7.根据权利要求6所述的方法，其特征在于，所述响应于接收到控制信令，调整所述虚拟教室视频流包括：
响应于接收到的控制信令为添加前景，获取要添加的前景数据；
将所述前景数据作为前景层；
将所述人像层、所述背景层和所述前景层进行叠加，重新生成虚拟教室视频流；
其中，所述前景数据包括图片、视频、音频、文本、可触发动画或题板中的至少一项。
8.根据权利要求7所述的方法，其特征在于，所述响应于接收到控制信令，调整所述虚拟教室视频流还包括：
响应于接收到的控制信令为更换背景，获取要更换的背景数据；
将所述要更换的背景数据替换所述初始背景数据作为背景层；
重新生成虚拟教室视频流。
9.根据权利要求8所述的方法，其特征在于，所述方法还包括：
响应于接收到播放信令，控制播放背景数据或前景数据中与所述播放信令对应的视频或动态效果。
10.根据权利要求9所述的方法，其特征在于，所述初始背景数据、所述要更换的背景数据和所述前景数据预先存储在所述服务器中或由教师端进行上传。
11.根据权利要求5所述的方法，其特征在于，所述从至少一个学生视频流中提取对应的学生人像数据包括：
接收学生选择指令，所述学生选择指令用于指定当前虚拟教室视频流中出现的学生人像数据；
根据所述学生选择指令在至少一个学生视频流中提取对应的学生人像数据。
12.一种交互方法，适用于教师端，其特征在于，所述方法包括：
发送教师视频流；
读取并显示虚拟教室视频流；
响应于接收到互动指令，发送与所述互动指令对应的控制信令，所述控制信令用于指示所述服务器调整所述虚拟教室视频流的图像属性，所述图像属性包括图像的大小、位置以及形状。
13.根据权利要求12所述的方法，其特征在于，所述响应于接收到互动指令，发送与所述互动指令对应的控制信令包括：
响应于接收到的互动指令为添加前景，发送添加前景的控制信令；
发送要添加的前景数据；
其中，所述前景数据包括图片、视频、音频、文本、可触发动画或题板中的至少一项。
14.根据权利要求13所述的方法，其特征在于，所述响应于接收到互动指令，发送与所述互动指令对应的控制信令还包括：
响应于接收到的互动指令为更换背景，发送更换背景的控制信令；
发送要更换的背景数据；
其中，所述初始背景数据包括图片、视频或课件中的至少一项。
15.根据权利要求14所述的方法，其特征在于，所述方法还包括：
响应于接收到的互动指令为播放指令，发送播放信令；
其中，所述播放信令用于指示播放背景数据或前景数据中的视频或动态效果。
16.根据权利要求12所述的方法，其特征在于，所述方法还包括：
发送学生选择指令；
其中，所述学生选择指令用于指定当前虚拟教室视频流中出现的学生人像数据。
17.根据权利要求12所述的方法，其特征在于，所述方法还包括：
发送学生视频流处理指令；
其中，所述学生视频流处理指令用于指示服务器接收学生视频流。
18.一种电子设备，包括存储器和处理器，其特征在于，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如权利要求1-17中任一项所述的方法。
19.一种计算机可读存储介质，用于存储计算机程序指令，其特征在于，所述计算机程序指令在被处理器执行时实现如权利要求1-17中任一项所述的方法。
CN202110462016.4A 2021-04-27 2021-04-27 一种交互方法及装置 Active CN113099265B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110462016.4A CN113099265B (zh) 2021-04-27 2021-04-27 一种交互方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110462016.4A CN113099265B (zh) 2021-04-27 2021-04-27 一种交互方法及装置

Publications (2)

Publication Number Publication Date
CN113099265A true CN113099265A (zh) 2021-07-09
CN113099265B CN113099265B (zh) 2023-01-10

Family

ID=76680518

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110462016.4A Active CN113099265B (zh) 2021-04-27 2021-04-27 一种交互方法及装置

Country Status (1)

Country Link
CN (1) CN113099265B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113691796A (zh) * 2021-08-16 2021-11-23 福建凯米网络科技有限公司 通过二维模拟的三维场景互动方法及计算机可读存储介质
CN113873273A (zh) * 2021-09-09 2021-12-31 北京都是科技有限公司 一种生成直播视频的方法、装置以及存储介质
CN113873272B (zh) * 2021-09-09 2023-12-15 北京都是科技有限公司 一种控制直播视频的背景图像的方法、装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003280506A (ja) * 2002-03-20 2003-10-02 Ecc Co Ltd 遠隔学習システムにおける生徒用画面の表示方法および表示装置
CN211457271U (zh) * 2020-02-07 2020-09-08 顾得科技教育股份有限公司 远距教学在线互动直播系统
CN111654715A (zh) * 2020-06-08 2020-09-11 腾讯科技（深圳）有限公司 直播的视频处理方法、装置、电子设备及存储介质
CN112351291A (zh) * 2020-09-30 2021-02-09 深圳点猫科技有限公司 一种基于ai人像分割的教学互动方法、装置及设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003280506A (ja) * 2002-03-20 2003-10-02 Ecc Co Ltd 遠隔学習システムにおける生徒用画面の表示方法および表示装置
CN211457271U (zh) * 2020-02-07 2020-09-08 顾得科技教育股份有限公司 远距教学在线互动直播系统
CN111654715A (zh) * 2020-06-08 2020-09-11 腾讯科技（深圳）有限公司 直播的视频处理方法、装置、电子设备及存储介质
CN112351291A (zh) * 2020-09-30 2021-02-09 深圳点猫科技有限公司 一种基于ai人像分割的教学互动方法、装置及设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113691796A (zh) * 2021-08-16 2021-11-23 福建凯米网络科技有限公司 通过二维模拟的三维场景互动方法及计算机可读存储介质
CN113691796B (zh) * 2021-08-16 2023-06-02 福建凯米网络科技有限公司 通过二维模拟的三维场景互动方法及计算机可读存储介质
CN113873273A (zh) * 2021-09-09 2021-12-31 北京都是科技有限公司 一种生成直播视频的方法、装置以及存储介质
CN113873272B (zh) * 2021-09-09 2023-12-15 北京都是科技有限公司 一种控制直播视频的背景图像的方法、装置及存储介质
CN113873273B (zh) * 2021-09-09 2023-12-26 北京都是科技有限公司 一种生成直播视频的方法、装置以及存储介质

Also Published As

Publication number Publication date
CN113099265B (zh) 2023-01-10

Similar Documents

Publication Publication Date Title
CN113099265B (zh) 一种交互方法及装置
CN106878820B (zh) 直播互动方法及装置
US20160110922A1 (en) Method and system for enhancing communication by using augmented reality
CN108074431B (zh) 一种应用vr技术演讲实训的系统及方法
KR101492359B1 (ko) 입력 지원 장치, 입력 지원 방법 및 기록 매체
US20120081530A1 (en) System for Juxtaposition of Separately Recorded Scenes
US11320895B2 (en) Method and apparatus to compose a story for a user depending on an attribute of the user
WO2019019403A1 (zh) 一种用于k12阶段的互动情景教学系统
Yuan et al. Quality of experience study for multiple sensorial media delivery
KR20150084586A (ko) 가상 ３ｄ 아바타를 이용한 동영상 강의 저작 키오스크 및 저작 시스템
CN112287848A (zh) 基于直播的图像处理方法、装置、电子设备和存储介质
CN109032339A (zh) 一种实时智能体感同步的方法及系统
CN106937156A (zh) 一种实现多资源同步播放的方法及装置和媒体播放器
CN114237540A (zh) 一种智慧课堂在线教学互动方法、装置、存储介质及终端
KR101198091B1 (ko) 학습 콘텐츠 서비스 제공 방법 및 시스템
CN112734883A (zh) 一种数据处理方法、装置、电子设备和存储介质
CN113222790A (zh) 基于人工智能的在线课程生成系统及设备
US10984836B2 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium
KR101576768B1 (ko) 온라인을 이용한 강의 콘텐츠 제작 및 제공방법
US20130182183A1 (en) Hardware-Based, Client-Side, Video Compositing System
KR102430547B1 (ko) 게임 플레이 콘텐츠 제작 장치
WO2023130715A1 (zh) 一种数据处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品
US10714146B2 (en) Recording device, recording method, reproducing device, reproducing method, and recording/reproducing device
WO2023167212A1 (ja) コンピュータプログラム、情報処理方法及び情報処理装置
CN111726692B (zh) 音视图数据的互动播放方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant