CN112973110A - 云游戏控制方法、装置、网络电视及计算机可读存储介质 - Google Patents
云游戏控制方法、装置、网络电视及计算机可读存储介质 Download PDFInfo
- Publication number
- CN112973110A CN112973110A CN202110293954.6A CN202110293954A CN112973110A CN 112973110 A CN112973110 A CN 112973110A CN 202110293954 A CN202110293954 A CN 202110293954A CN 112973110 A CN112973110 A CN 112973110A
- Authority
- CN
- China
- Prior art keywords
- user
- human body
- user image
- key feature
- body key
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000009471 action Effects 0.000 claims abstract description 115
- 230000004044 response Effects 0.000 claims abstract description 31
- 230000033001 locomotion Effects 0.000 claims description 30
- 238000010586 diagram Methods 0.000 claims description 20
- 238000012795 verification Methods 0.000 claims description 15
- 230000008859 change Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 9
- 238000009877 rendering Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 230000003238 somatosensory effect Effects 0.000 abstract description 2
- 210000003414 extremity Anatomy 0.000 description 37
- 210000002683 foot Anatomy 0.000 description 5
- 230000002452 interceptive effect Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 210000000707 wrist Anatomy 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 210000003423 ankle Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 210000002414 leg Anatomy 0.000 description 2
- 210000004197 pelvis Anatomy 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 210000000689 upper leg Anatomy 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
- A63F13/33—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
- A63F13/338—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections using television networks
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/55—Controlling game characters or game objects based on the game progress
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
- H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/40—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network
- A63F2300/409—Data transfer via television network
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
- A63F2300/53—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing
- A63F2300/538—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing for performing operations on behalf of the game client, e.g. rendering
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Computer Networks & Wireless Communication (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明实施例公开了云游戏控制方法、装置、网络电视及计算机可读存储介质。首先获取摄像头识别得到的当前时刻用户图像及其对应的第一人体关键特征点；然后获取初始用户图像及其对应的第二人体关键特征点、前一时刻用户图像及其对应的第三人体关键特征点；根据第一人体关键特征点、第二人体关键特征点及第三人体关键特征点确定用户肢体动作；根据用户肢体动作及动作指令的对应关系确定用户动作指令；向云端服务器发送用户动作指令；从云端服务器接收与用户动作指令对应的游戏响应指令，并通过云游戏应用程序执行游戏响应指令。本发明无需额外设备，即可简单、快速地实现对体感云游戏的控制，带来极佳的游戏体验。
Description
技术领域
本发明涉及电视领域，尤其涉及云游戏控制方法、装置、网络电视及计算机可读存储介质。
背景技术
随着游戏技术的快速发展，大屏端游戏成为当前社会最流行的娱乐方式。目前大屏端游戏都是以手柄为主要控制设备，通过手柄连接大屏端实现游戏控制。由于当前通过大屏端游戏在进行时需要每个参加游戏的用户匹配都一个对应的游戏手柄才能实现游戏控制，因此无法容纳多人一起进行操作，无法满足家庭多人娱乐需求，无法为用户提供更为全面的互动娱乐体验。
并且，通过大屏端进行游戏对大屏设备的处理器和显卡等都有较高的要求，因此大大限制了能够进行的游戏和设备，大屏端游戏的可玩性和趣味性受到限制。
因此，目前的大屏端游戏无法为用户带来更为简单、便捷的全面互动娱乐体验。
发明内容
本发明提供了云游戏控制方法、装置、网络电视及计算机可读存储介质，通过网络电视可以更加便捷、简单地实现大屏端游戏。
第一方面，本发明提供一种云游戏控制方法，应用于网络电视，所述网络电视包括摄像头，所述网络电视与云端服务器通信连接，所述方法包括：
获取所述摄像头识别得到的当前时刻用户图像及其对应的第一人体关键特征点；
获取初始用户图像及其对应的第二人体关键特征点、前一时刻用户图像及其对应的第三人体关键特征点；
根据所述第一人体关键特征点、所述第二人体关键特征点及所述第三人体关键特征点确定用户肢体动作；
根据所述用户肢体动作及动作指令的对应关系，确定所述用户肢体动作对应的用户动作指令；
向所述云端服务器发送所述用户动作指令；
从所述云端服务器接收与所述用户动作指令对应的游戏响应指令，并通过云游戏应用程序执行所述游戏响应指令。
根据本发明的一种具体实施方式，所述获取所述摄像头识别得到的当前时刻用户图像及其对应的第一人体关键特征点，包括：
启动所述摄像头拍摄当前环境图像，并通过所述摄像头从所述当前环境图像识别所述当前时刻用户图像；
将所述当前时刻用户图像与预存模型库中的人体关键点特征图进行对比，确定所述当前时刻用户图像的第一人体关键特征点。
根据本发明的一种具体实施方式，根据所述第一人体关键特征点、所述第二人体关键特征点及所述第三人体关键特征点确定用户肢体动作，包括：
建立三维坐标系，获取所述第二人体关键特征点在所述三维坐标系下对应的三维坐标，根据所述第二人体关键特征点的三维坐标确定所述第一人体关键特征点的三维坐标；
将前一时刻获得的所述第三人体关键特征点的三维坐标与所述第一人体关键特征点的三维坐标进行对比计算，得到所述第一人体关键特征点的移动步长和变化角度；
根据所述移动步长和所述变化角度确定所述用户肢体动作。
根据本发明的一种具体实施方式，通过云游戏应用程序执行所述游戏响应指令，包括：
在游戏响应指令包括指令流的情况下，通过所述云游戏应用程序运行所述指令流，渲染得到游戏图像，并显示所述游戏图像；
在游戏响应指令包括数据流的情况下，通过所述云游戏应用程序播放所述数据流，其中，所述数据流包括视频数据及音频数据。
根据本发明的一种具体实施方式，所述通过所述摄像头从所述当前环境图像识别所述当前时刻用户图像，包括：
在所述摄像头识别得到的所述当前环境图像中存在多个用户图像的情况下，获取各用户图像的人体关键特征点的坐标，分别确定各用户图像的人体关键特征点的坐标与中心坐标之间的距离，将距离最小的用户图像作为当前时刻用户图像；或者，
根据所述各用户图像的人体关键特征点的坐标计算对应的用户图像面积，选择用户图像面积最大的用户图像作为当前时刻用户图像；或者，
根据各用户图像的人体关键特征点的坐标确定各用户图像的动作，将具有预设动作的用户图像作为当前时刻用户图像。
根据本发明的一种具体实施方式，获取初始用户图像之前，所述方法还包括：
从预存模型库中选择至少一人体关键特征点图作为动作验证图，并显示所述动作验证图；
通过摄像头拍摄用户图像，识别用户图像中的动作是否与所述动作验证图中动作相同，若相同，则执行所述获取初始用户图像的步骤。
根据本发明的一种具体实施方式，所述获取所述摄像头识别得到的当前时刻用户图像及其对应的第一人体关键特征点，包括：
在所述当前时刻用户图像的数量为至少两个的情况下，对所述当前环境图像中的各当前时刻用户图像进行面部识别，得到各当前用户的面部识别结果，确定各当前时刻用户图像对应的肢体图像的人体关键特征点；
将所述各当前时刻用户图像的面部识别结果及所述对应的肢体图像的人体关键特征点进行锁定。
第二方面，本发明的实施例提供了一种云游戏控制装置，应用于网络电视，所述网络电视包括摄像头，所述网络电视与云端服务器通信连接，所述装置包括：
识别模块，用于获取所述摄像头识别得到的当前时刻用户图像及其对应的第一人体关键特征点；
信息获取模块，用于获取初始用户图像及其对应的第二人体关键特征点、前一时刻用户图像及其对应的第三人体关键特征点；
分析模块，用于根据所述第一人体关键特征点、所述第二人体关键特征点及所述第三人体关键特征点确定用户肢体动作；
指令获取模块，用于根据所述用户肢体动作及动作指令的对应关系，确定所述用户肢体动作对应的用户动作指令；
发送模块，用于向所述云端服务器发送所述用户动作指令；
执行模块，用于从所述云端服务器接收与所述用户动作指令对应的游戏响应指令，并通过所述云游戏应用程序执行所述游戏响应指令。
第三方面，本发明的实施例提供了一种网络电视，所述网络电视与云端服务器通信连接，所述网络电视包括显示器、处理器、摄像头和存储器，所述显示器、摄像头和存储器均与处理器连接，所述存储器用于存储计算机程序，所述计算机程序在所述处理器运行时执行上述任一项云游戏控制方法。
第四方面，本发明的实施例提供了一种计算机可读存储介质，其存储计算机程序，所述计算机程序在处理器上运行时执行上述任一项云游戏控制方法。
上述本申请提供的一种云游戏控制方法，首先获取摄像头识别得到的当前时刻用户图像及其对应的第一人体关键特征点；然后获取初始用户图像及其对应的第二人体关键特征点、前一时刻用户图像及其对应的第三人体关键特征点。利用第一人体关键特征点、第二人体关键特征点及第三人体关键特征点确定用户肢体动作；通过用户肢体动作及动作指令的对应关系，确定用户肢体动作对应的用户动作指令；向云端服务器发送用户动作指令；从云端服务器接收与用户动作指令对应的游戏响应指令，并通过云游戏应用程序执行游戏响应指令。本发明实现了通过网络电视实现对体感云游戏的控制，无需额外设备，用户站网络电视前，通过网络电视对用户动作的识别，即可生成相应指令控制游戏画面中的人物动作，可简单、快速地实现大屏体感云游戏，为用户带来更为全面的互动娱乐服务。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对本发明保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。
图1示出了一种云游戏控制方法流程图；
图2示出了人体关键特征点分布图；
图3示出了一种云游戏控制装置的装置模块图。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
在下文中，可在本发明的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。
此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本发明的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本发明的各种实施例中被清楚地限定。
实施例1
本发明实施例提供一种云游戏控制方法，应用于网络电视，网络电视包括摄像头，所述网络电视与云端服务器通信连接，其中网络电视所包含的摄像头可选的有2D摄像头和3D摄像头，云游戏运行在云服务器，体感输入在网络电视端控制，两者结合后在网络电视的大屏上显示游戏运行画面。
如图1所示的一种云游戏控制方法流程图，所述方法包括：
S101，获取所述摄像头识别得到的当前时刻用户图像及其对应的第一人体关键特征点；
具体地，在网络电视大屏端启动体感云游戏程序的同时网络电视的摄像头立即开启，摄像头开始获取画面，摄像头实时进行画面的截取，获取到实时图像。摄像头将针对实时图像进行降噪处理，通过降噪处理突出图像中的人物信息，人物信息包括肢体和头像。经过降噪处理的实时图像作为当前时刻用户图像，然后针对当前时刻用户图像进行人体关键特征点的获取。与当前时刻用户图像对应的人体关键特征点命名为第一人体关键特征点，在本实施例中，如图2所示的人体关键特征点分布图，人体关键特征点是人体的24个关键部位，包括：头顶部、左耳、右耳、脖子、左肩、右肩、左手肘、右手肘、左手腕、右手腕、左手指尖、右手指尖、左胸部、右胸部、盆骨左、盆骨右、左股、右股、左膝、右膝、左脚踝、右脚踝、左脚、右脚。
S102，获取初始用户图像及其对应的第二人体关键特征点、前一时刻用户图像及其对应的第三人体关键特征点；
其中，初始用户图像及前一时刻用户图像分别由摄像头识别得到。初始用户图像指的是在摄像机在游戏一开始的那个时刻获取的第一个当前时刻用户图像为初始用户图像；前一时刻用户图像指的是摄像机所获取的当前时刻用户图像的上一张用户图像。同时获得初始用户图像对应的人体关键特征点，将初始用户图像对应的人体关键特征点命名为第二人体关键特征点，还有前一时刻用户图像对应的人体关键特征点，并将前一时刻用户图像对应的人体关键特征点命名为第三人体关键特征点。
S103根据所述第一人体关键特征点、所述第二人体关键特征点及所述第三人体关键特征点确定用户肢体动作；
具体地，利用初始用户图像对应的第二人体关键特征点与当前时刻图像的第一人体关键特征点进行对比计算，再利用前一时刻用户图像对应的第三人体关键特征点与当前时刻图像的第一人体关键特征点进行对比计算，根据与前一时刻的动作的人体关键特征点的变化对比确定当前时刻用户的肢体动作。通过对当前用户的至少一个关键特征点与前一时刻用户的同一个关键特征点的对比来确定动作，比如，针对两时刻下的左手指尖和左手手腕两个关键特征点的变化对比，可以确定举起左手的动作；将左手指尖、左手腕结合左手肘的变化，则可以确定高举左手的动作。
S104根据所述用户肢体动作及动作指令的对应关系，确定所述用户肢体动作对应的用户动作指令；
具体地，用户肢体动作及动作指令的对应关系为预先设置对应关系，用户的不同肢体动作对应映射为不同的游戏动作指令，动作指令指的是在游戏中进行有效控制的指令，例如：前倾对应于手柄摇杆向前、左倾对应于手柄摇杆向左、右倾对应于手柄摇杆向右、后仰对应于手柄摇杆向下、举起手掌对应于手柄A键、抬起左腿对应于手柄B键、抬起右腿对应于手柄X键等等。具体的动作指令可以根据不同的具体游戏在进行时的需要进行设置。
S105向所述云端服务器发送所述用户动作指令；
具体地，由网络电视端将用户动作指令发送给云游戏的云端服务器，体感输入在网络电视大屏端，将人的肢体控制转化为游戏控制指令，传递给云端游戏。
S106从所述云端服务器接收与所述用户动作指令对应的游戏响应指令，并通过云游戏应用程序执行所述游戏响应指令。
具体地，云端服务器接收到用于控制游戏的用户动作指令之后，云端服务器中的云游戏应用程序会做出响应，然后由云端服务器将游戏响应指令通过网络传输给网络电视，通过网络电视最终运行云游戏应用程序，并将游戏展示在大屏终端。
本实施例通过上述步骤，云游戏运行在云服务器，体感输入在网络电视端控制，两者结合后在网络电视的大屏上显示游戏运行画面。实现了通过大屏设备实现对体感云游戏的控制，无需额外设备，用户站在大屏设备前，通过大屏设备对用户动作的识别，即可生成相应指令控制游戏画面中的人物动作，可简单、快速地实现大屏体感云游戏，为用户带来更为全面的互动娱乐服务。
在一种具体实施方式中，S101获取所述摄像头识别得到的当前时刻用户图像及其对应的第一人体关键特征点的步骤，包括：
启动所述摄像头拍摄当前环境图像，并通过所述摄像头从所述当前环境图像识别所述当前时刻用户图像；将所述当前时刻用户图像与预存模型库中的人体关键点特征图进行对比，确定所述当前时刻用户图像的第一人体关键特征点。
其中，摄像头拍摄的当前环境图，即为摄像头获取的实时画面，当前环境图中为摄像头所采集到的整个环境画面，包括人物、房屋内的家具、墙面等背景，通过摄像头对环境图像进行降噪处理，突出环境图像中的人像识别出当前的用户画面。并将当前的用户画面在预设模型库中比对，预设模型库中包含大量如图2所示的人体关键特征点图，其中的人体关键特征点图涵盖了大量人体的不同动作，是预先设置的一个数据库。每一个人体的不同动作均可以在预存模型库中依次比较，直至找到匹配的人体关键点特征图，与获得的相应的一个人体关键特征图进行比对。通过比对，从而可以确定当前时刻用户图像中的人体关键特征点，识别定位出当前用户的上述24个关键部位。
在一种具体实施方式，S103根据所述第一人体关键特征点、所述第二人体关键特征点及所述第三人体关键特征点确定用户肢体动作的步骤，包括：
建立三维坐标系，获取所述第二人体关键特征点在所述三维坐标系下对应的三维坐标，根据所述第二人体关键特征点的三维坐标确定所述第一人体关键特征点的三维坐标；将前一时刻获得的所述第三人体关键特征点的三维坐标与所述第一人体关键特征点的三维坐标进行对比计算，得到所述第一人体关键特征点的移动步长和变化角度；根据所述移动步长和所述变化角度确定所述用户肢体动作。
在具体实施时，建立三维坐标系时，通过选取一个固定的点作为原点来建立坐标系，如，可以选择以网络电视屏幕的左下角为原点建立三维坐标系，三维坐标系的X轴和Y轴的方向分别沿网络电视屏幕边缘一直角边的延伸方向，Z轴的正方向朝垂直于网络电视屏幕的内部方向延伸，使得用户图像的关键特征点的Z值坐标为正值，可以方便后续步骤中的对比计算。在游戏开始时获取初始用户图像的人体关键特征点的坐标，选择初始用户图像中的某一人体关键特征点作为人体根节点，初始用户图像的其他人体关键特征点的Z值为相对于人体根节点的相对深度，例如，将人的头顶作为人体根节点，头顶的Z轴坐标为Z0，左脚相对于人体根节点头顶Z轴方向上的相对深度为Z1，那么左脚的Z轴坐标为Z1。
在获取当前时刻用户图像的各个人体关键特征点坐标时需要利用初始用户图像的人体关键特征点坐标来确定当前时刻用户图像的人体关键特征点的相对深度，即z值。将初始用户图像的24个人体关键特征点与当前时刻用户图像的24个人体关键特征点一一对应对比，从而获得深度值。其中，24个人体关键特征点坐标为归一化坐标。
确定当前时刻用户图像中的24个人体关键特征点坐标后，将当前时刻用户图像的24个人体关键点坐标与前一时刻的人体关键点坐标进行对比，计算出每个人体关键点的变化，其中的变化包括移动步长和变化角度。移动步长指的是各个关键特征点变化的距离，包括前、后、左、右各个方向上所变化的距离。变化角度为各个关键特征点相对比上一时刻的关键特征点的在三维空间中变化的角度。通过上述计算结果可以分析确定用户肢体动作。
根据一种具体实施方式，S106中的通过云游戏应用程序执行所述游戏响应指令的步骤，包括：
在游戏响应指令包括指令流的情况下，通过所述云游戏应用程序运行所述指令流，渲染得到游戏图像，并显示所述游戏图像；在游戏响应指令包括数据流的情况下，通过所述云游戏应用程序播放所述数据流，其中，所述数据流包括视频数据及音频数据。
其中，数据流的实现是：游戏运行在带有GPU(Graphics Processing Unit图形处理器)的边缘计算节点，将GPU生成的游戏图像转换为H.264/H265的视频流以及音频数据，通过网络传到终端。同时终端将体感操作指令，体感操作指令又可以称为游戏响应指令，回传到服务器中。指令流的实现是：游戏运行在边缘计算节点中，通过带有支持图形API的虚拟GPU或者软件图形库，复制游戏下发的图形API，并序列化为指令流，将指令流通过网络传输到带有GPU的终端即网络电视，由终端运行指令流，并渲染出游戏图像。在本实施例中，网络电视通过指令流渲染得到游戏图像，并显示所述游戏图像，通过所述云游戏应用程序播放所述数据流实现视频数据及音频数据的播放。
此外，云游戏为了降低延时，传输采用实时流协议，如：常用的RTP/RTSP/RTC等协议，同时根据当前的网络环境，针对云游戏进行了专门的自适应抗抖动优化。具体地，可根据具体的游戏应用场景去选择。
根据一种具体实施方式，上述通过所述摄像头从所述当前环境图像识别所述当前时刻用户图像，包括：
在所述摄像头识别得到的所述当前环境图像中存在多个用户图像的情况下，获取各用户图像的人体关键特征点的坐标，分别确定各用户图像的人体关键特征点的坐标与中心坐标之间的距离，将距离最小的用户图像作为当前时刻用户图像；或者，根据所述各用户图像的人体关键特征点的坐标计算对应的用户图像面积，选择用户图像面积最大的用户图像作为当前时刻用户图像；或者，根据各用户图像的人体关键特征点的坐标确定各用户图像的动作，将具有预设动作的用户图像作为当前时刻用户图像。
在具体应用中，考虑到当前环境下的人物可能存在多个，因此需要进行优先级的选择来确定画面中真正的当前用户。可选的，有三种方案来确定优先级，第一种居中优先，当摄像头捕捉到的画面中存在多人时，优先选择靠近中央位置的人，通过上述用户的人体关键特征点坐标来判断，选择最靠近中央位置的坐标的用户，作为真正进行游戏的用户，即当前客户。
第二种近距离优先，当摄像头捕捉到的画面中存在多人时，计算所有肢体呈现完整的人所占的面积，利用肢体的外围坐标粗略计算所占面积，例如当用户的动作为双臂展开时，以头顶的坐标和到左右脚的垂直距离作为高，将左右手指尖的距离作为宽，通过高和宽计算所占面积。选择面积最大的用户作为真正的当前用户。
第三种预设动作锁定切换，设置预设动作，当在游戏过程中锁定的人物为非玩家，即非当前用户时，真正的当前用户可以通过做预设动作，获取焦点将焦点快速切换到真正用户的身上，提升识别体验感。具体地，采用的方法是获取用户的人体关键特征点及其三维坐标，通过在预设模型库中进行对比确认用户所做动作，若用户所做动作与预设动作相同则锁定该用户。通过上述三种方案，可以快速准确定位真正的游戏用户，减少当前环境中存在多个用户图像的干扰，提真正用户的识别准确率，即使锁定错误也可以通过预设动作快速切换到真正的当前用户。
根据一种具体实施方式，获取初始用户图像之前，所述方法还包括：
从预存模型库中选择至少一人体关键特征点图作为动作验证图，并显示所述动作验证图；通过摄像头拍摄用户图像，识别用户图像中的动作是否与所述动作验证图中动作相同，若相同，则执行所述获取初始用户图像的步骤。
在本实施例中，在游戏开始前，进行动作验证，从预存模型库中选择几个人体关键特征点图作为动作验证图，用户模仿呈现出来的动作验证图，通过对用户的各个人体关键特征点的分布对比，识别出用户图像中的动作是否与验证动作验证图的动作相同，若动作相同即可开始进行获取初始图像的步骤。通过上述步骤，在进行游戏前先开启一个验证，可以确定用户所处位置能否被正确识别，并且预先检测设备运行是否正常，以便接下来快速地进入游戏。
根据一种具体实施方式，所述获取所述摄像头识别得到的当前时刻用户图像及其对应的第一人体关键特征点，包括：
在所述当前时刻用户图像的数量为至少两个的情况下，对所述环境图像中的各当前时刻用户图像进行面部识别，得到各当前用户的面部识别结果，确定各当前时刻用户图像对应的肢体图像的人体关键特征点；将所述各当前时刻用户图像的面部识别结果及所述对应的肢体图像的人体关键特征点进行锁定。
在本实施例中，若进行游戏的玩家有多名，也就是当前用户为多人，通过面部识别去区分每个不同的用户，并且通过面部识别结果去锁定每个用户对应的肢体。以便于后续进行人体关键特征点的对比时，可以区分不同的用户，一一对应去对比从而确定肢体动作。
实施例2
本发明的实施例提供了一种云游戏控制装置300，应用于网络电视，所述网络电视包括摄像头，所述网络电视与云端服务器通信连接，如图3一种云游戏控制装置的装置模块图所示，所述云游戏控制装置300包括：
识别模块301，用于获取所述摄像头识别得到的当前时刻用户图像及其对应的第一人体关键特征点；
信息获取模块302，用于获取初始用户图像及其对应的第二人体关键特征点、前一时刻用户图像及其对应的第三人体关键特征点；
分析模块303，用于根据所述第一人体关键特征点、所述第二人体关键特征点及所述第三人体关键特征点确定用户肢体动作；
指令获取模块304，用于根据所述用户肢体动作及动作指令的对应关系，确定所述用户肢体动作对应的用户动作指令；
发送模块305，用于向所述云端服务器发送所述用户动作指令；
执行模块306，用于从所述云端服务器接收与所述用户动作指令对应的游戏响应指令，并通过所述云游戏应用程序执行所述游戏响应指令。
云游戏控制装置300可以实现实施例1提供的云游戏控制方法，为避免重复，在此不再赘述。
此外，本发明的实施例提供了一种网络电视，所述网络电视与云端服务器通信连接，所述网络电视包括显示器、处理器、摄像头和存储器，所述显示器、摄像头和存储器均与处理器连接，所述存储器用于存储计算机程序，所述计算机程序在所述处理器运行时实现如下步骤：
获取所述摄像头识别得到的当前时刻用户图像及其对应的第一人体关键特征点；
获取初始用户图像及其对应的第二人体关键特征点、前一时刻用户图像及其对应的第三人体关键特征点；
根据所述第一人体关键特征点、所述第二人体关键特征点及所述第三人体关键特征点确定用户肢体动作；
根据所述用户肢体动作及动作指令的对应关系，确定所述用户肢体动作对应的用户动作指令；
向所述云端服务器发送所述用户动作指令；
从所述云端服务器接收与所述用户动作指令对应的游戏响应指令，并通过云游戏应用程序执行所述游戏响应指令。
网络电视可以实现实施例1提供的云游戏控制方法，为避免重复，在此不再赘述。
本发明的实施例提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序在处理器上运行时执行实现如下步骤：
获取所述摄像头识别得到的当前时刻用户图像及其对应的第一人体关键特征点；
获取初始用户图像及其对应的第二人体关键特征点、前一时刻用户图像及其对应的第三人体关键特征点；
根据所述第一人体关键特征点、所述第二人体关键特征点及所述第三人体关键特征点确定用户肢体动作；
根据所述用户肢体动作及动作指令的对应关系，确定所述用户肢体动作对应的用户动作指令；
向所述云端服务器发送所述用户动作指令；
从所述云端服务器接收与所述用户动作指令对应的游戏响应指令，并通过云游戏应用程序执行所述游戏响应指令。
计算机可读存储介质可以实现实施例1提供的云游戏控制方法，为避免重复，在此不再赘述。
上述本发明实施例中的云游戏控制方法、装置、网络电视和计算机可读存储介质，云游戏运行在云服务器，体感输入在网络电视端控制，两者结合后再网络电视的大屏上显示游戏运行画面。无需额外设备，用户站在大屏设备前，通过大屏设备对用户动作的识别，即可生成相应指令控制游戏画面中的人物动作，可简单、快速地实现大屏体感云游戏，为用户带来更为全面的互动娱乐服务。本实施例所提供的云游戏控制装置、网络电视和计算机可读存储介质的具体实施过程，可以参见上述云游戏控制方法的具体实施过程，在此不一一赘述。在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种云游戏控制方法，其特征在于，应用于网络电视，所述网络电视包括摄像头，所述网络电视与云端服务器通信连接，所述方法包括：
获取所述摄像头识别得到的当前时刻用户图像及其对应的第一人体关键特征点；
获取初始用户图像及其对应的第二人体关键特征点、前一时刻用户图像及其对应的第三人体关键特征点；
根据所述第一人体关键特征点、所述第二人体关键特征点及所述第三人体关键特征点确定用户肢体动作；
根据所述用户肢体动作及动作指令的对应关系，确定所述用户肢体动作对应的用户动作指令；
向所述云端服务器发送所述用户动作指令；
从所述云端服务器接收与所述用户动作指令对应的游戏响应指令，并通过云游戏应用程序执行所述游戏响应指令。
2.根据权利要求1所述的方法，其特征在于，所述获取所述摄像头识别得到的当前时刻用户图像及其对应的第一人体关键特征点，包括：
启动所述摄像头拍摄当前环境图像，并通过所述摄像头从所述当前环境图像识别所述当前时刻用户图像；
将所述当前时刻用户图像与预存模型库中的人体关键点特征图进行对比，确定所述当前时刻用户图像的第一人体关键特征点。
3.根据权利要求1所述的方法，其特征在于，根据所述第一人体关键特征点、所述第二人体关键特征点及所述第三人体关键特征点确定用户肢体动作，包括：
建立三维坐标系，获取所述第二人体关键特征点在所述三维坐标系下对应的三维坐标，根据所述第二人体关键特征点的三维坐标确定所述第一人体关键特征点的三维坐标；
将前一时刻获得的所述第三人体关键特征点的三维坐标与所述第一人体关键特征点的三维坐标进行对比计算，得到所述第一人体关键特征点的移动步长和变化角度；
根据所述移动步长和所述变化角度确定所述用户肢体动作。
4.根据权利要求1所述的方法，其特征在于，所述通过云游戏应用程序执行所述游戏响应指令，包括：
在游戏响应指令包括指令流的情况下，通过所述云游戏应用程序运行所述指令流，渲染得到游戏图像，并显示所述游戏图像；
在游戏响应指令包括数据流的情况下，通过所述云游戏应用程序播放所述数据流，其中，所述数据流包括视频数据及音频数据。
5.根据权利要求2所述的方法，其特征在于，所述通过所述摄像头从所述当前环境图像识别所述当前时刻用户图像，包括：
在所述摄像头识别得到的所述当前环境图像中存在多个用户图像的情况下，获取各用户图像的人体关键特征点的坐标，分别确定各用户图像的人体关键特征点的坐标与中心坐标之间的距离，将距离最小的用户图像作为当前时刻用户图像；或者，
根据所述各用户图像的人体关键特征点的坐标计算对应的用户图像面积，选择用户图像面积最大的用户图像作为当前时刻用户图像；或者，
根据各用户图像的人体关键特征点的坐标确定各用户图像的动作，将具有预设动作的用户图像作为当前时刻用户图像。
6.根据权利要求1所述的方法，其特征在于，获取初始用户图像之前，所述方法还包括：
从预存模型库中选择至少一人体关键特征点图作为动作验证图，并显示所述动作验证图；
通过所述摄像头拍摄用户图像，识别所述用户图像中的动作是否与所述动作验证图中动作相同，若相同，则执行获取初始用户图像的步骤。
7.根据权利要求2所述的方法，其特征在于，所述获取所述摄像头识别得到的当前时刻用户图像及其对应的第一人体关键特征点，包括：
在所述当前时刻用户图像的数量为至少两个的情况下，对所述当前环境图像的各当前时刻用户图像进行面部识别，得到各当前用户的面部识别结果，确定各当前时刻用户图像对应的肢体图像的人体关键特征点；
将所述各当前时刻用户图像的面部识别结果及所述对应的肢体图像的人体关键特征点进行锁定。
8.一种云游戏控制装置，其特征在于，应用于网络电视，所述网络电视包括摄像头，所述网络电视与云端服务器通信连接，所述装置包括：
识别模块，用于获取所述摄像头识别得到的当前时刻用户图像及其对应的第一人体关键特征点；
信息获取模块，用于获取初始用户图像及其对应的第二人体关键特征点、前一时刻用户图像及其对应的第三人体关键特征点；
分析模块，用于根据所述第一人体关键特征点、所述第二人体关键特征点及所述第三人体关键特征点确定用户肢体动作；
指令获取模块，用于根据所述用户肢体动作及动作指令的对应关系，确定所述用户肢体动作对应的用户动作指令；
发送模块，用于向所述云端服务器发送所述用户动作指令；
执行模块，用于从所述云端服务器接收与所述用户动作指令对应的游戏响应指令，并通过云游戏应用程序执行所述游戏响应指令。
9.一种网络电视，其特征在于，所述网络电视与云端服务器通信连接，所述网络电视包括显示器、处理器、摄像头和存储器，所述显示器、摄像头和存储器均与处理器连接，所述存储器存储有计算机程序，所述计算机程序在所述处理器运行时执行权利要求1至7中任一项所述的云游戏控制方法。
10.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序在处理器上运行时执行权利要求1-7中任一项所述的云游戏控制方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110293954.6A CN112973110A (zh) | 2021-03-19 | 2021-03-19 | 云游戏控制方法、装置、网络电视及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110293954.6A CN112973110A (zh) | 2021-03-19 | 2021-03-19 | 云游戏控制方法、装置、网络电视及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112973110A true CN112973110A (zh) | 2021-06-18 |
Family
ID=76334442
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110293954.6A Pending CN112973110A (zh) | 2021-03-19 | 2021-03-19 | 云游戏控制方法、装置、网络电视及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112973110A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112040327A (zh) * | 2020-08-19 | 2020-12-04 | 深圳创维－Rgb电子有限公司 | 电视游戏的人机交互方法、系统、电视机及存储介质 |
| CN114035684A (zh) * | 2021-11-08 | 2022-02-11 | 百度在线网络技术（北京）有限公司 | 用于输出信息的方法和装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102614663A (zh) * | 2011-01-30 | 2012-08-01 | 德信互动科技（北京）有限公司 | 多人游戏实现装置 |
| CN107566911A (zh) * | 2017-09-08 | 2018-01-09 | 广州华多网络科技有限公司 | 一种直播方法、装置、系统及电子设备 |
| US20200193148A1 (en) * | 2018-12-14 | 2020-06-18 | Alibaba Group Holding Limited | Method and system for recognizing user actions with respect to objects |
| US20210001216A1 (en) * | 2019-07-01 | 2021-01-07 | Sony Interactive Entertainment Inc. | Method and device for generating video frames |
| CN112354185A (zh) * | 2020-11-27 | 2021-02-12 | Oppo广东移动通信有限公司 | 云游戏控制系统和云游戏控制方法 |
| US20210073527A1 (en) * | 2018-10-30 | 2021-03-11 | Tencent Technology (Shenzhen) Company Limited | Multi-person pose recognition method and apparatus, electronic device, and storage medium |
-
2021
- 2021-03-19 CN CN202110293954.6A patent/CN112973110A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102614663A (zh) * | 2011-01-30 | 2012-08-01 | 德信互动科技（北京）有限公司 | 多人游戏实现装置 |
| CN107566911A (zh) * | 2017-09-08 | 2018-01-09 | 广州华多网络科技有限公司 | 一种直播方法、装置、系统及电子设备 |
| US20210073527A1 (en) * | 2018-10-30 | 2021-03-11 | Tencent Technology (Shenzhen) Company Limited | Multi-person pose recognition method and apparatus, electronic device, and storage medium |
| US20200193148A1 (en) * | 2018-12-14 | 2020-06-18 | Alibaba Group Holding Limited | Method and system for recognizing user actions with respect to objects |
| US20210001216A1 (en) * | 2019-07-01 | 2021-01-07 | Sony Interactive Entertainment Inc. | Method and device for generating video frames |
| CN112354185A (zh) * | 2020-11-27 | 2021-02-12 | Oppo广东移动通信有限公司 | 云游戏控制系统和云游戏控制方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112040327A (zh) * | 2020-08-19 | 2020-12-04 | 深圳创维－Rgb电子有限公司 | 电视游戏的人机交互方法、系统、电视机及存储介质 |
| CN114035684A (zh) * | 2021-11-08 | 2022-02-11 | 百度在线网络技术（北京）有限公司 | 用于输出信息的方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11308672B2 (en) | Telepresence of users in interactive virtual spaces | |
| US9947139B2 (en) | Method and apparatus for providing hybrid reality environment | |
| US8223147B1 (en) | Method and system for vision-based interaction in a virtual environment | |
| US9064335B2 (en) | System, method, device and computer-readable medium recording information processing program for superimposing information | |
| JP5039808B2 (ja) | ゲーム装置、ゲーム装置の制御方法、及びプログラム | |
| US11734791B2 (en) | System and method for rendering perspective adjusted views | |
| CN111694430A (zh) | 一种ar场景画面呈现方法、装置、电子设备和存储介质 | |
| CN112198959A (zh) | 虚拟现实交互方法、装置及系统 | |
| EP3573026B1 (en) | Information processing apparatus, information processing method, and program | |
| US20110305398A1 (en) | Image generation system, shape recognition method, and information storage medium | |
| US11429193B2 (en) | Control of virtual objects based on gesture changes of users | |
| CN105872381A (zh) | 趣味图像拍摄方法 | |
| CN112973110A (zh) | 云游戏控制方法、装置、网络电视及计算机可读存储介质 | |
| WO2022267729A1 (zh) | 基于虚拟场景的互动方法、装置、设备、介质及程序产品 | |
| CN108325208A (zh) | 应用于游戏领域的增强现实实现方法 | |
| CN111273777A (zh) | 虚拟内容的控制方法、装置、电子设备及存储介质 | |
| CN111639615A (zh) | 一种虚拟建筑物的触发控制方法及装置 | |
| EP2830728B1 (en) | Entertainment system and method of providing entertainment | |
| CN114425162A (zh) | 一种视频处理方法和相关装置 | |
| KR101360888B1 (ko) | 오프라인 연동형 가상현실을 제공하는 휴대용 통신 단말기 및 이를 이용한 원격 게임방법 | |
| US20220118358A1 (en) | Computer-readable recording medium, and image generation system | |
| CN117180729A (zh) | 一种基于增强现实的互动方法、装置及电子设备 | |
| CN117101138A (zh) | 虚拟角色的控制方法、装置、电子设备以及存储介质 | |
| CN116912463A (zh) | 3d虚拟形象处理方法、装置、电子设备和可读存储介质 | |
| CN110399794A (zh) | 基于人体的姿态识别方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210618 |