CN108525305A - 图像处理方法、装置、存储介质及电子设备 - Google Patents

图像处理方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN108525305A
CN108525305A CN201810254621.0A CN201810254621A CN108525305A CN 108525305 A CN108525305 A CN 108525305A CN 201810254621 A CN201810254621 A CN 201810254621A CN 108525305 A CN108525305 A CN 108525305A
Authority
CN
China
Prior art keywords
virtual
movement locus
image processing
response
virtual role
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810254621.0A
Other languages
English (en)
Other versions
CN108525305B (zh
Inventor
蓝和
谭筱
王健
邹奎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201810254621.0A priority Critical patent/CN108525305B/zh
Publication of CN108525305A publication Critical patent/CN108525305A/zh
Application granted granted Critical
Publication of CN108525305B publication Critical patent/CN108525305B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55Controlling game characters or game objects based on the game progress
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80Special adaptations for executing a specific game genre or game mode
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/6009Methods for processing data by generating or executing the game program for importing or creating game content, e.g. authoring tools during game development, adapting content to different platforms, use of a scripting language to create content
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/6045Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/65Methods for processing data by generating or executing the game program for computing the condition of a game character
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/66Methods for processing data by generating or executing the game program for rendering three dimensional images
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082Virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请实施例公开了一种图像处理方法、装置、存储介质及电子设备。该图像处理方法,通过创建虚拟角色,以及通过摄像头获取目标人物的人物图像、以及目标人物的动作信息,然后响应于该动作信息,从预设数据库中获取虚拟角色的应答信息,并基于虚拟角色、人物图像、以及该应答信息,生成目标画面。该方案可基于现实人物的动作信息自动生成虚拟角色的应答信息,而无需使用者为虚拟角色匹配应答操作,可以提升增强现实游戏中交互方式、及游戏内容的丰富性。

Description

图像处理方法、装置、存储介质及电子设备
技术领域
本申请涉及通信技术领域,尤其涉及一种图像处理方法、装置、存储介质及电子设备。
背景技术
增强现实技术(Augmented Reality,AR)是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、三维模型的技术。把真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在,把虚拟世界融合在现实世界并进行互动。随着科技的不断发展,AR技术越来受到业界的关注。
发明内容
本申请实施例提供一种图像处理方法、装置、存储介质及电子设备,可以提升增强现实游戏的交互方式、及游戏内容的丰富性。
第一方面,本申请实施例提供一种图像处理方法,应用于电子设备,所述方法包括:
创建虚拟角色;
通过摄像头获取目标人物的人物图像、以及所述目标人物的动作信息;
响应于所述动作信息,从预设数据库中获取所述虚拟角色的应答信息;
基于所述虚拟角色、所述人物图像、以及所述应答信息,生成目标画面。
第二方面,本申请实施例提供了一种图像处理装置,应用于电子设备,所述装置包括:
创建模块,用于创建虚拟角色;
第一获取模块,用于通过摄像头获取目标人物的人物图像、以及所述目标人物的动作信息;
第二获取模块,用于响应于所述动作信息,从预设数据库中获取所述虚拟角色的应答信息;
画面生成模块,用于基于所述虚拟角色、所述人物图像、以及所述应答信息,生成目标画面。
第三方面,本申请实施例还提供了一种存储介质,所述存储介质中存储有多条指令,所述指令适于由处理器加载以执行上述的图像处理方法。
第四方面,本申请实施例还提供了一种电子设备,包括处理器及存储器,所述处理器与所述存储器电性连接,所述存储器用于存储指令和数据;处理器用于执行上述的图像处理方法。
本申请实施例公开了一种图像处理方法、装置、存储介质及电子设备。该图像处理方法,通过创建虚拟角色,以及通过摄像头获取目标人物的人物图像、以及目标人物的动作信息,然后响应于该动作信息,从预设数据库中获取虚拟角色的应答信息,并基于虚拟角色、人物图像、以及该应答信息,生成目标画面。该方案可基于现实人物的动作信息自动生成虚拟角色的应答信息,而无需使用者为虚拟角色匹配应答操作,可以提升增强现实游戏中交互方式、及游戏内容的丰富性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的图像处理方法的系统架构示意图。
图2是本申请实施例提供的图像处理方法的一种流程示意图。
图3是本申请实施例提供的图像处理方法的另一种流程示意图。
图4是本申请实施例提供的图像处理装置的一种结构示意图。
图5是本申请实施例提供的图像处理装置的另一种结构示意图。
图6是本申请实施例提供的图像处理装置的又一种结构示意图。
图7是本申请实施例提供的图像处理装置的再一种结构示意图。
图8是本申请实施例提供的电子设备的一种结构示意图。
图9是本申请实施例提供的电子设备的另一种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供一种图像处理方法、装置、存储介质及电子设备。以下将分别进行详细说明。
请参阅图1,图1为本申请实施例提供的图像处理方法的系统架构示意图。
如图1,电子设备通过无线网络或数据网络,与服务器建立通信连接。当电子设备接收到语音服务的开启指令时,创建虚拟角色,同时启动电子设备的摄像头获取获取目标人物的人物图像,并采集目标人物的动作信息。随后,响应于所述动作信息,基于与服务器所建立的通信渠道,从服务器中的预设数据库中获取所述虚拟角色的应答信息。之后,根据基于虚拟角色、人物图像、以及所获取的应答信息,生成目标画面。
电子设备和服务器之间可以但不限于采用以下传输协议中的任一种:HTTP(Hypertext transfer protocol,超文本传输协议)、FTP(File Transfer Protocol,文件传输协议)、P2P(Peer to Peer,对等网络)、P2SP(Peer to Server&Peer,点对服务器和点)等。
电子设备可以为移动终端,如手机、平板电脑、笔记本电脑等,本申请实施例对此不进行限定。
在一实施例中,提供一种图像处理方法,如图2所示,流程可以如下:
101、创建虚拟角色。
具体的,可以在启动某AR拍照软件或启动某AR游戏的应用程序时,触发电子设备接收角色创建指令,然后处理器响应该角色创建指令,从相应资源数据库中选取对应数据以创建该虚拟角色。需要说明的是,该资源数据库中可以存储有多个虚拟角色的创建资源,电子设备可以基于角色创建指令中携带的角色标识,从该资源数据库中选取对应的资源数据来创建虚拟角色。
其中,所创建的虚拟角色的展现形式可以有多种。比如,可以为人物的三维模型,还可以为动物的三维模型,或者还可以为其他具有面部特征(如眼睛、嘴巴、鼻子等)任意形态物体的三维模型。
102、通过摄像头获取目标人物的人物图像、以及目标人物的动作信息。
具体的,在创建完成虚拟角色后,电子设备可以自动触发图像获取指令。然后根据该图像获取指令启动电子设备中内置的摄像头,并通过该摄像头的摄像功能获取当前现实世界中目标人物的人物图像,以及通过该摄像头采集的图像中获取目标人物的动作信息。其中,该动作信息具体可以为用户的肢体动作,如手部、腿部、头部、躯体动作等。
另外,在一些实施例中,在获取目标人物的动作信息时,还可以通过除摄像头以外的其他方式实现获取。比如,通过目标人物所佩戴的传感设备获取。具体的,可预先建立电子设备与传感设备之间的通讯连接。在创建完成虚拟角色之后,电子设备将自动触发接收信息获取指令,然后电子设备中的处理器根据该信息获取指令,通过与传感设备之间的通信渠道接收传感设备所采集的体感信息。然后,电子设备对所接收到的体感信息进行分析处理,从而确定目标人物的动作信息。实际应用中,该传感设备包括但不限于数据手套、数据衣和/或数据鞋等外设。
其中,获取人物图像和动作信息不存在先后顺序,可以先获取人物图像后再触发获取动作信息;也可以先获取动作信息再触发获取人物图像;还可以同时触发获取人物图像、及动作信息。
103、响应于该动作信息,从预设数据库中获取该虚拟角色的应答信息。
在一些实施例中,步骤“响应于该动作信息,从预设数据库中获取虚拟角色的应答信息”可以包括以下流程:
从动作信息中提取目标人物的肢体移动特征;
基于肢体移动特征计算运动参数;
根据运动参数从预设数据库中获取虚拟角色的应答信息。
具体的,对该动作信息进行预处理,然后再对预处理后的动作信息进行分析,基于分析结果提取目标人物的肢体动作特征,如弯曲、伸直、跳跃等。然后,利用肢体动作特征与运动参数之间的对应关系,并利用相关算法计算出目标人物的运动参数。最后,根据所计算出的运动参数从预设数据库中获取匹配的应答信息。
其中,该运动参数具体可以包括速度、加速度、运动方向等数据。该预设数据库可以存储在电子设备本地存储区域;另外,为了节省电子设备存储空间,也可以将预设数据库存储在云端服务器中的存储区域。
104、基于虚拟角色、人物图像、以及该应答信息,生成目标画面。
本申请实施例中,生成目标画面的方式可以有多种。比如,在一些实施例中,步骤“基于虚拟角色、人物图像、以及应答信息,生成目标画面”可以包括以下流程:
根据该应答信息获取相应的第一运动轨迹;
将虚拟角色按照第一运动轨迹进行移动,生成第一虚拟画面;
基于第一虚拟画面、人物图像生成目标画面。
在此之前,可基于不同的应答信息,预先设置不同的运动轨迹,并建立应答信息与运动轨迹的对应关系,以便根据该应答信息获取相应的第一运动轨迹。
在一些实施例中,应答信息包括应答动作和应答表情;步骤“根据应答信息获取相应的第一运动轨迹”可以包括以下流程:
识别应答动作的动作特征;
根据动作特征从轨迹数据库中获取对应的运动轨迹集合;
识别该应答表情的表情特征;
从运动轨迹集合中选取与表情特征对应的第一运动轨迹。
具体的,可基于预先建立的应答信息与运动轨迹的对应关系,构建轨迹数据库。应用过程中,在成功识别动作特征时,将动作特征与轨迹数据库中预设动作特征进行匹配,以选中匹配的运动轨迹集合。然后,根据成功识别到的表情特征,从选取到的运动轨迹集合中选取对应的预设运动轨迹,并将其作为第一运动轨迹。
在一些实施例中,在基于所述第一虚拟画面、人物图像生成目标画面之前,该图像处理方法还可以包括:
接收用户的道具选择指令;
根据该道具选择指令从道具数据库中选取目标虚拟道具;
识别目标人物的动作信息,以生成第二运动轨迹;
将目标虚拟道具按照第二运动轨迹进行移动,生成第二虚拟画面。
本申请实施例中,需需先构建道具数据库。具体地,可基于获取的色彩信息和深度信息进行三维图形(three dimennsional,3D)建模,以生成虚拟道具,从而建立道具数据库。其中,3D建模,即通过三维制作软件在虚拟三维空间构建出具有三维数据的模型。
具体实施时,可通过摄像头获取道具模型的全景色彩图像和全景深度图像,将全景深度图像中的每一个像素点与全景色彩图像中的每一个像素点进行匹配,以得到道具模型的色彩-深度图像。然后,将色彩-深度图像中每一个像素点按照第一旋转角度和/或第二旋转角度建模,以构建道具模型的3D模型图像。
在识别动作信息时,比如,以动作信息为手势举例,可根据动态手势的指尖运动轨迹构建动态手势特征向量,动态手势特征向量中的每一分量为相邻两帧图像中指尖连线构成的方向向量,将动态手势特征向量送入支持向量机,由支持向量机中的分类器进行手势识别,获得动态手势的最优分类解,以识别用户手势。
在一些实施例中,可从动作信息中提取动作特征,将提取的体感特征量化处理,得到相应的量化数据。然后,通过预设的轨迹算法,输入量化数据,以输出对应的第二运动轨迹。
则在生成目标画面时,具体可以根据第二虚拟画面、第一虚拟画面、以及人物图像,生成目标画面。比如,将第二虚拟画面、第一虚拟画面、以及人物图像进行合成处理,以得到目标画面。
由上可知,本申请实施例提供的图像处理方法,通过创建虚拟角色,以及通过摄像头获取目标人物的人物图像、以及目标人物的动作信息,然后响应于该动作信息,从预设数据库中获取虚拟角色的应答信息,并基于虚拟角色、人物图像、以及该应答信息,生成目标画面。该方案可基于现实人物的动作信息自动生成虚拟角色的应答信息,而无需使用者为虚拟角色匹配应答操作,可以提升增强现实游戏中交互方式、及游戏内容的丰富性。
在一实施例中,还提供另一种图像处理方法,如图3所示,流程可以如下:
201、电子设备创建虚拟角色。
具体的,可以在启动某AR拍照软件或启动某AR游戏的应用程序时,触发电子设备接收角色创建指令,然后处理器响应该角色创建指令,从相应资源数据库中选取对应数据以创建该虚拟角色。需要说明的是,该资源数据库中可以存储有多个虚拟角色的创建资源,电子设备可以基于角色创建指令中携带的角色标识,从该资源数据库中选取对应的资源数据来创建虚拟角色。
其中,所创建的虚拟角色的展现形式可以有多种。比如,可以为人物的三维模型,还可以为动物的三维模型,或者还可以为其他具有面部特征(如眼睛、嘴巴、鼻子等)任意形态物体的三维模型。
202、电子设备通过摄像头获取目标人物的人物图像、以及目标人物的动作信息。
具体的,在创建完成虚拟角色后,电子设备可以自动触发图像获取指令。然后根据该图像获取指令启动电子设备中内置的摄像头,并通过该摄像头的摄像功能获取当前现实世界中目标人物的人物图像,以及通过该摄像头采集的图像中获取目标人物的动作信息。其中,该动作信息具体可以为用户的肢体动作,如手部、腿部、头部、躯体动作等。
其中,获取人物图像和动作信息不存在先后顺序,可以先获取人物图像后再触发获取动作信息;也可以先获取动作信息再触发获取人物图像;还可以同时触发获取人物图像、及动作信息。
203、电子设备从动作信息中提取目标人物的肢体移动特征。
具体的,对该动作信息进行预处理,然后再对预处理后的动作信息进行分析,基于分析结果提取目标人物的肢体动作特征,如弯曲、伸直、跳跃等。
204、电子设备基于肢体移动特征计算运动参数,并根据运动参数从预设数据库中获取虚拟角色的应答信息。
具体的,电子设备利用肢体动作特征与运动参数之间的对应关系,并利用相关算法计算出目标人物的运动参数(如速度、加速度和/或运动方向等)。然后,根据所计算出的运动参数从预设数据库中获取匹配的应答信息。
205、电子设备根据该应答信息获取相应的第一运动轨迹。
在一些实施例中,应答信息包括应答动作和应答表情。具体的,可基于预先建立的应答信息与运动轨迹的对应关系,构建轨迹数据库。应用过程中,在成功识别动作特征时,将动作特征与轨迹数据库中预设动作特征进行匹配,以选中匹配的运动轨迹集合。然后,根据成功识别到的表情特征,从选取到的运动轨迹集合中选取对应的预设运动轨迹,并将其作为第一运动轨迹。
206、电子设备将虚拟角色按照第一运动轨迹进行移动,生成第一虚拟画面。
需要说明的是,第一运动轨迹在显示界面中不可见,虚拟角色按照第一运动轨迹的路线移动即可。
207、电子设备接收用户的道具选择指令,根据该道具选择指令从道具数据库中选取目标虚拟道具。
本申请实施例中,需需先构建道具数据库。具体地,可基于获取的色彩信息和深度信息进行3D建模,以生成虚拟道具,从而建立道具数据库。
208、电子设备识别目标人物当前的动作信息,以生成第二运动轨迹。
电子设备在识别动作信息时,比如,以动作信息为手势举例,可根据动态手势的指尖运动轨迹构建动态手势特征向量,动态手势特征向量中的每一分量为相邻两帧图像中指尖连线构成的方向向量,将动态手势特征向量送入支持向量机,由支持向量机中的分类器进行手势识别,获得动态手势的最优分类解,以识别用户手势。
209、电子设备将目标虚拟道具按照第二运动轨迹进行移动,生成第二虚拟画面。
需要说明的是,第二运动轨迹在显示界面中不可见,目标虚拟道具按照第二运动轨迹的路线移动即可。
210、电子设备根据第一虚拟画面、第二虚拟画面、以及人物图像,生成目标画面。
具体的,将第二虚拟画面、第一虚拟画面、以及人物图像进行合成处理,以得到目标画面。
由上可知,本申请实施例提供的图像处理方法,可基于现实人物的动作信息自动生成虚拟角色的应答信息,而无需使用者为虚拟角色匹配应答操作,可以提升增强现实游戏中交互方式、及游戏内容的丰富性。
在本申请又一实施例中,还提供一种图像处理装置,该图像处理装置可以软件或硬件的形式集成在电子设备中,该电子设备具体可以包括手机、平板电脑、笔记本电脑等设备。如图4所示,该图像处理装置300可以包括创建模块31、第一获取模块32、第二获取模块33以及画面生成模块34,其中:
创建模块31,用于创建虚拟角色;
第一获取模块32,用于通过摄像头获取目标人物的人物图像、以及该目标人物的动作信息;
第二获取模块33,用于响应于该动作信息,从预设数据库中获取该虚拟角色的应答信息;
画面生成模块34,用于基于该虚拟角色、该人物图像、以及该应答信息,生成目标画面。
在一些实施例中,参考图5,该第二获取模块33可以包括:
提取子模块331,用于从该动作信息中提取目标人物的肢体移动特征;
计算子模块332,用于基于该肢体移动特征计算运动参数;
信息获取子模块333,用于根据该运动参数从预设数据库中获取该虚拟角色的应答信息。
在一些实施例中,参考图6,画面生成模块34可以包括:
轨迹获取子模块341,用于根据该应答信息获取相应的第一运动轨迹;
移动子模块342,用于将该虚拟角色按照该第一运动轨迹进行移动,生成第一虚拟画面;
生成子模块343,用于基于该第一虚拟画面、该人物图像生成目标画面。
在一些实施例中,该应答信息包括应答动作和应答表情;该轨迹获取子模块341用于:
识别该应答动作的动作特征;
根据该动作特征从轨迹数据库中获取对应的运动轨迹集合;
识别该应答表情的表情特征;
从该运动轨迹集合中选取与该表情特征对应的第一运动轨迹。
在一些实施例中,参考图7,该装置还可以包括:
接收模块35,用于在基于该第一虚拟画面、该人物图像生成目标画面之前,接收用户的道具选择指令;
选取模块36,用于根据该道具选择指令从道具数据库中选取目标虚拟道具;
识别模块37,用于识别目标人物的动作信息,以生成第二运动轨迹;
移动模块38,用于将该目标虚拟道具按照该第二运动轨迹进行移动,生成第二虚拟画面。
该生成子模块343,进一步可以用于根据该第二虚拟画面、该第一虚拟画面、以及该人物图像,生成目标画面。
由上可知,本申请实施例提供的图像处理装置,通过创建虚拟角色,以及通过摄像头获取目标人物的人物图像、以及目标人物的动作信息,然后响应于该动作信息,从预设数据库中获取虚拟角色的应答信息,并基于虚拟角色、人物图像、以及该应答信息,生成目标画面。该方案可基于现实人物的动作信息自动生成虚拟角色的应答信息,而无需使用者为虚拟角色匹配应答操作,可以提升增强现实游戏中交互方式、及游戏内容的丰富性。
在本申请又一实施例中还提供一种电子设备,该电子设备可以是智能手机、平板电脑等设备。如图8所示,电子设备400包括处理器401及存储器402。其中,处理器401与存储器402电性连接。
处理器401是电子设备400的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或加载存储在存储器402内的应用,以及调用存储在存储器402内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。
在本实施例中,电子设备400中的处理器401会按照如下的步骤,将一个或一个以上的应用的进程对应的指令加载到存储器402中,并由处理器401来运行存储在存储器402中的应用,从而实现各种功能:
创建虚拟角色;
通过摄像头获取目标人物的人物图像、以及该目标人物的动作信息;
响应于该动作信息,从预设数据库中获取该虚拟角色的应答信息;
基于该虚拟角色、该人物图像、以及该应答信息,生成目标画面。
在一些实施例中,处理器401具体可以用于执行以下操作:
从该动作信息中提取目标人物的肢体移动特征;
基于该肢体移动特征计算运动参数;
根据该运动参数从预设数据库中获取该虚拟角色的应答信息。
在一些实施例中,处理器401具体还可以用于执行以下操作:
根据该应答信息获取相应的第一运动轨迹;
将该虚拟角色按照该第一运动轨迹进行移动,生成第一虚拟画面;
基于该第一虚拟画面、该人物图像生成目标画面。
在一些实施例中,该应答信息包括应答动作和应答表情;处理器401具体还可以用于执行以下操作:
该根据该应答信息获取相应的第一运动轨迹,包括:
识别该应答动作的动作特征;
根据该动作特征从轨迹数据库中获取对应的运动轨迹集合;
识别该应答表情的表情特征;
从该运动轨迹集合中选取与该表情特征对应的第一运动轨迹。
在一些实施例中,在基于该第一虚拟画面、该人物图像生成目标画面之前,处理器401具体还可以用于执行以下操作:
接收用户的道具选择指令;
根据该道具选择指令从道具数据库中选取目标虚拟道具;
识别目标人物的动作信息,以生成第二运动轨迹;
将该目标虚拟道具按照该第二运动轨迹进行移动,生成第二虚拟画面。
则处理器401还可以进一步根据该第二虚拟画面、该第一虚拟画面、以及该人物图像,生成目标画面。
存储器402可用于存储应用和数据。存储器402存储的应用中包含有可在处理器中执行的指令。应用可以组成各种功能模块。处理器401通过运行存储在存储器402的应用,从而执行各种功能应用以及数据处理。
在一些实施例中,如图9所示,电子设备400还包括:显示屏403、控制电路404、射频电路405、输入单元406、音频电路407、传感器408以及电源409。其中,处理器401分别与显示屏403、控制电路404、射频电路405、输入单元406、音频电路407、传感器408以及电源409电性连接。
显示屏403可用于显示由用户输入的信息或提供给用户的信息以及电子设备的各种图形用户接口,这些图形用户接口可以由图像、文本、图标、视频和其任意组合来构成。
控制电路404与显示屏403电性连接,用于控制显示屏403显示信息。
射频电路405用于收发射频信号,以通过无线通信与网络设备或其他电子设备建立无线通讯,与网络设备或其他电子设备之间收发信号。
输入单元406可用于接收输入的数字、字符信息或用户特征信息(例如指纹),以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。其中,输入单元406可以包括指纹识别模组。
音频电路407可通过扬声器、传声器提供用户与电子设备之间的音频接口。
传感器408用于采集外部环境信息。传感器408可以包括环境亮度传感器、加速度传感器、光传感器、运动传感器、以及其他传感器。
电源409用于给电子设备400的各个部件供电。在一些实施例中,电源409可以通过电源管理系统与处理器401逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管图9中未示出,电子设备400还可以包括摄像头、蓝牙模块等,在此不再赘述。
由上可知,本申请实施例提供的电子设备,通过创建虚拟角色,以及通过摄像头获取目标人物的人物图像、以及目标人物的动作信息,然后响应于该动作信息,从预设数据库中获取虚拟角色的应答信息,并基于虚拟角色、人物图像、以及该应答信息,生成目标画面。该方案可基于现实人物的动作信息自动生成虚拟角色的应答信息,而无需使用者为虚拟角色匹配应答操作,可以提升增强现实游戏中交互方式、及游戏内容的丰富性。
在一些实施例中,还提供了一种存储介质,该存储介质中存储有多条指令,该指令适于由处理器加载以执行上述任一图像处理方法。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,RandomAccess Memory)、磁盘或光盘等。
在描述本申请的概念的过程中使用了术语“一”和“所述”以及类似的词语(尤其是在所附的权利要求书中),应该将这些术语解释为既涵盖单数又涵盖复数。此外,除非本文中另有说明,否则在本文中叙述数值范围时仅仅是通过快捷方法来指代属于相关范围的每个独立的值,而每个独立的值都并入本说明书中,就像这些值在本文中单独进行了陈述一样。另外,除非本文中另有指明或上下文有明确的相反提示,否则本文中所述的所有方法的步骤都可以按任何适当次序加以执行。本申请的改变并不限于描述的步骤顺序。除非另外主张,否则使用本文中所提供的任何以及所有实例或示例性语言(例如,“例如”)都仅仅为了更好地说明本申请的概念,而并非对本申请的概念的范围加以限制。在不脱离精神和范围的情况下,所属领域的技术人员将易于明白多种修改和适应。
以上对本申请实施例所提供的图像处理方法、装置、存储介质及电子设备进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (12)

1.一种图像处理方法,应用于电子设备,其特征在于,所述方法包括:
创建虚拟角色;
通过摄像头获取目标人物的人物图像、以及所述目标人物的动作信息;
响应于所述动作信息,从预设数据库中获取所述虚拟角色的应答信息;
基于所述虚拟角色、所述人物图像、以及所述应答信息,生成目标画面。
2.根据权利要求1所述的图像处理方法,其特征在于,所述响应于所述动作信息,从预设数据库中获取所述虚拟角色的应答信息,包括:
从所述动作信息中提取目标人物的肢体移动特征;
基于所述肢体移动特征计算运动参数;
根据所述运动参数从预设数据库中获取所述虚拟角色的应答信息。
3.根据权利要求1所述的图像处理方法,其特征在于,所述基于所述虚拟角色、所述人物图像、以及所述应答信息,生成目标画面,包括:
根据所述应答信息获取相应的第一运动轨迹;
将所述虚拟角色按照所述第一运动轨迹进行移动,生成第一虚拟画面;
基于所述第一虚拟画面、所述人物图像生成目标画面。
4.根据权利要求3所述的图像处理方法,其特征在于,所述应答信息包括应答动作和应答表情;
所述根据所述应答信息获取相应的第一运动轨迹,包括:
识别所述应答动作的动作特征;
根据所述动作特征从轨迹数据库中获取对应的运动轨迹集合;
识别所述应答表情的表情特征;
从所述运动轨迹集合中选取与所述表情特征对应的第一运动轨迹。
5.根据权利要求3所述的图像处理方法,在基于所述第一虚拟画面、所述人物图像生成目标画面之前,所述方法还包括:
接收用户的道具选择指令;
根据所述道具选择指令从道具数据库中选取目标虚拟道具;
识别目标人物的动作信息,以生成第二运动轨迹;
将所述目标虚拟道具按照所述第二运动轨迹进行移动,生成第二虚拟画面。
所述基于所述第一虚拟画面、所述人物图像生成目标画面,包括:
根据所述第二虚拟画面、所述第一虚拟画面、以及所述人物图像,生成目标画面。
6.一种图像处理装置,应用于电子设备,其特征在于,包括:
创建模块,用于创建虚拟角色;
第一获取模块,用于通过摄像头获取目标人物的人物图像、以及所述目标人物的动作信息;
第二获取模块,用于响应于所述动作信息,从预设数据库中获取所述虚拟角色的应答信息;
画面生成模块,用于基于所述虚拟角色、所述人物图像、以及所述应答信息,生成目标画面。
7.根据权利要求6所述的图像处理装置,其特征在于,所述第二获取模块包括:
提取子模块,用于从所述动作信息中提取目标人物的肢体移动特征;
计算子模块,用于基于所述肢体移动特征计算运动参数;
信息获取子模块,用于根据所述运动参数从预设数据库中获取所述虚拟角色的应答信息。
8.根据权利要求6所述的图像处理装置,其特征在于,所述画面生成模块包括:
轨迹获取子模块,用于根据所述应答信息获取相应的第一运动轨迹;
移动子模块,用于将所述虚拟角色按照所述第一运动轨迹进行移动,生成第一虚拟画面;
生成子模块,用于基于所述第一虚拟画面、所述人物图像生成目标画面。
9.根据权利要求8所述的图像处理装置,其特征在于,所述应答信息包括应答动作和应答表情;所述轨迹获取子模块用于:
识别所述应答动作的动作特征;
根据所述动作特征从轨迹数据库中获取对应的运动轨迹集合;
识别所述应答表情的表情特征;
从所述运动轨迹集合中选取与所述表情特征对应的第一运动轨迹。
10.根据权利要求8所述的图像处理装置,其特征在于,所述装置还包括:
接收模块,用于在基于所述第一虚拟画面、所述人物图像生成目标画面之前,接收用户的道具选择指令;
选取模块,用于根据所述道具选择指令从道具数据库中选取目标虚拟道具;
识别模块,用于识别目标人物的动作信息,以生成第二运动轨迹;
移动模块,用于将所述目标虚拟道具按照所述第二运动轨迹进行移动,生成第二虚拟画面。
所述生成子模块,用于根据所述第二虚拟画面、所述第一虚拟画面、以及所述人物图像,生成目标画面。
11.一种存储介质,其特征在于,所述存储介质中存储有多条指令,所述指令适于由处理器加载以执行根据权利要求1-5中任一项所述的图像处理方法。
12.一种电子设备,其特征在于,包括处理器及存储器,所述处理器与所述存储器电性连接,所述存储器用于存储指令和数据;所述处理器用于执行根据权利要求1-5中任一项所述的图像处理方法。
CN201810254621.0A 2018-03-26 2018-03-26 图像处理方法、装置、存储介质及电子设备 Active CN108525305B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810254621.0A CN108525305B (zh) 2018-03-26 2018-03-26 图像处理方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810254621.0A CN108525305B (zh) 2018-03-26 2018-03-26 图像处理方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN108525305A true CN108525305A (zh) 2018-09-14
CN108525305B CN108525305B (zh) 2020-08-14

Family

ID=63484741

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810254621.0A Active CN108525305B (zh) 2018-03-26 2018-03-26 图像处理方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN108525305B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109445579A (zh) * 2018-10-16 2019-03-08 翟红鹰 基于区块链的虚拟形象交互方法、终端及可读存储介质
CN109464803A (zh) * 2018-11-05 2019-03-15 腾讯科技(深圳)有限公司 虚拟对象控制、模型训练方法、装置、存储介质和设备
CN109829965A (zh) * 2019-02-27 2019-05-31 Oppo广东移动通信有限公司 人脸模型的动作处理方法、装置、存储介质及电子设备
CN109876450A (zh) * 2018-12-14 2019-06-14 深圳壹账通智能科技有限公司 基于ar游戏的实现方法、服务器、计算机设备及存储介质
CN110413109A (zh) * 2019-06-28 2019-11-05 广东虚拟现实科技有限公司 虚拟内容的生成方法、装置、系统、电子设备及存储介质
CN110928411A (zh) * 2019-11-18 2020-03-27 珠海格力电器股份有限公司 一种基于ar的交互方法、装置、存储介质及电子设备
CN111079496A (zh) * 2019-06-09 2020-04-28 广东小天才科技有限公司 一种点读状态的显示方法及电子设备
CN111104927A (zh) * 2019-12-31 2020-05-05 维沃移动通信有限公司 一种目标人物的信息获取方法及电子设备
CN111510582A (zh) * 2019-01-31 2020-08-07 史克威尔·艾尼克斯有限公司 用于提供具有虚拟角色的图像的设备
CN111773658A (zh) * 2020-07-03 2020-10-16 珠海金山网络游戏科技有限公司 一种基于计算机视觉库的游戏交互方法及装置
CN113587975A (zh) * 2020-04-30 2021-11-02 伊姆西Ip控股有限责任公司 用于管理应用环境的方法、设备和计算机程序产品
CN114115528A (zh) * 2021-11-02 2022-03-01 深圳市雷鸟网络传媒有限公司 虚拟对象控制方法、装置、计算机设备和存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127167A (zh) * 2016-06-28 2016-11-16 广东欧珀移动通信有限公司 一种增强现实中目标对象的识别方法、装置及移动终端
CN106157363A (zh) * 2016-06-28 2016-11-23 广东欧珀移动通信有限公司 一种基于增强现实的拍照方法、装置和移动终端
CN106492461A (zh) * 2016-09-13 2017-03-15 广东小天才科技有限公司 一种增强现实ar游戏的实现方法及装置、用户终端
CN106582016A (zh) * 2016-12-05 2017-04-26 湖南简成信息技术有限公司 基于增强现实的运动游戏控制方法及控制装置
CN106774907A (zh) * 2016-12-22 2017-05-31 腾讯科技(深圳)有限公司 一种在虚拟场景中调整虚拟对象可视区域的方法及移动终端
CN106984043A (zh) * 2017-03-24 2017-07-28 武汉秀宝软件有限公司 一种多人对战游戏的数据同步方法和系统
CN107340859A (zh) * 2017-06-14 2017-11-10 北京光年无限科技有限公司 多模态虚拟机器人的多模态交互方法和系统
CN107590793A (zh) * 2017-09-11 2018-01-16 广东欧珀移动通信有限公司 图像处理方法及装置、电子装置和计算机可读存储介质
CN107707839A (zh) * 2017-09-11 2018-02-16 广东欧珀移动通信有限公司 图像处理方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127167A (zh) * 2016-06-28 2016-11-16 广东欧珀移动通信有限公司 一种增强现实中目标对象的识别方法、装置及移动终端
CN106157363A (zh) * 2016-06-28 2016-11-23 广东欧珀移动通信有限公司 一种基于增强现实的拍照方法、装置和移动终端
CN106492461A (zh) * 2016-09-13 2017-03-15 广东小天才科技有限公司 一种增强现实ar游戏的实现方法及装置、用户终端
CN106582016A (zh) * 2016-12-05 2017-04-26 湖南简成信息技术有限公司 基于增强现实的运动游戏控制方法及控制装置
CN106774907A (zh) * 2016-12-22 2017-05-31 腾讯科技(深圳)有限公司 一种在虚拟场景中调整虚拟对象可视区域的方法及移动终端
CN106984043A (zh) * 2017-03-24 2017-07-28 武汉秀宝软件有限公司 一种多人对战游戏的数据同步方法和系统
CN107340859A (zh) * 2017-06-14 2017-11-10 北京光年无限科技有限公司 多模态虚拟机器人的多模态交互方法和系统
CN107590793A (zh) * 2017-09-11 2018-01-16 广东欧珀移动通信有限公司 图像处理方法及装置、电子装置和计算机可读存储介质
CN107707839A (zh) * 2017-09-11 2018-02-16 广东欧珀移动通信有限公司 图像处理方法及装置

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109445579A (zh) * 2018-10-16 2019-03-08 翟红鹰 基于区块链的虚拟形象交互方法、终端及可读存储介质
CN109464803B (zh) * 2018-11-05 2022-03-04 腾讯科技(深圳)有限公司 虚拟对象控制、模型训练方法、装置、存储介质和设备
CN109464803A (zh) * 2018-11-05 2019-03-15 腾讯科技(深圳)有限公司 虚拟对象控制、模型训练方法、装置、存储介质和设备
CN109876450A (zh) * 2018-12-14 2019-06-14 深圳壹账通智能科技有限公司 基于ar游戏的实现方法、服务器、计算机设备及存储介质
CN111510582A (zh) * 2019-01-31 2020-08-07 史克威尔·艾尼克斯有限公司 用于提供具有虚拟角色的图像的设备
CN109829965A (zh) * 2019-02-27 2019-05-31 Oppo广东移动通信有限公司 人脸模型的动作处理方法、装置、存储介质及电子设备
CN109829965B (zh) * 2019-02-27 2023-06-27 Oppo广东移动通信有限公司 人脸模型的动作处理方法、装置、存储介质及电子设备
CN111079496A (zh) * 2019-06-09 2020-04-28 广东小天才科技有限公司 一种点读状态的显示方法及电子设备
CN111079496B (zh) * 2019-06-09 2023-05-26 广东小天才科技有限公司 一种点读状态的显示方法及电子设备
CN110413109A (zh) * 2019-06-28 2019-11-05 广东虚拟现实科技有限公司 虚拟内容的生成方法、装置、系统、电子设备及存储介质
CN110928411B (zh) * 2019-11-18 2021-03-26 珠海格力电器股份有限公司 一种基于ar的交互方法、装置、存储介质及电子设备
CN110928411A (zh) * 2019-11-18 2020-03-27 珠海格力电器股份有限公司 一种基于ar的交互方法、装置、存储介质及电子设备
CN111104927A (zh) * 2019-12-31 2020-05-05 维沃移动通信有限公司 一种目标人物的信息获取方法及电子设备
CN111104927B (zh) * 2019-12-31 2024-03-22 维沃移动通信有限公司 一种目标人物的信息获取方法及电子设备
CN113587975A (zh) * 2020-04-30 2021-11-02 伊姆西Ip控股有限责任公司 用于管理应用环境的方法、设备和计算机程序产品
CN111773658A (zh) * 2020-07-03 2020-10-16 珠海金山网络游戏科技有限公司 一种基于计算机视觉库的游戏交互方法及装置
CN111773658B (zh) * 2020-07-03 2024-02-23 珠海金山数字网络科技有限公司 一种基于计算机视觉库的游戏交互方法及装置
CN114115528A (zh) * 2021-11-02 2022-03-01 深圳市雷鸟网络传媒有限公司 虚拟对象控制方法、装置、计算机设备和存储介质
CN114115528B (zh) * 2021-11-02 2024-01-19 深圳市雷鸟网络传媒有限公司 虚拟对象控制方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN108525305B (zh) 2020-08-14

Similar Documents

Publication Publication Date Title
CN108525305A (zh) 图像处理方法、装置、存储介质及电子设备
CN108520552A (zh) 图像处理方法、装置、存储介质及电子设备
US11452941B2 (en) Emoji-based communications derived from facial features during game play
CN110390705B (zh) 一种生成虚拟形象的方法及装置
CN108519816A (zh) 信息处理方法、装置、存储介质及电子设备
CN108874114B (zh) 实现虚拟对象情绪表达的方法、装置、计算机设备及存储介质
CN109325450A (zh) 图像处理方法、装置、存储介质及电子设备
CN110555507B (zh) 虚拟机器人的交互方法、装置、电子设备及存储介质
CN109885367B (zh) 互动聊天实现方法、装置、终端和存储介质
CN112199016B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
KR102491140B1 (ko) 가상 아바타 생성 방법 및 장치
CN110947181A (zh) 游戏画面显示方法、装置、存储介质及电子设备
CN108525289B (zh) 图像处理方法、装置、存储介质及电子设备
CN108563327B (zh) 增强现实方法、装置、存储介质及电子设备
CN108200334A (zh) 图像拍摄方法、装置、存储介质及电子设备
JP2023524119A (ja) 顔イメージ生成方法、装置、電子機器及び可読記憶媒体
CN108668050A (zh) 基于虚拟现实的视频拍摄方法和装置
CN113766168A (zh) 一种互动处理方法、装置、终端及介质
JP2020064426A (ja) コミュニケーションシステム及びプログラム
CN112308977A (zh) 视频处理方法、视频处理装置和存储介质
CN114187392B (zh) 虚拟偶像的生成方法、装置和电子设备
CN108537149B (zh) 图像处理方法、装置、存储介质及电子设备
CN110622218A (zh) 一种图像显示方法、装置、存储介质和终端
CN111274489B (zh) 信息处理方法、装置、设备及存储介质
CN113610953A (zh) 一种信息处理方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18

Applicant after: OPPO Guangdong Mobile Communications Co., Ltd.

Address before: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18

Applicant before: Guangdong OPPO Mobile Communications Co., Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant