CN106326981B - 机器人自动创建个性化虚拟机器人的方法及装置 - Google Patents

机器人自动创建个性化虚拟机器人的方法及装置 Download PDF

Info

Publication number
CN106326981B
CN106326981B CN201610798118.2A CN201610798118A CN106326981B CN 106326981 B CN106326981 B CN 106326981B CN 201610798118 A CN201610798118 A CN 201610798118A CN 106326981 B CN106326981 B CN 106326981B
Authority
CN
China
Prior art keywords
robot
information
human body
characteristic parameter
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610798118.2A
Other languages
English (en)
Other versions
CN106326981A (zh
Inventor
谢文静
俞志晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Virtual Point Technology Co Ltd
Original Assignee
Beijing Guangnian Wuxian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Guangnian Wuxian Technology Co Ltd filed Critical Beijing Guangnian Wuxian Technology Co Ltd
Priority to CN201610798118.2A priority Critical patent/CN106326981B/zh
Publication of CN106326981A publication Critical patent/CN106326981A/zh
Application granted granted Critical
Publication of CN106326981B publication Critical patent/CN106326981B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/004Artificial life, i.e. computing arrangements simulating life
    • G06N3/008Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Robotics (AREA)
  • Manipulator (AREA)

Abstract

本发明提供一种机器人自动创建个性化虚拟机器人的方法,其特征在于,所述方法包括以下步骤:采集待学习对象的人体特征信息;从所述人体特征信息中提取出代表特定学习对象的个性的特征参数;利用机器人操作系统将所述代表特定学习对象的个性的特征参数与机器人中预先存储的通用人体模型进行融合,以创建针对待学习对象的虚拟机器人。本发明可以在某特定用户不在现场的情况下,可向其他用户展示智能机器人与该特定用户之间的交互过程,从而提高了机器人应用的范围。

Description

机器人自动创建个性化虚拟机器人的方法及装置
技术领域
本发明涉及智能机器人领域,具体地说,涉及一种通过机器人来自动创建个性化虚拟机器人的方法及装置。
背景技术
目前,在智能机器人领域中,其应用还一般涉及机器人与真正的人类的交互,机器人的交互输入均来自人类用户,并且机器人的输出对象也是人类用户。但有的时候,智能机器人还需要跟虚拟的人物形象进行交互。例如,在某特定用户不在现场的情况下,可向其他用户展示智能机器人与该特定用户之间的交互过程。在这种情况下,就需要机器人首先能够自动根据已有的资料进行虚拟人的建立过程。
此外,在安全保护领域中,将平面形象资料自动转换成三维立体人形也是很有意义的。例如,海关过境检查时,需要根据所输入的罪犯的形象资料来对过境的人进行扫描筛查,从而找到该罪犯。但是人肉眼通过照片等平面资料还原出的立体形象,会经常出现错误,导致遗漏可疑人选。如果应用于海关的机器人自动能够根据罪犯的形象资料进行罪犯的人体虚拟化过程,那么借助于该机器人海关人员在对过境人员进行筛选时就会大大提高找到罪犯的效率和准确度。
为此,目前需要一种能够让智能机器人自动创建个性化虚拟人类的方法和装置。
发明内容
本发明的目的在于解决现有技术中不能通过实体机器人而创建虚拟机器人的问题,提供了一种机器人自动创建个性化虚拟机器人的方法。该方法包括以下步骤:
采集待学习对象的人体特征信息;
从所述人体特征信息中提取出代表特定学习对象的个性的特征参数;
利用机器人操作系统将所述代表特定学习对象的个性的特征参数与机器人中预先存储的通用人体模型进行融合,以创建针对待学习对象的虚拟机器人。
根据本发明的机器人自动创建个性化虚拟机器人的方法,所述人体特征信息包括人面部特征信息、表情信息、身高体型特征信息、语言特征信息、动作特征信息。
根据本发明的机器人自动创建个性化虚拟机器人的方法,所述方法还包括:将所述人体特征信息存储到记忆库中以进行记忆。
根据本发明的机器人自动创建个性化虚拟机器人的方法,在利用机器人操作系统将所述代表特定学习对象的个性的特征参数与机器人中预先存储的通用人体模型进行融合的步骤中,还包括以下步骤:
提取所述代表特定学习对象的个性的特征参数中的人脸特征参数;
将预先存储的通用人脸模型与所述人脸特征参数进行结合,以将所述通用人脸模型变换到与所述特定学习对象对应的特定人脸模型;
将所述代表特定学习对象的个性的特征参数中的表情参数融合到所述特定人脸模型中,以形成具有特定人脸表情的人脸模型。
根据本发明的机器人自动创建个性化虚拟机器人的方法,机器人操作系统可安装自动创建个性化虚拟机器人的应用APP。
根据本发明的机器人自动创建个性化虚拟机器人的方法,所述方法还包括:
运行所述APP,在所述操作系统中控制所述虚拟机器人执行多模态交互的步骤。
根据本发明的另一个方面,还提供了一种机器人自动创建个性化虚拟机器人的装置。所述装置包括以下单元:
人体特征信息采集单元,其用以采集待学习对象的人体特征信息;
个性特征提取单元,其用以从所述人体特征信息中提取出代表特定学习对象的个性的特征参数;
融合创建单元,其用以利用机器人操作系统将所述代表特定学习对象的个性的特征参数与机器人中预先存储的通用人体模型进行融合,以创建针对待学习对象的虚拟机器人。
根据本发明的机器人自动创建个性化虚拟机器人的装置,在通过机器人上设置的传感器采集待学习对象的人体特征信息之后,将所述人体特征信息存储到记忆库中以进行记忆。
根据本发明的机器人自动创建个性化虚拟机器人的装置,在用以利用机器人操作系统将所述代表特定学习对象的个性的特征参数与机器人中预先存储的通用人体模型进行融合的融合创建单元中,还包括以下子单元:
人脸特征提取子单元,其用以提取所述代表特定学习对象的个性的特征参数中的人脸特征参数;
人脸特征结合子单元,其用以将预先存储的通用人脸模型与所述人脸特征参数进行结合,以将所述通用人脸模型变换到与所述特定学习对象对应的特定人脸模型;
表情融合子单元,其用以将所述代表特定学习对象的个性的特征参数中的表情参数融合到所述特定人脸模型中,以形成具有特定人脸表情的人脸模型。
根据本发明的机器人自动创建个性化虚拟机器人的装置,机器人操作系统上安装有用以自动创建个性化虚拟机器人的应用APP,所述APP在所述操作系统中运行时用以控制所述虚拟机器人执行多模态交互。
本发明的有益之处在于,本发明可以在某特定用户不在现场的情况下,可向其他用户展示智能机器人与该特定用户之间的交互过程,从而提高了机器人应用的范围。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例共同用于解释本发明,并不构成对本发明的限制。在附图中:
图1为根据本发明的一个实施例进行虚拟机器人创建的总体流程图;
图2为根据本发明的一个实施例将特定参数与通用人脸模型进行融合的流程图;
图3为根据本发明的一个实施例的机器人自动创建个性化虚拟机器人的装置。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,以下结合附图对本发明实施例作进一步地详细说明。
如图1所示,其中显示了根据本发明的采用机器人自动创建个性化虚拟机器人的方法的流程图。
在图1中,方法开始于步骤S101,实体机器人通过传感器例如摄像头采集待学习对象的人体特征信息。所采集的人体特征信息也可以是所提供的平面资料,或者其他终端提供的有关人体特征的信息。例如,可以通过数据传输图片资料的方式,机器人获取某特定对象的身高、肤色、面部特征。通过数据传输含有该特定对象的视频资料的方式,机器人从视频资料的各个帧中获取某特定对象的体态、表情、表达方式等信息。因此,上述人体特征信息包括人面部特征信息、表情信息、身高体型特征信息、语言特征信息、动作特征信息。
在步骤S102中,从所采集的人体特征信息中提取待学习对象的个性的特征参数。待学习对象的个性参数包含在上述平面资料中,例如包含在图片或者视频中。通过采用图像识别技术对所采集的图片或视频中特定人物进行识别,提取出构成该特定人物的三维立体静态特征参数,如,身高、肤色、发型、面部特征。此外,为了更逼真地模仿特定对象,还提取该特定人物的步态、表情、语言表达特征等动态的特征参数。
在一个优选的实施例中,机器人操作系统会将提取的人体特征信息存储到记忆库中以进行记忆。在记忆库中存储所提取的人体特征信息的目的是将信息保存下来,以便于以后进行信息融合时使用。
在步骤S103中,利用机器人操作系统将代表特定学习对象的个性的特征参数与机器人中预先存储的通用人体模型进行融合,以创建针对待学习对象的虚拟机器人。
具体地,在利用机器人操作系统将所述代表特定学习对象的个性的特征参数与机器人中预先存储的通用人体模型进行融合的步骤中,还包括以下步骤,如图2所示。
在步骤S201中,提取代表特定学习对象的个性的特征参数中的人脸特征参数。在海关侦察的应用中,当特定学习对象为某可疑人员时,机器人会根据输入的平面图片资料和现有的视频资料,通过图像识别技术识别出资料中具有可疑人员的信息,例如该人的面部特征、语言特征、动作特征等。然而,在此步骤中,仅需要人脸特征参数。
在步骤S202中,将预先存储的通用人脸模型与所述人脸特征参数进行结合,以将通用人脸模型变换到与所述特定学习对象对应的特定人脸模型。实体机器人的记忆库中预先已经存储了多种通用人脸模型。例如,根据性别区分的通用人脸模型、根据年龄区分的通用人脸模型以及根据人种分类的通用人脸模型。首先根据已经提取的人脸特征信息中的一些或全部可以筛选出所适用的那个通用人脸模型。然后将这些信息与所选中的通用模型进行结合,从而将该通用模型变换到与特定学习对象对应的特定人脸模型。
在步骤S203中,将所述代表特定学习对象的个性的特征参数中的表情参数融合到所述特定人脸模型中,以形成具有特定人脸表情的人脸模型。
人的表情特征在进行人物形象塑造时非常重要。代表特定学习对象的个性的特征参数中的表情参数例如微笑时的面部特征、说话时的口型等均作为人脸模型建立时的输入参数来使用。
在根据本发明的机器人自动创建个性化虚拟机器人的方法中,机器人操作系统可安装自动创建个性化虚拟机器人的应用APP。安装了APP应用的机器人操作系统可以根据用户的需要和指令进行个性化虚拟机器人的自动创建。
在APP运行以后,首先采集待学习对象的人体特征信息;接下来,利用机器人操作系统从人体特征信息中提取出代表特定学习对象的个性的特征参数;最后,利用机器人操作系统将代表特定学习对象的个性的特征参数与机器人中预先存储的通用人体模型进行融合,以创建针对待学习对象的虚拟机器人。
在利用机器人操作系统将所述代表特定学习对象的个性的特征参数与机器人中预先存储的通用人体模型进行融合时,该APP还执行如下功能;
提取所述代表特定学习对象的个性的特征参数中的人脸特征参数;
将预先存储的通用人脸模型与所述人脸特征参数进行结合,以将所述通用人脸模型变换到与所述特定学习对象对应的特定人脸模型;
将所述代表特定学习对象的个性的特征参数中的表情参数融合到所述特定人脸模型中,以形成具有特定人脸表情的人脸模型。
最后,通过该APP机器人操作系统就自动创建了所需要的虚拟机器人,其中该虚拟机器人的形象与待学习对象一致。
在运行APP自动创建了虚拟机器人之后,通过机器人操作系统还可以进一步控制该自动创建的虚拟机器人执行多模态交互。
根据本发明的另一个方面,还提供了一种机器人自动创建个性化虚拟机器人的装置。所述装置包括以下单元:
人体特征信息采集单元301,其用以采集待学习对象的人体特征信息;
个性特征提取单元302,其用以从所述人体特征信息中提取出代表特定学习对象的个性的特征参数;
融合创建单元303,其用以利用机器人操作系统将所述代表特定学习对象的个性的特征参数与机器人中预先存储的通用人体模型进行融合,以创建针对待学习对象的虚拟机器人。
根据本发明的机器人自动创建个性化虚拟机器人的装置,在通过机器人上设置的传感器采集待学习对象的人体特征信息之后,将所述人体特征信息存储到记忆库中以进行记忆。
根据本发明的机器人自动创建个性化虚拟机器人的装置,在用以利用机器人操作系统将所述代表特定学习对象的个性的特征参数与机器人中预先存储的通用人体模型进行融合的融合创建单元中,还包括以下子单元:
人脸特征提取子单元303a,其用以提取所述代表特定学习对象的个性的特征参数中的人脸特征参数;
人脸特征结合子单元303b,其用以将预先存储的通用人脸模型与所述人脸特征参数进行结合,以将所述通用人脸模型变换到与所述特定学习对象对应的特定人脸模型;
表情融合子单元303c,其用以将所述代表特定学习对象的个性的特征参数中的表情参数融合到所述特定人脸模型中,以形成具有特定人脸表情的人脸模型。
根据本发明的机器人自动创建个性化虚拟机器人的装置,机器人操作系统上安装有用以自动创建个性化虚拟机器人的应用APP,所述APP在所述操作系统中运行时用以控制所述虚拟机器人执行多模态交互。
应该理解的是,本发明所公开的实施例不限于这里所公开的特定结构、处理步骤或材料,而应当延伸到相关领域的普通技术人员所理解的这些特征的等同替代。还应当理解的是,在此使用的术语仅用于描述特定实施例的目的,而并不意味着限制。
说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此,说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。
虽然本发明所公开的实施方式如上,但所述的内容只是为了便于理解本发明而采用的实施方式,并非用以限定本发明。任何本发明所属技术领域内的技术人员,在不脱离本发明所公开的精神和范围的前提下,可以在实施的形式上及细节上作任何的修改与变化,但本发明的专利保护范围,仍须以所附的权利要求书所界定的范围为准。

Claims (8)

1.一种机器人自动创建个性化虚拟机器人的方法,其特征在于,所述方法包括以下步骤:
采集待学习对象的人体特征信息;
从所述人体特征信息中提取出代表特定学习对象的个性的特征参数;
利用机器人操作系统将所述代表特定学习对象的个性的特征参数与机器人中预先存储的通用人体模型进行融合,以创建针对待学习对象的虚拟机器人;
在利用机器人操作系统将所述代表特定学习对象的个性的特征参数与机器人中预先存储的通用人体模型进行融合的步骤中,还包括以下步骤:
提取所述代表特定学习对象的个性的特征参数中的人脸特征参数;
将预先存储的通用人脸模型与所述人脸特征参数进行结合,以将所述通用人脸模型变换到与所述特定学习对象对应的特定人脸模型;
将所述代表特定学习对象的个性的特征参数中的表情参数融合到所述特定人脸模型中,以形成具有特定人脸表情的人脸模型。
2.如权利要求1所述的机器人自动创建个性化虚拟机器人的方法,其特征在于,所述人体特征信息包括人面部特征信息、表情信息、身高体型特征信息、语言特征信息、动作特征信息。
3.如权利要求2所述的机器人自动创建个性化虚拟机器人的方法,其特征在于,所述方法还包括:将所述人体特征信息存储到记忆库中以进行记忆。
4.如权利要求1-3中任一项所述的机器人自动创建个性化虚拟机器人的方法,其特征在于,机器人操作系统可安装自动创建个性化虚拟机器人的应用APP。
5.如权利要求4所述的机器人自动创建个性化虚拟机器人的方法,其特征在于,所述方法还包括:
运行所述APP,在所述操作系统中控制所述虚拟机器人执行多模态交互的步骤。
6.一种机器人自动创建个性化虚拟机器人的装置,其特征在于,所述装置包括以下单元:
人体特征信息采集单元,其用以采集待学习对象的人体特征信息;
个性特征提取单元,其用以从所述人体特征信息中提取出代表特定学习对象的个性的特征参数;
融合创建单元,其用以利用机器人操作系统将所述代表特定学习对象的个性的特征参数与机器人中预先存储的通用人体模型进行融合,以创建针对待学习对象的虚拟机器人;
在用以利用机器人操作系统将所述代表特定学习对象的个性的特征参数与机器人中预先存储的通用人体模型进行融合的融合创建单元中,还包括以下子单元:
人脸特征提取子单元,其用以提取所述代表特定学习对象的个性的特征参数中的人脸特征参数;
人脸特征结合子单元,其用以将预先存储的通用人脸模型与所述人脸特征参数进行结合,以将所述通用人脸模型变换到与所述特定学习对象对应的特定人脸模型;
表情融合子单元,其用以将所述代表特定学习对象的个性的特征参数中的表情参数融合到所述特定人脸模型中,以形成具有特定人脸表情的人脸模型。
7.如权利要求6所述的机器人自动创建个性化虚拟机器人的装置,其特征在于,在通过机器人上设置的传感器采集待学习对象的人体特征信息之后,将所述人体特征信息存储到记忆库中以进行记忆。
8.如权利要求6所述的机器人自动创建个性化虚拟机器人的装置,其特征在于,
机器人操作系统上安装有用以自动创建个性化虚拟机器人的应用APP,所述APP在所述操作系统中运行时用以控制所述虚拟机器人执行多模态交互。
CN201610798118.2A 2016-08-31 2016-08-31 机器人自动创建个性化虚拟机器人的方法及装置 Active CN106326981B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610798118.2A CN106326981B (zh) 2016-08-31 2016-08-31 机器人自动创建个性化虚拟机器人的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610798118.2A CN106326981B (zh) 2016-08-31 2016-08-31 机器人自动创建个性化虚拟机器人的方法及装置

Publications (2)

Publication Number Publication Date
CN106326981A CN106326981A (zh) 2017-01-11
CN106326981B true CN106326981B (zh) 2019-03-26

Family

ID=57787275

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610798118.2A Active CN106326981B (zh) 2016-08-31 2016-08-31 机器人自动创建个性化虚拟机器人的方法及装置

Country Status (1)

Country Link
CN (1) CN106326981B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107294837A (zh) * 2017-05-22 2017-10-24 北京光年无限科技有限公司 采用虚拟机器人进行对话交互的方法和系统
CN117541685A (zh) * 2023-11-08 2024-02-09 另一个我(北京)虚拟科技开发有限公司 一种用于个性化服务需求的虚拟映射人体模型构建方法、系统、及个性化服务平台

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102058983A (zh) * 2010-11-10 2011-05-18 无锡中星微电子有限公司 基于视频分析的智能玩具
CN102360421A (zh) * 2011-10-19 2012-02-22 苏州大学 一种基于视频流的人脸识别方法及系统
CN105373784A (zh) * 2015-11-30 2016-03-02 北京光年无限科技有限公司 智能机器人数据处理方法及装置、智能机器人系统
CN205193829U (zh) * 2015-11-30 2016-04-27 北京光年无限科技有限公司 一种智能机器人系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102058983A (zh) * 2010-11-10 2011-05-18 无锡中星微电子有限公司 基于视频分析的智能玩具
CN102360421A (zh) * 2011-10-19 2012-02-22 苏州大学 一种基于视频流的人脸识别方法及系统
CN105373784A (zh) * 2015-11-30 2016-03-02 北京光年无限科技有限公司 智能机器人数据处理方法及装置、智能机器人系统
CN205193829U (zh) * 2015-11-30 2016-04-27 北京光年无限科技有限公司 一种智能机器人系统

Also Published As

Publication number Publication date
CN106326981A (zh) 2017-01-11

Similar Documents

Publication Publication Date Title
US11736756B2 (en) Producing realistic body movement using body images
Dubey et al. Automatic emotion recognition using facial expression: a review
Jaques et al. Understanding and predicting bonding in conversations using thin slices of facial expressions and body language
CN105825268B (zh) 面向机器人动作学习的数据处理方法和系统
US20190188903A1 (en) Method and apparatus for providing virtual companion to a user
Boker et al. Effects of damping head movement and facial expression in dyadic conversation using real–time facial expression tracking and synthesized avatars
KR101887637B1 (ko) 로봇 시스템
CN107958234A (zh) 基于客户端的人脸识别方法、装置、客户端及存储介质
JP5729692B2 (ja) ロボット装置
Caridakis et al. Virtual agent multimodal mimicry of humans
US20190045270A1 (en) Intelligent Chatting on Digital Communication Network
US20190302880A1 (en) Device for influencing virtual objects of augmented reality
CN114241558B (zh) 模型的训练方法、视频生成方法和装置、设备、介质
CN106326981B (zh) 机器人自动创建个性化虚拟机器人的方法及装置
Rettberg Biometric citizens: Adapting our selfies to machine vision
Celiktutan et al. Computational analysis of affect, personality, and engagement in human–robot interactions
Upadhyay et al. Facial expression recognition: A review
Jindal et al. A comparative analysis of established techniques and their applications in the field of gesture detection
CN105809612A (zh) 一种照片转化为表情的方法及智能终端
Tin Facial extraction and lip tracking using facial points
Haritaoglu et al. Attentive Toys.
Seyedarabi et al. Facial expressions animation and lip tracking using facial characteristic points and deformable model
Pentland Perceptual environments
Rivera et al. Development of an automatic expression recognition system based on facial action coding system
Iwano et al. Extraction of speaker's feeling using facial image and speech

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230927

Address after: 100000 6198, Floor 6, Building 4, Yard 49, Badachu Road, Shijingshan District, Beijing

Patentee after: Beijing Virtual Dynamic Technology Co.,Ltd.

Address before: 100000 Fourth Floor Ivy League Youth Venture Studio No. 193, Yuquan Building, No. 3 Shijingshan Road, Shijingshan District, Beijing

Patentee before: Beijing Guangnian Infinite Technology Co.,Ltd.

TR01 Transfer of patent right