CN114840126B - 对象控制方法、装置、电子设备和存储介质 - Google Patents
对象控制方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN114840126B CN114840126B CN202210567540.2A CN202210567540A CN114840126B CN 114840126 B CN114840126 B CN 114840126B CN 202210567540 A CN202210567540 A CN 202210567540A CN 114840126 B CN114840126 B CN 114840126B
- Authority
- CN
- China
- Prior art keywords
- control object
- weight coefficient
- offset
- actual offset
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000008859 change Effects 0.000 claims abstract description 60
- 239000000758 substrate Substances 0.000 claims 2
- 206010044565 Tremor Diseases 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 230000003993 interaction Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003997 social interaction Effects 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本公开涉及计算机技术领域,具体涉及对象控制方法、装置、电子设备及存储介质。根据本公开实施例提供的对象控制方法,通过基于获取的目标图像信息确定目标控制部的位置变化信息,基于当前的位置变化信息和控制对象的历史实际偏移量确定控制对象的当前实际偏移量,并基于当前实际偏移量更新控制对象的位置,从而可以减缓因目标控制部的颤抖或目标控制部位置变化的波动对控制对象移动轨迹的影响,进而使控制对象的移动轨迹更加平滑,便于用户操控。
Description
技术领域
本公开涉及计算机技术领域,具体涉及一种对象控制方法、装置、电子设备和存储介质。
背景技术
手势跟踪(Tracking)系利用图像识别技术获取得到的信息将手部关键点在图像二维空间中的坐标变化映射到电视/电脑上对应的光标位置变化,实现对电视/电脑等具体设备的体感鼠标控制。与传统鼠标设备不同的是,手势跟踪的使用完全依赖于用户手部关键点在三维空间中的自由运动轨迹,使用过程中并不存在传统鼠标设备的桌面支撑,因此手势跟踪过程更容易受到手臂、手腕、手指以及人体的无意识和非主观行为影响。若手部关键点在图像二维空间中的坐标变化不经任何处理直接映射到显示设备上形成光标位置变化,则将过于灵敏而导致不易于用户操控。
一些采用传感器(如陀螺仪等)进行光标追踪控制的方案,通常基于傅里叶分析、滤波器设计、滤波器级联等数字信号处理技术实现对颤抖信号的识别与消除,此类算法的计算复杂度较高,对设备的运算能力要求较高,并不适合在实时性要求较高的手势跟踪中使用。另外,由于一些用户的手势颤抖幅度已经超出一般的噪声范围,与主观有意识的动作难以区分开,因此需要极为复杂的信号分析以及滤波器设计,对算法设计及适配要求较高,实现成本较高。
发明内容
提供该发明内容部分以便以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。
第一方面,根据本公开的一个或多个实施例,提供了一种对象控制方法,包括:
获取目标图像信息;
基于所述目标图像信息确定目标控制部的位置变化信息;
基于当前的位置变化信息和控制对象的历史实际偏移量,确定所述控制对象的当前实际偏移量;
基于所述当前实际偏移量更新所述控制对象的位置。
第二方面,根据本公开的一个或多个实施例,提供了一种对象控制装置,包括:
图像获取单元,用于获取目标图像信息;
位置变化确定单元,用于基于所述目标图像信息确定目标控制部的位置变化信息;
实际偏移量确定单元,用于基于当前的位置变化信息和控制对象的历史实际偏移量,确定所述控制对象的当前实际偏移量;
位置更新单元,用于基于所述当前实际偏移量更新所述控制对象的位置。
第三方面,根据本公开的一个或多个实施例,提供了一种电子设备,包括:至少一个存储器和至少一个处理器;其中,所述存储器用于存储程序代码,所述处理器用于调用所述存储器所存储的程序代码以使所述电子设备执行根据本公开的一个或多个实施例提供的对象控制方法。
第四方面,根据本公开的一个或多个实施例,提供了一种非暂态计算机存储介质,所述非暂态计算机存储介质存储有程序代码,所述程序代码被计算机设备执行时,使得所述计算机设备执行根据本公开的一个或多个实施例提供的对象控制方法。
根据本公开的一个或多个实施例,通过基于目标控制部当前的位置变化信息和控制对象的历史实际偏移量,确定控制对象的当前实际偏移量,从而可以减缓因目标控制部的颤抖或目标控制部位置变化的波动对控制对象移动轨迹的影响,进而使控制对象的移动轨迹更加平滑,便于用户操控。
附图说明
结合附图并参考以下具体实施方式,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中,相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的,原件和元素不一定按照比例绘制。
图1为根据本公开一实施例提供的对象控制方法的流程图;
图2为根据本公开另一实施例提供的对象控制方法的流程图;
图3为根据本公开一实施例提供的对象控制装置的结构示意图;
图4为根据本公开一实施例提供的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
应当理解,本公开的实施方式中记载的步骤可以按照不同的顺序执行,和/或并行执行。此外,实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括,即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”;术语“另一实施例”表示“至少一个另外的实施例”;术语“一些实施例”表示“至少一些实施例”。术语“响应于”以及有关的术语是指一个信号或事件被另一个信号或事件影响到某个程度,但不一定是完全地或直接地受到影响。如果事件x“响应于”事件y而发生,则x可以直接或间接地响应于y。例如,y的出现最终可能导致x的出现,但可能存在其它中间事件和/或条件。在其它情形中,y可能不一定导致x的出现,并且即使y尚未发生,x也可能发生。此外,术语“响应于”还可以意味着“至少部分地响应于”。
术语“确定”广泛涵盖各种各样的动作,可包括获取、演算、计算、处理、推导、调研、查找(例如,在表、数据库或其他数据结构中查找)、探明、和类似动作,还可包括接收(例如,接收信息)、访问(例如,访问存储器中的数据)和类似动作,以及解析、选择、选取、建立和类似动作等等。其他术语的相关定义将在下文描述中给出。其他术语的相关定义将在下文描述中给出。
需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
为了本公开的目的,短语“A和/或B”意为(A)、(B)或(A和B)。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
在虚拟社交平台中,用户可以通过例如头戴式VR眼镜等智能终端设备,控制自己的虚拟角色(Avatar)与其他用户控制的虚拟角色进行社交互动、娱乐、学习、远程办公、创作UGC(User Generated Content,用户生成内容)等。然而,相关虚拟社交平台所提供的用户之间的关联互动的形式较为单一,不能满足用户多样化的社交互动需求。例如,在相关虚拟演出类应用中,缺乏观众用户之间的互动机制,用户体验不高。
参考图1,图1示出了本公开一实施例提供的对象控制方法100的流程图,方法100包括步骤S120-步骤S180。
步骤S120:获取目标图像信息。
步骤S140:基于所述目标图像信息确定目标控制部的位置变化信息。
在一些实施例中,目标控制部用于操控控制对象的移动轨迹,包括但不限于用户的身体部位(例如手指、手掌、手腕、手臂、腿部)或者预设的控制装置(例如控制棒)。
在一些实施例中,控制对象为被用户操控的虚拟对象,包括代表正在进行的操作或转换的状态的界面交互标识,例如反映用户交互意图或交互位置的指针、光标、游标、调整柄等导航标识,还可以包括可被操控的界面视觉元素,包括但不限于图标、窗口、文本框、按钮、菜单等控件,以及虚拟形象、虚拟物品等。
此外,控制对象还可以为不对用户可见的虚拟对象,本公开在此不做限制。
在一些实施例中,目标图像信息包括视频图像数据,其包括多帧图像信息。
在一些实施例中,可以通过预设的摄像装置采集RGBA图像数据,并利用神经网络模型获取用户的目标控制部(例如手部关键点)在二维图像上的像素坐标,并根据手部关键点在前后两帧(例如相邻两帧)图像上的像素坐标,得到手部关键点的像素坐标变化量,即目标控制部的位置变化信息。
在一些实施例中,可以采用TensorFlow框架下的卷积神经网络(ConvolutionalNeural Networks,CNN)获取目标控制部的像素坐标。
步骤S160:基于当前的所述位置变化信息和控制对象的历史实际偏移量,确定所述控制对象的当前实际偏移量。
在一些实施例中,控制对象的历史实际偏移量包括控制对象在前一次的实际偏移量。
示例性地,可以基于目标控制部在本期(第t期)的位置变化信息Δp(t),以及控制对象在上一期(第t-1期)的实际偏移量Δh(t-1)确定控制对象应在第t期的实际偏移量Δh(t)。类似地,控制对象在上一期(第t-1期)的实际偏移量Δh(t-1)亦与控制对象在上上一期(第t-2期)的实际偏移量Δh(t-2)相关。
需要说明的是,本公开实施例中,本期或上期中的“期”表示更新控制对象位置的周期或次数,其可以以时段、时刻、次、轮或帧等形式体现,本公开在此不做限制。例如,如果1秒内需要对目标控制部的位置采样并计算30次,并相应地对控制对象的位置更新30次,则1期对应的时长可以为1/30秒;如果需要确定目标控制部在每一帧目标图像中的位置变化并相应更新控制对象的位置,则1期对应的帧数可以为1帧。
步骤S180:基于所述当前实际偏移量更新所述控制对象的位置。
这样,根据本公开的一个或多个实施例,通过基于目标控制部当前的位置变化信息和控制对象的历史实际偏移量,确定控制对象的当前实际偏移量,从而可以减缓因目标控制部的颤抖或目标控制部位置变化的波动对控制对象移动轨迹的影响,进而使控制对象的移动轨迹更加平滑,便于用户操控。
在一些实施例中,步骤S160还包括:
步骤A1:基于所述当前的位置变化信息确定所述控制对象的当前的原始偏移量;
步骤A2:基于所述原始偏移量和所述控制对象的历史实际偏移量,确定所述控制对象的当前实际偏移量。
在一些实施例中,可以预先设置步长调节函数,该步长调节函数用于基于目标控制部的像素坐标变化量得到控制对象的原始偏移量。
示例性地,控制对象的初始横坐标偏移量Δhoriginal(t)为目标控制部的像素横坐标变化量Δp(t)与步长调节系数s的乘积(即Δhoriginal(t)=s*Δp(t))。其中,步长调节系数是指单位像素坐标变化量所对应的控制对象的原始偏移量,其可以反映控制对象响应目标控制部移动的灵敏程度。
在一些实施例中,目标控制部的像素坐标变化量越高,其所对应的步长调节系数越大,导致控制对象移动幅度更大,即控制对象移动得更加灵敏,从而可以提高用户通过目标控制部操控控制对象的效率。但另一方面,这会使控制对象更容易受到目标控制部抖动等噪声干扰。对此,根据本公开的一个或多个实施例,除基于目标控制部当前的位置变化信息外,还基于控制对象的历史实际偏移量确定控制对象的当前实际偏移量,从而可以减缓因目标控制部的颤抖或目标控制部位置变化的波动对控制对象移动轨迹的影响,进而使控制对象的移动轨迹更加平滑,便于用户操控。
在一些实施例中,步骤A2进一步包括:
步骤a21:基于所述原始偏移量、所述控制对象的历史实际偏移量以及权重系数,确定所述控制对象的当前实际偏移量;其中,所述权重系数包括与所述原始偏移量对应的第一权重系数和与所述历史实际偏移量对应的第二权重系数。
在一些实施例中,第一权重系数和第二权重系数的取值范围均为(0,1),二者之和为1。
示例性地,设控制对象在本期(第t期)的原始横向坐标偏移量和原始纵向坐标偏移量分别为Δhoriginal(t)和Δvoriginal(t),控制对象在上一期(第t-1期)的实际横向坐标偏移量和实际纵向坐标偏移量分别为Δh(t-1)和Δv(t-1),控制对象在本期的实际横向坐标偏移量和实际纵向坐标偏移量分别为Δh(t)和Δv(t),第一权重系数为α,第二权重系数为1-α,则有:
Δh(t)=α*Δhoriginal(t)+(1-α)Δh(t-1)
Δv(t)=α*Δvoriginal(t)+(1-α)Δv(t-1)
以Δh(t)为例,由上述公式可知,Δh(t)是Δhoriginal(t)和Δh(t-1)的加权算数平均数,α取值的大小决定Δhoriginal(t)和Δh(t-1)对Δh(t)的影响程度,α的取值越接近1,代表当前确定的Δhoriginal(t)的权重越高,而时间序列中以往的历史数据对当前控制对象的当前实际偏移量的计算的影响作用越小;Δh(t)具有逐期追溯性质,可追溯至Δhoriginal(1),即本实施例可以通过时间序列中当前原始偏移量与历史原始偏移量对控制对象的移动轨迹进行平滑处理,且历史原始偏移量对应的权重以指数形式衰减,越早期的原始偏移量对当前的实际偏移量影响越小。此外,尽管Δh(t)包含有全期数据,但实际计算时,仅需要计算Δhoriginal(t)和Δh(t-1)这两个数值(Δv(t)亦同),这就使得本实施例的平滑方式具有逐期递推性质,提升了控制对象的轨迹平滑效率。并且,从滤波器的角度看上述迭代公式,本实施例提供的控制对象的当前实际偏移量的计算方法相当于一个无限脉冲响应低通数字滤波器,对控制对象更新的速度影响极小,能够在去除高频噪声的同时保持较低的时延。
在一些实施例中,可以基于所述目标控制部的位置波动程度,确定所述第一权重系数。
在一些实施例中,目标控制部的位置波动程度可以通过目标控制部的位置变化信息的方差、或样本熵等方式确定。示例性地,可以基于多个时刻确定的目标控制部的横向或纵向坐标变化量构建一时间序列,并根据该时间序列的方差或样本熵确定该时间序列的波动程度。
需要说明的是,还可以采用本领域相关的其他统计方式确定时间序列的波动程度,本公开在此不做限制。
在一些实施例中,可以基于所述目标控制部的当前的位置波动程度,实时地确定所述第一权重细数。示例性地,可以基于目标控制部当前的位置变化信息和历史位置变化信息,确定目标控制部当前的位置波动程度,进而实时动态地确定对应的第一权重系数。
在本实施例中,通过基于所述目标控制部的位置波动程度确定所述第一权重系数,从而可以实时动态地调整基于目标控制部当前的位置变化信息计算得到的控制对象的原始偏移量的权重,进而最终可以基于目标控制部的位置波动程度动态地对控制对象的移动轨迹进行平滑处理。
在一些实施例中,若所述目标控制部的位置波动程度越高,则所述第一权重系数越低,所述第二权重系数越高;若所述目标控制部的位置波动程度越低,则所述第一权重系数越高,所述第二权重系数越低。
在本实施例中,若位置波动程度越高,则表明当前目标控制部当前抖动较为剧烈,通过设置较低的第一权重系数,从而可以减小目标控制部当前的位置变化对控制对象的影响;相反,若位置波动程度越低,则表明目标控制部当前运动正常,则可以设置高的第一权重系数,从而使控制对象当前的移动轨迹更加贴合目标控制部当前的位置变化。
在一些实施例中,若所述位置波动程度高于预设程度,则所述第一权重系数位于0.55-0.75之间;和/或,若所述位置波动程度不高于预设程度,则所述第一权重系数位于0.75-0.85之间。
示例性地,可以预先设置反映所述预设程度的阈值,当位置波动参数高于所述阈值时,则确定所述位置波动高于预设程度,反之,则可以确定所述位置波动程度不高于预设程度。
在一些实施例中,所述第一权重系数大于0.5。
据发明人的试验研究发现,若目标控制部的位置波动程度不高时,则将第一权重系数设置于0.75-0.85之间,可以提高控制对象对目标控制部当前变化的响应速度,且可以平滑控制对象的移动轨迹;若目标控制部的位置波动程度较高,则将第一权重系数设置于0.55-0.75之间,可以获得较优的轨迹平滑效果,且可以较大程度地保证控制对象对目标控制部当前变化的响应速度;而若将第一权重系数设置为小于等于0.5,则导致控制对象移动时会产生“粘滞”的移动效果,用户的操控体验较差。
参考图2,图2示出了本公开一实施例提供的对象控制方法200的流程图,对象控制方法200包括:
步骤S210:获取摄像装置捕获的图像信息;
步骤S220:基于所述图像信息确定目标控制部的二维像素坐标;
步骤S230:计算目标控制部当前的横向及纵向的偏移量;
步骤S241:存储目标控制部当前的横向及纵向的偏移量;
步骤S242:基于目标控制部当前的横向及纵向的偏移量,确定步长调节系数;
步骤S243:基于目标控制部当前的横向及纵向的偏移量,动态确定第一权重系数;
步骤S250:基于目标控制部当前的横向及纵向的偏移量,以及步长调节系数,计算控制对象的原始横向及纵向偏移量;
步骤S260:基于控制对象的原始横向及纵向偏移量、第一权重系数、以及所存储的控制对象在上期的实际横向及纵向偏移量,确定控制对象当前的实际横向及纵向偏移量;
步骤S270:存储控制对象当前的实际横向及纵向偏移量,以供下期确定控制对象的实际横向及纵向偏移量时使用。
步骤S280:更新控制对象的位置。
相应地,如图3所示,根据本公开的一实施例提供了一种对象控制装置300,包括:
图像获取单元320,用于获取目标图像信息;
位置变化确定单元340,用于基于所述目标图像信息确定目标控制部的位置变化信息;
实际偏移量确定单元360,用于基于当前的位置变化信息和控制对象的历史实际偏移量,确定所述控制对象的当前实际偏移量;
位置更新单元380,用于基于所述当前实际偏移量更新所述控制对象的位置。
在一些实施例中,实际偏移量确定单元包括:
原始偏移量确定子单元,用于基于所述当前的位置变化信息确定所述控制对象的当前的原始偏移量;以及
实际偏移量确定子单元,用于基于所述原始偏移量和所述控制对象的历史实际偏移量,确定所述控制对象的当前实际偏移量。
在一些实施例中,所述实际偏移量确定子单元进一步用于基于所述原始偏移量、所述控制对象的历史实际偏移量以及权重系数,确定所述控制对象的当前实际偏移量;其中,所述权重系数包括与所述原始偏移量对应的第一权重系数和与所述历史实际偏移量对应的第二权重系数。
在一些实施例中,所述第一权重系数和所述第二权重系数的取值范围为0至1之间,所述第一权重系数和所述第二权重系数之和为1。
在一些实施例中,所述对象控制装置还包括:
权重系数确定单元,用于基于所述目标控制部的位置波动程度,确定所述权重系数。
在一些实施例中,若所述目标控制部的位置波动程度越高,则所述第一权重系数越低,所述第二权重系数越高;若所述位置波动程度越低,则所述第一权重系数越高,所述第二权重系数越低。
在一些实施例中,若所述位置波动程度高于预设程度,则所述第一权重系数位于0.55-0.75之间;和/或,若所述位置波动程度不高于预设程度,则所述第一权重系数位于0.75-0.85之间。
在一些实施例中,所述第一权重系数大于0.5。
在一些实施例中,所述控制对象的历史实际偏移量包括所述控制对象上期的实际偏移量。
在一些实施例中,所述目标控制部包括用户的手部关键点。
在一些实施例中,所述原始偏移量确定子单元用于基于所述位置变化信息以及与所述位置变化信息对应的控制对象步长调节系数,确定所述控制对象的原始偏移量;其中,所述位置变化信息越大,则所述控制对象步长调节系数越大。
对于装置的实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中作为分离模块说明的模块可以是或者也可以不是分开的。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
相应地,根据本公开的一个或多个实施例,提供了一种电子设备,包括:
至少一个存储器和至少一个处理器;
其中,存储器用于存储程序代码,处理器用于调用存储器所存储的程序代码以使所述电子设备执行根据本公开一个或多个实施例提供的对象控制方法。
相应地,根据本公开的一个或多个实施例,提供了一种非暂态计算机存储介质,非暂态计算机存储介质存储有程序代码,程序代码可被计算机设备执行来使得所述计算机设备执行根据本公开一个或多个实施例提供的对象控制方法。
下面参考图4,其示出了适于用来实现本公开实施例的电子设备(例如终端设备或服务器)800的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图4示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图4所示,电子设备800可以包括处理装置(例如中央处理器、图形处理器等)801,其可以根据存储在只读存储器(ROM)802中的程序或者从存储装置808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM803中,还存储有电子设备800操作所需的各种程序和数据。处理装置801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
通常,以下装置可以连接至I/O接口805:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置806;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置807;包括例如磁带、硬盘等的存储装置808;以及通信装置809。通信装置809可以允许电子设备800与其他设备进行无线或有线通信以交换数据。虽然图4示出了具有各种装置的电子设备800,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置809从网络上被下载和安装,或者从存储装置808被安装,或者从ROM 802被安装。在该计算机程序被处理装置801执行时,执行本公开实施例的方法中限定的上述功能。
需要说明的是,本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
在一些实施方式中,客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol,超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信,并且可以与任意形式或介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网(“LAN”),广域网(“WAN”),网际网(例如,互联网)以及端对端网络(例如,ad hoc端对端网络),以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备执行上述的本公开的方法。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,单元的名称在某种情况下并不构成对该单元本身的限定。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开的一个或多个实施例,提供了一种对象控制方法,包括:获取目标图像信息;基于所述目标图像信息确定目标控制部的位置变化信息;基于当前的位置变化信息和控制对象的历史实际偏移量,确定所述控制对象的当前实际偏移量;基于所述当前实际偏移量更新所述控制对象的位置。
根据本公开的一个或多个实施例,所述基于当前的位置变化信息和控制对象的历史实际偏移量,确定所述控制对象的当前实际偏移量,包括:基于所述当前的位置变化信息确定所述控制对象的当前的原始偏移量;基于所述原始偏移量和所述控制对象的历史实际偏移量,确定所述控制对象的当前实际偏移量。
根据本公开的一个或多个实施例,所述基于所述原始偏移量和所述控制对象的历史实际偏移量,确定所述控制对象的当前实际偏移量,包括:基于所述原始偏移量、所述控制对象的历史实际偏移量以及权重系数,确定所述控制对象的当前实际偏移量;其中,所述权重系数包括与所述原始偏移量对应的第一权重系数和与所述历史实际偏移量对应的第二权重系数。
根据本公开的一个或多个实施例,所述第一权重系数和所述第二权重系数的取值范围为0至1之间,所述第一权重系数和所述第二权重系数之和为1。
根据本公开的一个或多个实施例提供的对象控制方法,还包括:基于所述目标控制部的位置波动程度,确定所述权重系数。
根据本公开的一个或多个实施例,若所述目标控制部的位置波动程度越高,则所述第一权重系数越低,所述第二权重系数越高;若所述位置波动程度越低,则所述第一权重系数越高,所述第二权重系数越低。
根据本公开的一个或多个实施例,若所述位置波动程度高于预设程度,则所述第一权重系数位于0.55-0.75之间;和/或,若所述位置波动程度不高于预设程度,则所述第一权重系数位于0.75-0.85之间。
根据本公开的一个或多个实施例,所述第一权重系数大于0.5。
根据本公开的一个或多个实施例,所述控制对象的历史实际偏移量包括所述控制对象上期的实际偏移量。
根据本公开的一个或多个实施例,所述目标控制部包括用户的手部关键点。
根据本公开的一个或多个实施例,所述基于所述当前的位置变化信息确定所述控制对象的当前的原始偏移量,包括:基于所述位置变化信息以及与所述位置变化信息对应的控制对象步长调节系数,确定所述控制对象的原始偏移量;其中,所述位置变化信息越大,则所述控制对象步长调节系数越大。
根据本公开的一个或多个实施例,提供了一种对象控制装置,其特征在于,包括:图像获取单元,用于获取目标图像信息;位置变化确定单元,用于基于所述目标图像信息确定目标控制部的位置变化信息;实际偏移量确定单元,用于基于当前的位置变化信息和控制对象的历史实际偏移量,确定所述控制对象的当前实际偏移量;位置更新单元,用于基于所述当前实际偏移量更新所述控制对象的位置。
根据本公开的一个或多个实施例,提供了一种电子设备,包括:至少一个存储器和至少一个处理器;其中,所述存储器用于存储程序代码,所述处理器用于调用所述存储器所存储的程序代码以使所述电子设备执行根据本公开的一个或多个实施例提供的对象控制方法。
根据本公开的一个或多个实施例,提供了一种非暂态计算机存储介质,所述非暂态计算机存储介质存储有程序代码,所述程序代码被计算机设备执行时,使得所述计算机设备执行根据本公开的一个或多个实施例提供的对象控制方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的公开范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述公开构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外,虽然采用特定次序描绘了各操作,但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下,多任务和并行处理可能是有利的。同样地,虽然在上面论述中包含了若干具体实现细节,但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地,在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题,但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反,上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。
Claims (10)
1.一种对象控制方法,其特征在于,包括:
获取目标图像信息;
基于所述目标图像信息确定目标控制部的位置变化信息;
基于当前的位置变化信息和控制对象的历史实际偏移量,确定所述控制对象的当前实际偏移量;其中,所述控制对象的历史实际偏移量包括所述控制对象上期的实际偏移量;
基于所述当前实际偏移量更新所述控制对象的位置;
其中,所述基于当前的位置变化信息和控制对象的历史实际偏移量,确定所述控制对象的当前实际偏移量,包括:基于所述当前的位置变化信息确定所述控制对象的当前的原始偏移量;基于所述原始偏移量、所述控制对象的历史实际偏移量以及权重系数,确定所述控制对象的当前实际偏移量;其中,所述权重系数包括与所述原始偏移量对应的第一权重系数和与所述历史实际偏移量对应的第二权重系数;所述第一权重系数大于0.5。
2.根据权利要求1所述的方法,其特征在于,
所述第一权重系数和所述第二权重系数的取值范围为0至1之间,所述第一权重系数和所述第二权重系数之和为1。
3.根据权利要求1所述的方法,其特征在于,还包括:
基于所述目标控制部的位置波动程度,确定所述权重系数。
4.根据权利要求3所述的方法,其特征在于,
若所述目标控制部的位置波动程度越高,则所述第一权重系数越低,所述第二权重系数越高;若所述位置波动程度越低,则所述第一权重系数越高,所述第二权重系数越低。
5.根据权利要求4所述的方法,其特征在于,
若所述位置波动程度高于预设程度,则所述第一权重系数位于0.55-0.75之间;和/或,
若所述位置波动程度不高于预设程度,则所述第一权重系数位于0.75-0.85之间。
6.根据权利要求1所述的方法,其特征在于,
所述目标控制部包括用户的手部关键点。
7.根据权利要求1所述的方法,其特征在于,所述基于所述当前的位置变化信息确定所述控制对象的当前的原始偏移量,包括:
基于所述位置变化信息以及与所述位置变化信息对应的控制对象步长调节系数,确定所述控制对象的原始偏移量;
其中,所述位置变化信息越大,则所述控制对象步长调节系数越大。
8.一种对象控制装置,其特征在于,包括:
图像获取单元,用于获取目标图像信息;
位置变化确定单元,用于基于所述目标图像信息确定目标控制部的位置变化信息;
实际偏移量确定单元,用于基于当前的位置变化信息和控制对象的历史实际偏移量,确定所述控制对象的当前实际偏移量;其中,所述控制对象的历史实际偏移量包括所述控制对象上期的实际偏移量;
位置更新单元,用于基于所述当前实际偏移量更新所述控制对象的位置;
其中,所述实际偏移量确定单元包括:
原始偏移量确定子单元,用于基于所述当前的位置变化信息确定所述控制对象的当前的原始偏移量;以及
实际偏移量确定子单元,用于基于所述原始偏移量、所述控制对象的历史实际偏移量以及权重系数,确定所述控制对象的当前实际偏移量;其中,所述权重系数包括与所述原始偏移量对应的第一权重系数和与所述历史实际偏移量对应的第二权重系数;所述第一权重系数大于0.5。
9.一种电子设备,其特征在于,包括:
至少一个存储器和至少一个处理器;
其中,所述存储器用于存储程序代码,所述处理器用于调用所述存储器所存储的程序代码以使所述电子设备执行权利要求1至7任一所述的方法。
10.一种非暂态计算机存储介质,其特征在于,
所述非暂态计算机存储介质存储有程序代码,所述程序代码被计算机设备执行时,使得所述计算机设备执行权利要求1至7任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210567540.2A CN114840126B (zh) | 2022-05-23 | 2022-05-23 | 对象控制方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210567540.2A CN114840126B (zh) | 2022-05-23 | 2022-05-23 | 对象控制方法、装置、电子设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114840126A CN114840126A (zh) | 2022-08-02 |
CN114840126B true CN114840126B (zh) | 2024-01-23 |
Family
ID=82572334
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210567540.2A Active CN114840126B (zh) | 2022-05-23 | 2022-05-23 | 对象控制方法、装置、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114840126B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103294177A (zh) * | 2012-02-29 | 2013-09-11 | 株式会社理光 | 光标移动控制方法和系统 |
CN104142730A (zh) * | 2014-07-04 | 2014-11-12 | 华南理工大学 | 一种手势跟踪结果映射成鼠标事件的方法 |
DE202016001845U1 (de) * | 2015-03-19 | 2016-06-23 | Apple Inc. | Berührungseingabe-Cursor-Manipulation |
US9552648B1 (en) * | 2012-01-23 | 2017-01-24 | Hrl Laboratories, Llc | Object tracking with integrated motion-based object detection (MogS) and enhanced kalman-type filtering |
US10620713B1 (en) * | 2019-06-05 | 2020-04-14 | NEX Team Inc. | Methods and systems for touchless control with a mobile device |
CN111665940A (zh) * | 2020-06-05 | 2020-09-15 | 腾讯科技(深圳)有限公司 | 光标控件控制方法、装置以及相关设备 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9176598B2 (en) * | 2007-05-08 | 2015-11-03 | Thinkoptics, Inc. | Free-space multi-dimensional absolute pointer with improved performance |
US10254855B2 (en) * | 2013-06-04 | 2019-04-09 | Wen-Chieh Geoffrey Lee | High resolution and high sensitivity three-dimensional (3D) cursor maneuvering device |
US11500058B2 (en) * | 2015-07-17 | 2022-11-15 | Origin Wireless, Inc. | Method, apparatus, and system for wireless proximity sensing |
-
2022
- 2022-05-23 CN CN202210567540.2A patent/CN114840126B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9552648B1 (en) * | 2012-01-23 | 2017-01-24 | Hrl Laboratories, Llc | Object tracking with integrated motion-based object detection (MogS) and enhanced kalman-type filtering |
CN103294177A (zh) * | 2012-02-29 | 2013-09-11 | 株式会社理光 | 光标移动控制方法和系统 |
CN104142730A (zh) * | 2014-07-04 | 2014-11-12 | 华南理工大学 | 一种手势跟踪结果映射成鼠标事件的方法 |
DE202016001845U1 (de) * | 2015-03-19 | 2016-06-23 | Apple Inc. | Berührungseingabe-Cursor-Manipulation |
US10620713B1 (en) * | 2019-06-05 | 2020-04-14 | NEX Team Inc. | Methods and systems for touchless control with a mobile device |
CN111665940A (zh) * | 2020-06-05 | 2020-09-15 | 腾讯科技(深圳)有限公司 | 光标控件控制方法、装置以及相关设备 |
Also Published As
Publication number | Publication date |
---|---|
CN114840126A (zh) | 2022-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7181375B2 (ja) | 目標対象の動作認識方法、装置及び電子機器 | |
US20230093983A1 (en) | Control method and device, terminal and storage medium | |
CN114879846A (zh) | 触发位置的确定方法、装置、设备及介质 | |
CN114742856A (zh) | 一种视频处理方法、装置、设备及介质 | |
CN113766293B (zh) | 信息显示方法、装置、终端及存储介质 | |
CN112926628A (zh) | 动作价值的确定方法、装置、学习框架、介质及设备 | |
CN114840126B (zh) | 对象控制方法、装置、电子设备和存储介质 | |
CN112949850B (zh) | 超参数确定方法、装置、深度强化学习框架、介质及设备 | |
CN115880719A (zh) | 手势深度信息生成方法、装置、设备和计算机可读介质 | |
CN114116081B (zh) | 交互式动态流体效果处理方法、装置及电子设备 | |
CN112784622B (zh) | 图像的处理方法、装置、电子设备及存储介质 | |
CN111680754B (zh) | 图像分类方法、装置、电子设备及计算机可读存储介质 | |
CN117319725A (zh) | 字幕的显示方法、装置、设备及介质 | |
CN116880726B (zh) | 3d空间的图标交互方法、装置、电子设备和介质 | |
US20240153211A1 (en) | Methods, apparatuses, terminals and storage media for display control based on extended reality | |
CN113741749B (zh) | 光标位置更新方法、装置和电子设备 | |
CN112926629B (zh) | 超参数确定方法、装置、深度强化学习框架、介质及设备 | |
WO2022135018A1 (zh) | 动态流体显示方法、装置、电子设备和可读介质 | |
CN116185201A (zh) | 扩展现实交互方法、装置、电子设备和存储介质 | |
CN117806450A (zh) | 增强现实设备操控方法、装置、电子设备及可读存储介质 | |
CN117991889A (zh) | 信息交互方法、装置、电子设备和存储介质 | |
CN116688490A (zh) | 场景特征提取方法、装置、介质及电子设备 | |
CN116808589A (zh) | 动作控制方法、装置、可读介质及电子设备 | |
CN117193587A (zh) | 3d空间的界面交互方法和ar设备 | |
CN117389407A (zh) | 电子设备控制方法、装置和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |