CN113490054A - 虚拟角色控制方法、装置、设备及存储介质 - Google Patents
虚拟角色控制方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113490054A CN113490054A CN202110746199.2A CN202110746199A CN113490054A CN 113490054 A CN113490054 A CN 113490054A CN 202110746199 A CN202110746199 A CN 202110746199A CN 113490054 A CN113490054 A CN 113490054A
- Authority
- CN
- China
- Prior art keywords
- action
- parameter
- virtual character
- detected
- controlling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 230000009471 action Effects 0.000 claims abstract description 239
- 230000000875 corresponding effect Effects 0.000 claims abstract description 109
- 230000001276 controlling effect Effects 0.000 claims abstract description 48
- 230000008859 change Effects 0.000 claims description 27
- 230000007704 transition Effects 0.000 claims description 20
- 210000000746 body region Anatomy 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 230000001815 facial effect Effects 0.000 claims description 4
- 210000003128 head Anatomy 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000001360 synchronised effect Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000193 eyeblink Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/55—Controlling game characters or game objects based on the game progress
- A63F13/57—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请提供一种虚拟角色控制方法、装置、设备及存储介质，涉及动画领域。该方法包括：对拍摄对象进行图像捕捉，并根据图像捕捉的图像帧确定所述虚拟角色的动作；若从第一图像帧中未检测到所述拍摄对象的动作参数，则获取丢帧时刻之前最后检测到的所述拍摄对象的第一动作参数；若从所述第一图像帧之后的第二图像帧中检测到所述拍摄对象的动作参数，则获取丢帧时刻之后最先检测到的所述拍摄对象的第二动作参数；控制所述虚拟角色执行所述第一动作参数过渡至所述第二动作参数的相应动作。相对于现有技术，避免了在虚拟角色丢帧后重新获取到动作参数时，虚拟角色会发生跳帧的问题。
Description
技术领域
本申请涉及动画技术领域，具体而言，涉及一种虚拟角色控制方法、装置、设备及存储介质。
背景技术
随着电子娱乐产业的发展，虚拟主播或虚拟偶像的需求量越来越大，通过一些活动：不局限于广告、代言、演出、网络直播等方式出道，给粉丝营造一种破次元交流的真实体验感受。
现有技术中的虚拟偶像直播是指借助安置在真实人物的头部与肢体上的动作捕捉设备以及传感器将真实人物动作展现到虚拟角色上。借助于实时动作捕捉的机制，虚拟偶像还可以通过肢体或者语言等方式与现实世界中的粉丝进行交流互动。
但是直播过程中可能会发生丢帧的情况，现有技术中一般在重新捕捉到数据后，会控制虚拟角色直接跳帧衔接重新捕捉到的新数据，从而造成影响整体观赏的问题。
发明内容
本申请的目的在于，针对上述现有技术中的不足，提供一种虚拟角色控制方法、装置、设备及存储介质，以解决现有技术中在虚拟角色丢帧后重新获取到动作参数时，虚拟角色会发生跳帧的问题。
为实现上述目的，本申请实施例采用的技术方案如下：
第一方面，本申请一实施例提供了一种虚拟角色控制方法，所述方法包括：
对拍摄对象进行图像捕捉，并根据图像捕捉的图像帧确定所述虚拟角色的动作，其中所述图像帧包括所述拍摄对象当前所做的动作；
若从第一图像帧中未检测到所述拍摄对象的动作参数，则获取丢帧时刻之前最后检测到的所述拍摄对象的第一动作参数，其中所述丢帧时刻为未检测到动作参数的时刻；
若从所述第一图像帧之后的第二图像帧中检测到所述拍摄对象的动作参数，则获取丢帧时刻之后最先检测到的所述拍摄对象的第二动作参数；
控制所述虚拟角色执行所述第一动作参数过渡至所述第二动作参数的相应动作。
可选地，所述控制所述虚拟角色执行所述第一动作参数过渡至所述第二动作参数的相应动作之前，所述方法还包括：
根据所述第一动作参数控制所述虚拟角色执行相应动作，直至从所述第二图像帧中检测到所述第二动作参数。
可选地，所述根据所述第一动作参数控制所述虚拟角色执行相应动作，直至从所述第二图像帧中检测到所述第二动作参数，包括：
控制所述虚拟角色执行所述第一动作参数对应的动作，直至从所述第二图像帧中检测到所述第二动作参数。
可选地，所述根据所述第一动作参数控制所述虚拟角色执行相应动作，直至从所述第二图像帧中检测到所述第二动作参数，包括：
控制所述虚拟角色播放预设动画对应的动作，直至从所述第二图像帧中检测到所述第二动作参数。
可选地，所述控制所述虚拟角色执行所述第一动作参数过渡至所述第二动作参数的相应动作，包括：
控制所述虚拟角色在预设时间段内执行从所述第一动作参数过渡至所述第二动作参数的相应动作。
可选地，所述控制所述虚拟角色在预设时间段内执行从所述第一动作参数过渡至所述第二动作参数的相应动作之前，所述方法还包括：
确定所述第一动作参数和所述第二动作参数的参数差值；
根据所述参数差值，确定所述预设时间段的时长。
可选地，所述根据所述参数差值，确定所述预设时间段的时长，包括：
根据所述第一动作参数和所述第二动作参数的参数差值，确定所述参数差值对应的第一参数变化速率；
根据所述参数差值和所述第一参数变化速率，确定所述预设时间段的时长。
可选地，所述控制所述虚拟角色执行所述第一动作参数过渡至所述第二动作参数的相应动作，包括：
控制所述虚拟角色根据预设的第二参数变化速率，从所述第一动作参数过渡至所述第二动作参数执行相应动作。
可选地，所述方法还包括：
从所述第一图像帧检测多个部位的动作参数；
若从所述第一图像帧中未检测到所述第一部位的动作参数，但检测到第二部位的动作参数，则根据检测到的所述第二部位的动作参数控制所述虚拟角色中所述第二部位执行相应动作。
可选地，所述多个部位为面部区域中的多个部位，或者，整个身体区域的多个部位。
可选地，所述控制所述虚拟角色执行所述第一动作参数过渡至所述第二动作参数的相应动作，包括：
控制所述虚拟角色在预设设备上执行所述第一动作参数过渡至所述第二动作参数的相应动作；其中预设设备为显示屏或全息投影。
第二方面，本申请另一实施例提供了一种虚拟角色控制装置，所述装置包括：确定模块、获取模块和控制模块，其中：
所述确定模块，用于对拍摄对象进行图像捕捉，并根据图像捕捉的图像帧确定所述虚拟角色的动作，其中所述图像帧包括所述拍摄对象当前所做的动作。
所述获取模块，用于若从第一图像帧中未检测到所述拍摄对象的动作参数，则获取丢帧时刻之前最后检测到的所述拍摄对象的第一动作参数，其中所述丢帧时刻为未检测到动作参数的时刻；若从所述第一图像帧之后的第二图像帧中检测到所述拍摄对象的动作参数，则获取丢帧时刻之后最先检测到的所述拍摄对象的第二动作参数；
所述控制模块，用于根据所述第一动作参数控制所述虚拟角色执行相应动作，直至从所述第二图像帧中检测到所述第二动作参数。
可选地，所述控制模块，具体用于根据所述第一动作参数控制所述虚拟角色的所述第一部位执行相应动作，直至从所述第二图像帧中检测出所述第二动作参数。
可选地，所述控制模块，具体用于控制所述虚拟角色执行所述第一动作参数对应的动作，直至从所述第二图像帧中检测到所述第二动作参数。
可选地，所述控制模块，具体用于控制所述虚拟角色播放预设动画对应的动作，直至从所述第二图像帧中检测到所述第二动作参数。
可选地，所述控制模块，具体用于控制所述虚拟角色在预设时间段内执行从所述第一动作参数过渡至所述第二动作参数的相应动作。
可选地，所述确定模块，具体用于确定所述第一动作参数和所述第二动作参数的参数差值；根据所述参数差值，确定所述预设时间段的时长。
可选地，所述确定模块，具体用于根据所述第一动作参数和所述第二动作参数的参数差值，确定所述参数差值对应的第一参数变化速率；根据所述参数差值和所述第一参数变化速率，确定所述预设时间段的时长。
所述控制模块，具体用于控制所述虚拟角色根据预设的第二参数变化速率，执行从所述第一动作参数过渡至所述第二动作参数的相应动作。
可选地，所述装置还包括：检测模块，用于从所述第一图像帧检测多个部位的动作参数；
所述控制模块，具体用于若从所述第一图像帧中未检测到所述第一部位的动作参数，但检测到第二部位的动作参数，则根据检测到的所述第二部位的动作参数控制所述虚拟角色中所述第二部位执行相应动作。
可选地，所述多个部位为面部区域中的多个部位，或者，整个身体区域的多个部位。
可选地，所述控制模块，具体用于控制所述虚拟角色在预设设备上执行所述第一动作参数过渡至所述第二动作参数的相应动作；其中预设设备为显示屏或全息投影。
第三方面，本申请另一实施例提供了一种虚拟角色控制设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当虚拟角色控制设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如上述第一方面任一所述方法的步骤。
第四方面，本申请另一实施例提供了一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上述第一方面任一所述方法的步骤。
本申请的有益效果是：采用本申请提供的虚拟角色控制方法，在未从第一图像帧中检测到拍摄对象的动作参数时，获取丢帧时刻之前最后捕捉到的拍摄对象的第一动作参数，并在从第二图像帧中获取丢帧时刻之后最先检测到的拍摄对象的第二动作参数，控制虚拟角色执行从第一动作参数过渡至第二动作参数执行相应的动作，从而实现了从第一动作参数相应的动作到第二动作参数相应的动作之间存在过渡，而非直接由第一动作参数对应的动作跳帧至第二动作参数对应的动作，使得即使出现丢帧的情况，也可以通过本申请中这种过渡的控制方法，将虚拟人物的动作由丢帧时刻的动作过渡至丢帧后最先检测到的第二动作参数对应的动作，从而提高了整体的观赏性。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请一实施例提供的虚拟角色控制方法的流程示意图；
图2为本申请另一实施例提供的虚拟角色控制方法的流程示意图；
图3为本申请另一实施例提供的虚拟角色控制方法的流程示意图；
图4为本申请另一实施例提供的虚拟角色控制方法的流程示意图；
图5为本申请一实施例提供的虚拟角色控制装置的结构示意图；
图6为本申请另一实施例提供的虚拟角色控制装置的结构示意图；
图7为本申请一实施例提供的虚拟角色控制设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。
通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
另外，本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
为了使得本领域技术人员能够使用本申请内容，结合特定应用场景虚拟偶像直播场景为例给出以下实施方式。对于本领域技术人员来说，在不脱离本申请的精神和范围的情况下，可以将这里定义的一般原理应用于其他实施例和应用场景，例如：虚拟偶像演出、虚拟主播广告、虚拟偶像代言等。虽然本申请主要围绕虚拟偶像直播场景进行描述，但是应该理解，这仅是一个示例性实施例，本申请可以应用于各种拍摄对象与虚拟角色需要进行行为同步的场景中。
应当理解在本申请提出之前，现有技术在发生丢帧的情况时，在重新捕捉到丢帧部位对应的动作参数数据后，会直接控制虚拟角色的丢帧部位由丢帧时刻的动作切换至重新捕捉到的动作参数数据对应的动作，从而造成动作的变化过于突兀，出现跳帧的情况，影响了整体的观赏性；而本申请可以控制虚拟角色的丢帧部位丢帧时刻的动作过渡至重新捕捉到的动作参数数据对应的动作，从而使得丢帧部位的动作变化比较平滑，即使出现丢帧的情况，也保证了重新捕捉到丢帧部位对应的动作参数数据后，也可以保证动作的切换是平滑流畅的。
如下结合多个具体的应用示例，对本申请实施例所提供的一种虚拟角色控制方法进行解释说明。图1为本申请一实施例提供的一种虚拟角色控制方法的流程示意图，如图1所示，该方法包括：
S101：对拍摄对象进行图像捕捉，并根据图像捕捉的图像帧确定虚拟角色的动作。
其中，对拍摄对象进行图像捕捉的捕捉工具例如可以为摄像头、运行图像分析软件的计算机、或某种类型的传感器等，具体拍摄工具可以根据用户需要灵活调整，本申请在此不做任何限制。
图像帧包括拍摄对象当前所做的动作，虚拟角色会根据捕捉到的图像帧中拍摄对象的动作参数，确定虚拟对象的动作，从而实现控制虚拟角色的动作与拍摄对象同步，其中拍摄对象例如可以为真人、动物或机器人等，本申请在此不做任何限制。
S102：若从第一图像帧中未检测到拍摄对象的动作参数，则获取丢帧时刻之前最后检测到的拍摄对象的第一动作参数。
其中，丢帧时刻为未检测到动作参数的时刻。
应当理解在同一时刻，可能仅未从第一帧图像中检测到拍摄对象一个部位的动作参数，也可能未捕捉到拍摄对象多个部位的动作参数，只要检测到拍摄对象至少一个部位的动作参数未捕捉到，则确定当前时刻为丢帧时刻，并获取丢帧时刻之前最后检测到的拍摄对象的第一动作参数。
在本申请的实施例中，正常情况下，虚拟角色的各部位的动作参数与当前图像捕捉的图像帧中拍摄对象的各部位的动作参数是同步的，即当前图像捕捉的图像帧中的拍摄对象做出怎样的动作，虚拟角色就会同步至怎样的动作，从而实现拍摄对象和虚拟角色之间的动态同步，其中虚拟角色和拍摄对象的同步例如可以仅为头部的同步，也可以为半身的同步或全身的同步等，具体同步范围可以根据用户需要灵活调整，并不以上述实施例给出的为限。
在一些可能的实施例中，以拍摄对象和虚拟对象为头部同步的场景为例进行说明，发生丢帧的原因可能为：一般在获取拍摄对象图像中拍摄对象的头部各部位对应的动作参数时，对于图像捕捉的图像帧中拍摄对象的头部转动捕捉都会有一个捕捉极限值，比如在拍摄对象的正脸向左/右转动至45度以上，或头部上/下转动至45度以上，或身体左/右转动45度以上时，一般就很容易出现捕捉不到动作参数数据，从而造成动作参数的数据丢失的情况；在拍摄对象的正脸向左/右转到90度，或头部上/下转动至90度以上，或身体左/右转动90度以上时，则会完全捕捉不到动作参数数据，因此在这种捕捉动作参数数据丢失的情况下，就会出现数据断流，从而造成虚拟角色卡帧，跳帧的情况；捕捉极限值也可以叫做极限角度，也就是拍摄对象的转向超过预设角度阈值时，就会产生动作参数数据捕捉失败，从而造成动作参数数据丢失的情况。
在另一些可能的实施例中，丢帧的情况还可能为由于图像捕捉的图像帧中拍摄对象的头部存在遮挡物，例如拍摄对象为真人时，拍摄对象的眼睛可能会被头发或眼镜遮挡，此时则可能会导致拍摄对象眼睛部位的动作参数捕捉不到，造成眼睛部位出现数据断流，从而产生丢帧的问题；具体可能造成丢帧的情况很多，并不以上述实施例给出的为限，上述实施例仅为示例性说明部分可能导致丢帧的问题。
S103：若从第一图像帧之后的第二图像帧中检测到拍摄对象的动作参数，则获取丢帧时刻之后最先检测到的拍摄对象的第二动作参数。
其中，第二动作参数为丢帧时刻之后最先检测到拍摄对象的完整的各部位的动作参数，在检测到拍摄对象的第二动作参数时，表示当前已经正常获取拍摄对象的动作参数，可以继续控制虚拟对象与拍摄对象之间的动作同步。
S104：控制虚拟角色执行第一动作参数过渡至第二动作参数的相应动作。
这种控制虚拟角色执行由第一动作参数过渡至第二动作参数的方式可以使得虚拟角色在获取到第二动作参数之后，即可以对第一动作参数和第二动作参数进行融合，并根据融合后的动作参数控制虚拟角色由第一动作参数对应的动作位置过渡至第二动作参数对应的动作位置，这种过渡对接的方式可以使得两个动作参数在对接的过程中可以实现无缝衔接，避免虚拟角色卡顿，并且避免直接根据两个动作参数进行动作跳转导致出现跳帧的问题。
采用本申请提供的虚拟角色控制方法，在未从第一图像帧中检测到拍摄对象的动作参数时，获取丢帧时刻之前最后捕捉到的拍摄对象的第一动作参数，并在从第二图像帧中获取丢帧时刻之后最先检测到的拍摄对象的第二动作参数，控制虚拟角色执行从第一动作参数过渡至第二动作参数执行相应的动作，从而实现了从第一动作参数相应的动作到第二动作参数相应的动作之间存在过渡，而非直接由第一动作参数对应的动作跳帧至第二动作参数对应的动作，使得即使出现丢帧的情况，也可以通过本申请中这种过渡的控制方法，将虚拟人物的动作由丢帧时刻的动作过渡至丢帧后最先检测到的第二动作参数对应的动作，从而提高了整体的观赏性。
示例地，在本申请的实施中，S104例如可以为控制虚拟角色在预设设备上执行第一动作参数过渡至第二动作参数的相应动作；其中，预设设备例如可以为显示屏或全息投影，应当理解上述实施例仅为示例性说明，具体预设设备可以根据用户需要灵活调整，并不以上述实施例给出的为限。
示例地，在一些可能的实施例中，在控制虚拟角色执行第一动作参数过渡至第二动作参数的相应动作之前，可以根据第一动作参数控制虚拟角色的执行相应动作，直至从第二图像帧中检测出第二动作参数。
在本申请的一个实施例中，执行相应的动作例如可以为：持续控制虚拟角色执行第一动作参数对应的动作，直至从第二图像帧中检测到第二动作参数，即在获取到第二动作参数之前，控制虚拟角色保持在丢帧之前最后捕捉到的第一动作参数对应的动作。
举例说明，以虚拟角色的眼睛为例进行说明，在本申请的实施例中，可以将眼睛部位的参数名设置为：EyeBlink EyeOpen，眼睛部位对应的参数数据可以在0-1.2之间变化，其中参数数据为0时表示眼睛部位的表现形式为闭眼，参数数据为1时表示眼睛部位的表现形式为正常睁开眼睛，参数为1.2时表示眼睛部位的表现形式为睁大眼睛。若第一图像帧正在眨眼时丢失了眼睛的数据，此时则会记录丢帧之前最后一个时刻捕捉到的EyeBlinkEyeOpen的第一动作参数数据，假设记录到EyeBlink EyeOpen的第一动作参数数据为0.5，则在获取到第二动作参数之前，一直将虚拟角色的眼睛部位的参数数据设置为0.5，即控制虚拟角色的眼睛保持在0.5的参数数据对应的位置，直至获取到眼睛的第二动作参数；应当理解具体虚拟角色的第一部位执行的相应动作，以及执行相应动作的方式，可以根据用户需要灵活调整，例如相应的动作也可以为根据预设的参数活动范围，控制虚拟角色播放预设动画对应的动作，直至从第二图像帧中检测到第二动作参数，其中预设动画例如可以为呼吸动画或轻微晃动动画等；各参数数据对应的变化范围以及不同的参数数据对应的该部位的动作的表现形式也可以根据用户需要灵活调整，应当理解上述实施例仅为示例性说明，并不以此为限。
这样的设置方式不但避免了虚拟角色在由第一动作参数过渡到第二动作参数之间出现跳帧的问题，并且即使在虚拟角色的丢帧时间之内，虚拟角色还是会执行相应的动作，从而弥补了时间上虚拟角色的动作参数丢失的缺陷，避免了虚拟角色出现卡帧的问题。
可选地，在上述实施例的基础上，本申请实施例还可提供一种虚拟角色控制方法，如下结合附图对上述方法中从第一动作参数过渡至第二动作参数的实现过程进行示例说明。图2为本申请另一实施例提供的一种虚拟角色控制方法的流程示意图，如图2所示，S104可包括：
S105：控制虚拟角色在预设时间段内执行从第一动作参数过渡至第二动作参数的相应动作。
其中，预设时间段是可以根据用户需要进行调整的，从而保证了虚拟角色可以在预设时间段内从第一动作参数对应的动作融合至第二动作参数对应的动作，随后继续获取的新的图像捕捉的图像帧的动作参数，并根据获取的新的动作参数控制虚拟角色的进行对应的动作展示。
在一些可能的实施例中，预设时间段的确定方式例如可以为：确定第一动作参数和第二动作参数的参数差值；根据参数差值，确定预设时间段的时长。
即本申请提供的方法可以根据参数差值确定不同的预设时间段的时长，从而使得对于参数差值比较小的时候，过渡的预设时间段可能也会比较短，对于参数差值比较大的时候，过渡的预设时间段可能也会比较长，不同的参数差值可能对应不同的预设时间段。
在本申请的实施例中，参数差值和预设时间段的时长的对应关系可能为：每个参数差值均有自己对应的预设时间段；也可能为每个预设范围内的参数差值均有自己对应的预设时间段，例如0-0.1的参数差值对应第一预设时间段时长，0.1-0.2的参数差值对应第二预设时间段时长等；应当理解上述实施例仅为示例性说明，具体对应关系可以根据用户需要灵活调整，并不以上述实施例给出的为限。
采用上述方法可以保证了过渡的流畅性，动作过渡会比较自然，并且根据不同的参数差值确定不同时长的预设时间段，可以避免动作过渡的过慢或过快的问题，保证了过渡效果。
在另一些可能的实施例中，预设时间段的确定方式例如可以为：根据第一动作参数和第二动作参数的参数差值，确定参数差值对应的第一参数变化速率；根据参数差值和第一参数变化速率，确定预设时间段的时长；即第一参数变化速率是确定的，只需根据参数差值和第一参数变化速率就可以直接确定预设时间段的长度，从而保证了无论参数差值的大小，过渡时动作变化的速率均是相同的，同样避免动作过渡的过慢或过快的问题，保证了过渡的效果，应当理解上述实施例仅为示例性说明，具体预设时间段的确定方式可以根据用户需要灵活调整，并不以上述实施例给出的为限制。
可选地，在上述实施例的基础上，本申请实施例还可提供一种虚拟角色控制方法，如下结合附图对上述方法中从第一动作参数过渡至第二动作参数的实现过程进行示例说明。图3为本申请另一实施例提供的一种虚拟角色控制方法的流程示意图，如图3所示，S104可包括：
S106：控制虚拟角色根据预设的第二参数变化速率，执行从第一动作参数过渡至第二动作参数的相应动作。
这样的控制方式可以直接根据预设的第二参数变化速率，匀速从第一动作参数过渡至第二动作参数以执行相应的动作，无需确定预设时间段的时长，并保证了在第一部位的动作在由第一动作参数对应的动作变化至第二动作参数对应的动作时，动作变化过程中变化是可以保持匀速的，不会由于变化过快导致变化过于突兀，或变化过慢导致影响后续拍摄对象和虚拟角色同步的问题。
可选地，在上述实施例的基础上，本申请实施例还可提供一种虚拟角色控制方法，如下结合附图对上述方法的实现过程进行示例说明。图4为本申请另一实施例提供的一种虚拟角色控制方法的流程示意图，如图4所示，该方法还可包括：
S107：从第一图像帧检测多个部位的动作参数。
在本申请的实施例中，多个部位可以为面部区域中的多个部位，或者，整个身体区域的多个部位，具体多个部位包括的部位根据当前的同步场景确定，可以根据用户需要灵活调整，例如当前的同步场景为面部同步时，则多个部位为头部区域对应的多个部位；同步场景为半身同步时，则多个部位为半身区域对应的多个部位；同步场景为全身同步时，则多个部位为全身区域对应的多个部位等，具体同步场景，以及多个部位包括的内容并不以上述实施例给出的为限。
S108：若从第一图像帧中未检测到第一部位的动作参数，但检测到第二部位的动作参数，则根据检测到的第二部位的动作参数控制虚拟角色中第二部位执行相应动作。
即在本申请的实施例中，例如在拍摄对象为真人，第一部位为眼睛，在未检测到拍摄对象眼睛部位的动作参数，但是检测到拍摄对象其他部位的动作参数时，则可以控制虚拟角色的眼睛部位保持第一动作参数对应的动作，或执行预设动作，控制虚拟角色的其他部位执行拍摄对象的其他部位的动作参数对应的动作，从而实现了在部分部位丢帧的情况下，虚拟对象的其他部位仍可与拍摄对象的其他部位保持同步，进一步提高了用户体验，降低了丢帧对用户体验带来的影响。
采用本申请提供的虚拟角色控制方法，在捕捉第一图像帧，并在未检测第一图像帧中拍摄对象的动作参数后，获取丢帧时刻之前最后检测到的第一动作参数，并在从第二图像帧中检测到第二动作参数之前，均控制虚拟角色保持第一动作参数对应的动作，直至获取到第二动作参数，随后控制虚拟角色执行从第一动作参数过渡至第二动作参数相应的动作，从而实现了及时虚拟角色的动作变化是流畅的，不会出现跳帧的问题。
下述结合附图对本申请所提供的虚拟角色控制装置进行解释说明，该虚拟角色控制装置可执行上述图1-图4任一虚拟角色控制方法，其具体实现以及有益效果参照上述，如下不再赘述。
图5为本申请一实施例提供的虚拟角色控制装置的结构示意图，如图5所示，该装置包括：确定模块201、获取模块202和控制模块203，其中：
确定模块201，用于对拍摄对象进行图像捕捉，并根据图像捕捉的图像帧确定虚拟角色的动作，其中图像帧包括拍摄对象当前所做的动作。
获取模块202，用于若从第一图像帧中未检测到拍摄对象的动作参数，则获取丢帧时刻之前最后检测到的拍摄对象的第一动作参数，其中丢帧时刻为未检测到动作参数的时刻；若从第一图像帧之后的第二图像帧中检测到拍摄对象的动作参数，则获取丢帧时刻之后最先检测到的拍摄对象的第二动作参数；
控制模块203，用于根据第一动作参数控制虚拟角色执行相应动作，直至从第二图像帧中检测到第二动作参数。
可选地，控制模块203，具体用于根据第一动作参数控制虚拟角色的第一部位执行相应动作，直至从第二图像帧中检测出第二动作参数。
可选地，控制模块203，具体用于控制虚拟角色执行第一动作参数对应的动作，直至从第二图像帧中检测到第二动作参数。
可选地，控制模块203，具体用于控制虚拟角色播放预设动画对应的动作，直至从第二图像帧中检测到第二动作参数。
可选地，控制模块203，具体用于控制虚拟角色在预设时间段内执行从第一动作参数过渡至第二动作参数的相应动作。
可选地，确定模块201，具体用于确定第一动作参数和第二动作参数的参数差值；根据参数差值，确定预设时间段的时长。
可选地，确定模块201，具体用于根据第一动作参数和第二动作参数的参数差值，确定参数差值对应的第一参数变化速率；根据参数差值和第一参数变化速率，确定预设时间段的时长。
控制模块203，具体用于控制虚拟角色根据预设的第二参数变化速率，执行从第一动作参数过渡至第二动作参数的相应动作。
可选地，在上述实施例的基础上，本申请实施例还可提供一种虚拟角色控制装置，如下结合附图对上述图5给出的装置的实现过程进行示例说明。图6为本申请另一实施例提供的虚拟角色控制装置的结构示意图，如图6所示，该装置还包括：检测模块204，用于从第一图像帧检测多个部位的动作参数；
控制模块203，具体用于若从第一图像帧中未检测到第一部位的动作参数，但检测到第二部位的动作参数，则根据检测到的第二部位的动作参数控制虚拟角色中第二部位执行相应动作。
可选地，多个部位为面部区域中的多个部位，或者，整个身体区域的多个部位。
可选地，控制模块203，具体用于控制虚拟角色在预设设备上执行第一动作参数过渡至第二动作参数的相应动作；其中预设设备为显示屏或全息投影。
上述装置用于执行前述实施例提供的方法，其实现原理和技术效果类似，在此不再赘述。
以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
图7为本申请一实施例提供的虚拟角色控制设备的结构示意图，该虚拟角色控制设备可以集成于终端设备或者终端设备的芯片。
该虚拟角色控制设备包括：处理器501、存储介质502和总线503。
处理器501用于存储程序，处理器501调用存储介质502存储的程序，以执行上述图1-图4对应的方法实施例。具体实现方式和技术效果类似，这里不再赘述。
可选地，本申请还提供一种程序产品，例如存储介质，该存储介质上存储有计算机程序，包括程序，该程序在被处理器运行时执行上述方法对应的实施例。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本申请各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取存储器(英文：Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (14)
1.一种虚拟角色控制方法，其特征在于，所述方法包括：
对拍摄对象进行图像捕捉，并根据图像捕捉的图像帧确定所述虚拟角色的动作，其中所述图像帧包括所述拍摄对象当前所做的动作；
若从第一图像帧中未检测到所述拍摄对象的动作参数，则获取丢帧时刻之前最后检测到的所述拍摄对象的第一动作参数，其中所述丢帧时刻为未检测到动作参数的时刻；
若从所述第一图像帧之后的第二图像帧中检测到所述拍摄对象的动作参数，则获取丢帧时刻之后最先检测到的所述拍摄对象的第二动作参数；
控制所述虚拟角色执行所述第一动作参数过渡至所述第二动作参数的相应动作。
2.如权利要求1所述的方法，其特征在于，所述控制所述虚拟角色执行所述第一动作参数过渡至所述第二动作参数的相应动作之前，所述方法还包括：
根据所述第一动作参数控制所述虚拟角色执行相应动作，直至从所述第二图像帧中检测到所述第二动作参数。
3.如权利要求2所述的方法，其特征在于，所述根据所述第一动作参数控制所述虚拟角色执行相应动作，直至从所述第二图像帧中检测到所述第二动作参数，包括：
控制所述虚拟角色执行所述第一动作参数对应的动作，直至从所述第二图像帧中检测到所述第二动作参数。
4.如权利要求2所述的方法，其特征在于，所述根据所述第一动作参数控制所述虚拟角色执行相应动作，直至从所述第二图像帧中检测到所述第二动作参数，包括：
控制所述虚拟角色播放预设动画对应的动作，直至从所述第二图像帧中检测到所述第二动作参数。
5.如权利要求1所述的方法，其特征在于，所述控制所述虚拟角色执行所述第一动作参数过渡至所述第二动作参数的相应动作，包括：
控制所述虚拟角色在预设时间段内执行从所述第一动作参数过渡至所述第二动作参数的相应动作。
6.如权利要求5所述的方法，其特征在于，所述控制所述虚拟角色在预设时间段内执行从所述第一动作参数过渡至所述第二动作参数的相应动作之前，所述方法还包括：
确定所述第一动作参数和所述第二动作参数的参数差值；
根据所述参数差值，确定所述预设时间段的时长。
7.如权利要求6所述的方法，其特征在于，所述根据所述参数差值，确定所述预设时间段的时长，包括：
根据所述第一动作参数和所述第二动作参数的参数差值，确定所述参数差值对应的第一参数变化速率；
根据所述参数差值和所述第一参数变化速率，确定所述预设时间段的时长。
8.如权利要求1所述的方法，其特征在于，所述控制所述虚拟角色执行所述第一动作参数过渡至所述第二动作参数的相应动作，包括：
控制所述虚拟角色根据预设的第二参数变化速率，执行从所述第一动作参数过渡至所述第二动作参数的相应动作。
9.如权利要求1-8中任一所述的方法，其特征在于，所述方法还包括：
从所述第一图像帧检测多个部位的动作参数；
若从所述第一图像帧中未检测到第一部位的动作参数，但检测到第二部位的动作参数，则根据检测到的所述第二部位的动作参数控制所述虚拟角色中所述第二部位执行相应动作。
10.如权利要求9所述的方法，其特征在于，所述多个部位为面部区域中的多个部位，或者，整个身体区域的多个部位。
11.如权利要求1所述的方法，其特征在于，所述控制所述虚拟角色执行所述第一动作参数过渡至所述第二动作参数的相应动作，包括：
控制所述虚拟角色在预设设备上执行所述第一动作参数过渡至所述第二动作参数的相应动作；其中预设设备为显示屏或全息投影。
12.一种虚拟角色控制装置，其特征在于，所述装置包括：确定模块、获取模块和控制模块，其中：
所述确定模块，用于对拍摄对象进行图像捕捉，并根据图像捕捉的图像帧确定所述虚拟角色的动作，其中所述图像帧包括所述拍摄对象当前所做的动作；
所述获取模块，用于若从第一图像帧中未检测到所述拍摄对象的动作参数，则获取丢帧时刻之前最后检测到的所述拍摄对象的第一动作参数，其中所述丢帧时刻为未检测到动作参数的时刻；若从所述第一图像帧之后的第二图像帧中检测到所述拍摄对象的动作参数，则获取丢帧时刻之后最先检测到的所述拍摄对象的第二动作参数；
所述控制模块，用于控制所述虚拟角色执行所述第一动作参数过渡至所述第二动作参数的相应动作。
13.一种虚拟角色控制设备，其特征在于，所述设备包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当所述虚拟角色控制设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行上述权利要求1-11任一项所述的方法。
14.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述权利要求1-11任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110746199.2A CN113490054A (zh) | 2021-07-01 | 2021-07-01 | 虚拟角色控制方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110746199.2A CN113490054A (zh) | 2021-07-01 | 2021-07-01 | 虚拟角色控制方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113490054A true CN113490054A (zh) | 2021-10-08 |
Family
ID=77940001
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110746199.2A Pending CN113490054A (zh) | 2021-07-01 | 2021-07-01 | 虚拟角色控制方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113490054A (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04191444A (ja) * | 1990-11-22 | 1992-07-09 | Mazda Motor Corp | エンジンの燃料制御装置 |
| EP2623374A1 (de) * | 2012-01-31 | 2013-08-07 | MEKRA Lang GmbH & Co. KG | Sichtsystem für Nutzfahrzeuge zur Darstellung von gesetzlich vorgeschriebenen Sichtfeldern eines Hauptspiegels und eines Weitwinkelspiegels |
| CN104658038A (zh) * | 2015-03-12 | 2015-05-27 | 南京梦宇三维技术有限公司 | 基于动作捕捉的三维数字内容智能制作方法及制作系统 |
| WO2018107679A1 (zh) * | 2016-12-12 | 2018-06-21 | 华为技术有限公司 | 一种动态三维图像获取的方法和设备 |
| CN108289246A (zh) * | 2017-11-30 | 2018-07-17 | 腾讯科技(成都)有限公司 | 数据处理方法、装置、存储介质和电子装置 |
| CN109272566A (zh) * | 2018-08-15 | 2019-01-25 | 广州多益网络股份有限公司 | 虚拟角色的动作表情编辑方法、装置、设备、系统及介质 |
| CN110136231A (zh) * | 2019-05-17 | 2019-08-16 | 网易（杭州）网络有限公司 | 虚拟角色的表情实现方法、装置及存储介质 |
| AU2020100998A4 (en) * | 2020-06-12 | 2020-07-16 | Chen, Guoyi Mr | A method of the motion retrival based on DTW algorithm |
| CN111970535A (zh) * | 2020-09-25 | 2020-11-20 | 魔珐(上海)信息科技有限公司 | 虚拟直播方法、装置、系统及存储介质 |
| CN112102449A (zh) * | 2020-09-14 | 2020-12-18 | 北京百度网讯科技有限公司 | 虚拟人物的生成方法、展示方法及装置、设备和介质 |
| CN112543342A (zh) * | 2020-11-26 | 2021-03-23 | 腾讯科技（深圳）有限公司 | 虚拟视频直播处理方法及装置、存储介质、电子设备 |
-
2021
- 2021-07-01 CN CN202110746199.2A patent/CN113490054A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04191444A (ja) * | 1990-11-22 | 1992-07-09 | Mazda Motor Corp | エンジンの燃料制御装置 |
| EP2623374A1 (de) * | 2012-01-31 | 2013-08-07 | MEKRA Lang GmbH & Co. KG | Sichtsystem für Nutzfahrzeuge zur Darstellung von gesetzlich vorgeschriebenen Sichtfeldern eines Hauptspiegels und eines Weitwinkelspiegels |
| CN104658038A (zh) * | 2015-03-12 | 2015-05-27 | 南京梦宇三维技术有限公司 | 基于动作捕捉的三维数字内容智能制作方法及制作系统 |
| WO2018107679A1 (zh) * | 2016-12-12 | 2018-06-21 | 华为技术有限公司 | 一种动态三维图像获取的方法和设备 |
| CN108289246A (zh) * | 2017-11-30 | 2018-07-17 | 腾讯科技(成都)有限公司 | 数据处理方法、装置、存储介质和电子装置 |
| CN109272566A (zh) * | 2018-08-15 | 2019-01-25 | 广州多益网络股份有限公司 | 虚拟角色的动作表情编辑方法、装置、设备、系统及介质 |
| CN110136231A (zh) * | 2019-05-17 | 2019-08-16 | 网易（杭州）网络有限公司 | 虚拟角色的表情实现方法、装置及存储介质 |
| AU2020100998A4 (en) * | 2020-06-12 | 2020-07-16 | Chen, Guoyi Mr | A method of the motion retrival based on DTW algorithm |
| CN112102449A (zh) * | 2020-09-14 | 2020-12-18 | 北京百度网讯科技有限公司 | 虚拟人物的生成方法、展示方法及装置、设备和介质 |
| CN111970535A (zh) * | 2020-09-25 | 2020-11-20 | 魔珐(上海)信息科技有限公司 | 虚拟直播方法、装置、系统及存储介质 |
| CN112543342A (zh) * | 2020-11-26 | 2021-03-23 | 腾讯科技（深圳）有限公司 | 虚拟视频直播处理方法及装置、存储介质、电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112348969B (zh) | 增强现实场景下的展示方法、装置、电子设备及存储介质 | |
| CN106210855B (zh) | 对象显示方法和装置 | |
| CN113038287B (zh) | 多人视频直播业务实现方法、装置、计算机设备 | |
| CN113422977B (zh) | 直播方法、装置、计算机设备以及存储介质 | |
| CN113973190A (zh) | 视频虚拟背景图像处理方法、装置及计算机设备 | |
| EP2273450A2 (en) | Target tracking apparatus, image tracking apparatus, methods of controlling operation of same, and digital camera | |
| CN106730815B (zh) | 一种易实现的体感互动方法及系统 | |
| EP3200444B1 (en) | Method, system, and device for processing video shooting | |
| US11769231B2 (en) | Methods and apparatus for applying motion blur to overcaptured content | |
| CN110769158A (zh) | 增强的图像捕获 | |
| US10154228B1 (en) | Smoothing video panning | |
| WO2014158635A1 (en) | Adaptive data path for computer-vision applications | |
| KR101831516B1 (ko) | 멀티 스티커를 이용한 영상 생성 방법 및 장치 | |
| US20140267836A1 (en) | Image capture apparatus that can display review image, image capture method, and storage medium | |
| US20210160557A1 (en) | Rendering image content as time-spaced frames | |
| CN114095744B (zh) | 视频直播方法、装置、电子设备及可读存储介质 | |
| CN109997171A (zh) | 显示装置以及程序 | |
| US20190208124A1 (en) | Methods and apparatus for overcapture storytelling | |
| CN110784733A (zh) | 直播数据处理方法、装置、电子设备及可读存储介质 | |
| CN113840158B (zh) | 虚拟形象的生成方法、装置、服务器及存储介质 | |
| CN109791558A (zh) | 微动图的自动选择 | |
| KR101672691B1 (ko) | 소셜 네트워크 서비스 플랫폼에서 이모티콘 생성 방법 및 장치 | |
| CN112422844A (zh) | 在视频中添加特效的方法、装置、设备及可读存储介质 | |
| CN111444909B (zh) | 图像数据的采集方法、终端设备及介质 | |
| JP6373446B2 (ja) | ビデオフレームを選択するプログラム、システム、装置、及び方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |