CN1567383A - 利用文字脚本制作三维动画的方法 - Google Patents

利用文字脚本制作三维动画的方法 Download PDF

Info

Publication number
CN1567383A
CN1567383A CNA03137090XA CN03137090A CN1567383A CN 1567383 A CN1567383 A CN 1567383A CN A03137090X A CNA03137090X A CN A03137090XA CN 03137090 A CN03137090 A CN 03137090A CN 1567383 A CN1567383 A CN 1567383A
Authority
CN
China
Prior art keywords
action
script
dimensional animation
literal
make
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA03137090XA
Other languages
English (en)
Inventor
林仓互
陈加珍
杨熙平
赵士宾
邱志义
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Technology Research Institute ITRI
Original Assignee
Industrial Technology Research Institute ITRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial Technology Research Institute ITRI filed Critical Industrial Technology Research Institute ITRI
Priority to CNA03137090XA priority Critical patent/CN1567383A/zh
Publication of CN1567383A publication Critical patent/CN1567383A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种利用文字脚本制作三维动画的方法,主要是于设计利用自然语言来产生三维动画,以快速产生雏形动画的制作流程;本发明将自然语言转换成具上层语意的动作注释数据,并与经动作注释数据标注过的动作片段数据进行匹配,便可索引出语意相似的候选动作,然后将的合成以产生实际的三维动画。

Description

利用文字脚本制作三维动画的方法
技术领域
本发明涉及一种制作三维动画的方法,是应用于数字多媒体,特别是一种利用文字脚本制作三维动画的方法。
背景技术
近年来计算机的应用范围随着它计算能力的增强而增大,制造业利用它来提升生产能力,商业界也借着它来增加交易的效率及服务的品质。最近因数字多媒体技术的进步,传媒业也利用计算机来协助其内容(content)的制作与传播。而娱乐界早就利用相关的技术来合成电影动画或计算机游戏中的虚拟角色。如何实时产生逼真和可操控的角色动画(character animation)是目前计算机游戏和虚拟实境领域中一项重要的问题。
早期在动画制作上,每一个角色的动作全靠动画师分格绘制而成。要描述出心中想要的姿态必须指定虚拟人身上各关节的角度,每一个画格通常要设定高达20到60个数值,因此想要实时合成动画并有效的控制虚拟人是一件相当困难的工作。上述动画产生方式被归类为以画格为基础(frame-based)的低阶表示法,其过程十分繁琐且非常依赖动画师的动画技术以及他对人类动作的揣摩经验,如此才能产生出生动自然的肢体动作。第二种是以运动学(kinematics)为基础的程序式动画,其对于某类运动行为的肢体动作合成,必须先利用运动科学(sport science)的分析技术,解析求得运动过程各状态中末端效应器(end-effector)、关节角度、重心位置与根节点(root)位移旋转等参数的适当关系式后,方能产生栩栩如生的动画效果。但是人类许多运动行为过于复杂,并不容易经由运动分析找出近似的运动方程式,所以应用范围非常狭隘,能产生的肢体动作也不丰富,大多用于步行(locomotion)动画的合成。
另一种是以动力学(dynamics)的仿真产生动作,可经由设定物体质量、运动惯量和角加速度等参数后,再交由计算机计算出符合这些物理参数的运动行为,然而仿真像人类这种具有复杂链接性的关节系统需要庞大的计算量,目前的计算机并无法实时以动态仿真方式来产生动作。最后一种是利用3D动作获取器预先记录下动画中所需要的逼真人体动作,此预录动作数据本质上已是符合动力学的条件限制,因此产生的动画逼真程度是所有前述方法中最为真实的,但动作获取的仪器设备非常昂贵且获取时间与数据清理时间非常冗长,为了降低这些成本,促使动作获取数据的再利用(reuse)技术成为目前热门的研究议题,其中对于动作获取数据的有效表示法可分为动态图像(MotionGraphs)与动态纹理(Motion Texture)两类,这些表示法的好处在于它们创造出一种新的动作控制机制,能够从既有的动作获取数据中任意合成一段符合或逼近限制条件的创新动作。对于动作获取数据的再利用时搜寻接口的改进,内容获取(content-based retrieval)的方式为目前盛行的作法,它可以方便地让使用者从动作获取数据库中搜寻出期望的动作。
然而,利用动态图像(Motion Graphs)与动态纹理(Motion Texture)合成出一段新的动作对于辅助动画师创建动画的目标依然非常遥远。其主要原因在于此机制虽然能产生一段动作,但是此合成的动作是不具任何上层语义的拼凑动作,然而动画师制作动画的目的就是期望能让观赏者了解其创作内含的上层语意,因此纯粹由讯号处理方式产生的动作,在实用性上效果不佳。
发明内容
为解决上述问题,本发明提出一种利用文字脚本制作三维动画的方法,提供使用者输入自然语言的文字脚本,而能直接合成出三维动画。
本发明为一种利用文字脚本制作三维动画的方法,是架构于自然语言的分析技术与动作索引表的设计以达到自动合成动画的技术,基本上它结合了经注释数据标注过的虚拟人肢体动作数据库,再通过自然语言型态的分析,获取合成出多样性的三维动画。本发明主要先搜集分析与动作相关的自然语言语汇与知识,然后再设计此语言的各类知识本体(ontology)。有了此语言为基础的知识本体就能保证同一种语言表达的知识具有一致性,接着将其转化为具有语意的注释(annotation)数据,使得计算机能够理解自然语言其所表达的语意,再由动画数据库中获取出所需要的动画片段,就能轻易的合成出三维动画。
具体地讲,本发明公开了一种利用文字脚本制作三维动画的方法,包括有下列步骤:
输入一自然语言的文字脚本;
正规化该文字脚本;
比较该文字脚本与一动作数据库,该动作数据库包括有数个动作片段以及一动作片段索引表,利用该动作片段索引表,可比较出相对应于该文字脚本的动作片段;
获取相对应的该动作片段;及
合成该动作片段为三维动画。
所述的利用文字脚本制作三维动画的方法,该正规化文字脚本的步骤,包括有下列步骤:
将该文字脚本划分为数个词组文字;
辨别该词组文字的词性;
根据该词性而选定一标题词;以及
转换该标题词为一正规化语言。
所述的利用文字脚本制作三维动画的方法,该标题词为该词组文字的同义字中最常用的一个。
所述的利用文字脚本制作三维动画的方法,该正规化语言为XML的格式。
所述的利用文字脚本制作三维动画的方法,该动作数据库的建立包括有下列步骤:
接收一动作数据;
获取该动作数据中每一画格纪录的坐标;
提取该坐标的特征值;及
根据该特征值建立该动作片段索引表以及相对应的动作片段。
所述的利用文字脚本制作三维动画的方法,该动作片段是由数个画格记录所组成。
所述的利用文字脚本制作三维动画的方法,该动作片段的表示法是利用MPEG7的DLL格式。
所述的利用文字脚本制作三维动画的方法,该动作片段是利用文字语意分割该动画数据。
所述的利用文字脚本制作三维动画的方法,该特征值为该画格投影于一球坐标上的坐标数据。
所述的利用文字脚本制作三维动画的方法,该比较该文字脚本与一动作数据库的步骤是利用加权贪婪算法来加以比较。
附图说明
图1为本发明的步骤流程示意图;
图2为本发明自然语言正规化的步骤流程图;
图3为本发明建立动作数据库的步骤流程图;及
图4为本发明搜寻动作片段合成的示意图。
符号说明
40             动作数据库
401            数据格点
402            无数据格点
A              起始画格
B              结尾画格
具体实施方式
本发明公开一种利用文字脚本制作三维动画的方法,请参阅图1,首先输入一自然语言的文字脚本(步骤101),接着将文字脚本正规化为计算机可辨别的语言(步骤102),并比较文字脚本与动作数据库(步骤103),而从动作数据库中获取相对应的动作片段(步骤104),最后将所有的动作片段合成为三维动画(步骤105)。
本发明主要方案是提供通过自然语言来撰写文字脚本,再利用计算机自动制作三维动画,故前提乃必须先能够将自然语言正规化,以供计算机辨识。因此对于自然语言正规化的问题,我们采用了索引典与注释数据等技术来解决。请参阅图2,首先将文字脚本划分为数个词组文字(步骤201),并且分别依序辨别词组文字的词性(步骤202),再根据词性而依序选定一标题词(步骤203),而能将标题词转换为正规化语言(步骤204)。文字脚本是利用自然语言所构成,故需要将其转化为计算机可判读的正规化语言,其必须借重索引典(Thesauruses)的功能,其主要是为了解决专门领域内,相同语意但却不同术语间的对应,这是非常有助于规范注释数据(metadata)的一致性。因为数字内容的自然语言如果不具有任何语意标注,则计算机是很难去理解其所具有的上层语意。而注释数据的标注正是使计算机能够理解数字内容所隐含语意信息的一项技术。然而,注释数据必须是一种具有规范的标注信息,才可让使用者对其数字内容进行语意标注时有遵循的法则与用词,并帮助知识本体与推衍规则有限的计算机理解人类无穷想法与创意的抽象语意。
以最复杂的人体动画为例子,对于自然语言转换人体动画的问题而言,人体动作的用词语句局限于特定词汇,这种特性正适合以索引典的方式产生注释数据的对应。首先,必须搜集有关人体动作的文件内容,接着以自然语言的工具(或称为自然语言剖析器)将文件内容进行词组与词性标注,随后进行统计分析,将自然语言的语句拆开为数个词组文字,来分别判断其词性(也就是名词、动词、介词等)。接着采用被广泛使用的同义词词汇做为上述剖析结果的同义语对应模板,依据词汇的对应,做为建立索引典的标准。举例来说,譬如″往下、朝下、下落、落下、落、下降、降下、降低、降″等,都可以利用″向下″作为标题词,来代替所有同义的字词。然后利用注释数据规范所有的标题词,即可完成正规化的判断,而注释数据可使用XML(Extensible MarkupLanguage)的格式,以增加通用及携带的便利性。
接着将正规化的语言与动作数据库来比较,由数据库中获取出所相对应的动作片段,来合成三维动画,其中动作数据库至少包含有数段的动作片段与对应于动作片段的索引表,计算机可利用前述的注释数据比较动作片段索引表内的数据,而能一一获取所相对应的动作片段。关于动作数据库的建立,请参阅图3,先由外界输入动作数据(步骤301),然后获取动作数据中每一画格纪录的坐标(步骤302)并提取坐标的特征值(步骤303),而能根据特征值建立动作片段索引表以及相对应的动作片段(步骤304)。动作获取数据中的每个画格记录了身体各关节(joint)上三度空间卡式坐标位置,以及根关节(root)的朝向(orientation)。同样以最复杂的人体动作为例来说明,在所获取出的每个画格中,我们提取主要的肢体—左手臂、右手臂和双腿等姿势。左手臂和右手臂皆由上、下臂组成。而双腿则是由左大腿、左小腿和右大腿、右小腿构成。为了达到减少维度和不同的身体位移、旋转和缩放下判断相同的姿势,我们将各关节三度空间卡式坐标按照下述方式转为二度空间的球坐标表示法。假设v为一段肢体于卡式坐标的向量,则转换v成球坐标向量的方式,需先将根关节朝向与v投影至和地板平行的XZ平面,于是根关节和v投影的向量分别以vXZ与rXZ表示的。然后,由XZ平面的垂直轴Y轴和rXZ可依下列公式求得v的球坐标弧度θ和:
θ = cos - 1 ( v XZ · r XZ | | v XZ | | × | | r XZ | | )
按照上述转换方式,我们以 四个参数表示左、右手臂的姿势特征,其中(θ,)表示下手臂,而
Figure A0313709000094
表示上手臂,对于双腿姿势特征,也是相同的道理。
接着,我们的动作索引表是一种由多维度晶格所组成的空间(见图4),以两个四个维度索引表储存左、右手臂姿势索引值,一个八个维度的索引表储存双腿姿势索引值。为了分发一个画格到动作索引表中,我们量化画格中的姿势特征值便形成了索引表的空间位置。例如,
Figure A0313709000095
为左手臂于第i个画格时姿势特征值,此特征值可利用下列索引函数式H找到对应于索引表的晶格位置:
Figure A0313709000096
其中变量a,b,c,d为各维度的量化间隔即晶格各维度的边长,运算符号 表示将实数转成最小整数值。第i个画格依照上式计算后被分发到动作索引表中黑色的晶格内,更进一步地说,连续画格经上式计算后,只要是晶格位置相同,都会被群聚到相同的晶格内,于是原本连续的动作获取数据便会被切开分发到串接在一起的晶格内,并于各个晶格内形成一段一段的动作片段(motionclip)。这些动作片段于原本动作获取数据中的起始与结尾的画格编号也将一并纪录于晶格内。
当所有的动作获取数据都经过上述分发与群聚的处理后,动作索引表便设计完成了。如图4所示,其中动作数据库40包含了数个晶格,其中包含了具有动作片段的数据格点401以及没有动作片段的无数据格点402,当然,所提供的动画数据越完整,无数据的格点402就越少,所能产生的动画的限制就越少。而上述的注释数据必须与此地方的索引数据能够匹配,其可采用具有阶层式结构的MPEG-7的DDL格式,以具有语意的静态姿势与动态动作标注其动作特征值和语意等信息。当语意标注完成之后,动作数据库中便有了注释数据的标注,于是使用者输入的自然语言转换成注释数据后,就可和动作数据库的注释数据采以DTW(dynamic time warping)符号式比较,最后即可按照注释数据相似程度索引出姿势所对应的晶格或动作所对应的晶格衔接路径,而起始画格与结尾画格的信息亦可由姿势与动作标注的信息中取得。
而比较索引以及合成时,请参阅图4,姿势索引即是要由动作索引表中找出起始画格A与结尾画格B分别座落的晶格位置,以用于接下来的路径搜寻。令起始画格为fstart,而结尾画格为fend,于是其个别座落的晶格位置Cstart与Cend。路径搜寻是用来找寻晶格位置从Cstart出发一路迈向Cend合成时,可能会经过的晶格串接而成的路径(如图中所述为三条)。而最终判断为何路径主要是依据算法达成,且其利用门槛值(threshold)α来规范限制沿Cstart向Cend方向搜寻的范围,其可根据晶格内的动作片段数目多与少,其比重会做高和低的调整,一直反复搜寻于路径P中可能经过的晶格,直到抵达Cend即算是完成路径搜寻。当各个关键姿势指定完成之后,系统便会立刻通过索引表获取出对应的动作获取数据,至于在索引表中各个关键姿势的连接路径则采用加权贪婪(WeightedGreedy)算法对格子的顶点邻居(vertex neighbor)拜访寻找。而邻居间彼此动作片段的过渡(transition)除了需要考虑根节点的朝向和移动方向的调校(alignment)外,还需要解决脚滑步(feet sliding)、脚穿透(penetrating)或悬浮(suspending)于地板以及其它违反环境限制等现象。
以上所述仅为本发明其中的较佳实施例而已,并非用来限定本发明的实施范围;凡依本发明申请专利范围所作的等效变化与修改,皆为本发明专利范围所涵盖。

Claims (10)

1.一种利用文字脚本制作三维动画的方法,其特征在于,包括有下列步骤:
输入一自然语言的文字脚本;
正规化该文字脚本;
比较该文字脚本与一动作数据库,该动作数据库包括有数个动作片段以及一动作片段索引表,利用该动作片段索引表,可比较出相对应于该文字脚本的动作片段;
获取相对应的该动作片段;及
合成该动作片段为三维动画。
2.如权利要求1所述的利用文字脚本制作三维动画的方法,其特征在于,该正规化文字脚本的步骤,包括有下列步骤:
将该文字脚本划分为数个词组文字;
辨别该词组文字的词性;
根据该词性而选定一标题词;以及
转换该标题词为一正规化语言。
3.如权利要求2所述的利用文字脚本制作三维动画的方法,其特征在于,该标题词为该词组文字的同义字中最常用的一个。
4.如权利要求2所述的利用文字脚本制作三维动画的方法,其特征在于,该正规化语言为XML的格式。
5.如权利要求1所述的利用文字脚本制作三维动画的方法,其特征在于,该动作数据库的建立包括有下列步骤:
接收一动作数据;
获取该动作数据中每一画格纪录的坐标;
提取该坐标的特征值;及
根据该特征值建立该动作片段索引表以及相对应的动作片段。
6.如权利要求5所述的利用文字脚本制作三维动画的方法,其特征在于,该动作片段是由数个画格记录所组成。
7.如权利要求6所述的利用文字脚本制作三维动画的方法,其特征在于,该动作片段的表示法是利用MPEG7的DLL格式。
8.如权利要求6所述的利用文字脚本制作三维动画的方法,其特征在于,该动作片段是利用文字语意分割该动画数据。
9.如权利要求5所述的利用文字脚本制作三维动画的方法,其特征在于,该特征值为该画格投影于一球坐标上的坐标数据。
10.如权利要求1所述的利用文字脚本制作三维动画的方法,其特征在于,该比较该文字脚本与一动作数据库的步骤是利用加权贪婪算法来加以比较。
CNA03137090XA 2003-06-18 2003-06-18 利用文字脚本制作三维动画的方法 Pending CN1567383A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CNA03137090XA CN1567383A (zh) 2003-06-18 2003-06-18 利用文字脚本制作三维动画的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNA03137090XA CN1567383A (zh) 2003-06-18 2003-06-18 利用文字脚本制作三维动画的方法

Publications (1)

Publication Number Publication Date
CN1567383A true CN1567383A (zh) 2005-01-19

Family

ID=34470347

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA03137090XA Pending CN1567383A (zh) 2003-06-18 2003-06-18 利用文字脚本制作三维动画的方法

Country Status (1)

Country Link
CN (1) CN1567383A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100410923C (zh) * 2005-04-20 2008-08-13 文化传信科技(澳门)有限公司 多媒体传输方法及系统
CN100470500C (zh) * 2007-05-10 2009-03-18 威盛电子股份有限公司 使用热键操作的记录器及其运作方法
CN102136154A (zh) * 2010-11-18 2011-07-27 彭浩明 一种动漫制作方法及装置
CN102509328A (zh) * 2011-09-30 2012-06-20 中兴通讯股份有限公司 日记文件生成方法和装置
CN104992461A (zh) * 2015-06-29 2015-10-21 北京奇虎科技有限公司 一种快速动画场景构建方法和装置
CN106530377A (zh) * 2016-12-16 2017-03-22 厦门幻世网络科技有限公司 用于操作三维动画角色的方法和装置
CN106652022A (zh) * 2016-12-09 2017-05-10 江西中科九峰智慧医疗科技有限公司 一种用于医学三维可视化的球坐标索引方法
CN108090176A (zh) * 2017-12-15 2018-05-29 上海器魂智能科技有限公司 基于网页的动画显示方法、装置、设备及存储介质
CN108597008A (zh) * 2017-12-13 2018-09-28 西安电子科技大学 基于自然文本的人机智能交互控制平台
CN108647192A (zh) * 2018-03-27 2018-10-12 常熟鑫沐奇宝软件开发有限公司 一种用自然语言处理技术生成虚拟现实工作脚本的方法
CN112182194A (zh) * 2020-10-21 2021-01-05 南京创维信息技术研究院有限公司 电视虚拟形象情绪动作表达方法、系统和可读存储介质
CN116193098A (zh) * 2023-04-23 2023-05-30 子亥科技(成都)有限公司 一种三维视频生成方法、装置、设备及存储介质

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100410923C (zh) * 2005-04-20 2008-08-13 文化传信科技(澳门)有限公司 多媒体传输方法及系统
CN100470500C (zh) * 2007-05-10 2009-03-18 威盛电子股份有限公司 使用热键操作的记录器及其运作方法
CN102136154A (zh) * 2010-11-18 2011-07-27 彭浩明 一种动漫制作方法及装置
CN102136154B (zh) * 2010-11-18 2012-12-12 彭浩明 一种动漫制作方法及装置
CN102509328A (zh) * 2011-09-30 2012-06-20 中兴通讯股份有限公司 日记文件生成方法和装置
CN104992461B (zh) * 2015-06-29 2018-05-04 北京奇虎科技有限公司 一种快速动画场景构建方法和装置
CN104992461A (zh) * 2015-06-29 2015-10-21 北京奇虎科技有限公司 一种快速动画场景构建方法和装置
CN106652022A (zh) * 2016-12-09 2017-05-10 江西中科九峰智慧医疗科技有限公司 一种用于医学三维可视化的球坐标索引方法
CN106530377A (zh) * 2016-12-16 2017-03-22 厦门幻世网络科技有限公司 用于操作三维动画角色的方法和装置
CN106530377B (zh) * 2016-12-16 2020-02-07 厦门黑镜科技有限公司 用于操作三维动画角色的方法和装置
CN108597008A (zh) * 2017-12-13 2018-09-28 西安电子科技大学 基于自然文本的人机智能交互控制平台
CN108597008B (zh) * 2017-12-13 2021-08-31 西安电子科技大学 基于自然文本的人机智能交互控制平台
CN108090176A (zh) * 2017-12-15 2018-05-29 上海器魂智能科技有限公司 基于网页的动画显示方法、装置、设备及存储介质
CN108647192A (zh) * 2018-03-27 2018-10-12 常熟鑫沐奇宝软件开发有限公司 一种用自然语言处理技术生成虚拟现实工作脚本的方法
CN108647192B (zh) * 2018-03-27 2022-04-12 常熟鑫沐奇宝软件开发有限公司 一种用自然语言处理技术生成虚拟现实工作脚本的方法
CN112182194A (zh) * 2020-10-21 2021-01-05 南京创维信息技术研究院有限公司 电视虚拟形象情绪动作表达方法、系统和可读存储介质
CN116193098A (zh) * 2023-04-23 2023-05-30 子亥科技(成都)有限公司 一种三维视频生成方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
Xu et al. Sketch2Scene: Sketch-based co-retrieval and co-placement of 3D models
Li et al. A comparison of 3D shape retrieval methods based on a large-scale benchmark supporting multimodal queries
Liu et al. A system for analyzing and indexing human-motion databases
Deng et al. Perceptually consistent example-based human motion retrieval
Zhang et al. Automatic synonym extraction using Word2Vec and spectral clustering
Sun et al. Indexing billions of images for sketch-based retrieval
Wang et al. 3D human motion editing and synthesis: A survey
Joshi et al. The story picturing engine: finding elite images to illustrate a story using mutual reinforcement
WO2021174898A1 (zh) 合成虚拟对象的动作序列的方法及设备
CN106202256A (zh) 基于语义传播及混合多示例学习的Web图像检索方法
CN1567383A (zh) 利用文字脚本制作三维动画的方法
Xiao et al. Sketch-based human motion retrieval via selected 2D geometric posture descriptor
CN102855639B (zh) 一种运动捕捉数据的关键帧提取方法
Aristidou et al. LMA-based motion retrieval for folk dance cultural heritage
US7181434B2 (en) Method for converting high level motion scripts to computer animations
Huang et al. Motion retrieval based on kinetic features in large motion database
CN114722774B (zh) 数据压缩方法、装置、电子设备及存储介质
CN109857886A (zh) 一种基于极小极大值博弈理论视图逼近的三维模型检索方法
Boulares et al. Automatic hand motion analysis for the sign language space management
Zan et al. A framework for human motion segmentation based on multiple information of motion data
Kovar Automated methods for data-driven synthesis of realistic and controllable human motion
CN108959269B (zh) 一种语句自动排序方法及装置
Men et al. Retrieval of spatial–temporal motion topics from 3D skeleton data
CN116091570B (zh) 三维模型的处理方法、装置、电子设备、及存储介质
Tang et al. Double-channel language feature mining based model for video description

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication