CN103106686B - 一种制作并显示三维图像的方法 - Google Patents

一种制作并显示三维图像的方法 Download PDF

Info

Publication number
CN103106686B
CN103106686B CN201310026913.6A CN201310026913A CN103106686B CN 103106686 B CN103106686 B CN 103106686B CN 201310026913 A CN201310026913 A CN 201310026913A CN 103106686 B CN103106686 B CN 103106686B
Authority
CN
China
Prior art keywords
view
light intensity
phase
light
liquid crystal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201310026913.6A
Other languages
English (en)
Other versions
CN103106686A (zh
Inventor
陶少华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN201310026913.6A priority Critical patent/CN103106686B/zh
Publication of CN103106686A publication Critical patent/CN103106686A/zh
Application granted granted Critical
Publication of CN103106686B publication Critical patent/CN103106686B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Holo Graphy (AREA)

Abstract

本发明公开了一种制作并显示三维图像的方法,利用立体图像合成算法将两张二维图像合成一张三维图像,基于三维图像的光强及纵深距离获得三维图像的光场分布;接着利用计算全息算法生成三维图像光场分布的光强型或位相型计算全息图,根据光强型或位相型计算全息图中像素点的光强或位相控制对应液晶点阵上的电压,利用光束照射液晶点阵,使得液晶点阵显示三维影像。该方法能够利用现有设备简单的获取二维图像,克服了光学全息方法中的全息记录需对实物进行记录的要求。由于直接利用全息方法再现三维图像,再现的三维影像类似于人眼观察真实的三维场景,观察者不需要佩戴任何特殊眼镜即可方便的观看三维图像,有效的解决了三维图像的制作和显示问题。

Description

一种制作并显示三维图像的方法
技术领域
本发明涉及一种制作并显示三维图像的方法。
背景技术
人的双眼在自然界观察到的三维或立体物体,不仅具有大小和明暗的信息,而且还具有离人眼远近的距离信息。两只双眼类似于两个处于相对位置固定的摄像机,在任意时刻能够同时获得具有视差的两幅二维图片,这两幅二维图片经过人脑的处理,能够还原为三维真实世界的映像。这样的三维图像,能够让我们感觉到不同物体前后和距离远近的关系,而这是平面图像所缺乏的。平面图像虽然也能给人距离远近的感觉,但是这种感觉是依靠人们平时的生活经验推算出来的,并不是直接观察到的结果。为了通过观察影像获得身临其境的感觉,我们需要制作并能显示三维立体影像。
目前常用的三维影像显示方法主要有佩带特殊眼镜观看和裸眼观看两种。如色分法、光分法、时分法等须佩带有色眼镜、偏振眼镜、或液晶开关眼镜等来使人的两眼分别观看到两幅具有视差的二维图片,并经过大脑合成获得三维图像。对于这类方法,长时间佩戴眼镜观看会让人觉得比较麻烦,而且大脑长时间高速合成三维影像时,有些人会有不适感觉,如觉得头晕、恶心、甚至呕吐。裸眼观看的方法有光场转换法(即利用特殊显示器显示不同视觉的图像,而观众两只眼睛可以分别看到不同的图像)、三维电视技术(即锁定两只眼睛位置,并通过向两只眼睛投射不同的图像,从而呈现立体的视觉感受)、或全息电视(利用全息原理再现立体图像)等。前两种技术对观看者的位置有一定限制或对终端设备的要求很高,同时观察角度也不能太大。
光学全息方法利用光的干涉记录三维物体的振幅和位相信息,然后利用光再现出三维物体。这种方法能够较好地显示三维信息,观察者不需要佩戴眼镜,并且当人眼从不同角度观察再现物体时,观察到的内容也会随观察角度有所不同,这与人眼观察真实三维场景的情形很相似。因此,利用全息光学方法展示三维影像具有以下优点:不需要佩戴任何眼镜、可以大角度(可达180度)观看、不会因为大脑影像合成等原因造成人体不适。光学全息方法产生三维影像的前提是能够获得包含三维视场信息的光学全息片用于光学再现。但是,光学全息记录需要在实物现场,利用两束光(物体的反射光和参考光)的干涉产生干涉条纹。这样就要求实物现场的震动幅度小于光波长级别且被摄物体的反射光足够强。很明显,这样苛刻的条件在室外实际拍摄情况下难以满足。目前,全息电视仍处于研发之中。
发明内容
本发明提供一种制作并显示三维图像的方法的目的在于克服上述问题,从而将普通的二维图像快速转化为三维图像并且将其显示出来。
一种制作并显示三维图像的方法,利用立体图像合成算法将两张二维图像合成一张三维图像,基于三维图像的光强及纵深距离获得三维图像的光场分布;接着利用计算全息算法生成三维图像光场分布的光强型或位相型计算全息图,根据光强型或位相型计算全息图中像素点的光强或位相控制对应液晶点阵上的电压,利用光束照射液晶点阵,使得液晶点阵显示三维影像。
所述利用立体图像合成算法将两张二维图像合成一张三维图像,将三维图像的光强和纵深距离转化为三维图像的光场分布,其具体操作步骤如下:
步骤A):两台型号相同的两台相机并行放置,面对同一视场,各拍摄一张二维图像;其中,两台相机的视场信息达到80%以上的重叠;
放置两台并行且相对位置固定的同型号照相机或数码照相设备,使二者朝向同一视场,拍照时间同步。两台照相机的放置距离类似于人的双眼,如间距选为约10厘米左右或根据照相机的镜头参数、成像距离等确定。两个照相机透镜光轴互相平行,并面向同一视场。当然,由于不同照相机或成像设备的大小、物场并不相同,因此,在确定它们之间距离时,以两台照相机的视场能够80%以上重叠为参考。
步骤B):根据立体图像合成算法将两张二维图像合成为一张三维图像;
其中,所述立体图像合成算法是指拍摄场景中的某一空间点在两个相机的成像平面中的位置,结合两个相机的基线(baseline)和两个相机的成像参数,使用三角测量的原理得到空间点的纵深距离(depth),即空间点离两个相机的基线的垂直距离;其中,该空间点对应的光强为两个相机中任一相机拍摄得到的二维图像中的光强;
步骤C):将一幅三维图像的光强及纵深距离转化为三维图像的光场分布;
按照下式将上述合成的三维图像中每个像素点的光强I和纵深距离h转化为每个像素点的光场,光场包括光振幅A和光位相θ:
A = I
θ = h * n * 2 π λ
其中,I为像素点的光强从步骤B)获得,h为像素点纵深距离,从步骤B)获得,n为光的传播路径中介质的光折射率,λ为光波长。
所述利用计算全息算法生成三维图像的光场分布的光强型计算全息图,是指采用三维图像的光场与平面光波干涉形成干涉条纹,所有的干涉条纹构成光强型计算全息图,其中,光强型计算全息图中的任意像素点的光强I(x,y)表达式为I(x,y)=|A(x,y)exp[i·α(x,y)]+Ar(x,y)exp[i·θ(x,y)]|2,A(x,y)为光场分布中的振幅分布,α(x,y)为光场分布中的位相分布,将光强大小归一化为0~1,将光强大小转化为灰度值,灰度值范围为0~255,即将光强型计算全息图转化为灰度图。
所述利用计算全息算法生成三维图像的光场分布的位相型计算全息图,是指采用位相恢复算法获得位相型计算全息图,三维图像的光场分布中振幅和位相由位相型计算全息图中的位相分布表示,其中,所述位相恢复算法指G-S算法;
位相型计算全息图中的位相取值范围为[0,2π),将位相大小转化为灰度值,灰度值取值范围为[0,256),即位相型计算全息图转化为灰度图。
该算法为本领域技术人员熟知的现有技术,G-S算法,直接循环计算获得三维图像对应光场的位相型计算全息图,具体操作步骤如下:
先设定输入光波和目标输出光波的光强分布,光强分布是指光波中各点的光强大小,并以任意位相值作为输入光波的位相初始值,利用计算机模拟输入光波经夫朗和菲衍射或菲涅尔衍射传输到输出平面,在输出平面,保留输出平面光波的位相值,并用设定的目标输出光波的光强替换经由计算机模拟光的传播过程得到的的输出平面光波的光强,然后利用计算机模拟输出光波经夫朗和菲或菲涅尔衍射反向传播到输入平面,此时输入平面光波的振幅和位相均为由计算机模拟光在自由空间的传播过程得到的;在输入平面,用设定的输入光波光强替代计算得到的输入光波光强,保留计算的输入光波的位相值,再利用计算机模拟该输入光波经夫朗和菲或菲涅尔衍射传播到输出平面;重复以上的过程,直到输出光波与目标输出光波的光强值误差小于某个值,循环即停止;将此循环过程中计算所获得的输入光波的位相值转化为灰度图保存,即为计算全息图;
由于位相取值范围为[0,2π),图像灰度值取值范围为[0,256),因此,我们可以用灰度值线性代替位相值,如灰度值0为位相值0,灰度值256为位相值2π,即位相图转化为灰度图。
根据计算全息图中像素点的位相或光强控制各像素点对应的液晶点阵上的电压,使得液晶点阵显示三维影像,是指利用光束照明液晶点阵,根据计算全息图中各像素点的光强或位相对应的灰度值大小施加相应的电压到液晶点阵上,从而再现三维图像;其中,液晶点阵中的每个液晶点由单独的电路控制。
由于每个液晶点会根据电压值产生强弱不等的双折射现象或透射率发生相应变化,因此,当光照射到该液晶点时,会产生附加相位或使光强受到衰减,即光的位相或振幅受到调制。
有益效果
本发明提了一种制作并显示三维图像的方法,利用立体图像合成算法将两张二维图像合成一张三维图像,基于三维图像的光强及纵深距离获得三维图像的光场分布;接着利用计算全息算法生成三维图像光场分布的光强型或位相型计算全息图,根据光强型或位相型计算全息图中像素点的光强或位相控制对应液晶点阵上的电压,利用光束照射液晶点阵,使得液晶点阵显示三维影像。该方法能够利用现有设备简单的获取二维图像,克服了光学全息方法中的全息记录需对实物进行记录的要求。由于直接利用全息方法再现三维图像,再现的三维影像类似于人眼观察真实的三维场景,观察者不需要佩戴任何特殊眼镜即可方便的观看三维图像,有效的解决了三维图像的制作和显示问题。
附图说明
图1为本发明的流程图;
图2为两台照相机同步获取两幅视角有差异的二维图像的示意图;
图3为计算机处理两幅二维图像为一幅三维图像的示意图;
图4为利用参考光再现三维物体的示意图。
具体实施方式
下面将结合附图对本发明作进一步说明。
如图1所示,为一种制作并显示三维图像的方法的流程图。
一种制作并显示三维图像的方法,利用立体图像合成算法将两张二维图像合成一张三维图像,基于三维图像的光强及纵深距离获得三维图像的光场分布;接着利用计算全息算法生成三维图像光场分布的光强型或位相型计算全息图,根据光强型或位相型计算全息图中像素点的光强或位相控制对应液晶点阵上的电压,利用光束照射液晶点阵,使得液晶点阵显示三维影像。
利用立体图像合成算法将两张二维图像合成一张三维图像,将三维图像信息转化为光场,其具体操作步骤如下:
步骤A):两台型号相同的两台相机并行放置,面对同一视场,各拍摄一张二维图像;其中,两台相机的视场信息达到80%以上的重叠;
放置两台并行且相对位置固定的同型号照相机或数码照相设备,使二者朝向同一视场,拍照时间同步。两台照相机的放置距离类似于人的双眼,如间距选为约10厘米左右或根据照相机的镜头参数、成像距离等确定。两个照相机透镜光轴互相平行,并面向同一视场。当然,由于不同照相机或成像设备的大小、物场并不相同,因此,在确定它们之间距离时,以两台照相机的视场能够80%以上重叠为参考,如图2所示。
步骤B):根据立体图像合成算法将两张二维图像合成为一张三维图像;
其中,所述立体图像合成算法是指拍摄场景中的某一空间点在两个相机的成像平面中的位置,结合两个相机的基线(baseline)和两个相机的成像参数,使用三角测量的原理得到空间点的纵深距离(depth),即空间点离两个相机的基线的垂直距离;其中,该空间点对应的光强为两个相机中任一相机拍摄得到的二维图像中的光强,如图3所示。
步骤C):将一幅三维图像的光强及纵深距离转化为三维图像的光场分布;
按照下式将上述合成的三维图像中每个像素点的光强I和纵深距离h转化为每个像素点的光场,光场包括光振幅A和光位相θ:
A = I
θ = h * n * 2 π λ
其中,I为像素点的光强从步骤B)获得,h为像素点纵深距离,从步骤B)获得,n为光的传播路径中介质的光折射率,λ为光波长。
利用计算全息算法生成三维图像的光场分布的光强型计算全息图,是指采用三维图像的光场与平面光波干涉形成干涉条纹,所有的干涉条纹构成光强型计算全息图,其中,光强型计算全息图中的任意像素点的光强I(x,y)表达式为I(x,y)=|A(x,y)exp[i·α(x,y)]+Ar(x,y)exp[i·θ(x,y)]|2,A(x,y)为光场分布中的振幅分布,α(x,y)为光场分布中的位相分布,将光强大小归一化为0~1,将光强大小转化为灰度值,灰度值范围为0~255,即将光强型计算全息图转化为灰度图。
利用计算全息算法生成三维图像的光场分布的位相型计算全息图,是指采用位相恢复算法获得位相型计算全息图,三维图像的光场分布中振幅和位相由位相型计算全息图中的位相分布表示。
根据计算全息图中像素点的位相或光强控制对应液晶点阵上的电压,使得液晶点阵显示三维影像,是指利用光束照明液晶点阵,是指利用光束照明显示屏,根据计算全息图中各像素点的光强或位相对应的灰度值大小施加相应的电压到液晶点阵上,从而再现三维图像;其中,液晶点阵中的每个液晶点由单独的电路控制,如图4所示;
由于每个液晶点会根据电压值产生强弱不等的双折射现象或透射率发生相应变化,因此,当光照射到该液晶点时,会产生附加相位或使光强受到衰减,即光的位相或振幅受到调制。
本例中利用计算机模拟物光与参考光干涉的方法产生计算全息图。此外,全息图也可以采用G-S算法直接循环计算获得三维图像对应光场的位相型计算全息图;
G-S算法为:先设定输入光波和目标输出光波的光强分布,光强分布是指光波中各点的光强大小,并以任意位相值作为输入光波的位相初始值,利用计算机模拟输入光波经夫朗和菲衍射或菲涅尔衍射传输到输出平面,在输出平面,保留输出平面光波的位相值,并用设定的目标输出光波的光强替换经由计算机模拟光的传播过程得到的的输出平面光波的光强,然后利用计算机模拟输出光波经夫朗和菲或菲涅尔衍射反向传播到输入平面,此时输入平面光波的振幅和位相均为由计算机模拟光在自由空间的传播过程得到的;在输入平面,用设定的输入光波光强替代计算得到的输入光波光强,保留计算的输入光波的位相值,再利用计算机模拟该输入光波经夫朗和菲或菲涅尔衍射传播到输出平面;重复以上的过程,直到输出光波与目标输出光波的光强值误差小于某个值,循环即停止;将此循环过程中计算所获得的输入光波的位相值转化为灰度图保存,即为计算全息图;
由于位相取值范围为[0,2π),图像灰度值取值范围为[0,256),因此,我们可以用灰度值线性代替位相值,如灰度值0为位相值0,灰度值256为位相值2π,即位相图转化为灰度图。
需要指出的是,上述方法不仅可以用于二维静止图像,而且可以用于活动影像或视频。首先,利用计算机软件从同样固定的两台摄像机摄制的影片中提取出同步的首两帧图像,然后采用上述方法将其存储为一张计算全息图,然后从两个影片中各提取第二帧图像,并将其存储为第二张计算全息图,以此类推,可以将两个影片的所有帧转存为一系列的计算全息图,最后,将所有全息图按顺序缀连并制成全息片视频即可。当在显示屏上播放此全息片视频并用参考光照明时,便可得到再现的三维视频。由于在将两个二维影片记录为全息片时,声音信息并没包含在全息片中。为了获得有声视频,可以将二维影片的声音信息存储为一个单独文件,并与全息片再现时同步播放。

Claims (4)

1.一种制作并显示三维图像的方法,其特征在于,利用立体图像合成算法将两张二维图像合成一张三维图像,基于三维图像的光强及纵深距离获得三维图像的光场分布;接着利用计算全息算法生成三维图像光场分布的光强型或位相型计算全息图,根据光强型或位相型计算全息图中像素点的光强或位相控制对应液晶点阵上的电压,利用光束照射液晶点阵,使得液晶点阵显示三维图像;
所述利用立体图像合成算法将两张二维图像合成一张三维图像,将三维图像的光强和纵深距离转化为三维图像的光场分布,其具体操作步骤如下:
步骤A):两台型号相同的两台相机并行放置,面对同一视场,各拍摄一张二维图像;其中,两台相机的视场信息达到80%以上的重叠;
步骤B):根据立体图像合成算法将两张二维图像合成为一张三维图像;
步骤C):将一幅三维图像的光强及纵深距离转化为三维图像的光场分布;
按照下式将上述合成的三维图像中每个像素点的光强I和纵深距离h转化为每个像素点的光场,光场包括光振幅A和光位相θ:
A = I
θ = h * n * 2 π λ
其中,I为像素点的光强从步骤B)获得,h为像素点纵深距离,从步骤B)获得,n为光的传播路径中介质的光折射率,λ为光波长。
2.根据权利要求1所述的制作并显示三维图像的方法,其特征在于,所述利用计算全息算法生成三维图像的光场分布的光强型计算全息图,是指采用三维图像的光场与平面光波干涉形成干涉条纹,所有的干涉条纹构成光强型计算全息图,其中,光强型计算全息图中的任意像素点的光强I(x,y)表达式为I(x,y)=|A(x,y)exp[i·α(x,y)]+Ar(x,y)exp[i·θ(x,y)]|2,A(x,y)为光场分布中的振幅分布,α(x,y)为光场分布中的位相分布,将光强大小归一化为0~1,将光强大小转化为灰度值,灰度值范围为0~255,即将光强型计算全息图转化为灰度图。
3.根据权利要求1所述的制作并显示三维图像的方法,其特征在于,所述利用计算全息算法生成三维图像的光场分布的位相型计算全息图,是指采用位相恢复算法获得位相型计算全息图,三维图像的光场分布中振幅和位相由位相型计算全息图中的位相分布表示,其中,所述位相恢复算法指G-S算法;
位相型计算全息图中的位相取值范围为[0,2π),将位相大小转化为灰度值,灰度值取值范围为[0,256),即位相型计算全息图转化为灰度图。
4.根据权利要求1或2所述的制作并显示三维图像的方法,其特征在于,根据计算全息图中像素点的位相或光强控制各像素点对应的液晶点阵上的电压,使得液晶点阵显示三维影像,是指利用光束照明液晶点阵,根据计算全息图中各像素点的光强或位相对应的灰度值大小施加相应的电压到液晶点阵上,从而再现三维图像;其中,液晶点阵中的每个液晶点由单独的电路控制。
CN201310026913.6A 2013-01-21 2013-01-21 一种制作并显示三维图像的方法 Expired - Fee Related CN103106686B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310026913.6A CN103106686B (zh) 2013-01-21 2013-01-21 一种制作并显示三维图像的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310026913.6A CN103106686B (zh) 2013-01-21 2013-01-21 一种制作并显示三维图像的方法

Publications (2)

Publication Number Publication Date
CN103106686A CN103106686A (zh) 2013-05-15
CN103106686B true CN103106686B (zh) 2016-01-20

Family

ID=48314511

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310026913.6A Expired - Fee Related CN103106686B (zh) 2013-01-21 2013-01-21 一种制作并显示三维图像的方法

Country Status (1)

Country Link
CN (1) CN103106686B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150146269A1 (en) * 2013-11-27 2015-05-28 Electronics And Telecommunications Research Institute Holographic content providing method, and holographic content providing apparatus and display apparatus using the method
CN103997636B (zh) * 2014-05-16 2016-02-10 北京理工大学 一种计算全息三维显示物体间遮挡关系的方法
CN106898039B (zh) * 2017-02-23 2020-08-21 京东方科技集团股份有限公司 用于生成计算全息图的方法和系统
CN107292859B (zh) * 2017-05-27 2019-12-24 西安电子科技大学 基于光学相关器的混沌介质偏振图像获取方法
CN110495900B (zh) * 2019-08-19 2023-05-26 武汉联影医疗科技有限公司 影像显示方法、装置、设备和存储介质
CN113295106B (zh) * 2021-05-26 2022-07-15 清华大学 一种双光梳散斑干涉测量系统及测量方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101174031A (zh) * 2006-10-30 2008-05-07 广达电脑股份有限公司 用于产生立体图像的图像处理装置及其方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101174031A (zh) * 2006-10-30 2008-05-07 广达电脑股份有限公司 用于产生立体图像的图像处理装置及其方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
three-dimensional display using computer-generated hologram based on virtual optics;Yiqing Gao et al;《Optik-International Journal for Light and Electron Optics》;20100930;第121卷(第15期);第1395-1400页 *
三维光场的计算全息设计与再现研究;梁艳明等;《中山大学学报》;20100915;第49卷(第5期);第57页第1节第3段,第58页第1段,附图2、3 *

Also Published As

Publication number Publication date
CN103106686A (zh) 2013-05-15

Similar Documents

Publication Publication Date Title
CN103106686B (zh) 一种制作并显示三维图像的方法
CN103885181B (zh) 近眼视差屏障显示器
CN103885582B (zh) 近眼微透镜阵列显示器
Lee et al. Foveated retinal optimization for see-through near-eye multi-layer displays
TW200839289A (en) Electronic wavefront device and method of electronically rendering a wavefront
TWI436177B (zh) 以校正後可視度重組三維景象的方法與裝置
JPH0667591A (ja) ホログラムの作成および立体表示方法並びに立体表示装置
CN103885182A (zh) 近眼光学反卷积显示器
Murakami et al. Study on compact head-mounted display system using electro-holography for augmented reality
Moon et al. Layered display with accommodation cue using scattering polarizers
JP2005508016A (ja) 3次元画像の投影
JPH08501397A (ja) 三次元光学観察装置
WO2005099386A2 (en) Holographic projector
JPH06110372A (ja) 立体表示方法及び装置
CN103105634B (zh) 薄的平坦式会聚透镜
KR20180051187A (ko) 홀로그래픽 광학 소자의 제조 장치 및 홀로그램 재생 장치
WO2019228280A1 (zh) 全息光学元件及其制作方法、像重建方法、增强现实眼镜
CN207541417U (zh) 一种能减少再现浪费信息的计算全息三维显示装置
KR20120118621A (ko) 홀로그램 기록 장치 및 홀로그램 재생 장치
US20160041522A1 (en) Display device for holographic images for small and medium sized media devices
CN106814461B (zh) 一种三维显示系统及其显示方法
RU2718777C2 (ru) Объемный дисплей
Takatsuka et al. Retinal projection display using diffractive optical element
CN107976887B (zh) 一种能减少再现浪费信息的计算全息三维显示方法及系统
Brar Head Tracked Multi User Autostereoscopic 3D Display Investigations

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160120

Termination date: 20220121

CF01 Termination of patent right due to non-payment of annual fee