CN104537677B - 全角度虚拟拍照装置 - Google Patents

全角度虚拟拍照装置 Download PDF

Info

Publication number
CN104537677B
CN104537677B CN201510016085.7A CN201510016085A CN104537677B CN 104537677 B CN104537677 B CN 104537677B CN 201510016085 A CN201510016085 A CN 201510016085A CN 104537677 B CN104537677 B CN 104537677B
Authority
CN
China
Prior art keywords
lens
infrared
mirror assembly
image
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510016085.7A
Other languages
English (en)
Other versions
CN104537677A (zh
Inventor
朱利民
毛小松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Multispace Media & Exhibition Co Ltd
Original Assignee
Suzhou Multispace Media & Exhibition Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Multispace Media & Exhibition Co Ltd filed Critical Suzhou Multispace Media & Exhibition Co Ltd
Priority to CN201510016085.7A priority Critical patent/CN104537677B/zh
Priority to CN201710172253.0A priority patent/CN107071306A/zh
Publication of CN104537677A publication Critical patent/CN104537677A/zh
Application granted granted Critical
Publication of CN104537677B publication Critical patent/CN104537677B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开一种全角度虚拟拍照装置，其第一红外灯位于所述红外摄像头和红外感应器之间；中央处理单元，通过线缆分别连接到红外摄像头和红外感应器；所述背景存储器，用于存储更新后背景图像信息；人体跟踪模块，根据来自中央处理单元的人体运动趋势信息调整所述摄像机构角度；图像提取模块，将来自红外摄像头的场景和人体图像信息中人体运动信息和背景图像信息分布提取出；图像合成器，将来自图像处理器的人体运动信息与来自背景存储器的更新后背景图像信息合并生成虚拟拍照图片，红外摄像头包括：全反射式棱镜、第一镜组件、第二镜组件、第三镜组件和第四镜组件。本发明提高了捕获精度，实现人体和各种更新后背景图像信息混合显示，使得展示效果更丰富；且具有良好的像差修正与具有优势的光学传递函数MTF，缩短摄像用光学透镜组或摄像装置的镜头的全长。

Description

全角度虚拟拍照装置
技术领域
本发明涉及多媒体领域，具体涉及一种全角度虚拟拍照装置。
背景技术
虚拟拍照技术是应用实时抠图技术与图像合成把摄像头拍摄的视频帧中的人物实时的剪切出来，合成到指定的图像场景中。
抠图与图像合成技术是影视制作中心必不可少的关键技术，广泛应用于媒体制作中，抠图是指吧任意形状的前景物体从图像中抽取出来的一种技术，而实时抠像则是在视频播放或摄像头采集视频帧的同时进行实时抠图；图像合成技术则是把抽取出来的前景物体和一幅新的背景图像合成为新的图像。抠图和图像合成是互逆的基本操作，抠图与图像合成技术始于19世纪50年代，它经历了光学和数字两大发展阶段，20世纪80年代，数字抠图方法逐渐取代了光学抠图方法。当前数字抠图与图像合成技术已经在各种应用中占据了主导地位。数字抠图技术主要分为蓝屏抠图和自然图像抠图，此外还有环境抠图、阴影抠图和视频抠图三种扩展和应用。
通常我们身处不同环境想拍摄录制身在其他场景中的照片与视频，这时就需要实时的抠图与图像合成显示。全角度虚拟拍照装置就是一个利用实时抠图技术与图像合成技术的虚拟拍照与摄像的系统。
发明内容
本发明目的是提供一种全角度虚拟拍照装置，该全角度虚拟拍照装置将影像自身的变化画面与人体动作捕获画面精确区别，提高了捕获精度，实现人体和各种更新后背景图像信息混合显示，使得展示效果更丰富，实现全角度的立体展示；且具有良好的像差修正与具有优势的光学传递函数MTF，并可有效的缩短摄像用光学透镜组或摄像装置的镜头的全长。
为达到上述目的，本发明采用的技术方案是：一种全角度虚拟拍照装置，包括至少4个分别安装于展厅空间四个顶角处的摄像机构、背景存储器和中央处理单元；
所述摄像机构包括壳体、红外摄像头和红外感应器，所述红外摄像头和红外感应器安装于壳体前端面，所述红外感应器感应人体运动从而生成摄像头触发信号，该红外摄像头用于实时拍摄场景和人体图像信息；
第一红外灯位于所述红外摄像头和红外感应器之间，用于发射红外灯光的所述第一红外灯组安装于壳体前端面；
所述红外摄像头进一步包括：全反射式棱镜、具有负光焦度的第一镜组件、具有正光焦度的第二镜组件、具有正光焦度的第三镜组件和具有正光焦度的第四镜组件，所述第一镜组件包含至少一个负光焦度的透镜，所述第二镜组件包含至少一个光学面为非球面的透镜，所述第三镜组件包含至少一个正光焦度的透镜及至少一个负光焦度的透镜，所述第四镜组件包含至少一个光学面为非球面的透镜；所述第二镜组件的焦距为f2，所述第三镜组件的焦距为f3，所述红外摄像头的光学透镜组满足下列关系式：0.4<f3/f2<0.7；
所述第三镜组件在光轴上依序具有第一透镜、第二透镜和第三透镜，所述第一透镜为具正光焦度的透镜，第一透镜的第一光学面为非球面式的凸面，第一透镜的第二光学面为凸面，第二透镜为具正光焦度的透镜，第二透镜的第一光学面为凸面，第二透镜的第二光学面为凹面，第三透镜为具负光焦度的透镜，其第三透镜的第一光学面为凸面，第三透镜的第二光学面为凹面；
中央处理单元，通过线缆分别连接到红外摄像头和红外感应器，根据来自红外感应器的摄像头触发信号启动红外摄像头工作，并接收来自红外摄像头的场景和人体图像信息，并获得人体运动趋势信息；
所述背景存储器，用于存储更新后背景图像信息；
人体跟踪模块，根据来自中央处理单元的人体运动趋势信息调整所述摄像机构角度；
图像提取模块，将来自红外摄像头的场景和人体图像信息中人体运动信息和背景图像信息分别提取出；
图像合成器，将来自图像提取模块的人体运动信息与来自背景存储器的更新后背景图像信息合并生成虚拟拍照图片。
上述技术方案中进一步改进的方案如下：
1. 上述方案中，还包括第二红外灯和第三红外灯，此第二红外灯位于红外摄像头与第一红外灯相背的一侧，此第三红外灯位于红外感应器与第一红外灯相背的一侧，用于发射红外灯光的所述第二、第三红外灯安装于壳体前端面。
2. 上述方案中，还包括一玻璃挡板，其贴覆于所述壳体前端面并覆盖所述红外摄像头和红外感应器。
3. 上述方案中，所述全反射式棱镜具有入射面、反射面和出射面，此全反射式棱镜为直角三角形状的棱镜，其反射面设置于斜边上。
由于上述技术方案运用，本发明与现有技术相比具有下列优点和效果：
本发明全角度虚拟拍照装置，其可实现人体和各种更新后背景图像信息混合显示，使得展示效果更丰富，实现全角度的立体展示，且采用特定多组光学组件组合，对被摄物的影像光线进行反射，有效地达成摄像用光学透镜组及其摄像装置的小型化，具有良好的像差修正与具有优势的光学传递函数MTF，并可有效的缩短摄像用光学透镜组或摄像装置的镜头的全长；其次，用来发射红外灯光并结合红外感应器，在检测环境场景角点时利用红外灯光辅助，可以减少环境光变化的影响，受环境光的影响更小，可将影像自身的变化画面与人体动作捕获画面精确区别，提高了捕获精度，避免了各种情况下的误触发，并且根据红外摄像头实时拍摄到的红外图像进行人体运动检测；且利用多摄像头技术解决了遮挡问题，同时可以把检测跟踪扩展到更大的场景中。
附图说明
附图1为本发明全角度虚拟拍照装置结构示意图；
附图2为附图1的局部结构俯视图；
附图3为本发明全角度虚拟拍照装置中红外摄像头局部结构图。
以上附图中：1、展厅空间；2、摄像机构；3、背景存储器；4、中央处理单元；5、壳体；6、红外摄像头；7、红外感应器；8、第二红外灯；9、玻璃挡板；10、图像提取模块；11、人体跟踪模块；12、图像合成器；13、第三红外灯；14、第一红外灯；15、第一光学面；16、第二光学面；17、全反射式棱镜；171、入射面；172、反射面；173、出射面；18、第一镜组件；19、第二镜组件；20、第三镜组件；21、第四镜组件；22、第一透镜；221、第一光学面；222、第二光学面；23、第二透镜；231、第一光学面；232、第二光学面；24、第三透镜。
具体实施方式
下面结合附图及实施例对本发明作进一步描述：
实施例：一种全角度虚拟拍照装置，包括至少4个分别安装于展厅空间1四个顶角处的摄像机构2、背景存储器3和中央处理单元4；
所述摄像机构2包括壳体5、红外摄像头6和红外感应器7，所述红外摄像头6和红外感应器7安装于壳体5前端面，所述红外感应器7感应人体运动从而生成摄像头触发信号，该红外摄像头6用于实时拍摄场景和人体图像信息；
第一红外灯14位于所述红外摄像头6和红外感应器7之间，用于发射红外灯光的所述第一红外灯14组安装于壳体前端面；
所述摄像机构2包括壳体5、红外摄像头6和红外感应器7，所述红外摄像头6和红外感应器7安装于壳体5前端面，所述红外感应器7感应人体运动从而生成摄像头触发信号，该红外摄像头6用于实时拍摄场景和人体图像信息；所述红外摄像头6进一步包括：全反射式棱镜17、具有负光焦度的第一镜组件18、具有正光焦度的第二镜组件19、具有正光焦度的第三镜组件20和具有正光焦度的第四镜组件21，所述第一镜组件18包含至少一个负光焦度的透镜，所述第二镜组件19包含至少一个光学面为非球面的透镜，所述第三镜组件20包含至少一个正光焦度的透镜及至少一个负光焦度的透镜，所述第四镜组件21包含至少一个光学面为非球面的透镜；所述第二镜组件19的焦距为f2，所述第三镜组件20的焦距为f3，所述红外摄像头6的光学透镜组满足下列关系式：0.4<f3/f2<0.7；
所述第三镜组件20在光轴上依序具有第一透镜22、第二透镜23和第三透镜24，所述第一透镜22为具正光焦度的透镜，第一透镜22的第一光学面221为非球面式的凸面，第一透镜22的第二光学面222为凸面，第二透镜23为具正光焦度的透镜，第二透镜23的第一光学面231为凸面，第二透镜23的第二光学面232为凹面，第三透镜24为具负光焦度的透镜，其第三透镜24的第一光学面15为凸面，第三透镜24的第二光学面16为凹面；
中央处理单元4，通过线缆分别连接到红外摄像头6和红外感应器7，根据来自红外感应器7的摄像头触发信号启动红外摄像头6工作，并接收来自红外摄像头6的场景和人体图像信息，并获得人体运动趋势信息；
所述背景存储器3，用于存储更新后背景图像信息；
人体跟踪模块11，根据来自中央处理单元4的人体运动趋势信息调整所述摄像机构2角度；
图像提取模块10，将来自红外摄像头6的场景和人体图像信息中人体运动信息和背景图像信息分别提取出；
图像合成器12，将来自图像提取模块10的人体运动信息与来自背景存储器3的更新后背景图像信息合并生成虚拟拍照图片。
还包括第二红外灯15和第三红外灯13，此第二红外灯15位于红外摄像头6与第一红外灯14相背的一侧，此第三红外灯13位于红外感应器7与第一红外灯14相背的一侧，用于发射红外灯光的所述第二、第三红外灯15、13安装于壳体5前端面。
还包括一玻璃挡板9，其贴覆于所述壳体5前端面并覆盖所述红外摄像头6和红外感应器7。
采用本实施例全角度虚拟拍照装置时，其可实现人体和各种更新后背景图像信息混合显示，使得展示效果更丰富，实现全角度的立体展示，且采用特定多组光学组件组合，对被摄物的影像光线进行反射，有效地达成摄像用光学透镜组及其摄像装置的小型化，具有良好的像差修正与具有优势的光学传递函数MTF，并可有效的缩短摄像用光学透镜组或摄像装置的镜头的全长；其次，用来发射红外灯光并结合红外感应器，在检测环境场景角点时利用红外灯光辅助，可以减少环境光变化的影响，受环境光的影响更小，可将影像自身的变化画面与人体动作捕获画面精确区别，提高了捕获精度，避免了各种情况下的误触发，并且根据红外摄像头实时拍摄到的红外图像进行人体运动检测；且利用多摄像头技术解决了遮挡问题，同时可以把检测跟踪扩展到更大的场景中。
上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。

Claims (1)

1.一种全角度虚拟拍照装置，其特征在于：包括至少4个分别安装于展厅空间（1）四个顶角处的摄像机构（2）、背景存储器（3）、人体跟踪模块（11）、图像提取模块（10）、图像合成器（12）和中央处理单元（4）；
所述摄像机构（2）包括壳体（5）、红外摄像头（6）和红外感应器（7）以及第一红外灯（14），所述红外摄像头（6）和红外感应器（7）安装于壳体（5）前端面，所述红外感应器（7）感应人体运动从而生成摄像头触发信号，该红外摄像头（6）用于实时拍摄场景和人体图像信息；
所述第一红外灯（14）位于所述红外摄像头（6）和红外感应器（7）之间，用于发射红外灯光的所述第一红外灯（14）安装于壳体前端面；
所述红外摄像头（6）进一步包括：全反射式棱镜（17）、具有负光焦度的第一镜组件（18）、具有正光焦度的第二镜组件（19）、具有正光焦度的第三镜组件（20）和具有正光焦度的第四镜组件（21），所述第一镜组件（18）包含至少一个负光焦度的透镜，所述第二镜组件（19）包含至少一个光学面为非球面的透镜，所述第三镜组件（20）包含至少一个正光焦度的透镜及至少一个负光焦度的透镜，所述第四镜组件（21）包含至少一个光学面为非球面的透镜；所述第二镜组件（19）的焦距为f2，所述第三镜组件（20）的焦距为f3，所述红外摄像头（6）的光学透镜组满足下列关系式：0.4<f3/f2<0.7；
所述第三镜组件（20）在光轴上依序具有第一透镜（22）、第二透镜（23）和第三透镜（24），所述第一透镜（22）为具有正光焦度的透镜，第一透镜（22）的第一光学面（221）为非球面式的凸面，第一透镜（22）的第二光学面（222）为凸面，第二透镜（23）为具有正光焦度的透镜，第二透镜（23）的第一光学面（231）为凸面，第二透镜（23）的第二光学面（232）为凹面，第三透镜（24）为具有负光焦度的透镜，其第三透镜（24）的第一光学面（15）为凸面，第三透镜（24）的第二光学面（16）为凹面；
中央处理单元（4），通过线缆分别连接到红外摄像头（6）和红外感应器（7），根据来自红外感应器（7）的摄像头触发信号启动红外摄像头（6）工作，并接收来自红外摄像头（6）的场景和人体图像信息，并获得人体运动趋势信息；
所述背景存储器（3），用于存储更新后的背景图像信息；
人体跟踪模块（11），根据来自中央处理单元（4）的人体运动趋势信息调整所述摄像机构（2）的角度；
图像提取模块（10），将来自红外摄像头（6）的场景和人体图像信息中的人体运动信息和背景图像信息分别 提取出来；
图像合成器（12），将来自图像提取模块（10）的人体运动信息与来自背景存储器（3）的更新后背景图像信息合并生成虚拟拍照图片。
CN201510016085.7A 2015-01-13 2015-01-13 全角度虚拟拍照装置 Active CN104537677B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201510016085.7A CN104537677B (zh) 2015-01-13 2015-01-13 全角度虚拟拍照装置
CN201710172253.0A CN107071306A (zh) 2015-01-13 2015-01-13 展馆增值自助拍照系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510016085.7A CN104537677B (zh) 2015-01-13 2015-01-13 全角度虚拟拍照装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201710172253.0A Division CN107071306A (zh) 2015-01-13 2015-01-13 展馆增值自助拍照系统

Publications (2)

Publication Number Publication Date
CN104537677A CN104537677A (zh) 2015-04-22
CN104537677B true CN104537677B (zh) 2017-06-09

Family

ID=52853196

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201710172253.0A Pending CN107071306A (zh) 2015-01-13 2015-01-13 展馆增值自助拍照系统
CN201510016085.7A Active CN104537677B (zh) 2015-01-13 2015-01-13 全角度虚拟拍照装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201710172253.0A Pending CN107071306A (zh) 2015-01-13 2015-01-13 展馆增值自助拍照系统

Country Status (1)

Country Link
CN (2) CN107071306A (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104795017B (zh) * 2015-04-24 2019-07-19 深圳市虚拟现实科技有限公司 显示控制方法和头戴式显示设备
CN105100491B (zh) * 2015-08-11 2018-06-01 努比亚技术有限公司 一种处理照片的装置和方法
CN105578002B (zh) * 2015-12-14 2018-11-13 广东欧珀移动通信有限公司 一种拍照方法和装置
CN110909570A (zh) * 2018-09-17 2020-03-24 黄剑鸣 头部图像动态扑捉设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203250481U (zh) * 2013-04-24 2013-10-23 苏州创捷传媒展览股份有限公司 多媒体展示用互动式视频显示系统
CN203250506U (zh) * 2013-04-24 2013-10-23 苏州创捷传媒展览股份有限公司 用于混合现实的视频发生装置
CN203250260U (zh) * 2013-04-28 2013-10-23 苏州创捷传媒展览股份有限公司 基于混合现实的互动展示平台
CN203250507U (zh) * 2013-04-24 2013-10-23 苏州创捷传媒展览股份有限公司 多媒体互动展示装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101078785B1 (ko) * 2010-02-08 2011-11-02 삼성전기주식회사 2축 스테이지 장치 및 이를 구비한 카메라모듈
CN102542135A (zh) * 2010-12-15 2012-07-04 西安天动数字科技有限公司 一种虚拟拍照系统
CN202058152U (zh) * 2010-12-15 2011-11-30 西安天动数字科技有限公司 一种虚拟拍照系统
CN102156821A (zh) * 2011-04-28 2011-08-17 福州一点通广告装饰有限公司 景区智能合影留言系统
CN103424846A (zh) * 2012-05-18 2013-12-04 华晶科技股份有限公司 摄像用光学透镜组及其摄像装置
CN203287945U (zh) * 2013-04-24 2013-11-13 苏州创捷传媒展览股份有限公司 三维视觉混合显示装置
CN103297708A (zh) * 2013-05-27 2013-09-11 苏州和氏设计营造股份有限公司 大幅面实时抠像实时显示系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203250481U (zh) * 2013-04-24 2013-10-23 苏州创捷传媒展览股份有限公司 多媒体展示用互动式视频显示系统
CN203250506U (zh) * 2013-04-24 2013-10-23 苏州创捷传媒展览股份有限公司 用于混合现实的视频发生装置
CN203250507U (zh) * 2013-04-24 2013-10-23 苏州创捷传媒展览股份有限公司 多媒体互动展示装置
CN203250260U (zh) * 2013-04-28 2013-10-23 苏州创捷传媒展览股份有限公司 基于混合现实的互动展示平台

Also Published As

Publication number Publication date
CN104537677A (zh) 2015-04-22
CN107071306A (zh) 2017-08-18

Similar Documents

Publication Publication Date Title
CN104537677B (zh) 全角度虚拟拍照装置
CN105072314A (zh) 一种可自动跟踪目标的虚拟演播室实现方法
CN104506827B (zh) 具有人体跟踪功能的互动视觉拍摄装置
CN109936735B (zh) 一种影子投影系统及控制方法
CN108600729A (zh) 动态3d模型生成装置及影像生成方法
CN204305184U (zh) 虚拟拍照装置
JPS5646215A (en) Method and device for producing animation
CN106210701A (zh) 一种用于拍摄vr图像的移动终端及其vr图像拍摄系统
CN208795867U (zh) 一种支持多视角拍摄的反射装置
JPH02504082A (ja) 複合処理したビデオおよび映画の撮影装置および方法
CN115529450A (zh) 基于光场的密集摄像机实时采集设备及数据预处理方法
CN204389777U (zh) 一种新型成像装置
CN204116725U (zh) 立体透镜和带有立体透镜的摄影装置
CN102890400A (zh) 一种全景拍摄及全景放映的装置
CN110231697A (zh) 一种广角小畸变摄像镜头
CN205982802U (zh) 一种变焦镜头
CN204269910U (zh) 一种折射光学镜头
Freeman The Photographer's Handbook: Equipment| Technique| Style
CN203365906U (zh) 一种新型全景系统
CN212519170U (zh) 一种避免取景误差的电子取景器
CN110855965B (zh) 一种基于微距投影的广角对空成像系统
CN108810517A (zh) 具有监控功能的影像处理装置及方法
CN108573526A (zh) 人脸抓拍装置及影像生成方法
CN210376901U (zh) 单镜头横幅棱镜立体分光镜
CN106791429A (zh) 一种手机拍照方法

Legal Events

Date Code Title Description
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant