CN107590093B - 一种基于可变相位时钟模块的异步图像数据接收方法 - Google Patents

一种基于可变相位时钟模块的异步图像数据接收方法 Download PDF

Info

Publication number
CN107590093B
CN107590093B CN201710831098.9A CN201710831098A CN107590093B CN 107590093 B CN107590093 B CN 107590093B CN 201710831098 A CN201710831098 A CN 201710831098A CN 107590093 B CN107590093 B CN 107590093B
Authority
CN
China
Prior art keywords
image data
phase
data
asynchronous
data receiving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710831098.9A
Other languages
English (en)
Other versions
CN107590093A (zh
Inventor
刘海龙
薛旭成
李祥之
吕恒毅
胡长虹
傅瑶
文明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Original Assignee
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun Institute of Optics Fine Mechanics and Physics of CAS filed Critical Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority to CN201710831098.9A priority Critical patent/CN107590093B/zh
Publication of CN107590093A publication Critical patent/CN107590093A/zh
Application granted granted Critical
Publication of CN107590093B publication Critical patent/CN107590093B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Synchronisation In Digital Transmission Systems (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

一种基于可变相位时钟模块的异步图像数据接收方法，解决了现有技术中没有信号延时模块的可编程逻辑器件接收图像数据不准确的问题。该方法包括：选择移位数组长度、异步数据并串转换、图像数据位校正和图像数据字校正四个步骤；本发明通过采用可变相位时钟模块进行异步图像数据延迟校正，通过移动数组接收时钟的相位进行延时检测，并依据结果校正各通道间的数据延迟，最终能够准确地接收图像数据。使得没有信号延时模块的低等级器件也能实现异步图像数据接收，在实际应用中增加了可编程逻辑器件的选择余地，对于航天工程等对元器件限制较多的行业具有重要意义。

Description

一种基于可变相位时钟模块的异步图像数据接收方法
技术领域
本发明涉及一种异步图像数据接收方法，特别涉及一种基于可变相位时钟模块的异步图像数据接收方法。
背景技术
随着大规模集成电路设计技术和信号处理技术的提高，CMOS图像传感器性能有了显著进步，像元数目增多，工作频率提升，使得图像数据的数据率越来越高，并行模式传输精度无法满足高速数据流要求，串行数据传输得到了更多的应用。由于内部走线延迟，输出的串行图像数据与开关信号(控制图像数据输出的信号，信号有效后，图像开始输出)间都会有一定的延迟，而且不同抽头之间的延迟也可能有不小的差异，因此需要对图像数据进行训练过程，检测出各抽头图像数据与开关信号之间的延迟时间。
对于新型高级可编程逻辑器件，内部集成有信号延时模块(如IODELAY等IP核)，可以通过延迟数据信号，来检测延迟时间。对于没有信号延时模块的可编程逻辑器件，没有进行异步图像数据延迟校正的数据接收方法，因各通道间的数据延迟，最终接收的图像数据不准确。
发明内容
为了解决现有技术中没有信号延时模块的可编程逻辑器件接收图像数据不准确的问题，本发明提供了一种基于可变相位时钟模块的异步图像数据接收方法。
本发明解决技术问题所采用的技术方案如下：
一种基于可变相位时钟模块的异步图像数据接收方法，包括：
步骤一、对图像数据进行预判，选择移位数组的长度；
步骤二、异步数据并串转换
每一路图像数据对应一个可变相位时钟模块，根据可变相位时钟模块产生的数据接收时钟对各路图像数据分别进行采样，将各路图像数据的采样数据按顺序存入到移位数组中；
步骤三、图像数据位校正
打开开关信号，对数据接收时钟进行相位遍历，记录一致性高于设定的阈值的相位为稳定相位点，相位遍历完成后选择一个稳定相位点作为数据接收时钟的最终采样相位，关闭开关信号；
步骤四、图像数据字校正
打开开关信号，根据步骤三确定的最终采样相位，检测图像训练数据与开关信号之间的延迟时间，选择字区间，关闭开关信号，完成图像数据字校正。
进一步的，步骤一中，所述的移位数组的长度不小于各数据通道时间延迟最大值所对应的数据位数加上一个像元的图像数据位数。
更进一步的，步骤一中，通过测量部分或全部数据通道所对应的图像数据再对比延迟时间来确定所述移位数组长度，或根据图像数据位数直接选择所述移位数组长度。
进一步的，步骤二中，所述的图像数据为单端信号。
更进一步的，在进行步骤二之前，对成像器件输出的图像数据是否为所述的单端信号进行判断，若为“是”，进行步骤二；若为“否”，可编程逻辑器件将图像数据转为单端信号，进行步骤二。
进一步的，步骤三中，所述的相位遍历的过程为可变相位时钟模块进行相位移动，在每个相位采集图像数据，并分析图像数据的一致性，当一致性高于设定的阈值时，记录该相位为稳定相位。
进一步的，步骤三中，出现所述的稳定相位点，相位遍历完成，选择任意一个稳定相位点作为数据接收时钟的最终采样相位。
进一步的，步骤三中，出现连续的所述的稳定相位点，相位遍历完成，选择连续的所述的稳定相位点的任意一点作为数据接收时钟的最终采样相位。
进一步的，步骤三中，根据成像器件输出图像数据的频率和数据接收时钟的频率进行相位遍历，相位遍历完成后，选择连续的所述稳定相位点中连续时间最长的一段相位的任意一点作为数据接收时钟的最终采样相位。
更进一步的，步骤三中，所述最终采样相位选择为选择连续的所述稳定相位点的中心点。
本发明的有益效果是：本发明通过采用可变相位时钟模块进行异步图像数据延迟校正，通过移动数组接收时钟的相位进行延时检测，并依据结果校正各通道间的数据延迟，最终能够准确地接收图像数据。使得没有信号延时模块的低等级器件也能实现异步图像数据接收，在实际应用中增加了可编程逻辑器件的选择余地，对于航天工程等对元器件限制较多的行业具有重要意义。
附图说明
图1本发明一种基于可变相位时钟模块的异步图像数据接收方法的流程图。
图2本发明一种基于可变相位时钟模块的异步图像数据接收方法的异步数据并串转换示意图。
图3本发明一种基于可变相位时钟模块的异步图像数据接收方法的图像数据位校正流程图。
图4本发明一种基于可变相位时钟模块的异步图像数据接收方法的图像数据位校正示意图。
图5本发明一种基于可变相位时钟模块的异步图像数据接收方法的图像数据字校正流程图。
图6本发明一种基于可变相位时钟模块的异步图像数据接收方法的图像数据字校正示意图。
图7本发明一种基于可变相位时钟模块的异步图像数据接收方法的图像数据训练流程图。
图中：1、数据接收时钟，2、图像数据，3、移位数组，4、第一时钟相位，5、第二时钟相位，6、第M时钟相位，7、第N时钟相位，8、相位检测结果，9、最终时钟相位，10、图像训练数据，11、第一信号，12、第二信号，13、第N信号。
具体实施方式
下面结合附图和实施方式对本发明做进一步详细说明。一种基于可变相位时钟模块的异步图像数据接收方法是在具有可变相位时钟模块的器件中实现的，本实施方式选用FPGA。
一种基于可变相位时钟模块的异步图像数据接收方法，如图1所示，该方法包括：
步骤一、选择移位数组3的长度
对图像数据2进行预判，选择移位数组3长度。移位数组3的长度不小于各数据通道时间延迟最大值所对应的数据位数加上一个像元图像数据位数。数据通道时间延迟所对应的数据位数为延迟时间除以数据接收时钟1的周期Tclk。一个像元图像数据位数由所使用的成像传感器决定，如8位、10位和12位。移位数组3长度的确定可以通过实际测量每一路或部分数据通道所对应的图像数据2再对比延迟时间后确定，或者直接选择足够长度的移位数组3。
步骤二、异步数据并串转换
每一路图像数据2使用一个可变相位时钟模块，如DCM(Digital ClockManagement，数字时钟管理模块)、可变相位PLL(Phase-Locked Loop，锁相环)等，由其产生一个数据接收时钟1，FPGA使用该数据接收时钟1对图像数据2进行采样，将每一路图像数据2的采样数据按采样顺序和各路间的固定顺序存入到移位数组3中，每进入一个新的采样数据，移位数组3中的采样数据向前移动一位。例如共有四路图像数据2，对四路图像数据2进行第一次采样，四路图像数据2按设定顺序将第一次采样数据存入移位数组3，再进行第二次采样，四路图像数据2按四路原来的先后顺序(第一次采样中设定的顺序)将第二次采样数据存入移位数组3。四路图像数据2利用各并行支路对应的可变相位时钟模块产生一个数据接收时钟1，对每路图像数据2采样存入到移位数组3中，即实现了异步数据并串转换。其中进行采样的每一路图像数据2均为单端信号，人为根据成像器件输出端口可判断成像器件输出的图像数据2是否为单端信号，不是单端信号时(为“否”)，FPGA将图像数据2转为单端信号，是单端信号时(为“是”)，进行步骤二；也可以通过FPGA判断。
数据接收时钟1与图像数据2间的相对相位关系，决定了采样的准确性与稳定性。在数字电路中，采样一般均由数据接收时钟1的变化沿(上升沿或下降沿)触发，当数据接收时钟1的变化沿与图像数据2的变化沿重叠时，采样到的图像数据2可能为‘0’，也可能为‘1’，这会使图像数据2出现错误。这个不准确与不稳定的图像数据2通过步骤三的图像数据2位校正克服。
如图2所示为异步数据并串转换示意图，图像数据2差分信号转单端信号，根据数据接收时钟1对图像数据2进行采样，依采样顺序存入到移位数组3中得到串行数据，每进行一次采样，之前所有存入在移位数组3的数据向前移动一位，待进行完步骤四后，根据位校正与字校正结果，移位数组3的串行数据按一个像元图像数据位数进行输出。
步骤三、图像数据2位校正
打开开关信号启动训练模式，即成像传感器开始输出固定的图像训练数据10，对数据接收时钟1进行相位遍历，在每个相位采集一定时间的图像数据2，并分析图像数据2的一致性，当一致性高于设定的阈值时，在该相位可以稳定采集图像数据2，记录该相位为稳定相位点；当一致性未高于设定的阈值，则在该相位采集的图像数据2不稳定。遍历完成后，选择一个稳定相位点作为数据接收时钟1的最终采样相位，关闭开关信号。
相位遍历的完成与最终采样相位的确定分为四种情况。一、相位遍历时，当出现稳定相位点，则相位遍历完成，选择该稳定相位点作为数据接收时钟1的最终采样相位。二、相位遍历时，出现稳定相位点后，可以停止相位遍历，即相位遍历完成，选择任意稳定相位点作为数据接收时钟1的最终采样相位。三、相位遍历时，出现连续的稳定相位点，相位遍历完成，选择连续的稳定相位点中的任意一点作为数据接收时钟1的最终采样相位；其中，选择连续的稳定相位点中的中心点作为数据接收时钟1的最终采样相位的稳定效果更好和准确性更高。四、根据成像器件输出图像数据的频率和选择的数据接收时钟1的频率，进行相位遍历(例如，根据成像器件输出数据，使用与之相同频率的数据接收时钟1，数据接收时钟1的时间延时由0逐渐增加到一个数据接收时钟1周期，即相位进行360°遍历；根据成像器件输出数据，使用DDR接收方式，也就是使用成像器件输出数据的一半频率的数据接收时钟1，数据接收时钟1的时间延时由0逐渐增加到半个数据接收时钟1周期，即相位进行180°遍历)，相位遍历完成后，选择其中连续的稳定相位点中连续时间最长(连续的相位点最多)的一段相位，选择该段相位中的任意一点作为数据接收时钟1的最终采样相位；其中，选择该段相位的中心点作为数据接收时钟1的最终采样相位的稳定效果最好，准确性最高。
具体步骤如下，如图3所示：
a.FPGA判断是否开始图像数据2训练(根据图像数据2和数据接收时钟1是否存在相位差)，“是”跳转到步骤b，“否”停止；未经图像数据2训练时，延迟时间默认为0。
b.FPGA打开开关信号，即成像传感器开始输出固定的图像训练数据10。
c.相位遍历，可变相位时钟模块相位移动进行相位遍历，遍历过程中，FPGA接收图像训练数据10，FPGA分析判断图像训练数据10的一致性是否高于设定的阈值，并记录一致性高于设定的阈值(阈值即在一定时间段内一致数据的比例)的相位点；可变相位时钟模块相位移动，重复步骤c中的上述过程，直至遍历完成，跳转步骤d。
d.数据接收时钟1相位选择：FPGA挑选出稳定时间(连续稳定相位点)最长的一段相位，FPGA选取这段相位的中心点作为数据接收时钟1的最终采样相位，即在该位置可以精确采集异步图像数据2，FPGA将可变相位时钟模块的相位移动到最终采样相位处，跳转步骤e。
e.FPGA关闭开关信号，即成像传感器停止输出固定的图像训练数据10，位校正完成。
图4为位校正示意图，图像数据2被第一时钟相位4、第二时钟相位5、第M时钟相位6和第N时钟相位遍历，得到相位检测结果8和最终时钟相位9。其中相位检测结果8对应上述步骤c记录各相位是否超出阈值的数据，最终时钟相位9为相位遍历后得到的符合图像数据2的时钟相位。
步骤四、图像数据2字校正
如图5所示，FPGA打开开关信号，即成像传感器开始输出固定的图像训练数据10，启动图像数据2训练模式，根据步骤三确定的最终采样相位，FPGA检测图像训练数据10与开关信号之间的延迟时间，并选择字区间，FPGA关闭开关信号，字校正完成。
图6为字校正示意图，成像器件输出图像训练数据10，TD1为第一信号11与图像训练数据10的延迟时间，TD1/Tclk为第一信号10在移位数组3上延迟的长度；TD2为第二信号12与图像训练数据10的延迟时间，TD2/Tclk为第二信号12在移位数组3上延迟的长度；TDN为第N信号13与图像训练数据10的延迟时间，TDN/Tclk为第N信号13在移位数组3上延迟的长度。
图像数据2位校正过程和图像数据2字校正过程共同构成图像数据2训练，如图7所示，为整个训练过程的流程图。图像数据2位校正过程是可变相位时钟模块通过控制信号调节输出时钟的相位，寻找到稳定的采样位置的过程，即寻找一个可以稳定采样的数据接收时钟1相位，得到了相位一致的数据接收时钟1与图像数据2，以实现异步图像数据2的精确采集。图像数据2字校正实现了多路数据延时的统一校正。确定数据接收时钟1的最终采样相位后，进行字校正，重新启动训练模式，检测图像训练数据10与开关信号之间的延迟时间，该延迟时间与数据接收时钟1的周期，决定了每一路图像数据2在串并转换时，从移位数组3的哪一位置转移数据，即延迟时间决定了图像数据2在移位数组3中移位的次数，延迟时间长，则移位次数少，延迟时间短，则移位次数多，这样各路图像将在统一的时刻输出，多路数据延时的统一校正得以实现。完成后，根据字校正的结果，输出移位数组3中的串行数据，输出与成像传感器相同的图像位数，所输出的串行数据作为像素数据，缓存至内部存储空间(如RAM)。

Claims (9)

1.一种基于可变相位时钟模块的异步图像数据接收方法，其特征在于，包括：
步骤一、对图像数据进行预判，选择移位数组的长度；
步骤一中，所述的移位数组的长度不小于各数据通道时间延迟最大值所对应的数据位数加上一个像元的图像数据位数；
步骤二、异步数据并串转换
每一路图像数据对应一个可变相位时钟模块，根据可变相位时钟模块产生的数据接收时钟对各路图像数据分别进行采样，将各路图像数据的采样数据按顺序存入到移位数组中；
步骤三、图像数据位校正
打开开关信号，对数据接收时钟进行相位遍历，记录一致性高于设定的阈值的相位为稳定相位点，相位遍历完成后选择一个稳定相位点作为数据接收时钟的最终采样相位，关闭开关信号；
步骤四、图像数据字校正
打开开关信号，根据步骤三确定的最终采样相位，检测图像训练数据与开关信号之间的延迟时间，选择字区间，关闭开关信号，完成图像数据字校正。
2.如权利要求1所述的一种基于可变相位时钟模块的异步图像数据接收方法，其特征在于，步骤一中，通过测量部分或全部数据通道所对应的图像数据再对比延迟时间来确定所述移位数组长度，或根据图像数据位数直接选择所述移位数组长度。
3.如权利要求1所述的一种基于可变相位时钟模块的异步图像数据接收方法，其特征在于，步骤二中，所述的图像数据为单端信号。
4.如权利要求3所述的一种基于可变相位时钟模块的异步图像数据接收方法，其特征在于，在进行步骤二之前，对成像器件输出的图像数据是否为所述的单端信号进行判断，若为“是”，进行步骤二；若为“否”，可编程逻辑器件将图像数据转为单端信号，进行步骤二。
5.如权利要求1所述的一种基于可变相位时钟模块的异步图像数据接收方法，其特征在于，步骤三中，所述的相位遍历的过程为可变相位时钟模块进行相位移动，在每个相位采集图像数据，并分析图像数据的一致性，当一致性高于设定的阈值时，记录该相位为稳定相位。
6.如权利要求1所述的一种基于可变相位时钟模块的异步图像数据接收方法，其特征在于，步骤三中，出现所述的稳定相位点，相位遍历完成，选择任意一个稳定相位点作为数据接收时钟的最终采样相位。
7.如权利要求1所述的一种基于可变相位时钟模块的异步图像数据接收方法，其特征在于，步骤三中，出现连续的所述的稳定相位点，相位遍历完成，选择连续的所述的稳定相位点的任意一点作为数据接收时钟的最终采样相位。
8.如权利要求1所述的一种基于可变相位时钟模块的异步图像数据接收方法，其特征在于，步骤三中，根据成像器件输出图像数据的频率和数据接收时钟的频率进行相位遍历，相位遍历完成后，选择连续的所述稳定相位点中连续时间最长的一段相位的任意一点作为数据接收时钟的最终采样相位。
9.如权利要求7或8所述的一种基于可变相位时钟模块的异步图像数据接收方法，其特征在于，步骤三中，所述最终采样相位选择为选择连续的所述稳定相位点的中心点。
CN201710831098.9A 2017-09-15 2017-09-15 一种基于可变相位时钟模块的异步图像数据接收方法 Expired - Fee Related CN107590093B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710831098.9A CN107590093B (zh) 2017-09-15 2017-09-15 一种基于可变相位时钟模块的异步图像数据接收方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710831098.9A CN107590093B (zh) 2017-09-15 2017-09-15 一种基于可变相位时钟模块的异步图像数据接收方法

Publications (2)

Publication Number Publication Date
CN107590093A CN107590093A (zh) 2018-01-16
CN107590093B true CN107590093B (zh) 2020-05-05

Family

ID=61051582

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710831098.9A Expired - Fee Related CN107590093B (zh) 2017-09-15 2017-09-15 一种基于可变相位时钟模块的异步图像数据接收方法

Country Status (1)

Country Link
CN (1) CN107590093B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108810431B (zh) * 2018-06-22 2021-04-09 中国科学院长春光学精密机械与物理研究所 多通道低频cmos串行图像数据的训练方法
JP2020030346A (ja) * 2018-08-23 2020-02-27 堺ディスプレイプロダクト株式会社 表示装置及び表示装置におけるデータ伝送方法
CN111083308B (zh) * 2018-10-18 2022-10-25 中国科学院长春光学精密机械与物理研究所 一种实现FPGA硬件资源的多相位选择training方法
CN109451214A (zh) * 2018-11-09 2019-03-08 中国科学院长春光学精密机械与物理研究所 一种高速运动目标成像设备及方法
CN110035244B (zh) * 2019-04-19 2021-03-30 中国科学院长春光学精密机械与物理研究所 多通道低频cmos串行图像数据的训练方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1994022218A1 (en) * 1993-03-23 1994-09-29 Sony Corporation Rate converter and imaging apparatus
CN1832553A (zh) * 2005-11-28 2006-09-13 深圳市力合微电子有限公司 Dvi发射电路及其图像数据和时钟相位的调整方法
CN104572562A (zh) * 2013-10-24 2015-04-29 亚德诺半导体集团 用于高速串行通信中的时钟发生的系统和方法
CN105847714A (zh) * 2016-05-24 2016-08-10 中国科学院长春光学精密机械与物理研究所 Cmos输入图像数据的延时校正系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1994022218A1 (en) * 1993-03-23 1994-09-29 Sony Corporation Rate converter and imaging apparatus
CN1832553A (zh) * 2005-11-28 2006-09-13 深圳市力合微电子有限公司 Dvi发射电路及其图像数据和时钟相位的调整方法
CN104572562A (zh) * 2013-10-24 2015-04-29 亚德诺半导体集团 用于高速串行通信中的时钟发生的系统和方法
CN105847714A (zh) * 2016-05-24 2016-08-10 中国科学院长春光学精密机械与物理研究所 Cmos输入图像数据的延时校正系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于FPGA高分辨率高帧频CMOS相机设计;刘彪;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20150515(第 05 期);全文 *

Also Published As

Publication number Publication date
CN107590093A (zh) 2018-01-16

Similar Documents

Publication Publication Date Title
CN107590093B (zh) 一种基于可变相位时钟模块的异步图像数据接收方法
US7697649B2 (en) Circuit for measuring an eye size of data, and method of measuring the eye size of data
CN108804371B (zh) 一种多通道高速数据接收的同步自校正方法
US8705673B2 (en) Timing phase detection using a matched filter set
JP4808769B2 (ja) 多ピンの非同期シリアル・インターフェースで転送されるデータを同期化するための方法及び装置
CN109586692B (zh) 一种应用于ad源同步数据接收的fpga动态相位调整方法
CN110995241B (zh) 一种自适应相位调整的lvds延时电路
EP0877505B1 (en) Synchronous circuit controller for controlling data transmission between asynchronous circuits
CN111064862B (zh) 高速大面阵多通道cmos图像传感器数据训练方法
US9853839B2 (en) System, method and software program for tuneable equalizer adaptation using sample interpolation
CN108449298B (zh) 一种适应于高速宽带通信的定时同步与频偏估计方法
TWI363510B (en) Data receiver and data retrieval method
US9966994B2 (en) Apparatus and methods for burst mode clock and data recovery for high speed serial communication links
US9225504B2 (en) Circuit and method for clock data recovery and circuit and method for analyzing equalized signal
US8611487B2 (en) Enhanced phase discriminator for fast phase alignment
CN108880544B (zh) 一种多器件数据同步的自校正方法
US20060193413A1 (en) Method of capturing data transferred in synchronization with a data strobe signal and data capture circuit performing same
US8860477B2 (en) Receiver circuit
US8756027B1 (en) Reducing eye monitor data samplers in a receiver
CN105122720A (zh) 用于在10gbase-t系统中数据辅助定时恢复的方法和装置
CN108449088B (zh) 多通道高速采样同步方法及装置
CN105049080B (zh) 一种基于自适应门限的扩频同步方法及装置
US7447511B2 (en) Method and device for equalizing mode selection
CN101512954A (zh) 无线装置
US8155215B2 (en) Transmission system, transmitter, receiver, and transmission method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200505

Termination date: 20210915