CN107124559A - 一种通信数据压缩方法 - Google Patents

一种通信数据压缩方法 Download PDF

Info

Publication number
CN107124559A
CN107124559A CN201710464932.5A CN201710464932A CN107124559A CN 107124559 A CN107124559 A CN 107124559A CN 201710464932 A CN201710464932 A CN 201710464932A CN 107124559 A CN107124559 A CN 107124559A
Authority
CN
China
Prior art keywords
data
processing module
value
data processing
sent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710464932.5A
Other languages
English (en)
Other versions
CN107124559B (zh
Inventor
许荣福
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Excellent Information Technology Co Ltd
Original Assignee
Chengdu Excellent Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Excellent Information Technology Co Ltd filed Critical Chengdu Excellent Information Technology Co Ltd
Priority to CN201710464932.5A priority Critical patent/CN107124559B/zh
Publication of CN107124559A publication Critical patent/CN107124559A/zh
Application granted granted Critical
Publication of CN107124559B publication Critical patent/CN107124559B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes

Abstract

一种通信数据压缩方法包括：成像单元捕获生成发送样本图像数据；数据处理模块进行第一压缩操作，并估算信道最大的数据通信量，之后发送；接收模块确定模式或参数并发送；成像单元根据设置的模式再次捕获对象的图像，以生成图像数据，将该图像数据发送到数据处理模块；数据处理模块对接收的该图像数据进行第二压缩操作，并将结果发送给发送模块；比较模块判定发送模块所需的发送速度与估算的信道最大的数据通信量的大小比较结果，符合要求则使能发送模块将第二压缩操作的结果发送给接收模块。还公开一种对应的装置。该方法和装置能够有效利用带宽，及时调整图像捕获模式，为后续图像分析和识别提供及时有效的信息，同时保证了数据传输的可靠性。

Description

一种通信数据压缩方法
技术领域
本发明通常涉及数据信号处理领域，更具体而言，涉及一种通信数据压缩方法及其装置。
背景技术
随着计算机和通信技术的发展，需要通过通信系统来传输海量的数据，诸如文本、图像、声音数据等，然而，传输的数据值往往都存在一定程度的重复信息或冗余信息或非主要信息，因此需要对数据进行压缩处理后才进行数据编码传输。而且随着通信技术的不断发展，宽带信号成为目前通信业数据传输技术发展的主流态势，然而由于数据的信息量巨大，特别是多个信号源的同时传输的情况下。另外，由于数据的压缩可能会造成数据的丢失，或者在一些情况下，由于数据的压缩导致感兴趣的信息(information of interest)的不清楚或丢失，导致对图像中特定对象的定位和认定存在一定的困难。例如在以下场景中，这种情况尤为明显：针对群体性事件所捕获的图像中，往往会有行动表现积极、激进的人，或者会有诸如旗标、标识之类的标志身份可辨别的信息，然而由于压缩导致后续解码识别不清楚，给分析和应对带来难度；再例如，银行机构的自助服务场所，在夜间等时段，对于遮挡部分生物特征的用户，本来需要及时调整捕获模式，提高后续识别效率，但是由于未能有反馈机制，加上压缩导致后续解码识别不清楚，给分析和应对带来难度；再例如，在自然灾害中，由于需要捕获现场图像并尽快向民众发送避难场所信息，在图片的分析和场所的识别中，由于压缩导致后续解码识别不清楚，也带来了困难。
另外，由于对数据的可靠性有极其高的要求，另外由于数据压缩的调整可能导致的数据量增加但是同时又不允许过长的传输延迟，亦即对传输速度有了较高的需求，所以出于这些考虑，务必保证需要的数据传输速度在实际能提供的能力之内，以不导致过载或者数据的丢失。
现有技术中的方案未能够有效地解决这些问题。
发明内容
本发明的目的之一是提供一种通信数据压缩方法及其装置，其能够有效利用带宽，及时调整图像捕获模式，为后续图像分析和识别提供及时有效的信息，同时保证了数据传输的可靠性。
本发明为解决上述技术问题而采取的技术方案为：一种通信数据压缩方法，其特征在于包括以下步骤：在步骤S1中，成像单元捕获对象的样本图像，以生成样本图像数据，将该样本图像数据发送到数据处理模块；在步骤S2中，数据处理模块对接收的该样本图像数据进行第一压缩操作，并且估算信道最大的数据通信量，之后将压缩结果和估算结果经由发送模块发送给接收模块；在步骤S3中，接收模块执行第一解压缩操作，并根据解压缩的样本图像效果来确定成像单元的捕获模式或对应模式配置参数；在步骤S4中，接收模块将捕获模式或对应模式配置参数发送给发送模块，发送模块进而直接发送给成像单元以进行合适的捕获模式设置；在步骤S5中，成像单元根据设置的模式再次捕获对象的图像，以生成图像数据，将该图像数据发送到数据处理模块；在步骤S6中，数据处理模块对接收的该图像数据进行不同于第一压缩操作的第二压缩操作，并将结果发送给发送模块；在步骤S7中，比较模块判定发送模块所需的发送速度与估算的信道最大的数据通信量的大小比较结果，在符合要求的情况下，使能发送模块将第二压缩操作的结果发送给接收模块。
根据本发明的另一个方面，在步骤S1中，成像单元捕获对象的样本图像，以生成样本图像数据，将该样本图像数据发送到数据处理模块，其中样本图像数据是以第一捕获模式捕获的图像的数据；其中不同的捕获模式具有不同的分辨率和捕获频率以及参数配置；成像单元是能够生成图像数据的电子设备，包括相机、摄像头、录像机、移动终端中的任一个；发送和后续的接收采用无线或有线链路，无线链路采用长距离通信或短距离通信，长距离通信包括长期演进(LTE)、高级LTE(LTE-A)、码分多址(CDMA)、宽带CDMA(WCDMA)、通用移动电信系统(UMTS)、无线宽带(WiBro)或全球移动通信系统(GSM)；短距离通信包括无线保真(WiFi)、蓝牙(BT)、近场通信(NFC)、磁安全传输(MST)或全球导航卫星系统(GNSS)；有线链路采用以下中的任何一个：通用串行总线(USB)、高清晰度多媒体接口(HDMI)、推荐的标准232(RS-232)和普通老式电话服务(POTS)。
根据本发明的另一个方面，在步骤S2中，数据处理模块对接收的该样本图像数据进行第一压缩操作，并且估算信道最大的数据通信量，之后将压缩结果和估算结果经由发送模块发送给接收模块；其中第一压缩操作包括将样本图像数据分成多个数据块，并采用霍夫曼编码、预测编码及变换编码来执行压缩操作；其中估算信道最大的数据通信量具体包括：确定传输的数据流，估算最大的数据通信量：其中mu表示数据块中传输的单个数据位的值，α表示采样的一个数据块占用的进程，I表示采样的数据块序号，J表示采样的数据块与参考数据库的合集；Cu,v表示采样的一个数据块占用的信道量，nu,v表示总带宽；u和v表示正整数；max()表示取最大值函数，其中只有一个集合的表示时，取该集合中的该元素，而其中有两个元素的表示时，取该集合中元素的最大值。
根据本发明的另一个方面，在步骤S3中，接收模块执行第一解压缩操作，并根据解压缩的样本图像效果来确定成像单元的捕获模式或对应模式配置参数包括：接收模块执行第一解压缩操作，该第一解压缩与第一压缩操作相对应；如果根据解压缩的样本图像效果来确定图像含较多冗余或重复信息或非主要信息，则选择资源消耗量较小、像素较低的捕获模式；否则，如果有感兴趣的信息的丢失，或者感兴趣的信息解压缩后回复不清晰或完整，则选择资源消耗量较大、像素较高的捕获模式；对应模式配置参数是带有捕获模式选择和对应的分辨率、捕获频率、照明亮度设置的参数；在步骤S4、S5中，接收模块将捕获模式或对应模式配置参数发送给发送模块，发送模块进而直接发送给成像单元以进行合适的捕获模式设置，成像单元根据设置的模式再次捕获对象的图像，以生成图像数据，将该图像数据发送到数据处理模块包括：成像单元根据接收的捕获模式或对应模式配置参数，调整捕获模式和/或设置对应模式配置参数，使得根据控制来旋转资源消耗量较小、像素较低的捕获模式或者资源消耗量较大、像素较高的捕获模式，并根据该捕获模式进行图像的获取和生成。
根据本发明的另一个方面，在步骤S6中，数据处理模块对接收的该图像数据进行不同于第一压缩操作的第二压缩操作，并将结果发送给发送模块包括：在步骤S61中，数据处理模块将图像的彩色图形变换成灰度图像，并且获取图像边界信息；在步骤S62中，数据处理模块判断图像边界信息的亮度值，如果其值超过亮度阈值，则确定为备选感兴趣的区域的备选边界；在步骤S63中，数据处理模块确定与该备选边界成一定角度是否存在也符合条件的边界，亦即值超过亮度阈值；在步骤S64中，数据处理模块计算边界函数
其中S(i,j)的值在Attention(i,j)大于等于关注度阈值时为1，在Attention(i,j)小关注度阈值时为1；其中i,j表示步骤S62确定的边界两端点坐标的均值所在的点；c、d表示横纵坐标上的变量；b为常数；P(i,j)为感兴趣区域函数，其值根据备选边界长度确定，正比于备选边界长度；Wt(i,j)为加权函数，Attention(i,j)为关注度函数，二者根据目标的受关注程度和重要性来确定；Qα为方向边界函数，其值根据备选边界与值超过亮度阈值的其它边界有交点时成的角度确定，当有交点时为1，否则为-1；在步骤S65中，数据处理模块判定边界函数与边界阈值的关系，如果大于等于边界阈值，说明存在感兴趣的区域；否则说明不存在；在步骤S66中，数据处理模块构建感兴趣的区域，并对该区域进行中值滤波；在步骤S67中，数据处理模块将原接收的图像数据划分成G*H个单元，其中G、H为大于2的正整数，将各个单元从RGB变换到YUV，对每个单元进行变换并使用量化函数进行量化，量化后的值Qpost＝Qpre/Quantz，其中Qpre为变换后量化前的值，Quantz计算方式为：当量化数值为100时，Quantz＝1，而当量化数值在[50,100)时，而当量化数值在[0,50)时，其中NUM为反映图像品质的数值；Qs为量化设置表的数值；在步骤S68中，数据处理模块将图像数据排序成数据流，确定其中的数值顺序，确定其中具有相同值的一个或多个数据片段，如果一个或多个片段中每个片段的相同数据位数不小于临界值，则确定将数据片段进行压缩，并且设置起始标志位、数值位、数值位数，起始标志位采用非数字字符来表明对该片段进行了压缩，起始标志位之后为数值位，表明数据片段中连续数据位的数值，数值位之后为数值位数，数值位数表明连续数据位的数值的数量；之后将各个数据片段依原来的顺序进行组合；而当一个或多个片段中每个片段的数据位数小于临界值，则将该数据片段直接与其他结果结合后；在步骤S69中，数据处理模块将组合的结果发送给比较模块和发送模块。
对应地，本公开涉及一种对应的通信数据压缩装置，包括：成像单元，被配置成：根据接收的命令，以预设的时间间隔捕获对象的图像，以生成图像数据，将该图像数据发送到数据处理模块；数据处理模块，被配置成：对接收的该图像数据进行加密压缩，并发送到判别模块；以及判别模块，被配置成：读取接收的数据，确定接收的数据是否符合判别要求；如果满足判别要求，则对数据进行处理，并将处理的结果与其他结果结合后发送到接收模块；如果不满足判别要求，则将数据直接与其他结果结合后发送到接收模块。
附图说明
在附图中通过实例的方式而不是通过限制的方式来示出本发明的实施例，其中相同的附图标记表示相同的元件，其中：
根据本发明的示范性实施例，图1图示一种通信数据压缩方法的流程图。
根据本发明的示范性实施例，图2图示一种通信数据压缩装置。
具体实施方式
在下面的描述中，参考附图并以图示的方式示出几个具体的实施例。将理解的是：可设想并且可做出其他实施例而不脱离本公开的范围或精神。因此，以下详细描述不应被认为具有限制意义。
根据本发明的示范性实施例，图1图示一种通信数据压缩方法的流程图。该方法包括：
在步骤S1中，成像单元捕获对象的样本图像，以生成样本图像数据，将该样本图像数据发送到数据处理模块；
在步骤S2中，数据处理模块对接收的该样本图像数据进行第一压缩操作，并且估算信道最大的数据通信量，之后将压缩结果和估算结果经由发送模块发送给接收模块；
在步骤S3中，接收模块执行第一解压缩操作，并根据解压缩的样本图像效果来确定成像单元的捕获模式或对应模式配置参数；
在步骤S4中，接收模块将捕获模式或对应模式配置参数发送给发送模块，发送模块进而直接发送给成像单元以进行合适的捕获模式设置；
在步骤S5中，成像单元根据设置的模式再次捕获对象的图像，以生成图像数据，将该图像数据发送到数据处理模块；
在步骤S6中，数据处理模块对接收的该图像数据进行不同于第一压缩操作的第二压缩操作，并将结果发送给发送模块；
在步骤S7中，比较模块判定发送模块所需的发送速度与估算的信道最大的数据通信量的大小比较结果，在符合要求的情况下，使能发送模块将第二压缩操作的结果发送给接收模块。
具体地，在步骤S1中，成像单元捕获对象的样本图像，以生成样本图像数据，将该样本图像数据发送到数据处理模块，其中样本图像数据是以第一捕获模式捕获的图像的数据；其中不同的捕获模式具有不同的分辨率和捕获频率以及参数配置；而成像单元可以是能够生成图像数据的电子设备，例如而不限于相机、摄像头、录像机、移动终端。
具体地，在步骤S2中，数据处理模块对接收的该样本图像数据进行第一压缩操作，并且估算信道最大的数据通信量，之后将压缩结果和估算结果经由发送模块发送给接收模块；其中第一压缩操作包括将样本图像数据分成多个数据块，并采用霍夫曼编码、预测编码及变换编码来执行压缩操作；其中估算信道最大的数据通信量具体包括：确定传输的数据流，估算最大的数据通信量：其中mu表示数据块中传输的单个数据位的值，α表示采样的一个数据块占用的进程，I表示采样的数据块序号，J表示采样的数据块与参考数据库的合集；Cu,v表示采样的一个数据块占用的信道量，nu,v表示总带宽；u和v表示正整数；max()表示取最大值函数，其中只有一个集合的表示时，取该集合中的该元素，而其中有两个元素的表示时，取该集合中元素的最大值。通过该步骤，可以提高信道的使用率。
其中此处的发送和后续的接收可采用无线或有线链路，无线链路可采用长距离通信或短距离通信，长距离通信包括长期演进(LTE)、高级LTE(LTE-A)、码分多址(CDMA)、宽带CDMA(WCDMA)、通用移动电信系统(UMTS)、无线宽带(WiBro)或全球移动通信系统(GSM)；短距离通信包括无线保真(WiFi)、蓝牙(BT)、近场通信(NFC)、磁安全传输(MST)或全球导航卫星系统(GNSS)；有线链路可采用以下中的任何一个：通用串行总线(USB)、高清晰度多媒体接口(HDMI)、推荐的标准232(RS-232)和普通老式电话服务(POTS)。
具体地，在步骤S3中，接收模块执行第一解压缩操作，并根据解压缩的样本图像效果来确定成像单元的捕获模式或对应模式配置参数包括：接收模块执行第一解压缩操作，该第一解压缩与第一压缩操作相对应；如果根据解压缩的样本图像效果来确定图像含较多冗余或重复信息或非主要信息，则选择资源消耗量较小、像素较低的捕获模式；否则，如果有感兴趣的信息的丢失，或者感兴趣的信息解压缩后回复不清晰或完整，则选择资源消耗量较大、像素较高的捕获模式；对应模式配置参数可以是带有捕获模式选择和对应的分辨率、捕获频率、照明亮度设置的参数。
具体地，在步骤S4、S5中，接收模块将捕获模式或对应模式配置参数发送给发送模块，发送模块进而直接发送给成像单元以进行合适的捕获模式设置，成像单元根据设置的模式再次捕获对象的图像，以生成图像数据，将该图像数据发送到数据处理模块包括：成像单元根据接收的捕获模式或对应模式配置参数，调整捕获模式和/或设置对应模式配置参数，使得根据控制来旋转资源消耗量较小、像素较低的捕获模式或者资源消耗量较大、像素较高的捕获模式，并根据该捕获模式进行图像的获取和生成。
具体地，在步骤S6中，数据处理模块对接收的该图像数据进行不同于第一压缩操作的第二压缩操作，并将结果发送给发送模块包括：
在步骤S61中，数据处理模块将图像的彩色图形变换成灰度图像，并且获取图像边界信息；
在步骤S62中，数据处理模块判断图像边界信息的亮度值，如果其值超过亮度阈值，则确定为备选感兴趣的区域的备选边界；
在步骤S63中，数据处理模块确定与该备选边界成一定角度是否存在也符合条件的边界，亦即值超过亮度阈值；优选地，该角度为0，
在步骤S64中，数据处理模块计算边界函数其中S(i,j)的值在Attention(i,j)大于等于关注度阈值时为1，在Attention(i,j)小关注度阈值时为1；其中i,j表示步骤S62确定的边界两端点坐标的均值所在的点；c、d表示横纵坐标上的变量；b为常数；P(i,j)为感兴趣区域函数，其值根据备选边界长度确定，正比于备选边界长度；Wt(i,j)为加权函数，Attention(i,j)为关注度函数，二者根据目标的受关注程度和重要性来确定；Qα为方向边界函数，其值根据备选边界与值超过亮度阈值的其它边界有交点时成的角度确定，当有交点时为1，否则为-1；
在步骤S65中，数据处理模块判定边界函数与边界阈值的关系，如果大于等于边界阈值，说明存在感兴趣的区域；否则说明不存在；
在步骤S66中，数据处理模块构建感兴趣的区域，并对该区域进行中值滤波；
在步骤S67中，数据处理模块将原接收的图像数据划分成G*H个单元，其中G、H为大于2的正整数，将各个单元从RGB变换到YUV，对每个单元进行变换并使用量化函数进行量化，量化后的值Qpost＝Qpre/Quantz，其中Qpre为变换后量化前的值，Quantz计算方式为：当量化数值为100时，Quantz＝1，而当量化数值在[50,100)时，而当量化数值在[0,50)时，其中NUM为反映图像品质的数值；Qs为量化设置表的数值；
在步骤S68中，数据处理模块将图像数据排序成数据流，确定其中的数值顺序，确定其中具有相同值的一个或多个数据片段，如果一个或多个片段中每个片段的相同数据位数不小于临界值，则确定将数据片段进行压缩，并且设置起始标志位、数值位、数值位数，起始标志位采用非数字字符来表明对该片段进行了压缩，起始标志位之后为数值位，表明数据片段中连续数据位的数值，数值位之后为数值位数，数值位数表明连续数据位的数值的数量；之后将各个数据片段依原来的顺序进行组合；而当一个或多个片段中每个片段的数据位数小于临界值，则将该数据片段直接与其他结果结合后；
在步骤S69中，数据处理模块将组合的结果发送给比较模块和发送模块。
上述的各个技术术语是本领域中的具有通常含义的常规技术术语，为了不模糊本发明的重点，在此不对其进行进一步的解释。
对应地，本申请还公开一种通信数据压缩装置，包括：
成像单元，被配置成：捕获对象的样本图像，以生成样本图像数据，将该样本图像数据发送到数据处理模块；根据反馈设置的模式再次捕获对象的图像，以生成图像数据，将该图像数据发送到数据处理模块；根据设置的模式再次捕获对象的图像，以生成图像数据，将该图像数据发送到数据处理模块；
数据处理模块，被配置成：对接收的该样本图像数据进行第一压缩操作，并且估算信道最大的数据通信量，之后将压缩结果和估算结果经由发送模块发送给接收模块；对接收的图像数据进行不同于第一压缩操作的第二压缩操作，并将结果发送给发送模块；
发送模块，被配置成：发送压缩结果和估算结果给接收模块，并且当接收模块执行第一解压缩操作，并根据解压缩的样本图像效果来确定成像单元的捕获模式或对应模式配置参数之后接收捕获模式或对应模式配置参数，发送模块进而直接发送给成像单元以进行合适的捕获模式设置；
比较模块，被配置成：判定发送模块所需的发送速度与估算的信道最大的数据通信量的大小比较结果，在符合要求的情况下，使能发送模块将第二压缩操作的结果发送给接收模块。
具体地，成像单元捕获对象的样本图像，以生成样本图像数据，将该样本图像数据发送到数据处理模块，其中样本图像数据是以第一捕获模式捕获的图像的数据；其中不同的捕获模式具有不同的分辨率和捕获频率以及参数配置；而成像单元可以是能够生成图像数据的电子设备，例如而不限于相机、摄像头、录像机、移动终端。
具体地，数据处理模块对接收的该样本图像数据进行第一压缩操作，并且估算信道最大的数据通信量，之后将压缩结果和估算结果经由发送模块发送给接收模块；其中第一压缩操作包括将样本图像数据分成多个数据块，并采用霍夫曼编码、预测编码及变换编码来执行压缩操作；其中估算信道最大的数据通信量具体包括：确定传输的数据流，估算最大的数据通信量：其中mu表示数据块中传输的单个数据位的值，α表示采样的一个数据块占用的进程，I表示采样的数据块序号，J表示采样的数据块与参考数据库的合集；Cu,v表示采样的一个数据块占用的信道量，nu,v表示总带宽；u和v表示正整数；max()表示取最大值函数，其中只有一个集合的表示时，取该集合中的该元素，而其中有两个元素的表示时，取该集合中元素的最大值。通过该步骤，可以提高信道的使用率。
本文的发送和接收可采用无线或有线链路，无线链路可采用长距离通信或短距离通信，长距离通信包括长期演进(LTE)、高级LTE(LTE-A)、码分多址(CDMA)、宽带CDMA(WCDMA)、通用移动电信系统(UMTS)、无线宽带(WiBro)或全球移动通信系统(GSM)；短距离通信包括无线保真(WiFi)、蓝牙(BT)、近场通信(NFC)、磁安全传输(MST)或全球导航卫星系统(GNSS)；有线链路可采用以下中的任何一个：通用串行总线(USB)、高清晰度多媒体接口(HDMI)、推荐的标准232(RS-232)和普通老式电话服务(POTS)。
具体地，接收模块执行第一解压缩操作，并根据解压缩的样本图像效果来确定成像单元的捕获模式或对应模式配置参数包括：接收模块执行第一解压缩操作，该第一解压缩与第一压缩操作相对应；如果根据解压缩的样本图像效果来确定图像含较多冗余或重复信息或非主要信息，则选择资源消耗量较小、像素较低的捕获模式；否则，如果有感兴趣的信息的丢失，或者感兴趣的信息解压缩后回复不清晰或完整，则选择资源消耗量较大、像素较高的捕获模式；对应模式配置参数可以是带有捕获模式选择和对应的分辨率、捕获频率、照明亮度设置的参数。
具体地，接收模块将捕获模式或对应模式配置参数发送给发送模块，发送模块进而直接发送给成像单元以进行合适的捕获模式设置，成像单元根据设置的模式再次捕获对象的图像，以生成图像数据，将该图像数据发送到数据处理模块包括：成像单元根据接收的捕获模式或对应模式配置参数，调整捕获模式和/或设置对应模式配置参数，使得根据控制来旋转资源消耗量较小、像素较低的捕获模式或者资源消耗量较大、像素较高的捕获模式，并根据该捕获模式进行图像的获取和生成。
具体地，数据处理模块对接收的该图像数据进行不同于第一压缩操作的第二压缩操作，并将结果发送给发送模块的过程中：
数据处理模块将图像的彩色图形变换成灰度图像，并且获取图像边界信息；
数据处理模块判断图像边界信息的亮度值，如果其值超过亮度阈值，则确定为备选感兴趣的区域的备选边界；
数据处理模块确定与该备选边界成一定角度是否存在也符合条件的边界，亦即值超过亮度阈值；优选地，该角度为0，
数据处理模块计算边界函数其中S(i,j)的值在Attention(i,j)大于等于关注度阈值时为1，在Attention(i,j)小关注度阈值时为1；其中i,j表示步骤S62确定的边界两端点坐标的均值所在的点；c、d表示横纵坐标上的变量；b为常数；P(i,j)为感兴趣区域函数，其值根据备选边界长度确定，正比于备选边界长度；Wt(i,j)为加权函数，Attention(i,j)为关注度函数，二者根据目标的受关注程度和重要性来确定；Qα为方向边界函数，其值根据备选边界与值超过亮度阈值的其它边界有交点时成的角度确定，当有交点时为1，否则为-1；
数据处理模块判定边界函数与边界阈值的关系，如果大于等于边界阈值，说明存在感兴趣的区域；否则说明不存在；
数据处理模块构建感兴趣的区域，并对该区域进行中值滤波；
数据处理模块将原接收的图像数据划分成G*H个单元，其中G、H为大于2的正整数，将各个单元从RGB变换到YUV，对每个单元进行变换并使用量化函数进行量化，量化后的值Qpost＝Qpre/Quantz，其中Qpre为变换后量化前的值，Quantz计算方式为：当量化数值为100时，Quantz＝1，而当量化数值在[50,100)时，而当量化数值在[0,50)时，其中NUM为反映图像品质的数值；Qs为量化设置表的数值；
数据处理模块将图像数据排序成数据流，确定其中的数值顺序，确定其中具有相同值的一个或多个数据片段，如果一个或多个片段中每个片段的相同数据位数不小于临界值，则确定将数据片段进行压缩，并且设置起始标志位、数值位、数值位数，起始标志位采用非数字字符来表明对该片段进行了压缩，起始标志位之后为数值位，表明数据片段中连续数据位的数值，数值位之后为数值位数，数值位数表明连续数据位的数值的数量；之后将各个数据片段依原来的顺序进行组合；而当一个或多个片段中每个片段的数据位数小于临界值，则将该数据片段直接与其他结果结合后；数据处理模块将组合的结果发送给比较模块和发送模块。
综上，在本发明的技术方案中，通过采用了一种通信数据压缩方法及其装置，其能够有效利用带宽，及时调整图像捕获模式，为后续图像分析和识别提供及时有效的信息，同时保证了数据传输的可靠性。
将理解的是：可以硬件、软件或硬件和软件的组合的形式实现本发明的示例和实施例。如上所述，可存储任何执行这种方法的主体，以挥发性或非挥发性存储的形式，例如存储设备，像ROM，无论可抹除或可重写与否，或者以存储器的形式，诸如例如RAM、存储器芯片、设备或集成电路或在光或磁可读的介质上，诸如例如CD、DVD、磁盘或磁带。将理解的是：存储设备和存储介质是适合于存储一个或多个程序的机器可读存储的示例，当被执行时，所述一个或多个程序实现本发明的示例。经由任何介质，诸如通过有线或无线耦合载有的通信信号，可以电子地传递本发明的示例，并且示例适当地包含相同内容。
应当注意的是：因为本发明解决了有效利用带宽，及时调整图像捕获模式，为后续图像分析和识别提供及时有效的信息，同时保证了数据传输的可靠性的技术问题，采用了计算机技术领域中技术人员在阅读本说明书之后根据其教导所能理解的技术手段，并获得了有益技术效果，所以在所附权利要求中要求保护的方案属于专利法意义上的技术方案。另外，因为所附权利要求要求保护的技术方案可以在工业中制造或使用，因此该方案具备实用性。
以上所述，仅为本发明的较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应包涵在本发明的保护范围之内。除非以其他方式明确陈述，否则公开的每个特征仅是一般系列的等效或类似特征的一个示例。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (10)

1.一种通信数据压缩方法，其特征在于包括以下步骤：
在步骤S1中，成像单元捕获对象的样本图像，以生成样本图像数据，将该样本图像数据发送到数据处理模块；
在步骤S2中，数据处理模块对接收的该样本图像数据进行第一压缩操作，并且估算信道最大的数据通信量，之后将压缩结果和估算结果经由发送模块发送给接收模块；
在步骤S3中，接收模块执行第一解压缩操作，并根据解压缩的样本图像效果来确定成像单元的捕获模式或对应模式配置参数；
在步骤S4中，接收模块将捕获模式或对应模式配置参数发送给发送模块，发送模块进而直接发送给成像单元以进行合适的捕获模式设置；
在步骤S5中，成像单元根据设置的模式再次捕获对象的图像，以生成图像数据，将该图像数据发送到数据处理模块；
在步骤S6中，数据处理模块对接收的该图像数据进行不同于第一压缩操作的第二压缩操作，并将结果发送给发送模块；
在步骤S7中，比较模块判定发送模块所需的发送速度与估算的信道最大的数据通信量的大小比较结果，在符合要求的情况下，使能发送模块将第二压缩操作的结果发送给接收模块。
2.根据权利要求1所述的通信数据压缩方法，其中：
在步骤S1中，成像单元捕获对象的样本图像，以生成样本图像数据，将该样本图像数据发送到数据处理模块，其中样本图像数据是以第一捕获模式捕获的图像的数据；其中不同的捕获模式具有不同的分辨率和捕获频率以及参数配置；成像单元是能够生成图像数据的电子设备，包括相机、摄像头、录像机、移动终端中的任一个；
发送和后续的接收采用无线或有线链路，无线链路采用长距离通信或短距离通信，长距离通信包括长期演进(LTE)、高级LTE(LTE-A)、码分多址(CDMA)、宽带CDMA(WCDMA)、通用移动电信系统(UMTS)、无线宽带(WiBro)或全球移动通信系统(GSM)；短距离通信包括无线保真(WiFi)、蓝牙(BT)、近场通信(NFC)、磁安全传输(MST)或全球导航卫星系统(GNSS)；有线链路采用以下中的任何一个：通用串行总线(USB)、高清晰度多媒体接口(HDMI)、推荐的标准232(RS-232)和普通老式电话服务(POTS)。
3.根据权利要求2所述的通信数据压缩方法，其中：
在步骤S2中，数据处理模块对接收的该样本图像数据进行第一压缩操作，并且估算信道最大的数据通信量，之后将压缩结果和估算结果经由发送模块发送给接收模块；其中第一压缩操作包括将样本图像数据分成多个数据块，并采用霍夫曼编码、预测编码及变换编码来执行压缩操作；其中估算信道最大的数据通信量具体包括：确定传输的数据流，估算最大的数据通信量：其中mu表示数据块中传输的单个数据位的值，α表示采样的一个数据块占用的进程，I表示采样的数据块序号，J表示采样的数据块与参考数据库的合集；Cu,v表示采样的一个数据块占用的信道量，nu,v表示总带宽；u和v表示正整数；max()表示取最大值函数，其中只有一个集合的表示时，取该集合中的该元素，而其中有两个元素的表示时，取该集合中元素的最大值。
4.根据权利要求3所述的通信数据压缩方法，其中：
在步骤S3中，接收模块执行第一解压缩操作，并根据解压缩的样本图像效果来确定成像单元的捕获模式或对应模式配置参数包括：接收模块执行第一解压缩操作，该第一解压缩与第一压缩操作相对应；如果根据解压缩的样本图像效果来确定图像含较多冗余或重复信息或非主要信息，则选择资源消耗量较小、像素较低的捕获模式；否则，如果有感兴趣的信息的丢失，或者感兴趣的信息解压缩后回复不清晰或完整，则选择资源消耗量较大、像素较高的捕获模式；对应模式配置参数是带有捕获模式选择和对应的分辨率、捕获频率、照明亮度设置的参数；
在步骤S4、S5中，接收模块将捕获模式或对应模式配置参数发送给发送模块，发送模块进而直接发送给成像单元以进行合适的捕获模式设置，成像单元根据设置的模式再次捕获对象的图像，以生成图像数据，将该图像数据发送到数据处理模块包括：成像单元根据接收的捕获模式或对应模式配置参数，调整捕获模式和/或设置对应模式配置参数，使得根据控制来旋转资源消耗量较小、像素较低的捕获模式或者资源消耗量较大、像素较高的捕获模式，并根据该捕获模式进行图像的获取和生成。
5.根据权利要求4所述的通信数据压缩方法，其中：
在步骤S6中，数据处理模块对接收的该图像数据进行不同于第一压缩操作的第二压缩操作，并将结果发送给发送模块包括：
在步骤S61中，数据处理模块将图像的彩色图形变换成灰度图像，并且获取图像边界信息；
在步骤S62中，数据处理模块判断图像边界信息的亮度值，如果其值超过亮度阈值，则确定为备选感兴趣的区域的备选边界；
在步骤S63中，数据处理模块确定与该备选边界成一定角度是否存在也符合条件的边界，亦即值超过亮度阈值
在步骤S64中，数据处理模块计算边界函数其中S(i,j)的值在Attention(i,j)大于等于关注度阈值时为1，在Attention(i,j)小关注度阈值时为1；其中i,j表示步骤S62确定的边界两端点坐标的均值所在的点；c、d表示横纵坐标上的变量；b为常数；P(i,j)为感兴趣区域函数，其值根据备选边界长度确定，正比于备选边界长度；Wt(i,j)为加权函数，Attention(i,j)为关注度函数，二者根据目标的受关注程度和重要性来确定；Qα为方向边界函数，其值根据备选边界与值超过亮度阈值的其它边界有交点时成的角度确定，当有交点时为1，否则为-1；
在步骤S65中，数据处理模块判定边界函数与边界阈值的关系，如果大于等于边界阈值，说明存在感兴趣的区域；否则说明不存在；
在步骤S66中，数据处理模块构建感兴趣的区域，并对该区域进行中值滤波；
在步骤S67中，数据处理模块将原接收的图像数据划分成G*H个单元，其中G、H为大于2的正整数，将各个单元从RGB变换到YUV，对每个单元进行变换并使用量化函数进行量化，量化后的值Qpost＝Qpre/Quantz，其中Qpre为变换后量化前的值，Quantz计算方式为：当量化数值为100时，Quantz＝1，而当量化数值在[50,100)时，而当量化数值在[0,50)时，其中NUM为反映图像品质的数值；Qs为量化设置表的数值；
在步骤S68中，数据处理模块将图像数据排序成数据流，确定其中的数值顺序，确定其中具有相同值的一个或多个数据片段，如果一个或多个片段中每个片段的相同数据位数不小于临界值，则确定将数据片段进行压缩，并且设置起始标志位、数值位、数值位数，起始标志位采用非数字字符来表明对该片段进行了压缩，起始标志位之后为数值位，表明数据片段中连续数据位的数值，数值位之后为数值位数，数值位数表明连续数据位的数值的数量；之后将各个数据片段依原来的顺序进行组合；而当一个或多个片段中每个片段的数据位数小于临界值，则将该数据片段直接与其他结果结合后；
在步骤S69中，数据处理模块将组合的结果发送给比较模块和发送模块。
6.一种通信数据压缩装置，包括：
成像单元，被配置成：捕获对象的样本图像，以生成样本图像数据，将该样本图像数据发送到数据处理模块；根据反馈设置的模式再次捕获对象的图像，以生成图像数据，将该图像数据发送到数据处理模块；根据设置的模式再次捕获对象的图像，以生成图像数据，将该图像数据发送到数据处理模块；
数据处理模块，被配置成：对接收的该样本图像数据进行第一压缩操作，并且估算信道最大的数据通信量，之后将压缩结果和估算结果经由发送模块发送给接收模块；对接收的图像数据进行不同于第一压缩操作的第二压缩操作，并将结果发送给发送模块；
发送模块，被配置成：发送压缩结果和估算结果给接收模块，并且当接收模块执行第一解压缩操作，并根据解压缩的样本图像效果来确定成像单元的捕获模式或对应模式配置参数之后接收捕获模式或对应模式配置参数，发送模块进而直接发送给成像单元以进行合适的捕获模式设置；
比较模块，被配置成：判定发送模块所需的发送速度与估算的信道最大的数据通信量的大小比较结果，在符合要求的情况下，使能发送模块将第二压缩操作的结果发送给接收模块。
7.根据权利要求6所述的通信数据压缩装置，其中：
成像单元捕获对象的样本图像，以生成样本图像数据，将该样本图像数据发送到数据处理模块，其中样本图像数据是以第一捕获模式捕获的图像的数据；其中不同的捕获模式具有不同的分辨率和捕获频率以及参数配置；成像单元是能够生成图像数据的电子设备，包括相机、摄像头、录像机、移动终端中的任一个；
发送和后续的接收采用无线或有线链路，无线链路采用长距离通信或短距离通信，长距离通信包括长期演进(LTE)、高级LTE(LTE-A)、码分多址(CDMA)、宽带CDMA(WCDMA)、通用移动电信系统(UMTS)、无线宽带(WiBro)或全球移动通信系统(GSM)；短距离通信包括无线保真(WiFi)、蓝牙(BT)、近场通信(NFC)、磁安全传输(MST)或全球导航卫星系统(GNSS)；有线链路采用以下中的任何一个：通用串行总线(USB)、高清晰度多媒体接口(HDMI)、推荐的标准232(RS-232)和普通老式电话服务(POTS)。
8.根据权利要求7所述的通信数据压缩装置，其中：
数据处理模块对接收的该样本图像数据进行第一压缩操作，并且估算信道最大的数据通信量，之后将压缩结果和估算结果经由发送模块发送给接收模块；其中第一压缩操作包括将样本图像数据分成多个数据块，并采用霍夫曼编码、预测编码及变换编码来执行压缩操作；其中估算信道最大的数据通信量具体包括：确定传输的数据流，估算最大的数据通信量：其中mu表示数据块中传输的单个数据位的值，α表示采样的一个数据块占用的进程，I表示采样的数据块序号，J表示采样的数据块与参考数据库的合集；Cu,v表示采样的一个数据块占用的信道量，nu,v表示总带宽；u和v表示正整数；max()表示取最大值函数，其中只有一个集合的表示时，取该集合中的该元素，而其中有两个元素的表示时，取该集合中元素的最大值。
9.根据权利要求8所述的通信数据压缩装置，其中：
接收模块执行第一解压缩操作，并根据解压缩的样本图像效果来确定成像单元的捕获模式或对应模式配置参数包括：接收模块执行第一解压缩操作，该第一解压缩与第一压缩操作相对应；如果根据解压缩的样本图像效果来确定图像含较多冗余或重复信息或非主要信息，则选择资源消耗量较小、像素较低的捕获模式；否则，如果有感兴趣的信息的丢失，或者感兴趣的信息解压缩后回复不清晰或完整，则选择资源消耗量较大、像素较高的捕获模式；对应模式配置参数是带有捕获模式选择和对应的分辨率、捕获频率、照明亮度设置的参数；
接收模块将捕获模式或对应模式配置参数发送给发送模块，发送模块进而直接发送给成像单元以进行合适的捕获模式设置，成像单元根据设置的模式再次捕获对象的图像，以生成图像数据，将该图像数据发送到数据处理模块包括：成像单元根据接收的捕获模式或对应模式配置参数，调整捕获模式和/或设置对应模式配置参数，使得根据控制来旋转资源消耗量较小、像素较低的捕获模式或者资源消耗量较大、像素较高的捕获模式，并根据该捕获模式进行图像的获取和生成。
10.根据权利要求9所述的通信数据压缩装置，其中：
数据处理模块对接收的该图像数据进行不同于第一压缩操作的第二压缩操作，并将结果发送给发送模块的过程中：
数据处理模块将图像的彩色图形变换成灰度图像，并且获取图像边界信息；
数据处理模块判断图像边界信息的亮度值，如果其值超过亮度阈值，则确定为备选感兴趣的区域的备选边界；
数据处理模块确定与该备选边界成一定角度是否存在也符合条件的边界，亦即值超过亮度阈值；
数据处理模块计算边界函数其中S(i,j)的值在Attention(i,j)大于等于关注度阈值时为1，在Attention(i,j)小关注度阈值时为1；其中i,j表示步骤S62确定的边界两端点坐标的均值所在的点；c、d表示横纵坐标上的变量；b为常数；P(i,j)为感兴趣区域函数，其值根据备选边界长度确定，正比于备选边界长度；Wt(i,j)为加权函数，Attention(i,j)为关注度函数，二者根据目标的受关注程度和重要性来确定；Qα为方向边界函数，其值根据备选边界与值超过亮度阈值的其它边界有交点时成的角度确定，当有交点时为1，否则为-1；
数据处理模块判定边界函数与边界阈值的关系，如果大于等于边界阈值，说明存在感兴趣的区域；否则说明不存在；
数据处理模块构建感兴趣的区域，并对该区域进行中值滤波；
数据处理模块将原接收的图像数据划分成G*H个单元，其中G、H为大于2的正整数，将各个单元从RGB变换到YUV，对每个单元进行变换并使用量化函数进行量化，量化后的值Qpost＝Qpre/Quantz，其中Qpre为变换后量化前的值，Quantz计算方式为：当量化数值为100时，Quantz＝1，而当量化数值在[50,100)时，而当量化数值在[0,50)时，其中NUM为反映图像品质的数值；Qs为量化设置表的数值；
数据处理模块将图像数据排序成数据流，确定其中的数值顺序，确定其中具有相同值的一个或多个数据片段，如果一个或多个片段中每个片段的相同数据位数不小于临界值，则确定将数据片段进行压缩，并且设置起始标志位、数值位、数值位数，起始标志位采用非数字字符来表明对该片段进行了压缩，起始标志位之后为数值位，表明数据片段中连续数据位的数值，数值位之后为数值位数，数值位数表明连续数据位的数值的数量；之后将各个数据片段依原来的顺序进行组合；而当一个或多个片段中每个片段的数据位数小于临界值，则将该数据片段直接与其他结果结合后；数据处理模块将组合的结果发送给比较模块和发送模块。
CN201710464932.5A 2017-06-19 2017-06-19 一种通信数据压缩方法 Expired - Fee Related CN107124559B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710464932.5A CN107124559B (zh) 2017-06-19 2017-06-19 一种通信数据压缩方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710464932.5A CN107124559B (zh) 2017-06-19 2017-06-19 一种通信数据压缩方法

Publications (2)

Publication Number Publication Date
CN107124559A true CN107124559A (zh) 2017-09-01
CN107124559B CN107124559B (zh) 2019-08-13

Family

ID=59719068

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710464932.5A Expired - Fee Related CN107124559B (zh) 2017-06-19 2017-06-19 一种通信数据压缩方法

Country Status (1)

Country Link
CN (1) CN107124559B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112487880A (zh) * 2020-11-13 2021-03-12 河北省科学院应用数学研究所 基于最大误差准则的中值滤波器、设备和系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1953514A (zh) * 2002-09-25 2007-04-25 索尼株式会社 成像装置和成像方法
CN101217623A (zh) * 2007-12-26 2008-07-09 广东威创视讯科技股份有限公司 一种快速手动调焦、对焦方法
US20100231599A1 (en) * 2009-03-16 2010-09-16 Microsoft Corporation Frame Buffer Management
US20100289914A1 (en) * 2009-05-12 2010-11-18 Canon Kabushiki Kaisha Imaging apparatus and imaging method
CN102684705A (zh) * 2012-05-30 2012-09-19 奇智软件（北京）有限公司 数据压缩方法及装置
CN104055534A (zh) * 2013-03-21 2014-09-24 重庆海扶医疗科技股份有限公司 超声图像/超声视频传输方法和装置
CN104349142A (zh) * 2014-11-03 2015-02-11 南京航空航天大学 一种基于分层表达的无人机视频自适应传输方法
CN205622770U (zh) * 2016-04-22 2016-10-05 微景天下（北京）科技有限公司 图像传输系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1953514A (zh) * 2002-09-25 2007-04-25 索尼株式会社 成像装置和成像方法
CN101217623A (zh) * 2007-12-26 2008-07-09 广东威创视讯科技股份有限公司 一种快速手动调焦、对焦方法
US20100231599A1 (en) * 2009-03-16 2010-09-16 Microsoft Corporation Frame Buffer Management
US20100289914A1 (en) * 2009-05-12 2010-11-18 Canon Kabushiki Kaisha Imaging apparatus and imaging method
CN102684705A (zh) * 2012-05-30 2012-09-19 奇智软件（北京）有限公司 数据压缩方法及装置
CN104055534A (zh) * 2013-03-21 2014-09-24 重庆海扶医疗科技股份有限公司 超声图像/超声视频传输方法和装置
CN104349142A (zh) * 2014-11-03 2015-02-11 南京航空航天大学 一种基于分层表达的无人机视频自适应传输方法
CN205622770U (zh) * 2016-04-22 2016-10-05 微景天下（北京）科技有限公司 图像传输系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112487880A (zh) * 2020-11-13 2021-03-12 河北省科学院应用数学研究所 基于最大误差准则的中值滤波器、设备和系统

Also Published As

Publication number Publication date
CN107124559B (zh) 2019-08-13

Similar Documents

Publication Publication Date Title
CN110310343B (zh) 图像处理方法及装置
CN110572579B (zh) 图像处理方法、装置及电子设备
US20210160556A1 (en) Method for enhancing resolution of streaming file
EP2517470B1 (en) Systems and methods for video-aware screen capture and compression
US20060228029A1 (en) Method and system for video clip compression
CN110072119B (zh) 一种基于深度学习网络的内容感知视频自适应传输方法
CN107257426B (zh) 一种减少资源消耗的数据压缩方法
CN102984495A (zh) 一种视频图像的处理方法及装置
CN106937121A (zh) 图像解码和编码方法、解码和编码装置、解码器及编码器
CN110490845A (zh) 一种图像特征提取方法、装置、存储介质及电子设备
CN105430393B (zh) 一种图片处理方法、图片处理装置、图片处理平台以及存储介质
US20070064275A1 (en) Apparatus and method for compressing images
KR101805550B1 (ko) 프리젠테이션 가상화를 위한 화면 부호화 방법 및 서버
EP4300411A1 (en) Training method and apparatus for image processing network, computer device, and storage medium
CN110691246B (zh) 视频编码方法、装置及电子设备
US11798254B2 (en) Bandwidth limited context based adaptive acquisition of video frames and events for user defined tasks
CN110365985A (zh) 图像处理方法及装置
CN107124559A (zh) 一种通信数据压缩方法
CN113452996A (zh) 一种视频编码、解码方法及装置
CN108600755A (zh) 图像帧编码方法及装置
CN107302659B (zh) 一种用于网络传输的数据压缩方法
US11915458B1 (en) System and process for reducing time of transmission for single-band, multiple-band or hyperspectral imagery using machine learning based compression
US11336902B1 (en) Systems and methods for optimizing video encoding
CN114339252B (zh) 一种数据压缩方法及装置
KR102574353B1 (ko) 모바일 단말에서 유해 동영상 차단을 위한 단말 자원 기반의 적응적 프레임 추출 및 스트리밍 제어 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190813

Termination date: 20210619