CN108062507A - 一种视频处理方法及装置 - Google Patents

一种视频处理方法及装置 Download PDF

Info

Publication number
CN108062507A
CN108062507A CN201611034680.4A CN201611034680A CN108062507A CN 108062507 A CN108062507 A CN 108062507A CN 201611034680 A CN201611034680 A CN 201611034680A CN 108062507 A CN108062507 A CN 108062507A
Authority
CN
China
Prior art keywords
image
attribute
video
color value
dynamic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611034680.4A
Other languages
English (en)
Other versions
CN108062507B (zh
Inventor
董婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201611034680.4A priority Critical patent/CN108062507B/zh
Priority to PCT/CN2017/109915 priority patent/WO2018086527A1/zh
Publication of CN108062507A publication Critical patent/CN108062507A/zh
Application granted granted Critical
Publication of CN108062507B publication Critical patent/CN108062507B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种视频处理方法及装置,该方法包括:接收用户输入的查看指令,所述查看指令中携带一起始时刻;确定所述起始时刻所处的时间段的属性;获取与所述时间段的属性对应的目标视频的信息,并对获取的所述目标视频的信息进行处理;本发明实施例通过对视频进行分区色值比对来确定静态时间段和动态时间段,且存储视频时静态时间段仅存储一帧图像,动态时间段才存储动态的视频,减小了存储视频所占的空间;用户查看视频时静态时间段也仅显示存储的一帧图像,而动态时间段则播放存储的动态视频,减少视频浏览的时间,提高视频浏览的效率。

Description

一种视频处理方法及装置
技术领域
本发明涉及通信技术领域,特别是指一种视频处理方法及装置。
背景技术
在智能家居监控设备的使用产品过程中发现,所录制视频的回放相当的费时,且就家庭使用情景而言,大部分视频片段都是无变化对用户无意义的。
当前智能监控行业的视频预览大多为定时向客户端推送图片,或者监控图像出现异常时向客户端发送报警信息。如果想通过手机端回放所录视频,均需要对视频进行完整的下载,既耗费有限的数据资源,也浪费时间,效率低下。
目前市场上的智能监控产品,为了减少用户所消耗的数据流量,或者减少存储空间的占用,均会对采集到的视频进行压缩存储处理。其主流的存储技术都是基于单帧的,是建立在牺牲画质的基础上来实现存储空间的缩小。
该类压缩方法都是基于视频数据每一帧的存储模式,对其进行改进,进而减小文件所占空间。然而其压缩规模随着技术的提升而很难有更大限度的突破。另一方面,从用户的使用角度出发,除了提高存储空间(SD卡,云存储空间等)的使用效率外并无其他明显改进。比如如下场景:用户想在手机客户端查看早9点至下午5点家里宠物狗的活动情况,那么就必须看完8小时的视频才能完整了解该时间内的影像信息,若快进,则不能保证关键信息不被错过。
发明内容
本发明的目的在于提供一种视频处理方法及装置,解决现有技术中视频存储所占空间较大且视频浏览效率低的问题。
为了达到上述目的,本发明实施例提供一种视频处理方法,包括:
接收用户输入的查看指令,所述查看指令中携带一起始时刻;
确定所述起始时刻所处的时间段的属性;
获取与所述时间段的属性对应的目标视频的信息,并对获取的所述目标视频的信息进行处理。
其中,当所述起始时刻所处的时间段的属性为静态时间段时,所述获取与所述时间段的属性对应的目标视频的信息,并对获取的所述目标视频的信息进行处理的步骤,包括:
获取与所述静态时间段对应的一帧图像,并控制获取的所述一帧图像显示。
其中,当所述起始时刻所处的时间段的属性为动态时间段时,所述获取与所述时间段的属性对应的目标视频的信息,并对获取的所述目标视频的信息进行处理的步骤,包括:
获取从所述起始时刻开始的动态视频,并控制获取的所述动态视频播放。
其中,所述接收用户输入的查看指令之前或者接收用户输入的查看指令之后,所述方法还包括:
确定目标视频包含的各个时间段的属性;其中,时间段的属性分为静态时间段或者动态时间段。
其中,所述确定目标视频包含的各个时间段的属性的步骤,包括:
对目标视频进行取样得到目标视频的多帧图像;
对所述多帧图像进行色值比对,确定每帧的图像属性;其中,所述图像属性分为动态帧图像或者静态帧图像;
若连续M帧的图像属性为动态帧图像,确定连续M帧图像对应的时间段的属性为动态时间段;其中,M为大于3的整数;
若所述目标视频还包括其他时间段,确定所述目标视频的其他时间段的属性为静态时间段。
其中,所述对所述多帧图像进行色值比对,确定每帧的图像属性的步骤,包括:
设置所述多帧图像中第N帧图像为基准帧图像,并将第N+1帧图像的色值与所述基准帧图像的色值进行比对;
若色值比对结果满足第一预设条件,确定所述第N+1帧的图像属性为静态帧图像,继续将第N+2帧图像的色值与所述基准帧图像的色值进行比对,直至完成所述多帧图像中的最后一帧的图像属性的确定;
若色值对比结果不满足所述第一预设条件,确定所述第N+1帧的图像属性为动态帧图像,并设置所述第N+1帧图像为基准帧图像,继续将第N+2帧图像的色值与所述基准帧图像的色值进行比对,直至完成所述多帧图像中的最后一帧的图像属性的确定,其中,N为大于或者等于1的整数。
其中,所述将第N+1帧图像的色值与所述基准帧图像的色值进行比对的步骤,包括:
将所述基准帧图像和第N+1帧图像分别划分成互不重叠的N个分块;其中,N为大于零的整数;
将第N+1帧图像的每个分块的像素点的色值分别与所述基准帧图像的相同位置的分块的像素点的色值进行比对;
若相同位置的分块中色值不同的像素点的个数占该分块中总像素点的个数的比例小于第一预设值,确定该分块为变更块;否则确定该分块为未变更块;
将第N+1帧图像中相邻的变更块整合为搜索块,并将第N帧图像中与所述搜索块对应的位置设置为参考块;并计算所述搜索块与参考块之间的残差绝对值;
若所述残差绝对值大于第二预设值,确定第N+1帧图像与所述基准帧图像的色值比对结果满足第一预设条件,则所述第N+1帧的图像属性为静态帧图像;否则,确定第N+1帧图像与所述基准帧图像的色值比对结果不满足第一预设条件,则确定所述第N+1帧的图像属性为动态帧图像。
其中,所述获取从所述起始时刻开始的动态视频,并控制获取的所述动态视频播放的步骤,包括:
若所述起始时刻所处的时间段的属性为动态时间段,获取与所述动态时间段对应的一帧预览图像并控制获取的所述一帧预览图像显示;
接收用户根据所述预览图像输入的浏览指令,获取从所述起始时刻开始的动态视频并控制获取的所述动态视频播放。
其中,所述确定目标视频包含的各个时间段的属性之后,所述方法还包括:
利用第一标识对属性为静态时间段的目标视频的时间段进行标识;和/或,
利用第二标识对属性为动态时间段的目标视频的时间段进行标识。
本发明实施例还提供一种视频处理装置,包括:
指令接收模块,用于接收用户输入的查看指令,所述查看指令中携带一起始时刻;
属性确定模块,用于确定所述起始时刻所处的时间段的属性;
处理模块,用于获取与所述时间段的属性对应的目标视频的信息,并对获取的所述目标视频的信息进行处理。
其中,所述处理模块包括:
第一处理子模块,用于当所述起始时刻所处的时间段的属性为静态时间段时,获取与所述静态时间段对应的一帧图像,并控制获取的所述一帧图像显示。
其中,所述处理模块还包括:
第二处理子模块,用于当所述起始时刻所处的时间段的属性为动态时间段时,获取从所述起始时刻开始的动态视频,并控制获取的所述动态视频播放。
其中,所述装置还包括:
确定模块,用于确定目标视频包含的各个时间段的属性;其中,时间段的属性分为静态时间段或者动态时间段。
其中,所述确定模块包括:
取样子模块,用于对目标视频进行取样得到目标视频的多帧图像;
属性确定子模块,用于对所述多帧图像进行色值比对,确定每帧的图像属性;其中,所述图像属性分为动态帧图像或者静态帧图像;
动态确定子模块,用于若连续M帧的图像属性为动态帧图像,确定连续M帧图像对应的时间段的属性为动态时间段;其中,M为大于3的整数;
静态确定子模块,用于若所述目标视频还包括其他时间段,确定所述目标视频的其他时间段的属性为静态时间段。
其中,所述属性确定子模块包括:
色值比对单元,用于设置所述多帧图像中第N帧图像为基准帧图像,并将第N+1帧图像的色值与所述基准帧图像的色值进行比对;
第一确定单元,用于若色值比对结果满足第一预设条件,确定所述第N+1帧的图像属性为静态帧图像,继续将第N+2帧图像的色值与所述基准帧图像的色值进行比对,直至完成所述多帧图像中的最后一帧的图像属性的确定;
第二确定单元,用于若色值对比结果不满足所述第一预设条件,确定所述第N+1帧的图像属性为动态帧图像,并设置所述第N+1帧图像为基准帧图像,继续将第N+2帧图像的色值与所述基准帧图像的色值进行比对,直至完成所述多帧图像中的最后一帧的图像属性的确定,其中,N为大于或者等于1的整数。
其中,所述色值比对单元包括:
分块子单元,用于将所述基准帧图像和第N+1帧图像分别划分成互不重叠的N个分块;其中,N为大于零的整数;
第一比对子单元,用于将第N+1帧图像的每个分块的像素点的色值分别与所述基准帧图像的相同位置的分块的像素点的色值进行比对;
确定子单元,用于若相同位置的分块中色值不同的像素点的个数占该分块中总像素点的个数的比例小于第一预设值,确定该分块为变更块;否则确定该分块为未变更块;
计算单元,用于将第N+1帧图像中相邻的变更块整合为搜索块,并将第N帧图像中与所述搜索块对应的位置设置为参考块;并计算所述搜索块与参考块之间的残差绝对值;
第二比对子单元,用于若所述残差绝对值大于第二预设值,确定第N+1帧图像与所述基准帧图像的色值比对结果满足第一预设条件,则所述第N+1帧的图像属性为静态帧图像;否则,确定第N+1帧图像与所述基准帧图像的色值比对结果不满足第一预设条件,则确定所述第N+1帧的图像属性为动态帧图像。
其中,所述第二处理子模块包括:
预览单元,用于若所述起始时刻所处的时间段的属性为动态时间段,获取与所述动态时间段对应的一帧预览图像并控制获取的所述一帧预览图像显示;
播放单元,用于接收用户根据所述预览图像输入的浏览指令,获取从所述起始时刻开始的动态视频并控制获取的所述动态视频播放。
其中,所述装置还包括:
第一标识模块,用于利用第一标识对属性为静态时间段的目标视频的时间段进行标识;和/或,
第二标识模块,用于利用第二标识对属性为动态时间段的目标视频的时间段进行标识。
本发明的上述技术方案至少具有如下有益效果:
本发明实施例的视频处理方法及装置中,根据用户想要查看的视频的起始时刻所处的时间段的属性来对用户想要查看的视频进行相应处理,具体的,时间段的属性分为静态时间段或者动态时间段,用户查看静态时间段时仅显示一帧图像,而用户查看动态时间段时才播放动态视频;则终端设备获取或者存储目标视频时由于静态时间段仅为一帧图像,减小了目标视频所占的空间;且在保证关键信息不被错过的同时,避免用户花费不必要的时间去查看静态时间段内的视频,减少视频浏览的时间,提高视频浏览的效率。
附图说明
图1表示本发明的第一实施例提供的视频处理方法的步骤流程图;
图2表示本发明的第一实施例提供的视频处理方法中帧分块示意图;
图3表示本发明的第一实施例提供的视频处理方法中帧比对示意图;
图4表示本发明的第二实施例提供的视频处理装置的结构图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚,下面将结合附图及具体实施例进行详细描述。
第一实施例
如图1所示,本发明的第一实施例提供一种视频处理方法,包括:
步骤11,接收用户输入的查看指令,所述查看指令中携带一起始时刻。
该起始时刻为用户想要查看的视频的起始时刻;例如,点击目标视频的时间轴上的“04:30”,此时触发的查看信令为查看目标视频的第4分30秒起的视频,即查看指令中携带的起始时刻为第4分30秒。
步骤12,确定所述起始时刻所处的时间段的属性;
步骤13,获取与所述时间段的属性对应的目标视频的信息,并对获取的所述目标视频的信息进行处理。
本步骤中,目标视频的信息可以通过视频采集单元获得,也可以通过其他途径获得,例如从某一服务器下载等,在此不作具体限定。关于通过视频采集单元获得的方式,该视频采集单元可以为常见的CCD(电荷耦合元件)摄像头,也可以是其他视频采集设备;其中,CCD摄像头具有体积小、重量轻、不受磁场影响、具有抗震动和撞击等特性。
本发明的第一实施例中,用户输入的查看指令是用户根据其自身的需求输入的,一般通过时间轴触发;例如,点击目标视频的时间轴上的“04:30”,从而需要进一步判断4分30秒所处的时间段的属性,并根据其时间段的属性来获取目标视频的信息;需要说明的是,该目标视频的信息可以为一帧图像也可以为一段视频,在此不作具体限定。
具体的,本发明的上述实施例中当所述起始时刻所处的时间段的属性为静态时间段时,步骤13包括:
步骤131,获取与所述静态时间段对应的一帧图像,并控制获取的所述一帧图像显示。
即起始时刻所处的时间段的属性为静态时间段时,则获取与静态时间段对应的一帧图像,并显示静态时间段内的上述图像。
具体的,本发明的上述实施例中当所述起始时刻所处的时间段的属性为动态时间段时,步骤13包括:
步骤132,获取从所述起始时刻开始的动态视频,并控制获取的所述动态视频播放。
即起始时刻所处的时间段的属性为动态时间段时,则获取从起始时刻开始的动态视频并播放;例如播放从4分30秒开始的视频,若动态时间段内用户没有其他操作,则播放至动态时间段的结束时刻;否则根据用户操作直接结束视频的播放。
进一步的,本发明的第一实施例中步骤11之前或者步骤11之后该方法还包括:
步骤10,确定目标视频包含的各个时间段的属性;其中,时间段的属性分为静态时间段或者动态时间段。
需要说明的是,各个时间段的属性可以直接第三方(第三方可以为服务器、系统等)确定,终端可以直接获取;即确定静态时间段或者动态时间段的过程在摄像头捕获视频数据之后,存储之前。或者各个时间段的属性可以由终端自身确定,即确定静态时间段或者动态时间段的过程是在用户预览之前,即将摄像头采集的视频数据全部保存,仅在预览时进行处理,给用户提供所选时间段内的动态信息或静态信息。
具体的,确定静态时间段和/动态时间段的过程在哪一个时间段,则确定方法都是相同的,本发明利用帧比对的方式来确定静态时间段或者动态时间段。即步骤10包括:
步骤101,对目标视频进行取样得到目标视频的多帧图像。
较佳的,对目标视频进行取样的过程为:以时间轴为基准,在时间轴内以固定时间为间隔取样,得到多帧图像。
步骤102,对所述多帧图像进行色值比对,确定每帧的图像属性;其中,所述图像属性分为动态帧图像或者静态帧图像;
步骤103,若连续M帧的图像属性为动态帧图像,确定连续M帧图像对应的时间段的属性为动态时间段;其中,M为大于3的整数;
步骤104,若所述目标视频还包括其他时间段,确定所述目标视频的其他时间段的属性为静态时间段。
本发明实施例中将两帧图像的色值进行比对,从而确定每帧的图像属性;其中图像属性分为动态帧图像或者静态帧图像。静态帧图像则表明被比对的图像与基准帧图像相同;而动态帧图像则表明被比对的图像与基准帧图像不同。若连续M帧为动态帧,则该连续M帧对应的时间段的属性为动态时间段,则将该时间段内的视频上传至服务器存储或存储至本地;并认定其他时间段的属性为静态时间段,则上传静态时间段内的任意一帧图像至云服务器存储或者存储至本地。
具体的,静态时间段具体指该时间段内容每帧图像均相同或大致相同,其大致相同的定义由预先设定的敏感度确定;而动态时间段具体指该时间段内相邻帧图像均不相同或者均不大致相同,即相邻两帧图像之间存在差异。例如,待处理视频为早9点至下午5点之间家里宠物狗的活动情况,假设中午12点至下午3点之间该宠物狗在睡觉,没有挪动位置;而其他时间段内宠物狗均在走动;则早9点至中午12点之间为动态时间段,中午12点至下午3点之间为静态时间段,下午3点至下午5点之间为动态时间段。
由于静态时间段内,任意一帧图像均相同或大致相同,此时为了节省存储空间,保存视频时仅需存储任意一帧图像即可。相应的,用户想要查看静态时间段内的视频时仅显示已存储的上述任意一帧图像,从而减少浏览视频的时间,提高浏览效率。而由于动态时间段内相邻帧图像均不相同或者不大致相同,即相邻两帧图像之间存在差异;此时为了保证不错过任何关键信息,故需存储此时间段内的视频。相应的,用户想要查看动态时间段内的视频时则显示已存储的上述时间段内的目标视频,从而避免关键信息被错过,保证视频浏览效率。
具体的,存储目标视频或者帧图像时为根据用户保存策略的不同,可以将数据保存于本地,或者通过wifi上传至云服务器等。存储位置包括但不限于云服务器、本地SD卡存储或者网络附属存储NAS存储,在此不一一举例。
进一步的,本发明的上述实施例中步骤102包括:
步骤1021,设置所述多帧图像中第N帧图像为基准帧图像,并将第N+1帧图像的色值与所述基准帧图像的色值进行比对;
步骤1022,若色值比对结果满足第一预设条件,确定所述第N+1帧的图像属性为静态帧图像,继续将第N+2帧图像的色值与所述基准帧图像的色值进行比对,直至完成所述多帧图像中的最后一帧的图像属性的确定;
步骤1023,若色值对比结果不满足所述第一预设条件,确定所述第N+1帧的图像属性为动态帧图像,并设置所述第N+1帧图像为基准帧图像,继续将第N+2帧图像的色值与所述基准帧图像的色值进行比对,直至完成所述多帧图像中的最后一帧的图像属性的确定,其中,N为大于或者等于1的整数。
例如,N等于1时;视频采集模块以时间为单位,将时间段T1内的视频数据(即目标视频)存储至本地;取T1的起始帧为基准帧,也可以取用户选择的基础场景为基准帧。继而将第2帧图像与基准帧图像进行色值比对,若第2帧图像的色值与基准帧图像的色值之间的色值向量差小于阈值(即色值比对结果满足第一预设条件),则第2帧为非异常帧,即第2帧图像为静态帧图像;若所述第二帧图像的色值与基准帧图像的色值之间的色值向量差大于或者等于所述阈值(即色值比对结果不满足第一预设条件),则第2帧为异常帧,即第2帧图像为动态帧图像。
进一步的,当第2帧为异常帧时,需将第2帧设为基准帧,即设置第2帧图像为基准帧图像,并将第3帧图像与第2帧图像进行色值比对,直到确定最后一帧图像的属性;而当第2帧为非异常帧时,则第1帧仍为基准帧,此时需将第3帧图像与第1帧图像进行色值比对,直到确定最后一帧图像的属性。
具体的,本发明的上述实施例中,步骤1021包括:
将所述基准帧图像和第N+1帧图像分别划分成互不重叠的N个分块;其中,N为大于零的整数;
将第N+1帧图像的每个分块的像素点的色值分别与所述基准帧图像的相同位置的分块的像素点的色值进行比对;
若相同位置的分块中色值不同的像素点的个数占该分块中总像素点的个数的比例小于第一预设值,确定该分块为变更块;否则确定该分块为未变更块;
将第N+1帧图像中相邻的变更块整合为搜索块,并将第N帧图像中与所述搜索块对应的位置设置为参考块;并计算所述搜索块与参考块之间的残差绝对值;
若所述残差绝对值大于第二预设值,确定第N+1帧图像与所述基准帧图像的色值比对结果满足第一预设条件,则所述第N+1帧的图像属性为静态帧图像;否则,确定第N+1帧图像与所述基准帧图像的色值比对结果不满足第一预设条件,则确定所述第N+1帧的图像属性为动态帧图像。
例如,首先设置基准帧为模型帧,第二帧图像为参考帧。如图2所示为帧分块示意图,将模型帧与参考帧进行互补重叠的m×n的均匀分块,每个分块的大小为m×n像素;然后将模型帧与参考帧进行分块比对,若对应位置的每个像素点的色值比对结果小于设定值,则继续进行下一分块的比对;否则比较该两个字块的向量差,若比对结果小于设定值,则判定为静态帧,否则判定为动态帧。
具体的,将两帧图像进行互不重叠的m x n的均匀分块(每块大小为m x n像素);再将两帧图像对应分块的每个像素点的色值进行比对,若相同位置的色值不同像素点的个数与该块总像素点的个数比例小于限定值,则继续比对下一分块;否则,则标记该块为变更块;遍历对比所有的子块并标记变更块的坐标,将相邻变更块整合为一个搜索块,其坐标为(X2,Y2),而参考块的坐标为(0,Y1),如图3所示;将参考帧内各子块进行编号,如1,2,3…;以此计算两帧间的残差值。其中,DBVn表示搜索块与参考块n的残差绝对值,DBV表示当前残差值之和,n表示像素个数,(x,y)表示像素坐标。M1表示第一预制阈值,M2表示第二预制阈值。
优选的,当计算搜索块与参考帧子块1的残差值DBV1时,若DBV1>M1且DBV1<M2,则比对结束,否则,继续从参考块n中选择第二子块计算DBV2,若满足条件,则结束匹配,否则,继续从参考块n中选择剩余的子块计算残差值,并按照上述步骤处理,直到符合预制条件或最后一个子块匹配完毕。若匹配过程异常结束,即子块间DBV大于预设值,并将该帧的动态标记为置1,即该帧为动态帧;同时将该帧作为新的模型帧,继续进行比对,直到两帧间的运动向量数据小于设定值,并将该帧的动态标记为置0,即该帧为静态帧。
其次,遍历各帧的动态标记位,若连续t时间段内均为1,则将该时间段的视频保存,并记录该时间段的起始时间t1及终止时间t2。同时保存t1至t2间的视频,并更新关键时间点三维数组:Ti[i,Ti1,Ti2]。其中,i为视频标记,即第i个视频,Ti1为视频i的起始时间,Ti2为视频i的终止时间。
进一步的,本发明的上述实施例中步骤132包括:
步骤1321,若所述起始时刻所处的时间段的属性为动态时间段,获取与所述动态时间段对应的一帧预览图像并控制获取的所述一帧预览图像显示;
步骤1322,接收用户根据所述预览图像输入的浏览指令,获取从所述起始时刻开始的动态视频并控制获取的所述动态视频播放。
例如,用户在手机端选择预览时,从云端下载时间点数组信息并进行解析。下载静止区间及动态视频区间的预览图。若该时间段内所监控区域无异常情况或无人员走动,用户只消耗一张图片的流量;若该时间段为动态时间段,用户可根据该动态时间段内的预览图像决定是否需要查看,若需要查看则触发浏览指令,继而从云端下载该时间段内的动态视频。
进一步的,为了用户能够简单明了的区分所述静态时间段和所述动态时间段,故所述方法还包括:
步骤14,利用第一标识对属性为静态时间段的目标视频的时间段进行标识;和/或,
步骤15,利用第二标识对属性为动态时间段的目标视频的时间段进行标识。
例如,静态时间段利用灰色显示,而动态时间段利用高亮显示。用户点击灰色区域,可预览该时间段内的静止图片信息;而用户单击高亮区域,可预览该时间段内的视频。
进一步需要说明的是,本发明实施例提供的视频处理方法可以在摄像头捕获视频数据之后,存储之前完成;也可以在用户预览之前完成,即摄像头采集的视频数据全部保存,仅在预览时进行帧比对,给用户提供所选时间段内的视频动态、静态信息,用户可以有针对性的预览及下载。
综上,本发明的第一实施例提供的视频处理方法中,根据用户想要查看的视频的起始时刻所处的时间段的属性来对用户想要查看的视频进行相应处理,具体的,时间段的属性分为静态时间段或者动态时间段,用户查看静态时间段时仅显示一帧图像,而用户查看动态时间段时才播放动态视频;则终端设备获取或者存储目标视频时由于静态时间段仅为一帧图像,减小了目标视频所占的空间;且在保证关键信息不被错过的同时,避免用户花费不必要的时间去查看静态时间段内的视频,减少视频浏览的时间,提高视频浏览的效率。
第二实施例
如图4所示,本发明的第二实施例提供一种视频处理装置,包括:
指令接收模块41,用于接收用户输入的查看指令,所述查看指令中携带一起始时刻;
属性确定模块42,用于确定所述起始时刻所处的时间段的属性;
处理模块43,用于获取与所述时间段的属性对应的目标视频的信息,并对获取的所述目标视频的信息进行处理。
具体的,本发明实施例中所述处理模块包括:
第一处理子模块,用于当所述起始时刻所处的时间段的属性为静态时间段时,获取与所述静态时间段对应的一帧图像,并控制获取的所述一帧图像显示。
具体的,本发明实施例中所述处理模块还包括:
第二处理子模块,用于当所述起始时刻所处的时间段的属性为动态时间段时,获取从所述起始时刻开始的动态视频,并控制获取的所述动态视频播放。
具体的,本发明实施例中所述装置还包括:
确定模块,用于确定目标视频包含的各个时间段的属性;其中,时间段的属性分为静态时间段或者动态时间段。
具体的,本发明实施例中所述确定模块包括:
取样子模块,用于对目标视频进行取样得到目标视频的多帧图像;
属性确定子模块,用于对所述多帧图像进行色值比对,确定每帧的图像属性;其中,所述图像属性分为动态帧图像或者静态帧图像;
动态确定子模块,用于若连续M帧的图像属性为动态帧图像,确定连续M帧图像对应的时间段的属性为动态时间段;其中,M为大于3的整数;
静态确定子模块,用于若所述目标视频还包括其他时间段,确定所述目标视频的其他时间段的属性为静态时间段。
具体的,本发明实施例中所述属性确定子模块包括:
色值比对单元,用于设置所述多帧图像中第N帧图像为基准帧图像,并将第N+1帧图像的色值与所述基准帧图像的色值进行比对;
第一确定单元,用于若色值比对结果满足第一预设条件,确定所述第N+1帧的图像属性为静态帧图像,继续将第N+2帧图像的色值与所述基准帧图像的色值进行比对,直至完成所述多帧图像中的最后一帧的图像属性的确定;
第二确定单元,用于若色值对比结果不满足所述第一预设条件,确定所述第N+1帧的图像属性为动态帧图像,并设置所述第N+1帧图像为基准帧图像,继续将第N+2帧图像的色值与所述基准帧图像的色值进行比对,直至完成所述多帧图像中的最后一帧的图像属性的确定,其中,N为大于或者等于1的整数。
具体的,本发明实施例中所述色值比对单元包括:
分块子单元,用于将所述基准帧图像和第N+1帧图像分别划分成互不重叠的N个分块;其中,N为大于零的整数;
第一比对子单元,用于将第N+1帧图像的每个分块的像素点的色值分别与所述基准帧图像的相同位置的分块的像素点的色值进行比对;
确定子单元,用于若相同位置的分块中色值不同的像素点的个数占该分块中总像素点的个数的比例小于第一预设值,确定该分块为变更块;否则确定该分块为未变更块;
计算单元,用于将第N+1帧图像中相邻的变更块整合为搜索块,并将第N帧图像中与所述搜索块对应的位置设置为参考块;并计算所述搜索块与参考块之间的残差绝对值;
第二比对子单元,用于若所述残差绝对值大于第二预设值,确定第N+1帧图像与所述基准帧图像的色值比对结果满足第一预设条件,则所述第N+1帧的图像属性为静态帧图像;否则,确定第N+1帧图像与所述基准帧图像的色值比对结果不满足第一预设条件,则确定所述第N+1帧的图像属性为动态帧图像。
具体的,本发明实施例中所述第二处理子模块包括:
预览单元,用于若所述起始时刻所处的时间段的属性为动态时间段,获取与所述动态时间段对应的一帧预览图像并控制获取的所述一帧预览图像显示;
播放单元,用于接收用户根据所述预览图像输入的浏览指令,获取从所述起始时刻开始的动态视频并控制获取的所述动态视频播放。
具体的,本发明实施例中所述装置还包括:
第一标识模块,用于利用第一标识对属性为静态时间段的目标视频的时间段进行标识;和/或,
第二标识模块,用于利用第二标识对属性为动态时间段的目标视频的时间段进行标识。
综上,本发明的第二实施例提供的视频处理装置中据用户想要查看的视频的起始时刻所处的时间段的属性来对用户想要查看的视频进行相应处理,具体的,时间段的属性分为静态时间段或者动态时间段,用户查看静态时间段时仅显示一帧图像,而用户查看动态时间段时才播放动态视频;则终端设备获取或者存储目标视频时由于静态时间段仅为一帧图像,减小了目标视频所占的空间;且在保证关键信息不被错过的同时,避免用户花费不必要的时间去查看静态时间段内的视频,减少视频浏览的时间,提高视频浏览的效率。
需要说明的是,本发明的第二实施例提供的视频处理装置的应用上述第一实施例提供的视频处理方法的处理装置,则上述视频处理方法的所有实施例均适用于该视频处理装置,且均能达到相同或相似的有益效果。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明所述原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (18)

1.一种视频处理方法,其特征在于,包括:
接收用户输入的查看指令,所述查看指令中携带一起始时刻;
确定所述起始时刻所处的时间段的属性;
获取与所述时间段的属性对应的目标视频的信息,并对获取的所述目标视频的信息进行处理。
2.根据权利要求1所述的方法,其特征在于,当所述起始时刻所处的时间段的属性为静态时间段时,所述获取与所述时间段的属性对应的目标视频的信息,并对获取的所述目标视频的信息进行处理的步骤,包括:
获取与所述静态时间段对应的一帧图像,并控制获取的所述一帧图像显示。
3.根据权利要求1所述的方法,其特征在于,当所述起始时刻所处的时间段的属性为动态时间段时,所述获取与所述时间段的属性对应的目标视频的信息,并对获取的所述目标视频的信息进行处理的步骤,包括:
获取从所述起始时刻开始的动态视频,并控制获取的所述动态视频播放。
4.根据权利要求1所述的方法,其特征在于,所述接收用户输入的查看指令之前或者接收用户输入的查看指令之后,所述方法还包括:
确定目标视频包含的各个时间段的属性;其中,时间段的属性分为静态时间段或者动态时间段。
5.根据权利要求4所述的方法,其特征在于,所述确定目标视频包含的各个时间段的属性的步骤,包括:
对目标视频进行取样得到目标视频的多帧图像;
对所述多帧图像进行色值比对,确定每帧的图像属性;其中,所述图像属性分为动态帧图像或者静态帧图像;
若连续M帧的图像属性为动态帧图像,确定连续M帧图像对应的时间段的属性为动态时间段;其中,M为大于3的整数;
若所述目标视频还包括其他时间段,确定所述目标视频的其他时间段的属性为静态时间段。
6.根据权利要求5所述的方法,其特征在于,所述对所述多帧图像进行色值比对,确定每帧的图像属性的步骤,包括:
设置所述多帧图像中第N帧图像为基准帧图像,并将第N+1帧图像的色值与所述基准帧图像的色值进行比对;
若色值比对结果满足第一预设条件,确定所述第N+1帧的图像属性为静态帧图像,继续将第N+2帧图像的色值与所述基准帧图像的色值进行比对,直至完成所述多帧图像中的最后一帧的图像属性的确定;
若色值对比结果不满足所述第一预设条件,确定所述第N+1帧的图像属性为动态帧图像,并设置所述第N+1帧图像为基准帧图像,继续将第N+2帧图像的色值与所述基准帧图像的色值进行比对,直至完成所述多帧图像中的最后一帧的图像属性的确定,其中,N为大于或者等于1的整数。
7.根据权利要求6所述的方法,其特征在于,所述将第N+1帧图像的色值与所述基准帧图像的色值进行比对的步骤,包括:
将所述基准帧图像和第N+1帧图像分别划分成互不重叠的N个分块;其中,N为大于零的整数;
将第N+1帧图像的每个分块的像素点的色值分别与所述基准帧图像的相同位置的分块的像素点的色值进行比对;
若相同位置的分块中色值不同的像素点的个数占该分块中总像素点的个数的比例小于第一预设值,确定该分块为变更块;否则确定该分块为未变更块;
将第N+1帧图像中相邻的变更块整合为搜索块,并将第N帧图像中与所述搜索块对应的位置设置为参考块;并计算所述搜索块与参考块之间的残差绝对值;
若所述残差绝对值大于第二预设值,确定第N+1帧图像与所述基准帧图像的色值比对结果满足第一预设条件,则所述第N+1帧的图像属性为静态帧图像;否则,确定第N+1帧图像与所述基准帧图像的色值比对结果不满足第一预设条件,则确定所述第N+1帧的图像属性为动态帧图像。
8.根据权利要求3所述的方法,其特征在于,所述获取从所述起始时刻开始的动态视频,并控制获取的所述动态视频播放的步骤,包括:
若所述起始时刻所处的时间段的属性为动态时间段,获取与所述动态时间段对应的一帧预览图像并控制获取的所述一帧预览图像显示;
接收用户根据所述预览图像输入的浏览指令,获取从所述起始时刻开始的动态视频并控制获取的所述动态视频播放。
9.根据权利要求4所述的方法,其特征在于,所述确定目标视频包含的各个时间段的属性之后,所述方法还包括:
利用第一标识对属性为静态时间段的目标视频的时间段进行标识;和/或,
利用第二标识对属性为动态时间段的目标视频的时间段进行标识。
10.一种视频处理装置,其特征在于,包括:
指令接收模块,用于接收用户输入的查看指令,所述查看指令中携带一起始时刻;
属性确定模块,用于确定所述起始时刻所处的时间段的属性;
处理模块,用于获取与所述时间段的属性对应的目标视频的信息,并对获取的所述目标视频的信息进行处理。
11.根据权利要求10所述的装置,其特征在于,所述处理模块包括:
第一处理子模块,用于当所述起始时刻所处的时间段的属性为静态时间段时,获取与所述静态时间段对应的一帧图像,并控制获取的所述一帧图像显示。
12.根据权利要求10所述的装置,其特征在于,所述处理模块还包括:
第二处理子模块,用于当所述起始时刻所处的时间段的属性为动态时间段时,获取从所述起始时刻开始的动态视频,并控制获取的所述动态视频播放。
13.根据权利要求10所述的装置,其特征在于,所述装置还包括:
确定模块,用于确定目标视频包含的各个时间段的属性;其中,时间段的属性分为静态时间段或者动态时间段。
14.根据权利要求13所述的装置,其特征在于,所述确定模块包括:
取样子模块,用于对目标视频进行取样得到目标视频的多帧图像;
属性确定子模块,用于对所述多帧图像进行色值比对,确定每帧的图像属性;其中,所述图像属性分为动态帧图像或者静态帧图像;
动态确定子模块,用于若连续M帧的图像属性为动态帧图像,确定连续M帧图像对应的时间段的属性为动态时间段;其中,M为大于3的整数;
静态确定子模块,用于若所述目标视频还包括其他时间段,确定所述目标视频的其他时间段的属性为静态时间段。
15.根据权利要求14所述的装置,其特征在于,所述属性确定子模块包括:
色值比对单元,用于设置所述多帧图像中第N帧图像为基准帧图像,并将第N+1帧图像的色值与所述基准帧图像的色值进行比对;
第一确定单元,用于若色值比对结果满足第一预设条件,确定所述第N+1帧的图像属性为静态帧图像,继续将第N+2帧图像的色值与所述基准帧图像的色值进行比对,直至完成所述多帧图像中的最后一帧的图像属性的确定;
第二确定单元,用于若色值对比结果不满足所述第一预设条件,确定所述第N+1帧的图像属性为动态帧图像,并设置所述第N+1帧图像为基准帧图像,继续将第N+2帧图像的色值与所述基准帧图像的色值进行比对,直至完成所述多帧图像中的最后一帧的图像属性的确定,其中,N为大于或者等于1的整数。
16.根据权利要求15所述的装置,其特征在于,所述色值比对单元包括:
分块子单元,用于将所述基准帧图像和第N+1帧图像分别划分成互不重叠的N个分块;其中,N为大于零的整数;
第一比对子单元,用于将第N+1帧图像的每个分块的像素点的色值分别与所述基准帧图像的相同位置的分块的像素点的色值进行比对;
确定子单元,用于若相同位置的分块中色值不同的像素点的个数占该分块中总像素点的个数的比例小于第一预设值,确定该分块为变更块;否则确定该分块为未变更块;
计算单元,用于将第N+1帧图像中相邻的变更块整合为搜索块,并将第N帧图像中与所述搜索块对应的位置设置为参考块;并计算所述搜索块与参考块之间的残差绝对值;
第二比对子单元,用于若所述残差绝对值大于第二预设值,确定第N+1帧图像与所述基准帧图像的色值比对结果满足第一预设条件,则所述第N+1帧的图像属性为静态帧图像;否则,确定第N+1帧图像与所述基准帧图像的色值比对结果不满足第一预设条件,则确定所述第N+1帧的图像属性为动态帧图像。
17.根据权利要求12所述的装置,其特征在于,所述第二处理子模块包括:
预览单元,用于若所述起始时刻所处的时间段的属性为动态时间段,获取与所述动态时间段对应的一帧预览图像并控制获取的所述一帧预览图像显示;
播放单元,用于接收用户根据所述预览图像输入的浏览指令,获取从所述起始时刻开始的动态视频并控制获取的所述动态视频播放。
18.根据权利要求13所述的装置,其特征在于,所述装置还包括:
第一标识模块,用于利用第一标识对属性为静态时间段的目标视频的时间段进行标识;和/或,
第二标识模块,用于利用第二标识对属性为动态时间段的目标视频的时间段进行标识。
CN201611034680.4A 2016-11-08 2016-11-08 一种视频处理方法及装置 Active CN108062507B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201611034680.4A CN108062507B (zh) 2016-11-08 2016-11-08 一种视频处理方法及装置
PCT/CN2017/109915 WO2018086527A1 (zh) 2016-11-08 2017-11-08 一种视频处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611034680.4A CN108062507B (zh) 2016-11-08 2016-11-08 一种视频处理方法及装置

Publications (2)

Publication Number Publication Date
CN108062507A true CN108062507A (zh) 2018-05-22
CN108062507B CN108062507B (zh) 2024-02-27

Family

ID=62110131

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611034680.4A Active CN108062507B (zh) 2016-11-08 2016-11-08 一种视频处理方法及装置

Country Status (2)

Country Link
CN (1) CN108062507B (zh)
WO (1) WO2018086527A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110662106A (zh) * 2019-09-18 2020-01-07 浙江大华技术股份有限公司 一种录像回放的方法及装置
CN110809166A (zh) * 2019-10-31 2020-02-18 北京字节跳动网络技术有限公司 视频数据处理方法、装置和电子设备
CN111050132A (zh) * 2019-12-17 2020-04-21 浙江大华技术股份有限公司 监控设备的监控预览图生成方法、装置、终端设备及存储装置
CN113129360A (zh) * 2019-12-31 2021-07-16 北京字节跳动网络技术有限公司 视频内对象的定位方法、装置、可读介质及电子设备
CN113535993A (zh) * 2021-07-30 2021-10-22 北京字跳网络技术有限公司 作品封面显示方法、装置、介质和电子设备
CN114374845A (zh) * 2021-12-21 2022-04-19 北京中科智易科技有限公司 自动压缩加密的存储系统和设备
CN115886717A (zh) * 2022-08-18 2023-04-04 上海佰翊医疗科技有限公司 一种眼裂宽度的测量方法、装置和存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112672154A (zh) * 2020-12-15 2021-04-16 上海信联信息发展股份有限公司 直播视频播放方法、装置、服务器和计算机可读存储介质
CN114283356B (zh) * 2021-12-08 2022-11-29 上海韦地科技集团有限公司 一种移动图像的采集分析系统及方法
CN115514985A (zh) * 2022-09-20 2022-12-23 广东省宏视智能科技有限公司 一种视频处理方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101060624A (zh) * 2007-05-08 2007-10-24 杭州华三通信技术有限公司 视频数据的处理方法及存储设备
US20140270692A1 (en) * 2013-03-18 2014-09-18 Nintendo Co., Ltd. Storage medium storing information processing program, information processing device, information processing system, panoramic video display method, and storage medium storing control data
CN104394379A (zh) * 2014-12-05 2015-03-04 北京厚吉科技有限公司 监控录像快速预览系统及快速预览方法
CN104394345A (zh) * 2014-12-10 2015-03-04 马人欢 一种安防监控视频存储与回放方法
CN106027893A (zh) * 2016-05-30 2016-10-12 广东欧珀移动通信有限公司 控制Live Photo生成的方法、装置及电子设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201519649A (zh) * 2013-11-01 2015-05-16 Alpha Networks Inc 網路視訊錄影的快速歷史回放及事件鎖定之方法
CN105025269A (zh) * 2015-07-26 2015-11-04 杜春辉 一种低流量传输图像的方法
CN105227927A (zh) * 2015-10-15 2016-01-06 桂林电子科技大学 一种监控视频数据存储方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101060624A (zh) * 2007-05-08 2007-10-24 杭州华三通信技术有限公司 视频数据的处理方法及存储设备
US20140270692A1 (en) * 2013-03-18 2014-09-18 Nintendo Co., Ltd. Storage medium storing information processing program, information processing device, information processing system, panoramic video display method, and storage medium storing control data
CN104394379A (zh) * 2014-12-05 2015-03-04 北京厚吉科技有限公司 监控录像快速预览系统及快速预览方法
CN104394345A (zh) * 2014-12-10 2015-03-04 马人欢 一种安防监控视频存储与回放方法
CN106027893A (zh) * 2016-05-30 2016-10-12 广东欧珀移动通信有限公司 控制Live Photo生成的方法、装置及电子设备

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110662106A (zh) * 2019-09-18 2020-01-07 浙江大华技术股份有限公司 一种录像回放的方法及装置
CN110662106B (zh) * 2019-09-18 2021-08-27 浙江大华技术股份有限公司 一种录像回放的方法及装置
CN110809166A (zh) * 2019-10-31 2020-02-18 北京字节跳动网络技术有限公司 视频数据处理方法、装置和电子设备
CN110809166B (zh) * 2019-10-31 2022-02-11 北京字节跳动网络技术有限公司 视频数据处理方法、装置和电子设备
CN111050132A (zh) * 2019-12-17 2020-04-21 浙江大华技术股份有限公司 监控设备的监控预览图生成方法、装置、终端设备及存储装置
CN113129360A (zh) * 2019-12-31 2021-07-16 北京字节跳动网络技术有限公司 视频内对象的定位方法、装置、可读介质及电子设备
CN113129360B (zh) * 2019-12-31 2024-03-08 抖音视界有限公司 视频内对象的定位方法、装置、可读介质及电子设备
CN113535993A (zh) * 2021-07-30 2021-10-22 北京字跳网络技术有限公司 作品封面显示方法、装置、介质和电子设备
CN114374845A (zh) * 2021-12-21 2022-04-19 北京中科智易科技有限公司 自动压缩加密的存储系统和设备
CN114374845B (zh) * 2021-12-21 2022-08-02 北京中科智易科技有限公司 自动压缩加密的存储系统和设备
CN115886717A (zh) * 2022-08-18 2023-04-04 上海佰翊医疗科技有限公司 一种眼裂宽度的测量方法、装置和存储介质
CN115886717B (zh) * 2022-08-18 2023-09-29 上海佰翊医疗科技有限公司 一种眼裂宽度的测量方法、装置和存储介质

Also Published As

Publication number Publication date
CN108062507B (zh) 2024-02-27
WO2018086527A1 (zh) 2018-05-17

Similar Documents

Publication Publication Date Title
CN108062507A (zh) 一种视频处理方法及装置
US7860343B2 (en) Constructing image panorama using frame selection
US9143739B2 (en) Video analytics with burst-like transmission of video data
CN103248946B (zh) 一种视频图像快速传输的方法及系统
CN108683852A (zh) 一种视频录制方法、终端及计算机可读存储介质
CN104012106A (zh) 使表示不同视点的视频对准
CN104869381B (zh) 一种图像处理系统、方法及装置
EP1372333A3 (en) Picture transfer between mobile terminal and digital broadcast receiver
CN103716584A (zh) 基于上下文感知的智能移动终端现场监测方法
CN104521227A (zh) 图像处理方法和设备
CN106060550A (zh) 视频编码参数的处理、视频数据的编码方法及装置
CN111629146B (zh) 拍摄参数的调整方法、调整装置、调整设备及存储介质
CN106993163B (zh) 一种基于动态图像检测的视频监控系统
WO2017079679A1 (en) Depth camera based image stabilization
CN113014804A (zh) 图像处理方法、装置、电子设备和可读存储介质
CN109963106B (zh) 一种视频图像处理方法、装置、存储介质及终端
WO2021083150A1 (zh) 变焦方法、装置、飞行器、飞行系统及存储介质
CN110990088B (zh) 数据处理方法及相关设备
EP3731520A1 (en) Method of communicating video from a first electronic device to a second electronic device via a network, and a system having a camera and a mobile electronic device for performing the method
US20200106821A1 (en) Video processing apparatus, video conference system, and video processing method
CN109698932B (zh) 数据传输方法及摄像机、电子设备
JP2007013697A (ja) 画像受信装置及び画像受信方法
CN109698933A (zh) 数据传输方法及摄像机、电子设备
CN105142103A (zh) 一种定位移动终端的方法及装置
CN105472337B (zh) 图像监控方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant