CN114252404B - 一种高光谱卫星下的产品真实性检验系统及方法 - Google Patents
一种高光谱卫星下的产品真实性检验系统及方法 Download PDFInfo
- Publication number
- CN114252404B CN114252404B CN202111617750.XA CN202111617750A CN114252404B CN 114252404 B CN114252404 B CN 114252404B CN 202111617750 A CN202111617750 A CN 202111617750A CN 114252404 B CN114252404 B CN 114252404B
- Authority
- CN
- China
- Prior art keywords
- data
- transmission
- product
- data transmission
- rate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0823—Errors, e.g. transmission errors
- H04L43/0829—Packet loss
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Computer Networks & Wireless Communication (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Environmental & Geological Engineering (AREA)
- Signal Processing (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Arrangements For Transmission Of Measured Signals (AREA)
Abstract
本发明公开了一种高光谱卫星下的产品真实性检验系统及方法,方法包括步骤S100:选择或者上传待检验产品;步骤S200:对传输遥感影像数据生成待检验产品时的各数据传输进程进行数据丢失风险预判;步骤S300:在若干个具备数据丢失风险的数据传输进程中进行目标传输片段锁定;步骤S400:对目标传输片段进行数据传输丢失判断;步骤S500:对待检验产品检查格式,并对待检验产品进行设定需要检验的参数,编辑待检验产品的元数据信息;步骤S600:根据步骤S500查找地表高光谱类对应产品类别的参考真值数据进行真实性检验,生成待检验产品的真实性检验报告。
Description
技术领域
本发明涉及遥感产品数据处理技术领域,具体为一种高光谱卫星下的产品真实性检验系统及方法。
背景技术
遥感技术的发展需要对地物进行更广泛和精确的观测,而高光谱成像仪能得到地物的“唯一身份证明”;地球上不同的元素及其化合物都有独特的光谱特征,是识别和分析不同物体特征的一种重要“身份证”;光谱分辨率越高越连续,所能得到的光谱特征也就越准确。
高光谱卫星是指搭载高光谱类传感器的卫星,该类卫星的主要特点是采用高分辨率成像光谱仪,波段数可十几、数百甚至上千个波段,光谱分辨率为5~10nm,地面分辨率为30~1000m。这类卫星主要用于大气、海洋和陆地探测。光谱分辨率,是指卫星传感器接收目标辐射信号时所能分辨的最小波长间隔,波段划分得越细,光谱的分辨率就越高,遥感影像区分不同地物的能力越强,所以高光谱卫星的光谱分辨率比较高;一般来说,传感器的波段数越多波段宽度越窄,地面物体的信息越容易区分和识别,针对性就越强,得到的产品地物信息也就越丰富和准确;由于高光谱卫星空间分辨率大多在百米以上,虽然光谱分辨率很高,达到纳米级别,但是低空间分辨率加上地物空间广泛分布的空间异质性导致得到的遥感产品观测值“不真、不靠谱”导致用户不敢使用严重阻碍高光谱卫星遥感产品推广和使用。
遥感产品真实性检验是评价遥感产品质量、可靠性和适用性的唯一手段,是提高遥感产品精度、改善遥感产品质量的主要依据,更是推动遥感产品应用范围和应用水平的重要保障。现有技术无高光谱卫星下的产品真实性检验系统及方法,大多是一种经验性校验,即基于现有的第三方桌面软件手动进行粗校验;同时由于在进行数据接收和数据传输生过程中总免不了会出现传输数据丢失的情况,导致待检验产品本身就具备一定的数据缺陷,且后续对产品进行真实性检验的意义也就没有这么大了。
发明内容
本发明的目的在于提供一种高光谱卫星下的产品真实性检验系统及方法,以解决上述背景技术中提出的问题。
为了解决上述技术问题,本发明提供如下技术方案:一种高光谱卫星下的产品真实性检验方法,检验方法包括:
步骤S100:选择或者上传待检验产品,待检验产品的来源包括:用户上传、平台共享、历史上传;
步骤S200:对传输遥感影像数据生成待检验产品时的各数据传输进程进行数据丢失风险预判,得到若干个具备数据丢失风险的数据传输进程;
步骤S300:在若干个具备数据丢失风险的数据传输进程中进行目标传输片段锁定,目标传输片段是指在具备数据丢失风险的数据传输进程中发生数据传输丢失的预估传输片段;
步骤S400:对目标传输片段进行数据传输丢失判断;当判断发生了数据传输丢失的数据传输进程数量大于系统设定的进程数量阈值时,系统发出提醒,停止将待检验产品进行操作步骤S500;将判断发生了数据传输丢失的数据传输进程数量小于系统设定的进程数量阈值时,将待检验产品转操作步骤S500;
步骤S500:对待检验产品检查格式,并对待检验产品进行设定需要检验的参数,编辑待检验产品的元数据信息;
步骤S600:根据步骤S500查找地表高光谱类对应产品类别的参考真值数据进行真实性检验,生成待检验产品的真实性检验报告。
进一步的,当待检验产品的来源为用户上传时,支持包括但不限于zip格式、7z格式、war格式的压缩包格式,内部需要包含tif格式;上传当前检验系统平台共享的待检验产品,则需要根据补充条件获取系统平台共享的待检验产品;补充条件包括产品级别、产品空间分辨率、产品时间范围、产品区域范围。
进一步的,步骤S500中的参数包括:待检验产品所示卫星、待检验产品载荷、待检验产品类别、待检验产品的检验方式、像元级数据处理方法、尺度转换方法、参考真值抽样方法、真实性检验指标;其中,将待检验产品的检验方式、待检验产品所示卫星、待检验产品载荷、待检验产品类别作为基础参数;将像元级数据处理方法、尺度转换方法、参考真值抽样方法、真实性检验指标作为高级参数。
进一步的,步骤S500包括:
步骤S501:读取待检验产品元数据,元数据包括待检验产品成像范围、待检验产品坐标系统、待检验产品空间分辨率;并将元数据结合设定的需要检验的参数构成新元数据;
步骤S502:编辑新元数据信息,可编辑项包括待检验产品产品级别、待检验产品空间分辨率、待检验产品成像时间、云量、作物类型;编辑完善后将新元数据信息进行递交系统。
进一步的,在步骤S500时包括对待检验产品设定检验方式,设定检验方式需要满足如下:
若查找的地表高光谱类对应产品类别的参考真值数据是样本点数据集的数据,选用直接检验方式;样本点数据集是指集内数据满足位于待检验产品的成像范围内、数据样本点分布均匀、数据时间位于设定选取时限内、空间分辨率大于设定分辨率阈值的数据集;
若查找的地表高光谱类对应产品类别的参考真值数据是参考影像数据,选用间接检验方式了;参考影像数据是指满足云量小于设定云量阈值、数据时间位于设定时间区间内、空间分辨率大于设定分辨率阈值的数据;
参考真值不同产品选取数据时间位于设定选取时限的时限标准也不同。
进一步的,在步骤S200中对传输遥感影像数据生成待检验产品时的各数据传输进程进行数据丢失风险预判的过程包括:
步骤S201:对完成数据传输生成待检验产品时数据传输通道内的数据传输进程信息进行提取,记数据传输进程的进程数为n,n≧2;分别获取若干个数据传输进程的传输开始时间若干个数据传输进程的传输结束时间对若干个数据传输进程对应的数据接收端的数据接收信息进行提取,分别获取相应接收端对对应数据传输进程中的传输数据的开始接收时间相应接收端对对应数据传输进程中的传输数据的截止接收时间其中,i表示第i个数据传输进程;
步骤S202:根据传输开始时间传输结束时间得到每个数据传输进程完成数据传输任务的时间根据传输结束时间和开始接收时间分别得到若干个数据传输进程的接收缓冲期根据若干个数据传输进程的接收缓冲期计算得到若干个数据传输进程的平均接收缓冲期为分别在若干个数据传输进程中进行两两数据传输进程之间的传输开始时间的差值计算、两两数据传输进程之间的传输结束时间的差值计算;并分别将得到的差值结果作为第一开始间隔时间和第一截止间隔时间;设置间隔时间阈值;
本申请分别在若干个数据传输进程中进行两两数据传输进程之间的传输开始时间的差值计算、两两数据传输进程之间的传输结束时间的差值计算基于当两个数据传输进程抓之间的传输开始时间的差值小,意味着在这个时间段,数据传输是属于并发传输的状态,而且两两数据传输进程之间的传输结束时间之间的差值小,也意味着在传输阶段,两个数据传输进程之间的数据传输任务是相近的;而这时候因为数据传输进程的数量并非是单个,所以这些数据传输进程在处于并发传输状态时发生传输数据丢失的概率也是比较大的;上述步骤有利于实现对传输数据丢失情况的实时监测,并且这种检测方式因为是在时间维度上对传输数据进程进行捕捉的,所以监测具有实时性,比较敏感;
步骤S203:当存在两个数据传输进程之间的第一开始间隔时间和第一截止间隔时间均小于间隔时间阈值时,将两个数据传输进程视为具备数据丢失风险的数据传输进程;当存在两个数据传输进程之间的开始间隔时间满足小于间隔时间阈值,但两个数据传输进程之间的截止间隔时间大于或者等于间隔时间阈值时,分别对两个数据传输进程之间的开始接收时间进行差值计算得到第二开始间隔时间;当第二开始间隔时间小于间隔时间阈值,且在两个数据传输进程之间有一个数据传输进程的接收缓冲期满足时,将两个数据传输进程作为具备数据丢失风险的数据传输进程;
上述步骤考虑的是两个数据传输进程在传输开始时间的差值小但是传输结束时间之间的差值大,意味着这两个数据传输进程在传输阶段,两个数据传输进程在数据传输开始时间上是相近的;接收端对两个数据传输进程的开始接收时间进行差值计算,则考虑的是在传输阶段,接收端对两个数据传输进程的开始接收时间是相近的;这时候因为接收端在短时间差内同时接收的数据传输进程的数量并非是单个,所以接收端对这些数据传输进程在处于并发接收状态时发生传输数据丢失的概率也是比较大的;且在这步骤中引入接收缓冲期以及平均接收缓冲期,是对数据从传输阶段到接收阶段之间的转变期进行异常排查,而异常排查的出发点就是当两个数据传输进程之间的数据传输开始时间相近,传输结束时间相差远时意味着这两条数据传输进程的数据传输任务是不相近的;但是在接收端却在短时间差内开始对这两条数据传输进程进行数据接收,而两个数据传输进程中的一个数据传输进程的接收缓冲期小于平均接收缓冲期则意味着存在数据传输进程可能出现了传输速率不稳定不正常的现象;上述步骤在得到具备数据丢失风险的数据传输进程的判断结果时,是对两两数据传输进程之间进行判断,在判断的过程中实现了全面监测,提高了对发生数据丢失风险的感知性和效率。
进一步的,在步骤S300中对若干个具备数据丢失风险的数据传输进程进行目标传输片段锁定的过程包括:
步骤S301:分别获取具备数据丢失风险的数据传输进程中每一秒传输时刻的传输速率vi得到满足时间长度的若干个连续传输速率值;对连续保持相同传输速率的传输片段进行截取得到若干个同速率片段,同速率片段内的传输时刻大于或等于2;将每一个同速率片段中的传输速率作为一种传输速率;对连续保持相同传输速率的传输片段进行截取得到若干个同速率片段,同速率片段内的传输时刻大于或等于2;将每一个同速率片段中的传输速率作为一种传输速率;记在若干个同速率片段中传输速率为a的同速率片段占幅为其中,ax表示传输速率为a的同速率片段内的传输时刻数量;m表示具备数据丢失风险的数据传输进程中含有的传输时刻数量;
步骤S302:在若干个同速率片段中对出现占幅小于系统占幅阈值的同速率片段进行位置锁定,当锁定得到的两个位置之间不存在有占幅大于或等于系统占幅阈值的同速率片段,将两个位置同中间的速率片段一起合并生成不等速率片段;并对不等速率片段内的各传输速率求取速率平均值,将速率平均值作为不等速率片段的传输速率;
步骤S303:根据步骤S210-步骤S220将每一个具备数据丢失风险的数据传输进程分解为若干个传输片段;传输片段包括同速率片段、不等速率片段;各传输片段之间的传输速率偏差为其中表示第x个片段的末端时刻传输速率,表示第x+1个片段的首端时刻传输速率;若传输片段为不等速率片段,将不等速率片段的速率平均值作为首端时刻传输速率或者末端时刻传输速率;当大于系统速率偏差阈值时,比较第x个片段和第x+1个片段内传输时刻的数量,传输时刻的数量以秒为单位进行计算;将传输时刻的数量小的传输片段作为目标传输片段;
上述对若干个具备数据丢失风险的数据传输进程进行目标传输片段锁定的过程相当于是对这些具备数据丢失风险的数据传输进程基于传输速率进行进一步的数据丢失风险排查;而在这个排查过程中是对一些发生传输速率突变的节点进行捕捉,在本申请中默认将发生传输速率变化大的传输时刻作为发生数据传输异常的时刻;
并且在本申请中将同速率片段或者不等速率片段内的传输时刻数量作为对应传输速率是稳定还是不稳定的参考数据;如果一种传输速率在整个数据传输进程中出现的占幅比小意味着它极有可能是突发的不具备稳定性的,则判定在对应传输数据片段内容易发生传输数据丢失的情况;如果一种传输速率在整个数据传输进程中出现的占幅比大意味着它极有可能是因为受了一些规律性因素影响产生了正常速率改变,判定这种传输速率具备稳定性,这种正常的速率改变引发传输数据丢失的概率小;通过上述步骤是为了提高对传输数据丢失风险的判断过程中的机动性,同时提高最终得到的判断结果的精确性。
进一步的,在步骤S400中对目标传输片段进行数据传输丢失判断的过程包括:
步骤S401:将历史记录中,传输遥感影像数据生成待检验产品时未因数据传输丢失造成产品真实性检验失真的各数据传输进程信息作为标准数据传输进程;并将标准数据传输进程根据步骤S301-步骤S302进行数据传输进程的分解得到若干个标准数据传输片段;
步骤S402:在若干个标准数据传输片段中找寻与目标传输片段含有相同数量传输时刻且传输速率也相等的标准数据传输片段作为校准片段;当第i个数据传输进程内第y个目标传输片段的数据传输数量小于校准片段的数据传输数量时,认定含有目标传输片段的具备数据丢失风险的数据传输进程发生了数据传输丢失;其中,D表示校准片段与目标传输片段内相同的传输时刻数量,表示第i个数据传输进程内第y个目标传输片段的传输速率;
上述步骤是通过引入历史数据作为对比数据,将出现数据传输异常的片段通过对比得到最终确切的丢失判断结果,提高判断的准确性以及数据科学性。
为更好的实现上述方法还提出了一种高光谱卫星下的产品真实性检验系统,系统包括:数据丢失风险预判模块、目标传输片段分析模块、数据传输丢失判断模块、产品信息编辑模块、产品真实性检验模块;
数据丢失风险预判模块,用于对传输遥感影像数据生成待检验产品时的各数据传输进程进行数据丢失风险预判;
目标传输片段分析模块,用于接收数据丢失风险预判模块中的数据,进行目标传输片段锁定,目标传输片段是指在数据丢失风险预判模块中得到的具备数据丢失风险的数据传输进程中发生数据传输丢失的预估传输片段;
数据传输丢失判断模块,用于接收目标传输片段分析模块中的数据,对目标传输片段进行数据传输丢失判断得到数据丢失判断结果;
产品信息编辑模块,用于接收数据传输丢失判断模块中的数据丢失判断结果,基于数据丢失判断结果找寻符合条件的待检验产品,对待检验产品进行检测参数的设定和元数据信息的编辑;
产品真实性检验模块,用于接收产品信息编辑模块中的数据,对待检验产品进行真实性检验;
与现有技术相比,本发明所达到的有益效果是:本发明补充了高光谱卫星遥感产品真实性检验系统的这一空白;相比已现有人工纯手动单个操作而言,能够实现流程化、批量操作提高高光谱类遥感产品的真实性检验效率,降低高光谱类遥感产品的真实性检验人工成本;且本发明在对待检验产品进行真实性检验之前增加了一个对数据传输生成待检验产品时数据传输丢失情况进行判断的步骤,从而将其作为在进行产品真实性检验前的一道过滤步骤,增强检验工序的科学性,提高检验效率,使得最终得到的产品真实性检验结果更具有含义。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1是本发明一种高光谱卫星下的产品真实性检验方法的流程示意图;
图2是本发明一种高光谱卫星下的产品真实性检验系统的结构示意图;
图3是本发明一种高光谱卫星下的产品真实性检验方法的实施例一;
图4是本发明一种高光谱卫星下的产品真实性检验方法的实施例二;
图5是本发明一种高光谱卫星下的产品真实性检验方法的实施例三。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1-图5,本发明提供技术方案:一种高光谱卫星下的产品真实性检验方法,检验方法包括:
步骤S100:选择或者上传待检验产品,待检验产品的来源包括:用户上传、平台共享、历史上传;其中,当待检验产品的来源为用户上传时,支持包括但不限于zip格式、7z格式、war格式的压缩包格式,内部需要包含tif格式;上传当前检验系统平台共享的待检验产品,则需要根据补充条件获取系统平台共享的待检验产品;补充条件包括产品级别、产品空间分辨率、产品时间范围、产品区域范围;
步骤S200:对传输遥感影像数据生成待检验产品时的各数据传输进程进行数据丢失风险预判,得到若干个具备数据丢失风险的数据传输进程;
其中,对传输遥感影像数据生成待检验产品时的各数据传输进程进行数据丢失风险预判的过程包括:
步骤S201:对完成数据传输生成待检验产品时数据传输通道内的数据传输进程信息进行提取,记数据传输进程的进程数为n,n≧2;分别获取若干个数据传输进程的传输开始时间若干个数据传输进程的传输结束时间对若干个数据传输进程对应的数据接收端的数据接收信息进行提取,分别获取相应接收端对对应数据传输进程中的传输数据的开始接收时间相应接收端对对应数据传输进程中的传输数据的截止接收时间其中,i表示第i个数据传输进程;
步骤S202:根据传输开始时间传输结束时间得到每个数据传输进程完成数据传输任务的时间根据传输结束时间和开始接收时间分别得到若干个数据传输进程的接收缓冲期根据若干个数据传输进程的接收缓冲期计算得到若干个数据传输进程的平均接收缓冲期为分别在若干个数据传输进程中进行两两数据传输进程之间的传输开始时间的差值计算、两两数据传输进程之间的传输结束时间的差值计算;并分别将得到的差值结果作为第一开始间隔时间和第一截止间隔时间;设置间隔时间阈值;
例如说,一个数据传输进程的传输开始时间为00:30,传输结束时间为00:45,相应接收端对该数据传输进程中的传输数据的开始接收时间为00:45.06;该数据传输进程的完成数据传输任务的时间为(00:45)-(00:30)=00:15;接收缓冲期为(00:45.06)-(00:45)=00:00.06;单位为分钟;
步骤S203:当存在两个数据传输进程之间的第一开始间隔时间和第一截止间隔时间均小于间隔时间阈值时,将两个数据传输进程视为具备数据丢失风险的数据传输进程;当存在两个数据传输进程之间的开始间隔时间满足小于间隔时间阈值,但两个数据传输进程之间的截止间隔时间大于或者等于间隔时间阈值时,分别对两个数据传输进程之间的开始接收时间进行差值计算得到第二开始间隔时间;当第二开始间隔时间小于间隔时间阈值,且在两个数据传输进程之间有一个数据传输进程的接收缓冲期满足时,将两个数据传输进程作为具备数据丢失风险的数据传输进程;
步骤S300:在若干个具备数据丢失风险的数据传输进程中进行目标传输片段锁定,目标传输片段是指在具备数据丢失风险的数据传输进程中发生数据传输丢失的预估传输片段;
其中,对若干个具备数据丢失风险的数据传输进程进行目标传输片段锁定的过程包括:
步骤S301:分别获取具备数据丢失风险的数据传输进程中每一秒传输时刻的传输速率vi得到满足时间长度的若干个连续传输速率值;例如说该数据传输进程的完成数据传输任务的时间为(00:45)-(00:30)=00:15,单位为分钟,则时间长度为15分钟,以秒为单位对传输速率值进行统计得到60×15=900个传输速率值;
对连续保持相同传输速率的传输片段进行截取得到若干个同速率片段,同速率片段内的传输时刻大于或等于2;将每一个同速率片段中的传输速率作为一种传输速率;记在若干个同速率片段中传输速率为a的同速率片段占幅为其中,ax表示传输速率为a的同速率片段内的传输时刻数量;m表示具备数据丢失风险的数据传输进程中含有的传输时刻数量;
步骤S302:在若干个同速率片段中对出现占幅小于系统占幅阈值的同速率片段进行位置锁定,当锁定得到的两个位置之间不存在有占幅大于或等于系统占幅阈值的同速率片段,将两个位置同中间的速率片段一起合并生成不等速率片段;并对不等速率片段内的各传输速率求取速率平均值,将速率平均值作为不等速率片段的传输速率;
例如说一同速率片段内的传输速率值都为5mb/s,且传输速率值都为5mb/s的同速率片段的占幅少于系统占幅阈值,另一个同速率片段内的传输速率值都为7mb/s,且传输速率值都为7mb/s的同速率片段的占幅少于系统占幅阈值;对此时传输速率值都为7mb/s和传输速率值都为5mb/s的同速率片段进行位置锁定,且该两个片段中间有传输速率为4mb/s、6mb/s的传输速率;此时将传输速率值都为7mb/s和传输速率值都为5mb/s的同速率片段同传输速率为4mb/s、6mb/s的速率片段一起合并生成不等速率片段,将不等速率片段的平均传输速率(7+5+4+6)/4=5.4mb/s作为该不等速率片段的传输速率;
步骤S303:根据步骤S210-步骤S220将每一个具备数据丢失风险的数据传输进程分解为若干个传输片段;传输片段包括同速率片段、不等速率片段;各传输片段之间的传输速率偏差为其中表示第x个片段的末端时刻传输速率,表示第x+1个片段的首端时刻传输速率;若传输片段为不等速率片段,将不等速率片段的速率平均值作为首端时刻传输速率或者末端时刻传输速率;当大于系统速率偏差阈值时,比较第x个片段和第x+1个片段内传输时刻的数量,传输时刻的数量以秒为单位进行计算;将传输时刻的数量小的传输片段作为目标传输片段;
例如说,一个同速率片段或者不等速率片段的末端时刻传输速率与另一个同速率片段或者不等速率片段的首端时刻传输速率大于系统速率偏差阈值,比较第x个片段和第x+1个片段内传输时刻的数量;
步骤S400:对目标传输片段进行数据传输丢失判断;当判断发生了数据传输丢失的数据传输进程数量大于系统设定的进程数量阈值时,系统发出提醒,停止将待检验产品进行操作步骤S500;将判断发生了数据传输丢失的数据传输进程数量小于系统设定的进程数量阈值时,将待检验产品转操作步骤S500;
其中,对目标传输片段进行数据传输丢失判断的过程包括:
步骤S401:将历史记录中,传输遥感影像数据生成待检验产品时未因数据传输丢失造成产品真实性检验失真的各数据传输进程信息作为标准数据传输进程;并将标准数据传输进程根据步骤S301-步骤S302进行数据传输进程的分解得到若干个标准数据传输片段;
步骤S402:在若干个标准数据传输片段中找寻与目标传输片段含有相同数量传输时刻且传输速率也相等的标准数据传输片段作为校准片段;当第i个数据传输进程内第y个目标传输片段的数据传输数量小于校准片段的数据传输数量时,认定含有目标传输片段的具备数据丢失风险的数据传输进程发生了数据传输丢失;其中,D表示校准片段与目标传输片段内相同的传输时刻数量,表示第i个数据传输进程内第y个目标传输片段的传输速率;
步骤S500:对待检验产品检查格式,并对待检验产品进行设定需要检验的参数,编辑待检验产品的元数据信息;其中,参数包括:待检验产品所示卫星、待检验产品载荷、待检验产品类别、待检验产品的检验方式、像元级数据处理方法、尺度转换方法、参考真值抽样方法、真实性检验指标;其中,将待检验产品的检验方式、待检验产品所示卫星、待检验产品载荷、待检验产品类别作为基础参数;将像元级数据处理方法、尺度转换方法、参考真值抽样方法、真实性检验指标作为高级参数,如图3所示;
其中,步骤S500包括:
步骤S501:读取待检验产品元数据,元数据包括待检验产品成像范围、待检验产品坐标系统、待检验产品空间分辨率;并将元数据结合设定的需要检验的参数构成新元数据;
步骤S502:编辑新元数据信息,可编辑项包括待检验产品产品级别、待检验产品空间分辨率、待检验产品成像时间、云量、作物类型;编辑完善后将新元数据信息进行递交系统;
其中,在步骤S500时包括对待检验产品设定检验方式,设定检验方式需要满足如下:
若查找的地表高光谱类对应产品类别的参考真值数据是样本点数据集的数据,选用直接检验方式;样本点数据集是指集内数据满足位于待检验产品的成像范围内、数据样本点分布均匀、数据时间位于设定选取时限内、空间分辨率大于设定分辨率阈值的数据集;
若查找的地表高光谱类对应产品类别的参考真值数据是参考影像数据,选用间接检验方式了;参考影像数据是指满足云量小于设定云量阈值、数据时间位于设定时间区间内、空间分辨率大于设定分辨率阈值的数据;
参考真值不同产品选取数据时间位于设定选取时限的时限标准也不同,如图4所示;将待检验产品真实性检验的检验流程划分三类,且每类别中对应的具体产品如图5所示;
步骤S600:根据步骤S500查找地表高光谱类对应产品类别的参考真值数据进行真实性检验,生成待检验产品的真实性检验报告;
为更好的实现上述方法还提出了一种高光谱卫星下的产品真实性检验系统,系统包括:数据丢失风险预判模块、目标传输片段分析模块、数据传输丢失判断模块、产品信息编辑模块、产品真实性检验模块;
数据丢失风险预判模块,用于对传输遥感影像数据生成待检验产品时的各数据传输进程进行数据丢失风险预判;
目标传输片段分析模块,用于接收数据丢失风险预判模块中的数据,进行目标传输片段锁定,目标传输片段是指在数据丢失风险预判模块中得到的具备数据丢失风险的数据传输进程中发生数据传输丢失的预估传输片段;
数据传输丢失判断模块,用于接收目标传输片段分析模块中的数据,对目标传输片段进行数据传输丢失判断得到数据丢失判断结果;
产品信息编辑模块,用于接收数据传输丢失判断模块中的数据丢失判断结果,基于数据丢失判断结果找寻符合条件的待检验产品,对待检验产品进行检测参数的设定和元数据信息的编辑;
产品真实性检验模块,用于接收产品信息编辑模块中的数据,对待检验产品进行真实性检验。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。
最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (6)
1.一种高光谱卫星下的产品真实性检验方法,其特征在于,所述检验方法包括:
步骤S100:选择或者上传待检验产品,所述待检验产品的来源包括:用户上传、平台共享、历史上传;
步骤S200:对传输遥感影像数据生成所述待检验产品时的各数据传输进程进行数据丢失风险预判,得到若干个具备数据丢失风险的数据传输进程;
在所述步骤S200中对传输遥感影像数据生成所述待检验产品时的各数据传输进程进行数据丢失风险预判的过程包括:
步骤S201:对完成数据传输生成所述待检验产品时数据传输通道内的数据传输进程信息进行提取,记所述数据传输进程的进程数为n,n≧2;分别获取若干个数据传输进程的传输开始时间若干个数据传输进程的传输结束时间对所述若干个数据传输进程对应的数据接收端的数据接收信息进行提取,分别获取相应接收端对应数据传输进程中的传输数据的开始接收时间相应接收端对应数据传输进程中的传输数据的截止接收时间其中,i表示第i个数据传输进程;
步骤S202:根据所述传输开始时间传输结束时间得到每个数据传输进程完成数据传输任务的时间根据所述传输结束时间和所述开始接收时间分别得到若干个数据传输进程的接收缓冲期根据所述若干个数据传输进程的接收缓冲期计算得到所述若干个数据传输进程的平均接收缓冲期为分别在所述若干个数据传输进程中进行两两数据传输进程之间的所述传输开始时间的差值计算、两两数据传输进程之间的所述传输结束时间的差值计算;并分别将得到的差值结果作为第一开始间隔时间和第一截止间隔时间;设置间隔时间阈值;
步骤S203:当存在两个数据传输进程之间的所述第一开始间隔时间和第一截止间隔时间均小于所述间隔时间阈值时,将所述两个数据传输进程视为具备数据丢失风险的数据传输进程;当存在两个数据传输进程之间的所述开始间隔时间满足小于所述间隔时间阈值,但所述两个数据传输进程之间的所述截止间隔时间大于或者等于所述间隔时间阈值时,分别对所述两个数据传输进程之间的开始接收时间进行差值计算得到第二开始间隔时间;当所述第二开始间隔时间小于所述间隔时间阈值,且在所述两个数据传输进程之间有一个数据传输进程的接收缓冲期满足时,将所述两个数据传输进程作为具备数据丢失风险的数据传输进程;
步骤S300:在所述若干个具备数据丢失风险的数据传输进程中进行目标传输片段锁定,所述目标传输片段是指在所述具备数据丢失风险的数据传输进程中发生数据传输丢失的预估传输片段;
在所述步骤S300中对若干个具备数据丢失风险的数据传输进程进行目标传输片段锁定的过程包括:
步骤S301:分别获取具备数据丢失风险的数据传输进程中每一秒传输时刻的传输速率vi得到满足时间长度的若干个连续传输速率值;对连续保持相同传输速率的传输片段进行截取得到若干个同速率片段,所述同速率片段内的传输时刻大于或等于2;将每一个同速率片段中的传输速率作为一种传输速率;记在所述若干个同速率片段中传输速率为a的同速率片段占幅为其中,ax表示传输速率为a的同速率片段内的传输时刻数量;m表示具备数据丢失风险的数据传输进程中含有的传输时刻数量;
步骤S302:在所述若干个同速率片段中对出现占幅小于系统占幅阈值的同速率片段进行位置锁定,当锁定得到的两个位置之间不存在有占幅大于或等于系统占幅阈值的同速率片段,将所述两个位置同中间的速率片段一起合并生成不等速率片段;并对所述不等速率片段内的各传输速率求取速率平均值,将所述速率平均值作为所述不等速率片段的传输速率;
步骤S303:根据步骤S201-步骤S202将每一个具备数据丢失风险的数据传输进程分解为若干个传输片段;所述传输片段包括同速率片段、不等速率片段;各所述传输片段之间的传输速率偏差为其中表示第x个片段的末端时刻传输速率,表示第x+1个片段的首端时刻传输速率;若传输片段为不等速率片段,将所述不等速率片段的速率平均值作为首端时刻传输速率或者末端时刻传输速率;当大于系统速率偏差阈
值时,比较第x个片段和第x+1个片段内传输时刻的数量,所述传输时刻的数量以秒为单位进行计算;将传输时刻的数量小的传输片段作为目标传输片段;
步骤S400:对所述目标传输片段进行数据传输丢失判断;当判断发生了数据传输丢失的数据传输进程数量大于系统设定的进程数量阈值时,系统发出提醒,停止将所述待检验产品进行操作步骤S500;将判断发生了数据传输丢失的数据传输进程数量小于系统设定的进程数量阈值时,将所述待检验产品转操作步骤S500;
在所述步骤S400中对目标传输片段进行数据传输丢失判断的过程包括:
步骤S401:将历史记录中,传输遥感影像数据生成待检验产品时未因数据传输丢失造成产品真实性检验失真的各数据传输进程信息作为标准数据传输进程;并将所述标准数据传输进程根据步骤S301-步骤S302进行数据传输进程的分解得到若干个标准数据传输片段;
步骤S402:在所述若干个标准数据传输片段中找寻与所述目标传输片段含有相同数量传输时刻且传输速率也相等的标准数据传输片段作为校准片段;当第i个数据传输进程内第y个所述目标传输片段的数据传输数量小于所述校准片段的数据传输数量时,认定含有所述目标传输片段的具备数据丢失风险的数据传输进程发生了数据传输丢失;其中,D表示所述校准片段与所述目标传输片段内相同的传输时刻数量,表示第i个数据传输进程内第y个所述目标传输片段的传输速率;
步骤S500:对所述待检验产品检查格式,对所述待检验产品进行设定需要检验的参数,编辑所述待检验产品的元数据信息;
步骤S600:根据所述步骤S500查找地表高光谱类对应产品类别的参考真值数据进行真实性检验,生成所述待检验产品的真实性检验报告。
2.根据权利要求1所述的一种高光谱卫星下的产品真实性检验方法,其特征在于,当所述待检验产品的来源为用户上传时,支持包括但不限于zip格式、7z格式、war格式的压缩包格式,内部需要包含tif格式;上传当前检验系统平台共享的待检验产品,则需要根据补充条件获取系统平台共享的待检验产品;所述补充条件包括产品级别、产品空间分辨率、产品时间范围、产品区域范围。
3.根据权利要求1所述一种高光谱卫星下的产品真实性检验方法,其特征在于,所述步骤S500中的所述参数包括:待检验产品所示卫星、待检验产品载荷、待检验产品类别、待检验产品的检验方式、像元级数据处理方法、尺度转换方法、参考真值抽样方法、真实性检验指标;其中,将待检验产品的检验方式、待检验产品所示卫星、待检验产品载荷、待检验产品类别作为基础参数;将像元级数据处理方法、尺度转换方法、参考真值抽样方法、真实性检验指标作为高级参数。
4.根据权利要求1所述的一种高光谱卫星下的产品真实性检验方法,其特征在于,所述步骤S500对待检验产品的元数据信息进行编辑的过程包括:
步骤S501:读取所述待检验产品元数据,所述元数据包括待检验产品成像范围、待检验产品坐标系统、待检验产品空间分辨率;并将所述元数据结合设定的需要检验的所述参数构成新元数据信息;
步骤S502:编辑所述新元数据信息,可编辑项包括待检验产品级别、待检验产品空间分辨率、待检验产品成像时间、云量、作物类型;编辑完善后将所述新元数据信息进行递交系统。
5.根据权利要求1所述的一种高光谱卫星下的产品真实性检验方法,其特征在于,在所述步骤S500时包括对待检验产品设定检验方式,设定检验方式需要满足如下:
若查找的地表高光谱类对应产品类别的参考真值数据是样本点数据集的数据,选用直接检验方式;所述样本点数据集是指集内数据满足位于待检验产品的成像范围内、数据样本点分布均匀、数据时间位于设定选取时限内、空间分辨率大于设定分辨率阈值的数据集;
若查找的地表高光谱类对应产品类别的参考真值数据是参考影像数据,选用间接检验方式了;所述参考影像数据是指满足云量小于设定云量阈值、数据时间位于设定时间区间内、空间分辨率大于设定分辨率阈值的数据;
参考真值不同产品选取数据时间位于设定选取时限的时限标准也不同。
6.一种实现 权利要求1-5中任一项所述的 高光谱卫星下的产品真实性检验方法的系统,其特征在于,所述系统包括:数据丢失风险预判模块、目标传输片段分析模块、数据传输丢失判断模块、产品信息编辑模块、产品真实性检验模块;
所述数据丢失风险预判模块,用于对传输遥感影像数据生成待检验产品时的各数据传输进程进行数据丢失风险预判;
所述目标传输片段分析模块,用于接收所述数据丢失风险预判模块中的数据,进行目标传输片段锁定,所述目标传输片段是指在所述数据丢失风险预判模块中得到的具备数据丢失风险的数据传输进程中发生数据传输丢失的预估传输片段;
所述数据传输丢失判断模块,用于接收所述目标传输片段分析模块中的数据,对所述目标传输片段进行数据传输丢失判断得到数据丢失判断结果;
所述产品信息编辑模块,用于接收所述数据传输丢失判断模块中的所述数据丢失判断结果,基于所述数据丢失判断结果找寻符合条件的待检验产品,对所述待检验产品进行检测参数的设定和元数据信息的编辑;
所述产品真实性检验模块,用于接收所述产品信息编辑模块中的数据,对所述待检验产品进行真实性检验。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111617750.XA CN114252404B (zh) | 2021-12-27 | 2021-12-27 | 一种高光谱卫星下的产品真实性检验系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111617750.XA CN114252404B (zh) | 2021-12-27 | 2021-12-27 | 一种高光谱卫星下的产品真实性检验系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114252404A CN114252404A (zh) | 2022-03-29 |
CN114252404B true CN114252404B (zh) | 2022-12-20 |
Family
ID=80795308
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111617750.XA Active CN114252404B (zh) | 2021-12-27 | 2021-12-27 | 一种高光谱卫星下的产品真实性检验系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114252404B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103020478A (zh) * | 2012-12-28 | 2013-04-03 | 杭州师范大学 | 一种海洋水色遥感产品真实性检验的方法 |
CN106022790A (zh) * | 2016-05-09 | 2016-10-12 | 中国科学院遥感与数字地球研究所 | 一种定量遥感产品真实性检验系统 |
CN108535338A (zh) * | 2018-01-25 | 2018-09-14 | 中国科学院东北地理与农业生态研究所 | 粗空间分辨率卫星遥感土壤水分真实性检验方法 |
CN111914218A (zh) * | 2020-08-05 | 2020-11-10 | 应急管理部国家减灾中心 | 一种面向用户应用的灾害遥感产品真实性检验方法 |
CN113052153A (zh) * | 2021-06-02 | 2021-06-29 | 航天宏图信息技术股份有限公司 | 遥感反射率影像的检验方法、装置、电子设备及存储介质 |
-
2021
- 2021-12-27 CN CN202111617750.XA patent/CN114252404B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103020478A (zh) * | 2012-12-28 | 2013-04-03 | 杭州师范大学 | 一种海洋水色遥感产品真实性检验的方法 |
CN106022790A (zh) * | 2016-05-09 | 2016-10-12 | 中国科学院遥感与数字地球研究所 | 一种定量遥感产品真实性检验系统 |
CN108535338A (zh) * | 2018-01-25 | 2018-09-14 | 中国科学院东北地理与农业生态研究所 | 粗空间分辨率卫星遥感土壤水分真实性检验方法 |
CN111914218A (zh) * | 2020-08-05 | 2020-11-10 | 应急管理部国家减灾中心 | 一种面向用户应用的灾害遥感产品真实性检验方法 |
CN113052153A (zh) * | 2021-06-02 | 2021-06-29 | 航天宏图信息技术股份有限公司 | 遥感反射率影像的检验方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114252404A (zh) | 2022-03-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111598827A (zh) | 外观瑕疵检测方法、电子装置及存储介质 | |
CN111879709B (zh) | 湖泊水体光谱反射率检验方法及装置 | |
JP2007127657A (ja) | 撮像装置、撮像方法、色分類装置、色分類方法および色むら検査装置 | |
CN114252404B (zh) | 一种高光谱卫星下的产品真实性检验系统及方法 | |
CN111521575B (zh) | 质控物质选择方法及装置 | |
CN111650137A (zh) | 光谱文件生成方法、装置、计算机设备和存储介质 | |
CN115656063A (zh) | 基于高光谱数据的目标污染物含量分析方法及装置 | |
CN111898314B (zh) | 湖泊水体参数检验方法、装置、电子设备及存储介质 | |
CN104832161A (zh) | 基于双尺度相关对比的自动深度校正方法及系统 | |
CN114674461A (zh) | 海表温度的确定方法、装置及可读存储介质 | |
CN114913079A (zh) | 一种基于高光谱影像的区域生态风险评价系统及方法 | |
CN117969535B (zh) | 一种路桥混凝土缺陷无损检测方法及系统 | |
CN113534296A (zh) | 基于神经网络沙尘天气预报强度误差的测算方法及装置 | |
CN110687094A (zh) | 基于蛋白探针成像技术的非定向乳粉筛查方法 | |
CN114397230B (zh) | 一种基于卫星遥感的近地面颗粒物组分检测方法和装置 | |
CN117648537B (zh) | 基于超光谱技术的大气污染实时监测方法及系统 | |
CN117953036B (zh) | 道路桥梁基础沉降位移监测系统及方法 | |
CN117607373B (zh) | 一种温室气体监测数据校准的方法、系统、设备及介质 | |
CN117835197B (zh) | 基于5g信息的气象信息服务系统和方法 | |
CN114894717B (zh) | 环境预测信息生成方法、装置、电子设备和可读介质 | |
CN116609370B (zh) | 晶圆量测方法和电子设备 | |
KR101032917B1 (ko) | 홀 군집체 검사 방법 | |
CN118332505B (zh) | 基于多模态融合的生理信号数据处理方法、系统及装置 | |
CN116448062B (zh) | 一种桥梁沉降变形检测方法、装置、计算机及存储介质 | |
CN117782901A (zh) | 一种固体颗粒物采集检验用信息识别处理系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |