CN108734655A - 空中多节点实时侦查的方法及系统 - Google Patents
空中多节点实时侦查的方法及系统 Download PDFInfo
- Publication number
- CN108734655A CN108734655A CN201710244162.3A CN201710244162A CN108734655A CN 108734655 A CN108734655 A CN 108734655A CN 201710244162 A CN201710244162 A CN 201710244162A CN 108734655 A CN108734655 A CN 108734655A
- Authority
- CN
- China
- Prior art keywords
- video
- characteristic point
- frame image
- adjacent
- spliced
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000007781 pre-processing Methods 0.000 claims abstract description 30
- 239000011159 matrix material Substances 0.000 claims description 42
- 230000009466 transformation Effects 0.000 claims description 22
- 238000011835 investigation Methods 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 7
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 4
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 8
- 238000000605 extraction Methods 0.000 description 21
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 18
- 238000012544 monitoring process Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000010606 normalization Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000003139 buffering effect Effects 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000005304 joining Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004080 punching Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种空中多节点实时侦查的方法及系统，所述方法包括步骤：通过多个飞行器获取视频并分别记录所述多个飞行器的位置信息，其中，所述多个飞行器中相邻两个的摄像头获取的视频部分重叠；对所述飞行器获取的多路视频进行图像预处理，以获得预处理后的多路视频；对所述预处理后的多路视频进行拼接，以获得拼接后的视频；根据所述位置信息获取所述拼接后的视频中的目标区域或目标物体的跟踪视频。每一个摄像头分别对应一个图像预处理单元，使得多路视频的预处理过程并行执行，提高了拼接效率与拼接稳定性；用户可以根据实际需要获取目标区域或目标物体的跟踪视频，从而更便于用户对现场进行观察，增加了整个系统的实用性。
Description
技术领域
本发明涉及视频图像拼接技术领域，尤其涉及一种空中多节点实时侦查的方法及系统。
背景技术
无论在军事还是民用领域，视频图像都是最直接、信息最丰富的情报来源格式，也是监控与侦查的最主要的方式。基于地面端的视频侦查系统已经十分成熟。有执法部门使用的车载视频侦查系统，也有用于交通领域的相机位置固定的视频监控系统，但其监控范围与视野的局限性都十分明显。
目前国内外有很多针对航空摄影测量应用的航拍系统，它们大多需要专业飞行器搭载，并且飞行过程中只采集数据，数据处理分析工作在地面端离线完成，处理时间均长，无法满足灾害救援，紧急响应，交通调度，军事侦查等情况下对数据处理实时性的要求。
目前，基于天空端俯瞰视角、可用于多飞行平台的实时的视频侦查系统在国内都处于稀缺状态。2013年，美国国防高级研究计划署(DARPA)和英国航空航天系统公司(BAE)共同研发了自主实时地面全域监视成像系统(ARGUS-IS)，安置到军用无人机上，18亿像素的传感器可监视地面15厘米的任何物体，监视高度为6公里，但系统造价高达1850万美元，并且必须结合固定机型的专业军用飞机，不具备通用性与灵活性。
发明内容
为了解决上述问题，本发明提出一种空中多节点实时侦查的方法及系统，能够实时对视频进行拼接，提升了系统的实用性和灵活性。
本发明提出的具体技术方案为：提供一种空中多节点实时侦查的方法，所述方法包括步骤：
通过多个飞行器获取视频并分别记录所述多个飞行器的位置信息，其中，所述多个飞行器中相邻两个的摄像头获取的视频部分重叠；
对所述飞行器获取的多路视频进行图像预处理，以获得预处理后的多路视频；
对所述预处理后的多路视频进行拼接，以获得拼接后的视频；
根据所述位置信息获取所述拼接后的视频中的目标区域或目标物体的跟踪视频。
进一步地，图像预处理包括颜色校正和特征提取；和/或所述侦查方法还包括：对所述目标区域或目标物体的跟踪视频进行显示。
进一步地，对所述预处理后的多路视频进行拼接，以获得拼接后的视频步骤包括：
对相邻两路视频的第i帧图像的特征点进行粗匹配，以获得初始的特征点匹配对集合，其中，1≤i≤n，n为每一路视频所包含的图像帧的数目；
对初始的特征点匹配对集合进行细匹配得到内点集合；
根据内点集合计算得到变换矩阵；
利用变换矩阵将相邻两路视频的第i帧图像分别投影到全景坐标系中；
对全景坐标系中的相邻两路视频的第i帧图像进行融合，以获得拼接后的图像；
重复上面的步骤，将拼接后的图像与下一路视频再次进行拼接直到所有路视频均完成拼接，获得拼接后的视频。
进一步地，对相邻两路视频的第i帧图像的特征点进行粗匹配，以获得初始的特征点匹配对集合步骤包括：
利用最近邻匹配法在相邻两路视频中的第二路视频的第i帧图像中找到与相邻两路视频中的第一路视频的第i帧图像中的特征点P所匹配的特征点P'；
计算相邻两路视频中的第一路视频的第i帧图像中的特征点M到特征点P的距离，将距离小于设定的第一阈值的特征点M形成的集合作为特征点P的邻域；
将相邻两路视频中的第二路视频的第i帧图像中以特征点P'为圆心，以第一阈值为半径的区域作为特征点M的搜索区域，计算邻域中的每一个特征点M与搜索区域中的所有特征点M'的距离，将搜索区域中与特征点M的距离最短的特征点M'作为与特征点M匹配的特征点；
重复上面的步骤直至在相邻两路视频中的第二路视频的第i帧图像中找到相邻两路视频中的第一路视频的第i帧图像中所有特征点所匹配的特征点，以获得初始的特征点匹配对集合。
进一步地，对初始的特征点匹配对集合进行细匹配得到内点集合步骤包括：
在初始的特征点匹配对集合中随机选取4个特征点匹配对；
计算4个特征点匹配对所对应的单应性矩阵；
计算初始的特征点匹配对集合中每一个特征点匹配对与单应性矩阵的投影误差，将投影误差小于设定的第二阈值的特征点匹配对形成的集合作为单应性矩阵的内点集合；
重复上面的步骤N次，以获得N个内点集合。
进一步地，根据内点集合计算得到变换矩阵步骤包括：
分别计算每个内点集合中像素点在x方向的标准方差δx及y方向的标准方差δy；
根据下面公式计算每个内点集合所对应的评分系数Sr：
Sr＝Rrσxσy
其中，Rr表示第r个内点集合中特征点匹配对的数目，r为整数，1≤r≤N；
将评分系数Sr最高的内点集合所对应的单应性矩阵作为变换矩阵。
进一步地，根据所述位置信息获取所述拼接后的视频中的目标区域步骤包括：
确定目标区域及目标区域的缩放尺度；
根据目标区域获得目标区域所对应的飞行器的位置信息及摄像头的视场信息；
根据所述缩放尺度、位置信息及视场信息计算得到目标区域所对应的飞行器的飞行位置；
控制目标区域所对应的飞行器到达所述飞行位置，并拍摄得到所述目标区域。
进一步地，根据所述位置信息获取所述拼接后的视频中的目标物体的跟踪视频步骤包括：
确定目标物体；
利用图像目标跟踪算法对目标物体进行识别和跟踪，以获得目标物体的实时位置信息；
根据目标物体的实时位置信息计算得到目标物体对应的飞行器的飞行位置；
控制目标物体所对应的飞行器到达所述飞行位置，并拍摄得到所述目标物体的跟踪视频。
本发明还提供了一种空中多节点实时侦查的系统，所述系统包括多个飞行器、多个图像预处理单元、视频拼接单元、目标获取单元及显示单元；
所述多个飞行器分别用于获取视频并记录位置信息，其中，所述多个飞行器中相邻两个的摄像头获取的视频部分重叠；
所述多个图像预处理单元用于分别对所述飞行器获取的多路视频进行图像预处理，以获得预处理后的多路视频；
所述视频拼接单元用于对所述预处理后的多路视频进行拼接，以获得拼接后的视频；
所述目标获取单元用于根据所述位置信息获取所述拼接后的视频中的目标区域或目标物体的跟踪视频。
进一步地，所述视频拼接单元包括：
粗匹配模块，用于对相邻两路视频的第i帧图像的特征点进行粗匹配，以获得初始的特征点匹配对集合，其中，1≤i≤n，n为每一路视频所包含的图像帧的数目；
细匹配模块，用于对初始的特征点匹配对集合进行细匹配得到内点集合；
计算模块，用于根据内点集合计算得到变换矩阵；
投影模块，用于利用变换矩阵将相邻两路视频的第i帧图像分别投影到全景坐标系中；
融合模块，用于对全景坐标系中的相邻两路视频的第i帧图像进行融合，以获得拼接后的图像。
本发明提供的空中多节点实时侦查的方法及系统，通过多个飞行器搭载摄像头实时获取视频，再通过视频拼接单元对图像预处理后的多路视频进行拼接，从而实现对视频的实时拼接；每一个摄像头分别对应一个图像预处理单元，使得多路视频的预处理过程并行执行，提高了拼接效率与拼接稳定性；用户可以根据实际需要获取拼接后的视频中的目标区域或目标物体的跟踪视频，从而更便于用户对现场进行观察，增加了整个系统的实用性。
附图说明
通过结合附图进行的以下描述，本发明的实施例的上述和其它方面、特点和优点将变得更加清楚，附图中：
图1为空中多节点实时侦查的系统的结构示意图；
图2为图1中视频拼接单元的结构示意图；
图3为图1中目标获取单元的结构示意图；
图4为空中多节点实时侦查的方法的流程图；
图5为视频拼接单元对预处理后的多路视频进行拼接的流程图；
图6为目标获取单元根据位置信息获取拼接后的视频中的目标区域的流程图；
图7为目标获取单元根据位置信息获取拼接后的视频中的目标物体的跟踪视频的流程图。
具体实施方式
以下，将参照附图来详细描述本发明的实施例。然而，可以以许多不同的形式来实施本发明，并且本发明不应该被解释为局限于这里阐述的具体实施例。相反，提供这些实施例是为了解释本发明的原理及其实际应用，从而使本邻域的其他技术人员能够理解本发明的各种实施例和适合于特定预期应用的各种修改。
参照图1，本实施例提供的空中多节点实时侦查的系统包括多个飞行节点1、多个图像预处理单元2、视频拼接单元3、目标获取单元4及显示单元5。每个飞行节点1包括飞行器11、飞行控制模块12和摄像头13，其中，摄像头13和飞行控制模块12搭载于飞行器11上。每个摄像头13分别对应一个图像预处理单元2。摄像头13用于获取视频，飞行控制模块12用于获取飞行器11的位置信息和飞行控制信息，这里的位置信息包括飞行器11的高度、经纬度，飞行控制信息包括飞行器11的飞行速度。相邻两个摄像头13获取的视频之间部分重叠。
图像预处理单元2用于分别对所对应的摄像头13获取的视频进行图像预处理，以获得预处理后的多路视频。其中，图像预处理包括颜色校正和特征提取即图像预处理单元2用于分别对所对应的摄像头13获取的视频进行颜色校正和特征提取。本实施例中的图像预处理单元2搭载于飞行器11上即每个飞行节点1里面都包含一个图像预处理单元2。
视频拼接单元3用于对预处理后的多路视频进行拼接，以获得拼接后的视频。目标获取单元4用于根据飞行控制模块12获得的位置信息获取拼接后的视频中的目标区域或目标物体的跟踪视频。显示单元5用于对拼接后的视频、目标区域或目标物体的跟踪视频进行显示。其中，显示单元5可以为触摸显示屏、投影仪或液晶显示屏组等。这里，目标区域指的用户的感兴趣区域。
其中，飞行器11以m×q的矩阵方式排列，为了满足视频拼接要求，相邻摄像头13水平和俯仰夹角不超过15°，采集到的相邻两路视频之间有30％～70％的重叠区域，这里，相邻两路视频之间有30％～70％的重叠区域即表示相邻两路视频对应的每一帧图像之间有30％～70％的重叠区域。
参照图2，具体的，视频拼接单元3包括粗匹配模块31、细匹配模块32、计算模块33、投影模块34及融合模块35。粗匹配模块31用于对相邻两路视频的第i帧图像的特征点进行粗匹配，以获得初始的特征点匹配对集合，其中，1≤i≤n，n为每一路视频所包含的图像帧的数目。细匹配模块32用于对初始的特征点匹配对集合进行细匹配得到内点集合。计算模块33用于根据内点集合计算得到变换矩阵。投影模块34用于利用变换矩阵将相邻两路视频的第i帧图像分别投影到全景坐标系中。融合模块35用于对全景坐标系中的相邻两路视频的第i帧图像进行融合，以获得拼接后的图像。
参照图3，具体的，目标获取单元4包括目标区域获取模块40、目标跟踪模块41。目标区域获取模块40用于在拼接后的视频中确定目标区域及目标区域的缩放尺度、根据目标区域获得目标区域所对应的飞行器11的位置信息及摄像头的视场信息、根据缩放尺度、位置信息及视场信息计算得到目标区域所对应的飞行器11的飞行位置及将所述飞行位置发送给目标区域所对应的飞行器11中的飞行控制模块12，以使得该飞行控制模块12控制对应的飞行器11到达所述飞行位置。目标跟踪模块41用于确定目标物体、利用图像目标跟踪算法对目标物体进行识别和跟踪，以获得目标物体的实时位置信息、根据目标物体的实时位置信息计算得到目标物体对应的飞行器11的飞行位置及将所述飞行位置发送给目标物体对应的飞行器11中的飞行控制模块12，以使得该飞行控制模块12控制对应的飞行器11到达所述飞行位置。
其中，目标获取单元4还包括飞行信息更新模块42，飞行信息更新模块42用于实时向显示单元5、目标区域获取模块40、目标跟踪模块41更新其需要的飞行控制信息、位置信息，并将多个飞行器11的速度、电池状态、位置信息、等各种飞行参数显示在显示单元5的操作窗口中。
本实施例中的每个飞行节点还包括高速记录仪14和无线发送模块15。高速记录仪14用于对摄像头13获取的视频进行存储，以便对存储的视频进行离线的数据分析与处理。无线发送模块15用于对预处理后的多路视频和飞行器11的位置信息打包并发送。
此外，本实施例中的空中多节点实时侦查的系统还包括位于地面的图像中继单元6。图像中继单元6包括无线接收模块、数据解析模块及数据发送模块。无线接收模块用于接收无线发送模块15发送的打包数据，数据解析模块用于对打包数据进行解析得到预处理后的多路视频和飞行器11的位置信息和飞行控制信息，数据发送模块用于将预处理后的多路视频和飞行器11的位置信息和飞行控制信息发送给视频拼接单元3。
本实施例中的空中多节点实时侦查的系统还包括缓冲单元7，缓冲单元7连接于数据发送模块和粗匹配模块31之间。数据发送模块将预处理后的多路视频的预定帧图像和飞行器11的位置信息和飞行控制信息从一端口存储进缓冲单元7中。粗匹配模块31从缓冲单元7的另一端口依次读取预定帧图像中相邻两路视频的第i帧图像及第i帧图像的特征点，然后对相邻两路视频的第i帧图像的特征点进行粗匹配。其中，预定帧为缓冲单元7可以缓冲的图像帧的数目。
通过缓冲单元7可以实现图像预处理与图像拼接异步并行执行。其中，以图像预处理为特征提取为例，图像预处理单元2对多路视频进行特征提取后获得的数据构成特征提取流并将特征提取流缓冲至缓冲单元7中，视频拼接单元3从缓冲单元7中读取的数据构成视频拼接流，即特征提取流与视频拼接流异步执行，然后，在视频拼接单元3对视频拼接流进行拼接的过程中，图像预处理单元2继续对其他视频进行特征提取并依次缓冲至缓冲单元7中，即视频拼接流和特征提取流并行执行。
下面通过具体的示例描述图像预处理与图像拼接并行执行的过程。以图像预处理为特征提取为例。假设缓冲单元7可以缓冲的图像帧的数目为4，首先，图像预处理单元2分别同时提取多路视频中的第一路视频的第1帧图像的特征点和第二路视频的第1′帧图像的特征点并将多路视频中的第一路视频的第1帧图像及提取的特征点和第二路视频的第1′帧图像及提取的特征点分别缓冲至缓冲单元7中。然后，图像预处理单元2分别同时提取多路视频中的第一路视频的第2帧图像的特征点和第二路视频的第2′帧图像的特征点并将多路视频中的第一路视频的第2帧图像及提取的特征点和第二路视频的第2′帧图像及提取的特征点分别缓冲至缓冲单元7中，此时，缓冲单元7已满，粗匹配模块31从缓冲单元7中读取第1帧图像的特征点和第1′帧图像的特征点后对第1帧图像和第1′帧图像进行粗匹配，与此同时，图像预处理单元2分别同时提取多路视频中的第一路视频的第3帧图像的特征点和第二路视频的第3′帧图像的特征点并将多路视频中的第一路视频的第3帧图像及提取的特征点和第二路视频的第3′帧图像及提取的特征点分别缓冲至缓冲单元7中，整个过程即为图像拼接单元3依次对两路视频的对应的图像帧进行拼接的同时，图像预处理单元2对两路视频的其他图像帧进行特征提取，利用缓冲单元7依次对两路视频的对应的图像帧及其对应的特征点进行缓存。因此，本实施例中通过缓冲单元7可以使得特征提取与图像拼接并行执行，提升了整个视频拼接装置的拼接效率。
本实施例中每个摄像头13都对应一个图像预处理单元2，使得多路视频的预处理过程并行执行，从而在获得更高分辨率及更大视野的全景视频的同时能够保证拼接效率与拼接的稳定性。此外，本实施例中的空中多节点实时侦查的系统还包括缓冲单元7，通过缓冲单元7可以使得图像预处理与图像拼接并行执行，进一步提升了拼接效率。
参照图4，本实施例还提供了一种空中多节点实时侦查的方法，所述方法应用于上述的空中多节点实时侦查的系统，其包括以下步骤：
步骤S1、摄像头13获取视频、飞行控制模块12获取飞行器11的位置信息，相邻摄像头13获取的视频之间部分重叠。
步骤S2、多个图像预处理单元2分别对所对应的摄像头13获取的视频进行图像预处理，以获得预处理后的多路视频。
步骤S3、视频拼接单元3对预处理后的多路视频进行拼接，以获得拼接后的视频。
参照图5，具体的，步骤S3包括以下步骤：
S31、对相邻两路视频的第i帧图像的特征点进行粗匹配，以获得初始的特征点匹配对集合，其中，1≤i≤n，n为每一路视频所包含的图像帧的数目，通过粗匹配模块31对相邻两路视频的第i帧图像的特征点进行粗匹配。
其中，在步骤S31中对相邻两路视频的第i帧图像的特征点进行粗匹配，以获得初始的特征点匹配对集合包括以下步骤：
S311、利用最近邻匹配法在相邻两路视频中的第二路视频的第i帧图像中找到与相邻两路视频中的第一路视频的第i帧图像中的特征点P所匹配的特征点P′。
S312、计算相邻两路视频中的第一路视频的第i帧图像中的特征点M到特征点P的距离，将距离小于设定的第一阈值的特征点M形成的集合作为特征点P的邻域，其中，第一阈值根据经验值设定。
S313、将相邻两路视频中的第二路视频的第i帧图像中以特征点P'为圆心，以第一阈值为半径的区域作为特征点M的搜索区域，计算邻域中的每一个特征点M与搜索区域中的所有特征点M'的距离，将搜索区域中与特征点M的距离最短的特征点M'作为与特征点M匹配的特征点。通过将相邻两路视频中的第二路视频的第i帧图像中以特征点P'为圆心，以第一阈值为半径的区域作为特征点M的搜索区域，缩小了搜索范围，提升了拼接效率。
具体的，假设特征点P的邻域中的特征点包括(M1,M2，......，Mp,......,Mk)，k表示邻域中特征点的总数；邻域对应的相邻两路视频中的第二路视频的第i帧图像中的搜索区域的特征点包括(M'1,M'2，......，M'j,......,M'l)，l表示搜索区域中特征点的总数。从邻域中的第一个特征点M1开始，计算M1与(M'1,M'2，......，M'p,......,M'l)中每个特征点的距离(d'11,d'12，......，d'1j,......,d'1l)，将(d'11,d'12，......，d'1j,......,d'1l)中最小的距离所对应的特征点作为与M1匹配的特征点，同理，计算M2与(M'1,M'2，......，M'p,......,M'l)中每个特征点的距离(d'21,d'22，......，d'2j,......,d'2l)，将(d'21,d'22，......，d'2j,......,d'2l)中最小的距离所对应的特征点作为与M2匹配的特征点，依次对邻域中剩余的特征点Mp进行特征匹配直到邻域中所有的特征点都找到与之匹配的特征点。
S314、重复步骤S311～S313，直至在相邻两路视频中的第二路视频的第i帧图像中找到第一路视频的第i帧图像中所有特征点所匹配的特征点，以获得初始的特征点匹配对集合。
S32、对初始的特征点匹配对集合进行细匹配得到内点集合，通过细匹配模块32对初始的特征点匹配对集合进行细匹配得到内点集合。
其中，在步骤S32中对初始的特征点匹配对集合进行细匹配得到内点集合包括以下步骤：
S321、在初始的特征点匹配对集合中随机选取4个特征点匹配对。
S322、计算4个特征点匹配对所对应的单应性矩阵，优选的，通过高斯-约当消元法计算4个特征点匹配对所对应的单应性矩阵，高斯-约当消元法计算的分支结构少，适合并行化计算。
具体的，单应性矩阵H是大小为3*3的矩阵，其表示如下：
通常归一化，使得h33＝1，即单应性矩阵H矩阵的自由度为8，选取4个特征点匹配对计算便可以得到单应性矩阵H。
S323、计算初始的特征点匹配对集合中每一个特征点匹配对与单应性矩阵H的投影误差，将投影误差小于设定的第二阈值的特征点匹配对形成的集合作为单应性矩阵H的内点集合，其中，投影误差的计算公式为：
其中，(xs,ys)表示特征点匹配对中位于相邻两路视频中的第一路视频的第i帧图像中的像素点的坐标，(x's,ys')表示特征点匹配对中位于相邻两路视频中的第二路视频的第i帧图像中的像素点的坐标，Q表示初始的特征点匹配对集合中特征点匹配对的数目，表示单应性矩阵H。
S324、重复步骤S321～S323N次，以获得N个内点集合。
理论上选取4个特征点匹配对计算便可以得到单应性矩阵H，实际计算中由于存在误差，不可能只用4个特征点匹配对就得出精准的单应性矩阵H，因此，这里通过重复步骤S321～S323N次便可以得到N个内点集合，然后通过下面的步骤对N个内点集合进行非线性优化。本实施例中S321～S324整个过程通过N次执行获得N个内点集合都是并行执行。
S33、根据内点集合计算得到变换矩阵，通过计算模块33计算得到变换矩阵。
具体的，步骤S33包括以下步骤：
S331、分别计算每个内点集合中像素点在x方向的标准方差δx及y方向的标准方差δy；
S332、根据下面公式计算每个内点集合所对应的评分系数Sr：
Sr＝Rrσxσy
其中，Rr表示第r个内点集合中特征点匹配对的数目，r为整数，1≤r≤N；将评分系数Sr最高的内点集合所对应的单应性矩阵H作为变换矩阵。评分系数Sr即考虑了内点集合中特征点匹配对的数目，同时还考虑了内点集合中像素点在x方向的标准方差δx及y方向的标准方差δy，从而使获得的变换矩阵的精确度更高。
S34、利用变换矩阵将相邻两路视频的第i帧图像分别投影到全景坐标系中。由于图像的投影过程是对整个图像的所有像素点都进行相同的坐标变换，然后进行像素点的像素值拷贝，该过程具有良好的并行性。通过投影模块34将相邻两路视频的第i帧图像分别投影到全景坐标系中。
S35、对全景坐标系中的相邻两路视频的第i帧图像进行融合，以获得拼接后的图像。通过融合模块35对全景坐标系中的相邻两路视频的第i帧图像进行融合。
具体的，步骤S35包括：
S351、获得全景坐标系中相邻两路视频中的第一路视频的第i帧图像和相邻两路视频中的第二路视频的第i帧图像的拼缝，其中，拼缝获取的方法包括图割法、Vonoroi法等，这些方法在图像拼接领域中为常用的方法，本实施例不再赘述。
S352、分别初始化相邻两路视频中的第一路视频的第i帧图像、第二路视频的第i帧图像的拼缝所对应的掩膜，其中，相邻两路视频中的第一路视频的第i帧图像、第二路视频的第i帧图像的拼缝所对应的掩膜指的是将相邻两路视频中的第一路视频的第i帧图像、第二路视频的第i帧图像的拼缝的两边的灰度值分别设置为255和0形成以拼缝为分界线的黑白图像即为相邻两路视频中的第一路视频的第i帧图像、第二路视频的第i帧图像的拼缝所对应的掩膜。
S353、分别计算相邻两路视频中的第一路视频的第i帧图像、第二路视频的第i帧图像的掩膜中每个像素点的距离权值，其中，采用距离变换生成距离权值。
具体的，计算拼缝的掩膜中所有非零像素点与其最近的零像素点的距离min(d(t,t0))，t表示非零像素点，t0表示零像素点。这里的距离定义为曼哈顿距离或欧几里德距离。掩模中每个像素点M(t)的距离权值wdis(t)可表示为:
S354、分别对相邻两路视频中的第一路视频的第i帧图像、第二路视频的第i帧图像所对应的距离权值w1 dis(t)、w2 dis(t)进行归一化，以分别获得相邻两路视频中的第一路视频的第i帧图像、第二路视频的第i帧图像所对应的归一化权值图w1(t)、w2(t)。
S355、利用相邻两路视频中的第一路视频的第i帧图像、第二路视频的第i帧图像所对应的归一化权值图w1(t)、w2(t)对相邻两路视频中的第一路视频的第i帧图像、第二路视频的第i帧图像进行融合，以获得拼接后的图像If(t)。
具体的，在步骤S355中通过下面的公式对相邻两路视频中的第一路视频的第i帧图像、第二路视频的第i帧图像进行融合，以获得拼接后的图像If(t)：
其中，H＝2，I1表示的是相邻两路视频中的第一路视频的第i帧图像，I2表示的是相邻两路视频中的第二路视频的第i帧图像，t表示的是像素点。
S36、重复步骤S31～S35，将拼接后的图像与下一路视频再次进行拼接直到所有路视频均完成拼接，获得拼接后的视频。
步骤S4、目标获取单元4根据位置信息获取拼接后的视频中的目标区域或目标物体的跟踪视频。
参照图6，具体的，步骤S4中目标获取单元4根据位置信息获取拼接后的视频中的目标区域步骤包括：
S401、在拼接后的视频中确定目标区域及目标区域的缩放尺度，这里目标区域的缩放尺度指的是目标区域的放大或缩小的倍数；
S402、根据目标区域获得目标区域所对应的飞行器11的位置信息及摄像头的视场信息；
S403、根据缩放尺度、位置信息及视场信息计算得到目标区域所对应的飞行器11的飞行位置；
S404、目标区域所对应的飞行器11中的飞行控制模块12控制该飞行器11到达所述飞行位置，飞行器11上的摄像头13拍摄得到目标区域。
参照图7，具体的，步骤S4中目标获取单元4根据位置信息获取目标物体的跟踪视频步骤包括：
S411、确定目标物体，在拼接后的视频中手动选取需要跟踪的目标物体；
S412、利用图像目标跟踪算法对目标物体进行识别和跟踪，以获得目标物体的实时位置信息，其中，为了便于观察，在对目标物体进行跟踪时还需对目标物体进行标记；
S413、根据目标物体的实时位置信息计算得到目标物体对应的飞行器11的飞行位置；
S414、目标物体对应的飞行器11中的飞行控制模块12控制该飞行器11到达所述飞行位置，飞行器11上的摄像头13拍摄得到目标物体的跟踪视频。
步骤S5、显示单元5对拼接后的视频、目标区域或目标物体的跟踪视频进行显示。
此外，所述拼接方法还包括在步骤S2之后，将预处理后的多路视频的预定帧图像和飞行器11的位置信息和飞行控制信息存储进缓冲单元7；在步骤S3之前从缓冲单元7依次读取预定帧图像中相邻两路视频的第i帧图像及第i帧图像的特征点。
本实施例提供的空中多节点实时侦查的系统及方法的有益效果包括：
(1)通过对相邻两路视频中的第一路视频的第i帧图像和相邻两路视频中的第二路视频的第i帧图像的特征点进行粗匹配得到初始的特征点匹配对集合之后，再对初始的特征点匹配对集合进行细匹配得到内点集合，从而得到精确的内点集合，根据内点集合得到变换矩阵，改善了拼接质量；
(2)通过划分搜索区域进行粗匹配，提高了匹配精确度、提升了拼接效率；
(3)根据内点集合得到的变换矩阵即考虑了内点集合中特征点匹配对的数目，同时还考虑了内点集合中像素点在x方向的标准方差δx及y方向的标准方差δy，提高了变换矩阵的精确度；
(4)多路视频的特征提取并行执行，无论待拼接的视频数量是多少，特征提取的时间不变，提高了拼接效率与拼接稳定性；
(5)特征提取和图像拼接作为两个线程异步并行执行，提升了拼接效率；
(6)利用相邻两路视频中的第一路视频的第i帧图像、第二路视频的第i帧图像所对应的归一化权值图w1(t)、w2(t)分别对相邻两路视频中的第一路视频的第i帧图像、第二路视频的第i帧图像进行融合步骤，实现了多线程计算，加速了融合过程，大大减少融合耗时，提高了整体的拼接效率；
(7)目标获取单元可获取目标区域，满足侦查系统中对于被监控区域观测尺度可变的要求，操作人员可以对画面中的任何区域进行缩放，确保了侦查区域所有细节信息的保留。
(8)目标获取单元具有目标物体跟踪功能，可自动追踪视频窗口中的一个特定目标。增强了系统对侦查区域的场景解析能力，增加了侦查系统的灵活性。
(9)本实施例提供的空中多节点实时侦查的系统及方法可广泛应用于军事侦察、森林火灾灭火指挥、交通路口监视、其他灾害现场实时观测、灾情评估决策等现场。
以上所述仅是本申请的具体实施方式，应当指出，对于本技术邻域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。
Claims (10)
1.一种空中多节点实时侦查的方法，其特征在于，所述方法包括步骤：
通过多个飞行器获取视频并分别记录所述多个飞行器的位置信息，其中，所述多个飞行器中相邻两个的摄像头获取的视频部分重叠；
对所述飞行器获取的多路视频进行图像预处理，以获得预处理后的多路视频；
对所述预处理后的多路视频进行拼接，以获得拼接后的视频；
根据所述位置信息获取所述拼接后的视频中的目标区域或目标物体的跟踪视频。
2.根据权利要求1所述的侦查方法，其特征在于，图像预处理包括颜色校正和特征提取；和/或所述侦查方法还包括：对所述目标区域或目标物体的跟踪视频进行显示。
3.根据权利要求2所述的方法，其特征在于，对所述预处理后的多路视频进行拼接，以获得拼接后的视频步骤包括：
对相邻两路视频的第i帧图像的特征点进行粗匹配，以获得初始的特征点匹配对集合，其中，1≤i≤n，n为每一路视频所包含的图像帧的数目；
对初始的特征点匹配对集合进行细匹配得到内点集合；
根据内点集合计算得到变换矩阵；
利用变换矩阵将相邻两路视频的第i帧图像分别投影到全景坐标系中；
对全景坐标系中的相邻两路视频的第i帧图像进行融合，以获得拼接后的图像；
重复上面的步骤，将拼接后的图像与下一路视频再次进行拼接直到所有路视频均完成拼接，获得拼接后的视频。
4.根据权利要求3所述的方法，其特征在于，对相邻两路视频的第i帧图像的特征点进行粗匹配，以获得初始的特征点匹配对集合步骤包括：
利用最近邻匹配法在相邻两路视频中的第二路视频的第i帧图像中找到与相邻两路视频中的第一路视频的第i帧图像中的特征点P所匹配的特征点P'；
计算相邻两路视频中的第一路视频的第i帧图像中的特征点M到特征点P的距离，将距离小于设定的第一阈值的特征点M形成的集合作为特征点P的邻域；
将相邻两路视频中的第二路视频的第i帧图像中以特征点P'为圆心，以第一阈值为半径的区域作为特征点M的搜索区域，计算邻域中的每一个特征点M与搜索区域中的所有特征点M'的距离，将搜索区域中与特征点M的距离最短的特征点M'作为与特征点M匹配的特征点；
重复上面的步骤直至在相邻两路视频中的第二路视频的第i帧图像中找到相邻两路视频中的第一路视频的第i帧图像中所有特征点所匹配的特征点，以获得初始的特征点匹配对集合。
5.根据权利要求3所述的方法，其特征在于，对初始的特征点匹配对集合进行细匹配得到内点集合步骤包括：
在初始的特征点匹配对集合中随机选取4个特征点匹配对；
计算4个特征点匹配对所对应的单应性矩阵；
计算初始的特征点匹配对集合中每一个特征点匹配对与单应性矩阵的投影误差，将投影误差小于设定的第二阈值的特征点匹配对形成的集合作为单应性矩阵的内点集合；
重复上面的步骤N次，以获得N个内点集合。
6.根据权利要求3所述的方法，其特征在于，根据内点集合计算得到变换矩阵步骤包括：
分别计算每个内点集合中像素点在x方向的标准方差δx及y方向的标准方差δy；
根据下面公式计算每个内点集合所对应的评分系数Sr：
Sr＝Rrσxσy
其中，Rr表示第r个内点集合中特征点匹配对的数目，r为整数，1≤r≤N；
将评分系数Sr最高的内点集合所对应的单应性矩阵作为变换矩阵。
7.根据权利要求1所述的方法，其特征在于，根据所述位置信息获取所述拼接后的视频中的目标区域步骤包括：
确定目标区域及目标区域的缩放尺度；
根据目标区域获得目标区域所对应的飞行器的位置信息及摄像头的视场信息；
根据所述缩放尺度、位置信息及视场信息计算得到目标区域所对应的飞行器的飞行位置；
控制目标区域所对应的飞行器到达所述飞行位置，并拍摄得到所述目标区域。
8.根据权利要求1所述的方法，其特征在于，根据所述位置信息获取所述拼接后的视频中的目标物体的跟踪视频步骤包括：
确定目标物体；
利用图像目标跟踪算法对目标物体进行识别和跟踪，以获得目标物体的实时位置信息；
根据目标物体的实时位置信息计算得到目标物体对应的飞行器的飞行位置；
控制目标物体所对应的飞行器到达所述飞行位置，并拍摄得到所述目标物体的跟踪视频。
9.一种空中多节点实时侦查的系统，其特征在于，包括多个飞行器、多个图像预处理单元、视频拼接单元、目标获取单元及显示单元；
所述多个飞行器分别用于获取视频并记录位置信息，其中，所述多个飞行器中相邻两个的摄像头获取的视频部分重叠；
所述多个图像预处理单元用于分别对所述飞行器获取的多路视频进行图像预处理，以获得预处理后的多路视频；
所述视频拼接单元用于对所述预处理后的多路视频进行拼接，以获得拼接后的视频；
所述目标获取单元用于根据所述位置信息获取所述拼接后的视频中的目标区域或目标物体的跟踪视频。
10.根据权利要求9所述的系统，其特征在于，所述视频拼接单元包括：
粗匹配模块，用于对相邻两路视频的第i帧图像的特征点进行粗匹配，以获得初始的特征点匹配对集合，其中，1≤i≤n，n为每一路视频所包含的图像帧的数目；
细匹配模块，用于对初始的特征点匹配对集合进行细匹配得到内点集合；
计算模块，用于根据内点集合计算得到变换矩阵；
投影模块，用于利用变换矩阵将相邻两路视频的第i帧图像分别投影到全景坐标系中；
融合模块，用于对全景坐标系中的相邻两路视频的第i帧图像进行融合，以获得拼接后的图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710244162.3A CN108734655B (zh) | 2017-04-14 | 2017-04-14 | 空中多节点实时侦查的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710244162.3A CN108734655B (zh) | 2017-04-14 | 2017-04-14 | 空中多节点实时侦查的方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108734655A true CN108734655A (zh) | 2018-11-02 |
| CN108734655B CN108734655B (zh) | 2021-11-30 |
Family
ID=63924493
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710244162.3A Active CN108734655B (zh) | 2017-04-14 | 2017-04-14 | 空中多节点实时侦查的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108734655B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110620911A (zh) * | 2019-09-24 | 2019-12-27 | 北京迈格威科技有限公司 | 摄像头的视频流处理方法、装置和终端设备 |
| CN111145545A (zh) * | 2019-12-25 | 2020-05-12 | 西安交通大学 | 基于深度学习的道路交通行为无人机监测系统及方法 |
| CN111260561A (zh) * | 2020-02-18 | 2020-06-09 | 中国科学院光电技术研究所 | 一种可用于掩模版缺陷检测的快速多图拼接方法 |
| CN112133104A (zh) * | 2020-08-21 | 2020-12-25 | 浙江大华技术股份有限公司 | 一种车辆信息检测方法、装置、系统及存储介质 |
| CN112395543A (zh) * | 2020-10-12 | 2021-02-23 | 中国兵器科学研究院 | 一种装备体系侦察能力评估方法、装置、设备及介质 |
| WO2022088072A1 (zh) * | 2020-10-30 | 2022-05-05 | 深圳市大疆创新科技有限公司 | 视觉跟踪方法、装置、可移动平台及计算机可读存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101277429A (zh) * | 2007-03-27 | 2008-10-01 | 中国科学院自动化研究所 | 监控中多路视频信息融合处理与显示的方法和系统 |
| CN102006425A (zh) * | 2010-12-13 | 2011-04-06 | 交通运输部公路科学研究所 | 一种基于多摄像机的视频实时拼接方法 |
| US20110164108A1 (en) * | 2009-12-30 | 2011-07-07 | Fivefocal Llc | System With Selective Narrow FOV and 360 Degree FOV, And Associated Methods |
| CN102402855A (zh) * | 2011-08-29 | 2012-04-04 | 深圳市蓝盾科技有限公司 | 用于智能交通的双摄像机实时全景视频融合方法及系统 |
| CN103686084A (zh) * | 2013-12-10 | 2014-03-26 | 中国航天科工集团第四研究院 | 一种用于多无人机协同实时侦察的全景视频监控方法 |
| CN105100640A (zh) * | 2015-01-23 | 2015-11-25 | 武汉智源泉信息科技有限公司 | 一种局部配准并行视频拼接方法及系统 |
-
2017
- 2017-04-14 CN CN201710244162.3A patent/CN108734655B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101277429A (zh) * | 2007-03-27 | 2008-10-01 | 中国科学院自动化研究所 | 监控中多路视频信息融合处理与显示的方法和系统 |
| US20110164108A1 (en) * | 2009-12-30 | 2011-07-07 | Fivefocal Llc | System With Selective Narrow FOV and 360 Degree FOV, And Associated Methods |
| CN102006425A (zh) * | 2010-12-13 | 2011-04-06 | 交通运输部公路科学研究所 | 一种基于多摄像机的视频实时拼接方法 |
| CN102402855A (zh) * | 2011-08-29 | 2012-04-04 | 深圳市蓝盾科技有限公司 | 用于智能交通的双摄像机实时全景视频融合方法及系统 |
| CN103686084A (zh) * | 2013-12-10 | 2014-03-26 | 中国航天科工集团第四研究院 | 一种用于多无人机协同实时侦察的全景视频监控方法 |
| CN105100640A (zh) * | 2015-01-23 | 2015-11-25 | 武汉智源泉信息科技有限公司 | 一种局部配准并行视频拼接方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 周杰 等: "一种新的邻域搜索特征点匹配算法", 《兰州理工大学学报》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110620911A (zh) * | 2019-09-24 | 2019-12-27 | 北京迈格威科技有限公司 | 摄像头的视频流处理方法、装置和终端设备 |
| CN110620911B (zh) * | 2019-09-24 | 2021-06-22 | 北京迈格威科技有限公司 | 摄像头的视频流处理方法、装置和终端设备 |
| CN111145545A (zh) * | 2019-12-25 | 2020-05-12 | 西安交通大学 | 基于深度学习的道路交通行为无人机监测系统及方法 |
| CN111260561A (zh) * | 2020-02-18 | 2020-06-09 | 中国科学院光电技术研究所 | 一种可用于掩模版缺陷检测的快速多图拼接方法 |
| CN112133104A (zh) * | 2020-08-21 | 2020-12-25 | 浙江大华技术股份有限公司 | 一种车辆信息检测方法、装置、系统及存储介质 |
| CN112133104B (zh) * | 2020-08-21 | 2022-11-01 | 浙江大华技术股份有限公司 | 一种车辆信息检测方法、装置、系统及存储介质 |
| CN112395543A (zh) * | 2020-10-12 | 2021-02-23 | 中国兵器科学研究院 | 一种装备体系侦察能力评估方法、装置、设备及介质 |
| CN112395543B (zh) * | 2020-10-12 | 2024-04-16 | 中国兵器科学研究院 | 一种装备体系侦察能力评估方法、装置、设备及介质 |
| WO2022088072A1 (zh) * | 2020-10-30 | 2022-05-05 | 深圳市大疆创新科技有限公司 | 视觉跟踪方法、装置、可移动平台及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108734655B (zh) | 2021-11-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108734655A (zh) | 空中多节点实时侦查的方法及系统 | |
| CN111145545B (zh) | 基于深度学习的道路交通行为无人机监测系统及方法 | |
| CN110674746B (zh) | 一种应用视频空间关系辅助实现高精度跨镜追踪的方法、装置、计算机设备以及存储介质 | |
| WO2018103408A1 (zh) | 一种无人机勘查交通事故现场的航拍图像采集方法及系统 | |
| CN104168455B (zh) | 一种空基大场景摄像系统及方法 | |
| CN104155006B (zh) | 一种手持红外热像仪及其对小目标快速锁定测距的方法 | |
| CN105898216B (zh) | 一种利用无人机进行的人数计数方法 | |
| CN103795976B (zh) | 一种全时空立体可视化方法 | |
| US9182228B2 (en) | Multi-lens array system and method | |
| CN105700547B (zh) | 一种基于导航飞艇的空中立体视频街景系统及实现方法 | |
| KR102203135B1 (ko) | 드론을 이용한 인공지능 기반 재난 피해정보 탐지 방법 및 시스템 | |
| CN104794468A (zh) | 一种基于无人机动平台的人脸检测与跟踪方法 | |
| CN107016704A (zh) | 一种基于增强现实的虚拟现实实现方法 | |
| RU2498378C1 (ru) | Способ получения изображения земной поверхности с движущегося носителя и устройство для его осуществления | |
| CN107038714B (zh) | 多型视觉传感协同目标跟踪方法 | |
| CN106056624A (zh) | 无人机高清图像小目标检测与跟踪系统及其检测跟踪方法 | |
| CN107451527A (zh) | 一种基于无人机的大型公共场所搜寻系统 | |
| CN110276286B (zh) | 一种基于tx2的嵌入式全景视频拼接系统 | |
| CN105892638A (zh) | 一种虚拟现实交互方法、装置和系统 | |
| CN108737743A (zh) | 基于图像拼接的视频拼接装置及视频拼接方法 | |
| CN106060523A (zh) | 全景立体图像采集、显示方法及相应的装置 | |
| CN102291568A (zh) | 一种大视场智能化视频监控系统的加速处理方法 | |
| CN105070204A (zh) | 一种微型amoled光学显示器 | |
| CN108195359B (zh) | 空间数据的采集方法及系统 | |
| CN113034398A (zh) | 基于人工智能的城市测绘果冻效应消除方法与系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |