CN102137215A - 基于双缓冲机制的无人机航空像片立体判读仪及判读方法 - Google Patents

Abstract

本发明属于无人机信息处理和立体视觉技术领域，具体涉及一种基于双缓冲机制的无人机航空像片立体判读仪及判读方法，该判读仪由数据处理工作站、解算主控箱、扫描仪、立体驱动器、手柄和立体眼镜六个部分组成。针对光学判读无法对像片进行处理的问题，所述判读方法提出了面向判读的图像增强、色调调整、几何校正等处理方法，提高了无人机航空像片数字影像的质量，为提高判读准确性提供了必要的保障；提出了像片数字立体影像生成的方法，在不需要任何人工干预的情况下自动提取立体像对，满足了数字立体判读的需要；可以方便地进行无级放大与判读影像漫游操作，可以自动进行立体像对的校正、显示与整体判读操作，提高了判读的效率，降低了处理成本。

Description

基于双缓冲机制的无人机航空像片立体判读仪及判读方法

【技术领域】

本发明属于无人机信息处理和立体视觉技术领域，具体涉及一种基于双缓冲机制的无人机航空像片立体判读仪及判读方法。

【背景技术】

判读是无人机航空像片中提取信息的主要手段，从判读方法来看，判读主要依据航空像片的色调、大小、形状、阴影、位置以及活动特征；从判读设备来看，主要借助放大镜和立体镜。

目前，无人机航空像片判读使用的设备主要是光学放大镜和光学立体镜，光学判读设备存在以下缺点：

(1)光学放大镜的放大倍数固定，无法实现多种放大模式操作，且只能对像片很小部分进行放大，在判读中仅仅起到辅助作用；

(2)使用光学立体镜判读可以再现地形的高低起伏和目标高低，但是前提必须制作立体像对和正确摆放像对，立体像对的制作耗时耗力，同时，光学立体判读也仅仅适用于像对的部分区域，不能同时对整体区域进行立体判读；

(3)采取光学判读方式处理周期长、每次判读结果无法保存、无法实现数据共享。

【发明内容】

本发明的目的在于针对当前光学判读存在的缺点，提供一种基于双缓冲机制的无人机航空像片立体判读仪，本发明的另一目的是提供该立体判读仪的判读方法。

本发明的技术方案是：基于双缓冲机制的无人机航空像片立体判读仪，包括：

基于双缓冲机制的无人机航空像片立体判读仪，所述判读仪包括胶片扫描仪、立体眼镜及用于控制影像移动的手柄，还包括：

(1)数据处理工作站，用于完成像片数据处理与判读作业，包括影像预处理模块、立体影像提取模块、数字判读模块、判读影像数据管理模块四个软件模块：

a.所述影像预处理模块由图像噪声处理、图像几何校正、图像增强三个子模块组成，用于解决图像噪声、几何变形以及色调不均问题，在对无人机航空像片进行影像预处理时，先检测斑点噪声指标，若超过3.0，则进行噪声滤波；若滤波后斑点噪声指标仍超过阈值，则循环进行噪声滤波；依据输入的像片内方位元素，依据仿射变换进行影像几何校正；校正后中误差若大于0.05mm，则依据透视变换重新进行影像几何校正；针对图像灰度和色调分布不均情况进行图像增强；

b.所述立体影像提取模块用于实现具有重叠度的两张像片的同名点的自动匹配、粗差剔除以及立体像对自动提取，先在两张经过影像预处理的像片重叠区内部进行影像匹配，搜索同名点，同名点的数量要大于100对以上，然后对匹配的结果进行粗差检测，剔除误差大于阈值的同名点，再判断同名点的个数，若小于90，则重新进行影像匹配，增加同名点的数量，直至满足要求，最后按照核线逐行进行立体像对自动提取；

c.所述数字判读模块在外部硬件的支持下用于实现像片平面判读、立体判读、立体漫游、判读成果上报，基于所述立体影像提取模块输入的立体像对，计算并判读区域中心的左右视差是否大于2.0像素，若大于2.0像素，则调整立体像对的位置关系；直接输入预处理后的像片，进行平面判读，判读过程中，可调用判读数据库中的判读样片进行比较判读；在外设支持下进行立体漫游，扩大判读区域，若区域超出该像对区域，则自动调用相邻像对的影像数据，最后将平面判读和立体判读的判读结果提交到判读影像数据库；

d.判读影像数据管理模块用于实现无人机航空像片的判读学习、判读影像制作、判读数据资源共享，具体包括：输入判读影像实例以及标注信息；按照规范制作判读影像，并输入判读影像数据库；依据判读学习的需要，调出影像实例进行学习；

(2)立体驱动器，用于立体显示与立体判读控制，在立体判读过程中，与所述立体眼镜通过红外通信实现立体像片的左右影像的交互显示；

(3)解算主控箱，是立体驱动器和处理计算机的连接装置，其作用是实现立体影像的双缓冲控制、立体影像边界控制、漫游控制、匹配解算控制功能，同时实现判读成果数据的一键上报。

基于双缓冲机制的无人机航空像片立体判读仪的判读方法，包括以下步骤：

a.扫描数字化：

使用所述胶片扫描仪和预览设备对无人机航空像片进行半自动化扫描数字化；

b.噪声抑制：

将数字化后的航空像片数据输入数据处理工作站，采用空间滤波方法对其进行噪声抑制处理，减少像片本身存在的颗粒噪声、数字化过程中的变换噪声和量化噪声；

c.几何校正：

依据所述航空像片的内方位元素表和像片框标的测量值，对所述航空像片在成像过程所产生的几何变形进行几何校正，减小几何变形对判读的影响；若出现像片亮度分布不均或曝光不足情况，在几何校正过程还需进行图像增强处理；

d.立体像对提取：

采用影像匹配方法，对经过几何校正等预处理后的具有重叠度的两张像片进行同名点匹配计算，并对匹配结果进行粗差检测，剔除误差允许范围外的点对，基于匹配点对，对重叠区影像进行分块立体提取，尽可能消除上下视差，保留左右视差，完毕后将分块立体进行合成，最终实现立体像对提取；

e.数字判读：

对于经过预处理后的单张像片，通过所述数字判读模块进行平面判读；对立体像对，是外部硬件的支持下进行数字立体判读，在立体判读过程中，通过所述手柄改变立体夸张比例，并通过所述解算主控箱实现立体漫游功能；

f.判读成果上报：

在判读成果上报软件界面上填写平面判读和立体判读的相关信息后进行提取，进入判读管理数据库，判读结果即包含目标的性质的结论，也包含判读影像的航摄相关信息，便于事后判读学习与判读影像制作的需要；

g.数据分发与共享：

在所述判读管理数据库中，将单张像片和对应的立体像对以及判读成果压缩成数据包，通过网络发送给其它用户。

本发明的优点在于：现申请的技术与现有技术相比具有以下有益效果：

1.自动化程度高。在判读像片制作过程中，人工干预少，克服传统光学判读像片处理完全依靠人工操作的缺点。

2.立体判读效果好。数字立体判读克服了光学立体判读无法调整立体夸张比例的问题，同时可以对整幅立体像对进行漫游，立体效果好，判读操作人员无需人工经验即可轻松观察出立体影像。

3.处理方法灵活、效率高。采取数字处理利于各种处理环节的实施与撤销，可方便进行噪声抑制、几何校正与图像增强等操作，且处理速度快，这些都是现有判读技术无法实现的。

4.数据利用率高。该仪器实现了判读数据的资源共享，提高了像片资源和判读成果的利用率，克服了传统光学像片共享难、传输慢等问题。

【附图说明】

下面参照附图结合实施例对本发明作进一步的描述。

图1为本发明的结构示意图，

图2为影像预处理流程图，

图3为立体影像提取流程图，

图4为数字判读作业流程图，

图5为判读影像数据管理作业流程图。

【具体实施方式】

本判读仪由数据处理工作站、解算主控箱、扫描仪、立体驱动器、手柄和立体眼镜六个部分组成，组成如图1所示。

1.数据处理工作站

数据处理工作站是整个仪器的核心部分，主要完成像片数据处理与判读工作，主要由预处理模块、立体影像提取模块、数字判读模块、判读影像数据管理模块四个部分组成。

预处理模块由图像噪声处理、图像几何校正、图像增强三个子模块组成，解决了图像噪声、几何变形以及色调不均等问题。

影像预处理步骤为：

(1)检测斑点噪声指标，若超过3.0，则进行噪声滤波；

(2)若滤波后斑点噪声指标仍超过阈值，则循环进行噪声滤波；

(3)依据输入的像片内方位元素，依据仿射变换进行影像几何校正；

(4)校正后中误差，若大于0.05mm，则依据透视变换重新进行影像几何校正；

(5)针对图像灰度和色调分布不均情况进行图像增强。

影像预处理流程图如图2所示。

立体影像提取模块可以实现具有重叠度的两张像片的同名点的自动匹配、粗差剔除以及立体像对自动提取的功能。

立体影像提取的步骤为：

(1)在两张像片的重叠区内部进行影像匹配，搜索同名点，同名点的数量要大于100对以上；

(2)对匹配的结果进行粗差检测，剔除误差大于阈值的同名点；

(3)判断同名点的个数，若小于90，则重新进行影像匹配，增加同名点的数量，直至满足要求；

(4)按照核线逐行进行立体像对自动提取。

流程图如3所示。

数字判读模块在外部硬件的支持下可以实现像片平面判读、立体判读、立体漫游、判读成果上报等功能。

数字判读的作业步骤为：

(1)输入立体像对，计算判读区域中心的左右视差是否大于2.0像素，若大于，则调整像对的位置关系；

(2)直接输入预处理后的像片，进行平面判读。判读过程中，可调用判读数据库中的判读样片进行比较判读；

(3)在手柄等外设的支持下，进行立体漫游，扩大判读区域，若区域超出该像对区域，则自动调用相邻像对的影像数据；

(4)将平面判读和立体判读的判读结果提交到判读影像数据库(判读结果包括目标的属性和图像块)。

数字判读的作业流程如图4所示。

判读影像数据管理模块可以实现无人机航空像片的判读学习、判读影像制作、判读数据资源共享等功能。

判读影像数据管理的作业步骤为：

(1)输入判读影像实例以及标注信息；

(2)按照规范，制作判读影像，并输入判读影像数据库；

(3)依据判读学习的需要，调出影像实例进行学习；

(4)判读影像数据库采取分布式数据库模式，通过网络和客户端进行访问。

判读影像数据管理的作业流程如图5所示。

2.解算主控箱

解算主控箱是立体驱动器和处理计算机的连接装置，主要实现立体影像的双缓冲控制、立体影像边界控制、漫游控制、匹配解算控制等功能，同时也可实现判读成果数据的一键上报。

3.胶片扫描仪

像片数字化设备，完成航空像片的数字影像生成，满足后期的数字化判读处理需要，数字化过程要综合考虑扫描分辨率与摄影航高、判读目标大小、判读用途等因素的关系，过高分辨率会降低处理速度，过低分辨率会影像判读质量，需要权衡处理。

4.立体驱动器

立体显示与立体判读的控制设备，具有显示的倍频、红外通信等功能，在立体判读过程中，立体驱动器与立体眼镜通过红外通信实现立体像片的左右影像的交互显示，满足判读需要。

5.手柄

影像移动控制用外设，同时能够完成判读点、线、面的快速绘制与选择功能。

6.立体眼镜

立体眼镜为光闸型液晶立体眼镜，与立体驱动器一起实现立体判读功能。

(二)判读方法及流程

仪器的简要操作过程为：

1.扫描数字化

使用胶片扫描仪和预览设备对航空像片进行半自动化扫描数字化。

2.噪声抑制

数字化后的像片进入处理计算机，对其进行噪声抑制处理，采用空间滤波方法进行处理，减少像片本身存在的颗粒噪声、数字化过程中的变换噪声和量化噪声对像片本身质量的影响。

3.几何校正

依据像片的内方位元素表和像片框标的测量值，对航空像片由于成像过程所产生的几何变形进行几何校正，减小几何变形对判读的影响。针对像片亮度分布不均、曝光不足等情况，在几何校正过程还可以选择进行图像增强处理。

4.立体像对提取

采用影像匹配方法，对经过几何校正等预处理后的具有重叠度的两张像片进行同名点匹配计算，并对匹配结果进行粗差检测，剔除误差允许范围外的点对，基于匹配点对，对重叠区影像进行分块立体提取，尽可能消除上下视差，保留左右视差，完毕后将分块立体进行合成，最终实现立体像对提取。

5.数字判读

对于经过预处理后的单张像片，可以通过判读模块进行平面判读，判读模块可以对图像进行无级缩放，也具有动态载入判读相册的功能，可以进行对比判读；对于立体像对，在外部硬件的支持下，进行数字立体判读，在立体判读过程中，通过手柄可改变立体夸张比例，通过解算主控箱可以实现立体漫游等功能。

6.判读成果上报

在判读成果上报软件界面上填写平面判读和立体判读的结论等相关信息后进行提取，进入判读管理数据库，判读结果即包含目标的性质的结论，也包含判读影像的航摄相关信息，便于事后判读学习与判读影像制作的需要。

7.数据分发与共享

在数据库中，将判读成果连同单张像片和立体像对压缩成一个数据包，根据需要发送给其它用户，其它用户也可通过网络进行数据下载。

本发明重点解决了像片立体像对自动提取、数字立体判读、数据共享等技术问题，具体体现在以下几个方面：

(1)解决了无人机航空像片数字预处理问题

针对光学判读无法对像片进行处理的问题，提出了面向判读的图像增强、色调调整、几何校正等处理方法，提高了无人机航空像片数字影像的质量，为提高判读准确性提供了必要的保障。

(2)解决了无人机航空像片立体像对自动提取问题

提出了像片数字立体影像生成的方法，在不需要任何人工干预的情况下自动提取立体像对，满足了数字立体判读的需要。

(3)实现了无人机航空像片的数字判读处理

设计并实现了像片数字化与判读处理，可以方便地进行无级放大与判读影像漫游操作，可以自动进行立体像对的校正、显示与整体判读操作，提高了判读的效率，降低了处理成本。

(4)实现了判读影像数据的资源共享

建立了无人机航空像片判读影像数据管理模型和实现机制，实现了航空像片的数字化管理和信息共享。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (3)

1.基于双缓冲机制的无人机航空像片立体判读仪，其特征在于：所述判读仪包括胶片扫描仪、立体眼镜及用于控制影像移动的手柄，还包括：

(1)数据处理工作站，用于完成像片数据处理与判读作业，包括影像预处理模块、立体影像提取模块、数字判读模块、判读影像数据管理模块四个软件模块：

a.所述影像预处理模块由图像噪声处理、图像几何校正、图像增强三个子模块组成，用于解决图像噪声、几何变形以及色调不均问题，在对无人机航空像片进行影像预处理时，先检测斑点噪声指标，若超过3.0，则进行噪声滤波；若滤波后斑点噪声指标仍超过阈值，则循环进行噪声滤波；依据输入的像片内方位元素，依据仿射变换进行影像几何校正；校正后中误差若大于0.05mm，则依据透视变换重新进行影像几何校正；针对图像灰度和色调分布不均情况进行图像增强；

b.所述立体影像提取模块用于实现具有重叠度的两张像片的同名点的自动匹配、粗差剔除以及立体像对自动提取，先在两张经过影像预处理的像片重叠区内部进行影像匹配，搜索同名点，同名点的数量要大于100对以上，然后对匹配的结果进行粗差检测，剔除误差大于阈值的同名点，再判断同名点的个数，若小于90，则重新进行影像匹配，增加同名点的数量，直至满足要求，最后按照核线逐行进行立体像对自动提取；

c.所述数字判读模块在外部硬件的支持下用于实现像片平面判读、立体判读、立体漫游、判读成果上报，基于所述立体影像提取模块输入的立体像对，计算并判读区域中心的左右视差是否大于2.0像素，若大于2.0像素，则调整立体像对的位置关系；直接输入预处理后的像片，进行平面判读，判读过程中，可调用判读数据库中的判读样片进行比较判读；在外设支持下进行立体漫游，扩大判读区域，若区域超出该像对区域，则自动调用相邻像对的影像数据，最后将平面判读和立体判读的判读结果提交到判读影像数据库；

d.判读影像数据管理模块用于实现无人机航空像片的判读学习、判读影像制作、判读数据资源共享，具体包括：输入判读影像实例以及标注信息；按照规范制作判读影像，并输入判读影像数据库；依据判读学习的需要，调出影像实例进行学习；

(2)立体驱动器，用于立体显示与立体判读控制，在立体判读过程中，与所述立体眼镜通过红外通信实现立体像片的左右影像的交互显示；

(3)解算主控箱，是立体驱动器和处理计算机的连接装置，其作用是实现立体影像的双缓冲控制、立体影像边界控制、漫游控制、匹配解算控制功能，同时实现判读成果数据的一键上报。

2.根据权利要求1所述基于双缓冲机制的无人机航空像片立体判读仪，其特征在于：所述立体眼镜为光闸型液晶立体眼镜。

3.权利要求1所述基于双缓冲机制的无人机航空像片立体判读仪的判读方法，其特征在于包括以下步骤：

a.扫描数字化：

使用所述胶片扫描仪和预览设备对无人机航空像片进行半自动化扫描数字化；

b.噪声抑制：

将数字化后的航空像片数据输入数据处理工作站，采用空间滤波方法对其进行噪声抑制处理，减少像片本身存在的颗粒噪声、数字化过程中的变换噪声和量化噪声；

c.几何校正：

依据所述航空像片的内方位元素表和像片框标的测量值，对所述航空像片在成像过程所产生的几何变形进行几何校正，减小几何变形对判读的影响；若出现像片亮度分布不均或曝光不足情况，在几何校正过程还需进行图像增强处理；

d.立体像对提取：

采用影像匹配方法，对经过几何校正等预处理后的具有重叠度的两张像片进行同名点匹配计算，并对匹配结果进行粗差检测，剔除误差允许范围外的点对，基于匹配点对，对重叠区影像进行分块立体提取，尽可能消除上下视差，保留左右视差，完毕后将分块立体进行合成，最终实现立体像对提取；

e.数字判读：

对于经过预处理后的单张像片，通过所述数字判读模块进行平面判读；对立体像对，是外部硬件的支持下进行数字立体判读，在立体判读过程中，通过所述手柄改变立体夸张比例，并通过所述解算主控箱实现立体漫游功能；

f.判读成果上报：

在判读成果上报软件界面上填写平面判读和立体判读的相关信息后进行提取，进入判读管理数据库，判读结果即包含目标的性质的结论，也包含判读影像的航摄相关信息，便于事后判读学习与判读影像制作的需要；

g.数据分发与共享：

在所述判读管理数据库中，将单张像片和对应的立体像对以及判读成果压缩成数据包，通过网络发送给其它用户。

Images