CN102760301A - 图像控制点交互编辑系统 - Google Patents

Abstract

本发明提供一种影像控制点交互编辑系统，其特征在于，包括：用于协调各单元之间的数据传输以及功能调度的中央处理单元；用于管理图像数据与控制点数据，并进行运算的数据处理单元；能够获取硬件状态参数，并将其转换为用户指令的信息指令单元；用于查看图像数据、控制点数据以及监控用户操作响应的图形界面单元；和具有左右两个摇杆、多个功能按键和力反馈响应的手柄。本发明的图像控制点交互编辑系统，能够在图像控制点编辑时同时移动缩放待处理图像数据与参考数据，并且需要在编辑与查看状态间不停切换。此外，还能够降低编辑中出现人为失误的机会，并且能够低成本地实现。

Description

图像控制点交互编辑系统

技术领域

本发明涉及一种图像控制点交互编辑系统，特别是涉及用于对摄影测量与遥感等领域的图像控制点进行浏览和编辑的系统。

背景技术

目前在国内外摄影测量与遥感领域中，控制点匹配是遥感图像几何纠正的必要数据。虽然在一定程度上可以实现通过自动算法搜索匹配图像控制点或立体像对同名点，但是人工检查与编辑依然是目前实际生产中不可取代的重要环节，在此环节中通常使用传统的计算机外接设备例如计算机的标准鼠标或专用的电子手轮与踏板作为操作设备，利用这些外接设备对图像对分别进行移动与缩放操作。

在用传统方式获取图像控制点的周期较长，大量工作是靠人工手动的选取，控制点的精度受操作员的熟练程度、技术水平、自身条件的影响，并且由于设备的不便捷，导致工作量大且自动化程度不高，控制点资料的重复利用性能较差。在使用鼠标作为操作设备时，操控性差，并且工作效率低下。在使用专用手轮与踏板的情况下，造价高，占用空间大，并且由于目前市场上没有标准产品，通用性不强。如何高效地浏览及编辑图像控制点成为人们越来越关注的问题。

发明内容

于是，本发明的目的在于提供一种图像控制点交互编辑系统，其能够低成本且更简便、高效地实现对图像控制点的浏览与编辑。

本发明提供一种影像控制点交互编辑系统，其特征在于，包括：用于协调各单元之间的数据传输以及功能调度的中央处理单元；用于管理图像数据与控制点数据，并进行运算的数据处理单元；能够获取硬件状态参数，并将其转换为用户指令的信息指令单元；用于查看图像数据、控制点数据以及监控用户操作响应的图形界面单元；和具有左右两个摇杆、多个功能按键和力反馈响应的手柄。

在本发明的影像控制点交互编辑系统中，上述数据处理单元监控图像数据与已有的控制点数据信息，接受并发送相应的对控制点的编辑指令，并且上述数据处理单元通过已有控制点估算选定几何模型的模型参数，并给出每个控制点的残差值，上述中央处理单元监控实时的用户操作状态信息，并进行其他单元之间的指令数据的格式转换与转发，并且，上述中央处理单元在用户操作异常或检测到当前图像控制点异常时，对上述信息指令单元发出指令，上述信息指令单元将指令转换为电信号传送至上述通用游戏手柄，使手柄产生力反馈响应，上述图形界面单元监控显示状态数据，以一定的刷新率对显示设备发送显示指令，使上述显示设备按照其监控的显示状态显示图像数据以及控制点标记，上述信息指令单元按照一定频率获取上述通用游戏手柄的摇杆以及按键的当前状态，并通过分析和比对上述通用游戏手柄的上个时间段的状态，将其转换为上述中央处理单元可直接识别的指令消息，并发送至上述中央处理单元，同时，上述信息指令单元从操作系统中得到来自鼠标或键盘等通用输入设备的指令，转换为统一指令格式发送至上述中央处理单元。

发明效果

本发明的图像控制点交互编辑系统，能够在图像控制点编辑时同时移动缩放待处理图像数据与参考数据，并且需要在编辑与查看状态间不停切换。此外，利用手柄可以在作业中，能够接受应用软件发出的指令而自身响应，当出现操作错误或数据异常时能够提供更直观的反馈响应，降低了编辑中出现人为失误的机会，并且能够低成本地实现。

附图说明

图1为表示本发明的图像控制点交互编辑系统的结构示意图。

图2为表示本发明的图像控制点交互编辑系统的操作指令流程图。

图3为表示本发明的图像控制点交互编辑系统的图像显示界面的示意图。

图4为表示本发明的图像控制点交互编辑系统中的手柄功能按键的示意图。

附图标记说明：

F-左图像浏览窗口；G-右图像浏览窗口；I-控制点数据列表；H-当前位置十字标准线；a-左图像放大按键；b-左图像缩小按键；c-右图像放大按键；d-右图像缩小按键；e-向下切换控制点序列/向右微调左图像位置按键；f-向上切换控制点序列/向左微调左图像位置按键；k-向上微调左图像位置按键；l-向下微调左图像位置按键；g-删除当前图像控制点/向右微调右图像位置按键；h-添加当前图像控制点/向左微调右图像位置按键；m-向上微调右图像位置按键；n-向下微调右图像位置按键；i-编辑模式设定按键；j-撤销编辑操作按键；o-左摇杆；p-右摇杆。

具体实施方式

以下，结合附图对本发明的图像控制点交互编辑系统及其方法进行更具体的说明。

图1为表示本发明的图像控制点交互编辑系统的结构示意图。如图1所示，本发明的图像控制点交互编辑系统包括中央处理单元、数据处理单元、信息指令单元、图形界面单元和手柄。

其中，中央处理单元，用于协调各个单元之间的数据传输以及功能调度。数据处理单元，用于管理图像数据与控制点数据，并负责主要算法的实现。与上述硬件配伍工作的信息指令单元，能够获取硬件状态参数，将其转换为用户指令，使软硬件协同工作。图形界面单元，用于查看图像数据、控制点数据以及监控用户操作响应。手柄是具有左右两个摇杆、功能按键和力反馈的输入装置。

如图1所示，当本发明的系统处于工作状态时，数据处理单元监控(维护)图像数据(影像数据)与已有的控制点数据信息，接受并发送相应的对控制点的编辑指令，包括进行添加、删除以及修改等。数据处理单元还包含几何函数模型以及解算功能，通过已有控制点估算选定几何模型的模型参数，并给出每个控制点的残差值。

中央处理单元监控实时的用户操作状态信息，并负责其他单元之间的指令数据的格式转换与转发。同时，中央处理单元在用户操作异常(如移动、缩放指令越界)或检测到当前图像控制点包含异常(如控制点残差超限)时，对信息指令单元发出指令，信息指令单元将指令转换为电信号传送至手柄，使手柄产生力反馈响应。

图形界面单元监控显示状态数据(包括当前的显示区域、缩放比例)，图形界面单元以一定的刷新率对计算机显示设备发送显示指令，使显示设备按照其监控的显示状态显示图像数据以及控制点标记。该图形界面单元通过从中央处理单元获取指令，改变其显示状态信息，其界面布局如附图3所示。

信息指令单元按照一定频率获取手柄的摇杆以及按键的当前状态，并通过分析和比对其上个时间段的手柄状态，将其转换为中央处理单元可直接识别的指令消息，并发送至中央处理单元。同时，信息指令单元也从操作系统中得到来自鼠标或键盘等通用输入设备的指令，转换为统一指令格式发送给中央处理单元。并且，信息指令单元亦可从中央处理单元中获取力反馈指令，将该力反馈指令转换为电信号传送至手柄，使手柄产生力反馈响应。

图2为表示本发明的图像控制点交互编辑系统的操作指令流程图。如图2所示，将具有力反馈功能的手柄与计算机相应硬件接口(如1394接口、USB、COM、打印机或蓝牙等无线接口等)连接，在计算机操作系统内安装手柄厂商提供的驱动程序。

在操作系统上运行配套软件用例，用例的信息指令单元检测手柄的连接状态，手柄连接良好的状态下，打开与手柄的数据通信接口，并持续监控该接口；若在初始或程序运行中手柄连接发生异常，则向中央处理单元发出程序挂起指令，提示用户正确连接手柄，直到连接良好。

中央处理单元接收用户打开图像数据或控制点数据的指令，将其发送至数据处理单元，由数据处理单元载入数据。当数据中包含已有控制点时，数据处理单元根据用户选定的几何模型关系进行参数解算，并计算每个控制点在选定函数关系下的残差。

中央处理单元将附加显示比例与显示位置信息(初始信息可由用户设置)的指令发送至图形界面单元，图形界面单元从数据处理单元中获取图像数据块以及该区域内包含的控制点，控制显示设备将其显示出来。并且，图形界面单元从数据处理单元中获取控制点数据，并将其列表显示。

手柄进入工作状态后，相应的寄存器内实时更新按键和摇杆所处的状态，该状态可随时被计算机通过硬件接口获取。手柄内包含可被计算机修改的寄存器，手柄通过该寄存器内的电平控制马达转速以实现力反馈功能。

当数据载入后信息指令单元开始以一定频率检测手柄按键与摇杆的操作状态，并将其存入单元内，参照预定义的按键功能分配，通过比对时间段之间的手柄状态判定手柄上特定的按键是否完成了双击或单击操作，或是否处于持续按下的状态。将该信息转换为对应的功能指令，并将其发送给中央处理单元。

中央处理单元在接受指令后判定指令内容，若为数据修改信息，则将其传递给数据处理单元，由数据处理单元进行响应。若指令包含图形显示变更信息，则更新中央处理单元内部的视图信息，并将其传递至图形界面单元。

当用户从手柄发出的指令在中央处理单元内被判定为操作异常时，则不转发该指令，而根据预定义的操作异常的类别向信息指令单元发出对应强度的力反馈指令，由信息指令单元控制手柄产生震动以提示用户。

当中央处理单元接收到当前控制点切换指令时，则将当前显示位置调整至更新后的当前控制点处，通知图形界面单元更新显示。并且，从数据处理单元中获取该控制点残差信息，若判定控制点残差超限，则根据残差的超限程度对信息指令单元发出相应强度力反馈指令，由信息指令单元控制手柄产生震动以提示用户。

数据处理单元接收到控制点编辑指令时执行指令，并通知图形界面单元更新控制点数据显示。

当编辑工作完成时，由用户发出数据关闭指令，中央处理单元则向数据处理单元发出消息，由数据处理单元将计算机内存的控制点数据保存至外存储设备中。并且，向图形界面单元发出指令，使其清空图像显示与控制点列表，并进入挂起状态停止刷新显示。

图3所示为本发明的图像控制点交互编辑系统的图像显示界面的示意图。如图3所示，图像界面用例是显示在图像截面单元的图像内容，左侧上方显示窗口为左图像浏览窗口F，右侧上方显示窗口为右图像浏览窗口G，下方显示窗口为控制点数据列表I，在上方左右两个窗口中的十字形交叉线为当前位置十字标准线H。

图4为表示本发明的图像控制点交互编辑系统中的手柄的功能按键示意图。如图4所示，手柄包括：左图像放大按键a、左图像缩小按键b、右图像放大按键c、右图像缩小按键d、向下切换控制点序列/向右微调左图像位置按键e、向上切换控制点序列/向左微调左图像位置按键f、向上微调左图像位置按键k、向下微调左图像位置按键l、删除当前图像控制点/向右微调右图像位置按键g、添加当前图像控制点/向左微调右图像位置按键h、向上微调右图像位置按键m、向下微调右图像位置按键n、编辑模式设定按键i、撤销编辑操作按键j、左摇杆o、右摇杆p和反馈响应装置。

其中，编辑模式设定按键i用来设定当前的工作模式是编辑模式还是非编辑模式。

向下切换控制点序列/向右微调左图像位置按键e在系统工作在非编辑模式时，功能为切换控制点序列中的下个控制点为当前编辑控制点。当系统工作模式在编辑模式时，功能为向右微调左图像位置。

向上切换控制点序列/向左微调左图像位置按键f在系统工作在非编辑模式时，功能为切换控制点序列中的上个控制点为当前编辑控制点。当系统工作模式在编辑模式时，功能为向左微调左图像位置。

删除当前图像控制点/向右微调右图像位置按键g在系统工作在非编辑模式时，功能为双击删除当前图像控制点。当系统工作模式在编辑模式时，功能为向右微调右图像位置。

添加当前图像控制点/向左微调右图像位置按键h在系统工作在非编辑模式时，功能为撤销前次编辑操作(包括撤销一次添加、删除控制点以及控制点修改)。当系统工作模式在编辑模式时，功能为向左微调右图像位置。

左摇杆o和右摇杆p是用来对图像界面用例中的左右图像进行移动操作。

手柄还具有反馈响应功能。该反馈响应功能可以接收在操作异常等特殊情况下由中央处理单元发送的反馈指令，接收到指令后，手柄的反馈响应装置会产生振动，以提示用户操作异常等特殊信息。

以下，对本发明的图像控制点交互编辑系统的操作以实例进行说明。本发明的图像控制点交互编辑系统，可采用普通个人计算机的通用设备，在极低的成本条件下提供较好的操控性，进行图像移动、缩放、控制点查看编辑等操作。具体而言，可采用个人计算机的主机作为中央处理单元和数据处理单元，个人计算机的输入输出接口和所连接的兼容性的鼠标、数位绘图板、触摸板等作为信息指令单元，个人计算机的图形显示模块和所连接的兼容性的显示器或投影仪等作为图像界面单元，具有力反馈响应功能的手柄用来控制点编辑操作。

具体技术方案如下：

采用编辑软件实现用户和中央处理单元和数据处理单元的交互接口，并实现各项操作功能的调度。该编辑软件可以通过信息指令单元获取外接设备和手柄的状态参数，并将其转换为用户指令，实现编辑和显示。

编辑软件接口通过调用操作系统以及驱动程序提供的接口获取手柄的状态，根据判断游戏手柄按键及摇杆的状态对控制点编辑软件发出操控指令。

编辑软件图形界面，用于查看图像底图、图像控制点、以及系统功能操作，编辑软件界面布局如附图3所示，其接受指令进行图像控制点的编辑(包括底层图像的缩放、移动；图像控制点的切换、查看、添加、删除、修改等)。

图像控制点编辑用例在用户操作异常(如移动、缩放指令越界)或当前图像控制点包含异常(如控制点残差超限)时，对手柄硬件接口发出指令，使手柄产生力反馈响应。

用例软件至少包含浏览模式与编辑模式两种工作状态，浏览模式用于浏览查看图像数据，编辑用于对图像控制点进行编辑修改。

手柄上左右两个摇杆功能设置为左右图像移动，手柄按键功能映射可由用户进行自定义，其默认按键功能如附图4所示。

下面以Microsoft Windows 7 32位操作系统下构建本发明涉及的装置与搭建应用软件为例解释本发明具体操作方式：

选用USB接口的具有力反馈响应功能的手柄，按键布局如图4，将其连接到计算机对应硬件接口，并在计算机上安装手柄厂商提供的驱动程序。

在软件接口中通过操作系统扩展功能提供的DirectInput初始化手柄。

在软件接口中设置计时器，以固定时间频率(每20毫秒一次)向DirectInput发出请求，获取当前手柄的按键与摇杆操控状态。

将获取的手柄状态通过软件接口中的解释器进行解释，把按键指令转换为消息指令(如按键单击、按键双击、按键长按等)。

将消息指令发送给上层编辑软件指令接口，由上层应用软件响应用户指令，并反映在图形界面上。

编辑软件指令接口为通用接口，可兼容通用键盘鼠标的操作，以在手柄接口出现故障或功能缺陷时完成工作。

应用编辑软件检测到用户操作出现错误，或当前查看图像控制点出现异常时发出反馈指令，由DirectInput控制手柄根据固定模式产生一组力反馈响应。

本发明的图像控制点交互编辑系统，能够在图像控制点编辑时同时移动缩放待处理图像数据与参考数据，并且需要在编辑与查看状态间不停切换。此外，利用手柄可以在作业中，能够接受应用软件发出的指令而自身响应，当出现操作错误或数据异常时能够提供更直观的反馈响应，降低了编辑中出现人为失误的机会，并且能够低成本地实现。

Claims (2)

1.一种影像控制点交互编辑系统，其特征在于，包括：

用于协调各单元之间的数据传输以及功能调度的中央处理单元；

用于管理图像数据与控制点数据，并进行运算的数据处理单元；

能够获取硬件状态参数，并将其转换为用户指令的信息指令单元；

用于查看图像数据、控制点数据以及监控用户操作响应的图形界面单元；和

具有左右两个摇杆、多个功能按键和力反馈响应的手柄。

2.如权利要求1所述的影像控制点交互编辑系统，其特征在于：

所述数据处理单元监控图像数据与已有的控制点数据信息，接受并发送相应的对控制点的编辑指令，并且所述数据处理单元通过已有控制点估算选定几何模型的模型参数，并给出每个控制点的残差值，

所述中央处理单元监控实时的用户操作状态信息，并进行其他单元之间的指令数据的格式转换与转发，并且，所述中央处理单元在用户操作异常或检测到当前图像控制点异常时，对所述信息指令单元发出指令，所述信息指令单元将指令转换为电信号传送至所述手柄，使手柄产生力反馈响应，

所述图形界面单元监控显示状态数据，以一定的刷新率对显示设备发送显示指令，使所述显示设备按照其监控的显示状态显示图像数据以及控制点标记，

所述信息指令单元按照一定频率获取所述手柄的摇杆以及按键的当前状态，并通过分析和比对所述手柄的上个时间段的状态，将其转换为所述中央处理单元可直接识别的指令消息，并发送至所述中央处理单元，同时，所述信息指令单元从操作系统中得到来自鼠标或键盘等通用输入设备的指令，转换为统一指令格式发送至所述中央处理单元。

Images