CN109542373A - 将低分辨率数据的特征应用到对应的高分辨率数据 - Google Patents

Abstract

本发明公开将低分辨率数据的特征应用到对应的高分辨率数据。在一些示例中，一种方法包括通过计算设备从远程传感器接收数据的低分辨率版本，以及通过所述计算设备接收用户输入以用于对所述数据的低分辨率版本作注释。在一些示例中，所述方法还包括通过所述计算设备、基于所述用户输入来确定对所述数据的低分辨率版本的一个或多个注释。在一些示例中，所述方法此外包括通过所述计算设备从远程传感器接收所述数据的高分辨率版本，以及通过所述计算设备将所述一个或多个注释自动地应用到所述数据的高分辨率版本。

Description

将低分辨率数据的特征应用到对应的高分辨率数据

本申请要求2017年9月21日提交的、申请号为2017110033494的印度临时专利申请的权益，所述专利申请的全部通过引用被并入本文中。

技术领域

本公开涉及高和低分辨率数据集的同步。

背景技术

远程、高分辨率传感器可以被配置成捕获实时数据并且通过通信信道将所述实时数据传输到计算设备。例如，用户（例如建筑物检查员）可以使用远程传感器、诸如无人飞行器（UAV）上的相机来检查基础设施、比如桥梁或建筑物。检查员可以使用计算设备、诸如膝上型电脑、平板设备、移动电话等等用于控制UAV、捕获UAV所拍摄的图像或视频，并且用于利用对检查进行记录的电子注解来对图像或视频作注释。

虽然计算设备可以能够处理（例如显示）由远程传感器实时地捕获的高分辨率数据，但是在计算设备和远程传感器之间的通信信道的可用带宽对于实时的、高分辨率数据传递而言可能是不足够的。

照此，一些远程传感器被配置成在本地存储高分辨率数据，并且实时地传输高分辨率数据的低分辨率版本。尽管计算设备能够接收并且几近实时地处理高分辨率数据的低分辨率版本，但是计算设备必须等待直到它接近远程传感器，用以下载本地存储的高分辨率数据。因此，在计算设备上所取得的、涉及低分辨率版本的任何注释或电子注解必须在稍后的时间被手动地应用到高分辨率数据。

发明内容

本公开针对如下技术：所述技术用于使得计算设备能够将与远程传感器所捕获的低分辨率数据相关联的注释自动地应用到远程传感器所捕获的对应的高分辨率数据。一设备可以接收由远程传感器所捕获的高分辨率数据的低分辨率版本、连同被应用到低分辨率数据的电子注释（例如标记、文本、高亮、元数据等等）。在分离地接收了对应的高分辨率数据之后，所述设备自动地标识与具有注释的低分辨率数据的部分相对应的高分辨率数据的单独部分。所述设备然后将来自低分辨率的注释应用到高分辨率数据的对应部分。

本发明的第一个方面涉及一种方法，包括：通过计算设备从远程传感器接收数据的低分辨率版本；通过所述计算设备接收用户输入以用于对所述数据的低分辨率版本作注释；

通过所述计算设备、基于所述用户输入来确定对所述数据的低分辨率版本的一个或多个注释；通过所述计算设备从远程传感器接收所述数据的高分辨率版本；以及通过所述计算设备、将所述一个或多个注释自动地应用到所述数据的高分辨率版本。

根据本发明的第一个方面，所述方法此外包括：将所述数据的低分辨率版本的特定分段匹配到所述数据的高分辨率版本的对应分段，其中将所述一个或多个注释自动地应用到所述数据的高分辨率版本包括将所述数据的低分辨率版本的特定分段的注释应用到所述数据的高分辨率版本的对应分段。

根据本发明的第一个方面，其中接收所述数据的低分辨率版本包括经由在计算设备和远程传感器之间的无线通信信道来接收所述数据的低分辨率版本。

根据本发明的第一个方面，其中接收所述数据的高分辨率版本包括从经由在计算设备和远程传感器之间的有线通信信道来接收所述数据的高分辨率版本。

根据本发明的第一个方面，其中所述数据包括图像，其中所述一个或多个注释包括在所述图像的低分辨率版本上的一个或多个标记，其中确定所述一个或多个标记包括确定在所述图像的低分辨率版本上的所述一个或多个标记的定位，其中所述方法此外包括确定与所述图像的低分辨率版本上的所述一个或多个标记的定位相关联的所述图像的高分辨率版本上的对应定位，以及其中将所述一个或多个标记自动地应用到所述图像的高分辨率版本包括将所述一个或多个标记自动地应用到所述图像的高分辨率版本上的对应定位。

根据本发明的第一个方面，其中确定所述图像的低分辨率版本上的所述一个或多个标记的定位包括：确定从所述图像的低分辨率版本的第一边到所述一个或多个标记的定位的第一百分比距离；以及确定从所述图像的低分辨率版本的第二边到所述一个或多个标记的定位的第二百分比距离；以及其中确定所述图像的高分辨率版本上的对应定位基于距所述图像的高分辨率版本的第一边的第一百分比距离，以及距所述图像的高分辨率版本的第二边的第二百分比距离。

根据本发明的第一个方面，所述方法此外包括：确定针对所述数据的低分辨率版本的第一时间戳；确定针对所述数据的高分辨率版本的第二时间戳；以及基于所述第一时间戳和第二时间戳来匹配所述数据的低分辨率版本与所述数据的高分辨率版本。

根据本发明的第一个方面，所述方法此外包括：确定在所述第一时间戳和第二时间戳之间的时间差；以及确定所述时间差小于阈值持续时间，其中匹配所述数据的低分辨率版本与所述数据的高分辨率版本此外基于确定所述时间差小于阈值持续时间。

根据本发明的第一个方面，其中确定所述一个或多个注释包括将所述一个或多个注释存储到与所述数据的低分辨率版本相关联的可扩展标记语言文件，以及其中自动地应用所述一个或多个注释包括关联所述可扩展标记语言文件与所述数据的高分辨率版本。

根据本发明的第一个方面，其中确定对所述数据的低分辨率版本的所述一个或多个注释包括确定在所述数据的低分辨率版本与检查元素之间的关联，以及其中将所述一个或多个注释自动地应用到所述数据的高分辨率版本包括将所述数据的高分辨率版本自动地关联到检查元素。

本发明的第二个方面涉及一种计算设备，其包括：通信模块，所述通信模块被配置成：从远程传感器接收数据的低分辨率版本；以及从远程传感器接收所述数据的高分辨率版本；输入设备，所述输入设备被配置成接收用户输入以用于对所述数据的低分辨率版本作注释；以及处理器，所述处理器被配置成：基于所述用户输入来确定对所述数据的低分辨率版本的一个或多个注释；以及将所述一个或多个注释自动地应用到所述数据的高分辨率版本。

根据本发明的第二个方面，其中所述处理器此外被配置成将所述数据的低分辨率版本的特定分段匹配到所述数据的高分辨率版本的对应分段，以及其中所述处理器被配置成将所述一个或多个注释自动地应用到所述数据的高分辨率版本，这通过至少将所述数据的低分辨率版本的特定分段的注释应用到所述数据的高分辨率版本的对应分段。

根据本发明的第二个方面，其中所述通信模块被配置成接收所述数据的低分辨率版本，这至少通过经由在计算设备和远程传感器之间的无线通信信道来接收所述数据的低分辨率版本，以及其中所述通信模块被配置成接收所述数据的高分辨率版本，这至少通过从经由在计算设备和远程传感器之间的有线通信信道来接收所述数据的高分辨率版本。

根据本发明的第二个方面，其中所述处理器被配置成确定所述一个或多个注释，这通过至少确定在图像的低分辨率版本上的一个或多个标记的定位，其中所述处理器此外被配置成确定与所述图像的低分辨率版本上的所述一个或多个标记的定位相关联的所述图像的高分辨率版本上的对应定位，以及其中所述处理器此外被配置成将所述一个或多个注释自动地应用到所述数据的高分辨率版本，这通过至少将所述一个或多个标记自动地应用到所述图像的高分辨率版本上的对应定位。

根据本发明的第二个方面，其中所述处理器被配置成通过至少如下来确定所述图像的低分辨率版本上的所述一个或多个标记的定位：确定从所述图像的低分辨率版本的第一边到所述一个或多个标记的定位的第一百分比距离；以及确定从所述图像的低分辨率版本的第二边到所述一个或多个标记的定位的第二百分比距离；以及其中所述处理器被配置成基于距所述图像的高分辨率版本的第一边的第一百分比距离以及距所述图像的高分辨率版本的第二边的第二百分比距离来确定所述图像的高分辨率版本上的对应定位。

根据本发明的第二个方面，其中所述处理器此外被配置成：确定针对所述数据的低分辨率版本的第一时间戳；确定针对所述数据的高分辨率版本的第二时间戳；确定在所述第一时间戳和第二时间戳之间的时间差；确定所述时间差小于阈值持续时间；以及基于确定了所述时间差小于阈值持续时间来匹配所述数据的低分辨率版本与所述数据的高分辨率版本。

根据本发明的第二个方面，其中所述处理器此外被配置成将所述一个或多个注释存储到与所述数据的低分辨率版本相关联的可扩展标记语言文件，以及其中所述处理器被配置成自动地应用所述一个或多个注释，这通过至少关联所述可扩展标记语言文件与所述数据的高分辨率版本。

根据本发明的第二个方面，其中所述处理器此外被配置成确定对所述数据的低分辨率版本的所述一个或多个注释，这通过至少确定在所述数据的低分辨率版本与检查元素之间的关联，以及其中所述处理器被配置成将所述一个或多个注释自动地应用到所述数据的高分辨率版本，这通过至少将所述数据的高分辨率版本自动地关联到检查元素。

本发明的第三个方面涉及一种包括指令的计算机可读存储介质，所述指令当被计算设备的至少一个处理器执行的时候配置所述至少一个处理器以：基于用户输入来确定对从远程传感器所接收的数据的低分辨率版本的一个或多个注释；以及将所述一个或多个注释自动地应用到从远程传感器所接收的所述数据的高分辨率版本。

根据本发明的第三个方面，其中所述指令当被所述至少一个处理器执行的时候此外配置所述至少一个处理器以将所述数据的低分辨率版本的特定分段匹配到所述数据的高分辨率版本的对应分段，以及其中所述指令当被所述至少一个处理器执行的时候配置所述至少一个处理器以将所述一个或多个注释自动地应用到所述数据的高分辨率版本，这通过至少将所述数据的低分辨率版本的特定分段的注释应用到所述数据的高分辨率版本的对应分段。

在附图和以下描述中阐明一个或多个示例的细节。从描述和附图中以及从权利要求中，其它特征、对象和优点将是显而易见的。

附图说明

图1是根据本公开的一些示例的示例系统的概念框图，所述示例系统包括示例计算设备，所述示例计算设备被配置成与远程传感器交换数据。

图2是根据本公开的一些示例的一流程图，其图示了被配置成将与低分辨率数据相关联的注释应用到对应的高分辨率数据的示例计算设备的示例操作。

图3是根据本公开的一些示例的一流程图，其图示了被配置成将与图像的低分辨率版本相关联的注释自动应用到图像的高分辨率版本的示例计算设备的示例操作。

图4是根据本公开的一些示例的一流程图，其图示了被配置成传输低分辨率数据并且保存高分辨率数据的示例系统的示例操作。

图5是根据本公开的一些示例的一流程图，其图示了被配置成创建检查作业文件的示例计算设备的示例操作。

图6A和6B是根据本公开的一些示例的包括用于注释的锚点的图像的概念图解。

具体实施方式

以下描述了各种示例，其使得计算设备或计算系统能够将来自低分辨率数据的注释自动应用到高分辨率数据。例如，计算设备可以从远程传感器（例如，当远程传感器捕获数据的时候几近实时地）接收低分辨率数据（图像、视频、音频等等）。远程传感器可以经由无线通信信道将数据的低分辨率版本传输到计算设备。无线通信信道与有线或局部通信信道相比可具有较小的容量，从所述有线或局部通信信道，计算设备稍后接收由远程传感器所捕获的数据的高分辨率版本。

图1是根据本公开的一些示例的示例系统的概念框图，所述示例系统包括示例计算设备，所述示例计算设备被配置成与远程传感器160交换数据170和172。图1包括经由链路而通信地耦合到远程传感器160的计算设备100。计算设备100包括显示器120、通信模块110、被配置成接收用户输入180的输入设备130，以及处理器140。计算设备100可以包括智能电话、平板设备、膝上型计算机、台式计算机或服务器。

通信模块110可以被配置成从远程传感器160接收数据170和172，其中低分辨率数据170可以包括数据的低分辨率版本，并且高分辨率数据172可以包括数据的高分辨率版本。通信模块110可以通过低容量通信信道、诸如无线通信信道从远程传感器160接收低分辨率数据170。低容量通信信道可以包括Wi-fi、蓝牙、无线电通信、或任何其它电磁信号。通信模块110可以通过高容量通信信道、诸如有线连接或移动存储设备从远程传感器160接收高分辨率数据172。有线连接可以包括通用串行总线（USB）或RS-232。移动存储设备可以包括拇指驱动器、SD卡、或外部存储设备（例如固态存储器或硬驱动器）。

显示器120可以被配置成将数据170和172呈现给用户。例如，显示器120可以包括视频数据或图像数据的可视呈现。显示器120还可以将传感器数据和/或元数据呈现给用户。显示器120可以呈现传感器数据，这通过呈现传感器读数（温度、压力、电导率、加速度或其它运动等等）的文本或图形表示。计算设备100还可以包括用于将音频数据放映给用户的构件，诸如（多个）扬声器。

输入设备130可以被配置成接收用户输入180，用于对数据170和/或172作注释。输入设备130可以包括键盘、鼠标、触摸板、触摸屏等等。用户输入180可以包括图像和视频上的标记，或在数据170和172的分段与位置之间的关联（例如关联图像与桥上的位置）。用户输入180可以包括文本、高亮、图画和/或语音注解。用户输入180还可以包括元数据、诸如文件名或注解。计算设备100经由输入设备130可以接收用户输入180，所述用户输入180使得计算设备100在通信模块110接收低分辨率数据170的时候对低分辨率数据170作注释或修改。例如，用户可以通过如下来对低分辨率数据170作注释：在图像上标记或写入、在低分辨率数据170上作注解，和/或添加或修改元数据。

处理器140可以被配置成基于用户输入180来确定对数据的低分辨率的一个或多个注释。处理器140可以确定并且保存图像上的标记或图画的定位。处理器140还可以保存有关于图像的文本或元数据。处理器140可以被配置成将有关于用户输入180的注释从低分辨率数据170传递到高分辨率数据172。通信模块110可以在接收高分辨率数据172之前接收低分辨率数据170，并且显示器120可以将低分辨率数据170呈现给用户。处理器140可以被配置成将所述一个或多个注释存储到存储器设备，并且稍后将用户输入180传递到高分辨率数据172。

处理器140可以在与低分辨率数据170相关联的可扩展标记语言（XML）文件中存储注释。在一些示例中，注释可以被存储在文本文件中或以任何其它合适的文件格式来被存储。为了将注释自动地应用到高分辨率数据172，处理器140可以被配置成关联XML文件与高分辨率数据172。可替换地，处理器140可以被配置成在与低分辨率数据170相同的位置（即包含低分辨率数据170的文件位置）中存储注释。注释可以被存储在包含低分辨率数据170的文件中，其中所述注释可以是与低分辨率数据170分离的层。在一些示例中，注释可以包括图像上的标记、高亮、文本、涂写等等，并且处理器140可以被配置成将注释存储在图像文件中，作为与图像分离的层。处理器140然后可以被配置成将来自低分辨率数据170的文件位置的注释传递或应用到高分辨率数据172的文件位置或者传递或应用到相关联的文件位置（例如XML文件）中。

处理器140可以被配置成将低分辨率数据170（例如较高分辨率图像的低分辨率版本）的分段匹配到高分辨率数据172的分段。处理器140可以在通信之后将注释自动地应用到数据的高分辨率版本。在一些示例中，在应用注释之前，计算设备100可以被配置成针对将注释传递到数据的高分辨率版本的许可而提示用户。

本公开的系统可以减少用户错误，因为计算设备100可以将低分辨率数据170的每个分段匹配到高分辨率数据172的对应分段。例如，计算设备100可以被配置成通过使用针对分段的元数据来匹配数据的对应分段。计算设备100可以比较针对数据分段的时间戳。在一些示例中，如果针对低分辨率数据170的分段的时间戳在针对高分辨率数据172的分段的时间戳的阈值持续时间（例如一秒或五百毫秒）内，则处理器140可以确定所述分段是相同数据的版本。因而，计算设备100可以匹配来自每个数据集的分段以便准确地将来自低分辨率数据170的注释传递到高分辨率数据172。

计算设备100可以将注释保存在与原始数据分离的层上。为了传递注释，计算设备100可以首先被配置成确定高分辨率数据172的分段匹配或对应于低分辨率数据170的分段。例如，计算设备100可以通过如下来确定匹配：确定高分辨率图像具有与计算设备100先前接收的低分辨率图像相同的时间戳。

计算设备100然后可以被配置成确定注释的位置或其它特性。注释的位置可以基于距原始图像的两个边的距离的百分比来在坐标系中被表述。注释可以包括锚点，所述锚点可以被定位在图像或视频帧上。如果注释包括标记，则锚点可以是标记的中心点，或者锚点可以是围绕标记的矩形的左上角。例如，图像上的标记和/或锚点可以被定位成距图像的左侧边百分之三十，并且距图像的顶部边百分之六十。在另一示例中，用户可以对低分辨率数据170作注释以对应或相关联于位置或检查元素，并且计算设备可以被配置成将该注释传递到高分辨率数据172。在下载高分辨率数据172时，计算设备100可以在高分辨率数据172上安放注释覆盖（overlay）。

计算设备100然后可以对覆盖（overlay）进行缩放以匹配新图像的尺寸，其保留纵横比。例如，处理器140可以被配置成确定注释或注释的锚点相对于原点的定位。原点可以在图像的中央或在图像的拐角处，并且处理器140可以被配置成确定从原点到锚点的距离。处理器140还可以被配置成依据笛卡尔坐标或极坐标来确定锚点的相对定位。例如，处理器140可以确定在原点和锚点之间在水平方向中的像素的数目以及在垂直方向中的像素的数目。可替换地，处理器140可以确定在原点和锚点之间在水平方向和垂直方向中的百分比距离，其中百分比距离是分离两个点的像素的数目除以图像的总宽度或高度。

计算设备100和/或处理器140可以包括硬件、软件、固件、指令、或其任何组合的任何合适的布置，用以执行本文中被归于计算设备100和/或处理器140的技术。计算设备100和/或处理器140的示例包括任何一个或多个微处理器、数字信号处理器（DSP）、专用集成电路（ASIC）、现场可编程门阵列（FPGA）和/或任何其它等同的集成或分立逻辑电路，以及这样的组件的任何组合。当计算设备100和/或处理器140包括软件或固件的时候，计算设备100和/或处理器140此外包括用于存储和执行软件或固件的任何必要硬件，诸如一个或多个处理器或处理单元。在一些示例中，计算设备100和/或处理器140可以包括一个或多个处理器或处理核。

通常，处理单元可以包括一个或多个微处理器、DSP、ASIC、FPGA或任何其它等同的集成或分立逻辑电路，以及这样的组件的任何组合。尽管没有在图1中示出，但是计算设备100和/或处理器140可以包括被配置成存储数据的存储器设备和/或计算机可读存储介质。存储器设备可以包括任何易失性或非易失性介质，诸如随机存取存储器（RAM）、只读存储器（ROM）、非易失性RAM（NVRAM）、电可擦除可编程ROM（EEPROM）、闪速存储器等等。在一些示例中，存储器设备可以在计算设备100和/或处理器140外部（例如，可以在其中收容了计算设备100和/或处理器140的封装外部）。

远程传感器160可以被配置成捕获、收集数据170和172并且将其传递到通信模块110。远程传感器160可以包括静物相机、视频相机、音频接收器、温度传感器、压力传感器、加速度仪、和/或任何其它可想到的远程传感器。在一些示例中，远程传感器160可以被装配在载具、诸如无人飞行器（UAV）或无人机上。远程传感器160还可以包括被装配在固定位置中的远程相机、诸如安保相机、自然相机等等。

远程传感器160可以被配置成通过低容量、低带宽或低数据速率的通信信道来传输低分辨率数据170。远程传感器160可以以比远程传感器160和计算设备100之间的低容量通信信道的容量更高的比特率来收集数据170和172。作为结果，远程传感器160可以优先化数据170和172以传递到计算设备100，这通过传输图像、视频或音频的低分辨率版本。远程传感器160可以收集视频数据以及来自视频数据的样本图像以传输到计算设备100。远程传感器160可以收集立体音频数据并且将单声道音频传输到计算设备100。

当较高容量通信信道变得可用时，远程传感器160可以将高分辨率数据172传递到计算设备100。远程传感器160可以包括处理器，所述处理器被配置成将高分辨率数据172存储到存储器设备。例如，所述处理器可以被配置成将高分辨率数据172存储到移动存储设备，诸如外部存储器设备或SD卡。处理器可以通过有线连接或移动存储设备来将高分辨率数据172传递到通信模块110。在一些示例中，处理器可以被配置成在远程传感器160已经完成了收集数据170和172之后（例如在完成了检查之后）经由无线连接来传递高分辨率数据172。

根据本公开的技术，处理器140可以被配置成将来自低分辨率数据170的注释传递或应用到高分辨率数据172。所述传递或应用可以是自动的或响应于用户输入，但是传递或应用可以不需要用户提供输入来用于手动地将单独的注释从低分辨率数据170传递到高分辨率数据172。用户可以在计算设备100接收了低分辨率数据170之后不久对低分辨率数据170作注释。然后，在通过用户的相对很少的努力的情况下，处理器140可以将注释传递到高分辨率数据172。

本公开的技术可以解决如下问题：用户将注释从低分辨率数据170手动地传递到稍后接收的高分辨率数据172。如相比于注释的手动传递，注释的自动传递可以花费较少的用户时间。本公开的技术可以通过如下来解决该问题：允许用户（例如检查员）在检查期间实时地在被发送到计算设备100（例如地面站）的低分辨率数据上作注解和标记。当从远程传感器的SD卡下载高分辨率图像的时候，计算设备100于是可以将这些注释自动地同步到高分辨率图像。

基于用户将低分辨率数据关联到检查元素，计算设备100可以自动地将高分辨率数据关联到检查元素。首先，远程传感器160可以将时间戳（例如图像捕获的时间）和位置（纬度、经度、高度、前进方向、对三个轴的相机定向）传输到计算设备100。远程传感器处的处理器可以将时间戳和位置数据应用到低分辨率数据170的传输的报头。软件应用可以使用时间戳信息来保存低分辨率数据170。其次，检查员可以使得处理器140将低分辨率数据170关联到检查元素。第三，远程传感器160可以将前缀有相同时间戳的高分辨率数据172保存在本地存储装置中。

当发起同步命令的时候，计算设备100可以通过如下来执行自动关联：使用要么在低分辨率数据170和高分辨率数据172的文件名中要么在数据的报头区段中的时间戳信息。计算设备100可以此外被配置成通过如下来验证关联：比较在低分辨率数据170和高分辨率数据172的报头这二者中的位置信息。如果所述一个或多个注释包括在低分辨率数据170和检查元素之间的关联，则处理器140可以被配置成通过将高分辨率数据172关联到检查元素来自动地应用所述一个或多个注释。为了将注释自动地传递到高分辨率数据172，计算设备100可以首先为每个注释创建锚点。如果注释跨越图像上的一区域，则锚点可以是所述区域的中心点或所述区域的拐角点。如果注释是视频或音频注释，则锚点还可以是注释的起始点或终点。

其次，可以参考图像或视频帧中的所指定的原点来测量锚点距离、定位或位置。处理器140可以被配置成依据像素的数目或总图像尺寸的百分比来确定距离、定位或位置。例如，锚点可以定位在图像的总宽度的百分之十的水平偏置处，并且锚点可以定位在图像的总宽度的百分之十的水平偏置处并且在图像的总高度的百分之三十的垂直偏置处。处理器140可以确定距原点的偏置，因此百分之十的垂直偏置可以是从图像的顶部边、图像的中心或图像的底部边所测量的。第三，在原点到锚点中每一个之间的距离可以被保存在检查作业文件中。

处理器140于是可以被配置成将注释自动地应用到高分辨率数据172。例如，处理器140可以确定针对高分辨率数据172中的注释的定位，其对应于低分辨率数据170中的注释的定位。例如，如果注释位于低分辨率图像的中心，则处理器140可以被配置成将注释自动地应用到与所述低分辨率图像匹配的高分辨率图像的中心。

图2是根据本公开的一些示例的一流程图，其图示了被配置成将与低分辨率数据相关联的注释应用到对应的高分辨率数据的示例计算设备的示例操作。参考图1的包括通信模块110和处理器140的计算设备100来描述图2-5的操作，尽管其它组件可以执行类似的技术。

在图2的示例中，通信模块110从远程传感器160接收低分辨率数据170（200）。低分辨率数据170可以是由远程传感器160所收集的数据的低分辨率版本。在一些示例中，远程传感器160可以将低分辨率视频数据流送到通信模块110，或将图像的低分辨率版本发送到通信模块110。在远程传感器160和计算设备100之间的链路可能不支持高得足以传递由远程传感器160所收集的所有高分辨率数据172的数据速率。显示器120可以将低分辨率数据170呈现给用户。在一些示例中，计算设备100可以将低分辨率数据170呈现为图像、视频和/或音频。在图2的示例中，输入设备130接收用户输入180，用于对低分辨率数据170作注释（202）。用户输入180可以包括注释，诸如标记、图画、对低分辨率数据170的视觉特性（颜色、阴影等等）的改变、文本注解和/或对元数据的改变。在图2的示例中，处理器140于是基于用户输入180来确定对数据的低分辨率版本的一个或多个注释（204）。处理器140可以被配置成将所述一个或多个注释存储到计算设备100的存储器设备。

在图2的示例中，通信模块110从远程传感器160接收高分辨率数据172（206）。在远程传感器160完成了收集数据之后，通信模块110可以接收高分辨率数据172。例如，在检查之后，计算设备100可以通过在远程传感器160和通信模块110之间建立有线连接而从远程传感器160检索高分辨率数据172。最后，计算设备100可以随后接收由远程传感器160所捕获的高分辨率数据172（例如，在本地直接从远程传感器160下载了高分辨率数据172之后）。计算设备100将注释自动地传递到高分辨率数据172，而不需要用户提供输入来将低分辨率注释传递到高分辨率数据172。在一些情况中，向用户提供机会来选择计算设备100是否传递注释以及哪些。在任何情况中，计算设备100标识相对应的低分辨率数据170以及高分辨率数据172的部分，并且将对低分辨率数据170所作的单独注释应用到高分辨率数据172的类似部分。

在图2的示例中，处理器140将所述一个或多个注释自动地应用到高分辨率数据172（208）。处理器140可以被配置成首先通过使用时间戳或其它匹配/比较技术来将低分辨率数据170的（多个）分段匹配到高分辨率数据172的（多个）分段。处理器140然后可以被配置成将所述一个或多个注释应用到高分辨率数据172，这通过例如确定标记是否被定位在图像或低分辨率数据170上。处理器140可以通过使用图像的纵横比以及标记相对于图像侧边的相对定位来确定标记的定位。

在检查期间，用户可以使得远程传感器160拍摄特定元素的许多照片。在这些照片中，用户可以特别地将仅仅一些照片标记为对用户而言是重要的（也许用于被包括在最终报告中）。用户然后可以使得计算设备100在那些照片上创建注释。在其中用户希望稍后根据图像集来创建三维模型的情况中，这是特别可应用的。用户可以使得计算设备100通过使用数百幅图像来构建三维模型。在同步之后，用户可以请求与路径点或元素相关联的所有图像。系统可以在列表的顶部返回经加标签的图像。用户还可以能够使得计算设备100在经加标签的图片下方附上在所请求的位置处记录的其它图像。

在具有远程传感器160的载具返回到基站之后，用户可以使得远程传感器160将高分辨率数据172从载具传递到计算设备100。用户可以将高分辨率数据172传递到作业现场处的移动计算设备，或者用户可以将高分辨率数据172传递到后面在办公室的台式机器。用户然后可以整理图像以找到与每个基础设施元素相关的图像。用户可以将这些图像附到报告文档的适当部分。用户然后可以基于用户的记忆以及来自实际检查的注解而利用文本和图形对图像作注释。然而，用户可能已经在作业现场处在移动计算设备上对低分辨率数据170作了注释。在没有注释的自动传递的情况下，用户可以手动地传递注释，或者用户可以尝试根据记忆来对高分辨率数据172作注释。本公开的技术可以允许用户使得处理器140将注释从低分辨率数据170自动地传递到高分辨率数据172。自动传递可以减少对高分辨率数据172作注释中的用户时间，并且提高注释的准确性和品质。

为了将注释应用到高分辨率数据172，用户可以不需要执行任何文件管理任务。检查应用可以同步数据并且进行文件传递。用户可以不需要在文件结构中手动地定位SD卡、打开附加窗口、将文件拖到不同的文件夹、或从SD卡删除文件以使得SD卡是新生的（fresh）（例如具有足够的存储空间）以用于新检查。在检查应用内来自用户的单个命令可以使得应用执行这些任务。如果SD卡存储其它数据，则计算设备100可以被配置成忽视其它数据或将其它数据呈现给用户以分离地应对。当前，许多远程传感器利用简单的标号系统来顺序地存储图像文件，所述简单的标号系统可以允许混合来自不同检查的照片。

图3是根据本公开的一些示例的一流程图，其图示了被配置成将与图像的低分辨率版本相关联的注释自动应用到图像的高分辨率版本的示例计算设备的示例操作。图3示出了具有图像数据的示例，但是图3的示例技术还可以适用于视频数据、音频数据、文本数据等等。

在图3的示例中，通信模块110从远程传感器160接收图像的低分辨率版本（300）。低分辨率版本可以是图像的经压缩的或经采样的版本。例如，远程传感器160上的相机可以利用近似一、二、五或十百万字节的文件大小来创建图像，但是低分辨率版本可以仅仅是十、二十、或一百千字节。在图3的示例中，显示器120然后将图像的低分辨率版本呈现给用户（302），并且输入设备130接收用户输入180以用于从用户来对图像的低分辨率版本作注释（304）。处理器140于是基于用户输入180来确定对图像的低分辨率版本的一个或多个注释（306）。

在图3的示例中，通信模块110从远程传感器160接收图像的高分辨率版本（308）。处理器140基于高分辨率版本以及低分辨率版本的时间戳来将图像的高分辨率版本匹配到图像的低分辨率版本（310）。处理器140可以被配置成基于数据170的时间戳和时间戳172来匹配数据170和172。例如，处理器140可以被配置成通过从第二时间戳中的时间减去第一时间戳中的时间来确定在数据170和172的时间戳之间的时间差。处理器140然后可以被配置成确定所述时间差是否小于阈值持续时间，诸如一百毫秒、五百毫秒、一秒、两秒或任何其它持续时间。小的时间差可以指示高分辨率数据172与低分辨率数据170相同。如果在两个时间戳之间的时间差小于阈值持续时间，则处理器140可以将高分辨率数据172匹配到低分辨率数据170。

处理器140然后可以关联高分辨率文件与低分辨率文件。处理器140将来自图像的低分辨率版本的注释应用到图像的高分辨率版本（312）。处理器140可以被配置成在匹配了文件之后自动地传递注释，或者处理器140可以提示用户决定是否要传递注释。

可以从图像处置过程中减少或消除搜索和标识任务。代替于依赖检查员的记忆来标识图像，系统可以被配置成自动地管理被加标签给特定元素的图像的图像名称。系统可以使用操作员的上下文来向图像添加不可见的注释。例如，脱离载具的高分辨率图像可以自动地被链接到在它被拍摄的时候正在平板设备上被检查的对应基础设施元素。计算设备100可以被配置成将被附到低分辨率图像的注释中的一些或全部自动地传递到计算设备100从远程传感器接收的对应高分辨率图像。

图4是根据本公开的一些示例的一流程图，其图示了被配置成传输低分辨率数据并且保存高分辨率数据的示例系统的示例操作。在图4的示例中，检查员在感兴趣的上部结构或大区域内选择检查元素（400）。处理器140可以响应于检查员的选择（即用户输入180）来确定在低分辨率数据170与检查元素之间的关联。计算设备100可以在检查作业文件中存储检查元素的列表，诸如流体箱的列表、太阳能面板的列表、或桥梁元素的列表。检查元素可以是桥梁上的桥墩或实用尺度太阳能阵列中的太阳能面板。检查员然后从计算设备100发起相机快照命令（402）。远程设备（例如UAV）上的相机拍摄照片（404），并且远程设备将低分辨率图像传输到计算设备100（406）。远程设备上的处理器还将图像的高分辨率版本保存到远程设备上的存储器设备（408）。

如果定位数据可从包括远程传感器160的UAV得到，那么在计算设备100上运行的检查应用可以保存位置数据和定向数据。计算设备100还可以使用位置数据和定向数据来用于稍后匹配照片。在从检查应用选择“同步”功能时，计算设备100可以定位SD卡文件，并且传递与当前检查相关联的所有文件。应用然后可以向用户呈现对话，询问用户是否想要从SD卡擦除文件。如果应用在SD卡上找到其它文件，则应用可以呈现附加对话来让用户应对其它文件。

在检查应用内，由用户特别地加标签的任何照片可以在检查数据文件中接收附加的标志，并且潜在地在远程传感器中的SD卡上所存储的图像上。应用可以稍后使用这些标签来在稍后被检查员（或其它用户）查看的时候对高分辨率数据进行分类。应用可以被配置成首先将经加标签的图像呈现给用户（以缩略图或列表形式），以时间标签的次序。然后，应用可以在经加标签的图像之后按次序呈现未加标签的图像。

当根据所记录的图像来构建三维模型的时候，运行在计算设备100上的应用可以被配置成将来自具有注释的那些图像的注释层传递到三维模型。为了使计算设备100在三维模型上正确地再现数据，应用可以传递与注释相关联的定位数据。更灵活、但是更复杂的方法使用视频分析学来相对于图像中的视觉特征而配准每个注释。以此方式，那些相同的视觉特征可以用于在三维模型中配准注释。

图5是根据本公开的一些示例的一流程图，其图示了被配置成创建检查作业文件的示例计算设备的示例操作。在图5的示例中，检查员使得处理器140关联低分辨率图像与元素（500），并且检查员还对计算设备100上显示的低分辨率图像作注释（502）。在检查期间，检查员可以使用计算设备100来关联低分辨率图像与元素。然而，在远程传感器160与计算设备100之间的无线通信信道可能不足以使远程传感器160传递高分辨率图像。因而，检查员可能不能使处理器140将高分辨率图像关联到检查元素，直到完成了检查之后，当检查员能够物理地访问远程传感器160上的存储器设备为止。

检查员可以使用包括远程传感器160的载具、诸如UAV来实施对太阳能面板、风力涡轮机、电力线等等的检查。易于使用可能是在选择载具和/或传感器中的重要因素。操作员的时间通常是检查的最昂贵部分。本公开的技术可以使得系统更易于学习，并且操作起来更快。检查员可以更有可能作出详细的注释，从而导致较高品质检查。检查员还可以节省搜索和标识图像以及创建报告的许多时间。

以此方式，用户可以在平板设备上、在检查现场，当检查员的想法仍新鲜的时候，对低分辨率图像作注释。并且在着陆之后，系统可以同步注释与UAV中SD卡上所存储的高分辨率图像。箭头、圈出的区域、音频注解和文本气泡被正确地配准使得它们保持与检查期间所检测到的裂缝、腐蚀以及其它基础设施故障相关联。由于计算设备100具有较高品质图像来显示给用户，用户于是可以向注释进行添加或修改注释。

如果用户使用计算设备100来根据在检查期间所收集的照片创建基础设施的三维模型，则计算设备100可以被配置成将注释从二维图像传递到三维模型。计算设备100可以被配置成以与高分辨率图像相同的纵横比来再现从远程传感器160传输的低分辨率图像。

在图5的示例中，处理器140（基于来自检查员的用户输入）将与所选元素相关联的低分辨率图像顶部的一个或多个注释保存到检查作业文件中（504）。除了用于在显示器120上生成输出的图像数据（例如像素信息）之外，处理器140可以将所述一个或多个注释存储为数据的分离层。检查员将其它图像标记为重要的和/或用于被包括在报告文档中（506）。如果存在要检查的多个元素（508），则检查员向计算设备提供输入，用以将远程设备移动到要检查的下一个元素并且对相机调焦（510）。如果不再存在要检查的元素，那么检查完成（512）。

可以在基础设施的经命名并且经编号的元素、诸如桥墩号3、最南边的轴承周围组织检查。检查员可以使用应用来对照片加时间标签，并且关联每个照片与当前在应用中显示的元素。如果不存在从计算设备100到远程传感器160（例如装配在无人机上的）的任何数据传递，那么计算设备100可以使用时间标签来将所流送的低分辨率图像匹配到所存储的高分辨率图像。计算设备100（例如平板设备）可以存储时间标签，并且当无人机着陆的时候使无人机上所存储的高分辨率数据172相配。如果某种数据传递是可能的，那么计算设备100可以将更详细的图像名称传输到无人机，使得无人机上的处理器可以适当地标注高分辨率图像。

图6A和6B是根据本公开的一些示例的包括用于注释的锚点620L和620H的图像600L和600H的概念图解。包括相机的远程传感器可以捕获低分辨率版本600L和高分辨率版本600H。远程传感器可以被配置成将图像600L的低分辨率版本传输到计算设备。在稍后的时间，远程传感器可以将图像600H的高分辨率版本传输到计算设备。

在图像600L的低分辨率版本的传输时间与图像600H的高分辨率版本的传输时间之间，用户可以对图像600L作注释。注释可以在锚点620L处被锚定到图像600L。在一些示例中，锚点620L的定位可以是注释标记的中心或拐角。如果注释是用户在图像600L上绘制的标记，则处理器可以被配置成确定注释区域的左上拐角处的锚点620L的定位。例如，用户可以在图像600L上创建标记，其从图像600L的顶部边跨越三十像素到五十像素，并且从图像600L的左侧边跨越四十像素到八十像素。处理器可以被配置成确定注释的左上角（即四十像素的宽度632L以及三十像素的高度642L）处或者在注释的中心（即六十像素的宽度632L以及四十像素的高度642L）处的锚点620L的定位。

处理器可以被配置成确定锚点620L关于原点610L的定位。图6A描绘在图像600L的左上角中的原点610L，但是处理器可以将原点610L设置在图像600L的任何位置处。处理器可以被配置成确定锚定百分比宽度632L，其是在原点610L与锚点620L之间的水平偏置。处理器可以将锚定百分比宽度632L存储为像素的数目或存储为图像600L的总宽度630L的百分比，如方程式（1）中所示。

类似地，处理器可以被配置成确定锚定百分比高度642L，其是在原点610L与锚点620L之间的垂直偏置。处理器可以将锚定百分比高度642L存储为像素的数目或存储为总高度640L的百分比，如方程式（2）中所示。为了将来自图像600L的注释应用到图像600H，处理器可以被配置成确定与图像600L上的锚点620L对应的图像600H上的定位（例如锚点620H）。锚点620H可以相关联于锚点620L，使得锚点620L与620H处于图像600L与600H上的相同的相对定位处。在一些示例中，图像600L与600H可以具有不同的纵横比，并且处理器可以使用方程式（3）-（6）以基于锚点620L的定位来确定针对锚点620H的对应定位。方程式（3）-（6）中的高度和宽度可以以像素、毫米、英寸或任何其它合适的单位来表述。

因而，处理器可以被配置成确定距图像600L的第一边的第一百分比距离（例如，宽度632L除以总宽度630L）。处理器于是可以被配置成确定距图像600L的第二边的第二百分比距离（例如，高度642L除以总高度640L）。处理器然后可以将所述百分比距离存储到检查作业文件和/或注释文件（例如XML文件）。处理器可以此外被配置成基于针对锚点620L的百分比距离来确定针对锚点620H的水平和垂直百分比距离。通过使用该技术，图像600H上的注释可以被定位在与图像600H上的注释相同的相对定位中，即使图像600L和600H的分辨率和纵横比不同。作为结果，用户可能不需要在图像600H上手动地重录入注释，因为处理器可以被配置成将来自图像600L的注释自动地应用到图像600H。

处理器可以被配置成确定宽度632H和高度642H，使得锚点620H的定位对应于锚点620L的定位。例如，如果用户在图像600L中圈出对象，则处理器可以被配置成确定针对锚点620H的对应定位，并且自动地应用注释，使得图像600H将包括围绕相同对象的圆圈。

关于图6A和6B所描述的技术还可以适用于其它类型的数据，诸如视频和音频。处理器可以被配置成将视频文件的每个帧作为图像来处置，使得用户可以对低分辨率视频文件的帧作注释。处理器然后可以被配置成将来自低分辨率视频文件的帧的注释自动地应用到高分辨率视频文件中的对应帧中的对应定位。在一些示例中，低分辨率视频文件的帧率可以低于高分辨率视频文件的帧率。因而，处理器可以被配置成将来自低分辨率视频文件的单个帧的注释应用到高分辨率视频文件的多个帧。

如本文中所描述的，“载具”可以是航空器、诸如汽车之类的陆上载具、或诸如船或潜水艇之类的水上载具。如本文中所描述和所要求保护的“航空器”可以包括任何固定翼或旋转翼的航空器、飞艇（例如通过氦或其它比空气轻的气体而浮起的飞船或软式气艇）、亚轨道的航天飞机、航天器、消耗性或可重用的发射载具或发射载具级、或其它类型的飞行设备。如本文中所描述和所要求保护的“航空器”可以包括任何有机组人员或无机组人员的船艇（例如UAV、飞行机器人或自动化的货船或包裹递送无人机或其它船艇）。

以上描述了本公开的各种说明性方面。这些和其它方面在以下权利要求的范围内。

Claims (3)

1.一种方法，包括：

通过计算设备从远程传感器接收数据的低分辨率版本；

通过所述计算设备接收用户输入以用于对所述数据的低分辨率版本作注释；

通过所述计算设备、基于所述用户输入来确定对所述数据的低分辨率版本的一个或多个注释；

通过所述计算设备从远程传感器接收所述数据的高分辨率版本；以及

通过所述计算设备、将所述一个或多个注释自动地应用到所述数据的高分辨率版本。

2.一种计算设备，其包括：

通信模块，所述通信模块被配置成：

从远程传感器接收数据的低分辨率版本；以及

从远程传感器接收所述数据的高分辨率版本；

输入设备，所述输入设备被配置成接收用户输入以用于对所述数据的低分辨率版本作注释；以及

处理器，所述处理器被配置成：

基于所述用户输入来确定对所述数据的低分辨率版本的一个或多个注释；以及

将所述一个或多个注释自动地应用到所述数据的高分辨率版本。

3.根据权利要求2所述的计算设备，

其中所述处理器此外被配置成将所述数据的低分辨率版本的特定分段匹配到所述数据的高分辨率版本的对应分段，以及

其中所述处理器被配置成将所述一个或多个注释自动地应用到所述数据的高分辨率版本，这通过至少将所述数据的低分辨率版本的特定分段的注释应用到所述数据的高分辨率版本的对应分段。