CN115278178A - 一种处理方法、处理装置和电子设备 - Google Patents

Abstract

本申请公开一种处理方法、处理装置和电子设备，本申请预先在巡视环境内设置图像采集装置，当需要对巡视环境中的对象进行巡视时，利用电子设备获得对巡视环境中的对象所执行选择操作的选择操作信息，根据获得的选择操作信息确定当前在巡视环境中的观测对象，根据观测对象的位置信息，确定巡视环境内设置的图像采集装置集中与观测对象匹配的至少一个目标图像采集装置，并获得至少一个目标图像采集装置采集的观测对象的图像进行展示。

Description

一种处理方法、处理装置和电子设备

技术领域

本申请属于人机交互技术领域，尤其涉及一种处理方法、处理装置和电子设备。

背景技术

在计量表等设备对象的信息巡视场景中，某些巡视点位(即巡视的具体对象，如计量表)距离较远，需由巡视人员通过爬楼、钻到设备里等才能看清需要巡视的具体内容，大大增加了巡视时间，有些巡视点位甚至需由巡视人员通过手机摄像头放大来查看，但巡视人员占位角度、手机摄像头倍数支持等都会影响巡视结果的准确度，同时降低了巡视效率。

发明内容

为此，本申请公开如下技术方案：

一种处理方法，应用于电子设备，所述方法包括：

获得对巡视环境中的对象所执行选择操作的选择操作信息；

根据所述选择操作信息确定当前在所述巡视环境中的观测对象；

根据所述观测对象的位置信息，确定所述巡视环境内设置的图像采集装置集中与所述观测对象匹配的至少一个目标图像采集装置；

获得至少一个目标图像采集装置采集的所述观测对象的图像，并展示获得的图像。

可选的，所述根据所述选择操作信息确定当前在所述巡视环境中的观测对象，包括：

根据所述选择操作信息，将所述选择操作映射为对巡视环境模型中目标对象模型的选择操作，将所述目标对象模型代表的对象作为当前的观测对象；

所述巡视环境模型为对所述巡视环境进行建模所得的虚拟模型。

可选的，所述根据所述选择操作信息确定当前在所述巡视环境中的观测对象，包括：

确定所述电子设备的当前位姿；

确定所述选择操作信息所指示目标点的深度信息；

根据所述当前位姿、所述深度信息和所述选择操作信息确定目标点坐标，将所述目标点坐标在所述巡视环境中对应的对象作为当前的观测对象。

可选的，所述根据所述观测对象的位置信息，确定所述巡视环境内设置的图像采集装置集中与所述观测对象匹配的至少一个目标图像采集装置，包括：

根据所述观测对象的位置信息，确定所述巡视环境内设置的图像采集装置集中各图像采集装置与所述观测对象的空间位置关系；

根据所述各图像采集装置与所述观测对象的空间位置关系，确定所述图像采集装置集中与所述观测对象匹配的至少一个目标图像采集装置。

可选的，所述展示获得的图像，包括：

按照所述至少一个目标图像采集装置与所述观测对象的空间位置关系，展示所述至少一个目标图像采集装置分别采集的图像。

可选的，所述按照所述至少一个目标图像采集装置与所述观测对象的空间位置关系，展示所述至少一个目标图像采集装置分别采集的图像，包括：

按照所述至少一个目标图像采集装置与所述观测对象的空间位置关系，同时显示所述至少一个目标图像采集装置分别采集的图像。

可选的，所述按照所述至少一个目标图像采集装置与所述观测对象的空间位置关系，展示所述至少一个目标图像采集装置分别采集的图像，包括：

显示主图像，所述主图像为所述至少一个目标图像采集装置分别采集的图像中与当前对所述观测对象的观测视角匹配的图像；

响应于所述观测视角发生变化且变化后的观测视角超出所述主图像对应的视角范围，将所述主图像更新为所述至少一个目标图像采集装置分别采集的图像中与变化后的观测视角匹配的图像并显示。

可选的，所述按照所述至少一个目标图像采集装置与所述观测对象的空间位置关系，展示所述至少一个目标图像采集装置分别采集的图像，包括：

识别所述观测对象在当前观测视角中对应所处的目标位置，将所述至少一个目标图像采集装置分别采集的图像显示在所述目标位置周围预设范围内。

一种处理装置，应用于电子设备，所述装置包括：

获取模块，用于获得对巡视环境中的对象所执行选择操作的选择操作信息；

第一确定模块，用于根据所述选择操作信息确定当前在所述巡视环境中的观测对象；

第二确定模块，用于根据所述观测对象的位置信息，确定所述巡视环境内设置的图像采集装置集中与所述观测对象匹配的至少一个目标图像采集装置；

展示模块，用于获得至少一个目标图像采集装置采集的所述观测对象的图像，并展示获得的图像。

一种电子设备，包括：

存储器，用于至少存储一组计算机指令集；

处理器，用于通过调用并执行所述存储器中存储的所述指令集，实现如上文任一项所述的处理方法。

由以上方案可知，本申请公开的处理方法、处理装置和电子设备，在对象巡视场景中，利用电子设备获得对巡视环境中的对象所执行选择操作的选择操作信息，根据选择操作信息确定当前在巡视环境中的观测对象，根据观测对象的位置信息，确定巡视环境内设置的图像采集装置集中与观测对象匹配的至少一个目标图像采集装置，并获得至少一个目标图像采集装置采集的观测对象的图像进行展示。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1是本申请提供的处理方法的一种流程示意图；

图2是本申请提供的一示例性巡视环境；

图3是本申请提供的基于环境模型进行对象巡视的一示例性处理流程；

图4是本申请提供的处理方法的另一种流程示意图；

图5是本申请提供的对主图像进行视角范围调整的一个示例；

图6是本申请提供的对主图像进行倍数调整操作以实现图像缩/放的一个示例；

图7是本申请提供的处理装置的组成结构图；

图8是本申请提供的电子设备的组成结构图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例公开一种处理方法、处理装置和电子设备，用于针对计量表等对象的信息巡视场景，支持用户通过人机联动，来更直观、高效、准确地观察巡视场景中对象的详细信息。本申请的处理方法可应用电子设备中，所述的电子设备可以是但不限于AR(Augmented Reality，增强现实)或VR(Virtual Reality，虚拟现实)等XR(ExtendedReality，扩展现实)设备(如AR/VR眼镜)，或者，手机、平板电脑、笔记本、一体机等终端设备。

参见图1所示的处理方法流程图，本申请实施例公开的处理方法至少包括如下处理步骤：

步骤101、获得对巡视环境中的对象所执行选择操作的选择操作信息。

巡视环境中的对象，可以但不限于是计量表等需对其信息(如计量信息)进行观测的对象。

本申请预先在巡视环境内设置多个图像采集装置，并基于人机联动，通过将用户端电子设备与设置于巡视环境内的图像采集装置搭配使用，实现对巡视环境内对象的信息观测。

上述方式支持两种巡视模式：现场巡视和远程巡视，用户如巡视人员可根据实际需求选择两种模式中的任一所需模式，来对巡视环境中的对象进行巡视。

在一可选实施方式中，针对现场巡视模式或远程巡视模式，可对巡视环境进行建模，基于建模所得的巡视环境模型实现对巡视环境中对象的巡视。优选的，建模所得的巡视环境模型为与真实巡视环境匹配的3D虚拟模型。

进一步，对于上述两种巡视模式，可通过预先建模方式或实时建模方式对巡视环境进行建模。两种建模方式分别如下：

(一)预先建模方式

该方式下，预先采集整体巡视环境及其内部所包含的各个对象在多种不同视角下的图像/视频信息，并将采集的多视角图像/视频信息作为基础数据进行巡视环境的3D虚拟模型构建。

(二)实时建模方式

该方式下，对于现场巡视模式，具体可由携带电子设备(如佩戴AR眼镜或手持手机等)的巡视人员在现场巡视的起始时间段内，借助电子设备的图像采集装置在真实巡视环境中采集整体巡视环境及其内部所包含各个对象在多种不同视角下的图像/视频信息，并将现场采集的图像/视频信息作为建模基础数据递交给电子设备或上传至后台服务器，由电子设备或后台服务器根据接收的采集数据进行巡视环境的3D虚拟模型构建。

例如，典型的，可由用户佩戴AR眼镜进行现场巡视，巡视起始时间段内，AR眼镜借助其摄像头对巡视环境进行现场环境识别，并基于其用于实现环境建模的相关配置(如软硬件配置)，通过SLAM(Simultaneous Localization and Mapping，即时定位与地图构建)等技术，为所识别的巡视环境构建相匹配的3D虚拟模型。

对于远程巡视模式，则可在远程巡视的起始时间段内，借助真实巡视环境中的巡视机器人现场采集整体巡视环境及其内部所包含各个对象在多种不同视角下的图像/视频信息，由机器人基于与电子设备或后台服务器的远程通信，将采集的图像/视频信息传输给电子设备或后台服务器，进而由电子设备或后台服务器根据接收的采集数据进行巡视环境的3D虚拟模型构建。

通过预先建模或实时建模，尽可能使所建模型与真实巡视环境及其所包含一系列对象的空间位置关系、对象结构/形态等匹配一致。

在该基于建模的实施方式下，对于现场巡视模式，允许用户通过对巡视环境的真实场景进行交互，来选择用于作为巡视目标(即目标巡视物)的观测对象，如计量表，并以此为基础通过人机联动实现对观测对象的观测/巡视。该情况可优选采用AR设备实现，如由用户佩戴AR眼镜，基于AR眼镜的虚实结合功能，支持用户与巡视环境的真实场景进行交互及交互基础上的人机联动。其中，用户可以但不限于通过在巡视环境真实场景中执行空中手势/隔空手势(如，在空中指向实际场景中的某对象并点击)、眼动操作和/或语音输入等选择操作，从巡视环境中选择/指定用于作为巡视目标的观测对象，AR眼镜等电子设备或后台服务器基于空中手势追踪与识别、眼球追踪、语音识别等技术，检测用户的选择操作并解析其对应的操作信息，包括但不限于空中手势对应的操作位置、手势类型(如，在空中指向真实场景中的某对象并点击的选择手势)、手势方向、手势指向某方向时对应的焦点位置，眼动操作对应的操作位置、视线方向、视线聚焦位置，或语音输入对应的语音内容等操作信息。

对于远程巡视模式，可选的，用户可对现场巡视机器人回传的图像上的目标物执行所需的选择，例如，具体在巡视环境的虚拟模型中以前景方式重点/突出显示机器人当前巡视视角采集并回传的巡视图像，环境模型则作为背景，以借助机器人视角模拟用户的真实巡视情况，并支持用户对回传图像上的对象执行所需的选择操作。操作方式包括但不限于触摸操作、空中手势、眼动操作、键鼠操作或者语音输入等等，电子设备或后台服务器相应可通过触摸手势识别、空中手势追踪与识别、眼球追踪、键/鼠操作识别、语音识别等技术解析用户所执行的选择操作对应的操作信息，包括但不限于触摸手势对应的手势类型(如，点击)，触摸手势在图像上指示的焦点位置，空中手势对应的手势类型(如，在空中指向某对象并点击)、手势方向、手势指向某方向时对应的焦点位置，眼动操作对应的视线方向、视线聚焦位置，键鼠操作对应的操作类型(如单击、双击等)、在图像上指示的焦点位置，或语音输入对应的语音内容等操作信息。

但不限于此，远程巡视模式中，还可以由用户对巡视场景的3D虚拟模型中的目标物模型按上述任一种方式执行选择操作，以由电子设备或后台服务器通过对用户所执行操作的识别与解析，确定用户选择操作在巡视环境中指定的观测对象。

在其他实施方式中，针对现场巡视模式或远程巡视模式，还可以基于非建模方式，来实现用户对巡视环境中对象的巡视。

非建模情况下，对于现场巡视模式，同样允许用户通过对巡视环境的真实场景进行交互，来选择用于作为巡视目标的观测对象，如计量表，并以此为基础通过人机联动实现对观测对象的观测/巡视。其中，用户的选择操作方式，电子设备/后台服务器对用户操作的检测、解析，及解析得到的选择操作信息，分别与基于建模的现场巡视模式下的选择操作方式，用户操作的检测、解析，及解析得到的选择操作信息类似，不再详述。非建模情况下的现场巡视模式与基于建模的现场巡视模式的主要区别在于，电子设备/后台服务器根据解析得到的选择操作信息确定选择操作在巡视环境中指定的观测对象的处理过程不同。

非建模情况下，对于远程巡视模式，同样可由用户对现场巡视机器人回传的图像上的目标物模型执行所需的选择，来指定用于作为巡视目标的观测对象，该实施方式下，用户的选择操作方式，电子设备/后台服务器对用户操作的检测、解析，及解析得到的选择操作信息，分别与基于建模的远程巡视模式下用户对现场巡视机器人回传图像的选择操作方式，对用户操作的检测、解析，及解析得到的选择操作信息类似，不再详述。非建模情况下的远程巡视模式与基于建模的远程巡视模式的主要区别也是在于，电子设备/后台服务器根据解析得到的选择操作信息确定选择操作在巡视环境中指定的观测对象的处理过程不同。

步骤102、根据获得的选择操作信息确定当前在巡视环境中的观测对象。

其中，对于基于建模的现场巡视模式，可首先由电子设备或后台服务器根据选择操作对应的选择操作信息，将用户的选择操作映射为对巡视环境模型中目标对象模型的选择操作，例如，根据用户空中手势的操作位置、手势类型、手势方向、手势指向某方向时对应的焦点位置，通过位置映射、对象映射等处理，将用户向巡视环境中某真实对象执行的空中选择手势映射为对巡视环境模型中相应对象模型的选择手势，或者，根据用户眼动操作的操作位置、视线方向、视线所聚焦位置，通过位置映射、视线映射、对象映射等处理，将用户向巡视环境中某真实对象执行的眼动选择操作映射为对巡视环境模型中相应对象模型的眼动选择操作等。在此基础上，将映射的目标对象模型代表的对象作为用户当前在巡视环境中待观测的观测对象。

对于基于建模的远程巡视模式，如果用户对现场巡视机器人回传的图像上的目标物执行所需的选择，则同样可以由电子设备或后台服务器将用户对图像上目标物的选择操作映射为对巡视环境模型中相应对象模型的选择操作，如根据选择操作信息定位用户操作在图像上所指示对象，并结合巡视机器人采集该图像时的视角，通过将图像上对象与巡视环境模型中对象模型的匹配，实现将用户对图像上目标物的选择操作映射为对巡视环境模型中相应对象模型的选择操作等，从而在此基础上，将映射的目标对象模型代表的对象作为用户当前在巡视环境中待观测的观测对象。如果用户对巡视环境模型中的对象模型执行选择操作，则可直接根据选择操作信息，确定选择操作在环境模型中指定的目标对象模型，并将目标对象模型代表的对象作为用户当前在巡视环境中待观测的观测对象。

对于非建模情况下的现场巡视或远程巡视模式，可确定电子设备如AR眼镜(现场巡视模式)的当前位姿，或巡视机器人(远程巡视模式)的当前位姿，并确定所述选择操作信息所指示目标点的深度信息，之后根据确定的所述当前位姿、所述深度信息和所述选择操作信息确定目标点坐标，将目标点坐标在巡视环境中对应的对象作为用户当前在巡视环境中的观测对象。

其中，电子设备/巡视机器人的位姿，用于描述电子设备/巡视机器人在巡视环境空间坐标系下的位置与姿态，具体可通过对电子设备/巡视机器人进行位置探测与姿态感知，来确定电子设备/巡视机器人的当前位姿。确定的位姿信息，相应可以包括电子设备/巡视机器人在巡视环境空间坐标系下的位置坐标及姿态信息(如在巡视环境中的朝向、俯/仰角度等)。电子设备/巡视机器人在巡视环境空间坐标系下的位置，可以但不限于通过三维视觉定位技术探测，电子设备/巡视机器人的姿态则可通过姿态传感器(如陀螺仪)感知。

可选的，选择操作信息所指示目标点的深度信息，可通过对深度相机所拍摄图像中目标点图像像素的深度信息进行提取而得到，深度相机设置在电子设备或巡视机器人上。深度相机可以是但不限于基于结构光、TOF(Time of flight，时间飞行)或双目视觉等原理的摄像头。

所确定的目标点坐标，具体为选择操作所指示目标点在巡视环境空间坐标系下的三维坐标。其中，具体可根据电子设备/巡视机器人在巡视环境空间坐标系下的位置坐标及姿态信息，选择操作信息所指示目标点的深度信息，以及选择操作对应的选择操作信息如手势方向、手势指向某方向时对应的焦点位置(这里的焦点位置通常仅指平面坐标系下的位置，如与电子设备/巡视机器人的朝向相垂直的平面)等，确定选择操作所指示目标点在巡视环境空间坐标系下的三维坐标，进而将目标点坐标在巡视环境中对应的对象作为用户当前在巡视环境中待观测的观测对象。

步骤103、根据观测对象的位置信息，确定巡视环境内设置的图像采集装置集中与观测对象匹配的至少一个目标图像采集装置。

其中，具体可根据观测对象的位置信息，和巡视环境内设置的图像采集装置集中各图像采集装置的位置信息，确定各图像采集装置与观测对象的空间位置关系，并根据各图像采集装置与观测对象的空间位置关系，确定图像采集装置集中与观测对象匹配的至少一个目标图像采集装置。

与观测对象匹配的目标图像采集装置，是指观测对象落于其采集视角范围内，相应能从对应视角(如左视角、右视角等)采集到观测对象的可辨识图像信息的图像采集装置。

进一步，可选的，在确定与观测对象匹配的至少一个目标图像采集装置时，还可以根据图像采集装置的最大转动弧度和镜头倍数等参数确定图像采集装置的最大覆盖区域(视角范围、覆盖面积/距离等)，并结合图像采集装置与观测对象的空间位置关系以及图像采集装置的最大覆盖区域，确定图像采集装置集中与观测对象匹配的至少一个目标图像采集装置，以使确定出的目标图像采集装置能从相应角度采集到观测对象的清晰可辨的图像信息。

其中，对于基于建模的现场巡视/远程巡视模式，具体可根据巡视环境的三维建模数据，提取观测对象及各图像采集装置在巡视环境中对应的三维位置坐标，并基于建模数据中每个摄像头模型对应配置的摄像头参数，如最大转动弧度和镜头倍数等，确定摄像头最大覆盖区域，进而结合观测对象与各图像采集装置在巡视环境中对应的三维位置坐标，以及各摄像头最大覆盖区域，判定观测对象(各个视角下的同一观测对象)能清晰地落于哪些摄像头的监控画面，以此匹配出观测对象对应的至少一个目标图像采集装置。

对于非建模情况下的现场巡视/远程巡视模式，则可根据实时探测的观测对象位置信息，和预先配置的各图像采集装置的位置信息和摄像头参数，确定观测对象匹配的至少一个目标图像采集装置。观测对象位置信息和各图像采集装置的位置信息，具体可以是在巡视环境空间坐标系下的三维立体坐标。

步骤104、获得至少一个目标图像采集装置采集的观测对象的图像，并展示获得的图像。

在确定出与观测对象匹配的至少一个目标图像采集装置后，电子设备联动各个目标图像采集装置的接口，通过与巡视环境内各目标图像采集装置间的通信，获得这些目标图像采集装置采集的观测对象的图像，并将其在电子设备进行展示。其中，不同目标图像采集装置可从不同视角(如仰视、俯视、左视、右视、正视等)分别对观测对象的详细信息进行采集，并将观测对象详细信息的清晰图像输送至电子设备进行展示，从而便于用户方便、直观、高效的从多个视角观察观测对象的详细信息。

优选的，电子设备与图像采集装置通过Wi-Fi或蓝牙等无线通信方式，进行图像数据传输或指令交互。

在获得至少一个目标图像采集装置采集的观测对象的图像后，电子设备可按照至少一个目标图像采集装置与观测对象的空间位置关系，展示该至少一个目标图像采集装置分别采集的图像。该过程可进一步实现为如下11)-13)中的任意一种实施方式：

11)按照所述至少一个目标图像采集装置与观测对象的空间位置关系，同时显示所述至少一个目标图像采集装置分别采集的图像。

该实施方式11)下，可选的，具体可按照所述至少一个目标图像采集装置与观测对象的空间位置关系，将所述至少一个目标图像采集装置分别采集的图像在显示界面(如手机界面或AR界面等)进行相对位置布局，例如，将位于观测对象左侧的摄像头采集的左视图部署在界面左部预设区域，将位于观测对象右侧的摄像头采集的右视图部署在界面右部预设区域，将位于观测对象顶部的摄像头采集的顶视图部署在界面上部预设区域，将位于观测对象底部的摄像头采集的底视图部署在界面下部预设区域等等，以使得在界面同时显示观测对象的多视角图像，并将各图像按其对应摄像头与观测对象的空间位置关系进行布局，便于用户直观地对不同视角的观测对象进行观察。

实际应用中，还可以将电子设备(如AR眼镜)或巡视机器人在其巡视视角下采集的图像，与各个目标图像采集装置采集的图像一并显示，其中，巡视视角下采集的图像作为观测对象的正视图，具体可以但不限于显示在界面中部位置区域。

在其他实施方式中，可选的，还可以直接将各个目标图像采集装置分别采集的图像，罗列排布在显示界面上对其进行同时显示，并为显示的每一图像关联对应的视角信息，如按每一图像对应的实际视角，为其关联“左视图”、“右视图”、“顶视图”或“底视图”等视角标签。通过为罗列的各个对象分别关联对应的视角信息，实现按照至少一个目标图像采集装置与观测对象的空间位置关系，同时显示至少一个目标图像采集装置分别采集的图像。可选的，该实施方式下，同样可将电子设备或巡视机器人在其巡视视角下采集的图像作为观测对象的正视图一并显示，并为其关联显示对应的正视图标签信息。

容易理解，实际应用中，还可以将上述两种方式结合应用，即，按照所述至少一个目标图像采集装置与观测对象的空间位置关系，将所述至少一个目标图像采集装置分别采集的图像(或者，结合实际巡视视角下的正视图图像)在显示界面进行相对位置布局，并为每个位置的图像关联显示对应的视角信息。

12)显示主图像，响应于观测视角发生变化且变化后的观测视角超出所述主图像对应的视角范围，将所述主图像更新为所述至少一个目标图像采集装置分别采集的图像中与变化后的观测视角匹配的图像并显示。

其中，显示的主图像为所述至少一个目标图像采集装置分别采集的图像中与当前对观测对象的观测视角匹配的图像。

也就是说，该实施方式12)下，虽然电子设备获得了各个目标图像采集装置分别采集的图像，但仅在显示界面上显示与当前观测视角匹配的主图像。或者，也可以在显示主图像的同时，结合显示其他各个非主图像，但至少应通过布局位置、图像所占用的显示面积和/或是否高亮等显示参数的配置，使得能达到对主图像的突出显示或重点显示效果，例如，将主图像显示于界面中部位置且使其显示面积大于其他非主图像所占用的面积等。

同时，实时追踪用户对观测对象的观测视角，当用户对观测对象的观测视角发生变化，且变化后的观测视角超出当前所显示的主图像对应的视角范围时，则电子设备响应于该事件，对显示的主图像进行实时更新，并使更新后的主图像与变化后的观测视角匹配一致，以此使得能跟随用户对观测对象的视角变化，在显示界面同步显示与用户当前视角相匹配的图像，进而便于用户通过界面显示情况更详细、直观地观察其当前观测视角下的对象信息。

13)识别观测对象在当前观测视角中对应所处的目标位置，将所述至少一个目标图像采集装置分别采集的图像显示在所述目标位置周围预设范围内。

该实施方式13)下，电子设备具体为AR设备，如AR眼镜。

针对获得的至少一个目标图像采集装置采集的图像，该实施方式识别观测对象在当前观测视角中对应所处的目标位置，目标位置可以为观测对象在当前观测视角中在巡视环境空间坐标系下对应的三维位置坐标，并由AR设备借助其虚实结合功能，将至少一个目标图像采集装置分别采集的图像显示在目标位置周围预设范围内，例如，在目标位置左侧预设范围内显示左视图，右侧预设范围内显示右视图等，使得从用户角度来说，可通过虚实结合方式，在观测对象周围预设范围内观测到其各个视角的图像，以便于巡视过程中，通过显示于观测对象周围的不同视角图像，观察观测对象的详细信息。

以下提供本申请方法的一应用示例。

该示例下的巡视环境如图2所示，巡视环境的实际场景中有三个可调用的摄像头：camera1、camera2和camera3，分别部署在巡视环境的不同位置。用户通过佩戴AR眼镜对该环境中的对象进行现场巡视，并在巡视的起始时间段内，借助AR眼镜在真实环境中采集的整体巡视环境及其内部所包含各个对象在多种不同视角下的图像/视频信息，对真实环境进行3D建模，在此基础上，通过AR眼镜在巡视环境中进行对象巡视的一示例性实现流程如下：

21)用户通过手势指向并单击真实场景里需要巡视的目标点位对象，假设为该场景示意图中的瓶子。

22)AR眼镜基于环境建模数据，匹配到能够(清晰)传输瓶子画面的camera1和camera2。

其中，camera1和camera2即为与瓶子匹配的目标图像采集装置。

23)联动camera1和camera2，获取camera1和camera2采集的瓶子图像画面。

24)在AR界面显示camera1和camera2的实时画面，以供用户从不同视角观察所选目标点位对象即瓶子的详细信息。

AR眼镜基于环境建模数据，匹配到能够(清晰)传输瓶子画面的camera1和camera2，并获取camera1和camera2采集的瓶子图像画面进行显示的处理过程，具体可参见图3，包括：通过将用户的空中点击手势映射为对环境模型中目标对象模型的选择操作，确定用户操作指示的待巡视目标点位对象(即瓶子)；提取瓶子在三维环境建模数据中对应的三维位置信息(包括多个不同面分别对应的三维位置)；根据三维环境建模数据提取各个环境摄像头即camera1、camera2和camera3的三维位置信息，并结合各摄像头的最大转动弧度、镜头倍数等参数得到各摄像头在真实环境中的最大覆盖区域(视角、面积、距离等)；根据瓶子的三维位置信息、各个环境摄像头的三维位置信息及各摄像头分别对应的最大覆盖区域，匹配出能够(清晰)传输瓶子画面的摄像头，即camera1和camera2；获取camera1和camera2的图像，并按camera1和camera2分别与瓶子的相对位置关系，对camera1和camera2的图像画面进行显示。

其中，如图3所示，具体将camera1视角的图像作为瓶子的左视图显示，将camera2视角的图像作为瓶子的顶视图显示，可选的，还同时显示AR眼镜的摄像头采集的瓶子的正视图图像。

从而基于本申请方法，用户可在电子设备端(如AR设备端)选择巡视环境中需巡视的目标物，并结合巡视环境中目标物与环境摄像头的空间位置关系，调取目标物附近的摄像头画面，来高效、直观地观察目标物的详细情况。

本实施例的处理方法，通过预先在巡视环境内设置一系列图像采集装置，并将用户的电子设备与设置于巡视环境内的图像采集装置搭配使用，使得当用户需对巡视环境中的对象进行巡视时，可在电子设备端执行选择操作来指定用于作为巡视目标的观测对象，并结合观测对象的位置信息，调取巡视环境内与观测对象匹配的至少一个图像采集装置获得观测对象的图像画面，以此实现向用户提供观测对象的详细画面信息供用户观察，无需用户在巡视场景中执行爬楼、占位角度选择等行为，为用户方便、直观、高效的观察观测对象的详细信息提供了支持，从而基于本申请提供的人机联动方式，能够提升对巡视环境中对象的巡视结果准确性，且还可以降低巡视时间，提升巡视效率。

在一实施例中，参见图4提供的处理方法流程图，本申请公开的处理方法在展示获得的图像之后，还可以包括以下处理：

步骤105、响应于对所展示图像的显示控制操作，对观测对象的图像进行对应的显示控制。

其中，对所展示图像的显示控制操作，具体可以是对基于上述实施方式11)所展示图像的显示控制操作，或者对基于上述实施方式12)所展示图像的显示控制操作，或者对基于上述实施方式13)所展示图像的显示控制操作，不作限制。

对上述任一实施方式下所展示图像的显示控制操作，可以有多种操作类型，包括但不限于对相应图像的选择操作、退出操作、观看视角调整操作、缩放操作(即倍数控制操作)等等。

相应的，本步骤105可进一步实现为：

31)响应于对展示的各个图像中相应图像的选择操作，将选择的图像作为观测对象当前的主图像进行显示；响应于对当前主图像的退出操作，结束对当前主图像的显示。

例如，针对基于11)-13)任一实施方式显示的观测对象多视角图像，用户可根据需求从中点击(如针对AR界面的空中手势，或针对手机界面的触摸手势等)选择一需详细观测的目标视角图像，以将该目标视角图像作为当前的主图像重点显示，从而便于用户观察其详细信息，也就是说，主图像的确定，既可以以用户对真实场景中观测对象的实际观测视角为依据，也可以以用户在图像显示界面的选择操作为依据。

后续，当用户需更换其他视角的图像进行详细观看时，可通过退出操作(如点击界面上为主图像关联的退出按钮，或对主图像执行向界面边缘滑动的滑动手势等，同样可以是空中手势或触摸手势)退出当前的主图像，并点击选择其他需详细观测的相应视角图像，使得以主图像效果对新选择的图像进行显示，或者，也可以在未退出当前主图像的情况下，直接在界面的多视角图像缩略图上点击其他需详细观测的相应视角图像，并直接基于该选择操作，实现主图像更新。

32)响应于对主图像的视角调整操作，向输出所述主图像的目标图像采集装置发送视角调整指令，以指示输出该主图像的目标图像采集装置在可转动范围内调整采集视角，相应调整所述主图像的视角，或将所述主图像更新为所述视角调整操作所指示的目标视角匹配的目标图像采集装置输出的图像。

对于显示界面上显示的主图像，支持用户对其进行视角调整操作，此时可将设备当前对主图像的显示界面(如AR界面)作为对真实环境中所对应摄像头的控制云台界面，以能够联动真实环境中的摄像头响应用户的视角调整操作。可选的，该视角调整操作可以是用户沿画面x/y方向(左/右/上/下方向)移动的移动操作，或语音输入操作，或基于信息配置的配置操作等等。

例如，用户可通过在当前主图像界面上执行沿画面x，y方向的移动操作(即，向左/右c上/下方向的移动操作，可以是基于空中手势或触摸手势的移动操作)，使得电子设备向真实环境内主图像所对应摄像头发送向对应方向的旋转指令，以通过联动摄像头的转动动作，控制主图像的图像内容在其所对应摄像头的最大视角范围内沿上/下/左/右视角方向实时变动。

实际应用中，可选的，还可以预先在主图像上通过执行预设激活操作，激活对主图像画面的交互功能，并在此基础上以激活点为原点通过执行上述的移动操作，实现按所需方向对主图像进行视角调整。

一旦用户在云台界面的移动步数超过当前主视图所对应摄像头的最大视角范围所对应步数，则自动将主图像切换为当前移动步数所对应视角的摄像头提供的画面，也就是说，此时主图像发生更新，且更新成当前移动步数(代表当前的视角调整操作)指示的目标视角匹配的目标图像采集装置输出的图像。

对主图像进行视角范围调整的一个示例具体如图5所示。

可选的，如果巡视环境内不存在与所述目标视角匹配的目标图像采集装置，则将主视图更新为电子设备(如AR眼镜)的图像采集装置输出的图像(即正视图)。

33)响应于对所述主图像的倍数调整操作，向输出主图像的目标图像采集装置发送倍数调整指令，以指示输出主图像的目标图像采集装置调整其镜头倍数并对所述观测对象进行对焦。

该实施方式，支持用户对主图像执行倍数调整操作，通过倍数调整操作达到缩/放主图像的图像画面的效果，可选的，该倍数调整操作可以是用户沿显示画面深度方向(z轴方向)进行移动的移动操作，或语音输入操作等，或基于信息配置的配置操作等等。

当用户对主图像执行倍数调整操作，如执行沿z轴方向的移动操作时，AR设备向真实环境内主图像所对应的摄像头同步发送对应的控制指令，控制指令至少包括镜头变倍指令，以指示输出当前主图像的目标图像采集装置调整其镜头倍数，从而实现对所输出主图像的画面进行缩/放的目的。可选的，响应于沿z轴方向由浅至深移动的移动操作，对主图像进行画面放大，响应于沿z轴方向由深至浅移动的移动操作，对主图像进行画面缩小。

优选的，对主图像执行倍数调整操作时，电子设备向对应摄像头发送的控制指令还包括镜头对焦指令，以使得输出主图像的目标图像采集装置在调整其镜头倍数的同时，通过变焦自动对当前的观测对象进行对焦，从而保证对观测对象的画面采集效果。

对主图像进行倍数调整操作以实现图像缩/放的一个示例具体如图6所示。

可选的，针对倍数调整操作为沿画面深度方向进行移动的情况，可预先设置在显示画面深度方向上对所述移动操作的容错距离，以避免用户进行云台上/下/左/右等移动操作时因手部不自觉在深度方向产生移动而导致误操作。

本实施例为用户提供了对显示界面上不同视角图像的多样化操作功能，能够进一步满足用户对真实巡视场景中观测对象信息的多样化查看需求，使得用户对真实巡视场景中观测对象信息的观察更为方便、直观、高效。

对应于上述的处理方法，本申请实施例还公开一种处理装置，该装置的组成结构如图7所示，包括：

获取模块701，用于获得对巡视环境中的对象所执行选择操作的选择操作信息；

第一确定模块702，用于根据所述选择操作信息确定当前在所述巡视环境中的观测对象；

第二确定模块703，用于根据所述观测对象的位置信息，确定所述巡视环境内设置的图像采集装置集中与所述观测对象匹配的至少一个目标图像采集装置；

展示模块704，用于获得至少一个目标图像采集装置采集的所述观测对象的图像，并展示获得的图像。

在一实施方式中，第一确定模块702，具体用于：根据所述选择操作信息，将所述选择操作映射为对巡视环境模型中目标对象模型的选择操作，将所述目标对象模型代表的对象作为当前的观测对象；

所述巡视环境模型为对所述巡视环境进行建模所得的虚拟模型。

在一实施方式中，第一确定模块702，具体用于：

确定所述电子设备的当前位姿；

确定所述选择操作信息所指示目标点的深度信息；

根据所述当前位姿、所述深度信息和所述选择操作信息确定目标点坐标，将所述目标点坐标在所述巡视环境中对应的对象作为当前的观测对象。

在一实施方式中，第二确定模块703，具体用于：

根据所述观测对象的位置信息，确定所述巡视环境内设置的图像采集装置集中各图像采集装置与所述观测对象的空间位置关系；

根据所述各图像采集装置与所述观测对象的空间位置关系，确定所述图像采集装置集中与所述观测对象匹配的至少一个目标图像采集装置。

在一实施方式中，展示模块704，具体用于：

按照所述至少一个目标图像采集装置与所述观测对象的空间位置关系，展示所述至少一个目标图像采集装置分别采集的图像。

在一实施方式中，展示模块704在按照所述至少一个目标图像采集装置与所述观测对象的空间位置关系，展示所述至少一个目标图像采集装置分别采集的图像时，具体用于：

按照所述至少一个目标图像采集装置与所述观测对象的空间位置关系，同时显示所述至少一个目标图像采集装置分别采集的图像。

在一实施方式中，展示模块704在按照所述至少一个目标图像采集装置与所述观测对象的空间位置关系，展示所述至少一个目标图像采集装置分别采集的图像时，具体用于：

显示主图像，所述主图像为所述至少一个目标图像采集装置分别采集的图像中与当前对所述观测对象的观测视角匹配的图像；

响应于所述观测视角发生变化且变化后的观测视角超出所述主图像对应的视角范围，将所述主图像更新为所述至少一个目标图像采集装置分别采集的图像中与变化后的观测视角匹配的图像并显示。

在一实施方式中，展示模块704在按照所述至少一个目标图像采集装置与所述观测对象的空间位置关系，展示所述至少一个目标图像采集装置分别采集的图像时，具体用于：

识别所述观测对象在当前观测视角中对应所处的目标位置，将所述至少一个目标图像采集装置分别采集的图像显示在所述目标位置周围预设范围内。

对于本申请实施例公开的处理装置而言，由于其与上文各方法实施例公开的处理方法相对应，所以描述的比较简单，相关相似之处请参见上文各方法实施例的说明即可，此处不再详述。

本申请实施例还公开一种电子设备，具体可以是但不限于众多通用或专用的计算装置环境或配置下的设备，例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器装置等等。

电子设备的组成结构，如图8所示，至少包括：

存储器10，用于存放计算机指令集；

计算机指令集可以通过计算机程序的形式实现。

处理器20，用于通过执行计算机指令集，实现如上文任一方法实施例公开的数据处理方法。

处理器20可以为中央处理器(Central Processing Unit，CPU)，特定应用集成电路(application-specific integrated circuit，ASIC)，数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件等。

电子设备具备显示装置和/或具备显示接口、能外接显示装置。

可选的，电子设备还包括摄像头组件，和/或连接有外置摄像头组件。

除此之外，电子设备还可以包括通信接口、通信总线等组成部分。存储器、处理器和通信接口通过通信总线完成相互间的通信。

通信接口用于电子设备与其他设备之间的通信。通信总线可以是外设部件互连标准(Peripheral Component Interconnect，PCI)总线或扩展工业标准结构(ExtendedIndustry Standard Architecture，EISA)总线等，该通信总线可以分为地址总线、数据总线、控制总线等。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

为了描述的方便，描述以上系统或装置时以功能分为各种模块或单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。

最后，还需要说明的是，在本文中，诸如第一、第二、第三和第四等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种处理方法，应用于电子设备，所述方法包括：

获得对巡视环境中的对象所执行选择操作的选择操作信息；

根据所述选择操作信息确定当前在所述巡视环境中的观测对象；

根据所述观测对象的位置信息，确定所述巡视环境内设置的图像采集装置集中与所述观测对象匹配的至少一个目标图像采集装置；

获得至少一个目标图像采集装置采集的所述观测对象的图像，并展示获得的图像。

2.根据权利要求1所述的方法，所述根据所述选择操作信息确定当前在所述巡视环境中的观测对象，包括：

根据所述选择操作信息，将所述选择操作映射为对巡视环境模型中目标对象模型的选择操作，将所述目标对象模型代表的对象作为当前的观测对象；

所述巡视环境模型为对所述巡视环境进行建模所得的虚拟模型。

3.根据权利要求1所述的方法，所述根据所述选择操作信息确定当前在所述巡视环境中的观测对象，包括：

确定所述电子设备的当前位姿；

确定所述选择操作信息所指示目标点的深度信息；

根据所述当前位姿、所述深度信息和所述选择操作信息确定目标点坐标，将所述目标点坐标在所述巡视环境中对应的对象作为当前的观测对象。

4.根据权利要求1所述的方法，所述根据所述观测对象的位置信息，确定所述巡视环境内设置的图像采集装置集中与所述观测对象匹配的至少一个目标图像采集装置，包括：

根据所述观测对象的位置信息，确定所述巡视环境内设置的图像采集装置集中各图像采集装置与所述观测对象的空间位置关系；

根据所述各图像采集装置与所述观测对象的空间位置关系，确定所述图像采集装置集中与所述观测对象匹配的至少一个目标图像采集装置。

5.根据权利要求1-4中任意一项所述的方法，所述展示获得的图像，包括：

按照所述至少一个目标图像采集装置与所述观测对象的空间位置关系，展示所述至少一个目标图像采集装置分别采集的图像。

6.根据权利要求5所述的方法，所述按照所述至少一个目标图像采集装置与所述观测对象的空间位置关系，展示所述至少一个目标图像采集装置分别采集的图像，包括：

按照所述至少一个目标图像采集装置与所述观测对象的空间位置关系，同时显示所述至少一个目标图像采集装置分别采集的图像。

7.根据权利要求5所述的方法，所述按照所述至少一个目标图像采集装置与所述观测对象的空间位置关系，展示所述至少一个目标图像采集装置分别采集的图像，包括：

显示主图像，所述主图像为所述至少一个目标图像采集装置分别采集的图像中与当前对所述观测对象的观测视角匹配的图像；

响应于所述观测视角发生变化且变化后的观测视角超出所述主图像对应的视角范围，将所述主图像更新为所述至少一个目标图像采集装置分别采集的图像中与变化后的观测视角匹配的图像并显示。

8.根据权利要求5所述的方法，所述按照所述至少一个目标图像采集装置与所述观测对象的空间位置关系，展示所述至少一个目标图像采集装置分别采集的图像，包括：

识别所述观测对象在当前观测视角中对应所处的目标位置，将所述至少一个目标图像采集装置分别采集的图像显示在所述目标位置周围预设范围内。

9.一种处理装置，应用于电子设备，所述装置包括：

获取模块，用于获得对巡视环境中的对象所执行选择操作的选择操作信息；

第一确定模块，用于根据所述选择操作信息确定当前在所述巡视环境中的观测对象；

第二确定模块，用于根据所述观测对象的位置信息，确定所述巡视环境内设置的图像采集装置集中与所述观测对象匹配的至少一个目标图像采集装置；

展示模块，用于获得至少一个目标图像采集装置采集的所述观测对象的图像，并展示获得的图像。

10.一种电子设备，包括：

存储器，用于至少存储一组计算机指令集；

处理器，用于通过调用并执行所述存储器中存储的所述指令集，实现如权利要求1-8任一项所述的处理方法。

Images