CN113572946A - 图像显示方法、装置、系统及存储介质 - Google Patents

Abstract

本申请公开了一种图像显示方法、装置、系统及存储介质，属于图像处理领域。方法包括：展示环视图像，该环视图像是基于球机在环视范围内采集的多张图像进行合成得到，每当通过至少一个雷达在雷达探测区域内探测到目标时，获取目标在世界坐标系下的第一位置信息，至少一个雷达的雷达探测区域合起来覆盖球机的环视范围内的所有区域，在环视图像中基于第一位置信息得到的第二位置信息所指示的位置处更新显示目标框，目标框用于指示第二位置信息指示的位置处存在目标。如此，通过雷达对目标进行探测，能够及时了解探测区域是否存在目标，且若存在目标，可以根据目标的第一位置信息将目标通过目标框的形式显示在环视图像中，增强了目标监控的实时性。

Description

图像显示方法、装置、系统及存储介质

技术领域

本申请涉及图像处理技术领域，特别涉及一种图像显示方法、装置、系统及存储介质。

背景技术

随着监控技术的发展，人们对监控图像的要求越来越高，为了得到范围更广的监控区域的监控图像，可以通过控制设备控制球机在一定的环视范围内周期性转动，球机在每个周期内可以采集多个监控方位的图像，控制设备将同一个周期内采集到的多张图像进行图像拼接，可以得到覆盖该多个监控方位的环视图像，控制设备可以显示该环视图像以便于管理人员查看。然而，由于球机在某个时刻只能采集到一个监控方位的监控图像，其它监控方位出现目标时不能及时得知，所以，当控制设备控制球机转动到存在目标的监控方位时目标可能已经移出监控区域，使得目标监控的实时性较差。

发明内容

本申请提供了一种图像显示方法、装置、系统及存储介质，可以解决相关技术中使得目标监控的实时性较差的问题。所述技术方案如下：

一方面，提供了一种图像显示方法，所述方法包括：

展示环视图像，所述环视图像是基于球机在环视范围内采集的多张图像进行合成得到；

每当通过至少一个雷达在雷达探测区域内探测到目标时，获取所述目标的第一位置信息，所述至少一个雷达的雷达探测区域合起来覆盖球机的环视范围内的所有区域，所述第一位置信息是所述目标在世界坐标系下的位置信息；

在所述环视图像中第二位置信息所指示的位置处更新显示目标框，所述目标框用于指示所述第二位置信息指示的位置处存在所述目标，所述第二位置信息是基于所述第一位置信息得到的。

在本申请一种可能的实现方式中，所述在所述环视图像中第二位置信息所指示的位置处更新显示目标框之后，还包括：

基于所述第一位置信息，控制所述球机抓拍所述目标的细节图像；

利用所述细节图像替换所述环视图像中所述第二位置信息所指示的位置处的目标框；

显示替换后的环视图像。

在本申请一种可能的实现方式中，所述利用所述细节图像替换环视图像中所述第二位置信息所指示的位置处的目标框，包括：

从所述细节图像中获取所述目标所在的区域，得到区域图像；

利用所述区域图像替换所述环视图像中所述第二位置信息所指示的位置处的目标框。

在本申请一种可能的实现方式中，当所述至少一个雷达探测到多个目标时，所述基于所述第一位置信息，控制所述球机抓拍所述目标的细节图像，包括：

依次基于所述多个目标中每个目标的第一位置信息，控制所述球机抓拍每个目标的细节图像；

相应地，所述利用所述细节图像替换所述环视图像中所述第二位置信息所指示的位置处的目标框，包括：

依次利用每个目标的细节图像替换所述环视图像中每个目标的第二位置信息所指示的位置处的目标框。

在本申请一种可能的实现方式中，当所述至少一个雷达探测到多个目标时，所述基于所述第一位置信息，控制所述球机抓拍所述目标的细节图像，包括：

从所述多个目标中选择一个目标，基于选择的目标的第一位置信息，控制所述球机抓拍选择的目标的细节图像；

相应地，所述利用所述细节图像替换所述环视图像中所述第二位置信息所指示的位置处的目标框，包括：

利用选择的目标的细节图像替换所述环视图像中所述选择的目标的第二位置信息所指示的位置处的目标框。

在本申请一种可能的实现方式中，所述展示环视图像之前，还包括：

基于所述球机的水平视场角和所述环视范围，确定多组配置参数；

基于所述多组配置参数，控制所述球机依次在每种配置参数对应的状态下采集图像，得到多张图像；

将所述多张图像进行拼接，得到所述环视图像。

在本申请一种可能的实现方式中，所述将所述多张图像进行拼接，得到所述环视图像之后，还包括：

基于所述多组配置参数中的目标组配置参数，控制所述球机复位至复位状态；

控制所述球机在所述复位状态下抓拍图像；

利用抓拍的图像，更新所述环视图像中所述目标组配置参数对应的图像区域；

显示更新后的环视图像。

在本申请一种可能的实现方式中，

所述环视图像是基于所述球机在所述多组配置参数对应的状态下采集的多张图像进行合成得到的；或者，

所述环视图像是所述更新后的环视图像。

另一方面，提供了一种图像显示装置，所述装置包括：

展示模块，用于展示环视图像，所述环视图像是基于球机在环视范围内采集的多张图像进行合成得到；

获取模块，用于每当通过至少一个雷达在雷达探测区域内探测到目标时，获取所述目标的第一位置信息，所述至少一个雷达的雷达探测区域合起来覆盖球机的环视范围内的所有区域，所述第一位置信息是所述目标在世界坐标系下的位置信息；

显示模块，用于在所述环视图像中第二位置信息所指示的位置处更新显示目标框，所述目标框用于指示所述第二位置信息指示的位置处存在所述目标，所述第二位置信息是基于所述第一位置信息得到的。

在本申请一种可能的实现方式中，所述显示模块还用于：

基于所述第一位置信息，控制所述球机抓拍所述目标的细节图像；

利用所述细节图像替换所述环视图像中所述第二位置信息所指示的位置处的目标框；

显示替换后的环视图像。

在本申请一种可能的实现方式中，所述显示模块还用于：

从所述细节图像中获取所述目标所在的区域，得到区域图像；

利用所述区域图像替换所述环视图像中所述第二位置信息所指示的位置处的目标框。

在本申请一种可能的实现方式中，所述显示模块还用于：

当所述至少一个雷达探测到多个目标时，依次基于所述多个目标中每个目标的第一位置信息，控制所述球机抓拍每个目标的细节图像；

依次利用每个目标的细节图像替换所述环视图像中每个目标的第二位置信息所指示的位置处的目标框。

在本申请一种可能的实现方式中，所述显示模块还用于：

当所述至少一个雷达探测到多个目标时，从所述多个目标中选择一个目标，基于选择的目标的第一位置信息，控制所述球机抓拍选择的目标的细节图像；

利用选择的目标的细节图像替换所述环视图像中所述选择的目标的第二位置信息所指示的位置处的目标框。

在本申请一种可能的实现方式中，所述展示模块还用于：

基于所述球机的水平视场角和所述环视范围，确定多组配置参数；

基于所述多组配置参数，控制所述球机依次在每种配置参数对应的状态下采集图像，得到多张图像；

将所述多张图像进行拼接，得到所述环视图像。

在本申请一种可能的实现方式中，所述展示模块还用于：

基于所述多组配置参数中的目标组配置参数，控制所述球机复位至复位状态；

控制所述球机在所述复位状态下抓拍图像；

利用抓拍的图像，更新所述环视图像中所述目标组配置参数对应的图像区域；

显示更新后的环视图像。

在本申请一种可能的实现方式中，

所述环视图像是基于所述球机在所述多组配置参数对应的状态下采集的多张图像进行合成得到的；或者，

所述环视图像是所述更新后的环视图像。

另一方面，提供了一种控制设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为实现上述一方面所述的图像显示方法。

另一方面，提供了一种雷球联动监控系统，所述雷球联动监控系统包括控制设备、球机和雷达，所述控制设备用于与所述球机和所述雷达配合实现上述一方面所述的图像显示方法。

另一方面，提供了一种计算机可读存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述一方面所述的图像显示方法。

另一方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述一方面所述的图像显示方法。

本申请提供的技术方案至少可以带来以下有益效果：

基于球机在环视范围内采集多张图像，对多张图像进行合成可以得到环视图像，并对环视图像进行展示，每当通过至少一个雷达在雷达探测区域内探测到目标时，可以获取目标在世界坐标系下的第一位置信息，由于至少一个雷达的雷达探测区域合起来可以覆盖球机的环视范围内的所有区域，因此目标一定处于球机的环视范围内，为了能够得知目标周围的具体环境情况，可以在环视图像中该目标在平面图像坐标系下的第二位置信息所指示的位置处更新显示目标框，该目标框用来指示该第二位置信息指示的位置处存在目标。其中，第二位置信息是基于第一位置信息得到的。如此，通过雷达对目标进行探测，能够及时了解到探测区域是否存在目标，且当探测到存在目标时，可以根据目标的第一位置信息及时将目标通过目标框的形式显示在环视图像中，增强了目标监控的实时性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据一示例性实施例示出的一种雷球联动监控系统的示意图；

图2是根据一示例性实施例示出的一种图像显示方法的流程图；

图3是根据另一示例性实施例示出的一种图像显示方法的流程图；

图4是根据一示例性实施例示出的一种环视图像的示意图；

图5是根据一示例性实施例示出的一种更新后的环视图像的示意图；

图6是根据一示例性实施例示出的一种在环视图像中显示目标框的示意图；

图7是根据另一示例性实施例示出的一种在环视图像中显示目标框的示意图；

图8是根据一示例性实施例示出的一种将目标框替换为细节图像后的环视图像的示意图；

图9是根据另一示例性实施例示出的一种将目标框替换为细节图像后的环视图像的示意图；

图10是根据一示例性实施例示出的一种图像显示装置的结构示意图；

图11是根据一示例性实施例示出的一种控制设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

在对本申请实施例提供的图像显示方法进行详细介绍之前，先对本申请实施例涉及的名词、应用场景和实施环境进行简单介绍。

首先，对本申请实施例涉及的名词进行简单介绍。

雷达：一种利用电磁波探测目标的设备，具有全天候全天时工作的特点。通过发射电磁波对目标进行照射并接收其回波，由此获得目标至电磁波发射点的距离、距离变化率(径向速度)、方位、高度等信息。

球机：具有云台等机械结构，可以进行PTZ变化的大范围监控摄像机，能够兼顾监控场景的全景信息和细节信息。

雷球联动：通过雷达和球机联合监控，当雷达探测到目标时，可以将目标通过目标框的形式更新显示在环视图像中，并根据需要驱动球机转动抓拍目标的细节图像，利用细节图像替换环视图像中的目标框。

PTZ：在安防监控应用中是Pan Tilt Zoom的简写，用于代表云台全方位(水平/垂直)移动及镜头变倍、变焦控制。

其次，对本申请实施例涉及的应用场景进行简单介绍。

在监控场景中，如果单独使用雷达来探测目标，只能确定在某位置处存在目标，不能确定目标周围的环境，无法实现目标在包含背景环境的图像中的可视化显示。而如果单独使用球机显示图像，由于球机容易受天气、距离等外界因素影响，不能准确地发现并识别出图像中的目标，而且单独使用球机周期性转动合成环视图像的实时性较差。为此，本申请实施例提供了一种图像显示方法，利用雷达和球机协同工作的方式来进行图像显示，当探测到存在目标时，不但可以实时将目标通过目标框的形式显示在环视图像中，还可以根据需求抓拍目标的细节图像，并用细节图像替换目标框，将替换后的环视图像进行展示，其具体实现可以参见下文所述的各个实施例。

接下来，对本申请实施例涉及的实施环境进行简单介绍。

请参考图1，该图1是根据一示例性实施例示出的一种雷球联动监控系统的示意图，该雷球联动监控系统可以包括控制设备110、雷达120和球机130。其中，该雷达120和该球机130可以为分离安装，也可以是一体化设备。

进一步地，当该雷达120与该球机130分离安装时，该控制设备110可以与该雷达120一体化设置，或者，该控制设备110也可以与该球机130一体化设置；或者，当该雷达120和该球机130为一体化设备时，该控制设备110也可以设于该一体化设备中。

上述雷达120可以用于探测目标，并生成雷达探测数据。作为一种示例，该雷达120可以采用毫米波雷达、激光雷达等，本申请实施例对此不作限定。

上述球机130可以用于采集环视范围内的多张图像，并实时抓拍目标的细节图像。作为一种示例，该球机130可以采用普通光相机、热成像相机或红外相机等，本申请实施例对此不作限定。

上述控制设备110可以用于获取雷达探测数据，并对雷达探测数据进行处理，以获取雷达探测到的目标的相关信息，还可以用于控制球机130采集图像，并根据球机130采集的图像得到环视图像，再对环视图像进行显示。

作为一种示例，该控制设备110可以包括但不限于雷达标定模块、球机控制模块、图像处理模块和环视图合成模块。该控制设备110可以分别通过上述该多个模块来实现图像显示。

本领域技术人员应能理解上述控制设备110、雷达120和球机130仅为举例，其他现有的或今后可能出现的控制设备、雷达和球机如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

在介绍完本申请实施例涉及的名词、应用场景和实施环境后，接下来对本申请实施例提供的图像显示方法进行详细的解释说明。

请参考图2，该图2是根据一示例性实施例示出的一种图像显示方法的流程图，以该方法应用于上述图1所示实施环境中为例进行说明，该方法可以包括如下步骤：

步骤201：展示环视图像，该环视图像是基于球机在环视范围内采集的多张图像进行合成得到。

其中，环视范围可以用于表示需要球机采集的可以覆盖多个方位的图像的范围。例如，环视范围可以为360°，即以球机为中心，采集水平方向360°的监控区域的图像。

在本申请实施例中，雷球联动系统启动前，可以设置球机的多组配置参数，以使得球机在多组配置参数下采集的图像经过合成可以得到达到环视范围的环视图像，雷球联动系统启动后，可以根据多组配置参数，通过球机采集多张图像以得到环视图像。

在一些实施例中，可以基于球机的水平视场角和环视范围，确定多组配置参数，基于多组配置参数，控制球机依次在每种配置参数对应的状态下采集图像，得到多张图像，将多张图像进行拼接，得到环视图像。

其中，球机的水平视场角为球机在水平方向的视野范围。

其中，配置参数可以包括球机的水平角度、垂直角度和倍率，且不同的配置参数与球机不同的状态相对应。示例性地，配置参数可以为PTZ参数。

需要说明的是，环视范围可以根据实际需求进行设置，也可以由控制设备默认设置，还可以根据实际情况进行调整，本申请实施例对此不做限定。

作为一种示例，在雷球联动系统启动之前，可以预先设置环视范围，控制设备可以根据环视范围、球机的水平视场角和计算公式，确定球机的多个水平角度，然后控制设备可以获取球机的垂直角度和倍率，将球机的垂直角度、倍率和多个水平角度中的某个水平角度确定为一组配置参数，如此，基于该多个水平角度可以确定多组配置参数，并将该多组配置参数进行存储。

示例性地，假设环视范围为360°，球机的倍率为1，垂直角度为0°，在单倍率下球机的水平视场角为60°，球机初始的水平角度为0°，可以确定6组水平角度，分别为0°、60°、120°、180°、240°和300°，进而可以确定6组配置参数，并将这6组配置参数存储起来。

需要说明的是，根据环视范围和球机的水平视场角确定球机的水平角度的计算公式可以由操作人员输入控制设备，或者，可以直接由控制设备从其他设备中获取得到。

作为一种示例，参见图3，在雷球联动系统启动之后，控制设备基于多组配置参数控制球机转动，依次在每组配置参数对应的状态下采集图像，以得到多张图像，然后根据图像拼接技术将多张图像进行拼接，得到达到环视范围需求的环视图像。

示例性地，继续上述举例，控制设备通过球机控制模块控制球机在水平角度为0°，垂直角度为0°，倍率为1的状态下采集一张图像，然后控制球机转动60°，在水平角度为60°，垂直角度为0°，倍率为1的状态下采集一张图像，控制设备控制球机依次转动，依次在每组配置参数对应的状态下采集图像，可以得到六张图像，然后通过环视图合成模块，根据图像拼接技术将该六张图像拼接为一张图像，即环视图像，该环视图像包括以球机为中心，在垂直角度为0°，倍率为1的状态下球机水平方向360°的区域内的图像，符合环视范围需求。

示例性地，参见图4，图4是将球机采集的3张图像进行图像拼接后得到的环视图像。

作为另一种示例，在雷球联动系统启动之前，可以预先设置环视范围，控制设备可以根据环视范围、球机的水平视场角和计算公式，确定球机的多个水平角度，然后控制设备可以获取球机的垂直角度和倍率，还可以调整球机的垂直角度和倍率，得到多个垂直角度和多个倍率，将球机的多个垂直角度中的某个垂直角度、多个倍率中的某个倍率和多个水平角度中的某个水平角度确定为一组配置参数，如此，可以确定多组配置参数，并将该多组配置参数进行存储。

示例性地，假设环视范围为360°，球机的倍率包括为1和0.5，垂直角度包括为0°和30°。在倍率为1时，假设球机的水平视场角为60°，球机初始的水平角度为0°，可以确定6组水平角度，分别为0°、60°、120°、180°、240°和300°，再结合2组垂直角度，可以得到12组配置参数。在倍率为0.5时，假设球机的水平视场角为120°，球机初始的水平角度为0°，可以确定3组水平角度，分别为0°、120°和240°，再结合2组垂直角度，可以得到6组配置参数。综上，共可以得到18组配置参数，并将这18组配置参数存储起来。

在该种情况下，控制设备可以基于垂直角度相同且倍率相同的多组配置参数控制球机转动，依次在垂直角度相同且倍率相同的每组配置参数对应的状态下采集图像，以得到多张图像，然后根据图像拼接技术将多张图像进行拼接，得到达到环视范围需求的环视图像。

进一步地，在得到环视图像之后，控制设备可以基于多组配置参数中的目标组配置参数，控制球机复位至复位状态，控制球机在复位状态下抓拍图像，利用抓拍的图像，更新环视图像中目标组配置参数对应的图像区域，显示更新后的环视图像。

其中，目标组配置参数可以包括一组配置参数，也可以包括多组配置参数，相应的，复位状态可以包括一种状态，也可以包括多种状态。作为一种示例，控制设备可以控制球机在不同时间段或不同情况下复位至不同的状态，或者，控制设备可以控制球机复位至多种状态中的任一状态，然后在该多种状态中不断切换。

需要说明的是，目标配置参数可以预先设置并存储在控制设备中。目标配置参数可以根据需要进行设置，也可以由控制设备默认设置，本申请实施例对此不做限定。

作为一种示例，控制设备基于目标组配置参数，通过球机控制模块控制球机转动，使球机复位至复位状态，控制球机在复位状态下抓拍图像，通过图像处理模块，根据环视图像中目标组配置参数对应的图像区域对抓拍图像进行调整，使得调整后的抓拍图像与该图像区域的大小相同，利用调整后的抓拍图像更新环视图像中目标组配置参数对应的图像区域，将更新后的环视图像进行显示。参见图5，图5是对环视图像中左边的局部图像进行更新后的环视图像，更新后的环视图像更加接近当前时刻的真实情景，实时性更好，准确性更高。

需要说明的是，在通过球机采集多张图像的过程中，可以通过雷达对探测区域进行目标探测，也即是，在雷球联动系统启动后，球机和雷达同时开始工作，但无论雷达的探测结果如何，控制设备均不进行任何操作，当球机采集完多张图像后，再根据雷达的探测结果执行相应的操作，譬如，如果雷达探测到目标则执行如下步骤202，如果雷达没有探测到目标，则在得到环视图像后，控制设备可以基于多组配置参数中的目标组配置参数，控制球机复位至上述复位状态。或者，可以在采集图像的过程中使得雷达处于关闭状态，在得到环视图像之后再通过雷达对探测区域进行目标探测，也即是，在雷球联动系统启动后，球机先开始工作，当得到环视图像后，再启动雷达。

步骤202：每当通过至少一个雷达在雷达探测区域内探测到目标时，获取目标的第一位置信息，该至少一个雷达的雷达探测区域合起来覆盖球机的环视范围内的所有区域。

其中，第一位置信息是目标在世界坐标系下的位置信息。其中，世界坐标系用于描述目标在真实世界的位置。

其中，该目标可能包括一个，也可能包括多个。也即是，雷达在某个时刻可能探测到一个目标，也可能探测到多个目标。

其中，雷达的数量可以为一个，也可以为多个。作为一种示例，当雷达的数量为一个时，可以将雷达安装在球机周围，并且使得雷达的探测区域可以覆盖球机的环视范围内的所有区域；当雷达的数量为多个时，可以将多个雷达安装在球机周围，并且通过对多个雷达的探测区域进行组合，使得组合后的探测区域可以覆盖球机的环视范围内的所有区域。

在一些实施例中，当通过至少一个雷达在探测区域内探测到目标时，控制设备可以获取雷达的雷达探测数据，并且对该雷达探测数据进行处理，以获取目标的第一位置信息。

作为一种示例，雷达探测数据可以包括目标在雷达坐标系下的位置信息，可以通过雷达坐标系与世界坐标系的转换关系，将目标在雷达坐标系下的位置信息转换为在世界坐标系下的位置信息，即第一位置信息。示例性地，目标的第一位置信息可以包括经纬度信息，或者，目标的第一位置信息可以包括目标在世界坐标系下的三维位置坐标。

步骤203：在环视图像中第二位置信息所指示的位置处更新显示目标框，该目标框用于指示第二位置信息指示的位置处存在目标，第二位置信息是基于第一位置信息得到的。

在实施中，该环视图像可以是球机在多组配置参数对应的状态下采集的多张图像合成得到的，或者，该环视图像可以是更新后的环视图像。

其中，更新后的环视图像是步骤201中利用球机在复位状态下采集的图像将环视图像更新后得到的。

其中，第二位置信息是目标在平面图像坐标系下的位置信息。示例性地，第二位置信息是目标在环视图像中的二维位置坐标。

作为一种示例，可以将目标框显示在球机初始化后采集的多张图像合成得到的环视图像中第二位置信息所指示的位置处。

作为另一种示例，可以将目标框显示在利用球机的抓拍图像更新后的环视图像中第二位置信息所指示的位置处，如此环视图像中目标周围的环境内容更加接近真实情况。

也就是说，当探测到目标时，可以将该目标通过目标框的形式在环视图像中第二位置信息所指示的位置处更新显示。

作为一种示例，可以基于目标的第一位置信息确定目标在环视图像中的第二位置信息，并且通过图像处理模块在环视图像中位置信息指示的位置处更新显示目标框。

在一些实施例中，根据目标的第一位置信息确定目标在环视图像中的第二位置信息的具体实现可以包括：根据目标在世界坐标系下的第一位置信息和第一转换矩阵，确定目标在相机坐标系下的第三位置坐标，根据目标在相机坐标系的第三位置坐标和第二转换矩阵，确定目标在图像坐标系下的第四位置坐标，将目标在图像坐标系下的第四位置坐标确定为目标在环视图像中的第二位置信息，或者，根据目标在图像坐标系下的第四位置坐标和第三转换矩阵，确定目标在像素坐标系下的第五位置坐标，将目标在像素坐标系下的第五位置坐标确定为目标在环视图像中的第二位置信息。

示例性地，参见图6，图6是两个目标在环视图像中的第二位置信息所对应的位置，分别为A和B。

其中，相机坐标系用于从相机的角度描述目标的位置，图像坐标系和像素坐标系均用于描述目标在二维图像中的位置，只是图像坐标系的原点为图像中点，单位为mm，而像素坐标系的原点为图像左上角，单位为pixel，第一转换矩阵用于指示世界坐标系与相机坐标系之间的映射关系，第二转换矩阵用于指示相机坐标系与图像坐标系之间的映射关系，第三转换矩阵用于指示图像坐标系与像素坐标系之间的映射关系。

需要说明的是，该第一转换矩阵、第二转换矩阵和第三转换矩阵可以预先存储在控制设备中。

在一些实施例中，确定目标在环视图像中的第二位置信息后，可以对雷达探测数据进行处理，以确定目标的目标类型，并根据目标类型确定目标框，将目标框更新显示在环视图像中该第二位置信息所指示的位置处。

其中，目标类型可以分为机动目标类型和非机动目标类型，可以通过目标的移动速度来确定。比如目标的移动速度较快，则属于机动目标类型，该目标可能为车辆；比如目标的移动速度相对较慢，则属于非机动目标类型，该目标可能为人。

作为一种示例，可以预先存储目标类型与目标框形状之间的对应关系，以便对于不同类型的目标可以用不同形状的目标框进行显示，在这里不限制目标框的颜色，或者，可以预先存储目标类型与目标框颜色之间的对应关系，以便对于不同类型的目标可以用不同颜色的目标框进行显示，在这里不限制目标框的形状。还可以在控制设备中预先存储目标和雷达之间的距离、目标框大小与目标类型之间的对应关系，根据目标的第一位置信息可以确定目标和雷达之间的距离，根据目标的目标类型与目标和雷达之间的距离，可以确定目标对应的目标框大小。根据确定的目标框颜色、形状和大小绘制目标框，并将该目标框在环视图像中该目标的第二位置信息所指示的位置处进行显示。

示例性地，参见图7，图7是将两个目标框分别在环视图像中两个目标的第二位置信息所指示的位置处进行显示。

如此，当雷达探测到目标时，就可以实时地将目标通过目标框的形式在环视图像中对应的第二位置信息所指示的位置处显示出来，可以实时了解到监控区域的情况，而不用等到球机转动到该区域时才能知道，实时性更强，且雷达不易受天气的影响，可以很准确地确定是否存在目标，相对于根据球机采集到的图像判断是否存在目标来说准确性更高。

需要说明的是，上述步骤201-203已实现本申请实施例提供的图像显示方法。进一步地，为了能够更清楚地了解到目标的细节信息，且使得环视图像的显示信息更丰富，还可以执行下述步骤。

步骤204：基于第一位置信息，控制球机抓拍目标的细节图像。

在一些实施例中，基于第一位置信息可以确定球机的配置参数，再基于确定的配置参数，通过球机控制模块可以控制球机抓拍目标的细节图像。

作为一种示例，根据该第一位置信息确定球机配置参数时，可以获取参数映射矩阵，该参数映射矩阵用于指示雷达坐标参数与球机配置参数之间的映射关系，雷达坐标参数可以包括目标的第一位置信息，然后根据该参数映射矩阵，可以将该目标的第一位置信息映射为该球机的配置参数，再根据该配置参数控制球机转动，使得球机在该配置参数对应的状态下抓拍目标的细节图像。

其中，该参数映射矩阵可以通过雷达标定模块来确定。在实施中，可以通过人工标定手段来确定参数映射矩阵，譬如，可以让一个目标在雷达和球机监控范围内移动，并且，在移动过程中，技术人员可以获取雷达坐标参数和球机配置参数，从而根据获取的雷达坐标参数和球机配置参数来确定该参数映射矩阵。实际上，该参数映射矩阵是用于指示雷达坐标参数至球机配置参数之间的映射关系。

作为另一种示例，在确定球机的配置参数后，还可以根据参考比例阈值对配置参数中的倍率进行调整，基于调整后的配置参数控制球机抓拍目标的细节图像。

其中，参考比例阈值为预期的细节图像与环视图像的大小之间的比例。参考比例阈值可以根据实际需要进行设置，也可以由控制设备默认设置，本申请实施例对此不做限定。

也即是，当通过至少一个雷达探测到目标时，控制设备基于目标的第一位置信息，控制球机从当前状态切换至对目标进行抓拍，以获取该目标的细节图像。

在一些实施例中，当至少一个雷达探测到多个目标时，基于第一位置信息，控制球机抓拍目标的细节图像可以包括如下两种实现方式：

第一种实现方式：依次基于多个目标中每个目标的第一位置信息，控制球机抓拍每个目标的细节图像。

作为一种示例，可以基于每个目标的第一位置信息及参考比例阈值，确定每个目标的第一位置信息对应的球机的配置参数，控制球机转动至每个配置参数的水平角度，在每个配置参数的状态下抓拍对应目标的细节图像。

第二种实现方式：从多个目标中选择一个目标，基于选择的目标的第一位置信息，控制球机抓拍选择的目标的细节图像。

作为一种示例，可以根据实际需求从多个目标中选择一个目标，或者，由控制设备随机选择一个目标，根据该目标的第一位置信息及参考比例阈值，确定该目标的第一位置信息对应的球机的配置参数，控制球机转动至该配置参数的水平角度，在该配置参数的状态下抓拍该目标的细节图像。

步骤205：利用细节图像替换环视图像中第二位置信息所指示的位置处的目标框。

作为一种示例，通过图像处理模块利用目标的细节图像替换环视图像中该目标的第二位置信息所指示的位置处的目标框。

在一些实施例中，利用细节图像替换环视图像中第二位置信息所指示的位置处的目标框包括如下两种情况：

第一种情况：当细节图像的数量为多个时，依次利用每个目标的细节图像替换环视图像中每个目标的第二位置信息所指示的位置处的目标框。

作为一种示例，参见图8，可以依次将每个目标的细节图像直接覆盖在环视图像中每个目标的第二位置信息所指示的位置处的目标框上，或者，可以依次将环视图像中每个目标的第二位置信息处的目标框所在的图像区域删除，将每个目标的细节图像添加至删除后的环视图像中每个目标的第二位置信息所指示的位置处。

第二种情况：当细节图像为从多个目标中选择的一个目标的细节图像时，利用选择的目标的细节图像替换环视图像中选择的目标的第二位置信息所指示的位置处的目标框。

作为一种示例，参见图9，可以将选择的目标的细节图像直接覆盖在环视图像中该目标的第二位置信息所指示的位置处的目标框上，或者，可以将环视图像中该目标的第二位置信息处的目标框所在的图像区域删除，将该目标的细节图像添加至删除后的环视图像中该目标的第二位置信息所指示的位置处。

在一些实施例中，可以从细节图像中获取目标所在的区域，得到区域图像，利用区域图像替换环视图像中第二位置信息所指示的位置处的目标框。

作为一种示例，由于细节图像中可能包括目标周围的景物，而在替换中可以不需要这些景物的细节，因此，可以通过图像处理模块对目标的细节图像进行图像识别，确定目标在细节图像中的区域，获取该区域的图像，得到区域图像，再利用该区域图像替换环视图像中目标的第二位置信息所指示的位置处的目标框。

需要说明的是，利用细节图像替换环视图像中的目标框时，需要判断是否已利用所有目标的细节图像替换了环视图像中的所有目标框，如果是，进行步骤206，如果不是，继续利用目标的细节图像替换环视图像中对应的目标框，直到环视图像中所有的目标框已经被对应目标的细节图像替换。

步骤206：显示替换后的环视图像。

在实施中，利用所有目标的细节图像替换环视图像中对应的所有目标框后，可以展示替换后的环视图像。在展示替换后的环视图像的过程中，控制设备可以基于目标组配置参数，控制球机恢复至复位状态，控制球机在复位状态下抓拍图像，利用抓拍的图像，更新替换后的环视图像中目标组配置参数对应的图像区域，然后显示更新后的替换后的环视图像。

也即是，在控制球机抓拍目标的细节图像后，且用细节图像替换所有目标框之后，展示替换后的环视图像的过程中，可以控制球机复位至复位状态。球机可以在复位状态下采集图像，然后通过图像处理模块利用复位状态下采集的图像对替换后的环视图像进行更新，以便于下一次探测到目标时，可以将目标框更新显示在更新后的替换后的环视图像中。

在本申请实施例中，基于球机在环视范围内采集多张图像，对多张图像进行合成可以得到环视图像，并对环视图像进行展示，每当通过至少一个雷达在雷达探测区域内探测到目标时，可以获取目标在世界坐标系下的第一位置信息，由于至少一个雷达的雷达探测区域合起来可以覆盖球机的环视范围内的所有区域，因此目标一定处于球机的环视范围内，为了能够得知目标周围的具体环境情况，可以在环视图像中该目标在平面图像坐标系下的第二位置信息所指示的位置处更新显示目标框，该目标框用来指示该第二位置信息指示的位置处存在目标。其中，第二位置信息是基于第一位置信息得到的。如此，通过雷达对目标进行探测，能够及时了解到探测区域是否存在目标，且当探测到存在目标时，可以根据目标的第一位置信息及时将目标通过目标框的形式显示在环视图像中，增强了目标监控的实时性。

图10是根据一示例性实施例示出的一种图像显示装置的结构示意图，该图像显示装置可以由软件、硬件或者两者的结合实现。请参考图10，该装置包括：展示模块1001、获取模块1002和显示模块1003。

展示模块1001，用于展示环视图像，该环视图像是基于球机在环视范围内采集的多张图像进行合成得到；

获取模块1002，用于每当通过至少一个雷达在雷达探测区域内探测到目标时，获取目标的第一位置信息，至少一个雷达的雷达探测区域合起来覆盖球机的环视范围内的所有区域，第一位置信息是目标在世界坐标系下的位置信息；

显示模块1003，用于在环视图像中第二位置信息所指示的位置处更新显示目标框，该目标框用于指示第二位置信息指示的位置处存在目标，第二位置信息是基于第一位置信息得到的。

在本申请一种可能的实现方式中，该显示模块1003还用于：

基于第一位置信息，控制球机抓拍目标的细节图像；

利用细节图像替换环视图像中第二位置信息所指示的位置处的目标框；

显示替换后的环视图像。

在本申请一种可能的实现方式中，该显示模块1003还用于：

从细节图像中获取目标所在的区域，得到区域图像；

利用区域图像替换环视图像中第二位置信息所指示的位置处的目标框。

在本申请一种可能的实现方式中，该显示模块1003还用于：

当至少一个雷达探测到多个目标时，依次基于多个目标中每个目标的第一位置信息，控制球机抓拍每个目标的细节图像；

依次利用每个目标的细节图像替换环视图像中每个目标的第二位置信息所指示的位置处的目标框。

在本申请一种可能的实现方式中，该显示模块1003还用于：

当至少一个雷达探测到多个目标时，从多个目标中选择一个目标，基于选择的目标的第一位置信息，控制球机抓拍选择的目标的细节图像；

利用选择的目标的细节图像替换环视图像中选择的目标的第二位置信息所指示的位置处的目标框。

在本申请一种可能的实现方式中，该展示模块1001还用于：

基于球机的水平视场角和环视范围，确定多组配置参数；

基于多组配置参数，控制球机依次在每种配置参数对应的状态下采集图像，得到多张图像；

将多张图像进行拼接，得到环视图像。

在本申请一种可能的实现方式中，该展示模块1001还用于：

基于多组配置参数中的目标组配置参数，控制球机复位至复位状态；

控制球机在复位状态下抓拍图像；

利用抓拍的图像，更新环视图像中目标组配置参数对应的图像区域；

显示更新后的环视图像。

在本申请一种可能的实现方式中，

环视图像是基于球机在多组配置参数对应的状态下采集的多张图像进行合成得到的；或者，

环视图像是更新后的环视图像。

在本申请实施例中，基于球机在环视范围内采集多张图像，对多张图像进行合成可以得到环视图像，并对环视图像进行展示，每当通过至少一个雷达在雷达探测区域内探测到目标时，可以获取目标在世界坐标系下的第一位置信息，由于至少一个雷达的雷达探测区域合起来可以覆盖球机的环视范围内的所有区域，因此目标一定处于球机的环视范围内，为了能够得知目标周围的具体环境情况，可以在环视图像中该目标在平面图像坐标系下的第二位置信息所指示的位置处更新显示目标框，该目标框用来指示该第二位置信息指示的位置处存在目标。其中，第二位置信息是基于第一位置信息得到的。如此，通过雷达对目标进行探测，能够及时了解到探测区域是否存在目标，且当探测到存在目标时，可以根据目标的第一位置信息及时将目标通过目标框的形式显示在环视图像中，增强了目标监控的实时性。

需要说明的是：上述实施例提供的图像显示装置在显示图像时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的图像显示装置与图像显示方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图11是本申请实施例提供的一种控制设备的结构示意图。控制设备1100包括中央处理单元(CPU)1101、包括随机存取存储器(RAM)1102和只读存储器(ROM)1103的系统存储器1104，以及连接系统存储器1104和中央处理单元1101的系统总线1105。控制设备1100还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O系统)1106，和用于存储操作系统1113、应用程序1114和其他程序模块1115的大容量存储设备1107。

基本输入/输出系统1106包括有用于显示信息的显示器1108和用于用户输入信息的诸如鼠标、键盘之类的输入设备1109。其中显示器1108和输入设备1109都通过连接到系统总线1105的输入输出控制器1110连接到中央处理单元1101。基本输入/输出系统1106还可以包括输入输出控制器1110以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器1110还提供输出到显示屏、打印机或其他类型的输出设备。

大容量存储设备1107通过连接到系统总线1105的大容量存储控制器(未示出)连接到中央处理单元1101。大容量存储设备1107及其相关联的计算机可读介质为控制设备1100提供非易失性存储。也就是说，大容量存储设备1107可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质(未示出)。

不失一般性，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM、EEPROM、闪存或其他固态存储其技术，CD-ROM、DVD或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知计算机存储介质不局限于上述几种。上述的系统存储器1104和大容量存储设备1107可以统称为存储器。

根据本申请的各种实施例，控制设备1100还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即控制设备1100可以通过连接在系统总线1105上的网络接口单元1111连接到网络1112，或者说，也可以使用网络接口单元1111来连接到其他类型的网络或远程计算机系统(未示出)。

上述存储器还包括一个或者一个以上的程序，一个或者一个以上程序存储于存储器中，被配置由CPU执行。

在一些实施例中，还提供了一种计算机可读存储介质，该存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例中图像显示方法的步骤。例如，所述计算机可读存储介质可以是ROM、RAM、CD-ROM、磁带、软盘和光数据存储设备等。

值得注意的是，本申请提到的计算机可读存储介质可以为非易失性存储介质，换句话说，可以是非瞬时性存储介质。

应当理解的是，实现上述实施例的全部或部分步骤可以通过软件、硬件、固件或者其任意结合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。所述计算机指令可以存储在上述计算机可读存储介质中。

也即是，在一些实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述所述的图像显示方法的步骤。

以上所述为本申请提供的实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (19)

1.一种图像显示方法，其特征在于，所述方法包括：

展示环视图像，所述环视图像是基于球机在环视范围内采集的多张图像进行合成得到；

每当通过至少一个雷达在雷达探测区域内探测到目标时，获取所述目标的第一位置信息，所述至少一个雷达的雷达探测区域合起来覆盖球机的环视范围内的所有区域，所述第一位置信息是所述目标在世界坐标系下的位置信息；

在所述环视图像中第二位置信息所指示的位置处更新显示目标框，所述目标框用于指示所述第二位置信息指示的位置处存在所述目标，所述第二位置信息是基于所述第一位置信息得到的。

2.如权利要求1所述的方法，其特征在于，所述在所述环视图像中第二位置信息所指示的位置处更新显示目标框之后，还包括：

基于所述第一位置信息，控制所述球机抓拍所述目标的细节图像；

利用所述细节图像替换所述环视图像中所述第二位置信息所指示的位置处的目标框；

显示替换后的环视图像。

3.如权利要求2所述的方法，其特征在于，所述利用所述细节图像替换环视图像中所述第二位置信息所指示的位置处的目标框，包括：

从所述细节图像中获取所述目标所在的区域，得到区域图像；

利用所述区域图像替换所述环视图像中所述第二位置信息所指示的位置处的目标框。

4.如权利要求2所述的方法，其特征在于，当所述至少一个雷达探测到多个目标时，所述基于所述第一位置信息，控制所述球机抓拍所述目标的细节图像，包括：

依次基于所述多个目标中每个目标的第一位置信息，控制所述球机抓拍每个目标的细节图像；

相应地，所述利用所述细节图像替换所述环视图像中所述第二位置信息所指示的位置处的目标框，包括：

依次利用每个目标的细节图像替换所述环视图像中每个目标的第二位置信息所指示的位置处的目标框。

5.如权利要求2所述的方法，其特征在于，当所述至少一个雷达探测到多个目标时，所述基于所述第一位置信息，控制所述球机抓拍所述目标的细节图像，包括：

从所述多个目标中选择一个目标，基于选择的目标的第一位置信息，控制所述球机抓拍选择的目标的细节图像；

相应地，所述利用所述细节图像替换所述环视图像中所述第二位置信息所指示的位置处的目标框，包括：

利用选择的目标的细节图像替换所述环视图像中所述选择的目标的第二位置信息所指示的位置处的目标框。

6.如权利要求1所述的方法，其特征在于，所述展示环视图像之前，还包括：

基于所述球机的水平视场角和所述环视范围，确定多组配置参数；

基于所述多组配置参数，控制所述球机依次在每种配置参数对应的状态下采集图像，得到多张图像；

将所述多张图像进行拼接，得到所述环视图像。

7.如权利要求6所述的方法，其特征在于，所述将所述多张图像进行拼接，得到所述环视图像之后，还包括：

基于所述多组配置参数中的目标组配置参数，控制所述球机复位至复位状态；

控制所述球机在所述复位状态下抓拍图像；

利用抓拍的图像，更新所述环视图像中所述目标组配置参数对应的图像区域；

显示更新后的环视图像。

8.如权利要求7所述的方法，其特征在于，

所述环视图像是基于所述球机在所述多组配置参数对应的状态下采集的多张图像进行合成得到的；或者，

所述环视图像是所述更新后的环视图像。

9.一种图像显示装置，其特征在于，所述装置包括：

展示模块，用于展示环视图像，所述环视图像是基于球机在环视范围内采集的多张图像进行合成得到；

获取模块，用于每当通过至少一个雷达在雷达探测区域内探测到目标时，获取所述目标的第一位置信息，所述至少一个雷达的雷达探测区域合起来覆盖球机的环视范围内的所有区域，所述第一位置信息是所述目标在世界坐标系下的位置信息；

显示模块，用于在所述环视图像中第二位置信息所指示的位置处更新显示目标框，所述目标框用于指示所述第二位置信息指示的位置处存在所述目标，所述第二位置信息是基于所述第一位置信息得到的。

10.如权利要求9所述的装置，其特征在于，所述显示模块还用于：

基于所述第一位置信息，控制所述球机抓拍所述目标的细节图像；

利用所述细节图像替换所述环视图像中所述第二位置信息所指示的位置处的目标框；

显示替换后的环视图像。

11.如权利要求10所述的装置，其特征在于，所述显示模块还用于：

从所述细节图像中获取所述目标所在的区域，得到区域图像；

利用所述区域图像替换所述环视图像中所述第二位置信息所指示的位置处的目标框。

12.如权利要求10所述的装置，其特征在于，所述显示模块还用于：

当所述至少一个雷达探测到多个目标时，依次基于所述多个目标中每个目标的第一位置信息，控制所述球机抓拍每个目标的细节图像；

依次利用每个目标的细节图像替换所述环视图像中每个目标的第二位置信息所指示的位置处的目标框。

13.如权利要求10所述的装置，其特征在于，所述显示模块还用于：

当所述至少一个雷达探测到多个目标时，从所述多个目标中选择一个目标，基于选择的目标的第一位置信息，控制所述球机抓拍选择的目标的细节图像；

利用选择的目标的细节图像替换所述环视图像中所述选择的目标的第二位置信息所指示的位置处的目标框。

14.如权利要求9所述的装置，其特征在于，所述展示模块还用于：

基于所述球机的水平视场角和所述环视范围，确定多组配置参数；

基于所述多组配置参数，控制所述球机依次在每种配置参数对应的状态下采集图像，得到多张图像；

将所述多张图像进行拼接，得到所述环视图像。

15.如权利要求14所述的装置，其特征在于，所述展示模块还用于：

基于所述多组配置参数中的目标组配置参数，控制所述球机复位至复位状态；

控制所述球机在所述复位状态下抓拍图像；

利用抓拍的图像，更新所述环视图像中所述目标组配置参数对应的图像区域；

显示更新后的环视图像。

16.如权利要求15所述的装置，其特征在于，

所述环视图像是基于所述球机在所述多组配置参数对应的状态下采集的多张图像进行合成得到的；或者，

所述环视图像是所述更新后的环视图像。

17.一种控制设备，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为实现权利要求1-8所述的任一项方法的步骤。

18.一种雷球联动监控系统，其特征在于，所述雷球联动监控系统包括控制设备、球机和雷达，所述控制设备用于与所述球机和所述雷达配合实现权利要求1-8所述的任一项方法的步骤。

19.一种计算机可读存储介质，其特征在于，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-8任一所述方法的步骤。

Images