CN111953934A - 目标标示方法及装置 - Google Patents

Abstract

本申请公开了一种目标标示方法及装置。该方法包括：获取摄像头的参数；接收所述摄像头发送的图像；接收毫米波雷达发送的采集到的在所述图像中的目标与所述毫米波雷达之间的距离参数；利用所述摄像头的参数、所述距离参数、所述摄像头安装的高度及预设类型高度和宽度计算所述目标在所述图像中的像素起点和所占的像素宽度；输出所述图像，并根据所述像素起点、所述像素宽度在输出的所述图像中标示所述目标。

Description

目标标示方法及装置

技术领域

本申请涉及视频监控领域，尤其涉及安防场景下的视频监控领域的一种目标标示方法及装置。

背景技术

视频传感器可以获取丰富的目标轮廓信息，但是受光线的影响。单一传感器越来越不能满足人们对应用功能的需求，导致在特定的场景中，目标检测和识别的能力受限。

特别是，针对家居安防场景来说，摄像头是主流的传感器，在光线不足的情况下，从摄像头获取的图像可能是漆黑一片，无法识别目标，从而不能达到安防的目的。

发明内容

有鉴于此，本发明实施例提供了一种目标标示方法及装置，以在摄像头获取的图像中标示出目标，以提高安防效果。

为了实现上述目的，在第一方面，本发明实施例提供了一种目标标示方法，所述方法包括：

获取摄像头的参数；

接收所述摄像头发送的图像；

接收毫米波雷达发送的采集到的在所述图像中的目标与所述毫米波雷达之间的距离参数；

利用所述摄像头的参数、所述距离参数、所述摄像头安装的高度及预设类型高度和宽度计算所述目标在所述图像中的像素起点和所占的像素宽度；

输出所述图像，并根据所述像素起点、所述像素宽度在输出的所述图像中标示所述目标。

在一个可实施方式中，所述摄像头的参数包括：fx、fy、u0、v0；

其中，fx＝f*dx；fy＝f*dy；f为所述摄像头的焦距；dx和dy分别为所述摄像头在x，y方向上每单位距离的像素量；u0、v0分别为所述摄像头的光学中心在x，y方向上的位置。

在一个可实施方式中，所述利用所述摄像头的参数、所述距离参数、所述预设类型高度和宽度及所述摄像头安装的高度计算所述目标在所述图像中的像素起点和所占的像素宽度，具体包括：

通过以下公式计算所述目标在所述摄像头所拍摄的图像中的像素起点(x_pixel_origin，y_pixel_origin)和所述目标在所述摄像头所拍摄的图像中所占的像素宽度(x_pixel_length，y_pixel_length)：

(x_pixel_origin，y_pixel_origin)＝(u0-Range_x*fx/Range_y-T_W*fx/(Range_y*2)，v0+(T_H–M_H)*fy/Range_y)；

(x_pixel_length，y_pixel_length)＝(T_W*fx/Range_y，T_H*fy/Range_y)；

其中，M_H为所述摄像头安装的高度；T_H为预设类型高度；T_W为预设类型宽度；Range_x为所述毫米波雷达采集目标与所述毫米波雷达的x向距离；Range_y为所述毫米波雷达采集目标与所述毫米波雷达的y向距离。

在一个可实施方式中，所述方法还包括：接收所述毫米波雷达发送的所述目标的速度信息；在输出的所述图像中显示所述距离参数及速度信息。

在一个可实施方式中，所述毫米波雷达为77GHz毫米波雷达。

为了实现上述目的，在第二方面，本发明实施例提供了一种目标标示装置，所述装置包括：

获取单元，用于获取摄像头的参数；

接收单元，用于接收所述摄像头发送的图像；

所述接收单元，还用于接收毫米波雷达发送的采集到的在所述图像中的目标与所述毫米波雷达之间的距离参数；

计算单元，用于利用所述摄像头的参数、所述距离参数、所述摄像头安装的高度及预设类型高度和宽度计算所述目标在所述图像中的像素起点和所占的像素宽度；

输出单元，用于输出所述图像，并根据所述像素起点、所述像素宽度在输出的所述图像中标示所述目标。

在一个可实施方式中，所述摄像头的参数包括：fx、fy、u0、v0；

其中，fx＝f*dx；fy＝f*dy；f为所述摄像头的焦距；dx和dy分别为所述摄像头在x，y方向上每单位距离的像素量；u0、v0分别为所述摄像头的光学中心在x，y方向上的位置。

在一可实施方式中，所述计算单元具体用于：

通过以下公式计算所述目标在所述摄像头所拍摄的图像中的像素起点(x_pixel_origin，y_pixel_origin)和所述目标在所述摄像头所拍摄的图像中所占的像素宽度(x_pixel_length，y_pixel_length)：

(x_pixel_origin，y_pixel_origin)＝(u0-Range_x*fx/Range_y-T_W*fx/(Range_y*2)，v0+(T_H–M_H)*fy/Range_y)；

(x_pixel_length，y_pixel_length)＝(T_W*fx/Range_y，T_H*fy/Range_y)；

其中，M_H为所述摄像头安装的高度；T_H为预设类型高度；T_W为预设类型宽度；Range_x为所述毫米波雷达采集目标与所述毫米波雷达的x向距离；Range_y为所述毫米波雷达采集目标与所述毫米波雷达的y向距离。

在一个可实施方式中，所述接收单元，还用于接收所述毫米波雷达发送的所述目标的速度信息；所述输出单元，还用于在输出的所述图像中显示所述距离参数及速度信息。

为了实现上述目的，在第三方面，本发明实施例提供了一种计算机可读存储介质，该存储介质存储有计算机程序，该计算机程序用于执行上述第一方面中所述的目标标示方法。

为了实现上述目的，在第四方面，本发明实施例提供了一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述第一方面中所述的目标标示方法。

在本方案中，将摄像头与毫米波雷达进行结合，利用摄像头的参数、摄像头安装的高度、毫米波雷达获取的目标与毫米波雷达之间的距离参数以及预设类型高度和宽度计算出目标在图像中的像素起点和所占的像素宽度，然后再根据目标在图像中的像素起点和所占的像素宽度在图像中标示出目标，以提高安防效果。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1为是本申请所适用的系统示意图；

图2是本申请一示例性实施例提供的目标标示方法的流程示意图；

图3是本申请一示例性实施例提供的目标标示装置的结构图；

图4是本申请一示例性实施例提供的电子设备的结构图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

图1是本申请所适用的系统示意图。如图1所示，该系统主要包括：用于执行本公开目标标示方法的目标标示装置10、用于采集视频图像的摄像头20和用于采集图像中目标与所述毫米波雷达之间的距离参数和速度的毫米波雷达30。摄像头20将采集获得的图像发送给目标标示装置10，毫米波雷达30将采集获得的图像中目标与所述毫米波雷达之间的距离参数和速度也发送给目标标示装置10。目标标示装置10与摄像头20和毫米波雷达30之间的连接和通信方式可以采用有线通信或无线通信的方式，在具体实施过程中可以根据本申请的适应环境灵活选择使用有线或无线的通信方式。摄像头20和毫米波雷达30在同一水平线相邻安装。

在一实施例中，摄像头20可以为单目摄像头，毫米波雷达可以为77GHz毫米波雷达。

图2是本申请一示例性实施例提供的目标标示方法的流程示意图。该方法应用于目标标示装置，该方法包括：

步骤201，获取摄像头的参数。

在一实施例中，摄像头的参数可以包括：fx、fy、u0、v0；

其中，

fx＝f*dx；

fy＝f*dy；

f为摄像头的焦距；

dx和dy分别为摄像头在x，y方向上每单位距离的像素量；

u0、v0分别为摄像头的光学中心在x，y方向上的位置。

在一个例子中，可利用黑白棋盘法标定摄像头的参数，从而获取到该摄像头的参数。在标定过程中，使用黑盘棋格标定板，黑白棋格标定板占摄像头视野1/2以上，黑盘棋格标定板分布覆盖视野的不同位置，每两次标定拍摄之间，黑盘棋格标定板改变夹角60度以上。

步骤202，接收摄像头发送的图像。

摄像头实时向目标标示装置发送采集到的图像，以使目标标示装置可以实时接收到图像。

步骤203，接收毫米波雷达发送的采集到的在图像中的目标与毫米波雷达之间的距离参数。

其中，在图像中的目标与毫米波雷达之间的距离参数：在图像中的目标与毫米波雷达的x向距离和y向距离。毫米波雷达采用虚拟天线阵列技术实时获取目标与毫米波雷达的x向距离、y向距离以及速度信息，并将采集到的目标与毫米波雷达之间的距离参数以及速度信息实时发送至目标标示装置，以使目标标示装置可以实时接收到目标与毫米波雷达之间的距离参数以及速度信息。

步骤204，利用摄像头的参数、目标与毫米波雷达之间的距离参数、摄像头安装的高度及预设类型高度和宽度计算目标在图像中的像素起点和所占的像素宽度。

在一个例子中，预设类型高度和宽度为预先根据使用场景进行预设的。如在交通监控场景中，主要用于识别车辆，则预设类型高度和宽度可以分别预设为1.8m，2.2m；在室内监控场景，主要用于识别人，则预设类型高度和宽度可以分别预设为1.75m，0.5m。

在一个例子中，计算目标在图像中的像素起点和所占的像素宽度的方法，具体为：

(x_pixel_origin，y_pixel_origin)＝(u0-Range_x*fx/Range_y-T_W*fx/(Range_y*2)，v0+(T_H–M_H)*fy/Range_y)；

(x_pixel_length，y_pixel_length)＝(T_W*fx/Range_y，T_H*fy/Range_y)；

其中，

(x_pixel_origin，y_pixel_origin)为所述目标在所述摄像头所拍摄的图像中的像素起点；

(x_pixel_length，y_pixel_length)为所述目标在所述摄像头所拍摄的图像中所占的像素宽度；

M_H为摄像头安装的高度，摄像头安装的高度可在目标标示装置中根据摄像头的实际安装高度进行设置；

T_H为预设类型高度；

T_W为预设类型宽度；

Range_x为毫米波雷达采集目标与该毫米波雷达的x向距离；

Range_y为毫米波雷达采集目标与该毫米波雷达的y向距离。

步骤205，输出图像，并根据计算出的像素起点、像素宽度在输出的图像中标示目标。

在一个例子中，可以具体为，根据计算出的像素起点、像素宽度在输出的图像中以矩形框的方式标示目标。

在一个例子中，该方法还可以包括：在输出的图像中显示距离参数及速度信息。具体的，在输出的图像中的矩形框外侧显示距离参数及速度信息。

通过利用本实施例提供的目标标示方法，将摄像头与毫米波雷达进行结合，利用摄像头的参数、摄像头安装的高度、毫米波雷达获取的目标与毫米波雷达之间的距离参数以及预设类型高度和宽度计算出目标在图像中的像素起点和所占的像素宽度，然后再根据目标在图像中的像素起点和所占的像素宽度在图像中标示出目标，以提高安防效果。

图3是本申请一示例性实施例提供的目标标示装置的结构图。如图3所示，本申请一实施例的目标标示装置包括：

获取单元301，用于获取摄像头的参数；

接收单元302，用于接收摄像头发送的图像；

接收单元302，还用于接收毫米波雷达发送的采集到的在图像中的目标与毫米波雷达之间的距离参数；

计算单元303，用于利用摄像头的参数、距离参数、摄像头安装的高度及预设类型高度和宽度计算目标在图像中的像素起点和所占的像素宽度；

输出单元304，用于输出图像，并根据像素起点、像素宽度在输出的图像中标示目标。

优选的，摄像头的参数包括：fx、fy、u0、v0；

其中，fx＝f*dx；fy＝f*dy；f为摄像头的焦距；dx和dy分别为摄像头在x，y方向上每单位距离的像素量；u0、v0分别为摄像头的光学中心在x，y方向上的位置。

优选的，计算单元303具体用于：

通过以下公式计算目标在摄像头所拍摄的图像中的像素起点(x_pixel_origin，y_pixel_origin)和目标在摄像头所拍摄的图像中所占的像素宽度(x_pixel_length，y_pixel_length)：

(x_pixel_origin，y_pixel_origin)＝(u0-Range_x*fx/Range_y-T_W*fx/(Range_y*2)，v0+(T_H–M_H)*fy/Range_y)；

(x_pixel_length，y_pixel_length)＝(T_W*fx/Range_y，T_H*fy/Range_y)；

其中，M_H为摄像头安装的高度；T_H为预设类型高度；T_W为预设类型宽度；Range_x为毫米波雷达采集目标与该毫米波雷达的x向距离；Range_y为毫米波雷达采集目标与该毫米波雷达的y向距离。

优选的，接收单元302，还用于接收毫米波雷达发送的目标的速度信息；输出单元304，还用于在输出的图像中显示所述距离参数及速度信息。

通过利用本实施例提供的目标标示装置，将摄像头与毫米波雷达采集的信息进行结合，利用摄像头的参数、摄像头安装的高度、毫米波雷达获取的目标与毫米波雷达之间的距离参数以及预设类型高度和宽度计算出目标在图像中的像素起点和所占的像素宽度，然后再根据目标在图像中的像素起点和所占的像素宽度在图像中标示出目标，以提高安防效果。

下面，参考图4来描述根据本申请实施例的电子设备11。如图4所示，电子设备11包括一个或多个处理器111和存储器112。

处理器111可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备11中的其他组件以执行期望的功能。

存储器112可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器111可以运行所述程序指令，以实现上文所述的本申请的各个实施例的目标标示方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

在一个示例中，电子设备11还可以包括：输入装置113和输出装置114，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

该输入装置113可以包括例如键盘、鼠标等等。

该输出装置114可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置114可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图4中仅示出了该电子设备11中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备11还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的目标标示方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的目标标示方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (11)

1.一种目标标示方法，其特征在于，所述方法包括：

获取摄像头的参数；

接收所述摄像头发送的图像；

接收毫米波雷达发送的采集到的在所述图像中的目标的与所述毫米波雷达之间的距离参数；

利用所述摄像头的参数、所述距离参数、所述摄像头安装的高度及预设类型高度和宽度计算所述目标在所述图像中的像素起点和所占的像素宽度；

输出所述图像，并根据所述像素起点、所述像素宽度在输出的所述图像中标示所述目标。

2.根据权利要求1所述的方法，其特征在于，所述摄像头的参数包括：fx、fy、u0、v0；

其中，

fx＝f*dx；

fy＝f*dy；

f为所述摄像头的焦距；

dx和dy分别为所述摄像头在x，y方向上每单位距离的像素量；

u0、v0分别为所述摄像头的光学中心在x，y方向上的位置。

3.根据权利要求2所述的方法，其特征在于，所述利用所述摄像头的参数、所述距离参数、所述摄像头安装的高度及预设类型高度和宽度计算所述目标在所述图像中的像素起点和所占的像素宽度，具体包括：

通过以下公式计算所述目标在所述摄像头所拍摄的图像中的像素起点(x_pixel_origin，y_pixel_origin)和所述目标在所述摄像头所拍摄的图像中所占的像素宽度(x_pixel_length，y_pixel_length)：

(x_pixel_origin，y_pixel_origin)＝(u0-Range_x*fx/Range_y-T_W*fx/(Range_y*2)，v0+(T_H–M_H)*fy/Range_y)；

(x_pixel_length，y_pixel_length)＝(T_W*fx/Range_y，T_H*fy/Range_y)；

其中，

M_H为所述摄像头安装的高度；

T_H为预设类型高度；

T_W为预设类型宽度；

Range_x为所述毫米波雷达采集目标与所述毫米波雷达的x向距离；

Range_y为所述毫米波雷达采集目标与所述毫米波雷达的y向距离。

4.根据权利1-3所述的任一方法，其特征在于，所述方法还包括：

接收所述毫米波雷达发送的所述目标的速度信息；

在输出的所述图像中显示所述距离参数及速度信息。

5.根据权利要求1-3所述的任一权利要求，其特征在于，所述毫米波雷达为77GHz毫米波雷达。

6.一种目标标示装置，其特征在于，所述装置包括：

获取单元，用于获取摄像头的参数；

接收单元，用于接收所述摄像头发送的图像；

所述接收单元，还用于接收毫米波雷达发送的采集到的在所述图像中的目标与所述毫米波雷达之间的距离参数；

计算单元，用于利用所述摄像头的参数、所述距离参数、所述摄像头安装的高度及预设类型高度和宽度计算所述目标在所述图像中的像素起点和所占的像素宽度；

输出单元，用于输出所述图像，并根据所述像素起点、所述像素宽度在输出的所述图像中标示所述目标。

7.根据权利要求6所述的装置，其特征在于，所述摄像头的参数包括：fx、fy、u0、v0；

其中，

fx＝f*dx；

fy＝f*dy；

f为所述摄像头的焦距；

dx和dy分别为所述摄像头在x，y方向上每单位距离的像素量；

u0、v0分别为所述摄像头的光学中心在x，y方向上的位置。

8.根据权利要求7所述的装置，其特征在于，所述计算单元具体用于：

通过以下公式计算所述目标在所述摄像头所拍摄的图像中的像素起点(x_pixel_origin，y_pixel_origin)和所述目标在所述摄像头所拍摄的图像中所占的像素宽度(x_pixel_length，y_pixel_length)：

(x_pixel_origin，y_pixel_origin)＝(u0-Range_x*fx/Range_y-T_W*fx/(Range_y*2)，v0+(T_H–M_H)*fy/Range_y)；

(x_pixel_length，y_pixel_length)＝(T_W*fx/Range_y，T_H*fy/Range_y)；

其中，

M_H为所述摄像头安装的高度；

T_H为预设类型高度；

T_W为预设类型宽度；

Range_x为所述毫米波雷达采集目标与所述毫米波雷达的x向距离；

Range_y为所述毫米波雷达采集目标与所述毫米波雷达的y向距离。

9.根据权利6-8所述的任一装置，其特征在于，

所述接收单元，还用于接收所述毫米波雷达发送的所述目标的速度信息；

所述输出单元，还用于在输出的所述图像中显示所述距离参数及速度信息。

10.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-5任一项所述的目标标示方法。

11.一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-5任一项所述的目标标示方法。

Images