CN112465911A - 图像处理方法及装置 - Google Patents

Abstract

本发明提供了一种图像处理方法及装置，涉及图像处理技术领域，包括对相机获取的待处理图像进行目标检测，确定待处理图像中目标对象对应的至少两条成像射线；确定目标对象对应的至少两个位置初值，其中，至少两条成像射线和至少两个位置初值位于同一目标坐标系下，至少两条成像射线和/或至少两个位置初值基于相机的外参数初值确定；分别确定至少两个位置初值在对应的至少两条成像射线上的投影位置；根据至少两个位置初值和至少两个位置初值对应的投影位置，更新相机的外参数和/或目标对象对应的位置。以此可以相机成像的空间几何关系，来对相机的外参数和/或目标对象的位置进行优化，提升了相机的外参数或者目标对象的位置的准确性。

Description

图像处理方法及装置

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种图像处理方法及装置。

背景技术

在图像处理领域中，对拍摄图像的相机进行标定以及基于标定的相机的位置确定图像中对象的位置有着广泛的应用前景。例如，可以应用于在监控领域的场景下，对于行人位置的确定。

但是目标主要的方式是基于多目相机，或运动的单目相机来拍摄具有视差的图像，基于该视差确定相机的位置以及对象的位置，如果没有视差信息，确定的相机位置以及对象的位置及其不准确。由此造成对应用场景造成极大的限制。

发明内容

本发明的目的在于提供一种图像处理方法及装置，以缓解了现有技术中存在的基于图像实现的相机标定或者目标定位不准确的技术问题。

第一方面，本发明提供一种图像处理方法，包括：

对相机获取的待处理图像进行目标检测，确定待处理图像中目标对象对应的至少两条成像射线；

确定目标对象对应的至少两个位置初值，其中，至少两条成像射线和至少两个位置初值位于同一目标坐标系下，至少两条成像射线和/或至少两个位置初值基于相机的外参数初值确定；

分别确定至少两个位置初值在对应的至少两条成像射线上的投影位置；

根据至少两个位置初值和至少两个位置初值对应的投影位置，更新相机的外参数和/或目标对象对应的位置。

在可选的实施方式中，确定目标对象对应的至少两个位置初值，包括：

基于相机的外参数初值，确定至少一个待检测对象的高度比例；

根据高度比例，对至少一个待检测对象进行筛选，确定目标对象和/或目标对象对应的至少两个位置初值。

在可选的实施方式中，该方法还包括：

对相机获取的至少一个待处理图像进行目标检测，确定每个待处理图像中的至少一个待检测对象。

在可选的实施方式中，对相机获取的待处理图像进行目标检测，确定待处理图像中目标对象对应的至少两条成像射线，包括：

对相机获取的待处理图像进行目标检测，得到待处理图像中目标对象对应的边界框；

根据边界框和相机的内参数，确定目标对象对应的至少两条第一射线；

基于至少两条第一射线，确定至少两条成像射线。

在可选的实施方式中，基于至少两条第一射线，确定至少两条成像射线，包括：

将第一射线转换至世界坐标系，确定成像射线，位置初值为世界坐标系下的值，世界坐标系为目标坐标系。

在可选的实施方式中，将第一射线转换至世界坐标系，确定成像射线，包括：

根据相机的外参数初值，将第一射线转换为世界坐标系下的成像射线，相机的外参数表征世界坐标系与相机坐标系之间的映射关系。

在可选的实施方式中，确定目标对象对应的至少两个位置初值，包括：

确定目标对象在世界坐标下的估计位置；

根据相机的外参数初值，对估计位置进行变换，得到变换后的相机坐标系下的位置初值。

在可选的实施方式中，根据至少两个位置初值和至少两个位置初值对应的投影位置，更新相机的外参数和/或目标对象对应的位置的步骤，包括：

根据至少两个位置初值和对应的投影位置之间的距离，建立损失函数；

根据损失函数对相机的外参数和/或目标对象对应的位置进行迭代，直至满足迭代终止条件，得到更新后的相机的外参数和/或目标对象对应的位置。

在可选的实施方式中，迭代终止条件包括下述一项或多项：

损失函数值符合预设值；

迭代次数达到预设次数。

在可选的实施方式中，还包括：

根据在多帧待处理图像中每帧待处理图像的更新后的目标对象的位置，确定目标对象的运动轨迹。

在可选的实施方式中，还包括：

对相机拍摄的目标图像进行检测，确定目标图像中参考位置和运动目标的位置；

根据更新后的相机的外参数，将参考位置和运动目标的位置反投影到目标平面；

根据反投影后的参考位置和运动目标之间的位置关系，确定运动目标是否越界。

在可选的实施方式中，世界坐标系的X轴以及Y轴位于目标平面上，目标对象位于目标平面上；相机位于世界坐标系的Z轴上，相机的外参数包含绕X轴的旋转参数、绕Z轴的旋转参数以及Z轴方向上的平移向量；

相机的外参数表征世界坐标系与相机坐标系之间的映射关系。

第二方面，本发明提供一种图像处理装置，包括：

第一确定模块，用于对相机获取的待处理图像进行目标检测，确定待处理图像中目标对象对应的至少两条成像射线；

第二确定模块，用于确定目标对象对应的至少两个位置初值，其中，至少两条成像射线和至少两个位置初值位于同一目标坐标系下，至少两条成像射线和/或至少两个位置初值基于相机的外参数初值确定；

投影模块，用于分别确定至少两个位置初值在对应的至少两条成像射线上的投影位置；

更新模块，用于根据至少两个位置初值和至少两个位置初值对应的投影位置，更新相机的外参数和/或目标对象对应的位置。

第三方面，本发明提供一种电子设备，包括：处理器和存储装置；

存储装置上存储有计算机程序，计算机程序在被处理器运行时执行如前述实施方式任一项的方法。

第四方面，一种相机，包括：成像装置、处理装置以及存储装置；

成像装置用于获取待处理图像，存储装置上存储有计算机程序，计算机程序在被处理器运行时执行如前述实施方式任一项的图像处理方法。

第五方面，本发明提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述前述实施方式任一项的方法的步骤。

本发明提供一种图像处理方法及装置。通过对相机获取的待处理图像进行目标检测，确定待处理图像中目标对象对应的至少两条成像射线；确定目标对象对应的至少两个位置初值，其中，至少两条成像射线和至少两个位置初值位于同一目标坐标系下，至少两条成像射线和/或至少两个位置初值基于相机的外参数初值确定；分别确定至少两个位置初值在对应的至少两条成像射线上的投影位置；根据至少两个位置初值和至少两个位置初值对应的投影位置，更新相机的外参数和/或目标对象对应的位置。以此可以相机成像的空间几何关系，来对相机的外参数和/或目标对象的位置进行优化，提升了相机的外参数或者目标对象的位置的准确性。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是一种用于实现本发明实施例的图像处理方法的示例电子设备；

图2是根据本发明实施例的一种图像处理方法的流程图；

图3是根据本发明实施例的一种图像处理方法的原理示意图；

图4是根据本发明实施例的一种图像处理装置的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

首先，参照图1来描述用于实现本发明实施例的图像处理方法的示例电子设备100。

如图1所示，电子设备100包括一个或多个处理设备102、一个或多个存储装置104、输入装置106、输出装置108以及图像采集装置110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，电子设备也可以具有其他组件和结构。

处理设备102可以是中央处理单元(CPU)、图形处理单元(GPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制电子设备100中的其它组件以执行期望的功能。

存储装置104可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理设备102可以运行程序指令，以实现下文的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在计算机可读存储介质中还可以存储各种应用程序和各种数据，例如应用程序使用和/或产生的各种数据等。

输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

图像采集装置110可以拍摄用户期望的图像(例如照片、视频等)，并且将所拍摄的图像存储在存储装置104中以供其它组件使用。

示例性地，用于实现根据本发明实施例的图像处理方法的示例电子设备可以被实现为诸如智能手机、平板电脑等移动终端上。

本发明实施例通过基于图像中的目标对象的位置信息，确定成像射线；基于相机的外参数确定成像射线与目标对象的位置关系，并将与该位置关系对来对相机的外参数和/或目标对象的位置进行优化，提升了相机的外参数或者目标对象的位置的准确性，下面将结合具体的实施例对图像处理方法进行详细的介绍。

根据本发明实施例，提供了一种图像处理方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图2是根据本发明实施例的一种图像处理方法的流程图，如图2所示，该方法包括如下步骤：

S210，对相机获取的待处理图像进行目标检测，确定待处理图像中目标对象对应的至少两条成像射线；

该待处理图像可以为相机在固定的位置以固定的角度拍摄的图像。该固定的位置以及固定的角度可以通过相机的外参数来表示。例如，该相机可以为园区警戒等监控的场景下用于监控的相机，该用于监控的相机通常是固定不动的。

该相机的外参数可以表征相机的高度以及该相机的姿态等信息。例如，可以为世界坐标系来指示该相机的外参数，该相机的外参数可以表征世界坐标系与相机坐标系之间的映射关系，也就是相机在世界坐标系中的位置以及旋转方向等。

该成像射线可以是相机的成像原理，由相机的光心射出的射线。该成像射线可以指照射到目标对象上的成像射线。

S220，确定目标对象对应的至少两个位置初值。

其中，至少两条成像射线和至少两个位置初值位于同一目标坐标系下，至少两条成像射线和/或至少两个位置初值基于相机的外参数初值确定。

该成像射线和该目标对象位置的初始值位于同一目标坐标系下；该目标坐标系可以为相机坐标系或者世界坐标系，其中，该世界坐标系为除相机坐标系以外的任意三维坐标系。

作为一个示例，该世界坐标系的X轴以及Y轴可以位于目标平面上，该目标对象位于目标平面上，相机未位于目标对象的正上方或正下方。例如，该目标对象可以为人，该目标平面可以为地面，该世界坐标系的原点为o₁，该世界坐标系的Xo₁Y，所对应的面可以为地面。

作为另一个示例，该世界坐标系的X轴以及Y轴可以位于目标平面上，该目标对象位于目标平面上，该相机位于世界坐标系的Z轴上。此时，该相机的外参数可以包含绕X轴的旋转参数、绕Z轴的旋转参数以及Z轴方向上的平移向量，也就是说，通过绕X轴的旋转参数、绕Z轴的旋转参数以及Z轴方向上的平移向量，便可以将相机坐标系转换为世界坐标系，或者将世界坐标系转换为相机坐标系。通过该世界坐标系所需的相机的外参数较少，可以降低数据处理的成本，提升数据处理的效率。

作为另一个示例，该世界坐标系的X轴以及Y轴可以位于目标平面上，该目标对象位于目标平面上，该世界坐标系以目标对象为原点。此时，该相机的外参数包含绕X轴的旋转参数、绕Z轴的旋转参数、X轴方向上的平移向量、Y轴方向上的平移向量以及Z轴方向上的平移向量，也就是说，通过绕X轴的旋转参数、绕Z轴的旋转参数、X轴方向上的平移向量、Y轴方向上的平移向量以及Z轴方向上的平移向量，便可以将相机坐标系转换为世界坐标系，或者将世界坐标系转换为相机坐标系。通过该世界坐标系所需的相机的外参数较少，可以降低数据处理的成本，提升数据处理的效率。

当然，在本发明实施例中，还可以采用其他位置的世界坐标系，此时，该相机的外参数可以包括6自由度。

该目标对象可以为已知尺寸的对象，该已知至尺寸可以为该目标对象的高度。例如，该目标对象可以为人，该已知尺寸可以为身高。该目标对象的目标对象的位置初值可以根据已知尺寸来确定。

对于成像射线和/或目标对象的位置初值可以基于相机的外参数初值确定，具体后文会结合具体示例进行详细论述，此处不再赘述。

S230，分别确定至少两个位置初值在对应的至少两条成像射线上的投影位置。

由于目标对象的位置初值和成像射线一一对应，所以可以将目标对象的位置初值在对应的成像射线上进行投影。

S240，根据至少两个位置初值和至少两个位置初值对应的投影位置，更新相机的外参数和/或目标对象对应的位置。

由于目标对象的位置初值以及相机的外参数初值均可以为估计值，如果目标对象的位置初值和相机的外参数初值准确，那么投影位置和目标对象的位置初值应该重合，基于该特点可以对相机的外参数和/或目标对象的位置进行优化，以便使得投影位置和目标对象的位置尽可能的相互靠近。

通过本发明实施例，可以相机成像的空间几何关系，来对相机的外参数和/或目标对象的位置进行优化，提升了相机的外参数或者目标对象的位置的准确性。

在一些实施例中，该目标对象可以为经过筛选的，可以通过外参数初值去反投影和几何约束去计算图像中所有人的身高比例，由于外参数初值可能不准，初值身高也可能不准，但并不影响身高比例，然后通过身高比例筛掉特别高\矮的人。基于此，上述步骤S210还可以包括如下步骤：

步骤1)，基于相机的外参数初值，确定至少一个待检测对象的身高比例；

步骤2)，根据身高比例，对至少一个待检测对象进行筛选，确定目标对象和/或目标对象对应的至少两个位置初值。

该至少一个待检测对象可以指至少一张图像中不同的待检测对象；也可以是指不同图像中不同位置的相同的待检测对象。

可以通过对相机获取的至少一个待处理图像进行目标检测，确定每个待处理图像中的至少一个待检测对象。

作为一个示例，该待处理图像可以为多帧图像，该目标对象为多个，每个目标对象在多帧图像中对应的目标对象的位置形成目标对象位置序列。基于此，上述步骤S210还可以通过如下步骤实现：基于相机的外参数的初值，确定多帧图像中的多个待检测对象之间的高度比例；基于各个待检测对象之间的高度比例，选择符合预设条件的高度比例所对应的待检测对象作为目标对象。

例如，可以对待处理图像进行目标检测，得到待检测对象的至少两个第一坐标，该第一坐标位于相机坐标系；基于相机的内参数以及相机的外参数初值，将第一坐标转换为世界坐标系中的第三坐标；基于各个待检测对象的至少两个第三坐标，确定各个待检测对象之间的高度比例。

其中，该相机的内参数是与相机自身特性相关的参数，例如可以包括相机的焦距、像素大小等信息，该相机的内参数为预先设置的，该相机的内参数可以是固定不变的。

再例如，可以对待处理图像进行目标检测，得到待检测对象的第一边界框；基于相机的内参数以及相机的外参数初值，将该第一边界框转换为世界坐标系中的第二边界框；基于各个待检测对象的第二边界框，确定各个待检测对象之间的高度比例。

其中，上述待检测对象的至少两个第一坐标可以根据待检测对象的第一边界框来确定。例如，可以根据边界框的垂线确定至少两个第一坐标，该至少两个第一坐标可以包括两个垂点。例如，该待检测对象可以为人，该至少两个第一坐标可以为人的头顶的坐标和人的脚底的坐标。

在一些实施例中，该成像射线的确定方式可以包括多种。

作为一个示例，上述步骤S210可以通过如下步骤实现，以此确定成像射线：

步骤a)，对相机获取的待处理图像进行目标检测，得到待处理图像中目标对象对应的边界框；

步骤b)，根据边界框和相机的内参数，确定目标对象对应的至少两条第一射线；

步骤c)，基于至少两条第一射线，确定至少两条成像射线。

对于上述步骤a)，可以将待处理图像输入预先训练的检测模型中，进行目标检测，该检测模型可以对图像中的对象进行识别，并进行分类，该目标对象可以为指定类别的对象，例如，该目标对象可以为人。

对于上述步骤b)，通常边界框是位于物理成像平面中的，该物理成像平面可以包括像素平面，该像素平面可以位于图像坐标系中，该图像坐标系为二维坐标系，该物理成像平面的位置可以根据相机的内参数确定，例如，基于小孔成像模型、相机的焦距以及相机的光心可以确定物理成像平面在相机坐标系中的位置，其中，该小孔成像模型可以是指一个小孔(相机的光心)和一个成像平面(物理成像平面)，小孔位于成像平面和真实的三维场景(可以通过相机坐标系或者世界坐标系来表示)之间，任何来自真实世界的光只有通过小孔才能到达成像平面。基于该成像平面在相机坐标系中的位置，可以将边界框转换到相机坐标系中。理论情况下，基于小孔成像模型，根据边界框和相机的内参数，确定目标对象对应的至少两条第一射线。例如，可以将边界框抽象为一条线段，基于该线段确定至少两条第一射线，其中，该目标对象的至少两个位置初值可以分别对应该线段上的点。例如，根据该边界框的垂线可以确定根据两个垂足的坐标点p1和p2，根据p1、p2和相机内参数，可以得到第一射线Op1和Op2，该O即为相机的位置，也即相机坐标系的原点，该坐标点p1和p2可以分别与该目标对象的至少两个位置初值对应。

对于上述步骤c)，由于第一射线可以为相机坐标系中的射线，该目标坐标系可以为世界坐标系，此时可以将第一射线转换至世界坐标系，确定成像射线，目标对象的位置初值可以为世界坐标系下的值。例如，可以根据相机的外参数初值，将第一射线转换为世界坐标系下的成像射线。

另外，该目标坐标系还可以为相机坐标系，此时，将第一射线确定为成像射线即可。

在一些实施例中目标对象的位置初值的确定方式可以包括多种。

作为一个示例，该目标坐标系可以为相机坐标系，上述步骤S220具体可以通过如下步骤实现目标对象的位置初值的确定：

步骤A)，确定目标对象在世界坐标下的估计位置；

步骤B)，根据相机的外参数初值，对估计位置进行变换，得到变换后的相机坐标系下的位置初值。

作为另一个示例，该目标坐标系可以为世界坐标系，上述步骤S220具体可以通过如下步骤实现目标对象的位置初值的确定：确定目标对象在世界坐标下的估计位置，将该估计位置确定为该目标对象的至少两个位置初值。

在一些实施例中，上述步骤S240，具体可以通过如下步骤来实现：根据至少两个位置初值和对应的投影位置之间的距离，建立损失函数；根据损失函数对相机的外参数和/或目标对象对应的位置进行迭代，直至满足迭代终止条件，得到更新后的相机的外参数和/或目标对象对应的位置。

其中，该迭代终止条件包括下述一项或多项：损失函数值符合预设值；迭代次数达到预设次数。该损失函数值符合预设值可以指该损失函数值为最小值，或者损失函数值达到特定的常数值。例如，该损失函数值的变化率小于指定值时，也就是该损失函数的值基本不发生变化，即可以认为该损失函数的值为最小值。

作为一个示例，如果目标坐标系为相机坐标系，则确定投影位置和目标对象的位置初值之间的差值是否符合终止条件。

如果不符合终止条件，则重复执行以上根据至少两个位置初值和对应的投影位置之间的距离，建立损失函数，并判断损失函数值是否满足预设值或迭代次数是否达成预定次数的步骤，直至新的投影位置和目标对象的新的位置之间的差值符合终止条件，得到更新后的相机的外参数和/或目标对象对应的位置。

在一些实施例中，如果不符合终止条件，则重复执行如下步骤：

更新相机的外参数和/或目标对象的位置；

基于更新的相机的外参数，将目标对象的新的位置转换为相机坐标系下；

在相机坐标系下，确定每个目标对象的新的位置在对应的成像射线上的新的投影位置；

确定新的投影位置和目标对象的新的位置之间的差值是否符合终止条件。

作为另一个示例，如果目标坐标系为世界坐标系，则可以确定投影位置和目标对象的位置初值之间的差值是否符合终止条件，得到更新后的相机的外参数和/或目标对象对应的位置；

如果不符合终止条件，则重复执行如下步骤，直至新的投影位置和目标对象的新的位置之间的差值符合终止条件：

更新相机的外参数和/或目标对象的位置；

基于更新的相机的外参数确定相机获取的待处理图像中目标对象对应的至少两条新的成像射线；

确定每个目标对象的新的位置在对应的新的成像射线上的新的投影位置；

确定新的投影位置和目标对象的新的位置之间的差值是否符合终止条件。

在一些实施例，还可以根据在多帧待处理图像中每帧待处理图像的更新后的目标对象的位置，确定目标对象的运动轨迹。

在一些实施例，还可以基于上述确定的相机的外参数，判断目标对象是否越界。例如，可以对相机拍摄的目标图像进行检测，确定目标图像中参考位置和运动目标的位置；根据更新后的相机的外参数，将参考位置和运动目标的位置反投影到目标平面；根据反投影后的参考位置和运动目标之间的位置关系，确定运动目标是否越界。该参考位置利于可以为警戒线、栏杆或限制进入的区域等。

其中，在得到更新后的所述相机的外参数既可以认为相机标定已经完成，此时，可以基于标定后的相机，进行越界检测，该目标图像与待检测图像可以为同一图像也可以为不同的图像，该运动目标与目标对象可以为相同的对象也可以为不同的对象，具体可以根据实际的应用场景来确定。例如，对于行人越界检测的应用场景来说，该运动目标可以为行人，该参考位置可以对应警戒线的位置，该参考位置可以为该警戒线上的点，也可以为该警戒线对应的线段，该目标平面可以为地面；通过将行人的运动轨迹以及警戒线的位置经过反投影后得到现实三维空间中的位置，该现实空间中的位置可以通过相机坐标系或世界坐标系来标识，根据行人的三维空间中的运动轨迹和警戒线的三维空间中的位置来判断警戒线是否被跨越，相较于单纯的基于二维图像来判断的结果更准确，另外，由于警戒线可以是位于地面上的也可以是与地面有一定高度的，通过和警戒线的三维空间中的位置可以降低该警戒线的高度对于判断结果的误差影响，提成判断结果的准确性。

本发明实施例还提供了一种图像处理装置，该图像处理装置主要用于执行本发明实施例上述内容所提供的图像处理方法，以下对本发明实施例提供的图像处理装置做具体介绍。

下面结合一个具体示例，对本发明实施例进行进一步地介绍。如图3所示，以下以目标坐标系为世界坐标系目标对象为人的情况进行举例说明：

步骤3-1)，基于估计的相机的外参数初值，估计相机拍摄得到的图像中行人(待检测对象)对应的身高，根据多个身高确定的身高比例，将身高比例符合一定范围的行人(目标对象)筛选出来，并给这些筛选出来的行人预估一个身高值，基于该身高值可以得到每个行人在世界坐标系下的至少两个坐标点P1和P2，也即每个目标对象在世界坐标系下的至少两个位置初值；

例如，该身高值可以根据实际的应用场景确定，例如，该应用场景可以为对学校的学生进行监控，此时可以根据该学校的学生的平均身高或身高的中位数作为预估的身高值。

再例如，该世界坐标系的X轴和Y轴所对应的平面可以为地面，此时，该|P1P2|即为预估的身高值，可以设P1和P2在世界坐标系下为P2_w＝(x,y,0)和P1_w＝(x,y,l)，其中，l为预估的身高值。该x和y可以为任意的估计值，也可以为根据经验确定的估计值，该估计值可以对应有约束条件。

再例如，可以通过相机的外参数初值，基于反投影和几何约束计算待检测图像中所有人的身高比例，该外参数初值不准，该身高可能不准，但并不影响身高比例，通过身高比例筛掉特别高\矮的人，给剩下身高差不多的人预估一个身高值(比如1.7米)。

步骤3-2)，对视频帧图像进行目标检测，得到每个行人对应的至少两个坐标点p1、p2。

例如，可以对图像进行目标检测，得到目标对象对应的包围框，根据包围框的垂线，确定p1和p2；该p1和p2可以分别对应人的头顶点和脚底点。

步骤3-3)，根据坐标点p1、p2和相机内参数，得到第一射线Op1和Op2，该Op1和Op2位于相机坐标系中；通过估计的外参数初值将第一射线Op1、Op2转换到世界坐标系下的第二射线；该相机的外参数表征相机坐标系和世界坐标之间的转换矩阵，对于图3所示的世界坐标系xyz中，该相机的外参数指相机的高度和旋转角度，也即绕x轴的旋转rotx，绕z轴的旋转rotz，以及平移向量的z坐标height。该第二射线即为成像射线。

步骤3-4)，将P1、P2投影到第二射线上，得到P1′、P2′；

步骤3-5)，根据P1′与P1之间的距离，P2′与P2之间的距离，建立损失函数，并基于损失函数对外参数和坐标P1、P2进行多次迭代更新，得到更新后的外参数和/或准确的P1、P2的坐标。

通过相机的外参数求得的P1和P2在相世界坐标下的坐标，可以表示为P2_w＝(x1，y1，z1)和P1_w＝(x2，y2，z2)。再求得P1和P2在Op1和Op2上的投影点P1‘和P2’的坐标，此处表示为P’2_w＝(x1’，y1’，z1’)P′1_w＝(x2’，y2’，z2’)。损失函数可表示为：

x1-x’1＝0

y1-y’1＝0

z1-z’1＝0

x2-x’2＝0

y2-y’2＝0

z2-z’2＝0

在本发明实施例中可以仅使用垂直于地面的线(P1和P2对应的线以及P1‘和P2’对应的先)去构建损失函数，其中，构建损失函数的时候可基于行人的特点进行几何约束，包含了这根线的长度。通常优化需要用到足够多的方程才能求解，而画面中出现的人通常是比较多的，每帧出现的位置也不同，因此每帧就是一组方程。本发明实施例中可以是基于一帧图像中的多个行人进行损失函数的计算；也可以是基于多帧图像中的一个或多个行人进行损失函数的计算，该多帧图像中的一个行人，主要是指该一个行人在多帧图像中处于不同的位置。

在本发明实施例中，基于相机的外参数可以确定相机与每条代表人的直线之间的位置关系；代表人的任意两条直线都是独立的。最终目的就是希望相机光心发出的每一组射线与代表人的对应的直线相交。

本发明实施例可以通过相机内参数(已知)以及图像中目标对象的位置，计算出两条从相机光心出发，经过图像平面中指代目标对象的两个端点的两条射线，此时两条射线的坐标是相机坐标系下的坐标。再通过相机外参数，将两条射线的坐标从相机坐标系转换到世界坐标系。

如果相机外参数绝对准确，那么指代目标对象位置的直线和两条射线会相交。但是外参数初值不是绝对准确的，所以他们不相交。此时求出代表目标对象的头顶点和脚底点分别到两条射线的投影点，优化的期望是它们到各自投影点的距离最小。

将从相机光心发出的，经过图像平面上警戒线和人的脚底点的射线，将这些射线用优化得到的外参数从相机坐标系转换到世界坐标系，求得这些射线与地平面(世界坐标系xoy面)的交点，就是警戒线和人的脚底点3D坐标。人的头顶点由于不再地平面上，需要额外的几何约束计算(与最初计算人的身高比例相同)。人体轨迹的确定可以仅使用脚底点。

图4为本发明实施例提供的一种图像处理装置结构示意图。如图4所示，该装置可以包括：

第一确定模块401，用于对相机获取的待处理图像进行目标检测，确定待处理图像中目标对象对应的至少两条成像射线；

第二确定模块402，用于确定目标对象对应的至少两个位置初值，其中，至少两条成像射线和至少两个位置初值位于同一目标坐标系下，至少两条成像射线和/或至少两个位置初值基于相机的外参数初值确定；

投影模块403，用于分别确定至少两个位置初值在对应的至少两条成像射线上的投影位置；

更新模块404，用于根据至少两个位置初值和至少两个位置初值对应的投影位置，更新相机的外参数和/或目标对象对应的位置。

在一些实施例，该第二确定模块402具体用于：

基于相机的外参数初值，确定至少一个待检测对象的身高比例；

根据身高比例，对至少一个待检测对象进行筛选，确定目标对象和/或目标对象对应的至少两个位置初值。

在一些实施例，该第二确定模块402具体用于：

对相机获取的至少一个待处理图像进行目标检测，确定每个待处理图像中的至少一个待检测对象。

在一些实施例，该第一确定模块401具体用于：

对相机获取的待处理图像进行目标检测，得到待处理图像中目标对象对应的边界框；

根据边界框和相机的内参数，确定目标对象对应的至少两条第一射线；

基于至少两条第一射线，确定至少两条成像射线。

在一些实施例，该第一确定模块401具体用于：

将第一射线转换至世界坐标系，确定成像射线，位置初值为世界坐标系下的值，世界坐标系为目标坐标系。

在一些实施例，该第一确定模块401具体用于：

根据相机的外参数初值，将第一射线转换为世界坐标系下的成像射线，相机的外参数表征世界坐标系与相机坐标系之间的映射关系。

在一些实施例，该第二确定模块402具体用于：

确定目标对象在世界坐标下的估计位置；

根据相机的外参数初值，对估计位置进行变换，得到变换后的相机坐标系下的位置初值。

在一些实施例中，该更新模块404具体用于：

根据至少两个位置初值和对应的投影位置之间的距离，建立损失函数；

根据损失函数对相机的外参数和/或目标对象对应的位置进行迭代，直至满足迭代终止条件，得到更新后的相机的外参数和/或目标对象对应的位置。

在一些实施例中，迭代终止条件包括下述一项或多项：

损失函数值符合预期；

迭代次数达到预设次数。

在一些实施例中，还包括，轨迹确定模块用于：

根据在多帧待处理图像中每帧待处理图像的更新后的目标对象的位置，确定目标对象的运动轨迹。

在一些实施例中，还包括，位置关系确定模块，用于：

对相机拍摄的目标图像进行检测，确定目标图像中参考位置和运动目标的位置；

根据更新后的相机的外参数，将参考位置和运动目标的位置反投影到目标平面；

根据反投影后的参考位置和运动目标之间的位置关系，确定运动目标是否越界。

在一些实施例中，世界坐标系的X轴以及Y轴位于目标平面上，目标对象位于目标平面上；相机位于世界坐标系的Z轴上，相机的外参数包含绕X轴的旋转参数、绕Z轴的旋转参数以及Z轴方向上的平移向量；该目标屏幕可以为地面。

相机的外参数表征世界坐标系与相机坐标系之间的映射关系。

本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

进一步的，本实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述前述方法实施例所提供的方法的步骤。

本发明实施例所提供的人脸识别方法、装置及系统的计算机程序产品，包括存储了程序代码的计算机可读存储介质，程序代码包括的指令可用于执行前面方法实施例中的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (16)

1.一种图像处理方法，其特征在于，包括：

对相机获取的待处理图像进行目标检测，确定待处理图像中目标对象对应的至少两条成像射线；

确定所述目标对象对应的至少两个位置初值，其中，所述至少两条成像射线和所述至少两个位置初值位于同一目标坐标系下，所述至少两条成像射线和/或所述至少两个位置初值基于所述相机的外参数初值确定；

分别确定所述至少两个位置初值在对应的所述至少两条成像射线上的投影位置；

根据所述至少两个位置初值和所述至少两个位置初值对应的投影位置，更新所述相机的外参数和/或所述目标对象对应的位置。

2.根据权利要求1所述的方法，其特征在于，所述确定所述目标对象对应的至少两个位置初值，包括：

基于所述外参数初值，确定至少一个待检测对象的高度比例；

根据所述高度比例，对所述至少一个待检测对象进行筛选，确定所述目标对象和/或所述目标对象对应的至少两个位置初值。

3.根据权利要求2所述的方法，所述方法还包括：

对所述相机获取的至少一个待处理图像进行目标检测，确定每个待处理图像中的至少一个待检测对象。

4.根据权利要求1-3任意一项所述的方法，所述对相机获取的待处理图像进行目标检测，确定待处理图像中目标对象对应的至少两条成像射线，包括：

对所述相机获取的待处理图像进行目标检测，得到待处理图像中目标对象对应的边界框；

根据所述边界框和所述相机的内参数，确定所述目标对象对应的至少两条第一射线；

基于所述至少两条第一射线，确定所述至少两条成像射线。

5.根据权利要求4所述的方法，其特征在于，所述基于所述至少两条第一射线，确定所述至少两条成像射线，包括：

将第一射线转换至世界坐标系，确定所述成像射线，所述位置初值为世界坐标系下的值，所述世界坐标系为所述目标坐标系。

6.根据权利要求5所述的方法，其特征在于，所述将第一射线转换至世界坐标系，确定所述成像射线，包括：

根据所述相机的外参数初值，将第一射线转换为世界坐标系下的成像射线，所述相机的外参数表征所述世界坐标系与相机坐标系之间的映射关系。

7.根据权利要求1-6任意一项所述的方法，其特征在于，所述确定所述目标对象对应的至少两个位置初值，包括：

确定目标对象在世界坐标下的估计位置；

根据所述相机的外参数初值，对所述估计位置进行变换，得到变换后的相机坐标系下的所述位置初值。

8.根据权利要求1-7任意一项所述的方法，其特征在于，根据所述至少两个位置初值和所述至少两个位置初值对应的投影位置，更新所述相机的外参数和/或所述目标对象对应的位置的步骤，包括：

根据所述至少两个位置初值和对应的投影位置之间的距离，建立损失函数；

根据所述损失函数对所述相机的外参数和/或所述目标对象对应的位置进行迭代，直至满足迭代终止条件，得到更新后的所述相机的外参数和/或所述目标对象对应的位置。

9.根据权利要求8所述的方法，其特征在于，所述迭代终止条件包括下述一项或多项：

损失函数值符合预设值；

迭代次数达到预设次数。

10.根据权利要求8或9任意一项所述的方法，其特征在于，还包括：

根据在多帧待处理图像中每帧待处理图像的更新后的目标对象的位置，确定所述目标对象的运动轨迹。

11.根据权利要求8-10任意一项所述的方法，其特征在于，还包括：

对所述相机拍摄的目标图像进行检测，确定所述目标图像中参考位置和运动目标的位置；

根据更新后的所述相机的外参数，将所述参考位置和所述运动目标的位置反投影到目标平面；

根据反投影后的所述参考位置和所述运动目标之间的位置关系，确定所述运动目标是否越界。

12.根据权利要求1-11任意一项所述的方法，其特征在于，世界坐标系的X轴以及Y轴位于目标平面上，所述目标对象位于所述目标平面上；所述相机位于所述世界坐标系的Z轴上，所述相机的外参数包含绕X轴的旋转参数、绕Z轴的旋转参数以及Z轴方向上的平移向量；

所述相机的外参数表征所述世界坐标系与所述相机坐标系之间的映射关系。

13.一种图像处理装置，其特征在于，包括：

第一确定模块，用于对相机获取的待处理图像进行目标检测，确定待处理图像中目标对象对应的至少两条成像射线；

第二确定模块，用于确定所述目标对象对应的至少两个位置初值，其中，所述至少两条成像射线和所述至少两个位置初值位于同一目标坐标系下，所述至少两条成像射线和/或所述至少两个位置初值基于相机的外参数初值确定；

投影模块，用于分别确定所述至少两个位置初值在对应的所述至少两条成像射线上的投影位置；

更新模块，用于根据所述至少两个位置初值和所述至少两个位置初值对应的投影位置，更新所述相机的外参数和/或所述目标对象对应的位置。

14.一种电子设备，其特征在于，包括：处理器和存储装置；

所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如权利要求1至12任一项所述的方法。

15.一种相机，其特征在于，包括：成像装置、处理装置以及存储装置；

所述成像装置用于获取待处理图像，所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如权利要求1至12任一项所述的图像处理方法。

16.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述权利要求1至12任一项所述的方法的步骤。

Images