CN110864613B - 一种基于电场力模型的食物体积测量方法 - Google Patents

Abstract

本发明涉及一种基于电场力模型的食物体积测量方法，属于计算机视觉领域。首先，使用多视图几何的方法重建出食物的稀疏点云模型。其次，构建食物电子集并借助电场力模型完成对稀疏点云的拟合。最后，依据食物电子集的邻接关系将其三角网格化，形成的多面体的体积作为点云体积，完成体积计算。本发明能够克服现有方法对包含凹陷区域或双锥形区域的目标体积计算不准确的缺陷，对各种食物目标的体积的估计具有良好的效果，经实验验证，具有一定的准确性。

Description

一种基于电场力模型的食物体积测量方法

技术领域

本发明涉及一种基于电场力模型的食物体积测量方法，借助电场力模型，完成对目标点云的拟合，从而实现食物体积的测量，具有一定的有效性和通用性，本发明属于计算机视觉领域。

背景技术

随着经济的发展、社会的进步，人类的生活水平在不断提高，在饮食方面的改善尤为明显，但是随之而来的是肥胖和其他由不良饮食带来的疾病患病率上升。公众越来越重视膳食的均衡性，传统的饮食评估方法依赖于个人的主观判断，这种主观测量非常不准确，而依赖于个人的主观判断也会导致有偏差的饮食分析结果。直接测量食物体积更有助于监控和记录膳食情况。

当前，常见的针对食物的体积估算方法主要是基于虚拟现实技术：首先通过拍照设备获取一定数量的食物图像，然后利用椭圆检测算法来得到盛放食物的盘子的椭圆方程，再以盘子作为标定物对相机进行标定，得到相机的内部参数和外部参数，最后利用虚拟场景重建与食物形状类似的模型，通过人为地手动调整模型与食物相契合，从而估计盘子中的食物体积。

这种方法存在很明显的不足。首先是操作太过繁琐，需要使用键盘、鼠标等人机交互设备操作模型与食物契合，这一过程的难度相对较大；其次，对于形状不规则的食物没有较好的处理方式，难以构建与食物形状类似的物体：再者，只能测量置于圆形盘子中的食物体积；最后，食物体积估计结果的精度难以保证：对于同一食物来说，即便构造的模型相同，但是由于用户的操作习惯与操作手法存在差异，最终体积估计的结果会不尽相同，因此结果的精度难以保证。

此外，还有凸包法和投影法估算食物点云体积的方法：凸包法将点云凸包的体积视为点云体积，也就是采取了包围盒的方式。利用凸包法可以快速得到点云体积的范围，但是对目标点云形状要求高，如果点云有凹陷的部分则精度较低。

投影法将整个点云投影到一个平面上，进行三角网格化，然后返回三维空间，这样形成了一个个三棱柱，计算每个三棱柱的体积并求和，就得到了整个点云的体积。容易得知这种方法在应对土堆状的点云体积计算比较方便，即点云在某一个方向上存在明显的放大或缩小趋势；但是面对含有双锥形区域(中间大两边小)的点云时，容易出现错误。

发明内容

本发明解决的技术问题是：克服现有技术的不足，针对凸包法无法测量凹多面体点云目标的体积的问题，提供一种基于电场力法的食物体积测量方法，利用。本发明优先改善了现有的点云体积估算方法的对于测量值偏大的局限性，取得了较好的实验结果。

本发明技术解决方案：一种基于电场力模型的食物体积测量方法，实现步骤如下：

第一步，基于多视图几何的稀疏点云重建，提取采集的食物图像序列中的特征点并进行匹配，使用三角测量的方法计算特征点的三维坐标，进行降噪、去噪处理，最终重建出目标的三维稀疏点云；

第二步，初始化食物分子集和食物电子集；

第三步，利用第二步中的食物分子集与食物电子集拟合第一步中重建出的目标的三维稀疏点云，基于电场力模型，形成目标的稀疏点云的三维网格；

第四步，计算第三步中网格化后形成的多面体的体积，即为食物体积的测量值。

所述第二步中，初始化食物分子集和食物电子集，具体实施如下：

(1)对重建出的目标的三维稀疏点云进行切片，将目标的三维系数点云切片为N_l个薄层，记为P_m ⁽ⁱ⁾(i＝1，2，3，...，N_l)；

(2)在获得的每个薄层P_m ⁽ⁱ⁾的中心部分建立一个圆环状的食物电子点集P_e ⁽ⁱ⁾，食物电子集的集合为P_e＝{P_e ⁽ⁱ⁾|i＝1，2，3，...，N_l}；

(3)使重建出的目标的三维稀疏点云中的每个点带等量的电荷q_(i)，食物电子集中的每个点带等量的电荷q_(j)，q_(i)与q_(j)电性相反。

这一步骤的优点是：第一建立了一个已知邻接关系的点集(指食物电子集)，已知邻接关系是正确网格化并形成多面体的前提。第二由于是根据重建出的目标的三维稀疏点云进行切片获取薄层的，不会在目标的三维稀疏点云的范围外建立多余的食物电子集。

所述第三步中，利用第二步中的食物分子集与食物电子集拟合第一步中重建出的目标的三维稀疏点云，基于电场力模型，形成目标的稀疏点云的三维网格，具体实现如下：

(1)第二步中构造的食物电子集P_e ⁽ⁱ⁾中的第j个点

在电场力的作用下沿向量

自由移动，其中C_3D是

所在圆环的圆心，电场力F^(j)由公式(1)确定，N_f为稀疏点云中点的总数量，K为电场力系数，q_(i)为重建出的目标的三维稀疏点云中的第i个点所带的电荷量，r为重建出的目标三维稀疏点云中的第i个点与

的欧式距离：

(2)选取

动能最大的位置作为稀疏点云轮廓位置，得到第二步中构造的食物电子集中的所有点的拟合结果，依据食物电子集中点的邻接关系，最终形成目标的稀疏点云的三维网格。

这一步中，由于食物电子集彼此之间没有干扰，独立地沿着向量自由移动，这样保证了即使遇到凹陷区域和双锥形区域等其他方法难以处理的形状，也能够正确拟合。且由于电场力模型是根据所有点一起进行计算，不会出现因为少量噪声点影响结果的问题。

所述第四步中，计算第三步中网格化后形成的多面体的体积，具体实现如下：

(1)每个三角网格的三个顶点，按照逆时针，记为p₁，p₂和p₃，坐标分别为：

p₁＝[x₁，y₁，z₁]^T，p₂＝[x₂，y₂，z₂]^T，p₃＝[x₃，y₃，z₃]^T (2)

计算行列式d(p₁，p₂，p₃)

(2)估算出的食物体积V与全部N_m个三角网格的行列式之和的关系为，

其中，

是第i个网格的行列式。

本发明与现有技术相比的优势在于：

(1)本发明依据用户从多视角采集的食物图像重建目标食物的点云估算体积，与手动调整模型拟合食物并测量体积的方法相比，本发明使用了电场力模型自动拟合目标食物的点云，大大简化操作过程，降低了操作的难度；

(2)本发明通过构造食物电子集，用于进行点云的网格化。食物电子集在拟合目标点云时不受点云形状的影响，克服了凸包法计算含有凹陷部分的点云体积时，以及投影法在计算含有双锥形区域的点云时计算结果偏大的问题。

附图说明

图1为本发明的总体流程图；

图2为本发明中采用多视角采集食物图像的示意图；

图3为本发明对两个不同模型拟合和网格化结果的示意图，其中(a)为模型1的三维点云，(b)模型1食物电子集的拟合结果，(c)模型1网格化的结果；(d)为模型1的三维点云，(e)模型1食物电子集的拟合结果，(f)模型1网格化的结果。

具体实施方式

下面结合附图及实施例对本发明进行详细说明。

如图1所示，本发明一种基于电场力模型的食物体积测量方法，具体步骤如下。

1.利用拍摄的图像序列，重建目标的稀疏点云

所述第一步中，利用利用拍摄的图像序列，重建目标的稀疏点云，具体实施如下：

(1)提取食物图像序列中的特征点的SURF，Harris和FAST的组合特征：SURF是一种常见的图像特征描述子，它具有旋转、尺度变换、连读保持不变性，对视角变换也有一定程度的稳定性，同时具有较快地运算速度。Harris特征和FAST特征检测了图像中的角点，其中角点是指在水平和竖直方向上都具有较大灰度变化的像素点。

(2)对于世界坐标系中齐次坐标为M＝(X_W，Y_W，Z_W，1)^T的点，在第i张图片坐标系中对应的像素点的坐标是m_i＝(u_i，v_i，1)^T(i＝1，2，...，l)；设投影矩阵P＝K[R|t]，其中K，R和t是标定得到的相机参数。则m_i＝(u_i，v_i，1)^T(i＝1，2，...，l)与M＝(X_W，Y_W，Z_W，1)^T的关系用下式表示：

s_im′＝P_iM (1)

其中s_i是一非零标量，而P_i为：

将(2)式带入(1)式：

将方程中的系数以稀疏矩阵的形式表示为：

同时以

表示M＝(X_W，Y_W，Z_W，1)^T的非齐次坐标，即

故公式(3)可以表示为：

的最小二乘解为：

即为该点在世界坐标系下的坐标。

(3)去除点云中的噪声点：由于摄像机校准和特征匹配的误差，获得的点云模型中存在需要去除的一些噪声点。去除噪声点的过程中，计算点与其在欧氏空间中K_p个临近点的平均距离d，K_p为一常数。若d＞T_dis，则认为这个点是噪声点，其中T_dis是事先确定的阈值。去除噪声点之后，即获得了用于食物体积估算的点云模型。

2.食物分子集与食物电子集的初始化

2.1食物分子集的初始化

令每个食物分子带等量的正电荷，电量为：

其中V_conv表示由凸包法计算出的食物点云的体积，N_f是点云中点的总数量。

2.2食物电子集的初始化

将食物点云沿Z坐标轴的方向分割为N_l个薄层，记为P_m ⁽ⁱ⁾(i＝1，2，3，...，N_l)。

对每一个薄层P_m ⁽ⁱ⁾沿与Z坐标轴垂直的方向将其分为N_s个长条，记为C_s＝{C_s ^j|j＝1，2，3，...，N_s}，将C_s的中心记作C_p ⁽ⁱ⁾。遍历P_m ⁽ⁱ⁾中所有的点，计算它们与C_p ⁽ⁱ⁾的欧氏距离，并将最小值记为r⁽ⁱ⁾；定义z⁽ⁱ⁾为点集P_m ⁽ⁱ⁾中的点的z坐标的平均值，并以C_p ⁽ⁱ⁾为圆心，r⁽ⁱ⁾为半径，在平面z＝z⁽ⁱ⁾上建立一个圆环状的点集，记作P_e ⁽ⁱ⁾。

在不同“切片”上的食物电子集的集合P_e定义为：

P_e＝{P_e ⁽ⁱ⁾|i＝1，2，3，...，N_l} (9)

将所有点集的中心点

记作C_3D。获得了位于食物点云中的初始的食物电子组模型。

3.基于电场力模型，使食物电子集拟合点云表面

根据电场力理论，在食物分子集中携带正电荷的点与携带负电荷的食物电子集中的点之间存在吸引力。对一食物分子m_(i)和一食物电子集中的电子e_(i)，它们之间的电场力为

其中r是两者的距离。K是电场力系数，在本发明提出的方法中，定义为K＝1/r。设每一个电子集中的点的带电量为单位电荷，即q_(j)＝1。

食物电子集中的点P_e(j)受到的电场力的合力为：

令每一个电子集中的点都带有一定的初始动能，按照动能定理和电场力理论，食物电子将在电场力的作用下运动，直至动能为0时停下，选择动能达到最大值的位置作为轮廓位置，记为con_(j)。

在此过程中，食物电子被限制在与向量

相同方向的轨道中运动，其中，

是食物电子集P_e ⁽ⁱ⁾中的第j个点。

最终，食物电子集形成的轮廓模型被储存为con＝{con_(j)|j＝1，2，3，...，N_e}。

4.将食物电子集网格化，进行体积的计算

对每个三角形网格的三个顶点，按照逆时针排序，记为p₁，p₂和p₃，坐标分别为：

p₁＝[x₁，y₁，z₁]^T，p₂＝[x₂，y₂，z₂]^T，p₃＝[x₃，y₃，z₃]^T (12)

其行列式为：

食物电子集网格化形成的多面体的体积记为：

其中，V是估算的食物体积，

是第i个网格的行列式，而N_m是网格的总数。从而完成体积的计算。

如表1所示，通过实验验证，使用本方法测量多种食物体积都可以获得较高的精度。

表1 用本方法计算6种食物体积的结果(单位：毫升)

食物名称	排水法测得的参考值	本方法测量值	百分比误差
				面包	488	477	2.25％
苹果	242	244	0.82％
				米饭	180	178	1.11％
沙拉	185	179	3.24％
				炒青菜	153	145	5.23％
汉堡	540	530	1.85％

图2展示了采用相机从多个视角采集食物图像。M点代表空间中的食物，m_i代表其在相机O_ci中所成的像。

图3(a)图为一包含双锥形区域的点云的图像，图3(b)图是用食物电子集对该点云拟合的结果的图像，图3(c)图是该点云网格化后形成的多面体的图像。图3(d)图为一包含凹陷区域的点云的图像，图3(e)图是用食物电子集对该点云拟合的结果的图像，图3(f)图是该点云网格化后形成的多面体的图像。图3表明，基于电场力模型拟合点云的方法对点云模型中的双锥形和凹陷部分具有良好的贴合效果，本发明中本发明提供的方法对各种食物目标均有良好的准确性。

本发明说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。

Claims (4)

1.一种基于电场力模型的食物体积测量方法，其特征在于，包括以下步骤：

第一步，基于多视图几何的稀疏点云重建，提取采集的食物图像序列中的特征点并进行匹配，使用三角测量的方法计算特征点的三维坐标，进行降噪、去噪处理，最终重建出目标的三维稀疏点云；

第二步，初始化食物电子集和食物分子集，方法为：视第一步中重建出的目标的三维稀疏点云中的每个点为一个食物分子，令每个食物分子带等量的正电荷，电量为：

其中V_conv表示由凸包法计算出的食物点云的体积，N_f是点云中点的总数量；对第一步中重建出的三维点云进行切片产生薄层，对每一个薄层P_m ⁽ⁱ⁾沿与Z坐标轴垂直的方向将其分为N_s个长条，记为C_s＝{C_s ^j|j＝1,2,3,...,N_s}，将C_s的中心记作C_p ⁽ⁱ⁾，遍历P_m ⁽ⁱ⁾中所有的点，计算它们与C_p ⁽ⁱ⁾的欧氏距离，并将最小值记为r⁽ⁱ⁾；定义z⁽ⁱ⁾为点集

中的点的z坐标的平均值，并以C_p ⁽ⁱ⁾为圆心，r⁽ⁱ⁾为半径，在平面z＝z⁽ⁱ⁾上建立一个圆环状的点集，记作P_e ⁽ⁱ⁾，即为食物电子集；

第三步，利用第二步中的食物分子集与食物电子集，基于电场力模型，在电场力的作用下，使食物电子集P_e ⁽ⁱ⁾中的每一个食物电子

沿向量

移动，其中C_3D是

所在的圆环状点集P_e ⁽ⁱ⁾的圆心，直至食物电子动能为0，以其动能最大位置拟合第一步中重建出的目标的三维稀疏点云的轮廓，依据食物电子集中点的邻接关系，形成目标的稀疏点云的三维网格；

第四步，计算第三步中网格化后形成的多面体的体积，即为食物体积的测量值。

2.根据权利要求1所述的基于电场力模型的食物体积测量方法，其特征在于：所述第二步中，初始化食物分子集和食物电子集，初始化食物分子集的具体实施如下：

视第一步中重建出的目标的三维稀疏点云中的每个点为一食物分子，每一个食物分子带等量的电荷q_(i)，所有食物分子构成食物分子集；

初始化食物电子集的具体实施如下：

(1)对重建出的目标的三维稀疏点云进行切片，将目标的三维系数点云切片为N_l个薄层，记为P_m ⁽ⁱ⁾(i＝1,2,3,…,N_l)；

(2)在获得的每个薄层P_m ⁽ⁱ⁾的中心部分建立一个圆环状的食物电子点集P_e ⁽ⁱ⁾，食物电子集的集合为P_e＝{P_e ⁽ⁱ⁾|i＝1,2,3,…,N_l}，食物电子集中的每个点带等量的电荷q_(j)，q_(j)与食物分子所带电荷q_(i)电性相反。

3.根据权利要求1所述的基于电场力模型的食物体积测量方法，其特征在于：所述第三步具体实现如下：

(1)第二步中构造的食物电子集P_e ⁽ⁱ⁾中的第j个点

在电场力的作用下沿向量

方向自由移动，其中C_3D是

所在圆环的圆心，电场力F^(j)由公式(1)确定，N_f为稀疏点云中点的总数量，K为电场力系数，q_(i)为重建出的目标的三维稀疏点云中的第i个点所带的电荷量，r为重建出的目标三维稀疏点云中的第i个点与

的欧式距离

(2)选取

动能最大的位置作为稀疏点云轮廓位置，得到第二步中构造的食物电子集中的所有点的拟合结果，依据食物电子集中点的邻接关系，最终形成目标的稀疏点云的三维网格。

4.根据权利要求1所述的基于电场力模型的食物体积测量方法，其特征在于：所述第四步中，计算第三步中网格化后形成的多面体的体积，具体实现如下：

(1)每个三角网格的三个顶点，按照逆时针，记为p₁,p₂和p₃，坐标分别为：

p₁＝[x₁,y₁,z₁]^T，p₂＝[x₂,y₂,z₂]^T，p₃＝[x₃,y₃,z₃]^T (2)

计算行列式d(p₁,p₂,p₃)

(2)估算出的食物体积V与全部N_m个三角网格的行列式之和的关系为，

其中，

是第i个网格的行列式。

Images