CN110751620A - 估算体积和重量的方法、电子设备及计算机可读存储介质 - Google Patents

估算体积和重量的方法、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN110751620A
CN110751620A CN201910804159.1A CN201910804159A CN110751620A CN 110751620 A CN110751620 A CN 110751620A CN 201910804159 A CN201910804159 A CN 201910804159A CN 110751620 A CN110751620 A CN 110751620A
Authority
CN
China
Prior art keywords
image
gray
pixel
volume
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910804159.1A
Other languages
English (en)
Other versions
CN110751620B (zh
Inventor
叶宁
乐仁龙
徐智军
徐旭辉
吴良顺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo haihaixian Information Technology Co.,Ltd.
Original Assignee
Ningbo Haishangxian Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Haishangxian Information Technology Co Ltd filed Critical Ningbo Haishangxian Information Technology Co Ltd
Priority to CN201910804159.1A priority Critical patent/CN110751620B/zh
Publication of CN110751620A publication Critical patent/CN110751620A/zh
Application granted granted Critical
Publication of CN110751620B publication Critical patent/CN110751620B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01G—WEIGHING
    • G01G9/00—Methods of, or apparatus for, the determination of weight, not provided for in groups G01G1/00 - G01G7/00
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于图像的估算体积和重量的方法、电子设备及计算机可读存储介质。所述方法包括：从至少三个不同角度对物体进行拍照得到至少三张图像，并获取所述至少三张图像；对所述至少三张图像分别进行预处理得到每张图像的像素点的灰度值，并基于所述像素点的灰度值确定出所述至少三张图像的边缘轮廓点；通过三维重建方法得到所述边缘轮廓点在世界坐标系中的三维坐标；基于所述边缘轮廓点的三维坐标计算所述物体的体积；及根据所述物体的体积确定所述物体的质量。本发明能够提高对大型物体的称重效率，并减少称重所需要耗费的资源。

Description

估算体积和重量的方法、电子设备及计算机可读存储介质
技术领域
本发明涉及图像处理领域，具体涉及一种基于图像的估算体积和重量的方法、电子设备及计算机可读存储介质。
背景技术
目前，大型物体的称重常常需要使用专用的大型称重设备。然而，大型称重设备不仅费用昂贵，而且大型称重设备在使用时也需要消耗大量的时间和人力。例如，如图1所示，大型远洋捕捞渔船捕捞卸货时，通过起重机吊臂将装满鱼的渔网或者包裹吊起，经过分拣、称重、登记，然后发布到市场中供买家浏览。然而，通过起重机吊臂进行称重需要耗费大量的资源。
发明内容
鉴于以上内容，有必要提出一种估算体积和重量的方法、电子设备及计算机可读存储介质，以减少称重所需要耗费的资源。
本申请的第一方面提供一种估算体积和重量的方法，所述方法包括：
从至少三个不同角度对物体进行拍照得到至少三张图像，并获取所述至少三张图像；
对所述至少三张图像分别进行预处理得到每张图像的像素点的灰度值，并基于所述像素点的灰度值确定出所述至少三张图像的边缘轮廓点；
通过三维重建方法得到所述边缘轮廓点在世界坐标系中的三维坐标；
基于所述边缘轮廓点的三维坐标计算所述物体的体积；及
根据所述物体的体积确定所述物体的质量。
优选的，对所述至少三张图像分别进行预处理得到每张图像的像素点的灰度值，并基于所述像素点的灰度值确定出所述至少三张图像的边缘轮廓点包括：
对所述至少三张图像分别进行灰度化处理；
将经过灰度化处理的图像进行滤波去除噪声；
将经过滤波的图像的像素点的灰度进行二值化，并根据二值化的像素点确定出所述图像的轮廓点；
将经过滤波的图像进行角点检测确定出所述图像的角点；及
将确定出的所述图像的轮廓点及角点合并构成所述图像的边缘轮廓点。
优选的，所述对所述至少三张图像分别进行灰度化处理包括：
将每张图像的R分量、G分量、B分量三个分量的亮度最大值作为所述图像的灰度值。
优选的，所述对所述至少三张图像分别进行灰度化处理包括：
将每张图像的R分量、G分量、B分量三个分量的亮度的平均值作为所述图像的灰度值，其中，根据公式f(i,j)＝(R(i,j),G(i,j),B(i，j))/3计算得到所述图像的灰度值，其中，f(i，j)为所述图像在像素(i，j)处的灰度，R(i,j)为所述图像的R分量在像素(i,j)处的亮度，G(i，j)为所述图像的G分量在像素(i,j)处的亮度，B(i，j)为所述图像的B分量在像素(i，j)处的亮度。
优选的，所述将经过滤波的图像的像素点的灰度进行二值化并根据二值化的像素点确定出所述图像的轮廓点包括：
通过k-means聚类方法将所述图像的像素点的灰度进行分组得到两个分组；
将两个分组中的像素点的灰度二值化，且每一分组中二值化后的像素点的灰度值相同；及
将灰度值为255的像素点作为轮廓点。
优选的，所述通过k-means聚类方法将所述图像的像素点的灰度进行分组得到两个分组包括：
步骤S1，获取所述图像的像素点的灰度值；
步骤S2，设置聚类数目k为2，且从所述图像的像素点的灰度值中随机选取两个像素点的灰度值作为质心，每个质心对应一个分组；
步骤S3，计算所述图像中的每个像素点的灰度值与两个质心之间的距离，并将所述像素点的灰度值分配到与两个质心中距离最近的质心所对应的分组中；及
步骤S4，计算每组中像素点的灰度值的平均值，将每组中像素点的灰度值的平均值作为新的质心更新原质心，并判断新的质心是否等于原质心；当新的质心等于原质心时结束对所述图像的像素点的灰度进行分组，否则，重复执行步骤S3及步骤S4。
优选的，所述将经过滤波的图像进行角点检测确定出图像的角点包括：
设置窗口为
Figure BDA0002183154140000031
其中a、b、c、d分别为所述图像的像素点的灰度值；
在所述图像中横向移动所述窗口，得到新的灰度值
Figure BDA0002183154140000032
按照公式((ax-a)2+(bx-b)2+(cx-c)2+(dx-d)2)/(a2+b2+c2+d2)计算横向变化率；
在所述图像中纵向移动所述窗口，得到新的灰度值
Figure BDA0002183154140000033
按照公式((ay-a)2+(by-b)2+(cy-c)2+(dy-d)2)/(a2+b2+c2+d2)计算纵向变化率；及
将横向变化率与纵向变化率均大于预设阈值或者局部极大值的点为确定为角点，其中，所述局部极大值为所述图像的局部区域的像素点的灰度值的平均值。
优选的，所述获取所述物体的密度，并根据所述物体的密度及体积计算得到所述物体的质量包括：
识别所述图像中的物体；
根据识别出的物体查找密度关系表确定所述物体的密度，其中，所述密度关系表中定义有所述物体与所述物体的密度的对应关系；及
根据所述物体的密度及体积计算得到所述物体的质量。
本申请的第二方面提供一种电子设备，所述电子设备包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现所述保险费用厘定方法。
本申请的第三方面提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现所述估算体积和重量的方法。
本发明对从不同角度拍照得到的至少三张图像进行预处理得到每张图像的像素点的灰度值，并基于所述像素点的灰度值确定出所述至少三张图像的边缘轮廓点，基于所述边缘轮廓点的三维坐标计算所述物体的体积，并基于所述物体的密度及体积计算得到所述物体的质量，从而提高对大型物体称重的效率，并减少称重所需要耗费的时间、人力和费用等资源。
附图说明
图1为远洋捕捞渔船捕捞卸货的示意图。
图2为本发明一实施方式中估算体积和重量的方法的流程图。
图3为本发明一实施方式中角点检测的示意度。
图4为本发明一实施方式中通过角点检测确定出图像的角点的效果图。
图5为本发明一实施方式中三维坐标系的示意图。
图6为本发明一实施方式中估算体积和重量的装置的结构图。
图7为本发明一实施方式中电子设备的示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施例对本发明进行详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
优选地，本发明估算体积和重量的方法应用在一个或者多个电子设备中。所述电子设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific IntegratedCircuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述电子设备可以是桌上型计算机、笔记本电脑、平板电脑及云端服务器等计算设备。所述设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
实施例1
图2是本发明一实施方式中估算体积和重量的方法的流程图。根据不同的需求，所述流程图中步骤的顺序可以改变，某些步骤可以省略。
参阅图2所示，所述估算体积和重量的方法具体包括以下步骤：
步骤S11，从至少三个不同角度对物体进行拍照得到至少三张图像，并获取所述至少三张图像。
本实施方式中，通过摄像机从物体的左视角度、正视角度及俯视角度对所述物体分别进行拍照得到包含物体的至少三张图像，并从摄像机中获取所述至少三张图像。在具体实施方式中，可以通过有线或无线的通信方式从所述摄像机中获取所述图像。本实施方式中，所述图像为具有RGB色彩模式的彩色图像。
在其他实施方式中，从服务器中获取包含物体的多个图像，并从所述图像中筛选得到展示物体不同角度的至少三张图像。
步骤S12，对所述至少三张图像分别进行预处理得到每张图像的像素点的灰度值，并基于所述像素点的灰度值确定出所述至少三张图像的边缘轮廓点。
本实施方式中，所述对所述至少三张图像分别进行预处理得到每张图像的像素点的灰度值并基于所述像素点的灰度值确定出所述至少三张图像的边缘轮廓点包括：
a)对所述至少三张图像分别进行灰度化处理。
本实施方式中，对所述至少三张图像分别进行灰度化处理可以使得R分量、G分量、B分量中每个分量可取值0-255的每张图像变化成R分量、G分量、B分量中每个分量一样的灰度图片。在一实施方式中，采用分量法对所述至少三张图像分别进行灰度化处理。具体的，将每张图像的R分量、G分量、B分量三个分量的亮度作为所述图像的三个灰度值，并可根据应用需要选择一个灰度值作为所述图像的灰度值。
在一实施方式中，采用最大值法对所述至少三张图像分别进行灰度化处理。具体的，将每张图像的R分量、G分量、B分量三个分量的亮度最大值作为所述图像的灰度值。本实施方式中，根据公式f(i，j)＝max{R(i,j)，G(i，j),B(i,j)}计算得到所述图像的灰度值，其中，f(i,j)为所述图像在像素(i,j)处的灰度，R(i,j)为所述图像的R分量在像素(i,j)处的亮度，G(i,j)为所述图像的G分量在像素(i,j)处的亮度，B(i,j)为所述图像的B分量在像素(i,j)处的亮度。
在一实施方式中，采用平均值法对所述至少三张图像分别进行灰度化处理。具体的，将每张图像的R分量、G分量、B分量三个分量的亮度的平均值作为所述图像的灰度值。本实施方式中，根据公式f(i,j)＝(R(i,j),G(i,j),B(i,j))/3计算得到所述图像的灰度值，其中，f(i,j)为所述图像在像素(i,j)处的灰度，R(i,j)为所述图像的R分量在像素(i,j)处的亮度，G(i，j)为所述图像的G分量在像素(i,j)处的亮度，B(i,j)为所述图像的B分量在像素(i,j)处的亮度。
在一实施方式中，采用加权平均法对所述至少三张图像分别进行灰度化处理。具体的，将每张图像的R分量、G分量、B分量根据公式f(i，j)＝0.3*R(i，j)+0.59*G(i,j)+0.11*B(i,j)计算得到所述图像的灰度值，其中，f(i,j)为所述图像在像素(i,j)处的灰度，R(i,j)为所述图像的R分量在像素(i,j)处的亮度，G(i，j)为所述图像的G分量在像素(i，j)处的亮度，B(i,j)为所述图像的B分量在像素(i，j)处的亮度。
b)将经过灰度化处理的图像进行滤波去除噪声。
本实施方式中，采用平滑滤波方法对经过灰度化处理的图像进行滤波去除噪声。在具体实施方式中，通过简单平均法计算所述图像的邻近元点的平均灰度值一对所述图像进行滤波。
c)将经过滤波的图像的像素点的灰度进行二值化，并根据二值化的像素点确定出图像的轮廓点。
本实施方式中，将所述图像的像素点的灰度设置为0或255以对所述图像的像素点的灰度进行二值化。
本实施方式中，通过k-means聚类方法将所述图像的像素点的灰度进行分组得到两个分组；及将两个分组中的像素点的灰度二值化，且每一分组中二值化后的像素点的灰度值相同。具体的，所述通过k-means聚类方法将所述图像的像素点的灰度进行分组得到两个分组包括：(步骤S1)获取所述图像的像素点的灰度值；(步骤S2)设置聚类数目k为2，且从所述图像的像素点的灰度值中随机选取两个像素点的灰度值作为质心，每个质心对应一个分组；(步骤S3)计算所述图像中的每个像素点的灰度值与两个质心之间的距离，并将所述像素点的灰度值分配到与两个质心中距离最近的质心所对应的分组中；(步骤S4)计算每组中像素点的灰度值的平均值，将每组中像素点的灰度值的平均值作为新的质心更新原质心，并判断新的质心是否等于原质心；当新的质心等于原质心时结束对所述图像的像素点的灰度进行分组，否则，重复执行步骤S3及步骤S4。本实施方式中，在将所述图像的像素点的灰度进行分组得到两个分组后，将两个分组中质心大的分组中的像素点的灰度设置为255，及将两个分组中质心小的分组中的像素点的灰度设置为0。
在一实施方式中，将所述图像的像素点的灰度值与预设阈值进行比较，将像素点中大于预设阈值的灰度值设置为255，及将像素点中不大于预设阈值的灰度值设置为0。本实施方式中，所述预设阈值可以根据用户的需要进行设置。
本实施方式中，所述根据二值化的像素点确定出图像的轮廓点包括：将灰度值为255的像素点作为轮廓点，及将灰度值为0的像素点作为背景区域。
d)将经过滤波的图像进行角点检测确定出图像的角点。
本实施方式中，通过窗口法将经过滤波的图像进行角点检测确定出图像的角点。请参考图3，所示为本发明一实施方式中角点检测的示意度。如图3所述，若沿着每个不同方向移动图3中的窗口201，所述窗口201内的图像的灰度值都发生很大变化，此时窗口201内出现角点。若窗口201在一个方向(例如横向方向)移动，窗口201内对应所述方向的图像的灰度发生了变化，而在另外方向(例如竖直方向)上对应的图像的灰度没有发生变化，此时，窗口201内的图像可能是一条直线的线段。
具体的，首先设置2×2窗口，所述窗口表示为
Figure BDA0002183154140000081
其中a、b、c、d分别为所述图像的像素点的灰度值；在所述图像中横向移动所述窗口，得到新的灰度值
Figure BDA0002183154140000082
按照公式((ax-a)2+(bx-b)2+(cx-c)2+(dx-d)2)/(a2+b2+c2+d2)计算横向变化率；在所述图像中纵向移动所述窗口，得到新的灰度值
Figure BDA0002183154140000083
按照公式((ay-a)2+(by-b)2+(cy-c)2+(dy-d)2)/(a2+b2+c2+d2)计算纵向变化率；将横向变化率与纵向变化率均大于预设阈值或者局部极大值的点为确定为角点。请参考图4，所示为本发明一实施方式中通过角点检测确定出图像的角点的效果图。本实施方式中，所述局部极大值为所述图像的局部区域的像素点的灰度值的平均值，例如，所述局部极大值为所述图像中大小为3×3的局部区域的像素点的灰度值的平均值。
e)将确定出的图像的轮廓点及角点合并构成所述图像的边缘轮廓点。
步骤S13，通过三维重建方法得到所述边缘轮廓点在世界坐标系中的三维坐标。
本实施方式中，摄像机的基本成像模型是针孔模型，针孔模型的成像基础是中心投影。三维空间中的一点在图像上的投影点m为光心与点M的连线与图像平面的交点，其中M为三维点，M＝(X,Y,Z)T，m为三维点M对应的投影点m，m＝(x,y)T。
Figure BDA0002183154140000096
和
Figure BDA0002183154140000097
分别表示点M和m的齐次坐标。在齐次坐标下，三维点M和它的投影点m间的关系可以表示如下：
Figure BDA0002183154140000091
其中，k是非零尺度因子，[R t]表示摄相机外参数，其中R是3×3的旋转矩阵，t表示从世界坐标系到相机坐标系的平移向量，K表示摄像机内参矩阵，其中(u0,v0)是主点坐标，fu和fv分别表示x轴和y轴方向的尺度因子，s表示关于两个坐标系的畸变。
将(1)式简化，得：
Figure BDA0002183154140000092
本实施方式中令Z＝0，所以R只有r1和r2。H是单应性矩阵。上述公式(2)描述的是空间三维点M与相机二维点m的之间的关系。本实施方式中，相机平面中的坐标通过图形处理的方式获取，空间中点的坐标通过事先做好的棋盘获取，并对每张图像计算出与所述图像对应的单应性矩阵H。
把单应性矩阵H写成3×3的3个列向量形式，则H可写成：
[h1 h2 h3]＝λK[r1 r2 t] (3)
其中
Figure BDA0002183154140000093
λ是一个放缩标量因子，也即k的倒数。
由r1和r2标准正交得：
h1 TK-TK-1h2＝0 (4)
单位向量：
h1 TK-TK-1h1＝h2 TK-TK-1h2 (5)
本实施方式中，令:
Figure BDA0002183154140000095
由上式(6)可知B矩阵是一个对称矩阵，所述对称矩阵写成6维向量的形式为：
B＝[B11,B12,B22,B13,B23,B33]T (7)
把H矩阵的列向量表示为：
hi＝[hi1,hi2,hi3]T (8)
根据式(8)，将式(4)式改写成:
hi TBhj＝vij Tb (9)
Figure BDA0002183154140000101
根据内参限制条件式(4)和式(5)式可得：
即：
Vb＝0 (12)
本实施方式中，V是2×6矩阵，也就是说每张图像可以建立两个方程组，上式(12)中有6个未知数，则需要6个方程就可以解出，所以至少需要3张图像可以解出来式(12)中的未知数。解出b矩阵后，即可求得相机内参矩阵K，从而每张图像的外参数矩阵(R,t)也可以确定。
根据已经求解出的参数，我们将每张图像边缘轮廓点根据参数重新投影到三维空间，通过最小化与真实值的差异建立非线性最小化模型：
Figure BDA0002183154140000103
采用多参数非线性系统优化问题的Levenberg-Marquardt迭代求式(13)的最优解得到所述图像的边缘轮廓点在世界坐标系中的三维坐标。
步骤S14，基于所述边缘轮廓点的三维坐标计算所述物体的体积。
请参考图5，所示为本发明一实施方式中三维坐标系的示意图。本实施方式中，以原点O为圆心，以X、Y、Z为坐标轴建立三维坐标系。本实施方式中，所述基于所述边缘轮廓点的三维坐标计算所述物体的体积包括：
(步骤S141)将位于三维坐标系的XOY平面上方的边缘轮廓点向XOY平面投射，得到第一投射点，并求取XOY平面上的所有边缘轮廓点的Z坐标的平均值，作为第一高度。
(步骤S142)将位于三维坐标系的XOY平面下方的边缘轮廓点向XOY平面投射，得到第二投射点，并求取XOY平面上的所有边缘轮廓点的Z坐标的平均值的绝对值，作为第二高度。
(步骤S143)将每三个第一投射点组成一个第一三角形，并根据公式S＝
Figure BDA0002183154140000111
计算得到所述第一三角形的面积，其中a、b、c分别为所述第一三角形的边长，p＝(ab+bc+ac)/2，并计算由第一投射点构成的所有第一三角形的面积之和得到第一总面积，并将第一总面积与所述第一高度进行乘积运算得到第一体积。
(步骤S144)将每三个第二投射点组成一个第二三角形，并根据公式S＝
Figure BDA0002183154140000112
计算得到所述第一三角形的面积，其中a、b、c分别为所述第二三角形的边长，p＝(ab+bc+ac)/2，并计算由第二投射点构成的所有第二三角形的面积之和得到第二总面积，并将第二总面积与所述第二高度进行乘积运算得到第二体积。
(步骤S145)计算所述第一体积与所述第二体积之和得到所述物体的体积。
例如，图5中位于三维坐标系的XOY平面的上方有四个边缘轮廓点a、b、c、d，所述四个边缘轮廓点投影到XOY平面的投影点为a0、b0、c0、d0或a1、b1、c1、d1。投影点a1，b1,c1组成的三角形为
Figure BDA0002183154140000113
三个边长分别为a1b1，b1c1,a1c1，p＝(a1b1+b1c1+a1c1)/2，根据公式
Figure BDA0002183154140000115
可以计算得到
Figure BDA0002183154140000116
的面积。同理，投影点b1,c1,d1组成的三角形为的面积可以通过上述计算过程得到。投影总面积为
Figure BDA0002183154140000118
高H＝(za+zb+zc+zd)/4，则所述物体的体积根据公式V＝S×H计算得到。
步骤S15，根据所述物体的体积确定所述物体的质量。
在一实施方式中，所述根据所述物体的体积确定所述物体的质量包括：获取所述物体的密度，并根据所述物体的密度及体积计算得到所述物体的质量。本实施方式中，所述获取所述物体的密度并根据所述物体的密度及体积计算得到所述物体的质量包括：识别所述图像中的物体；根据识别出的物体查找密度关系表确定所述物体的密度，其中，所述密度关系表中定义有物体与物体的密度的对应关系；及根据所述物体的密度及体积计算得到所述物体的质量。
本实施方式中，所述根据所述物体的体积确定所述物体的质量包括：根据所述物体的种类获取体积与质量的映射表，根据所述映射表查找与所述物体的体积对应的质量，其中，所述体积与质量的映射表定义有各个种类的物体的体积与质量的对应关系。本实施方式中，所述映射表中定义的各个种类的物体的体积与质量的对应关系可以根据经验或多次统计测量得到，其中，所述物体为鱼类物品，如鲸鱼，鲨鱼等。在一实施方式中，所述映射表中的物体的体积与所述物体的新鲜度、所述物体的质量范围对应。所述根据所述物体的体积确定所述物体的质量包括：识别所述图像中的物体；识别所述图像中的物体的新鲜度；根据识别出的所述物体及所述物体的新鲜度确定出对应的物体的质量范围。在具体实施方式中，物体的新鲜度与所述物体的颜色相关，可以通过识别出所述图像中的颜色来确定出所述物体的新鲜度。本实施方式中，在确定出所述物体的质量范围时将所述质量范围内的最大值作为所述物体对应的质量。
本发明对从不同角度拍照得到的至少三张图像进行预处理得到每张图像的像素点的灰度值，并基于所述像素点的灰度值确定出所述至少三张图像的边缘轮廓点，基于所述边缘轮廓点的三维坐标计算所述物体的体积，并基于所述物体的密度及体积计算得到所述物体的质量，从而提高对大型物体称重的效率，并减少称重所需要耗费的时间、人力和费用。
实施例2
图6为本发明一实施方式中估算体积和重量的装置40的结构图。
在一些实施例中，所述估算体积和重量的装置40运行于电子设备中。所述估算体积和重量的装置40可以包括多个由程序代码段所组成的功能模块。所述估算体积和重量的装置40中的各个程序段的程序代码可以存储于存储器中，并由至少一个处理器所执行，以执行估算体积和重量的功能。
本实施例中，所述估算体积和重量的装置40根据其所执行的功能，可以被划分为多个功能模块。参阅图6所示，所述估算体积和重量的装置40可以包括图像获取模块401、预处理模块402、坐标确定模块403、体积计算模块404及质量计算模块405。本发明所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。所述在一些实施例中，关于各模块的功能将在后续的实施例中详述。
所述图像获取模块401从至少三个不同角度对物体进行拍照得到至少三张图像，并获取所述至少三张图像。
本实施方式中，所述图像获取模块401通过摄像机从物体的左视角度、正视角度及俯视角度对所述物体分别进行拍照得到包含物体的至少三张图像，并从摄像机中获取所述至少三张图像。在具体实施方式中，所述图像获取模块401可以通过有线或无线的通信方式从所述摄像机中获取所述图像。本实施方式中，所述图像为具有RGB色彩模式的彩色图像。
在其他实施方式中，所述图像获取模块401从服务器中获取包含物体的多个图像，并从所述图像中筛选得到展示物体不同角度的至少三张图像。
所述预处理模块402对所述至少三张图像分别进行预处理得到每张图像的像素点的灰度值，并基于所述像素点的灰度值确定出所述至少三张图像的边缘轮廓点。
本实施方式中，所述预处理模块402对所述至少三张图像分别进行预处理得到每张图像的像素点的灰度值并基于所述像素点的灰度值确定出所述至少三张图像的边缘轮廓点包括：
a)对所述至少三张图像分别进行灰度化处理。
本实施方式中，对所述至少三张图像分别进行灰度化处理可以使得R分量、G分量、B分量中每个分量可取值0-255的每张图像变化成R分量、G分量、B分量中每个分量一样的灰度图片。在一实施方式中，采用分量法对所述至少三张图像分别进行灰度化处理。具体的，将每张图像的R分量、G分量、B分量三个分量的亮度作为所述图像的三个灰度值，并可根据应用需要选择一个灰度值作为所述图像的灰度值。
在一实施方式中，所述预处理模块402采用最大值法对所述至少三张图像分别进行灰度化处理。具体的，将每张图像的R分量、G分量、B分量三个分量的亮度最大值作为所述图像的灰度值。本实施方式中，根据公式f(i,j)＝max{R(i,j),G(i,j),B(i,j)}计算得到所述图像的灰度值，其中，f(i,j)为所述图像在像素(i,j)处的灰度，R(i,j)为所述图像的R分量在像素(i,j)处的亮度，G(i,j)为所述图像的G分量在像素(i,j)处的亮度，B(i,j)为所述图像的B分量在像素(i,j)处的亮度。
在一实施方式中，所述预处理模块402采用平均值法对所述至少三张图像分别进行灰度化处理。具体的，将每张图像的R分量、G分量、B分量三个分量的亮度的平均值作为所述图像的灰度值。本实施方式中，根据公式f(i,j)＝(R(i,j),G(i,j),B(i,j))/3计算得到所述图像的灰度值，其中，f(i,j)为所述图像在像素(i,j)处的灰度，R(i,j)为所述图像的R分量在像素(i,j)处的亮度，G(i,j)为所述图像的G分量在像素(i,j)处的亮度，B(i,j)为所述图像的B分量在像素(i,j)处的亮度。
在一实施方式中，所述预处理模块402采用加权平均法对所述至少三张图像分别进行灰度化处理。具体的，将每张图像的R分量、G分量、B分量根据公式f(i,j)＝0.3*R(i,j)+0.59*G(i,j)+0.11*B(i,j)计算得到所述图像的灰度值，其中，f(i,j)为所述图像在像素(i,j)处的灰度，R(i,j)为所述图像的R分量在像素(i,j)处的亮度，G(i,j)为所述图像的G分量在像素(i,j)处的亮度，B(i,j)为所述图像的B分量在像素(i,j)处的亮度。
b)将经过灰度化处理的图像进行滤波去除噪声。
本实施方式中，所述预处理模块402采用平滑滤波方法对经过灰度化处理的图像进行滤波去除噪声。在具体实施方式中，通过简单平均法计算所述图像的邻近元点的平均灰度值一对所述图像进行滤波。
c)将经过滤波的图像的像素点的灰度进行二值化，并根据二值化的像素点确定出图像的轮廓点。
本实施方式中，所述预处理模块402将所述图像的像素点的灰度设置为0或255以对所述图像的像素点的灰度进行二值化。
本实施方式中，所述预处理模块402通过k-means聚类方法将所述图像的像素点的灰度进行分组得到两个分组；及将两个分组中的像素点的灰度二值化，且每一分组中二值化后的像素点的灰度值相同。具体的，所述通过k-means聚类方法将所述图像的像素点的灰度进行分组得到两个分组包括：(步骤S1)获取所述图像的像素点的灰度值；(步骤S2)设置聚类数目k为2，且从所述图像的像素点的灰度值中随机选取两个像素点的灰度值作为质心，每个质心对应一个分组；(步骤S3)计算所述图像中的每个像素点的灰度值与两个质心之间的距离，并将所述像素点的灰度值分配到与两个质心中距离最近的质心所对应的分组中；(步骤S4)计算每组中像素点的灰度值的平均值，将每组中像素点的灰度值的平均值作为新的质心更新原质心，并判断新的质心是否等于原质心；当新的质心等于原质心时结束对所述图像的像素点的灰度进行分组，否则，重复执行步骤S3及步骤S4。本实施方式中，在将所述图像的像素点的灰度进行分组得到两个分组后，将两个分组中质心大的分组中的像素点的灰度设置为255，及将两个分组中质心小的分组中的像素点的灰度设置为0。
在一实施方式中，所述预处理模块402将所述图像的像素点的灰度值与预设阈值进行比较，将像素点中大于预设阈值的灰度值设置为255，及将像素点中不大于预设阈值的灰度值设置为0。本实施方式中，所述预设阈值可以根据用户的需要进行设置。
本实施方式中，所述根据二值化的像素点确定出图像的轮廓点包括：将灰度值为255的像素点作为轮廓点，及将灰度值为0的像素点作为背景区域。
d)将经过滤波的图像进行角点检测确定出图像的角点。
本实施方式中，所述预处理模块402通过窗口法将经过滤波的图像进行角点检测确定出图像的角点。具体的，首先设置2×2窗口，所述窗口表示为其中a、b、c、d分别为所述图像的像素点的灰度值；在所述图像中横向移动所述窗口，得到新的灰度值
Figure BDA0002183154140000162
按照公式((ax-a)2+(bx-b)2+(cx-c)2+(dx-d)2)/(a2+b2+c2+d2)计算横向变化率；在所述图像中纵向移动所述窗口，得到新的灰度值按照公式((ay-a)2+(by-b)2+(cy-c)2+(dy-d)2)/(a2+b2+c2+d2)计算纵向变化率；将横向变化率与纵向变化率均大于预设阈值或者局部极大值的点为确定为角点。本实施方式中，所述局部极大值为所述图像的局部区域的像素点的灰度值的平均值，例如，所述局部极大值为所述图像中大小为3×3的局部区域的像素点的灰度值的平均值。
e)将确定出的图像的轮廓点及角点合并构成所述图像的边缘轮廓点。
所述坐标确定模块403通过三维重建方法得到所述边缘轮廓点在世界坐标系中的三维坐标。
本实施方式中，摄像机的基本成像模型是针孔模型，针孔模型的成像基础是中心投影。三维空间中的一点在图像上的投影点m为光心与点M的连线与图像平面的交点，其中M为三维点，M＝(X，Y，Z)T，m为三维点M对应的投影点m，m＝(x，y)T。
Figure BDA0002183154140000164
和
Figure BDA0002183154140000165
分别表示点M和m的齐次坐标。在齐次坐标下，三维点M和它的投影点m间的关系可以表示如下：
Figure BDA0002183154140000166
其中，k是非零尺度因子，[R t]表示摄相机外参数，其中R是3×3的旋转矩阵，t表示从世界坐标系到相机坐标系的平移向量，K表示摄像机内参矩阵，其中(u0，v0)是主点坐标，fu和fv分别表示x轴和y轴方向的尺度因子，s表示关于两个坐标系的畸变。
将(1)式简化，得：
Figure BDA0002183154140000167
本实施方式中令Z＝0，所以R只有r1和r2。H是单应性矩阵。上述公式(2)描述的是空间三维点M与相机二维点m的之间的关系。本实施方式中，相机平面中的坐标通过图形处理的方式获取，空间中点的坐标通过事先做好的棋盘获取，并对每张图像计算出与所述图像对应的单应性矩阵H。
把单应性矩阵H写成3×3的3个列向量形式，则H可写成：
[h1 h2 h3]＝λK[r1 r2 t] (3)
其中
Figure BDA0002183154140000171
λ是一个放缩标量因子，也即k的倒数。
由r1和r2标准正交得：
h1 TK-TK-1h2＝0 (4)
单位向量：
h1 TK-TK-1h1＝h2 TK-TK-1h2 (5)
本实施方式中，令:
Figure BDA0002183154140000172
由上式(6)可知B矩阵是一个对称矩阵，所述对称矩阵写成6维向量的形式为：
B＝[B11,B12,B22,B13,B23,B33]T (7)
把H矩阵的列向量表示为：
hi＝[hi1,hi2,hi3]T (8)
根据式(8)，将式(4)式改写成:
hi TBhj＝vij Tb (9)
Figure BDA0002183154140000173
根据内参限制条件式(4)和式(5)式可得：
即：
Vb＝0 (12)
本实施方式中，V是2×6矩阵，也就是说每张图像可以建立两个方程组，上式(12)中有6个未知数，则需要6个方程就可以解出，所以至少需要3张图像可以解出来式(12)中的未知数。解出b矩阵后，即可求得相机内参矩阵K，从而每张图像的外参数矩阵(R,t)也可以确定。
根据已经求解出的参数，我们将每张图像边缘轮廓点根据参数重新投影到三维空间，通过最小化与真实值的差异建立非线性最小化模型：
Figure BDA0002183154140000181
采用多参数非线性系统优化问题的Levenberg-Marquardt迭代求式(13)的最优解得到所述图像的边缘轮廓点在世界坐标系中的三维坐标。
所述体积计算模块404基于所述边缘轮廓点的三维坐标采用投射法计算所述物体的体积。
请参考图5，本实施方式中，以原点O为圆心，以X、Y、Z为坐标轴建立三维坐标系。本实施方式中，所述基于所述边缘轮廓点的三维坐标计算所述物体的体积包括：
(步骤S141)将位于三维坐标系的XOY平面上方的边缘轮廓点向XOY平面投射，得到第一投射点，并求取XOY平面上的所有边缘轮廓点的Z坐标的平均值，作为第一高度。
(步骤S142)将位于三维坐标系的XOY平面下方的边缘轮廓点向XOY平面投射，得到第二投射点，并求取XOY平面上的所有边缘轮廓点的Z坐标的平均值的绝对值，作为第二高度。
(步骤S143)将每三个第一投射点组成一个第一三角形，并根据公式S＝
Figure BDA0002183154140000182
计算得到所述第一三角形的面积，其中a、b、c分别为所述第一三角形的边长，p＝(ab+bc+ac)/2，并计算由第一投射点构成的所有第一三角形的面积之和得到第一总面积，并将第一总面积与所述第一高度进行乘积运算得到第一体积。
(步骤S144)将每三个第二投射点组成一个第二三角形，并根据公式S＝
Figure BDA0002183154140000183
计算得到所述第一三角形的面积，其中a、b、c分别为所述第二三角形的边长，p＝(ab+bc+ac)/2，并计算由第二投射点构成的所有第二三角形的面积之和得到第二总面积，并将第二总面积与所述第二高度进行乘积运算得到第二体积。
(步骤S145)计算所述第一体积与所述第二体积之和得到所述物体的体积。
例如，图5中位于三维坐标系的XOY平面的上方有四个边缘轮廓点a、b、c、d，所述四个边缘轮廓点投影到XOY平面的投影点为a0、b0、c0、d0或a1、b1、c1、d1。投影点a1，b1,c1组成的三角形为Sa1b1c1，Sa1b1c1三个边长分别为a1b1,b1c1,a1c1，p＝(a1b1+b1c1+a1c1)/2，根据公式
Figure BDA0002183154140000191
Figure BDA0002183154140000192
可以计算得到
Figure BDA0002183154140000193
的面积。同理，投影点b1，c1，d1组成的三角形为
Figure BDA0002183154140000194
的面积可以通过上述计算过程得到。投影总面积为
Figure BDA0002183154140000195
高H＝(za+zb+zc+zd)/4，则所述物体的体积根据公式V＝S×H计算得到。
所述质量计算模块405根据所述物体的体积确定所述物体的质量。
在一实施方式中，所述根据所述物体的体积确定所述物体的质量包括：获取所述物体的密度，并根据所述物体的密度及体积计算得到所述物体的质量。本实施方式中，所述获取所述物体的密度并根据所述物体的密度及体积计算得到所述物体的质量包括：识别所述图像中的物体；根据识别出的物体查找密度关系表确定所述物体的密度，其中，所述密度关系表中定义有物体与物体的密度的对应关系；及根据所述物体的密度及体积计算得到所述物体的质量。
本实施方式中，所述根据所述物体的体积确定所述物体的质量包括：根据所述物体的种类获取体积与质量的映射表，根据所述映射表查找与所述物体的体积对应的质量，其中，所述体积与质量的映射表定义有各个种类的物体的体积与质量的对应关系。本实施方式中，所述映射表中定义的各个种类的物体的体积与质量的对应关系可以根据经验或多次统计测量得到，其中，所述物体为鱼类物品，如鲸鱼，鲨鱼等。在一实施方式中，所述映射表中的物体的体积与所述物体的新鲜度、所述物体的质量范围对应。所述根据所述物体的体积确定所述物体的质量包括：识别所述图像中的物体；识别所述图像中的物体的新鲜度；根据识别出的所述物体及所述物体的新鲜度确定出对应的物体的质量范围。在具体实施方式中，物体的新鲜度与所述物体的颜色相关，可以通过识别出所述图像中的颜色来确定出所述物体的新鲜度。本实施方式中，在确定出所述物体的质量范围时将所述质量范围内的最大值作为所述物体对应的质量。本发明对从不同角度拍照得到的至少三张图像进行预处理得到每张图像的像素点的灰度值，并基于所述像素点的灰度值确定出所述至少三张图像的边缘轮廓点，基于所述边缘轮廓点的三维坐标计算所述物体的体积，并基于所述物体的密度及体积计算得到所述物体的质量，从而提高对大型物体称重的效率，并减少称重所需要耗费的时间、人力和费用。
实施例3
图7为本发明一实施方式中电子设备6的示意图。
所述电子设备6包括存储器61、处理器62以及存储在所述存储器61中并可在所述处理器62上运行的计算机程序63。所述处理器62执行所述计算机程序63时实现上述估算体积和重量的方法实施例中的步骤，例如图2所示的步骤S11～S15。或者，所述处理器62执行所述计算机程序63时实现上述估算体积和重量的装置实施例中各模块/单元的功能，例如图6中的模块401～405。
示例性的，所述计算机程序63可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器61中，并由所述处理器62执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，所述指令段用于描述所述计算机程序63在所述电子设备6中的执行过程。例如，所述计算机程序63可以被分割成图6中的图像获取模块401、预处理模块402、坐标确定模块403、体积计算模块404及质量计算模块405，各模块具体功能参见实施例2。
本实施方式中，所述电子设备6可以是桌上型计算机、笔记本、掌上电脑及云端终端装置等计算设备。本领域技术人员可以理解，所述示意图仅仅是电子设备6的示例，并不构成对电子设备6的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备6还可以包括输入输出设备、网络接入设备、总线等。
所称处理器62可以是中央处理模块(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者所述处理器62也可以是任何常规的处理器等，所述处理器62是所述电子设备6的控制中心，利用各种接口和线路连接整个电子设备6的各个部分。
所述存储器61可用于存储所述计算机程序63和/或模块/单元，所述处理器62通过运行或执行存储在所述存储器61内的计算机程序和/或模块/单元，以及调用存储在存储器61内的数据，实现所述电子设备6的各种功能。所述存储器61可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备6的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器61可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所述电子设备6集成的模块/单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，所述计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
在本发明所提供的几个实施例中，应该理解到，所揭露的电子设备和方法，可以通过其它的方式实现。例如，以上所描述的电子设备实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
另外，在本发明各个实施例中的各功能模块可以集成在相同处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在相同模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他模块或步骤，单数不排除复数。电子设备权利要求中陈述的多个模块或电子设备也可以由同一个模块或电子设备通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种估算体积和重量的方法，其特征在于，所述方法包括：
从至少三个不同角度对物体进行拍照得到至少三张图像，并获取所述至少三张图像；
对所述至少三张图像分别进行预处理得到每张图像的像素点的灰度值，并基于所述像素点的灰度值确定出所述至少三张图像的边缘轮廓点；
通过三维重建方法得到所述边缘轮廓点在世界坐标系中的三维坐标；
基于所述边缘轮廓点的三维坐标计算所述物体的体积；及
根据所述物体的体积确定所述物体的质量。
2.如权利要求1所述的估算体积和重量的方法，其特征在于，对所述至少三张图像分别进行预处理得到每张图像的像素点的灰度值，并基于所述像素点的灰度值确定出所述至少三张图像的边缘轮廓点包括：
对所述至少三张图像分别进行灰度化处理；
将经过灰度化处理的图像进行滤波去除噪声；
将经过滤波的图像的像素点的灰度进行二值化，并根据二值化的像素点确定出所述图像的轮廓点；
将经过滤波的图像进行角点检测确定出所述图像的角点；及
将确定出的所述图像的轮廓点及角点合并构成所述图像的边缘轮廓点。
3.如权利要求2所述的估算体积和重量的方法，其特征在于，所述对所述至少三张图像分别进行灰度化处理包括：
将每张图像的R分量、G分量、B分量三个分量的亮度最大值作为所述图像的灰度值。
4.如权利要求2所述的估算体积和重量的方法，其特征在于，所述对所述至少三张图像分别进行灰度化处理包括：
将每张图像的R分量、G分量、B分量三个分量的亮度的平均值作为所述图像的灰度值，其中，根据公式f(i,j)＝(R(i,j),G(i,j),B(i,j))/3计算得到所述图像的灰度值，其中，f(i,j)为所述图像在像素(i,j)处的灰度，R(i，j)为所述图像的R分量在像素(i,j)处的亮度，G(i,j)为所述图像的G分量在像素(i，j)处的亮度，B(i,j)为所述图像的B分量在像素(i，j)处的亮度。
5.如权利要求2所述的估算体积和重量的方法，其特征在于，所述将经过滤波的图像的像素点的灰度进行二值化并根据二值化的像素点确定出所述图像的轮廓点包括：
通过k-means聚类方法将所述图像的像素点的灰度进行分组得到两个分组；
将两个分组中的像素点的灰度二值化，且每一分组中二值化后的像素点的灰度值相同；及
将灰度值为255的像素点作为轮廓点。
6.如权利要求5所述的估算体积和重量的方法，其特征在于，所述通过k-means聚类方法将所述图像的像素点的灰度进行分组得到两个分组包括：
步骤S1，获取所述图像的像素点的灰度值；
步骤S2，设置聚类数目k为2，且从所述图像的像素点的灰度值中随机选取两个像素点的灰度值作为质心，每个质心对应一个分组；
步骤S3，计算所述图像中的每个像素点的灰度值与两个质心之间的距离，并将所述像素点的灰度值分配到与两个质心中距离最近的质心所对应的分组中；及
步骤S4，计算每组中像素点的灰度值的平均值，将每组中像素点的灰度值的平均值作为新的质心更新原质心，并判断新的质心是否等于原质心；当新的质心等于原质心时结束对所述图像的像素点的灰度进行分组，否则，重复执行步骤S3及步骤S4。
7.如权利要求2所述的估算体积和重量的方法，其特征在于，所述将经过滤波的图像进行角点检测确定出图像的角点包括：
设置窗口为
Figure FDA0002183154130000031
其中a、b、c、d分别为所述图像的像素点的灰度值；
在所述图像中横向移动所述窗口，得到新的灰度值
Figure FDA0002183154130000032
按照公式((ax-a)2+(bx-b)2+(cx-c)2+(dx-d)2)/(a2+b2+c2+d2)计算横向变化率；
在所述图像中纵向移动所述窗口，得到新的灰度值
Figure FDA0002183154130000033
按照公式((ay-a)2+(by-b)2+(cy-c)2+(dy-d)2)/(a2+b2+c2+d2)计算纵向变化率；及
将横向变化率与纵向变化率均大于预设阈值或者局部极大值的点为确定为角点，其中，所述局部极大值为所述图像的局部区域的像素点的灰度值的平均值。
8.如权利要求1所述的估算体积和重量的方法，其特征在于，所述获取所述物体的密度，并根据所述物体的密度及体积计算得到所述物体的质量包括：
识别所述图像中的物体；
根据识别出的物体查找密度关系表确定所述物体的密度，其中，所述密度关系表中定义有所述物体与所述物体的密度的对应关系；及
根据所述物体的密度及体积计算得到所述物体的质量。
9.一种电子设备，其特征在于：所述电子设备包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1-8中任一项所述估算体积和重量的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1-8中任一项所述估算体积和重量的方法。
CN201910804159.1A 2019-08-28 2019-08-28 估算体积和重量的方法、电子设备及计算机可读存储介质 Active CN110751620B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910804159.1A CN110751620B (zh) 2019-08-28 2019-08-28 估算体积和重量的方法、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910804159.1A CN110751620B (zh) 2019-08-28 2019-08-28 估算体积和重量的方法、电子设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN110751620A true CN110751620A (zh) 2020-02-04
CN110751620B CN110751620B (zh) 2021-03-16

Family

ID=69275925

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910804159.1A Active CN110751620B (zh) 2019-08-28 2019-08-28 估算体积和重量的方法、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110751620B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111524180A (zh) * 2020-04-23 2020-08-11 Oppo广东移动通信有限公司 物体体积计算方法、装置、电子设备及存储介质
CN112989998A (zh) * 2021-03-11 2021-06-18 湖南三一智能控制设备有限公司 物料监测方法和物料监测装置以及搅拌站
CN113155247A (zh) * 2021-04-21 2021-07-23 武汉理工大学 物体称重方法、状态评估方法、称重系统及状态评估系统
CN113177949A (zh) * 2021-04-16 2021-07-27 中南大学 一种大尺寸岩石颗粒特征识别方法及装置
CN113421293A (zh) * 2021-06-30 2021-09-21 上海申瑞继保电气有限公司 变电站设备图像质心计算方法
CN113901600A (zh) * 2021-09-13 2022-01-07 杭州大杰智能传动科技有限公司 智能塔吊起升负载平衡性的自动监测控制方法和系统
CN117773952A (zh) * 2024-02-23 2024-03-29 浙江强脑科技有限公司 仿生手控制方法、存储介质、控制装置和仿生手

Citations (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101153850A (zh) * 2006-09-30 2008-04-02 长安大学 一种沥青混合料的检测方法及系统
US20080114243A1 (en) * 2006-11-10 2008-05-15 Kabushiki Kaisha Toshiba Ultrasonic diagnostic apparatus, ultrasonic diagnostic method, and image processing program for ultrasonic diagnostic apparatus
US20080137104A1 (en) * 2003-08-11 2008-06-12 Kristian Lillerud Method and Device for Recording and Determining the Weight of Fish
US20100277571A1 (en) * 2009-04-30 2010-11-04 Bugao Xu Body Surface Imaging
CN101980304A (zh) * 2010-10-20 2011-02-23 北京大学 一种三维数字体积图像变形测量方法
CN102136060A (zh) * 2011-03-03 2011-07-27 苏州市慧视通讯科技有限公司 一种群体密度检测方法
US20110196661A1 (en) * 2009-05-01 2011-08-11 Spicola Tool, Llc Remote Contactless Stereoscopic Mass Estimation System
CN102663819A (zh) * 2012-05-02 2012-09-12 清华大学深圳研究生院 基于超声图像和三维模型的肝脏体积测量方法
CN102749053A (zh) * 2012-06-06 2012-10-24 内蒙古科技大学 基于三维可视化和蒙特卡罗方法的体积测量方法
US20130223693A1 (en) * 2010-08-31 2013-08-29 Glenn Chamberlain Methods and systems for determining fish catches
CN103278090A (zh) * 2013-05-14 2013-09-04 陕西科技大学 一种不规则物体体积的视觉测量方法
CN103337080A (zh) * 2013-07-15 2013-10-02 四川大学 基于梯度方向Hausdorff 距离的红外图像和可见光图像配准技术
CN103793692A (zh) * 2014-01-29 2014-05-14 五邑大学 低分辨率多光谱掌纹、掌静脉实时身份识别方法与系统
CN103824224A (zh) * 2014-02-26 2014-05-28 陕西科技大学 一种基于明暗恢复形状的水果大小分级方法
US20140210944A1 (en) * 2013-01-30 2014-07-31 Samsung Electronics Co., Ltd. Method and apparatus for converting 2d video to 3d video
US20140270395A1 (en) * 2013-03-15 2014-09-18 Propel lP Methods and apparatus for determining information about objects from object images
CN104266587A (zh) * 2014-09-22 2015-01-07 电子科技大学 一种三维测量系统及获得真实3d纹理点云数据方法
CN104599284A (zh) * 2015-02-15 2015-05-06 四川川大智胜软件股份有限公司 基于多视角手机自拍图像的三维人脸重建方法
CN104853064A (zh) * 2015-04-10 2015-08-19 海视英科光电（苏州）有限公司 基于红外热像仪的电子稳像方法
CN105551048A (zh) * 2015-12-21 2016-05-04 华南理工大学 一种基于空间面片的三维角点检测方法
CN106875440A (zh) * 2017-02-22 2017-06-20 神华集团有限责任公司 煤堆体积的计算方法及装置
CN107481282A (zh) * 2017-08-18 2017-12-15 成都通甲优博科技有限责任公司 体积测算方法、装置及用户终端
CN107664598A (zh) * 2017-09-22 2018-02-06 大连海事大学 基于一维数字图形相关法的纤维材料拉伸性能测量方法
CN107869954A (zh) * 2017-10-23 2018-04-03 广东工业大学 一种双目视觉体积重量测量系统及其实现方法
CN108549874A (zh) * 2018-04-19 2018-09-18 广州广电运通金融电子股份有限公司 一种目标检测方法、设备及计算机可读存储介质
CN108876871A (zh) * 2018-06-15 2018-11-23 广东数相智能科技有限公司 基于圆拟合的图像处理方法、装置与计算机可读存储介质
CN109000559A (zh) * 2018-06-11 2018-12-14 广东工业大学 一种物体体积的测量方法、装置、系统和可读存储介质
CN109345624A (zh) * 2018-10-08 2019-02-15 北京健康有益科技有限公司 一种自动识别食物热量的估算方法及系统
CN110033476A (zh) * 2018-01-11 2019-07-19 富士通株式会社 目标速度估计方法、装置和图像处理设备

Patent Citations (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080137104A1 (en) * 2003-08-11 2008-06-12 Kristian Lillerud Method and Device for Recording and Determining the Weight of Fish
CN101153850A (zh) * 2006-09-30 2008-04-02 长安大学 一种沥青混合料的检测方法及系统
US20080114243A1 (en) * 2006-11-10 2008-05-15 Kabushiki Kaisha Toshiba Ultrasonic diagnostic apparatus, ultrasonic diagnostic method, and image processing program for ultrasonic diagnostic apparatus
US20100277571A1 (en) * 2009-04-30 2010-11-04 Bugao Xu Body Surface Imaging
US20110196661A1 (en) * 2009-05-01 2011-08-11 Spicola Tool, Llc Remote Contactless Stereoscopic Mass Estimation System
US20130223693A1 (en) * 2010-08-31 2013-08-29 Glenn Chamberlain Methods and systems for determining fish catches
CN101980304A (zh) * 2010-10-20 2011-02-23 北京大学 一种三维数字体积图像变形测量方法
CN102136060A (zh) * 2011-03-03 2011-07-27 苏州市慧视通讯科技有限公司 一种群体密度检测方法
CN102663819A (zh) * 2012-05-02 2012-09-12 清华大学深圳研究生院 基于超声图像和三维模型的肝脏体积测量方法
CN102749053A (zh) * 2012-06-06 2012-10-24 内蒙古科技大学 基于三维可视化和蒙特卡罗方法的体积测量方法
US20140210944A1 (en) * 2013-01-30 2014-07-31 Samsung Electronics Co., Ltd. Method and apparatus for converting 2d video to 3d video
US20140270395A1 (en) * 2013-03-15 2014-09-18 Propel lP Methods and apparatus for determining information about objects from object images
CN103278090A (zh) * 2013-05-14 2013-09-04 陕西科技大学 一种不规则物体体积的视觉测量方法
CN103337080A (zh) * 2013-07-15 2013-10-02 四川大学 基于梯度方向Hausdorff 距离的红外图像和可见光图像配准技术
CN103793692A (zh) * 2014-01-29 2014-05-14 五邑大学 低分辨率多光谱掌纹、掌静脉实时身份识别方法与系统
CN103824224A (zh) * 2014-02-26 2014-05-28 陕西科技大学 一种基于明暗恢复形状的水果大小分级方法
CN104266587A (zh) * 2014-09-22 2015-01-07 电子科技大学 一种三维测量系统及获得真实3d纹理点云数据方法
CN104599284A (zh) * 2015-02-15 2015-05-06 四川川大智胜软件股份有限公司 基于多视角手机自拍图像的三维人脸重建方法
CN104853064A (zh) * 2015-04-10 2015-08-19 海视英科光电（苏州）有限公司 基于红外热像仪的电子稳像方法
CN105551048A (zh) * 2015-12-21 2016-05-04 华南理工大学 一种基于空间面片的三维角点检测方法
CN106875440A (zh) * 2017-02-22 2017-06-20 神华集团有限责任公司 煤堆体积的计算方法及装置
CN107481282A (zh) * 2017-08-18 2017-12-15 成都通甲优博科技有限责任公司 体积测算方法、装置及用户终端
CN107664598A (zh) * 2017-09-22 2018-02-06 大连海事大学 基于一维数字图形相关法的纤维材料拉伸性能测量方法
CN107869954A (zh) * 2017-10-23 2018-04-03 广东工业大学 一种双目视觉体积重量测量系统及其实现方法
CN110033476A (zh) * 2018-01-11 2019-07-19 富士通株式会社 目标速度估计方法、装置和图像处理设备
CN108549874A (zh) * 2018-04-19 2018-09-18 广州广电运通金融电子股份有限公司 一种目标检测方法、设备及计算机可读存储介质
CN109000559A (zh) * 2018-06-11 2018-12-14 广东工业大学 一种物体体积的测量方法、装置、系统和可读存储介质
CN108876871A (zh) * 2018-06-15 2018-11-23 广东数相智能科技有限公司 基于圆拟合的图像处理方法、装置与计算机可读存储介质
CN109345624A (zh) * 2018-10-08 2019-02-15 北京健康有益科技有限公司 一种自动识别食物热量的估算方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WANG ZU-JIN等: "Visual positioning of rectangular lead components based on Harris corners and Zernike moments", 《SPRINGER》 *
薛河儒 等: "《牛乳体细胞显微图像处理》", 31 December 2018 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111524180A (zh) * 2020-04-23 2020-08-11 Oppo广东移动通信有限公司 物体体积计算方法、装置、电子设备及存储介质
CN112989998A (zh) * 2021-03-11 2021-06-18 湖南三一智能控制设备有限公司 物料监测方法和物料监测装置以及搅拌站
CN112989998B (zh) * 2021-03-11 2023-12-05 湖南三一智能控制设备有限公司 物料监测方法和物料监测装置以及搅拌站
CN113177949A (zh) * 2021-04-16 2021-07-27 中南大学 一种大尺寸岩石颗粒特征识别方法及装置
CN113177949B (zh) * 2021-04-16 2023-09-01 中南大学 一种大尺寸岩石颗粒特征识别方法及装置
CN113155247A (zh) * 2021-04-21 2021-07-23 武汉理工大学 物体称重方法、状态评估方法、称重系统及状态评估系统
CN113421293A (zh) * 2021-06-30 2021-09-21 上海申瑞继保电气有限公司 变电站设备图像质心计算方法
CN113421293B (zh) * 2021-06-30 2023-12-29 上海申瑞继保电气有限公司 变电站设备图像质心计算方法
CN113901600A (zh) * 2021-09-13 2022-01-07 杭州大杰智能传动科技有限公司 智能塔吊起升负载平衡性的自动监测控制方法和系统
CN113901600B (zh) * 2021-09-13 2023-06-02 杭州大杰智能传动科技有限公司 智能塔吊起升负载平衡性的自动监测控制方法和系统
CN117773952A (zh) * 2024-02-23 2024-03-29 浙江强脑科技有限公司 仿生手控制方法、存储介质、控制装置和仿生手

Also Published As

Publication number Publication date
CN110751620B (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
CN110751620B (zh) 估算体积和重量的方法、电子设备及计算机可读存储介质
CN112348815B (zh) 图像处理方法、图像处理装置以及非瞬时性存储介质
CN112581629B (zh) 增强现实显示方法、装置、电子设备及存储介质
EP2858030B1 (en) Performing a histogram using an array of addressable registers
WO2015027953A1 (en) Method, apparatus and terminal device for dynamic image processing
CN111401266B (zh) 绘本角点定位的方法、设备、计算机设备和可读存储介质
CN106062824B (zh) 边缘检测装置和边缘检测方法
CN109509200A (zh) 基于轮廓提取的棋盘格角点检测方法、装置以及计算机可读存储介质
CN110415237B (zh) 皮肤瑕疵检测方法、检测装置、终端设备及可读存储介质
CN110490839B (zh) 一种检测高速公路中损坏区域的方法、装置及计算机设备
CN110807807B (zh) 一种单目视觉的目标定位的图案、方法、装置及设备
CN108960012B (zh) 特征点检测方法、装置及电子设备
CN111583381B (zh) 游戏资源图的渲染方法、装置及电子设备
CN115439607A (zh) 一种三维重建方法、装置、电子设备及存储介质
CN113744142B (zh) 图像修复方法、电子设备及存储介质
CN112200189B (zh) 基于SPP-YOLOv3的车型识别方法、装置及计算机可读存储介质
CN112215861A (zh) 一种足球检测方法、装置、计算机可读存储介质及机器人
CN112651953A (zh) 图片相似度计算方法、装置、计算机设备及存储介质
CN111626295A (zh) 车牌检测模型的训练方法和装置
CN110853488A (zh) 一种poi标签显示方法、装置和设备
CN111325728B (zh) 产品缺陷检测方法、装置、设备及存储介质
CN116012393A (zh) 一种纸箱点云分割方法、装置以及处理设备
CN117523087B (zh) 基于内容识别的三维模型优化方法
CN112101139B (zh) 人形检测方法、装置、设备及存储介质
CN113658144A (zh) 路面病害几何信息的确定方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 315500 No.98, Huiming Road, economic development zone, Fenghua District, Ningbo City, Zhejiang Province

Patentee after: Ningbo haihaixian Information Technology Co.,Ltd.

Address before: 315500 No.98, Huiming Road, economic development zone, Fenghua District, Ningbo City, Zhejiang Province

Patentee before: NINGBO HAISHANGXIAN INFORMATION TECHNOLOGY Co.,Ltd.

CP01 Change in the name or title of a patent holder