CN112101389A - 仓储货物测量方法和装置 - Google Patents

仓储货物测量方法和装置 Download PDF

Info

Publication number
CN112101389A
CN112101389A CN202011283033.3A CN202011283033A CN112101389A CN 112101389 A CN112101389 A CN 112101389A CN 202011283033 A CN202011283033 A CN 202011283033A CN 112101389 A CN112101389 A CN 112101389A
Authority
CN
China
Prior art keywords
height
cargo
point
goods
pixel point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011283033.3A
Other languages
English (en)
Other versions
CN112101389B (zh
Inventor
李顺恺
何思枫
杨旭东
张晓博
杨磊
程远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202011283033.3A priority Critical patent/CN112101389B/zh
Publication of CN112101389A publication Critical patent/CN112101389A/zh
Application granted granted Critical
Publication of CN112101389B publication Critical patent/CN112101389B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Economics (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本说明书实施例提供了一种仓储货物测量方法和装置。根据该实施例的方法，首先，接收由单目摄像头采集的仓库中的货物的货物图像；之后，对所述货物图像进行货物关键点检测，得到所述货物图像中表征货物高度边顶部端点的第一像素点和该高度边底部端点的第二像素点；然后，利用已知的所述单目摄像头对应的标尺在所述仓库中的位置和高度，标定该标尺在所述货物图像中的位置和高度；这样，就可以利用所标定的标尺的位置和高度、所述第一像素点以及所述第二像素点，计算所述高度边的高度值；根据所述高度边的高度值，从而得到所述单目摄像头视觉范围内的货物的高度值。

Description

仓储货物测量方法和装置
技术领域
本说明书一个或多个实施例涉及图像处理技术领域，尤其涉及仓储货物测量方法和装置。
背景技术
仓储业务在人们的生活中越来越重要。比如，利用大型仓库来存放建筑用的木材。再如，利用仓库来存储各种货物箱。为了保证仓储业务的正常运营，需要对仓储货物进行测量，从而来得到仓库中存储的货物的信息，比如货物的高度或体积等，从而根据各次测量的结果可以判断出仓库中的货物是否减少或者增加，实现对仓储货物的监控。
然而目前，对仓储货物进行测量的方法，通常都是基于人工实现的，比如由仓库管理员在仓库现场进行实地测量。此种方式，由于基于人工实现，因此，存在由于人工测量造成的各种问题，比如，对于大型仓库的仓储业务，人工测量方式效率低下及人工成本较大等。
发明内容
本说明书一个或多个实施例描述了仓储货物测量方法和装置，能够通过视觉测量实现对仓库的货物监控，解决由于人工测量造成的问题。
根据第一方面，提供了仓储货物测量方法，包括：
接收由单目摄像头采集的仓库中的货物的货物图像；
对所述货物图像进行货物关键点检测，得到所述货物图像中的第一像素点和第二像素点；其中，所述第一像素点表征：所述货物在相对于地面的高度方向上的高度边的顶部端点；所述第二像素点表征：该高度边的底部端点；
利用已知的所述单目摄像头对应的标尺在所述仓库中的位置和高度，标定该标尺在所述货物图像中的位置和高度；
利用所标定的标尺的位置和高度、所述第一像素点以及所述第二像素点，计算所述高度边的高度值；
根据所述高度边的高度值，得到所述单目摄像头视觉范围内的货物的高度值。
在一个实施例中，在所述对所述货物图像进行货物关键点检测之前，进一步包括：
利用所述单目摄像头采集包括不同货物图像内容的至少两张样本图像；
得到标注训练数据；所述标注训练数据为：对每一张样本图像中可见的货物进行了标注的数据，该标注的方式包括：每个可见货物按相同预设方式标注了可见的各顶点和该各顶点间的连接关系；以及
利用所述标注训练数据，训练货物关键点识别模型；
则，所述对所述货物图像进行货物关键点检测，包括：
利用所述货物关键点识别模型对所述货物图像进行货物关键点检测。
在一个实施例中，所述货物关键点识别模型包括：openpose识别模型；
所述利用所述标注训练数据训练货物关键点识别模型，包括：
在利用所述openpose识别模型的affinity fields预测关键点位置时，将所述标注训练数据对应的像素点与所述单目摄像头对应的相机成像平面中的消失点相连，以约束所述affinity fields的流向。
在一个实施例中，所述计算所述高度边的高度值包括：
得到第一消失点；该第一消失点为：所述单目摄像头对应的相机成像平面中，在相对于地面的高度方向上各平行直线对应的消失点；
根据所标定的标尺的位置和高度，将该标尺的顶部端点在所述货物图像中投影到所述第一像素点与所述第二像素点之间的第一连线上，得到该第一连线上的第三像素点；
利用所述第一消失点、第一像素点、第二像素点以及第三像素点，计算所述高度边的高度值。
在一个实施例中，所述计算所述高度边的高度值，包括：
计算所述第三像素点与所述第二像素点之间的第一像素距离；
计算所述第一像素点与所述第二像素点之间的第二像素距离；
计算所述第一消失点与所述第二像素点之间的第三像素距离；
利用如下式子计算所述高度边的高度值：
d2=[D2*（V-D1）*d1]/ [D1*（V-D2）]；
其中，d2表征所述高度边的高度值；d1表征所述单目摄像头对应的标尺的高度；D1表征所述第一像素距离；D2表征所述第二像素距离；V表征所述第三像素距离。
在一个实施例中，所述将该标尺的顶部端点在所述货物图像中投影到所述第一像素点与所述第二像素点之间的第一连线上得到该第一连线上的第三像素点，包括：
在所述单目摄像头对应的相机成像平面中，确定对应于仓库地面的消失线；
根据所述单目摄像头对应的标尺在仓库中的位置和高度，得到该标尺的底部端点在所述货物图像中所映射出的第四像素点以及该标尺的顶部端点在所述货物图像中所映射出的第五像素点；
将所述第四像素点与所述第二像素点相连，得到第二连线；
将所述第二连线与所述消失线的交点，确定为第二消失点；
将所述第五像素点与所述第二消失点相连，得到第三连线；
将所述第一连线与所述第三连线的交点，确定为所述第三像素点。
在一个实施例中，所述确定对应于仓库地面的消失线，包括：
在所述单目摄像头视觉范围内未存在货物时，通过该单目摄像头采集仓库内地面上的货道线的图像；
利用霍夫变换检测出在所述货道线的图像中的各直线；
计算出该各直线的倾角；
根据计算出的倾角，对该各直线进行聚类，分成至少两条水平线和至少两条竖直线；
对至少两条水平线，用最小二乘法以及随机抽样一致性算法，计算出该至少两条水平线的交汇点，将该交汇点作为水平方向消失点；
对至少两条竖直线，用最小二乘法以及随机抽样一致性算法，计算出该至少两条竖直线的交汇点，将该交汇点作为竖直方向消失点；
利用所述水平方向消失点和所述竖直方向消失点，得到在所述单目摄像头对应的相机成像平面中对应于仓库地面的消失线。
在一个实施例中，得到所述第一消失点包括：
利用霍夫变换检测出在所述货物图像中的相对于地面高度方向上的至少两条直线；
对该至少两条直线，用最小二乘法以及随机抽样一致性算法，计算出该至少两条直线的交汇点，将该交汇点作为所述第一消失点。
在一个实施例中，所述单目摄像头对应位于不同位置的至少两个标尺；
针对所述每一个标尺，分别执行所述利用所标定的标尺的位置和高度、所述第一像素点以及所述第二像素点，计算所述高度边的高度值；
则，所述根据所述高度边的高度值，得到所述单目摄像头视觉范围内的货物的高度值，包括：
将针对各标尺分别计算出的所述高度边的各高度值进行加权平均计算，将该计算结果确定为所述单目摄像头视觉范围内的货物的高度值。
在一个实施例中，所述标定该标尺在所述货物图像中的位置和高度，包括：
在所述仓库中未存有货物时，监测所述标尺沿着所述仓库中的货道线的运动；
利用光流法跟踪所述标尺的运动，得到所述标尺的运动轨迹；
根据所述运动轨迹，得到所述单目摄像头对应的标尺在所述货物图像中的位置和高度。
在一个实施例中，在所述接收由单目摄像头采集的货物图像之后，并在所述对所述货物图像进行货物关键点检测之前，进一步包括：对所述货物图像进行畸变矫正。
根据第二方面，提供了一种基于区块链技术的货物交易业务的实现方法，其中，
利用本说明书任一实施例所述的仓储货物测量方法，得到仓库内至少一个单目摄像头视觉范围内的货物的高度值；
根据所述货物的高度值，确定至少一个单目摄像头视觉范围内的货物的存量信息；
将确定的存量信息上传到区块链中；
基于区块链中存储的货物的存量信息，进行货物交易业务。
根据第三方面，提供了一种仓储货物的测量装置，包括：
图像接收模块，被配置为接收由单目摄像头采集的仓库中的货物图像；
关键点检测模块，被配置为对所述货物图像进行货物关键点检测，得到所述货物图像中的第一像素点和第二像素点；其中，所述第一像素点表征：所述货物在相对于地面的高度方向上的高度边的顶部端点；所述第二像素点表征：该高度边的底部端点；
标尺信息处理模块，被配置为利用已知的所述单目摄像头对应的标尺在所述仓库中的位置和高度，标定该标尺在所述货物图像中的位置和高度；
货物高度确定模块，被配置为利用所标定的标尺的位置和高度、所述第一像素点以及所述第二像素点，计算所述高度边的高度值；以及根据所述高度边的高度值，得到所述单目摄像头视觉范围内的货物的高度值。
在一个实施例中，进一步包括：模型训练模块；
所述模型训练模块，被配置为接收所述单目摄像头采集的包括不同货物图像内容的至少两张样本图像；得到标注训练数据；所述标注训练数据为：对每一张样本图像中可见的货物进行了标注的数据，该标注的方式包括：每个可见货物按相同预设方式标注了可见的各顶点和该各顶点间的连接关系；以及利用所述标注训练数据，训练货物关键点识别模型；
所述关键点检测模块，被配置为利用所述货物关键点识别模型对所述货物图像进行货物关键点检测。
在一个实施例中，所述货物关键点识别模型包括：openpose识别模型；
所述关键点检测模块，被配置为在利用所述openpose识别模型的affinity fields预测关键点位置时，将所述标注训练数据对应的像素点与所述单目摄像头对应的相机成像平面中的消失点相连，以约束所述affinity fields的流向。
在一个实施例中，所述货物高度确定模块被配置为：
得到第一消失点；该第一消失点为：所述单目摄像头对应的相机成像平面中，在相对于地面的高度方向上各平行直线对应的消失点；根据所标定的标尺的位置和高度，将该标尺的顶部端点在所述货物图像中投影到所述第一像素点与所述第二像素点之间的第一连线上，得到该第一连线上的第三像素点；以及利用所述第一消失点、第一像素点、第二像素点以及第三像素点，计算所述高度边的高度值。
在一个实施例中，所述货物高度确定模块被配置为：计算所述第三像素点与所述第二像素点之间的第一像素距离；计算所述第一像素点与所述第二像素点之间的第二像素距离；计算所述第一消失点与所述第二像素点之间的第三像素距离；利用如下式子计算所述高度边的高度值：
d2=[D2*（V-D1）*d1]/ [D1*（V-D2）]；
其中，d2表征所述高度边的高度值；d1表征所述单目摄像头对应的标尺的高度，且该高度值大于预定值 ；D1表征所述第一像素距离；D2表征所述第二像素距离；V表征所述第三像素距离。
在一个实施例中，进一步包括：连接在所述图像接收模块与关键点检测模块之间的所述畸变矫正模块；
所述畸变矫正模块被配置为对所述接收由单目摄像头采集的所述货物图像进行畸变矫正，将畸变矫正后的货物图像发送给所述关键点检测模块进行货物关键点检测。
根据第四方面，提供了一种基于区块链技术的货物交易业务的实现系统，包括：本说明书任一实施例提供的仓储货物测量装置、区块链系统以及交易处理系统；其中，
所述仓储货物测量装置，被配置为得到至少一个单目摄像头视觉范围内的货物的高度值；根据所述货物的高度值，确定至少一个单目摄像头视觉范围内的货物的存量信息；以及将确定的存量信息上传到所述区块链系统中；
所述交易处理系统，被配置为基于区块链系统中存储的货物的存量信息，进行货物交易业务。
根据第五方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行本说明书任一实施例所述的方法。
根据第六方面，提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现本说明书任一实施例所述的方法。
本说明书实施例提供的仓储货物的测量方法和装置，对应单目摄像头在仓库中设立已知高度和已知位置的标尺，这样，就可以利用标尺在三维空间及二维成像平面之间的关系，以及货物在二维图像中的高度值，得到货物在三维仓库中的实际的高度。具体地，就是，利用已知的单目摄像头对应的标尺在所述仓库中的位置和高度，标定该标尺在所述货物图像中的位置和高度；之后，则可以利用所标定的标尺的位置和高度、所述第一像素点以及所述第二像素点（第一像素点及第二像素点确定的就是货物在货物图像中的位置和高度），计算所述高度边的高度值（即货物在三维仓库中的实际高度），也就是说，通过视觉测量实现对仓库的自动化货物监控，而无需人工实现该测量过程，因此，能够避免人工测量的诸多问题，比如效率低下，错误率较高、无法远程实现仓储货物测量等。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本说明书一个实施例提供的仓储货物测量方法的流程图；
图2是本说明书一个实施例提供的货物顶点的标注示意图；
图3A是本说明书一个实施例提供的在二维的货物图像中像素点的示意图；
图3B是本说明书一个实施例提供的在三维仓库空间中标尺与高度边的示意图；
图4是本说明书一个实施例中利用标定的标尺计算货物的高度边的高度值的流程图；
图5是本说明书一个实施例中利用第一消失点、第一像素点、第二像素点以及第三像素点计算高度边的高度值的流程图；
图6是本说明书一个实施例中基于区块链技术的货物交易业务的实现方法流程图；
图7是本说明书一个实施例中仓储货物测量装置的示意图；
图8是本说明书另一个实施例中仓储货物测量装置的示意图；
图9是本说明书一个实施例中基于区块链技术的货物交易业务的实现系的示意图。
具体实施方式
下面结合附图，对本说明书提供的方案进行描述。
在仓储业务中，货物被堆放在仓库中。为了能够在仓库中尽可能多的堆放货物，货物通常是在相对于地面的高度方向上进行向上堆叠。当需要从仓库中取走货物时，则将堆叠在顶部的货物取走，比如，木材从仓库的地面上向上堆叠，当需要取走一部分木材时，则取走顶部的部分木材。因此，监控堆叠在仓库地面上的货物的高度，就可以计算出仓库中的货物的存量信息比如货物的高度值、货物的体积或者货物的数量等，从而可以判断出仓储货物是否增加或者减少。
为了避免目前通过人工方式测量仓储货物的各种弊端，则可以考虑基于视觉测量来分析货物的高度。而由于单目摄像头相对于双目摄像头能够大大节约成本，因此，可以基于单目摄像头的视觉测量来实现。在具体实现时，一种可行的方式是参考地图中使用比例尺的思想，对于仓库中的货物，参考已知位置和高度的标尺来得到货物的高度。
下面描述以上构思的具体实现方式。
图1示出根据一个实施例的仓储货物测量方法的流程图。可以理解，该方法可以通过任何具有计算、处理能力的装置、设备、平台、设备集群来执行。参见图1，该方法预先在仓库改造过程中，在仓库中以固定位姿安装至少一个单目摄像头，此后，具体的实现包括：
步骤100：接收由单目摄像头采集的仓库中的货物图像。
步骤102：对货物图像进行货物关键点检测，得到货物图像中的第一像素点和第二像素点。
本步骤102中，所述第一像素点表征：单目摄像头视觉范围内的货物在相对于地面的高度方向上的高度边的顶部端点；所述第二像素点表征：该高度边的底部端点；
步骤104：利用已知的单目摄像头对应的标尺在仓库中的位置和高度，标定该标尺在货物图像中的位置和高度。
步骤106：利用所标定的标尺的位置和高度、所述第一像素点以及所述第二像素点，计算所述高度边的高度值。
步骤108：根据所述高度边的高度值，得到所述单目摄像头视觉范围内的货物的高度值。
在图1所示的仓储货物的测量方法中，由于单目摄像头采集的货物图像是在二维的相机成像平面中，而货物是在三维的仓库空间中，因此，为了能够通过单目摄像头采集的二维货物图像来计算出三维空间中货物的高度，图1所示的实施例采用了“比例尺”的思想，也就是说，对应单目摄像头在仓库中设立已知高度和已知位置的标尺，这样，就可以利用标尺在三维空间及二维成像平面之间的关系，以及货物在二维图像中的高度值，得到货物在三维仓库中的实际的高度。具体地，就是，利用已知的单目摄像头对应的标尺在所述仓库中的位置和高度，标定该标尺在所述货物图像中的位置和高度；之后，则可以利用所标定的标尺的位置和高度、所述第一像素点以及所述第二像素点（第一像素点及第二像素点确定的就是货物在货物图像中的位置和高度），计算所述高度边的高度值（即货物在三维仓库中的实际高度）。可见，图1所示的本说明书的实施例能够实现由具有计算能力的设备来进行仓储货物的测量，是通过视觉测量实现对仓库的自动化货物监控，而无需人工实现该测量过程，因此，能够避免人工测量的诸多问题，比如效率低下，错误率较高、无法远程实现仓储货物测量等。
另外，在图1所示的本说明书的实施例中，由于采用的是单目摄像头来实现，而无需利用双目摄像头，因此，将复杂、密集的多源传感器布置简化为稀疏的单目摄像头，大大降低了实现成本。
同时，在图1所示的本说明书的实施例中，由于基于标尺以及三维空间及二维平面的关系实现，因此，可以对摆放在任意宽、高货架上的货物进行监控，而不需要对货物的摆放位置、摆放高度进行限定，兼容性强。
下面描述图1所示的各个步骤的执行方式。
首先，在步骤100，接收由单目摄像头采集的仓库中的货物的货物图像。
每一个单目摄像头有自己的视觉范围，该单目摄像头采集的是视觉范围内的货物图像。在本步骤中，可以根据业务需要，当需要确定仓库中一个区域内货物的存量信息时，则可以触发该区域对应的单目摄像头采集其视觉范围内的货物的货物图像。
该单目摄像头采集的货物图像是二维的图像。
在本说明书的一个优选实施例中，在执行完步骤100之后，并在执行步骤102之前，可以进一步执行如下处理：对货物图像进行畸变矫正。由于光学镜头的成像特性，拍摄到的图片都会有一定的畸变，例如直线在图片中会畸变成一条弧线。由于本说明书实施例需要利用图片中的直线段进行测量，因此提高直线的成像质量非常重要。在具体实现时，可以采用通用的畸变矫正方案（openCV的开源库）来进行畸变矫正，得到矫正后的货物图像。则此后，从步骤102开始，是针对畸变矫正后的货物图像进行后续的各种处理。
接下来，在步骤102，对货物图像进行货物关键点检测，得到货物图像中的第一像素点和第二像素点；其中，所述第一像素点表征：所述货物在相对于地面的高度方向上的高度边的顶部端点；所述第二像素点表征：该高度边的底部端点。
可见本步骤102是为了得到仓库中的货物的高度信息映射到相机成像平面中后在货物图像中的高度和位置。通过检测出货物图像中代表高度边上下端点的第一像素点和第二像素点，则可以确定货物在货物图像中的高度及其位置。
本步骤102的一种实现方式是：利用预先训练的货物关键点识别模型来识别出货物图像中的第一像素点和第二像素点。其具体实现过程包括：
在步骤102之前，进行如下训练处理：利用单目摄像头采集包括不同货物图像内容的至少两张样本图像；根据该至少两张样本图像得到标注训练数据；其中所述标注训练数据为：对每一张样本图像中的可见的货物进行了标注的数据，该标注的方式包括：每个可见货物按照相同预设方式标注了可见的各顶点和该各顶点间的连接关系；之后，利用标注训练数据，训练货物关键点识别模型。这样，在步骤102中，则可以利用货物关键点识别模型对所述货物图像进行货物关键点检测，从而得到第一像素点和第二像素点。
在上述训练处理中，样本图像的数量越多，训练效果越好。在本说明书的一个实施例中，样本图像的数量级为数百张。
另外，在上述训练处理中，在标注时，需要按相同预设方式标注每一个可见货物中的各可见顶点，这样，是为了既能够通过该标注体现每一个顶点属于货物的哪一个顶面，比如是属于货物的上顶面还是下顶面，同时又能够通过该标注体现出该每一个顶点与哪些顶点之间应该具有连接关系，保证顶点之间的连线正确。比如参见图2，上顶面的各可见顶点从左下起顺时针顶点编号为A1、A2、A3、A4，下顶面的各可见顶点从左下起顺时针顶点编号B2、B3、B4，因为下顶面的对应于A1点的B1点不可见，因此，从对应于A2点的B2点开始编号，但是编号是从B2开始，这样，对于每一个可见货物，凡是被标记为A1、A2、A3、A4的顶点，都可以确定出该顶点位于货物的上顶面，及该顶点在上顶面的位置，同理，凡是被标记为B1、B2、B3、B4的顶点，都可以确定出该顶点位于货物的下顶面，及该顶点在下顶面的位置，并可确定出该顶点与其他顶点的连接关系，比如，如果被标记为点A2，则可以确定出，该上顶面的点A2应该与被标记为A1、A3的上顶面的两个点分别相连以及与被标记为B2下顶面的一个点相连。
货物关键点识别模型可以利用已有的openpose识别模型来实现。也就是说，在上述训练处理中，是利用上述的标注训练数据来训练openpose识别模型。举例说明。比如，货物为长方体，共8个顶点。测量货物高度时，需要知道货物顶面和底面的位置，以及每一条竖直、水平边上端点的对应关系。这样，可以预先进行人工标注训练数据：按预先设定的顺序，标注样本图像中每堆货物的关键点位置。例如货物图像中货物上表面从左下角点开始为1，4个上表面顶点顺时针依次标记为1-2-3-4，货物下表面同理依次标记为5-6-7-8。只标记可见的位置。标注结果作为深度学习的训练数据，从而得到能够进行货物关键点检测的openpose识别模型。
在利用openpose识别模型时，openpose用affinity fields去预测关键点的连接关系。由于仓库中的货物一般是长方体（横平竖直），因此结构化程度非常高。本说明书一个实施例中，在利用所述openpose识别模型的affinity fields预测关键点位置时，将所述标注训练数据对应的像素点与所述单目摄像头对应的相机成像平面中的消失点相连，这样，则更加有效地约束了所述affinity fields的流向，使其更准确地预测各关键点的位置。
通过上述处理，则得到了货物图像中能够表征货物一条高度边的位置及具体高度值的第一像素点和第二像素点。
比如，参见图3A，通过货物关键点检测，得到在货物图像中的第一像素点记为点t2以及第二像素点记为点b2。点t2与b2的连线代表在货物图像中货物的一条高度边的高度及位置。
接下来，在步骤104，利用已知的单目摄像头对应的标尺在所述仓库中的位置和高度，标定该标尺在货物图像中的位置和高度。
预先针对每一个单目摄像头都设立了对应的标尺，由于该标尺在三维的仓库空间中的位置和高度已知，因此，需要执行本步骤104的处理，以便确定该标尺在二维的货物图像中的位置和高度，这样，后续则可以通过该标尺在三维仓库与二维相机成像平面中的比例关系，换算得到货物在三维仓库与二维相机成像平面中的比例关系，并最终得到货物在三维仓库中的高度。
在本说明书的一个实施例中，本步骤104可以采用自动化标定标尺的方法，而非人工标定的方法，其具体实现过程包括：
步骤1041：在仓库中未存有货物时，监测标尺沿着仓库中的货道线的运动。
比如，将一根已知高度的标尺竖直放在平板小车上，标尺上每隔1米处颜色有明显的区分（例如标尺是5米高，每隔1米处会有白色标记），且该标记能在单目摄像头视觉范围内。平板小车沿着仓库内的每条货道线走一遍。
步骤1042：利用光流法（optical flow）跟踪所述标尺的运动，得到所述标尺的运动轨迹。
步骤1043：根据所述运动轨迹，分别得到各单目摄像头对应的标尺在所述货物图像中的位置和高度。
比如，参见图3A，在货物图像中标定的表征标尺顶部端点的像素点为点t1，表征标尺底部端点的像素点为点b1。点t1与b1的连线代表在货物图像中标尺的高度及位置。
接下来，在步骤106，利用所标定的标尺的位置和高度、所述第一像素点以及所述第二像素点，计算所述高度边的高度值。
本步骤106通过标尺在货物图像中的位置和高度（通过如图3A中的点t1与b1表征）以及货物高度边在货物图像中的位置和高度（通过如图3A中的点t2与b2表征），并利用标尺的实际高度已知的特点，则可以计算出货物在三维仓库中高度边的高度值。
在实际的三维仓库中，标尺是垂直于地面设立的，而货物的高度也是垂直于地面的，也就是说，标尺与货物的高度边在相对于地面的高度方向上相互平行。比如，参见图3B，在三维的仓库空间中，标尺与高度边在高度方向上相平行，标尺与地面的接触点为B1，货物高度边与地面的接触点为B2，标尺的高度为d1，该高度边的高度为d2，高度边的顶点为T2，如果从标尺的顶点沿着与直线B1B2相平行的方向做直线，该直线将与该高度边相交于点T1’（标尺的顶部端点在货物高度边上投影出的点）。同理，参见图3A，在二维货物图像中，也同样将表征标尺顶部端点的像素点t1投影到代表货物高度边的像素点t2与b2的连线上，参见图3A，比如像素点t1的投影点为t2与b2连线上的点t1’。此后，利用透视/投影几何（即货物图像）中两条平行线的长度关系，就可以得到货物在三维仓库中高度边的高度值。其中，为了利用该透视/投影几何（即货物图像）中两条平行线的长度关系，还需要进一步确定所述单目摄像头对应的相机成像平面中，在相对于地面的高度方向上各平行直线对应的消失点。其中，消失点是透视几何中的概念，即空间中一组平行的直线在观测视野中（例如相机拍摄到的图片）交汇于消失点，该点代表无穷远。基于此思路，在本说明书的一个实施例中，参见图4，步骤106的具体实现过程包括：
步骤1061：得到第一消失点。
该第一消失点为：所述单目摄像头对应的相机成像平面中（即货物图像所在的平面），在相对于地面的高度方向上各平行直线对应的消失点。比如，参见图3A，第一消失点记为像素点v，该消失点v可以是在货物图像中，也可以是在货物图像之外，但均位于该单目摄像头的相机成像平面中。
在本说明书的一个实施例中，步骤1061中得到该第一消失点的过程包括：利用霍夫变换检测出在所述货物图像中的相对于地面高度方向上的至少两条直线；对该至少两条直线，用最小二乘法以及随机抽样一致性算法，计算出该至少两条直线的交汇点，将该交汇点作为所述第一消失点。
步骤1063：根据所标定的标尺的位置和高度，将该标尺的顶部端点在所述货物图像中投影到所述第一像素点与所述第二像素点之间的第一连线上，得到该第一连线上的第三像素点。
比如，参见图3A，通过表征标尺的像素点t1 以及b1，将t1投影到t2与b2连线上，投影点为t1’。
在本说明书的一个实施例中，可以利用透视几何中消失点和消失线的原理来实现本步骤1063的过程。具体地，参见图3A的示例，本步骤1063的实现过程可以包括：
步骤1063A：在所述单目摄像头对应的相机成像平面中，确定对应于仓库地面的消失线，如图3A中标记的直线l；
步骤1063B：根据单目摄像头对应的标尺在仓库中的位置和高度，得到该标尺的底部端点在所述货物图像中所映射出的第四像素点如图3A中表示的像素点b1以及该标尺的顶部端点在所述货物图像中所映射出的第五像素点如图3A中表示的像素点t1；
步骤1063C：将第四像素点b1与第二像素点b2相连，得到第二连线；
步骤1063D：将所述第二连线与所述消失线l的交点，确定为第二消失点如图3A中表示的像素点u；t
步骤1063E：将第五像素点t1与第二消失点u相连，得到第三连线；
步骤1063F：将第一连线与第三连线的交点t1’，确定为第三像素点t1’。
需要说明的是，在本说明书的一个实施例中，上述步骤1063A中确定该消失线的过程包括：
步骤1063A1：在所述单目摄像头视觉范围内未存在货物时，通过该单目摄像头采集仓库内地面上的货道线的图像；
步骤1063A2：利用霍夫变换检测出在所述货道线的图像中的各直线；
步骤1063A3：计算出该各直线的倾角；
步骤1063A4：根据计算出的倾角，对该各直线进行聚类，分成至少两条水平线和至少两条竖直线；
步骤1063A5：对至少两条水平线，用最小二乘法以及随机抽样一致性算法，计算出该至少两条水平线的交汇点，将该交汇点作为水平方向消失点；
步骤1063A6：对至少两条竖直线，用最小二乘法以及随机抽样一致性算法，计算出该至少两条竖直线的交汇点，将该交汇点作为竖直方向消失点；
步骤1063A7：利用所述水平方向消失点和所述竖直方向消失点，得到在所述单目摄像头对应的相机成像平面中对应于仓库地面的消失线。
至此，则完成了步骤1063中确定投影点第三像素点的过程。
步骤1065：利用第一消失点、第一像素点、第二像素点以及第三像素点，计算货物的高度边的高度值。
根据透视/投影几何（即货物图像）中两条平行线的长度关系，在本说明书的一个实施例中，结合图3A的示例说明，参见图5，步骤1065中计算高度边的高度值的一种实现过程包括：
步骤1065A：计算第三像素点即t1’与第二像素点即b2之间的第一像素距离记为D1；
步骤1065B：计算第一像素点即t2与第二像素点即b2之间的第二像素距离记为D2；
步骤1065C：计算第一消失点即v与所述第二像素点即b2之间的第三像素距离记为V；
步骤1065D：利用如下式子（投影变换关系）计算所述高度边的高度值d2：
d2=[D2*（V-D1）*d1]/ [D1*（V-D2）]；
其中，所述d1为所述单目摄像头对应的标尺的高度，该高度值是预先已知的；D1表征所述第一像素距离；D2表征所述第二像素距离；V表征所述第三像素距离。
至此，则完成了步骤106的计算货物高度边的高度值的过程。
接下来，在步骤108，根据所述高度边的长度高度值，得到所述单目摄像头视觉范围内的货物的高度值。
在本说明书的一个实施例中，一个单目摄像头仅对应一个标尺，那么，在本步骤108中，就可以直接将步骤106计算出的高度值作为单目摄像头视觉范围内的货物的高度值。
在本说明书的另一个实施例中，为了进一步提高计算出的货物高度值的准确性，一个单目摄像头对应至少两个位于不同位置的标尺，那么，可以针对每一个标尺，分别执行上述步骤104至步骤106的过程，这样，步骤108的具体过程则可以包括：将针对各标尺分别计算出的所述高度边的各高度值进行加权平均计算，将该计算结果确定为所述单目摄像头视觉范围内的货物的高度值。
通过上述过程可以利用单目摄像头实时测量仓库中货物的高度，基于该高度值，可以进一步计算货物的体积、数量等，满足不同的业务需求。
仓储货物测量方法还可以与区块链技术相结合，实现更为智能的控货业务。参见图6，在本说明书一个实施例中提出了一种基于区块链技术的货物交易业务的实现方法，包括：
步骤600：利用本说明书任意一个实施例的仓储货物测量方法，得到仓库内至少一个单目摄像头视觉范围内的货物的高度值。
步骤602：根据所述货物的高度值，确定至少一个单目摄像头视觉范围内的货物的存量信息。
步骤604：将确定的存量信息上传到区块链中；
步骤606：基于区块链中存储的货物的存量信息，进行货物交易业务。
比如，通过上述图6所示的过程，通过视觉测量实现对仓库的货物监控，用区块链技术做加密和征信，便于商家进行网上的货物交易和抵押贷款，提升仓库的应用空间。
本说明书一个实施例还提出了一种仓储货物的测量装置，参见图7，该仓储货物的测量装置700包括：
图像接收模块701，被配置为接收由单目摄像头采集的仓库中的货物图像；
关键点检测模块702，被配置为对所述货物图像进行货物关键点检测，得到所述货物图像中的第一像素点和第二像素点；其中，所述第一像素点表征：所述货物在相对于地面的高度方向上的高度边的顶部端点；所述第二像素点表征：该高度边的底部端点；
标尺信息处理模块703，被配置为利用已知的所述单目摄像头对应的标尺在所述仓库中的位置和高度，标定所述单目摄像头对应的标尺在所述货物图像中的位置和高度；
货物高度确定模块704，被配置为利用所标定的标尺的位置和高度、所述第一像素点以及所述第二像素点，计算所述高度边的高度值；以及根据所述高度边的高度值，得到所述单目摄像头视觉范围内的货物的高度值。
在本说明书一个实施例中，参见图8，仓储货物测量装置可以进一步包括：模型训练模块801；
所述模型训练模块801，被配置为接收所述单目摄像头采集的包括不同货物图像内容的至少两张样本图像；得到标注训练数据；对每一张样本图像中可见的货物进行了标注的数据，该标注的方式包括：每个可见货物按相同预设方式标注了可见的各顶点和该各顶点间的连接关系；以及利用所述标注训练数据，训练货物关键点识别模型；
所述关键点检测模块702，被配置为利用所述货物关键点识别模型对所述货物图像进行货物关键点检测。
在本说明书的一个实施例中，货物关键点识别模型包括：openpose识别模型；
所述关键点检测模块702，被配置为在利用所述openpose识别模型的affinity fields预测关键点位置时，将所述标注训练数据对应的像素点与所述单目摄像头对应的相机成像平面中的消失点相连，以约束所述affinity fields的流向。
在本说明书的一个实施例中，所述货物高度确定模块704被配置为：
得到第一消失点；该第一消失点为：所述单目摄像头对应的相机成像平面中，在相对于地面的高度方向上各平行直线对应的消失点；根据所标定的标尺的位置和高度，将该标尺的顶部端点在所述货物图像中投影到所述第一像素点与所述第二像素点之间的第一连线上，得到该第一连线上的第三像素点；以及利用所述第一消失点、第一像素点、第二像素点以及第三像素点，计算所述高度边的高度值。
在本说明书的一个实施例中，所述货物高度确定模块704还被配置为：计算所述第三像素点与所述第二像素点之间的第一像素距离；计算所述第一像素点与所述第二像素点之间的第二像素距离；计算所述第一消失点与所述第二像素点之间的第三像素距离；利用如下式子计算所述高度边的高度值d2：
d2=[D2*（V-D1）*d1]/ [D1*（V-D2）]；
其中，所述d1为所述单目摄像头对应的标尺的高度，且该高度值大于预定值 ；D1表征所述第一像素距离；D2表征所述第二像素距离；V表征所述第三像素距离。
在本说明书的一个实施例中，仓储货物测量装置进一步包括：连接在所述图像接收模块701与关键点检测模块702之间的畸变矫正模块；所述畸变矫正模块被配置为对所述接收由单目摄像头采集的所述货物图像进行畸变矫正，将畸变矫正后的货物图像发送给所述关键点检测模块702进行货物关键点检测。
在本说明书的一个实施例中还提出了一种基于区块链技术的货物交易业务的实现系统，参见图9，该系统900包括：本说明书任意一个实施例提出的仓储货物测量装置901、区块链系统902以及交易处理系统903；其中，
所述仓储货物测量装置901，被配置为得到至少一个单目摄像头视觉范围内的货物的高度值；根据所述货物的高度值，确定至少一个单目摄像头视觉范围内的货物的存量信息；以及将确定的存量信息上传到所述区块链系统902中；
所述交易处理系统903，被配置为基于区块链系统902中存储的货物的存量信息，进行货物交易业务。
本说明书一个实施例提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行说明书中任一个实施例中的方法。
本说明书一个实施例提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现执行说明书中任一个实施例中的方法。
可以理解的是，本说明书实施例示意的结构并不构成对仓储货物测量装置的具体限定。在说明书的另一些实施例中，仓储货物测量装置可以包括比图示更多或者更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件或者软件和硬件的组合来实现。
上述装置、系统内的各模块之间的信息交互、执行过程等内容，由于与本说明书方法实施例基于同一构思，具体内容可参见本说明书方法实施例中的叙述，此处不再赘述。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、挂件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (21)

1.仓储货物测量方法，包括：
接收由单目摄像头采集的仓库中的货物的货物图像；
对所述货物图像进行货物关键点检测，得到所述货物图像中的第一像素点和第二像素点；其中，所述第一像素点表征：所述货物在相对于地面的高度方向上的高度边的顶部端点；所述第二像素点表征：该高度边的底部端点；
利用已知的所述单目摄像头对应的标尺在所述仓库中的位置和高度，标定该标尺在所述货物图像中的位置和高度；
利用所标定的标尺的位置和高度、所述第一像素点以及所述第二像素点，计算所述高度边的高度值；
根据所述高度边的高度值，得到所述单目摄像头视觉范围内的货物的高度值。
2.根据权利要求1所述的方法，在所述对所述货物图像进行货物关键点检测之前，进一步包括：
利用所述单目摄像头采集包括不同货物图像内容的至少两张样本图像；
得到标注训练数据；所述标注训练数据为：对每一张样本图像中可见的货物进行了标注的数据，该标注的方式包括：每个可见货物按相同预设方式标注了可见的各顶点和该各顶点间的连接关系；以及
利用所述标注训练数据，训练货物关键点识别模型；
则，所述对所述货物图像进行货物关键点检测，包括：
利用所述货物关键点识别模型对所述货物图像进行货物关键点检测。
3.根据权利要求2所述的方法，其中，所述货物关键点识别模型包括：openpose识别模型；
所述利用所述标注训练数据训练货物关键点识别模型，包括：
在利用所述openpose识别模型的affinity fields预测关键点位置时，将所述标注训练数据对应的像素点与所述单目摄像头对应的相机成像平面中的消失点相连，以约束所述affinity fields的流向。
4.根据权利要求1所述的方法，其中，所述计算所述高度边的高度值包括：
得到第一消失点；该第一消失点为：所述单目摄像头对应的相机成像平面中，在相对于地面的高度方向上各平行直线对应的消失点；
根据所标定的标尺的位置和高度，将该标尺的顶部端点在所述货物图像中投影到所述第一像素点与所述第二像素点之间的第一连线上，得到该第一连线上的第三像素点；
利用所述第一消失点、第一像素点、第二像素点以及第三像素点，计算所述高度边的高度值。
5.根据权利要求4所述的方法，其中，所述计算所述高度边的高度值，包括：
计算所述第三像素点与所述第二像素点之间的第一像素距离；
计算所述第一像素点与所述第二像素点之间的第二像素距离；
计算所述第一消失点与所述第二像素点之间的第三像素距离；
利用如下式子计算所述高度边的高度值：
d2=[D2*（V-D1）*d1]/ [D1*（V-D2）]；
其中，d2表征所述高度边的高度值；d1表征所述单目摄像头对应的标尺的高度；D1表征所述第一像素距离；D2表征所述第二像素距离；V表征所述第三像素距离。
6.根据权利要求4所述的方法，其中，所述将该标尺的顶部端点在所述货物图像中投影到所述第一像素点与所述第二像素点之间的第一连线上得到该第一连线上的第三像素点，包括：
在所述单目摄像头对应的相机成像平面中，确定对应于仓库地面的消失线；
根据所述单目摄像头对应的标尺在仓库中的位置和高度，得到该标尺的底部端点在所述货物图像中所映射出的第四像素点以及该标尺的顶部端点在所述货物图像中所映射出的第五像素点；
将所述第四像素点与所述第二像素点相连，得到第二连线；
将所述第二连线与所述消失线的交点，确定为第二消失点；
将所述第五像素点与所述第二消失点相连，得到第三连线；
将所述第一连线与所述第三连线的交点，确定为所述第三像素点。
7.根据权利要求6所述的方法，其中，所述确定对应于仓库地面的消失线，包括：
在所述单目摄像头视觉范围内未存在货物时，通过该单目摄像头采集仓库内地面上的货道线的图像；
利用霍夫变换检测出在所述货道线的图像中的各直线；
计算出该各直线的倾角；
根据计算出的倾角，对该各直线进行聚类，分成至少两条水平线和至少两条竖直线；
对至少两条水平线，用最小二乘法以及随机抽样一致性算法，计算出该至少两条水平线的交汇点，将该交汇点作为水平方向消失点；
对至少两条竖直线，用最小二乘法以及随机抽样一致性算法，计算出该至少两条竖直线的交汇点，将该交汇点作为竖直方向消失点；
利用所述水平方向消失点和所述竖直方向消失点，得到在所述单目摄像头对应的相机成像平面中对应于仓库地面的消失线。
8.根据权利要求4所述的方法，其中，得到所述第一消失点包括：
利用霍夫变换检测出在所述货物图像中的相对于地面高度方向上的至少两条直线；
对该至少两条直线，用最小二乘法以及随机抽样一致性算法，计算出该至少两条直线的交汇点，将该交汇点作为所述第一消失点。
9.根据权利要求1所述的方法，其中，所述单目摄像头对应位于不同位置的至少两个标尺；
针对所述每一个标尺，分别执行所述利用所标定的标尺的位置和高度、所述第一像素点以及所述第二像素点，计算所述高度边的高度值；
则，所述根据所述高度边的高度值，得到所述单目摄像头视觉范围内的货物的高度值，包括：
将针对各标尺分别计算出的所述高度边的各高度值进行加权平均计算，将该计算结果确定为所述单目摄像头视觉范围内的货物的高度值。
10.根据权利要求1所述的方法，其中，所述标定该标尺在所述货物图像中的位置和高度，包括：
在所述仓库中未存有货物时，监测所述标尺沿着所述仓库中的货道线的运动；
利用光流法跟踪所述标尺的运动，得到所述标尺的运动轨迹；
根据所述运动轨迹，得到所述单目摄像头对应的标尺在所述货物图像中的位置和高度。
11.根据权利要求1至10中任一所述的方法，其中，在所述接收由单目摄像头采集的货物图像之后，并在所述对所述货物图像进行货物关键点检测之前，进一步包括：对所述货物图像进行畸变矫正。
12.一种基于区块链技术的货物交易业务的实现方法，其中，
利用权利要求1至11中任一所述的仓储货物测量方法，得到仓库内至少一个单目摄像头视觉范围内的货物的高度值；
根据所述货物的高度值，确定至少一个单目摄像头视觉范围内的货物的存量信息；
将确定的存量信息上传到区块链中；
基于区块链中存储的货物的存量信息，进行货物交易业务。
13.仓储货物的测量装置，包括：
图像接收模块，被配置为接收由单目摄像头采集的仓库中的货物图像；
关键点检测模块，被配置为对所述货物图像进行货物关键点检测，得到所述货物图像中的第一像素点和第二像素点；其中，所述第一像素点表征：所述货物在相对于地面的高度方向上的高度边的顶部端点；所述第二像素点表征：该高度边的底部端点；
标尺信息处理模块，被配置为利用已知的所述单目摄像头对应的标尺在所述仓库中的位置和高度，标定该标尺在所述货物图像中的位置和高度；
货物高度确定模块，被配置为利用所标定的标尺的位置和高度、所述第一像素点以及所述第二像素点，计算所述高度边的高度值；以及根据所述高度边的高度值，得到所述单目摄像头视觉范围内的货物的高度值。
14.根据权利要求13所述的装置，进一步包括：模型训练模块；
所述模型训练模块，被配置为接收所述单目摄像头采集的包括不同货物图像内容的至少两张样本图像；得到标注训练数据；所述标注训练数据为：对每一张样本图像中可见的货物进行了标注的数据，该标注的方式包括：每个可见货物按相同预设方式标注了可见的各顶点和该各顶点间的连接关系；以及，利用所述标注训练数据，训练货物关键点识别模型；
所述关键点检测模块，被配置为利用所述货物关键点识别模型对所述货物图像进行货物关键点检测。
15.根据权利要求14所述的装置，其中，所述货物关键点识别模型包括：openpose识别模型；
所述关键点检测模块，被配置为在利用所述openpose识别模型的affinity fields预测关键点位置时，将所述标注训练数据对应的像素点与所述单目摄像头对应的相机成像平面中的消失点相连，以约束所述affinity fields的流向。
16.根据权利要求13所述的装置，其中，所述货物高度确定模块被配置为：
得到第一消失点；该第一消失点为：所述单目摄像头对应的相机成像平面中，在相对于地面的高度方向上各平行直线对应的消失点；根据所标定的标尺的位置和高度，将该标尺的顶部端点在所述货物图像中投影到所述第一像素点与所述第二像素点之间的第一连线上，得到该第一连线上的第三像素点；以及利用所述第一消失点、第一像素点、第二像素点以及第三像素点，计算所述高度边的高度值。
17.根据权利要求16所述的装置，其中，所述货物高度确定模块被配置为：计算所述第三像素点与所述第二像素点之间的第一像素距离；计算所述第一像素点与所述第二像素点之间的第二像素距离；计算所述第一消失点与所述第二像素点之间的第三像素距离；利用如下式子计算所述高度边的高度值：
d2=[D2*（V-D1）*d1]/ [D1*（V-D2）]；
其中，d2表征所述高度边的高度值；d1表征所述单目摄像头对应的标尺的高度，且该高度值大于预定值 ；D1表征所述第一像素距离；D2表征所述第二像素距离；V表征所述第三像素距离。
18.根据权利要求13至17中任一所述的装置，进一步包括：连接在所述图像接收模块与关键点检测模块之间的所述畸变矫正模块；
所述畸变矫正模块被配置为对所述接收由单目摄像头采集的所述货物图像进行畸变矫正，将畸变矫正后的货物图像发送给所述关键点检测模块进行货物关键点检测。
19.一种基于区块链技术的货物交易业务的实现系统，包括：如权利要求13至18中任一所述的仓储货物测量装置、区块链系统以及交易处理系统；其中，
所述仓储货物测量装置，被配置为得到至少一个单目摄像头视觉范围内的货物的高度值；根据所述货物的高度值，确定至少一个单目摄像头视觉范围内的货物的存量信息；以及将确定的存量信息上传到所述区块链系统中；
所述交易处理系统，被配置为基于区块链系统中存储的货物的存量信息，进行货物交易业务。
20.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-12中任一项所述的方法。
21.一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-12中任一项所述的方法。
CN202011283033.3A 2020-11-17 2020-11-17 仓储货物测量方法和装置 Active CN112101389B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011283033.3A CN112101389B (zh) 2020-11-17 2020-11-17 仓储货物测量方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011283033.3A CN112101389B (zh) 2020-11-17 2020-11-17 仓储货物测量方法和装置

Publications (2)

Publication Number Publication Date
CN112101389A true CN112101389A (zh) 2020-12-18
CN112101389B CN112101389B (zh) 2021-02-02

Family

ID=73785619

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011283033.3A Active CN112101389B (zh) 2020-11-17 2020-11-17 仓储货物测量方法和装置

Country Status (1)

Country Link
CN (1) CN112101389B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112598660A (zh) * 2020-12-29 2021-04-02 青岛港科技有限公司 一种码头装卸过程的纸浆货物数量自动检测方法
CN113124753A (zh) * 2021-04-19 2021-07-16 北京麦哲科技有限公司 一种体积测量方法和装置
CN113392747A (zh) * 2021-06-07 2021-09-14 北京优创新港科技股份有限公司 一种用于立体仓库的货物包装箱识别方法及系统
CN114140735A (zh) * 2021-07-12 2022-03-04 苏州万店掌网络科技有限公司 一种基于深度学习的货道堆积检测方法、系统及存储介质
CN114511631A (zh) * 2021-12-31 2022-05-17 广东中科凯泽信息科技有限公司 摄像机视觉物体高度测量方法、装置及计算机可读存储介质
CN117268474A (zh) * 2023-11-21 2023-12-22 江西中汇云链供应链管理有限公司 一种用于场景内物体体积、数量及重量估算的装置及方法
CN118071978A (zh) * 2024-04-19 2024-05-24 陕西正浩电力科技有限公司 一种基于数据处理的货架定位方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008286638A (ja) * 2007-05-17 2008-11-27 Sogo Keibi Hosho Co Ltd 身長推定装置および身長推定方法
CN104034269A (zh) * 2014-06-24 2014-09-10 深圳市赛为智能股份有限公司 一种单目视觉测量方法与装置
CN105286871A (zh) * 2015-11-27 2016-02-03 西安交通大学 一种基于视频处理的人体身高测量方法
CN110458798A (zh) * 2019-06-20 2019-11-15 长沙理工大学 基于关键点检测的防振锤缺陷视觉检测方法、系统及介质
CN111429065A (zh) * 2020-03-26 2020-07-17 图林科技(深圳)有限公司 一种基于区块链和物联网的物流方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008286638A (ja) * 2007-05-17 2008-11-27 Sogo Keibi Hosho Co Ltd 身長推定装置および身長推定方法
CN104034269A (zh) * 2014-06-24 2014-09-10 深圳市赛为智能股份有限公司 一种单目视觉测量方法与装置
CN105286871A (zh) * 2015-11-27 2016-02-03 西安交通大学 一种基于视频处理的人体身高测量方法
CN110458798A (zh) * 2019-06-20 2019-11-15 长沙理工大学 基于关键点检测的防振锤缺陷视觉检测方法、系统及介质
CN111429065A (zh) * 2020-03-26 2020-07-17 图林科技(深圳)有限公司 一种基于区块链和物联网的物流方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIE SHAO 等: "Robust Height Estimation of Moving Objects From Uncalibrated Videos", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
钱鹰 等: "基于单目视觉的目标物高度测量", 《计算机工程与设计》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112598660A (zh) * 2020-12-29 2021-04-02 青岛港科技有限公司 一种码头装卸过程的纸浆货物数量自动检测方法
CN112598660B (zh) * 2020-12-29 2022-10-21 山东港口科技集团青岛有限公司 一种码头装卸过程的纸浆货物数量自动检测方法
CN113124753A (zh) * 2021-04-19 2021-07-16 北京麦哲科技有限公司 一种体积测量方法和装置
CN113392747A (zh) * 2021-06-07 2021-09-14 北京优创新港科技股份有限公司 一种用于立体仓库的货物包装箱识别方法及系统
CN114140735A (zh) * 2021-07-12 2022-03-04 苏州万店掌网络科技有限公司 一种基于深度学习的货道堆积检测方法、系统及存储介质
CN114511631A (zh) * 2021-12-31 2022-05-17 广东中科凯泽信息科技有限公司 摄像机视觉物体高度测量方法、装置及计算机可读存储介质
CN117268474A (zh) * 2023-11-21 2023-12-22 江西中汇云链供应链管理有限公司 一种用于场景内物体体积、数量及重量估算的装置及方法
CN118071978A (zh) * 2024-04-19 2024-05-24 陕西正浩电力科技有限公司 一种基于数据处理的货架定位方法及系统

Also Published As

Publication number Publication date
CN112101389B (zh) 2021-02-02

Similar Documents

Publication Publication Date Title
CN112101389B (zh) 仓储货物测量方法和装置
CN112378333B (zh) 仓储货物测量方法和装置
US20160182873A1 (en) Image processing apparatus, image processing system, image processing method, and computer program
TWI528019B (zh) 用於物件包裝之物件三維尺寸估測系統及方法
CN109801333B (zh) 体积测量方法、装置、系统及计算设备
CN112132523B (zh) 一种货物数量确定方法、系统和装置
CN110716559B (zh) 一种用于商场超市拣货机器人的综合控制方法
US8487993B2 (en) Estimating vehicle height using homographic projections
KR102490521B1 (ko) 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법
US20220148216A1 (en) Position coordinate derivation device, position coordinate derivation method, position coordinate derivation program, and system
CN113658279A (zh) 相机内参和外参估算方法、装置、计算机设备及存储介质
CN110111018B (zh) 评估车辆感测能力的方法、装置、电子设备及存储介质
CN112489240B (zh) 一种商品陈列巡检方法、巡检机器人以及存储介质
CN114332435A (zh) 一种基于三维重建的图像标注方法及装置
CN111598956A (zh) 标定方法、装置和系统
CN116704042A (zh) 定位方法、装置、电子设备及存储介质
JP2006317418A (ja) 画像計測装置、画像計測方法、計測処理プログラム及び記録媒体
CN113112551B (zh) 相机参数的确定方法、装置、路侧设备和云控平台
Schilling et al. Mind the gap-a benchmark for dense depth prediction beyond lidar
KR101174820B1 (ko) 부유체 동적 변위 계측장치 및 이에 포함되는 영상기반 유닛
US11669988B1 (en) System and method for three-dimensional box segmentation and measurement
CN113147746A (zh) 坡道车位的探测方法及装置
CN112991372A (zh) 一种基于多边形匹配的2d-3d相机外参标定方法
CN112435291A (zh) 一种多目标体积测量方法、装置及存储介质
JPH10185520A (ja) レーザー光線の受光点中心の検出方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant