CN116295028A - 目标物体的测量方法及其装置、存储介质和电子设备 - Google Patents
目标物体的测量方法及其装置、存储介质和电子设备 Download PDFInfo
- Publication number
- CN116295028A CN116295028A CN202310109740.8A CN202310109740A CN116295028A CN 116295028 A CN116295028 A CN 116295028A CN 202310109740 A CN202310109740 A CN 202310109740A CN 116295028 A CN116295028 A CN 116295028A
- Authority
- CN
- China
- Prior art keywords
- image
- depth information
- target object
- target
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 83
- 238000005259 measurement Methods 0.000 claims description 41
- 238000000691 measurement method Methods 0.000 claims description 18
- 230000009467 reduction Effects 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 8
- 238000005260 corrosion Methods 0.000 claims description 7
- 230000007797 corrosion Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 11
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 8
- 230000005484 gravity Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 235000013361 beverage Nutrition 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 229910052500 inorganic mineral Inorganic materials 0.000 description 1
- 239000011707 mineral Substances 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Abstract
本申请公开了一种目标物体的测量方法及其装置、存储介质和电子设备。所述测量方法包括：获取目标物体的第一颜色图像和基于结构光的第二深度信息图像；将所述第一颜色图像和所述第二深度信息图像配置于同一参考坐标系中；基于所述参考坐标系，将所述第一颜色图像中符合预设条件的颜色图像的图像信息确定为所述第二深度信息图像中深度信息缺失图像的图像信息，以在所述参考坐标系中得到目标图像；对所述目标图像进行图像处理，以得到所述目标物体的目标尺寸。
Description
技术领域
本申请涉及测量技术领域，具体而言，涉及一种目标物体的测量方法及其装置、存储介质和电子设备。
背景技术
随着物流仓储的快速发展，仓储管理发展至各行各业。仓储管理为物流管理的重要环节，可以提供货物入库、货物在库盘点和货物出库等货物管理服务。
而货物在入库时需要进行货物信息录入，如货物的尺寸信息(包括长、宽和高等尺寸)，以便于后续对货物进行全面的管理和调度。
目前现有技术一般采用基于结构光的测量装置进行货物尺寸的测量。其测量原理为，测量装置发出的光信号照射至货物表面，并在其表面发生反射，测量装置根据所反射光信号的变化来计算货物的位置和深度等信息，以得到该货物的尺寸信息。
但本申请的发明人发现，基于光信号的物理特性的限制，在货物为透明或者透明度较高的物体(例如矿泉水或饮料)的情况下，光信号无法在货物表面进行正常反射，从而导致货物尺寸无法测量或者测量结果较为不准确。基于此，本申请的发明人认为目前的货物尺寸的测量方法还有待改进。
发明内容
本申请公开了一种目标物体的测量方法及其装置、存储介质和电子设备，用于解决目前结构光无法准确测量透明或者透明度较高的物体的尺寸的问题。
根据本申请的一方面，本申请提供了一种目标物体的测量方法。该测量方法包括获取目标物体的第一颜色图像和基于结构光的第二深度信息图像；将所述第一颜色图像和所述第二深度信息图像配置于同一参考坐标系中；基于所述参考坐标系，将所述第一颜色图像中符合预设条件的颜色图像的图像信息确定为所述第二深度信息图像中深度信息缺失图像的图像信息，以在所述参考坐标系中得到目标图像；对所述目标图像进行图像处理，以得到所述目标物体的目标尺寸。
根据本申请的一些实施例，将第一颜色图像中符合预设条件的颜色图像的图像信息确定为第二深度信息图像中深度信息缺失图像的图像信息包括：遍历第二深度信息图像的深度信息；将深度信息小于预设阈值的深度信息图像确定为深度信息缺失图像；确定出深度信息缺失图像所对应的坐标；基于坐标映射关系确定出第一颜色图像中与坐标相对应的颜色图像；将颜色图像的颜色值确定为深度信息缺失图像的颜色值。
根据本申请的一些实施例，对目标图像进行图像处理，以得到目标物体的目标尺寸包括：遍历第二深度信息图像的深度信息；确定出大于预设阈值的深度信息所对应的深度信息图像；对深度信息图像进行背景化处理，以得到背景图像；基于背景图像于目标图像中分割出目标物体图像；对目标物体图像进行图像处理，得到目标物体在参考坐标系中的参考尺寸；基于参考尺寸确定出目标物体的目标尺寸。
根据本申请的一些实施例，对目标图像进行图像处理包括：对目标图像进行降噪处理；其中，降噪处理至少包括腐蚀处理和膨胀处理。
根据本申请的另一方面，提供了一种目标物体的测量装置。该测量装置包括第一图像获取单元、第二图像获取单元和图像处理单元。第一图像获取单元，获取目标物体的第一颜色图像；第二图像获取单元，获取目标物体基于结构光的第二深度信息图像；图像处理单元，将第一颜色图像和第二深度信息图像配置于同一参考坐标系中，以及基于参考坐标系，将第一颜色图像中符合预设条件的颜色图像的图像信息确定为第二深度信息图像中深度信息缺失图像的图像信息，以在参考坐标系中得到目标图像；图像处理单元对目标图像进行图像处理，以得到目标物体的目标尺寸。
根据本申请的一些实施例，图像处理单元遍历第二深度信息图像的深度信息，将深度信息小于预设阈值的深度信息图像确定为深度信息缺失图像，以及确定出深度信息缺失图像所对应的坐标；图像处理单元基于坐标映射关系确定出第一颜色图像中与坐标相对应的颜色图像，并将颜色图像的颜色值确定为深度信息缺失图像的颜色值。
根据本申请的一些实施例，图像处理单元还遍历第二深度信息图像的深度信息，确定出大于预设阈值的深度信息所对应的深度信息图像，以及对深度信息图像进行背景化处理，以得到背景图像；图像处理单元基于背景图像于目标图像中分割出目标物体图像，对目标物体图像进行图像处理，得到目标物体在参考坐标系中的参考尺寸，并基于参考尺寸确定出目标物体的目标尺寸。
根据本申请的一些实施例，图像处理单元还对目标图像进行降噪处理；其中，降噪处理至少包括腐蚀处理和膨胀处理。
根据本申请的又一方面，本申请还提供了一种非易失性计算机可读存储介质。该存储介质上存储有计算机程序，该计算机程序可以实现如上文所述的测量方法。
根据本申请的又一方面，本申请还提供了一种电子设备。该电子设备包括一个或多个处理器和存储装置，该存储装置用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如上文所述的测量方法。
本申请技术方案通过将第一颜色图像和第二深度信息图像配置于同一参考坐标系中，并基于参考坐标系，将第一颜色图像中符合预设条件的颜色图像的图像信息确定为第二深度信息图像中深度信息缺失图像的图像信息，以在参考坐标系中得到目标图像，并对目标图像进行图像处理，从而以得到目标物体的目标尺寸。
本申请提供的技术方案通过结合目标物体的颜色图像和基于结构光的深度信息图，将深度信息图中由于目标物体透明而造成缺失的部分，采用颜色图像中对应部分的图像信息进行色值补齐，而使得基于结构光的测量方法也可以准确的测量出透明或者透明度较高的目标物体的尺寸(如长和宽)等信息。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a示出一现有技术的测量装置的正视图；
图1b示出一现有技术的测量装置的侧视图
图2示出本申请示例实施例的测量方法的一流程示意图；
图3示出本申请示例实施例的测量装置的示意图；
图4示出本申请示例实施例的第一颜色图像的示意图；
图5示出本申请示例实施例的第二深度信息图像的示意图；
图6示出本申请示例实施例的测量方法的另一流程示意图；
图7示出本申请示例实施例的测量方法的又一流程示意图；
图8示出本申请示例实施例的目标图像的一示意图；
图9示出本申请示例实施例的目标图像的另一示意图；
图10示出本申请示例实施例的目标图像的又一示意图；
图11示出本申请示例实施例的测量装置的结构示意图。
附图标记说明：
测量装置1；底座11；支杆12；屏幕13；重力检测装置14；测距装置15；摄像装置16；控制主板17；
第一图像获取单元21；第二图像获取单元22；图像处理单元23。
具体实施方式
现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本申请将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。
所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有这些特定细节中的一个或更多，或者可以采用其它的方式、组元、材料、装置等。在这些情况下，将不详细示出或描述公知结构、方法、装置、实现、材料或者操作。
此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
下面结合本申请实施例中的附图，对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
现有技术中，随着互联网技术的迅速发展，基于电商平台的线上购物已成为一种常见的新零售模式。例如，用户可以通过电商平台进行线上商品购物，电商平台根据用户的订单信息，于线下仓储中进行相应商品的调度，通过商品配送或用户自提等多种方式完成商品的线下获取。
因此，仓储中相应的商品的管理和调度便在整个物流环节中起到重要作用。商品在第一次进入仓储中时便需要进行商品信息的录入，如商品的尺寸(长、宽和高等)及重量等信息，以便于后续的商品存储、搬运、出库等过程的调度。
又例如，在快件物流领域中，同样也需要对快件的尺寸(长、宽和高等)及重量等信息进行录入，以便于对各类型的快件进行分类整理，对快件进行全方面的管理等。
目前现有技术中一般通过结构光或RGB图像投影来测量目标物体的尺寸信息。图1a示出一现有技术的测量装置的正视图；图1b示出一现有技术的测量装置的侧视图。如图1a或1b所示，测量装置1包括底座11、支杆12、屏幕13、重力检测装置14、测距装置15、摄像装置16和控制主板17。
重力检测装置14用于获取目标物体的重力信息，测距装置15(如结构光测距)用于获取目标物体的尺寸信息(如长、宽和高等信息)。例如测距装置15将带有编码信息的激光信号投射至目标物体表面，并根据目标物体表面反射回来的激光信号的散斑信息确定出目标物体的位置和深度信息。
摄像装置16用于获取目标物体的图像信息，控制主板17基于重力信息、尺寸信息和图像信息确定出目标物体的尺寸及重量。
但发明人发现，RGB图像投影来测量目标物体的尺寸信息的方法容易受到环境光的影响，测量精度较低。而基于结构光的测量方法由于结构光物理特性的限制，在目标物体为透明或者透明度较高的物体时，光信号会在物体的透明部分发生透射而无法进行正常反射，导致尺寸信息测量失败或者误差较大。例如，当目标物体为水饮，测量装置只能检测到瓶盖处的反射信号，而无法获取到水饮的透明部分的反射信号，因此，测量装置只能测出水饮的瓶盖的尺寸信息，而无法得出水饮真实长和宽的尺寸。
发明人还发现，现有技术中另一种测量装置通过增加背光板和底部灯光以降低环境光的影响来去除商品阴影，以及对深度信息图中深度信息缺失的点位匹配相邻已知深度值的点位的深度值，来补足所确实的深度信息。但此类测量方法一则是增加了硬件成本，另外是对于深度信息缺失范围较大的目标物体，所补足的深度值的精准度较差。
基于此，本申请的一方面提供了一种目标物体的测量方法，该测量方法通过结合目标物体的颜色图像和基于结构光的深度信息图，将深度信息图中由于目标物体透明而造成缺失的部分，采用颜色图像中对应部分的图像信息进行色值补齐，而使得基于结构光的测量方法也可以准确的测量出透明或者透明度较高的目标物体的尺寸(如长和宽)等信息。
下面将结合说明书附图，对本申请技术方案进行详细描述。
图2示出本申请示例实施例的测量方法的一流程示意图。如图2所示，测量方法包括步骤S100～S400。根据示例实施例，该排线方法由测量装置所执行。
在步骤S100中，测量装置获取目标物体的第一颜色图像和基于结构光的第二深度信息图像。
根据示例实施例，目标物体指用户所想要进行物体属性测量(如物体的大小尺寸、体积或重量等)的目标体。例如目标物体可以为仓储中的某一货物，如商品、快件等物体，但本申请不限制于此。
第一颜色图像可以为测量装置通过摄像装置所获取的目标物体的颜色图像，如RGB图像；第二深度信息图像可以为测量装置通过结构光所获取的目标物体的深度信息图像，深度信息图像包括目标物体每个位置点的深度信息，即深度值。
图3示出本申请示例实施例的测量装置的示意图，如图3所示，测量装置包括颜色图像摄像装置和深度信息图像摄像装置。
图4示出本申请示例实施例的第一颜色图像的示意图；图5示出本申请示例实施例的第二深度信息图像的示意图。
颜色图像摄像装置可以获取目标物体的第一颜色图像，例如颜色图像摄像装置为RGB摄像头，RGB摄像头拍摄目标物体的RGB图像(如图4所示，目标物体为水饮)；深度信息图像摄像装置可以获取目标物体的第二深度信息图像，例如深度信息图像摄像装置为IR摄像头，IR摄像头拍摄目标物体的IR图像(如图5所示，目标物体为水饮)。
这里可以理解为，第二深度信息图像为经过可视化处理的深度信息图像。测量装置根据Hash(哈希函数)将第二深度信息图像可视化为0-255的灰度值，以得到如图5所示的灰度图。
根据示例实施例，深度值越小的点位对应的灰度图的灰度越深，深度值越接近为0。如图5所示，目标物体(水饮)的边缘体的深度值均近似为0。
在步骤S200中，测量装置将第一颜色图像和第二深度信息图像配置于同一参考坐标系中。
如图3所示，由于颜色图像摄像装置和深度信息图像摄像装置的位置不同，并且摄像装置的内置参数也不同，使得第一颜色图像和第二深度信息图像的图像主视野也不同。
根据示例实施例，测量装置建立参考坐标系，将第一颜色图像和第二深度信息图像对标至该参考坐标系中，以使得第一颜色图像和第二深度信息图像具有相同的坐标位置信息。
目标物体的底部配置有托盘，测量装置的深度信息图像摄像装置与托盘之间的垂直高度为H，H即为该测量装置的量程，例如H可以为80cm，则该参考坐标系的矩阵可以为640*480。
在步骤S300中，测量装置基于参考坐标系，将第一颜色图像中符合预设条件的颜色图像的图像信息确定为第二深度信息图像中深度信息缺失图像的图像信息，以在参考坐标系中得到目标图像。
例如，第二深度信息图像中因目标物体透明而导致的深度信息缺失(深度值为0或接近0)的图像为深度信息缺失图像。预设条件为第一颜色图像中的颜色图像与深度信息缺失图像的坐标位置信息相同。
测量装置将第一颜色图像中的颜色图像的图像信息作为第二深度信息图像中深度信息缺失图像的图像信息，以对第二深度信息图像进行图像信息的补齐。在图像信息补齐之后，测量装置便可以得到深度信息完整的目标图像。
图6示出本申请示例实施例的测量方法的另一流程示意图。
可选地，在步骤S300中，如图6所示，测量装置将第一颜色图像中符合预设条件的颜色图像的图像信息确定为第二深度信息图像中深度信息缺失图像的图像信息还包括步骤S310～步骤S350。
在步骤S310中，测量装置遍历第二深度信息图像的深度信息。例如，测量装置读取第二深度信息图像中所有点位的深度信息(或称深度值)。
在步骤S320中，测量装置将深度信息小于预设阈值的深度信息图像确定为深度信息缺失图像。
例如，预设阈值为测量装置的量程H。这里可以理解的为，在测量装置的量程为H的情况下，目标物体的深度信息小于H。因此深度信息小于预设阈值的深度信息图像即为所要测量的目标物体的图像，即为目标物体的透明部分的深度信息缺失图像。
在步骤S330中，测量装置确定出深度信息缺失图像所对应的坐标。
在步骤S340中，测量装置基于坐标映射关系确定出第一颜色图像中与坐标相对应的颜色图像。
在步骤S350中，测量装置将颜色图像的颜色值确定为所述深度信息缺失图像的颜色值。
根据示例实施例，测量装置确定出深度信息缺失图像在参考坐标系的坐标，并根据坐标映射关系，获取在第一颜色图像中与该坐标所对应的颜色图像，并获取该颜色图像的颜色值。测量装置将第二深度信息图像中的深度信息缺失图像的颜色值对应修改为颜色图像的颜色值，以使得深度信息缺失图像的图像信息得以补充，
例如，颜色图像的颜色值可以为RGB图像的三通道色值。
在步骤S400中，测量装置对目标图像进行图像处理，以得到所述目标物体的目标尺寸。
例如，在得到目标图像之后，测量装置对深度信息完整的目标图像进行图像处理，即可得到所需的目标物体的尺寸。
图7示出本申请示例实施例的测量方法的又一流程示意图。
可选地，在步骤S400中，如图7所示，测量装置对目标图像进行图像处理还包括步骤S410～步骤S460。
在步骤S410中，测量装置遍历第二深度信息图像的深度信息。
例如，测量装置读取第二深度信息图像中所有点位的深度信息(或称深度值)。
在步骤S420中，测量装置确定出大于预设阈值的深度信息所对应的深度信息图像。
例如，预设阈值为测量装置的量程H。这里可以理解的为，在测量装置的量程为H的情况下，非目标物体的深度信息大于H。因此深度信息大于预设阈值的深度信息图像即为非目标物体的点位。
在步骤S430中，测量装置对深度信息图像进行背景化处理，以得到背景图像。
图8示出本申请示例实施例的目标图像的一示意图，图9示出本申请示例实施例的目标图像的另一示意图；图10示出本申请示例实施例的目标图像的又一示意图。
根据示例实施例，测量装置对深度信息大于预设阈值的深度信息图像进行颜色填充处理，例如将该深度信息图像填充为黑色，以得到背景图像(如图8中所示的黑色背景部分)。
在步骤S440中，测量装置基于背景图像于目标图像中分割出目标物体图像。
例如，如图8所示，经过背景化处理的目标图像包括背景图像部分以及带有目标物体纹理色彩的目标物体图像部分。
测量装置对经过背景化处理的目标图像经过图像分割，以得到目标物体图像的图像，如图9所示。
在步骤S450中，测量装置对目标物体图像进行图像处理，得到目标物体在所述参考坐标系中的参考尺寸。
在步骤S460中，测量装置基于参考尺寸确定出目标物体的目标尺寸。
例如，如图10所示，测量装置对目标物体图像进行最小外接矩形(如图10中所示的白色选中框)处理，得到目标物体在参考坐标系中的参考尺寸，并基于一定的换算关系，确定出目标物体的真实尺寸。如图10所示，目标物体的尺寸至少可以包括目标物体的长和宽等尺寸信息。
通过上述示例实施例，本申请提供的技术方案通过结合目标物体的颜色图像和基于结构光的深度信息图，将深度信息图中由于目标物体透明而造成缺失的部分，采用颜色图像中对应部分的图像信息进行色值补齐，而使得基于结构光的测量方法也可以准确的测量出透明或者透明度较高的目标物体的尺寸(如长和宽)等信息。
可选地，在步骤S400中，测量装置对目标图像进行图像处理还可以包括对目标图像进行降噪处理。降噪处理至少包括腐蚀处理和膨胀处理。
例如，如图8所示，在经过背景化处理后的目标图像中的背景图像包括深度信息小于预设阈值的干扰因素。由于测量装置中的托盘的切面的影响，背景图像中也会存在深度信息为0的点位的干扰因素。测量装置通过对经过背景化处理后的目标图像进行腐蚀和膨胀处理，可以去除背景图像中的干扰，使得目标图像中可以完全分割出进包括目标物体的目标物体图像，从而保证测量的准确性。
本申请的一方面提供了一种目标物体的测量装置，该测量装置通过结合目标物体的颜色图像和基于结构光的深度信息图，将深度信息图中由于目标物体透明而造成缺失的部分，采用颜色图像中对应部分的图像信息进行色值补齐，而使得基于结构光的测量方法也可以准确的测量出透明或者透明度较高的目标物体的尺寸(如长和宽)等信息。
图11示出本申请示例实施例的测量装置的结构示意图，如图11所示，测量装置包括第一图像获取单元21、第二图像获取单元22和图像处理单元23。
根据示例实施例，第一图像获取单元21获取目标物体的第一颜色图像，第二图像获取单元22获取目标物体基于结构光的第二深度信息图像。
根据示例实施例，目标物体指用户所想要进行物体属性测量(如物体的大小尺寸、体积或重量等)的目标体。例如目标物体可以为仓储中的某一货物，如商品、快件等物体，但本申请不限制于此。
第一颜色图像可以为第一图像获取单元21所获取的目标物体的颜色图像，如RGB图像；第二深度信息图像可以为第二图像获取单元22通过结构光所获取的目标物体的深度信息图像，深度信息图像包括目标物体每个位置点的深度信息，即深度值。
这里可以理解为，第二深度信息图像为经过可视化处理的深度信息图像。测量装置根据Hash(哈希函数)将第二深度信息图像可视化为0-255的灰度值。根据示例实施例，深度值越小的点位对应的灰度图的灰度越深，深度值越接近为0。
根据示例实施例，图像处理单元23将第一颜色图像和第二深度信息图像配置于同一参考坐标系中。
由于第一图像获取单元21和第一图像获取单元21的位置不同，并且摄像装置的内置参数也不同，使得第一颜色图像和第二深度信息图像的图像主视野也不同。
根据示例实施例，图像处理单元23建立参考坐标系，将第一颜色图像和第二深度信息图像对标至该参考坐标系中，以使得第一颜色图像和第二深度信息图像具有相同的坐标位置信息。
目标物体的底部配置有托盘，测量装置的第二图像获取单元22与托盘之间的垂直高度为H，H即为该测量装置的量程，例如H可以为80cm，则该参考坐标系的矩阵可以为640*480。
根据示例实施例，图像处理单元23将第一颜色图像中符合预设条件的颜色图像的图像信息确定为第二深度信息图像中深度信息缺失图像的图像信息，以在参考坐标系中得到目标图像。
将第一颜色图像中符合预设条件的颜色图像的图像信息确定为第二深度信息图像中深度信息缺失图像的图像信息，以在参考坐标系中得到目标图像；
图像处理单元23将第一颜色图像中的颜色图像的图像信息作为第二深度信息图像中深度信息缺失图像的图像信息，以对第二深度信息图像进行图像信息的补齐。在图像信息补齐之后，测量装置便可以得到深度信息完整的目标图像。
可选地，图像处理单元23遍历第二深度信息图像的深度信息，将深度信息小于预设阈值的深度信息图像确定为深度信息缺失图像，以及确定出深度信息缺失图像所对应的坐标。
例如，图像处理单元23读取第二深度信息图像中所有点位的深度信息(或称深度值)。
预设阈值为测量装置的量程H。这里可以理解的为，在测量装置的量程为H的情况下，目标物体的深度信息小于H。因此深度信息小于预设阈值的深度信息图像即为所要测量的目标物体的图像，即为目标物体的透明部分的深度信息缺失图像。
图像处理单元23基于坐标映射关系确定出第一颜色图像中与坐标相对应的颜色图像，并将颜色图像的颜色值确定为深度信息缺失图像的颜色值。
根据示例实施例，图像处理单元23确定出深度信息缺失图像在参考坐标系的坐标，并根据坐标映射关系，获取在第一颜色图像中与该坐标所对应的颜色图像，并获取该颜色图像的颜色值。图像处理单元23将第二深度信息图像中的深度信息缺失图像的颜色值对应修改为颜色图像的颜色值，以使得深度信息缺失图像的图像信息得以补充，
例如，颜色图像的颜色值可以为RGB图像的三通道色值。
根据示例实施例，图像处理单元23对目标图像进行图像处理，以得到目标物体的目标尺寸。
例如，在得到目标图像之后，图像处理单元23对深度信息完整的目标图像进行图像处理，即可得到所需的目标物体的尺寸。
可选地，图像处理单元23还遍历第二深度信息图像的深度信息，确定出大于预设阈值的深度信息所对应的深度信息图像，以及对深度信息图像进行背景化处理，以得到背景图像。
例如，图像处理单元23读取第二深度信息图像中所有点位的深度信息(或称深度值)。
预设阈值为测量装置的量程H。这里可以理解的为，在测量装置的量程为H的情况下，非目标物体的深度信息大于H。因此深度信息大于预设阈值的深度信息图像即为非目标物体的点位。
图像处理单元23对深度信息大于预设阈值的深度信息图像进行颜色填充处理，例如将该深度信息图像填充为黑色，以得到背景图像。
图像处理单元23基于背景图像于目标图像中分割出目标物体图像，对目标物体图像进行图像处理，得到目标物体在参考坐标系中的参考尺寸，并基于参考尺寸确定出目标物体的目标尺寸。
例如，经过背景化处理的目标图像包括背景图像部分以及带有目标物体纹理色彩的目标物体图像部分。图像处理单元23对经过背景化处理的目标图像经过图像分割，以得到目标物体图像的图像。
图像处理单元23对目标物体图像进行最小外接矩形处理，得到目标物体在参考坐标系中的参考尺寸，并基于一定的换算关系，确定出目标物体的真实尺寸。例如，目标物体的尺寸至少可以包括目标物体的长和宽等尺寸信息。
通过上述示例实施例，本申请提供的技术方案通过结合目标物体的颜色图像和基于结构光的深度信息图，将深度信息图中由于目标物体透明而造成缺失的部分，采用颜色图像中对应部分的图像信息进行色值补齐，而使得基于结构光的测量方法也可以准确的测量出透明或者透明度较高的目标物体的尺寸(如长和宽)等信息。
可选地，图像处理单元23还对目标图像进行降噪处理，其中，降噪处理至少包括腐蚀处理和膨胀处理。
例如，在经过背景化处理后的目标图像中的背景图像包括深度信息小于预设阈值的干扰因素。由于测量装置中的托盘的切面的影响，背景图像中也会存在深度信息为0的点位的干扰因素。图像处理单元23通过对经过背景化处理后的目标图像进行腐蚀和膨胀处理，可以去除背景图像中的干扰，使得目标图像中可以完全分割出进包括目标物体的目标物体图像，从而保证测量的准确性。
根据本申请的又一方面，本申请还提供了一种非易失性计算机可读存储介质。该存储介质上存储有计算机程序，该计算机程序可以实现如上文所述的测量方法。
根据本申请的又一方面，本申请还提供了一种电子设备。该电子设备包括一个或多个处理器和存储装置，该存储装置用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如上文所述的测量方法。
最后应说明的是，以上所述仅为本申请的优选实施例而已，并不用于限制本申请，尽管参照前述实施例对本申请进行详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种目标物体的测量方法，其特征在于，包括：
获取目标物体的第一颜色图像和基于结构光的第二深度信息图像；
将所述第一颜色图像和所述第二深度信息图像配置于同一参考坐标系中；
基于所述参考坐标系，将所述第一颜色图像中符合预设条件的颜色图像的图像信息确定为所述第二深度信息图像中深度信息缺失图像的图像信息，以在所述参考坐标系中得到目标图像；
对所述目标图像进行图像处理，以得到所述目标物体的目标尺寸。
2.根据权利要求1所述的测量方法，其特征在于，所述将所述第一颜色图像中符合预设条件的颜色图像的图像信息确定为所述第二深度信息图像中深度信息缺失图像的图像信息包括：
遍历所述第二深度信息图像的深度信息；
将所述深度信息小于预设阈值的深度信息图像确定为深度信息缺失图像；
确定出所述深度信息缺失图像所对应的坐标；
基于坐标映射关系确定出所述第一颜色图像中与所述坐标相对应的颜色图像；
将所述颜色图像的颜色值确定为所述深度信息缺失图像的颜色值。
3.根据权利要求1所述的测量方法，其特征在于，所述对所述目标图像进行图像处理包括：
遍历所述第二深度信息图像的深度信息；
确定出大于预设阈值的深度信息所对应的深度信息图像；
对所述深度信息图像进行背景化处理，以得到背景图像；
基于所述背景图像于所述目标图像中分割出目标物体图像；
对所述目标物体图像进行图像处理，得到所述目标物体在所述参考坐标系中的参考尺寸；
基于所述参考尺寸确定出所述目标物体的目标尺寸。
4.根据权利要求1所述的测量方法，其特征在于，所述对所述目标图像进行图像处理包括：
对所述目标图像进行降噪处理；
其中，所述降噪处理至少包括腐蚀处理和膨胀处理。
5.一种目标物体的测量装置，其特征在于，包括：
第一图像获取单元，获取目标物体的第一颜色图像；
第二图像获取单元，获取所述目标物体基于结构光的第二深度信息图像；
图像处理单元，将所述第一颜色图像和所述第二深度信息图像配置于同一参考坐标系中，以及基于所述参考坐标系，将所述第一颜色图像中符合预设条件的颜色图像的图像信息确定为所述第二深度信息图像中深度信息缺失图像的图像信息，以在所述参考坐标系中得到目标图像；
所述图像处理单元对所述目标图像进行图像处理，以得到所述目标物体的目标尺寸。
6.根据权利要求5所述的测量装置，其特征在于，所述图像处理单元遍历所述第二深度信息图像的深度信息，将所述深度信息小于预设阈值的深度信息图像确定为深度信息缺失图像，以及确定出所述深度信息缺失图像所对应的坐标；
所述图像处理单元基于坐标映射关系确定出所述第一颜色图像中与所述坐标相对应的颜色图像，并将所述颜色图像的颜色值确定为所述深度信息缺失图像的颜色值。
7.根据权利要求5所述的测量装置，其特征在于，所述图像处理单元还遍历所述第二深度信息图像的深度信息，确定出大于预设阈值的深度信息所对应的深度信息图像，以及对所述深度信息图像进行背景化处理，以得到背景图像；
所述图像处理单元基于所述背景图像于所述目标图像中分割出目标物体图像，对所述目标物体图像进行图像处理，得到所述目标物体在所述参考坐标系中的参考尺寸，并基于所述参考尺寸确定出所述目标物体的目标尺寸。
8.根据权利要求5所述的测量装置，其特征在于，所述图像处理单元还对所述目标图像进行降噪处理；
其中，所述降噪处理至少包括腐蚀处理和膨胀处理。
9.一种非易失性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序实现如权利要求1～4中任一所述的测量方法。
10.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1～4中任一所述的测量方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310109740.8A CN116295028A (zh) | 2023-01-20 | 2023-01-20 | 目标物体的测量方法及其装置、存储介质和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310109740.8A CN116295028A (zh) | 2023-01-20 | 2023-01-20 | 目标物体的测量方法及其装置、存储介质和电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116295028A true CN116295028A (zh) | 2023-06-23 |
Family
ID=86798798
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310109740.8A Pending CN116295028A (zh) | 2023-01-20 | 2023-01-20 | 目标物体的测量方法及其装置、存储介质和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116295028A (zh) |
-
2023
- 2023-01-20 CN CN202310109740.8A patent/CN116295028A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105787923B (zh) | 用于平面表面分割的视觉系统和分析方法 | |
| CN110472515B (zh) | 货架商品检测方法及系统 | |
| US20170228885A1 (en) | Device and method for determining the volume of an object moved by an industrial truck | |
| US20190084009A1 (en) | Projection instruction device, parcel sorting system, and projection instruction method | |
| JP6520913B2 (ja) | 物体検出装置、ｐｏｓ端末装置、物体検出方法及びコンピュータプログラム | |
| CN110980197A (zh) | 物料检测方法、装置及电子设备 | |
| JP7302599B2 (ja) | 欠陥判別方法、欠陥判別装置、欠陥判別プログラム及び記録媒体 | |
| EP3434622A1 (en) | Instruction projecting device, package sorting system and instruction projecting method | |
| JP4389602B2 (ja) | 物体検出装置、物体検出方法、プログラム | |
| US20190084008A1 (en) | Instruction projecting device, package sorting system and instruction projecting method | |
| CN114898249B (zh) | 用于购物车内商品数量确认的方法、系统及存储介质 | |
| KR20130072073A (ko) | 영상 윤곽선 추출 장치 및 방법 | |
| US10471474B2 (en) | Projection indicator, cargo assortment system, and projection indicating method | |
| US11250578B2 (en) | Projection indication device, parcel sorting system, and projection indication method | |
| EP3846127A1 (en) | Dark parcel dimensioning | |
| JPWO2018179360A1 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| KR102283197B1 (ko) | 상품의 유형을 결정하는 방법 및 디바이스 | |
| US20200222948A1 (en) | Parcel determination device, parcel sorting system, and parcel determination method | |
| CN116295028A (zh) | 目标物体的测量方法及其装置、存储介质和电子设备 | |
| JP5822315B2 (ja) | 作業支援システム、作業支援装置、作業支援方法、及びプログラム | |
| JPWO2019003687A1 (ja) | 投影指示装置、荷物仕分けシステムおよび投影指示方法 | |
| CN114529555A (zh) | 一种基于图像识别的烟箱高效进出库检测方法 | |
| CN115170551A (zh) | 一种基于视觉技术标定的产品检测和溯源方法及系统 | |
| US6597805B1 (en) | Visual inspection method for electronic device, visual inspecting apparatus for electronic device, and record medium for recording program which causes computer to perform visual inspecting method for electronic device | |
| JPWO2019003686A1 (ja) | 荷物認識装置、荷物仕分けシステムおよび荷物認識方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |