CN112257536B

CN112257536B - 一种空间与物体三维信息采集匹配设备及方法

Info

Publication number: CN112257536B
Application number: CN202011105303.1A
Authority: CN
Inventors: 左忠斌; 左达宇
Original assignee: Tianmu Aishi Beijing Technology Co Ltd
Current assignee: Tianmu Aishi Beijing Technology Co Ltd
Priority date: 2020-10-15
Filing date: 2020-10-15
Publication date: 2022-05-20
Anticipated expiration: 2040-10-15
Also published as: CN112257536A; WO2022078439A1

Abstract

本发明实施例提供了一种空间与物体三维信息采集匹配设备及方法，包括空间3D信息采集装置、物体3D信息采集装置和第一处理器；空间3D信息采集装置用于对空间进行扫描，获得多张能够合成空间内部三维模型信息的图像；物体3D信息采集装置用于对空间进行扫描，获得多张能够合成物体三维模型的图像；第一处理器，用于将一个或多个物体三维模型与空间内部三维模型进行匹配，以使得物体三维模型与空间内部三维模型符合预设的匹配原则。首次提出为了充分发挥空间利用效率，通过采集构建空间内部三维模型，从而根据空间三维模型和物体的三维模型在电脑上实现物体的最优化匹配。从而指导实际货物摆放，提高实际仓库等空间利用率。

Description

一种空间与物体三维信息采集匹配设备及方法

技术领域

本发明涉及形貌测量技术领域，特别涉及3D形貌测量技术领域。

背景技术

目前在很多场景都需要进行物体与空间的匹配，例如在向库房、集装箱等密闭空间装货物时，由于不知道该密闭空间内部的构成，因此无法以最优的方式摆放货物，从而使得空间发生浪费。特别是对于货物形状尺寸并不标准时，货物如何摆放会极大地影响密闭空间的收容效率。另外，对于已经摆放一部分货物的密闭空间而言，需要二次增加货物时，密闭空间内的空间占用情况更无精准数据，因此只能凭经验，按从大到小的方式进行摆放，显然这无法最优化使用存储空间。同时，在进行房屋装修、家具摆放时，也需要对家具在室内专用空间进行规划。因此，目前急需能够方便、快捷了解库房、集装箱、飞机、船体等运载货物的空间内部3D模型的方法，从而最优化货物摆放位置，从而优化空间利用。

同时，目前大多数方法都是针对上述空间利用率进行优化。但实际上在某些场景下并不适用，例如某些货物和货物之间并不能并排摆放；怕挤压的货物不能摆放下层；某些货物需要优先取出，因此不能摆放过于靠里的位置等。因此，如果简单人工凭经验摆放，难以照顾到如此多的需求。

在进行3D信息采集时，目前常用的方法包括使用机器视觉的方式和结构光、激光测距、激光雷达的方式。结构光、激光测距、激光雷达的方式均需要主动光源发射到目标物上，在某些情况下会对目标物造成影响，且光源成本较高。并且光源结构比较精密，易于损坏。而机器视觉的方式是采集物体不同角度的图片，并将这些图片匹配拼接形成3D模型，成本低、易使用。其在采集不同角度图片时，可以待测物不同角度设置多个相机，也可以通过单个或多个相机旋转从不同角度采集图片。但无论这两种方式哪一种，都需要将相机的采集位置围绕目标物设置(简称环绕式)，但这种方式需要较大空间为图像采集装置设置采集位置。

而且，除了单一目标物3D构建外，通常还有目标物内部空间3D模型构建需求和周边较大视场范围内的3D模型构建的需求，这是传统环绕式3D采集设备所很难做到的。

在现有技术中，也曾提出使用包括旋转角度、目标物尺寸、物距的经验公式限定相机位置，从而兼顾合成速度和效果。然而在实际应用中发现这在环绕式3D采集中是可行的，可以事先测量目标物尺寸。但在开放式的空间中则难以事先测量目标物，例如需要采集获得街道、交通路口、楼群、隧道、车流等的3D信息(不限于此)。这使得这种方法难以奏效。即使是固定的较小的目标物，例如家具、人身体部分等虽然可以事先测量其尺寸，但这种方法依然受到较大限制：目标物尺寸难以准确确定，特别是某些应用场合目标物需要频繁更换，每次测量带来大量额外工作量，并且需要专业设备才能准确测量不规则目标物。测量的误差导致相机位置设定误差，从而会影响采集合成速度和效果；准确度和速度还需要进一步提高。

现有技术虽然也有对于环绕式采集设备优化的方法，但当3D采集合成设备的相机的采集方向与其旋转轴方向相互背离的情况时，现有技术就没有更佳的优化方法。

因此，急需一种能够精确、高效、方便采集空间3D信息，并将其与物体3D信息进行匹配优化，从而指导物体与空间的匹配动作的技术。

发明内容

鉴于上述问题，提出了本发明提供一种克服上述问题或者至少部分地解决上述问题的一种实现物体与空间匹配的设备及方法。

本发明实施例提供了一种实现物体与空间匹配的装置及方法，包括空间3D信息采集装置、物体3D信息采集装置和第一处理器；

空间3D信息采集装置用于对空间进行扫描，获得多张能够合成空间内部三维模型信息的图像；

物体3D信息采集装置用于对空间进行扫描，获得多张能够合成物体三维模型的图像；

第一处理器，用于将一个或多个物体三维模型与空间内部三维模型进行匹配，以使得物体三维模型与空间内部三维模型符合预设的匹配原则。

在可选的实施例中，第一处理器还用于合成空间内部三维模型，以及合成物体三维模型。

在可选的实施例中，还包括第二处理器，空间3D信息采集装置包括或与该第二处理器连接，用于合成空间内部三维模型；

在可选的实施例中，还包括第三处理器，物体3D信息采集装置包括或与该第三处理器连接，用于合成物体三维模型。

在可选的实施例中，空间3D信息采集装置包括图像采集装置、旋转装置；

其中图像采集装置与旋转装置连接，由旋转装置带动其旋转；

图像采集装置在相邻的两个采集位置的光轴的夹角α满足如下条件：

其中，R为旋转中心到目标物表面的距离，T为采集时物距与像距的和，d为图像采集装置的感光元件的长度或宽度，F为图像采集装置的镜头焦距，u为经验系数。

在可选的实施例中，u<0.498，为了更佳的合成效果，优选u<0.411，特别是优选u<0.359，在一些应用场合下u<0.281，或u<0.169，或u<0.041，或u<0.028。

在可选的实施例中，图像采集装置的光学采集口均背向旋转轴方向。

在可选的实施例中，所述匹配包括算法自动匹配、人工操作和/或它们的组合。

在可选的实施例中，匹配完成后，处理器将匹配结果输出至显示装置、打印装置、和/或动作执行装置。

发明点及技术效果

1、首次提出为了充分发挥空间利用效率，通过采集构建空间内部三维模型，从而根据空间三维模型和物体的三维模型在电脑上实现物体的最优化匹配。从而指导实际货物摆放，提高实际仓库等空间利用率。

2、首次提出通过测量旋转中心与目标物距离、图像传感元件与目标物距离的方式优化相机采集位置，从而兼顾3D构建的速度和效果。

3、通过设置不同匹配原则，使得两者匹配具有更多可能性，保证对于不同的需求能够更好地满足。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明实施例提供的3D信息采集装置的一种实现方式的结构示意图。

图2示出了本发明实施例提供的3D信息采集装置的另一种实现方式的结构示意图。

图3示出了本发明实施例提供的3D信息采集装置的第三种实现方式的结构示意图。

图4示出了本发明实施例提供的3D信息采集装置的第四种实现方式的结构示意图。

图5示出了本发明实施例提供的3D信息采集装置的采集空间3D信息的示意图。

图6示出了本发明实施例提供的3D信息采集装置的采集物体3D信息的示意图。

附图中的附图标记与各部件的对应关系如下：

1 图像采集装置；

2 旋转装置；

3 承载装置；

4 伸缩装置；

5 俯仰装置；

6 3D信息采集装置。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

3D信息采集装置结构

为解决上述技术问题，本发明提出一种实现物体与空间匹配的装置，包括3D信息采集装置，其中，3D信息采集装置可用于采集空间3D信息，也可用于采集物体3D信息。当其用于采集空间3D信息时，可称为空间3D信息采集装置；当其用于采集物体3D信息时，可称为物体3D信息采集装置。

如图1所示，3D信息采集装置包括图像采集装置1、旋转装置2、承载装置3。

其中图像采集装置1与旋转装置2的旋转轴连接，由旋转装置2带动其转动。图像采集装置1的采集方向为背离旋转中心方向。即采集方向为指向相对于旋转中心向外。图像采集装置1的光轴可以与旋转平面平行，也可以与旋转平面成一定夹角，例如在以旋转平面为基准-90°-90°的范围内均是可以的。通常旋转轴或其延长线(即旋转中心线)通过图像采集装置，即图像采集装置仍然以自转方式转动。这与传统的图像采集装置围绕某一目标物进行旋转的采集方式(环绕式)本质不同，即与环绕目标物转动的环绕式完全不同。图像采集装置的光学采集口(例如镜头)均背向旋转轴方向，也就是说图像采集装置的采集区与旋转中心线无交集。可选的，图像采集装置的光轴与水平面具有夹角，因此这种方式与一般的自转式也有较大差别，特别是能够采集表面与水平面不垂直的目标物。

当然，旋转装置的旋转轴也可以通过减速装置与图像采集装置连接，例如通过齿轮组等。当图像采集装置在水平面进行360°的旋转时，其在特定位置拍摄对应目标物的图像(具体拍摄位置后续将详细描述)。这种拍摄可以是与旋转动作同步进行，或是在拍摄位置停止旋转后进行拍摄，拍摄完毕后继续旋转，以此类推。上述旋转装置可以为电机、马达、步进电机、伺服电机、微型马达等。旋转装置(例如各类电机)可以在控制器的控制下按照规定速度转动，并且可以转动规定角度，从而实现采集位置的优化，具体采集位置下面将详细说明。当然也可以使用现有设备中的旋转装置，将图像采集装置安装其上即可。

承载装置3用来承载整个设备的重量，旋转装置2与承载装置3连接。承载装置可以为三脚架、带有支撑装置的底座等。通常情况下，旋转装置位于承载装置的中心部分，以保证平衡。但在一些特殊场合中，也可以位于承载装置任意位置。而且承载装置并不是必须的。旋转装置可以直接安装于应用设备中，例如可以安装于车辆顶部。

另一种实施例中，如图2所示，包括图像采集装置1、旋转装置2、承载装置3、伸缩装置4。

其中图像采集装置1与旋转装置2的旋转轴连接，由旋转装置2带动其转动。当然，旋转装置2的旋转轴也可以通过减速装置与图像采集装置1连接，例如通过齿轮组等。当图像采集装置在水平面进行360°的旋转时，其在特定位置拍摄对应目标物的图像(具体拍摄位置后续将详细描述)。这种拍摄可以是与旋转动作同步进行，或是在拍摄位置停止旋转后进行拍摄，拍摄完毕后继续旋转，以此类推。上述旋转装置可以为电机、马达、步进电机、伺服电机、微型马达等。旋转装置(例如各类电机)可以在控制器的控制下按照规定速度转动，并且可以转动规定角度，从而实现采集位置的优化，具体采集位置下面将详细说明。当然也可以使用现有设备中的旋转装置，将图像采集装置安装其上即可。

伸缩装置4一端与旋转装置2连接，另一端与承载装置3连接，用于在沿图像采集装置光轴垂直的方向伸缩，从而可以将图像采集装置定位在不同的位置。在每个位置，再经过旋转装置驱动下进行旋转扫描，从而可以构建出该位置处目标物的3D模型。在扫描完某一位置后，伸缩装置再次运动，从而使得图像采集装置移动至另一位置，重复进行上述扫描，以此类推，即可实现细长目标物内部3D模型的构建。也可以用于在周边目标物较高时，分不同高度层次进行扫描，从而构建整个目标物的3D模型。

伸缩装置可以为伸缩套管、伸缩滑轨等多种伸缩结构。其伸缩可以手动调节，也可以在控制单元的控制下进行伸缩。伸缩装置还可以包括伸缩电机，用于驱动伸缩单元(例如伸缩套管)延长或缩短。在伸缩到位后，可以通过锁定单元将伸缩装置长度锁定，从而为旋转装置提供稳定的支撑。锁定单元可以是机械锁定单元，例如锁定销等，也可以是电动锁定单元，例如在控制单元控制下，锁定伸缩装置。

承载装置3用来承载整个设备的重量。承载装置可以为三脚架、带有支撑装置的底座等。通常情况下，旋转装置位于承载装置的中心部分，以保证平衡。但在一些特殊场合中，也可以位于承载装置任意位置。而且承载装置并不是必须的。旋转装置可以直接安装于应用设备中，例如可以安装于行走机器人顶部。

通过伸缩装置设计，可以使得图像采集装置能够在不同高度采集信息，这样对于室内挑高较高的建筑而言，能够全面准确的采集。

在另一种实施方式中，如图3所示，3D信息采集装置包括图像采集装置1、旋转装置2、承载装置3、俯仰装置5。其中图像采集装置1设置在俯仰装置5上，使得图像采集装置1可以沿垂直面俯仰转动。俯仰装置可以为滚轮、齿轮、轴承、球节等。图像采集装置的光轴通常与俯仰方向平行，但某些特殊情况下也可以呈一定的夹角。俯仰装置可以为手动调节的，也可以在电动机驱动下俯仰转动，从而根据程序控制实现精确的俯仰角调节。俯仰装置还包括锁死机构，用于在俯仰角调节到位，图像采集装置光轴与水平面呈预定角度后，将俯仰装置锁死，从而防止其在垂直方向上再次转动。

俯仰装置5与旋转装置2的旋转轴连接，由旋转装置2带动其转动。当然，旋转装置的旋转轴也可以通过减速装置与俯仰装置连接，例如通过齿轮组等。

由于俯仰装置的调节，通常情况下图像采集装置的光轴与水平面呈一定的夹角。这样可以扫描表面与水平面不垂直的目标物。即根据目标物表面与水平面大致夹角情况，来调节俯仰装置，使得图像采集装置的光轴尽可能多地垂直目标物表面，提高对于目标物细节的采集精准度。当然，特殊情况下其也可以与水平面平行。

通过俯仰角的设计，在图像采集装置的视场不能覆盖室内所有空间，特别是上部空间时，可以适当将图像采集装置向上仰角，从而使得采集范围更大。

在另一种实施方式中，如图4所示，可以同时包括伸缩装置4和俯仰装置5。即图像采集装置1安装于俯仰装置5上，俯仰装置5与旋转装置2连接，旋转装置2安装在伸缩装置4一端，伸缩装置4另一端安装于承载装置3上。这样，在遇到室内空间较大、较高时(例如教堂)，可以通过伸缩杆依次将图像采集装置定位在不同高度位置，再依次进行扫描采集，也可以通过调整俯仰角，使得图像采集装置采集更多的上层空间信息。当然根据情况两者可以同时使用。

对于以上所有实施方式，图像采集装置的采集方向为背离旋转中心方向。即采集方向为指向相对于旋转中心向外。图像采集装置的光轴可以与旋转平面平行，也可以与旋转平面成一定夹角，例如在以旋转平面为基准-90°-90°的范围内均是可以的。通常旋转轴或其延长线(即旋转中心线)通过图像采集装置，即图像采集装置仍然以自转方式转动。这与传统的图像采集装置围绕某一目标物进行旋转的采集方式(环绕式)本质不同，即与环绕目标物转动的环绕式完全不同。图像采集装置的光学采集口(例如镜头)均背向旋转轴方向，也就是说图像采集装置的采集区与旋转中心线无交集。同时由于图像采集装置的光轴与水平面具有夹角，因此这种方式与一般的自转式也有较大差别，特别是能够采集表面与水平面不垂直的目标物。

上述装置还包括测距装置，测距装置与图像采集装置固定连接，且测距装置指向方向与图像采集装置光轴方向相同。当然测距装置也可以固定连接于旋转装置上，只要可以随图像采集装置同步转动即可。优选的，可以设置安装平台，图像采集装置和测距装置均位于平台上，平台安装于旋转装置旋转轴上，由旋转装置驱动转动。测距装置可以使用激光测距仪、超声测距仪、电磁波测距仪等多种方式，也可以使用传统的机械量具测距装置。当然，在某些应用场合中，3D采集装置位于特定位置，其与目标物的距离已经标定，无需额外测量。

还可以包括光源，光源可以设置于图像采集装置周边、旋转装置上以及安装平台上。当然光源也可以单独设置，例如使用独立光源照射目标物。甚至在光照条件较好的时候不使用光源。光源可以为LED光源，也可以为智能光源，即根据目标物及环境光的情况自动调整光源参数。通常情况下，光源位于图像采集装置的镜头周边分散式分布，例如光源为在镜头周边的环形LED灯。由于在一些应用中需要控制光源强度。特别是可以在光源的光路上设置柔光装置，例如为柔光外壳。或者直接采用LED面光源，不仅光线比较柔和，而且发光更为均匀。更佳地，可以采用OLED光源，体积更小，光线更加柔和，并且具有柔性特性，可以贴附于弯曲的表面。

为了方便目标物的实际尺寸测量，可在目标物位置设置多个标记点。并且这些标记点的坐标已知。通过采集标记点，并结合其坐标，获得3D合成模型的绝对尺寸。这些标记点可以为事先设置的点，也可以是激光光点。确定这些点的坐标的方法可以包括：①使用激光测距：使用标定装置向着目标物发射激光，形成多个标定点光斑，通过标定装置中激光测距单元的已知位置关系获得标定点坐标。使用标定装置向着目标物发射激光，使得标定装置中的激光测距单元发射的光束落在目标物上形成光斑。由于激光测距单元发射的激光束相互平行，且各个单元之间的位置关系已知。那么在目标物上形成的多个光斑的在发射平面的二维坐标就可以得到。通过激光测距单元发射的激光束进行测量，可以获得每个激光测距单元与对应光斑之间的距离，即相当于在目标物上形成的多个光斑的深度信息可以获得。即垂直于发射平面的深度坐标就可以得到。由此，可以获得每个光斑的三维坐标。②使用测距与测角结合：分别测量多个标记点的距离以及相互之间的夹角，从而算出各自坐标。③使用其它坐标测量工具：例如RTK、全球坐标定位系统、星敏定位系统、位置和位姿传感器等。

3D信息采集流程

1、空间3D模型采集

如图5所示，将3D信息采集装置6放置在空间内部目标区域中心，通常空间内相关结构(目标物)环绕或部分环绕或至少部分面对采集装置。所述空间可以为集装箱、货轮货仓、仓库、飞机货仓、火车车厢等。

旋转装置按一定速度带动图像采集装置进行旋转，在旋转过程中图像采集装置在设定好的位置进行图像采集。此时可以不停止旋转，即图像采集与旋转同步进行；也可以在待采集的位置停止旋转，进行图像采集，采集完毕后继续旋转至下一个待采集位置。旋转装置可以利用事先设定好的控制单元中的程序进行驱动。也可以通过通讯接口与上位机进行通讯，通过上位机进行控制旋转。特别是其还可以与移动终端通过有线或无线进行连接，通过移动终端(例如手机)控制旋转装置转动。即可以通过远程平台、云平台、服务器、上位机、移动终端设置旋转装置转动参数，控制其旋转的启停。

图像采集装置采集到空间内相关结构(目标物)多张图像，并将图像通过通讯装置送入远程平台、云平台、服务器、上位机和/或移动终端中，利用3D模型合成方法进行目标空间内部的3D合成。

对于需要在多个高度进行采集的空间，可以采用如下流程。

控制伸缩装置长度使得图像采集装置位于预定位置，旋转装置按一定速度带动图像采集装置进行旋转，在旋转过程中图像采集装置在设定好的位置进行图像采集。此时可以不停止旋转，即图像采集与旋转同步进行；也可以在待采集的位置停止旋转，进行图像采集，采集完毕后继续旋转至下一个待采集位置。旋转装置可以利用事先设定好的控制单元中的程序进行驱动。也可以通过通讯接口与上位机进行通讯，通过上位机进行控制旋转。特别是其还可以与移动终端通过有线或无线进行连接，通过移动终端(例如手机)控制旋转装置转动。即可以通过远程平台、云平台、服务器、上位机、移动终端设置旋转装置转动参数，控制其旋转的启停。

控制伸缩装置长度使得图像采集装置位于另一预定位置，重复上述旋转装置动作，从而使得图像采集装置可以采集环绕该位置的目标物图像，依次类推，在多个高度位置进行采集，获得图像，从而构建对应的3D模型。

图像采集装置采集到空间内相关结构(目标物)多张图像，并将图像通过通讯装置送入远程平台、云平台、服务器、上位机和/或移动终端中，利用3D模型合成方法进行空间内相关结构(目标物)的3D合成。

当然，也可以控制俯仰装置，使得图像采集装置俯仰至一定角度后，再进行旋转采集。

特别的，可以在采集前或者采集的同时，使用测距装置测量相关公式条件中相应的距离参数，即旋转中心到目标物的距离、传感元件到目标物的距离。根据相应条件公式计算出采集位置，并提示给用户进行旋转参数的设定，或自动设定旋转参数。

在采集前进行测距时，可以使得旋转装置带动测距装置转动，从而测量不同位置上上述两个距离。并对多个测量点测得的两个距离分别取平均值，作为本次采集的统一距离值带入公式中。所述平均值的获得可以使用求和平均的方式，也可以使用加权平均的方式，还可以使用其它求均值的方式，或舍弃异常值再平均的方式等。

在采集过程中进行测距时，在旋转装置转动到第一位置进行图像采集的同时，进行上述两个距离值的测量，并将它们带入条件公式中计算间隔角度，根据该角度确定下一采集位置。

2、被摆放品3D采集

如图6所示，当上述3D信息采集装置6的承载装置为手持装置时，该设备可以方便地被用户操作，从而可以在用户手持模式下，对待收纳的物品进行3D信息采集。

旋转装置2按一定速度带动图像采集装置1进行旋转，在旋转过程中图像采集装置在设定好的位置进行图像采集。此时可以不停止旋转，即图像采集与旋转同步进行；也可以在待采集的位置停止旋转，进行图像采集，采集完毕后继续旋转至下一个待采集位置。旋转装置可以利用事先设定好的控制单元中的程序进行驱动。也可以通过通讯接口与上位机进行通讯，通过上位机进行控制旋转。特别是其还可以与移动终端通过有线或无线进行连接，通过移动终端(例如手机)控制旋转装置转动。即可以通过远程平台、云平台、服务器、上位机、移动终端设置旋转装置转动参数，控制其旋转的启停。

图像采集装置采集到目标物(即物品，也可称物体)多张图像，并将图像通过通讯装置送入远程平台、云平台、服务器、上位机和/或移动终端中，利用3D模型合成方法进行物品的3D合成。

当然，除此之外也可以使用在前的其他技术进行扫描，获得物体的三维模型。例如可以使用本人之前提出的，扫描装置光学采集口朝着旋转轴的采集装置。也可以使用其他例如激光扫描方式，或结构光扫描方式。

相机位置优化方法

为了保证装置能够兼顾3D合成的效果和效率，除了常规的优化合成算法的方法外，还可以通过优化相机采集位置的方法。特别是当3D采集装置的相机的采集方向与其旋转轴方向相互背离的情况时，对于这种设备现有技术未提到如何进行相机位置的更佳的优化。即使存在的一些优化方法，其也是在不同实验下得到的不同的经验条件。特别是，现有的一些位置优化方法需要获得目标物的尺寸，这在环绕式3D采集中是可行的，可以事先测量完毕。但在开放式的空间中则难以事先测量得到。因此需要提出一种能够适用于当3D采集合成设备的相机的采集方向与其旋转轴方向相互背离的情况时进行相机位置优化的方法。这正是本发明所要解决的问题，和做出的技术贡献。

为此，本发明进行了大量实验，总结出在进行采集时相机采集的间隔优选满足的经验条件如下。

在进行3D采集时，图像采集装置在相邻的两个位置时其光轴的夹角α满足如下条件：

其中，

R为旋转中心到目标物表面的距离，

T为采集时物距与像距的和，也就是图像采集装置的感光单元与目标物的距离。

d为图像采集装置的感光元件(CCD)的长度或宽度，当上述两个位置是沿感光元件长度方向时，d取矩形长度；当上述两个位置是沿感光元件宽度方向时，d取矩形宽度。

F为图像采集装置的镜头焦距。

u为经验系数。

通常情况下，在采集装置上配置有测距装置，例如激光测距仪。将其光轴与图像采集装置的光轴调节平行，则其可以测量采集装置到目标物表面的距离，利用测量得到的距离，根据测距装置与采集装置各部件的已知位置关系，即可获得R和T。

图像采集装置在两个位置中的任何一个位置时，感光元件沿着光轴到目标物表面的距离作为T。除了这种方法外，也可以使用多次平均法或其他方法，其原则是T的值应当与采集时像距物距和不背离。

同样道理，图像采集装置在两个位置中的任何一个位置时，旋转中心沿着光轴到目标物表面的距离作为R。除了这种方法外，也可以使用多次平均法或其他方法，其原则是R的值应当与采集时旋转半径不背离。

通常情况下，现有技术中均采用物体尺寸作为推算相机位置的方式。由于物体尺寸会随着测量物体的变化而改变。例如，在进行一个大物体3D信息采集后，再进行小物体采集时，就需要重新测量尺寸，重新推算。上述不方便的测量以及多次重新测量都会带来测量的误差，从而导致相机位置推算错误。而本方案根据大量实验数据，给出了相机位置需要满足的经验条件，不需要直接测量物体大小尺寸。经验条件中d、F均为相机固定参数，在购买相机、镜头时，厂家即会给出相应参数，无需测量。而R、T仅为一个直线距离，用传统测量方法，例如直尺、激光测距仪均可以很便捷的测量得到。同时，由于本发明的设备中，图像采集装置(例如相机)的采集方向与其旋转轴方向相互背离，也就是说，镜头朝向与旋转中心大体相反。此时控制图像采集装置两次位置的光轴夹角α就更加容易，只需要控制旋转驱动电机的转角即可。因此，使用α来定义最优位置是更为合理的。因此，本发明的经验公式使得准备过程变得方便快捷，同时也提高了相机位置的排布准确度，使得相机能够设置在优化的位置中，从而在同时兼顾了3D合成精度和速度。

根据大量实验，为保证合成的速度和效果，u应当小于0.498，为了更佳的合成效果，优选u<0.411，特别是优选u<0.359，在一些应用场合下u<0.281，或u<0.169，或u<0.041，或u<0.028。

利用本发明装置，进行实验，部分实验数据如下所示，单位mm。(以下数据仅为有限举例)

以上数据仅为验证该公式条件所做实验得到的，并不对发明构成限定。即使没有这些数据，也不影响该公式的客观性。本领域技术人员可以根据需要调整设备参数和步骤细节进行实验，得到其他数据也是符合该公式条件的。

3D模型合成方法

图像采集装置采集获得的多个图像送入处理单元中，利用下述算法构建3D模型。所述处理单元可以位于采集设备中，也可以位于远程，例如云平台、服务器、上位机等。

具体算法主要包括如下步骤：

步骤1：对所有输入照片进行图像增强处理。采用下述滤波器增强原始照片的反差和同时压制噪声。

式中：g(x，y)为原始影像在(x，y)处灰度值，f(x，y)为经过Wallis滤波器增强后该处的灰度值，m_g为原始影像局部灰度均值，s_g为原始影像局部灰度标准偏差，m_f为变换后的影像局部灰度目标值，s_f为变换后影像局部灰度标准偏差目标值。c∈(0，1)为影像方差的扩展常数，b∈(0，1)为影像亮度系数常数。

该滤波器可以大大增强影像中不同尺度的影像纹理模式，所以在提取影像的点特征时可以提高特征点的数量和精度，在照片特征匹配中则提高了匹配结果可靠性和精度。

步骤2：对输入的所有照片进行特征点提取，并进行特征点匹配，获取稀疏特征点。采用SURF算子对照片进行特征点提取与匹配。SURF特征匹配方法主要包含三个过程，特征点检测、特征点描述和特征点匹配。该方法使用Hessian矩阵来检测特征点，用箱式滤波器(Box Filters)来代替二阶高斯滤波，用积分图像来加速卷积以提高计算速度，并减少了局部影像特征描述符的维数，来加快匹配速度。主要步骤包括①构建Hessian矩阵，生成所有的兴趣点，用于特征提取，构建Hessian矩阵的目的是为了生成图像稳定的边缘点(突变点)；②构建尺度空间特征点定位，将经过Hessian矩阵处理的每个像素点与二维图像空间和尺度空间邻域内的26个点进行比较，初步定位出关键点，再经过滤除能量比较弱的关键点以及错误定位的关键点，筛选出最终的稳定的特征点；③特征点主方向的确定，采用的是统计特征点圆形邻域内的harr小波特征。即在特征点的圆形邻域内，统计60度扇形内所有点的水平、垂直harr小波特征总和，然后扇形以0.2弧度大小的间隔进行旋转并再次统计该区域内harr小波特征值之后，最后将值最大的那个扇形的方向作为该特征点的主方向；④生成64维特征点描述向量,特征点周围取一个4*4的矩形区域块，但是所取得矩形区域方向是沿着特征点的主方向。每个子区域统计25个像素的水平方向和垂直方向的haar小波特征，这里的水平和垂直方向都是相对主方向而言的。该haar小波特征为水平方向值之后、垂直方向值之后、水平方向绝对值之后以及垂直方向绝对值之和4个方向，把这4个值作为每个子块区域的特征向量，所以一共有4*4*4＝64维向量作为Surf特征的描述子；⑤特征点匹配，通过计算两个特征点间的欧式距离来确定匹配度，欧氏距离越短，代表两个特征点的匹配度越好。

步骤3：输入匹配的特征点坐标，利用光束法平差，解算稀疏的目标物三维点云和拍照相机的位置和姿态数据，即获得了稀疏目标物模型三维点云和位置的模型坐标值；以稀疏特征点为初值，进行多视照片稠密匹配，获取得到密集点云数据。该过程主要有四个步骤：立体像对选择、深度图计算、深度图优化、深度图融合。针对输入数据集里的每一张影像，我们选择一张参考影像形成一个立体像对，用于计算深度图。因此我们可以得到所有影像的粗略的深度图，这些深度图可能包含噪声和错误，我们利用它的邻域深度图进行一致性检查，来优化每一张影像的深度图。最后进行深度图融合，得到整个场景的三维点云。

步骤4：利用密集点云进行目标物曲面重建。包括定义八叉树、设置函数空间、创建向量场、求解泊松方程、提取等值面几个过程。由梯度关系得到采样点和指示函数的积分关系，根据积分关系获得点云的向量场，计算指示函数梯度场的逼近，构成泊松方程。根据泊松方程使用矩阵迭代求出近似解，采用移动方体算法提取等值面，对所测点云重构出被测物体的模型。

步骤5：目标物模型的全自动纹理贴图。表面模型构建完成后，进行纹理贴图。主要过程包括：①纹理数据获取通过图像重建目标的表面三角面格网；②重建模型三角面的可见性分析。利用图像的标定信息计算每个三角面的可见图像集以及最优参考图像；③三角面聚类生成纹理贴片。根据三角面的可见图像集、最优参考图像以及三角面的邻域拓扑关系，将三角面聚类生成为若干参考图像纹理贴片；④纹理贴片自动排序生成纹理图像。对生成的纹理贴片，按照其大小关系进行排序，生成包围面积最小的纹理图像，得到每个三角面的纹理映射坐标。

应当注意，上述算法是本发明使用的算法，本算法与图像采集条件相互配合，使用该算法兼顾了合成的时间和质量。但可以理解，同样可以使用现有技术中常规3D合成算法也可以与本发明的方案进行配合使用。

应用实例

为了将物品装入已知空间中，且能够达到最大的收纳效率或其他需求。先利用本发明的设备和方法扫描，并最终合成获得空间(例如仓库)的三维模型；再利用本发明的设备和方法扫描，并最终合成获得多个物品(例如待摆放进仓库的货物)的三维模型。特别是，可以将物品的三维模型预先扫描合成，并存储在数据库中。例如所述物品实质为用来装载货物的箱体。将箱体编号，数据库中存储有箱体编号和箱体三维模型的对应关系及相关信息。在使用时，根据箱体编号直接调出其三维模型进行匹配。

将空间的三维模型和多个物品的三维模型导入处理器中，根据现有算法进行最优化排布，即根据物品的三维形状尺寸和空间的三维形状尺寸进行物品摆放，以使得所有物品占用更小的空间。当然，上述优化操作可以由用户手动完成，即用户根据空间三维形状尺寸，将不同物品进行模拟摆放，最终找到最优化排布方式，并以此来指导实际摆放运输。同时，以上操作均可以在远程平台、云平台、服务器、上位机和/或移动终端中实现。

上面是各个扫描装置分别获得3D模型再导入处理器进行匹配，也可以直接将各个扫描装置的图片直接导入处理器，在处理器中集中完成空间3D模型的合成、物体3D模型的合成，以及它们之间的匹配。这样可以简化采集硬件的结构和成本。例如在扫描装置中不需要设置能够实现大数据处理的处理器，只需要进行简单的控制即可。而采集的图像通过4G、5G或其他通讯网络可以传输至云平台(相当于一种处理器)中进行集中处理。这也是本发明的发明点之一。

通过这种方式，可以避免盲目的装载货物，导致空间利用不够。特别是对于货物尺寸和空间尺寸不太配合的情况下，仅靠人工经验难以最优化空间利用。而且，对于港口等需要批量化装载的场景，不同工人操作水平不同，也会导致同样空间装载量不同，这使得作业难以标准化，装载量难以预估。

在进行上述匹配时，可以根据需要选择不同的匹配原则。也可以多个匹配原则同时应用，设定好它们之间的优先级即可。例如①空间利用率最高，即在有限的空间内装更多的货物。②特殊标签货物优先照顾原则，即对于需要优先取出、不宜挤压等货物，根据标签属性进行位置选择。③货物之间互斥原则，即对于不宜相邻摆放的货物分开选择不同的位置进行摆放。这也是本发明的发明点之一。

匹配完成后，处理器将匹配结果输出至显示装置进行显示，提示用户最优的排布方式，例如输出至电脑、手机等移动终端界面；或输出至打印装置，进行2D或3D打印，便于现场操作观看使用；也可以直接与动作机构连接，例如直接与自动搬运机械手连接，根据结果控制机械手进行相应货物的搬运及摆放。

上述目标物体、目标物、及物体皆表示预获取三维信息的对象。可以为一实体物体，也可以为多个物体组成物。所述目标物的三维信息包括三维图像、三维点云、三维网格、局部三维特征、三维尺寸及一切带有目标物三维特征的参数。本发明里所谓的三维是指具有XYZ三个方向信息，特别是具有深度信息，与只有二维平面信息具有本质区别。也与一些称为三维、全景、全息、三维，但实际上只包括二维信息，特别是不包括深度信息的定义有本质区别。

本发明所说的采集区域是指图像采集装置(例如相机)能够拍摄的范围。本发明中的图像采集装置可以为CCD、CMOS、相机、摄像机、工业相机、监视器、摄像头、手机、平板、笔记本、移动终端、可穿戴设备、智能眼镜、智能手表、智能手环以及带有图像采集功能所有设备。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的基于本发明装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

至此，本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。

Claims

1.一种实现物体与空间匹配的设备，其特征在于：包括空间3D信息采集装置、物体3D信息采集装置和第一处理器；

第一处理器，用于将一个或多个物体三维模型与空间内部三维模型进行匹配，以使得物体三维模型与空间内部三维模型符合预设的匹配原则；

空间3D信息采集装置包括图像采集装置、旋转装置；图像采集装置在相邻的两个采集位置的光轴的夹角α满足如下条件：

2.如权利要求1所述的设备，其特征在于：第一处理器还用于合成空间内部三维模型，以及合成物体三维模型。

3.如权利要求1所述的设备，其特征在于：还包括第二处理器，空间3D信息采集装置包括或与该第二处理器连接，用于合成空间内部三维模型。

4.如权利要求1所述的设备，其特征在于：还包括第三处理器，物体3D信息采集装置包括或与该第三处理器连接，用于合成物体三维模型。

5.如权利要求1所述的设备，其特征在于：u<0.498，或u<0.411，或u<0.359，或u<0.281，或u<0.169，或u<0.041，或u<0.028。

6.如权利要求1所述的设备，其特征在于：图像采集装置的光学采集口均背向旋转轴方向。

7.如权利要求1所述的设备，其特征在于：所述匹配包括算法自动匹配、人工操作和/或它们的组合。

8.如权利要求1所述的设备，其特征在于：匹配完成后，处理器将匹配结果输出至显示装置、打印装置、和/或动作执行装置。

9.一种实现物体与空间匹配的方法，其特征在于：包括空间3D信息采集装置、物体3D信息采集装置和第一处理器；

10.如权利要求9所述的方法，其特征在于：第一处理器还用于合成空间内部三维模型，以及合成物体三维模型。

11.如权利要求9所述的方法，其特征在于：还包括第二处理器，空间3D信息采集装置包括或与该第二处理器连接，用于合成空间内部三维模型。

12.如权利要求9所述的方法，其特征在于：还包括第三处理器，物体3D信息采集装置包括或与该第三处理器连接，用于合成物体三维模型。

13.如权利要求9所述的方法，其特征在于：u<0.498，或u<0.411，或u<0.359，或u<0.281，或u<0.169，或u<0.041，或u<0.028。

14.如权利要求9所述的方法，其特征在于：图像采集装置的光学采集口均背向旋转轴方向。

15.如权利要求9所述的方法，其特征在于：所述匹配包括算法自动匹配、人工操作和/或它们的组合。

16.如权利要求9所述的方法，其特征在于：匹配完成后，处理器将匹配结果输出至显示装置、打印装置、和/或动作执行装置。