CN207302143U - 三维成像平台及基于实时三维展示的远程交易系统 - Google Patents

Abstract

一种三维成像平台，包括台形的货架，还包括：设置在货架中的透明的载物板；以及分别设置在载物板上方和下方的至少一个第一3D传感器和至少一个第二3D传感器。一种基于实时三维展示的远程交易系统，包括上述三维成像平台，还包括服务管理中心、网络通信中心以及与三维成像平台连接的工作站。

Description

三维成像平台及基于实时三维展示的远程交易系统

技术领域

本实用新型涉及一种三维成像平台及远程交易系统，尤其涉及一种三维成像平台及基于实时三维展示的远程交易系统，不仅优选地适用于农产品的远程交易，还适用于其它商品的远程交易。

背景技术

在当今电商迅猛发展的大环境下，人们远程购物时只能通过文字描述、预拍摄的视频和图片来了解商品情况。买家出现疑问，选购的商品是否是心仪或者想要的。尤其对于非标准商品，比如农产品的挑选时，需要更多的了解产品。因此，需要一种让买家能够在电商选购环节实时直观地了解商品的外观样式、大小尺寸的商品实时展示的远程交易系统。

实用新型内容

本实用新型提供一种三维成像平台和基于实时三维展示的远程交易系统，用低成本的设备构建实时3D商品展示，让买家更直观和方便地了解产品的各种外观信息和尺寸信息，使交易环节更透明化。本实用新型解决的技术问题在于如何构建硬件平台用于商品三维成像展示，以及如何通过连接和组合方式，将三维成像的硬件平台整合到远程交易系统。因此本实用新型在解决该技术问题时采用的方案是不需要依赖计算机程序。应注意到，对于成像方法的改进，不属于本实用新型的内容范围，但其将在另外的发明申请文件中记载。

本实用新型的技术方案一方面为一种三维成像平台，包括台形的货架，所述三维成像平台还包括：设置在货架中的透明的载物板；以及分别设置在载物板上方和下方的至少一个第一3D传感器和至少一个第二3D传感器。

进一步，第一3D传感器由货架上延伸的支架来支撑，并且第二3D传感器由载物板下方的底板支撑。

进一步，所述三维成像平台还包括：补光源；以及分别设置在载物板上方和下方的第一摄像头和第二摄像头。

进一步，所述三维成像平台还包括第一转动执行器和第二转动执行器，其中：第一转动执行器由货架上延伸的支架来支撑，并且第一转动执行器的输出轴连接至第一3D传感器，以带动第一3D传感器绕轴转动；第二转动执行器由载物板下方的底板支撑，该底板设有能够接纳第二3D传感器的槽孔，使得第二转动执行器的输出轴连接至第二3D传感器，以带动第二3D传感器在槽孔内绕轴转动。

进一步，第一3D传感器与载物板上表面的空间距离等于第二3D传感器与载物板上表面的空间距离。

进一步，载物板由高透光性亚克力板或红外玻璃组成。

进一步，所述第一3D传感器和所述第二3D传感器都是Kinect传感器。

本实用新型的技术方案另一方面为一种基于实时三维展示的远程交易系统，包括上述的三维成像平台、服务管理中心、网络通信中心以及与三维成像平台连接的工作站。

进一步，所述服务管理中心包括主站服务器、数据库和OA系统。

进一步，所述工作站包括数据采集模块、用户服务模块、交易模块和运算处理模块。

本实用新型的有益效果为：商品三维成像平台实用可靠，容易推广和搭建；利用三维成像平台结合到远程交易系统，使交易过程更透明，便于买家选取合适商品，提高买家的选购效率。

附图说明

图1所示为根据本实用新型的三维成像平台；

图2所示为图1中的平台的侧视图；

图3所示为利用本实用新型的三维成像平台进行三维成像方法的流程图和实例图；

图4所示为根据本实用新型的基于实时三维展示的远程交易系统的架构框图；

图5所示为根据本实用新型的基于实时三维展示的远程交易系统的一个优选实施例；

图6所示为根据本实用新型实施例中的客户终端的显示界面示意图；

图7所示为根据本实用新型实施例中的客户终端的全屏显示界面示意图；

图8所示为根据本实用新型实施例中的档口工作站的屏幕示意图。

具体实施方式

以下将结合实施例和附图对本实用新型的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本实用新型的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。需要说明的是，如无特殊说明，当某一特征被称为“固定”、“连接”在另一个特征，它可以直接固定、连接在另一个特征上，也可以间接地固定、连接在另一个特征上。此外，本实用新型中所使用的上、下、左、右等描述仅仅是相对于附图中本实用新型各组成部分的相互位置关系来说的。此外，除非另有定义，本文所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本文说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本实用新型。

应注意，本说明书下面描述的方法流程仅作为辅佐读者更方便地理解本实用新型的结构、连接和布置方式所带来的效果。本实用新型的保护范围应由所附的权利要求书来界定。

图1所示为基于本实用新型的三维成像平台的一个实施例。该平台包括货架10、载物板11、第一3D传感器21、第二3D传感器22、第一摄像头31、第二摄像头32、第一补光源41、第二补光源42、第一转动执行器51和第二转动执行器52。第一3D传感器21、第二3D传感器22、第一摄像头31、第二摄像头32、第一补光源41和第二补光源42连接至另外的工作台，并由工作台进行数据采集和功能控制。

在本实例中，第一3D传感器21和第二3D传感器22优选地采用Kinect传感器，该传感器采用红外结构光或者激光技术进行空间扫描。为了可以全方位地进行货架10内的商品的空间扫描，载物板11需要采用高透红外光性材料，比如高透光性亚克力、红外玻璃等材质。载物板11的承托表面形成标准平面，即是待成像对象的基础平面位置。由此，在载物板11的上方设置有第一3D传感器21和第一摄像头31，而在其下方设置有第二3D传感器22和第二摄像头32。第一3D传感器21和第一摄像头31分别距标准平面一合适的距离，使得它们的视场范围可以遍及载物板11上的所有商品，如图2所示。第一补光源41和第二补光源42可以根据实际光照环境对商品进行补光照明。

进一步，第一3D传感器21由货架上延伸的支架14来支撑，并且第二3D传感器22由载物板下方的底板12支撑。优选地，第一3D传感器21与载物板11的上表面的空间距离等于第二3D传感器22与载物板11上表面的空间距离，这样可以方便成像计算。

进一步，第一转动执行器51和第二转动执行器52用分别使第一3D传感器21和第二3D传感器22摆动或沿轴转动，从而能够从多个角度获取带成像对象(商品)的深度影像数据和空间图像数据。第一转动执行器51由支架14来支撑，并且第一转动执行器51的输出轴连接至第一3D传感器21，以带动第一3D传感器21绕轴转动。第二转动执行器52由载物板11下方的底板12支撑，该底板12设有能够接纳第二3D传感器22的槽孔13，使得第二转动执行器52的输出轴连接至第二3D传感器22，以带动第二3D传感器22在槽孔13内绕轴转动。

图3所示为基于图1所示的成像平台的三维成像流程图和相应的过程实例。

在步骤S1中，通过上和下两个3D传感器，同步获得空间图像数据和空间深度数据，并且通过上和下两个摄像头同步拍摄彩色图像。上3D传感器主要用于收集待成像对象(在图示实例中是水果)的上半部分的空间数据；而下3D传感器主要用于收集待成像对象的下半部分的空间数据。同理，上摄像头主要用于拍摄待成像对象的上半部分的彩色图像数据。由于载物板是透明的，3D传感器除了获取了待成像对象，还得到了其它物件的“空间噪声”数据(比如是载物板另一侧的3D传感器、补光源等物件)。

在步骤S2中，根据空间深度数据，筛选出待成像的对象的空间图像数据和剔除空间噪声数据。优选地，利用标准平面和深度数据进行对象筛选。具体地，根据该标准平面与每个所述3D图像传感器之间的高度差，配置一空间深度范围，而在该空间深度范围内的采集到的空间图像数据即是待成像的对象的空间图像数据。还可以根据待成像对象的极限高度值，则待成像对象的深度应该处范围＝标准平面高度±极限高度值±载物板厚度，由此可以作为另一空间深度范围，用于筛选出待成像对象的空间图像数据。此外还有第三种办法，可以用预设的手段，直接删除位置恒定不变的空间噪声数据，因为3D传感器、摄像头、支架、外框架的结构和轮廓是不变的。在这个步骤中只是大范围筛选全部可用的空间图像数据，还需要进一步识别单个对象的点云数据，以用于三维重建。

在步骤S3中，识别和提取每一个对象的位置数据、彩色图像数据和每一部分的3D尺寸数据。利用Kinect Fusion工具包函数，可以将一个闭合空间内的所有点云数据进行单个识别和单个预成形为立体。如图所示，用虚线框标识每个识别的对象立体模型。这里应注意到，摆放商品的时候，要避免两两商品之间完全贴在一起。然后计算每个对象立体模型的中心的坐标(可以是空间坐标，也可以简化为标准平面上的平面坐标)，并且将每一个平面坐标值与该对象的3D尺寸数据关联。由于在上述步骤中采用了上下两个3D传感器采集了至少两组空间图像数据，该至少两组空间图像数据对应各个对象立体模型的每个部分。因此，可以将基本相同坐标的并且由不同的3D图像传感器获得的关联性3D尺寸数据标记为同一对象的不同部分的3D尺寸数据，用于在后面步骤中融合为每个对象的完整的3D模型。

在步骤S3中，还可以利用OpenCV的工具包函数，将所述摄像头正对所述标准平面所采集的每个对象的彩色图像数据进行边缘识别；沿识别的边缘对彩色图像进行抠图；计算对象的色图坐标值，将每一个色图坐标值与该对象的抠图的彩色图像进行关联；如果色图坐标值与某一平面坐标值相同或者距离少于一预设阈值，则将该色图坐标值对应的对象与该平面坐标值对应的对象确定为相同的对象。在可选的实施例中，还可以利用之前识别的立体轮廓的边缘辅助彩色图像的边缘识别，以加快识别速度和提升准确率。

在步骤S4中，通过Kinect Fusion工具包函数，将目标对象的每个部分的3D尺寸数据融合为完整的3D模型。然后标记和记录每个单独的对象。

在步骤S5中，利用提取的目标对象彩色图像数据向目标对象的3D模型进行贴图。将目标对象的3D模型和已抠图的彩色图像同步进行有限元网格划分，对于基本球状的水果，可以沿圆周划分，如图中所示；然后将相应网格位置的彩色图像元和3D模型元进行贴图。优选地，在图像边缘的网格划分更精密，并且对不同的摄像头采集的图像进行贴图时处理贴图边缘柔化。由此，可以生成具有真实外观的商品立体模型。

图4所示为根据本实用新型的基于实时三维展示的远程交易系统的架构框图。所述远程交易系统包括服务管理中心、通信网络中心和至少一个工作站。服务管理中心包括主站服务器、数据库服务器和OA系统。通信网络中心包括网络交换设备，比如路由器、交换机、分线器等，还包括任意公知的有线/无线传输线路，比如网络双绞线缆、光纤线缆、WiFi、蓝牙等，从而搭建客户终端、所述服务管理中心和工作站之间的快速且实时交互式通信连接。

工作站包括数据采集模块、用户服务模块、交易模块和处理模块，所述处理模块分别与所述的采集模块、用户服务模块和交易模块连接。数据采集模块用于与三维成像平台的3D传感器和摄像头连接，管理数据采集和预处理。用户服务模块用于与买家对接提供购物信息，并且通过人机界面(HMI)展示商品和提供商品选取工具。交易模块用于独立管理资金交易，可以接入本地或网络支付平台(比如支付宝、微信支付、APPLE PAY、银联支付等)进行结算。

处理模块中的成像子模块可以用于执行根据本实用新型的方法进行商品的实时三维成像。应当认识到，在本实用新型的实施例中，处理模块可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作-根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。该程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本实用新型优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。

所述处理模块进一步定位模块，专门用于对接用户服务模块的处理工作，有专属进程运行，以提高用户体验。定位模块还包括位置映射处理单元，用于将客户端的或工作站的屏幕坐标与目标对象的平面坐标之间进行转换；标识单元，用于在客户端的或工作站的屏幕标识目标对象并且返回该目标对象的屏幕位置。处理模块还包括调度模块，用于根据所述处理模块的工作负荷，调整3D成像质量以及贴图网格数。

图5所示为根据本实用新型的基于实时三维展示的远程交易系统的一个实施例。图中示出了根据本实用新型的远程交易系统的结构示意图。在本实施例中，服务管理中心和工作站可以实施为在功能上相互独立的实体。当然，在根据本实用新型的其他实施例中，管理中心和工作站之间可以在功能上相互整合。三维成像平台可以实施为档口。每个档口可以展销各种生鲜农产品。每个档口还可以包括语音对讲设备、网络电子秤、展示平台、打印机、指示器和工作站。所述工作站包括控制模块和标识模块，所述控制模块分别与传感器、语音对讲设备、网络电子秤和打印机连接，负责统一操作这些设备并实现数据传送，还可以为档主或服务管理中心工作人员提供这些设备的运行状态反馈和控制接口。图5示意性的描述了每个工作站控制一个档口。在其他实施例中，还可以一个工作站同时控制多个档口。

图6所示为根据本实用新型实施例中的客户终端的显示界面示意图。图7所示为根据本实用新型实施例中的客户终端的全屏显示界面示意图。图8所示为根据本实用新型实施例中的档口工作站的屏幕示意图。在一个实例中，档主预先在档口上摆放商品，而且每个商品之间需要空间隔开，然后启动工作站的Kinect Fusion成像处理程序，自动通过3D传感器和各个摄像头采集档口上的商品的空间成像数据，期间转动执行器可以带动3D传感器运动，以辅助三维成像。完成档口上的商品的三维成像后，清点商品的数量和规格，自动与数据库中的相应种类的商品对应。比如清点档口上面的某些物体的形状和预设数据库中的苹果的形状匹配度达到一定数值，则将这些物品标记为苹果。然后在用户服务模块中记录数量、体积、单价等信息，然后展示在工作站的屏幕上。可以在客户端的显示屏幕上的相应的显示区域中建立像素坐标和实际场景中的位置坐标的关系。还提供光标元件在客户终端的显示区域和工作站的显示区域上同步实时三维展示，并且确保所处的位置一致。客户轮候进入当前的交易状态时，可以通过客户终端的输入设备(比如触摸屏、鼠标等)点选商品，此时光标可以与客户的点选位置重叠，档口工作站的档主则可以从工作站显示屏上直观了解客户所选取的商品。同时，定位模块可以将用户选取商品的当前位置数据实时上传反馈到数据库服务器，留作记录。然后，档主对商品进行称重、计价、包装等，通过打印机打印票据，后续通过服务管理中心进行交易结算。

以上所述，只是本实用新型的较佳实施例而已，本实用新型并不局限于上述实施方式，只要其以相同的手段达到本实用新型的技术效果，都应属于本实用新型的保护范围。在本实用新型的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。

Claims (10)

1.一种三维成像平台，包括台形的货架，其特征在于所述三维成像平台还包括：设置在货架中的透明的载物板；以及分别设置在载物板上方和下方的至少一个第一3D传感器和至少一个第二3D传感器。

2.根据权利要求1所述的三维成像平台，其特征在于，第一3D传感器由货架上延伸的支架来支撑，并且第二3D传感器由载物板下方的底板支撑。

3.根据权利要求1或2所述的三维成像平台，其特征在于，所述三维成像平台还包括：补光源；以及分别设置在载物板上方和下方的第一摄像头和第二摄像头。

4.根据权利要求2所述的三维成像平台，其特征在于，所述三维成像平台还包括第一转动执行器和第二转动执行器，其中：第一转动执行器由货架上延伸的支架来支撑，并且第一转动执行器的输出轴连接至第一3D传感器，以带动第一3D传感器绕轴转动；第二转动执行器由载物板下方的底板支撑，该底板设有能够接纳第二3D传感器的槽孔，使得第二转动执行器的输出轴连接至第二3D传感器，以带动第二3D传感器在槽孔内绕轴转动。

5.根据权利要求1所述的三维成像平台，其特征在于，第一3D传感器与载物板上表面的空间距离等于第二3D传感器与载物板上表面的空间距离。

6.根据权利要求1所述的三维成像平台，其特征在于，载物板由高透光性亚克力板或红外玻璃组成。

7.根据权利要求1所述的三维成像平台，其特征在于，所述第一3D传感器和所述第二3D传感器都是Kinect传感器。

8.一种基于实时三维展示的远程交易系统，其特征在于，包括权利要求1至7中任一项所述的三维成像平台、服务管理中心、网络通信中心以及与三维成像平台连接的工作站。

9.根据权利要求8所述的基于实时三维展示的远程交易系统，其特征在于，所述服务管理中心包括主站服务器、数据库和OA系统。

10.根据权利要求9所述的基于实时三维展示的远程交易系统，其特征在于，所述工作站包括数据采集模块、用户服务模块、交易模块和运算处理模块。