CN107742318A - 商品实时三维成像方法及基于实时三维展示的交易系统 - Google Patents

商品实时三维成像方法及基于实时三维展示的交易系统 Download PDF

Info

Publication number
CN107742318A
CN107742318A CN201710895434.6A CN201710895434A CN107742318A CN 107742318 A CN107742318 A CN 107742318A CN 201710895434 A CN201710895434 A CN 201710895434A CN 107742318 A CN107742318 A CN 107742318A
Authority
CN
China
Prior art keywords
data
image data
module
dimensional imaging
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710895434.6A
Other languages
English (en)
Inventor
罗志坚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangmen City Commission Net Co Ltd
Original Assignee
Jiangmen City Commission Net Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangmen City Commission Net Co Ltd filed Critical Jiangmen City Commission Net Co Ltd
Priority to CN201710895434.6A priority Critical patent/CN107742318A/zh
Publication of CN107742318A publication Critical patent/CN107742318A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Software Systems (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种商品实时三维成像方法，包括以下步骤：通过至少两个3D图像传感器同步采集空间图像数据和深度数据，以及通过摄像头采集彩色图像数据；根据空间深度数据，筛选出待成像的对象的空间图像数据；识别和提取每一个对象的位置数据、彩色图像数据和每一部分的3D尺寸数据；将目标对象的每个部分的3D尺寸数据融合为完整的3D模型；利用提取的目标对象彩色图像数据向目标对象的3D模型进行贴图。一种基于实时三维展示的交易系统，包括服务管理中心、网络通信中心、三维成像平台和工作站，其中工作站包括一处理模块，用于执行上述方法。

Description

商品实时三维成像方法及基于实时三维展示的交易系统
技术领域
本发明涉及一种商品实时三维成像方法和一种交易系统，尤其涉及一种基于实时三维展示的交易系统。该系统优选地适用农产品交易展示。
背景技术
在当今电商迅猛发展的大环境下，人们远程购物时只能通过文字描述、预拍摄的视频和图片来了解商品情况。买家出现疑问，选购的商品是否是心仪或者想要的。尤其对于非标准商品，比如农产品的挑选时，需要更多的了解产品。因此，需要一种让买家能够在电商选购环节实时直观地了解商品的外观样式、大小尺寸的商品实时展示的交易系统。
本文利用了现有的三维成像传感器(比如微软公司的Kinect传感器)以及图形处理和成像工具包(比如，Kinect Fusion、OpenCV)，进行三维重构和图像预处理。这些技术如在朱笑笑等所写的文献《一种改进的KinectFusion三维重构算法》、专利公开文献CN105279786A《物体三维模型的获取方法和系统》、微软公司的MSDN有关Kinect Fusion的公开手册等文件中详细描述。
发明内容
本发明提供一种商品实时三维成像方法和基于实时三维展示的交易系统，用低成本的设备构建实时3D商品展示，让买家更直观和方便地了解产品的各种外观信息和尺寸信息，使交易环节更透明化。
本发明的技术方案一方面为一种商品实时三维成像方法，包括以下步骤：
A、通过至少两个3D图像传感器同步采集空间图像数据和深度数据，以及通过摄像头采集彩色图像数据；
B、根据空间深度数据，筛选出待成像的对象的空间图像数据；
C、识别和提取每一个对象的位置数据、彩色图像数据和每一部分的3D尺寸数据；
D、将目标对象的每个部分的3D尺寸数据融合为完整的3D模型；
E、利用提取的目标对象彩色图像数据向目标对象的3D模型进行贴图。
优选地，在待成像的对象上方和下方分别设置有3D图像传感器和摄像头，该3D图像传感器为Kinect传感器。
优选地，所述步骤B还包括：使待成像的对象放置在一标准平面上；根据该标准平面与每个所述3D图像传感器之间的高度差，配置一空间深度范围；保留在该空间深度范围内的采集到的空间图像数据。
优选地，所述步骤C还包括：对于每个3D图像传感器，根据所提取每一个对象投影到所述标准平面的轮廓数据，计算该对象的平面坐标值，将每一个平面坐标值与该对象的3D尺寸数据关联；将平面坐标值相同或者接近的、并且由不同的3D图像传感器获得的关联性3D尺寸数据标记为同一对象的不同部分的3D尺寸数据，用于融合为完整的3D模型。
优选地，所述步骤C还包括：将所述摄像头正对所述标准平面所采集的每个对象的彩色图像数据进行边缘识别；沿识别的边缘对彩色图像进行抠图；计算对象的色图坐标值，将每一个色图坐标值与该对象的抠图的彩色图像进行关联；如果色图坐标值与某一平面坐标值相同或者距离少于一预设阈值，则将该色图坐标值对应的对象与该平面坐标值对应的对象确定为相同的对象。
优选地，所述步骤E还包括：将目标对象的3D模型和已抠图的彩色图像同步进行有限元网格划分；将相应网格位置的彩色图像元和3D模型元进行贴图；其中，在图像边缘的网格划分更精密，并且对不同的摄像头采集的图像进行贴图时处理贴图边缘柔化。
本发明的技术方案第二方面为一种商品实时三维成像装置，包括：
第一模块，用于通过至少两个3D图像传感器同步采集空间图像数据和深度数据，以及用于通过摄像头采集彩色图像数据；
第二模块，用于根据空间深度数据，筛选出待成像的对象的空间图像数据；
第三模块，用于识别和提取每一个对象的位置数据、彩色图像数据和每一部分的3D尺寸数据；
第四模块，用于将目标对象的每个部分的3D尺寸数据融合为完整的3D模型；
第五模块，用于利用提取的目标对象彩色图像数据向目标对象的3D模型进行贴图。
本发明的技术方案第三方面为一种基于实时三维展示的交易系统。所述交易系统包括服务管理中心、网络通信中心、三维成像平台以及与三维成像平台连接的工作站，其中，所述三维成像平台包括至少两个3D图像传感器和多个摄像头，所述工作站包括显示设备、数据采集模块、用户服务模块、交易模块和处理模块，该处理模块包括一3D成像模块，用于执行上述的方法。
优选地，所述处理模块还包括定位模块，该定位模块包括：位置映射处理单元，用于将客户端的或工作站的屏幕坐标与目标对象的平面坐标之间进行转换；标识单元，用于在客户端的或工作站的屏幕标识目标对象并且返回该目标对象的屏幕位置。
优选地，所述处理模块还包括调度模块，用于根据所述处理模块的工作负荷，调整3D成像质量以及贴图网格数。
本发明的有益效果为：商品三维成像方法简单实用，容易推广；利用三维成像识别和标记结合的方式，使交易过程更透明，便于买家选取合适商品，提高买家的选购效率。
附图说明
图1所示为用于本发明的方法的三维成像原理解析图；
图2所示为基于本发明的三维成像平台；
图3所示为图2中的平台的侧视图；
图4所示为根据本发明的三维成像方法的流程图和相应的优选实施例；
图5所示为根据本发明的基于实时三维展示的交易系统的架构框图；
图6所示为根据本发明的基于实时三维展示的交易系统的一个优选实施例；
图7所示为根据本发明实施例中的客户终端的显示界面示意图；
图8所示为根据本发明实施例中的客户终端的全屏显示界面示意图；
图9所示为根据本发明实施例中的档口工作站的屏幕示意图。
具体实施方式
下面参照附图和实施例来对本发明做进一步详细解释描述，但本发明的范围不限于这些例子。
本发明采用的三维成像方法是基于三维扫描及景深技术的三维重建算法。优选地，采用Kinect Fusion重建算法。Kinect Fusion通过从多个角度获取到的深度影像数据进行融合，来重建物体的单帧光滑表面模型。当配合多个传感器使用时，传感器的位置以及姿势信息被预先标定。然后通过每一帧图像的姿势以及帧与帧之间的关联，多帧从不同传感器采集的数据能够融合成单帧重建好的定点立方体。
如图1所示，Kinect Fusion三维重建流程如下：a)读入的深度图像转换为三维点云并且计算每一点的法向量；b)计算得到的带有法向量的点云，和通过光线投影算法根据上一帧位姿从模型投影出来的点云，利用ICP算法配准计算位姿；c)根据计算得到的位姿，将当前帧的点云融合到网格模型中去；d)根据当前帧相机位姿利用光线投影算法从模型投影得到当前帧视角下的点云，并且计算其法向量，用来对下一帧的输入图像配准。如此是个循环的过程。还可以摆动传感器获取场景不同视角下的点云，重建完整的场景表面。
应注意到，本发明的改进之处不在于算法方面，而是在于利用现有的成像算法，结合到商品实时三维展示的应用，提供一套可行有效的、能够整合到交易和展示系统的三维成像解决方案。
图2所示为基于本发明的三维成像平台的一个实施例。该平台包括货架10、载物板11、第一3D传感器21、第二3D传感器22、第一摄像头31、第二摄像头32、第一补光源41、第二补光源42、第一转动执行器51和第二转动执行器52。第一3D传感器21、第二3D传感器22、第一摄像头31、第二摄像头32、第一补光源41和第二补光源42连接至另外的工作台，并由工作台进行数据采集和功能控制。
在本实例中，第一3D传感器21和第二3D传感器22优选地采用Kinect传感器，该传感器采用红外结构光或者激光技术进行空间扫描。为了可以全方位地进行货架10内的商品的空间扫描，载物板11需要采用高透红外光性材料，比如高透光性亚克力、红外玻璃等材质。载物板11的承托表面形成标准平面，即是待成像对象的基础平面位置。由此，在载物板11的上方设置有第一3D传感器21和第一摄像头31，而在其下方设置有第二3D传感器22和第二摄像头32。第一3D传感器21和第一摄像头31分别距标准平面一合适的距离，使得它们的视场范围可以遍及载物板11上的所有商品，如图3所示。第一补光源41和第二补光源42可以根据实际光照环境对商品进行补光照明。
在本实例中，第一转动执行器51和第二转动执行器52用分别使第一3D传感器21和第二3D传感器22摆动或沿轴转动，从而能够从多个角度获取带成像对象(商品)的深度影像数据和空间图像数据。
图4所示为基于图2所示的成像平台的三维成像方法的流程图和相应的优选实施例。图4中，左边部分是步骤流程框图，右边部分是对应每个步骤的示意性说明。根据本发明的方法包括以下步骤S1-S5。
在步骤S1中，通过上和下两个3D传感器，同步获得空间图像数据和空间深度数据，并且通过上和下两个摄像头同步拍摄彩色图像。上3D传感器主要用于收集待成像对象(在图示实例中是水果)的上半部分的空间数据；而下3D传感器主要用于收集待成像对象的下半部分的空间数据。同理，上摄像头主要用于拍摄待成像对象的上半部分的彩色图像数据。由于载物板是透明的，3D传感器除了获取了待成像对象，还得到了其它物件的“空间噪声”数据(比如是载物板另一侧的3D传感器、补光源等物件)。
在步骤S2中，根据空间深度数据，筛选出待成像的对象的空间图像数据和剔除空间噪声数据。优选地，利用标准平面和深度数据进行对象筛选。具体地，根据该标准平面与每个所述3D图像传感器之间的高度差，配置一空间深度范围，而在该空间深度范围内的采集到的空间图像数据即是待成像的对象的空间图像数据。还可以根据待成像对象的极限高度值，则待成像对象的深度应该处范围＝标准平面高度±极限高度值±载物板厚度，由此可以作为另一空间深度范围，用于筛选出待成像对象的空间图像数据。此外还有第三种办法，可以用预设的手段，直接删除位置恒定不变的空间噪声数据，因为3D传感器、摄像头、支架、外框架的结构和轮廓是不变的。在这个步骤中只是大范围筛选全部可用的空间图像数据，还需要进一步识别单个对象的点云数据，以用于三维重建。
在步骤S3中，识别和提取每一个对象的位置数据、彩色图像数据和每一部分的3D尺寸数据。利用Kinect Fusion工具包函数，可以将一个闭合空间内的所有点云数据进行单个识别和单个预成形为立体。如图所示，用虚线框标识每个识别的对象立体模型。这里应注意到，摆放商品的时候，要避免两两商品之间完全贴在一起。然后计算每个对象立体模型的中心的坐标(可以是空间坐标，也可以简化为标准平面上的平面坐标)，并且将每一个平面坐标值与该对象的3D尺寸数据关联。由于在上述步骤中采用了上下两个3D传感器采集了至少两组空间图像数据，该至少两组空间图像数据对应各个对象立体模型的每个部分。因此，可以将基本相同坐标的并且由不同的3D图像传感器获得的关联性3D尺寸数据标记为同一对象的不同部分的3D尺寸数据，用于在后面步骤中融合为每个对象的完整的3D模型。
在步骤S3中，还可以利用OpenCV的工具包函数，将所述摄像头正对所述标准平面所采集的每个对象的彩色图像数据进行边缘识别；沿识别的边缘对彩色图像进行抠图；计算对象的色图坐标值，将每一个色图坐标值与该对象的抠图的彩色图像进行关联；如果色图坐标值与某一平面坐标值相同或者距离少于一预设阈值，则将该色图坐标值对应的对象与该平面坐标值对应的对象确定为相同的对象。在可选的实施例中，还可以利用之前识别的立体轮廓的边缘辅助彩色图像的边缘识别，以加快识别速度和提升准确率。
在步骤S4中，通过Kinect Fusion工具包函数，将目标对象的每个部分的3D尺寸数据融合为完整的3D模型。然后标记和记录每个单独的对象。
在步骤S5中，利用提取的目标对象彩色图像数据向目标对象的3D模型进行贴图。将目标对象的3D模型和已抠图的彩色图像同步进行有限元网格划分，对于基本球状的水果，可以沿圆周划分，如图中所示；然后将相应网格位置的彩色图像元和3D模型元进行贴图。优选地，在图像边缘的网格划分更精密，并且对不同的摄像头采集的图像进行贴图时处理贴图边缘柔化。由此，可以生成具有真实外观的商品立体模型。
图5所示为根据本发明的基于实时三维展示的交易系统的架构框图。所述交易系统包括服务管理中心、通信网络中心和至少一个工作站。服务管理中心包括主站服务器、数据库服务器和OA系统。通信网络中心包括网络交换设备，比如路由器、交换机、分线器等，还包括任意公知的有线/无线传输线路，比如网络双绞线缆、光纤线缆、WiFi、蓝牙等，从而搭建客户终端、所述服务管理中心和工作站之间的快速且实时交互式通信连接。
工作站包括数据采集模块、用户服务模块、交易模块和处理模块，所述处理模块分别与所述的采集模块、用户服务模块和交易模块连接。数据采集模块用于与三维成像平台的3D传感器和摄像头连接，管理数据采集和预处理。用户服务模块用于与买家对接提供购物信息，并且通过人机界面(HMI)展示商品和提供商品选取工具。交易模块用于独立管理资金交易，可以接入本地或网络支付平台(比如支付宝、微信支付、APPLE PAY、银联支付等)进行结算。
处理模块中的成像子模块可以用于执行根据本发明的方法进行商品的实时三维成像。应当认识到，在本发明的实施例中，处理模块可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作-根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。该程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。
所述处理模块进一步定位模块，专门用于对接用户服务模块的处理工作，有专属进程运行，以提高用户体验。定位模块还包括位置映射处理单元，用于将客户端的或工作站的屏幕坐标与目标对象的平面坐标之间进行转换；标识单元，用于在客户端的或工作站的屏幕标识目标对象并且返回该目标对象的屏幕位置。处理模块还包括调度模块，用于根据所述处理模块的工作负荷，调整3D成像质量以及贴图网格数。
图6所示为根据本发明的基于实时三维展示的交易系统的一个实施例。图中示出了根据本发明的交易系统的结构示意图。在本实施例中，服务管理中心和工作站可以实施为在功能上相互独立的实体。当然，在根据本发明的其他实施例中，管理中心和工作站之间可以在功能上相互整合。三维成像平台可以实施为档口。每个档口可以展销各种生鲜农产品。每个档口还可以包括语音对讲设备、网络电子秤、展示平台、打印机、指示器和工作站。所述工作站包括控制模块和标识模块，所述控制模块分别与传感器、语音对讲设备、网络电子秤和打印机连接，负责统一操作这些设备并实现数据传送，还可以为档主或服务管理中心工作人员提供这些设备的运行状态反馈和控制接口。图6示意性的描述了每个工作站控制一个档口。在其他实施例中，还可以一个工作站同时控制多个档口。
图7所示为根据本发明实施例中的客户终端的显示界面示意图。图8所示为根据本发明实施例中的客户终端的全屏显示界面示意图。图9所示为根据本发明实施例中的档口工作站的屏幕示意图。在一个实例中，档主预先在档口上摆放商品，而且每个商品之间需要空间隔开，然后启动工作站的Kinect Fusion成像处理程序，自动通过3D传感器和各个摄像头采集档口上的商品的空间成像数据，期间转动执行器可以带动3D传感器运动，以辅助三维成像。完成档口上的商品的三维成像后，清点商品的数量和规格，自动与数据库中的相应种类的商品对应。比如清点档口上面的某些物体的形状和预设数据库中的苹果的形状匹配度达到一定数值，则将这些物品标记为苹果。然后在用户服务模块中记录数量、体积、单价等信息，然后展示在工作站的屏幕上。可以在客户端的显示屏幕上的相应的显示区域中建立像素坐标和实际场景中的位置坐标的关系。还提供光标元件在客户终端的显示区域和工作站的显示区域上同步实时三维展示，并且确保所处的位置一致。客户轮候进入当前的交易状态时，可以通过客户终端的输入设备(比如触摸屏、鼠标等)点选商品，此时光标可以与客户的点选位置重叠，档口工作站的档主则可以从工作站显示屏上直观了解客户所选取的商品。同时，定位模块可以将用户选取商品的当前位置数据实时上传反馈到数据库服务器，留作记录。然后，档主对商品进行称重、计价、包装等，通过打印机打印票据，后续通过服务管理中心进行交易结算。
以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，都应属于本发明的保护范围。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。

Claims (10)

1.一种商品实时三维成像方法，其特征在于包括以下步骤：
A、通过至少两个3D图像传感器同步采集空间图像数据和深度数据，以及通过摄像头采集彩色图像数据；
B、根据空间深度数据，筛选出待成像的对象的空间图像数据；
C、识别和提取每一个对象的位置数据、彩色图像数据和每一部分的3D尺寸数据；
D、将目标对象的每个部分的3D尺寸数据融合为完整的3D模型；
E、利用提取的目标对象彩色图像数据向目标对象的3D模型进行贴图。
2.根据权利要求1所述的商品实时三维成像方法，其中，在待成像的对象上方和下方分别设置有3D图像传感器和摄像头，该3D图像传感器为Kinect传感器。
3.根据权利要求1或2所述的商品实时三维成像方法，其中，所述步骤B还包括：
使待成像的对象放置在一标准平面上；
根据该标准平面与每个所述3D图像传感器之间的高度差，配置一空间深度范围；
保留在该空间深度范围内的采集到的空间图像数据。
4.根据权利要求3所述的商品实时三维成像方法，其中，所述步骤C还包括：
对于每个3D图像传感器，根据所提取每一个对象投影到所述标准平面的轮廓数据，计算该对象的平面坐标值，将每一个平面坐标值与该对象的3D尺寸数据关联；
将平面坐标值相同或者接近的、并且由不同的3D图像传感器获得的关联性3D尺寸数据标记为同一对象的不同部分的3D尺寸数据，用于融合为完整的3D模型。
5.根据权利要求4所述的商品实时三维成像方法，其中，所述步骤C还包括：
将所述摄像头正对所述标准平面所采集的每个对象的彩色图像数据进行边缘识别；
沿识别的边缘对彩色图像进行抠图；
计算对象的色图坐标值，将每一个色图坐标值与该对象的抠图的彩色图像进行关联；
如果色图坐标值与某一平面坐标值相同或者距离少于一预设阈值，则将该色图坐标值对应的对象与该平面坐标值对应的对象确定为相同的对象。
6.根据权利要求5所述的商品实时三维成像方法，其中，所述步骤E还包括：
将目标对象的3D模型和已抠图的彩色图像同步进行有限元网格划分；
将相应网格位置的彩色图像元和3D模型元进行贴图；
其中，在图像边缘的网格划分更精密，并且对不同的摄像头采集的图像进行贴图时处理贴图边缘柔化。
7.一种商品实时三维成像装置，其特征在于包括：
第一模块，用于通过至少两个3D图像传感器同步采集空间图像数据和深度数据，以及用于通过摄像头采集彩色图像数据；
第二模块，用于根据空间深度数据，筛选出待成像的对象的空间图像数据；
第三模块，用于识别和提取每一个对象的位置数据、彩色图像数据和每一部分的3D尺寸数据；
第四模块，用于将目标对象的每个部分的3D尺寸数据融合为完整的3D模型；
第五模块，用于利用提取的目标对象彩色图像数据向目标对象的3D模型进行贴图。
8.一种基于实时三维展示的交易系统，其特征在于，所述交易系统包括服务管理中心、网络通信中心、三维成像平台以及与三维成像平台连接的工作站，其中，所述三维成像平台包括至少两个3D图像传感器和多个摄像头，所述工作站包括显示设备、数据采集模块、用户服务模块、交易模块和处理模块，该处理模块包括一3D成像模块，用于执行权利要求1至6中任一项权利要求所述的方法。
9.根据权利要求8所述的基于实时三维展示的交易系统，其特征在于，所述处理模块还包括定位模块，该定位模块包括：
位置映射处理单元，用于将客户端的或工作站的屏幕坐标与目标对象的平面坐标之间进行转换；
标识单元，用于在客户端的或工作站的屏幕标识目标对象并且返回该目标对象的屏幕位置。
10.根据权利要求8所述的基于实时三维展示的交易系统，其特征在于，所述处理模块还包括调度模块，用于根据所述处理模块的工作负荷，调整3D成像质量以及贴图网格数。
CN201710895434.6A 2017-09-28 2017-09-28 商品实时三维成像方法及基于实时三维展示的交易系统 Pending CN107742318A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710895434.6A CN107742318A (zh) 2017-09-28 2017-09-28 商品实时三维成像方法及基于实时三维展示的交易系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710895434.6A CN107742318A (zh) 2017-09-28 2017-09-28 商品实时三维成像方法及基于实时三维展示的交易系统

Publications (1)

Publication Number Publication Date
CN107742318A true CN107742318A (zh) 2018-02-27

Family

ID=61236198

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710895434.6A Pending CN107742318A (zh) 2017-09-28 2017-09-28 商品实时三维成像方法及基于实时三维展示的交易系统

Country Status (1)

Country Link
CN (1) CN107742318A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108960202A (zh) * 2018-08-01 2018-12-07 京东方科技集团股份有限公司 一种智能货架、系统、判断商品叠放的方法
CN109300100A (zh) * 2018-09-27 2019-02-01 北京伟景智能科技有限公司 基于多摄像头的物品识别方法和装置
CN112394835A (zh) * 2020-11-05 2021-02-23 王照斌 一种购物平台实时动态展示物人交互系统
CN112955941A (zh) * 2018-11-05 2021-06-11 Nec平台株式会社 商品成像装置，商品成像方法和图像识别pos系统
CN113362441A (zh) * 2020-03-06 2021-09-07 顺丰科技有限公司 三维重建方法、装置、计算机设备和存储介质
CN113763544A (zh) * 2021-09-22 2021-12-07 拉扎斯网络科技（上海）有限公司 图像确定方法、装置、电子设备和计算机可读存储介质
CN113763545A (zh) * 2021-09-22 2021-12-07 拉扎斯网络科技（上海）有限公司 图像确定方法、装置、电子设备和计算机可读存储介质
CN115474803A (zh) * 2022-10-14 2022-12-16 深圳市分米互联科技有限公司 远程科技项目展示平台及其系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8229208B2 (en) * 2004-01-14 2012-07-24 Hexagon Metrology, Inc. Transprojection of geometry data
CN103136669A (zh) * 2011-11-23 2013-06-05 腾讯科技（深圳）有限公司 基于商品模型库的商品展示方法及商品展示系统
CN103279987A (zh) * 2013-06-18 2013-09-04 厦门理工学院 基于Kinect的物体快速三维建模方法
CN104598915A (zh) * 2014-01-24 2015-05-06 深圳奥比中光科技有限公司 一种手势识别方法与装置
CN105279786A (zh) * 2014-07-03 2016-01-27 顾海松 物体三维模型的获取方法和系统
CN105405161A (zh) * 2015-12-02 2016-03-16 北京建筑大学 一种文物三维成像展示方法与系统
CN105739702A (zh) * 2016-01-29 2016-07-06 电子科技大学 用于自然人机交互的多姿态指尖跟踪方法
CN105912999A (zh) * 2016-04-05 2016-08-31 中国民航大学 基于深度信息的人体行为识别方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8229208B2 (en) * 2004-01-14 2012-07-24 Hexagon Metrology, Inc. Transprojection of geometry data
CN103136669A (zh) * 2011-11-23 2013-06-05 腾讯科技（深圳）有限公司 基于商品模型库的商品展示方法及商品展示系统
CN103279987A (zh) * 2013-06-18 2013-09-04 厦门理工学院 基于Kinect的物体快速三维建模方法
CN104598915A (zh) * 2014-01-24 2015-05-06 深圳奥比中光科技有限公司 一种手势识别方法与装置
CN105279786A (zh) * 2014-07-03 2016-01-27 顾海松 物体三维模型的获取方法和系统
CN105405161A (zh) * 2015-12-02 2016-03-16 北京建筑大学 一种文物三维成像展示方法与系统
CN105739702A (zh) * 2016-01-29 2016-07-06 电子科技大学 用于自然人机交互的多姿态指尖跟踪方法
CN105912999A (zh) * 2016-04-05 2016-08-31 中国民航大学 基于深度信息的人体行为识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
朱笑笑等: ""一种改进的KinectFusion 三维重构算法"", 《机器人ROBOT》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11189044B2 (en) 2018-08-01 2021-11-30 Boe Technology Group Co., Ltd. Method and device for detecting object stacking state and intelligent shelf
CN108960202A (zh) * 2018-08-01 2018-12-07 京东方科技集团股份有限公司 一种智能货架、系统、判断商品叠放的方法
CN108960202B (zh) * 2018-08-01 2022-05-10 京东方科技集团股份有限公司 一种智能货架、系统、判断商品叠放的方法
CN109300100A (zh) * 2018-09-27 2019-02-01 北京伟景智能科技有限公司 基于多摄像头的物品识别方法和装置
US11915565B2 (en) 2018-11-05 2024-02-27 Nec Platforms, Ltd. Commodity imaging apparatus, commodity imaging method, and image recognition POS system
CN112955941A (zh) * 2018-11-05 2021-06-11 Nec平台株式会社 商品成像装置，商品成像方法和图像识别pos系统
CN113362441A (zh) * 2020-03-06 2021-09-07 顺丰科技有限公司 三维重建方法、装置、计算机设备和存储介质
CN113362441B (zh) * 2020-03-06 2024-08-20 顺丰科技有限公司 三维重建方法、装置、计算机设备和存储介质
CN112394835A (zh) * 2020-11-05 2021-02-23 王照斌 一种购物平台实时动态展示物人交互系统
CN113763544A (zh) * 2021-09-22 2021-12-07 拉扎斯网络科技（上海）有限公司 图像确定方法、装置、电子设备和计算机可读存储介质
CN113763545A (zh) * 2021-09-22 2021-12-07 拉扎斯网络科技（上海）有限公司 图像确定方法、装置、电子设备和计算机可读存储介质
CN115474803B (zh) * 2022-10-14 2024-01-26 深圳市分米互联科技有限公司 远程科技项目展示平台
CN115474803A (zh) * 2022-10-14 2022-12-16 深圳市分米互联科技有限公司 远程科技项目展示平台及其系统

Similar Documents

Publication Publication Date Title
CN107742318A (zh) 商品实时三维成像方法及基于实时三维展示的交易系统
JP7078275B2 (ja) 映像モニタリングに基づく商品検知システムおよび商品検知方法
US11978243B2 (en) System and method using augmented reality for efficient collection of training data for machine learning
US10777021B2 (en) Virtual representation creation of user for fit and style of apparel and accessories
CN104346834B (zh) 信息处理设备和位置指定方法
US9420253B2 (en) Presenting realistic designs of spaces and objects
US7039486B2 (en) Method and device for viewing, archiving and transmitting a garment model over a computer network
US20190311488A1 (en) Method and system for wireless ultra-low footprint body scanning
CN108492356A (zh) 增强现实系统及其控制方法
CN102834849B (zh) 进行立体视图像的描绘的图像描绘装置、图像描绘方法、图像描绘程序
US20160381348A1 (en) Image processing device and method
US20160078663A1 (en) Cloud server body scan data system
CN106030661A (zh) 视野独立的3d场景纹理化背景
WO2018075053A1 (en) Object pose based on matching 2.5d depth information to 3d information
CN110648274B (zh) 鱼眼图像的生成方法及装置
CN115063482A (zh) 物品识别及追踪方法与系统
CN110189202A (zh) 一种三维虚拟试衣方法及系统
US11954773B1 (en) Process for creating an augmented image
CN109993824A (zh) 图像处理方法、智能终端及具有存储功能的装置
CN107393018A (zh) 一种利用Kinect实现实时虚拟影像叠加的方法
CN110520372A (zh) 物品管理支援装置、物品管理支援系统及物品管理支援方法
CN110135331A (zh) 交互行为检测方法、装置、系统、设备和存储介质
KR101977519B1 (ko) 실제 크기의 상호작용 오브젝트의 생성 및 디스플레이
CN112884556A (zh) 一种基于混合现实的店铺展示方法、系统、设备和介质
CN102760271A (zh) 一种服装与对象人体自动匹配装置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180227