CN113804195A - 信息处理方法及设备和室内地图定位方法及设备 - Google Patents

信息处理方法及设备和室内地图定位方法及设备 Download PDF

Info

Publication number
CN113804195A
CN113804195A CN202010543725.0A CN202010543725A CN113804195A CN 113804195 A CN113804195 A CN 113804195A CN 202010543725 A CN202010543725 A CN 202010543725A CN 113804195 A CN113804195 A CN 113804195A
Authority
CN
China
Prior art keywords
coordinate system
map
field
online
mapping relation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010543725.0A
Other languages
English (en)
Inventor
彭忠东
井连杰
赵尚春
郑卫东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lianhe Technology Co ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN202010543725.0A priority Critical patent/CN113804195A/zh
Publication of CN113804195A publication Critical patent/CN113804195A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种信息处理方法及装置和室内地图定位方法及装置，以实场地图坐标系作为中间介质，巧妙地建立了线上场内业务地图坐标系与像素坐标系的映射关系，简单、准确地实现了室内场景的定位。

Description

信息处理方法及设备和室内地图定位方法及设备
技术领域
本申请涉及但不限于定位技术，尤指一种信息处理方法及设备和室内地图定位方法及设备。
背景技术
对于用户随身携带可定位设备，且用户主动赋权给平台读取设备位置的权限的情况，可以通过GPS读取经纬度，进而通过基站、Wi-Fi、蓝牙或传感器等来实现对用户的定位。
这种定位适合于传统的大场景定位，但是，对于如线下室内零售场这样的室内小场景，如超市、便利店等，采用相关技术中的定位方式是达不到定位精度要求的，而且很难获得用户的定位赋权，也就是说这种传统的定位方式不适用于室内小场景。
发明内容
本申请提供一种信息处理方法及设备和室内地图定位方法及设备，能够实现室内场景的准确定位。
本发明实施例提供了一种信息处理方法，包括：
在实场地图坐标系和线上场内业务地图坐标系中选择第一位置信息对，建立实场地图坐标系与线上场内业务地图坐标系的第一映射关系；
以第一信息对中实场地图坐标系的信息为参考，在实场地图坐标系和像素坐标系中选择第二位置信息对，建立实场地图坐标系与像素坐标系的第二映射关系；
根据第一映射关系与第二映射关系，建立线上场内业务地图坐标系与像素坐标系的映射关系。
在一种示例性实例中，所述建立实场地图坐标系与线上场内业务地图坐标系的第一映射关系，包括：
手工建立所述实场地图坐标系；
在确定的所述实场地图坐标系中选择第二位置点信息，在所述线上场内业务地图上选择出与第二位置点信息对应的第一位置点信息，组成所述第一位置信息对；
根据所述第一位置信息对，计算表示所述第一映射关系的第一单应性矩阵。
在一种示例性实例中，所述建立实场地图坐标系与线上场内业务地图坐标系的第一映射关系，包括：
自动建立所述实场地图坐标系；
在确定的所述实场地图坐标系中选择第二位置点信息，在所述线上场内业务地图上选择出与第二位置点信息对应的第一位置点信息，组成所述第一位置信息对；
根据所述第一位置信息对，计算表示所述第一映射关系的第一单应性矩阵。
在一种示例性实例中，所述建立实场地图坐标系与像素坐标系的第二映射关系，包括：
针对每一个拍摄装置，在拍摄的图像上选择出与所述第二位置点信息对应的第三位置点信息，组成所述第二位置信息对；
根据所述第二位置信息对，计算表示所述第二映射关系的第二单应性矩阵。
在一种示例性实例中，所述第二位置点信息包括至少4个位置点信息。
在一种示例性实例中，利用OpenCV计算机视觉库提供的应用程序接口API实现所述计算。
在一种示例性实例中，所述建立线上场内业务地图坐标系与像素坐标系的映射关系，包括：
表示所述第一映射关系的第一单应性矩阵乘以表示所述第二映射关系的第二单应性矩阵，得到的乘积为表示所述线上场内业务地图坐标系与所述像素坐标系的所述映射关系的单应性矩阵。
在一种示例性实例中，还包括：
对建立的所述线上场内业务地图坐标系与所述像素坐标系的所述映射关系进行验证。
在一种示例性实例中，所述对建立的线上场内业务地图坐标系与像素坐标系的映射关系进行验证，包括：
通过预先设置的可视化界面，在摄像装置拍摄的图像上通过拖动操作形成拖动轨迹；
如果在所述线上场内业务地图上标记出的所述拖动轨迹，则认为建立的所述映射关系正确，如果在所述线上场内业务地图上不能标记出的所述拖动轨迹，则认为建立的所述映射关系不正确。
在一种示例性实例中，还包括：
当验证出建立的所述映射关系不正确时，返回所述建立实场地图坐标系与线上场内业务地图坐标系的第一映射关系的步骤重新执行。
在一种示例性实例中，还包括：
当验证出建立的所述映射关系正确时，将验证结果发送给云端服务器，由云端服务器对验证结果做进一步验证。
本申请实施例还提供一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行上述任一项所述的信息处理方法。
本申请实施例又一种实现信息处理的设备，包括存储器和处理器，其中，存储器中存储有以下可被处理器执行的指令：用于执行上述任一项所述的信息处理方法的步骤。
本申请实施例再提供一种室内地图定位方法，包括：
在图像上选择需要定位的对象；
根据建立的线上场内业务地图坐标系与像素坐标系的映射关系，确定需要定位的对象在线上场内业务地图上的位置。
在一种示例性实例中，所述确定需要定位的对象在线上场内业务地图上的位置，包括：
根据所述图像上选择需要定位的对象的坐标信息，等于表示线上场内业务地图坐标系与像素坐标系的映射关系的单应性矩阵与需要定位的对象在线上场内业务地图上的坐标信息的乘积，获取所述需要定位的对象在线上场内业务地图上的位置。
在一种示例性实例中，所述确定需要定位的对象在线上场内业务地图上的位置之前，还包括：
建立的所述线上场内业务地图坐标系与所述像素坐标系的映射关系。
在一种示例性实例中，所述建立的所述线上场内业务地图坐标系与所述像素坐标系的映射关系，包括：上述任一项所述的信息处理方法。
本申请实施例还提供一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行上述任一项所述的室内地图定位方法。
本申请实施例还提供一种实现室内地图定位的设备，包括存储器和处理器，其中，存储器中存储有以下可被处理器执行的指令：用于执行上述任一项所述的室内地图定位方法的步骤。
本申请实施例提供的信息处理方法，以实场地图坐标系作为中间介质，巧妙地建立了线上场内业务地图坐标系与像素坐标系的映射关系，即完成了对摄像装置的标定，保证了后续在业务应用中，摄像头抓拍图像上的需要定位的对象如人或物等会实时准确地定位到线上场内业务地图上，也就是说，为实现室内场景的准确定位提供了强有力的保障。
本申请实施例提供的室内地图定位方法，以实场地图坐标系作为中间介质，巧妙地建立了线上场内业务地图坐标系与像素坐标系的映射关系，简单、准确地实现了室内场景的定位。本申请实施例中，通过摄像头抓拍到图像实现了在线上室内地图上精确定位用户、货品及二者发生关系(如拿货、付款等)的位置等，特别适合于线下室内零售场如超市、便利店、书店、杂货店等。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本申请技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。
图1为本申请信息处理方法的实施例的流程示意图；
图2为本申请实现室内地图定位的方法的实施例的流程示例图；
图3(a)为本申请对信息处理结果进行验证成功的实施例的示意图；
图3(b)为本申请对信息处理结果进行验证失败的实施例的示意图；
图4为本申请室内地图定位方法的实施例的流程示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚明白，下文中将结合附图对本申请的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
在本申请一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
对于室内小场景，在室内场的定位体系中包括三套坐标体系：实场地图坐标系(即线下实际场坐标系)、线上场内业务地图坐标系(即业务应用绘制工具如CAD等绘制的场内地图坐标系)、场内摄像头抓拍图像的图像坐标系(本文中也称为像素坐标系)。以室内场景为零售场为例，本申请发明人发现：在同一零售场内，以上三种坐标系中的位置信息是一一对应的，如果能够将三种坐标系准确对应起来，那么，是能够通过摄像头抓拍的对象如人员或物品信息准确定位其在业务地图上的位置、在实场中的位置的。这样，便能达到在业务地图上实时查看所有对象的位置信息，以及某些对象如人员热度分布等信息，也就是说，通过摄像头抓拍的图像能够判断出其在实场地图中的位置并准确显示在线上场内业务地图上。但是，如何对应起场内摄像头抓拍的图像坐标系和线上场内业务地图坐标系是其中一个要解决的问题。
本申请发明人进一步分析得出：由于线上场内业务地图和场内摄像头抓拍的图像的来源都是实场，那么，如果将实场地图坐标系作为中间介质，可以完成场内摄像头抓拍的图像坐标系与线上场内业务地图坐标系的对应转换。
图1为本申请信息处理方法的实施例的流程示意图，通过本申请实施例提供的信息处理方法来建立线上场内业务地图中的位置与场内摄像头抓拍的图像坐标系中位置的位置对应关系，如图1所示，包括：
步骤100：在实场地图坐标系和线上场内业务地图坐标系中选择第一位置信息对，建立实场地图坐标系与线上场内业务地图坐标系的第一映射关系。
在一种示例性实例中，步骤100中的建立实场地图坐标系与线上场内业务地图坐标系的第一映射关系，可以包括：
手工建立实场地图坐标系，比如：以实场中的地板为坐标单位，通过人工数地板的方式确定实场地图坐标系中的点，在线下实场建立实场地图坐标系；
在确定的实场地图坐标系中选择第二位置点信息，在线上场内业务地图上选择出与第二位置点信息对应的第一位置点信息，组成第一位置信息对；
根据选择出的第一位置信息对，计算(如利用OpenCV计算)表示实场地图坐标系和线上场内业务地图坐标系的第一映射关系的第一单应性矩阵。
在另一种示例性实例中，步骤100中的建立实场地图坐标系与线上场内业务地图坐标系的第一映射关系，可以包括：
自动建立实场地图坐标系，比如：通过智能机器人绘制实场地图，在绘制好的实场地图上确定实场地图坐标系中的点，以建立实场地图坐标系；
在确定的实场地图坐标系中选择第二位置点信息，在线上场内业务地图上手动选择出与第二位置点信息对应的第一位置点信息，组成第一位置信息对；
根据选择出的第一位置信息对，计算(如利用OpenCV计算)表示实场地图坐标系和线上场内业务地图坐标系的第一映射关系的第一单应性矩阵。
在一种示例性实例中，第一位置点信息包括至少4个位置点信息，对应的第二位置点信息包括至少4个位置点信息。图2所示的信息处理原理实施例示意图中，是以包括4个位置点信息的第一位置信息对为例建立第一映射关系的，图2中第一位置信息对包括：{第一位置点信息1～第二位置点信息1，第一位置点信息2～第二位置点信息2，第一位置点信息3～第二位置点信息3，第一位置点信息4～第二位置点信息4}。
线下实场地图坐标系和线上场内业务地图坐标系在同一场内如同一零售场内是唯一的，因此，其单应性矩阵即第一单应性矩阵表示的对应关系也是唯一的，所以，在同一场内可以共用，本文将第一单应性矩阵表示的对应关系称为通用间接映射。
步骤101：以第一信息对中实场地图坐标系的信息为参考，在实场地图坐标系和像素坐标系中选择第二位置信息对，建立实场地图坐标系与像素坐标系的第二映射关系。
场内不同摄像头拍摄的图像坐标系不同，因此，在针对不同拍摄装置如摄像头建立第二映射关系(即标定不同拍摄装置)时，可以选取通用间接映射与场内摄像头的抓拍图像坐标系进行对应转换。这里，标定的目的之一就是建立物体从三维世界即线下实场地图坐标系到成像平面即像素坐标系上各坐标点的对应关系。
在一种示例性实例中，步骤101中的建立实场地图坐标系与像素坐标系的第二映射关系，可以包括：
针对每一个拍摄装置，在拍摄的图像上选择出与第二位置点信息对应的第三位置点信息，组成第二位置信息对；
根据选择出的第二位置信息对，计算(如利用OpenCV计算)表示实场地图坐标系和像素坐标系的第二映射关系的第二单应性矩阵。
在一种示例性实例中，第二位置点信息包括至少4个位置点信息，对应的第三位置点信息包括至少4个位置点信息。图2所示的信息处理原理实施例示意图中，是以包括4个位置点信息的第二位置信息对为例建立第二映射关系的，图2中第二位置信息对包括：{第二位置点信息1～第三位置点信息1，第二位置点信息2～第三位置点信息2，第二位置点信息3～第三位置点信息3，第二位置点信息4～第三位置点信息4}。
在一种示例性实例中，本申请实施例可以借助OpenCV计算机视觉库提供的应用程序接口(API)完成单应性矩阵的计算。其中，OpenCV是一个基于伯克利软件套件(BSD，Berkly Software Distribution)许可(开源)发行的跨平台计算机视觉库，可以运行在Linux、Windows、Android和Mac OS等操作系统上。OpenCV轻量级而且高效，由一系列C函数和少量C++类构成，同时提供了Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。本申请实施例中用到的核心API函数能够找到并返回源坐标系和目标坐标系之间的转换矩阵即单应性矩阵，也就是上述表示实场地图坐标系和线上场内业务地图坐标系的第一映射关系的第一单应性矩阵，以及表示实场地图坐标系和像素坐标系的第二映射关系的第二单应性矩阵。
步骤102：根据第一映射关系与第二映射关系，建立线上场内业务地图坐标系与像素坐标系的映射关系。
本申请发明人通过对摄像装置如相机标定的分析，知道：
世界坐标系(world coordinate system)：指的是用户定义的三维世界的坐标系，为了描述目标物在真实世界里的位置而被引入，世界坐标系表示为：Xw、Yw、Zw；
相机坐标系(camera coordinate system)：指的是在摄像装置如相机上建立的坐标系，为了从摄像装置的角度描述物体位置而定义，作为沟通世界坐标系和图像坐标系或像素坐标系的中间介质，相机坐标系表示为：Xc、Yc、Zc；
图像坐标系(image coordinate system)：为了描述成像过程中物体从相机坐标系到图像坐标系的投影透射关系，以方便进一步得到像素坐标系下的坐标，图像坐标系表示为：x、y；
像素坐标系(pixel coordinate system)：为了描述物体成像后的像点在数字图像(如相片)上的坐标，是真正从相机内读取到的信息所在的坐标系，单位为个(像素数目)，像素坐标系表示为：u、v。
摄像装置标定的目的之一是为了建立物体从三维世界到成像平面上各坐标点的对应关系。具体包括：
从世界坐标系到相机坐标系：物体从世界坐标系转换到相机坐标系的过程，可以通过旋转和平移来得到，如公式(1)所示，将其变换矩阵用一个旋转矩阵和平移向量组合成的齐次坐标矩阵来表示：
Figure BDA0002539815650000091
公式(1)中，R表示旋转矩阵，t表示平移向量，为了方便计算，本实施例中假定在世界坐标系中物点所在平面过世界坐标系原点且与zw轴垂直，这样zw＝0。
公式(1)中的变换矩阵
Figure BDA0002539815650000092
即为外参矩阵，可以理解外参矩阵只与相机外部参数有关，且外参矩阵随物体位置的变化而变化。
从相机坐标系到图像坐标系：这一过程实现了从相机坐标系即三维坐标到图像坐标系即二维坐标的转换，也即投影透视过程(用中心投影法将物体投射到投影面上，从而获得的一种较为接近视觉效果的单面投影图，也就是使人眼看到景物近大远小的一种成像方式)。为了描述简单，本实施例中以针孔成像为例，f为焦距，假设相机坐标系中有一点M，那么，在理想(即无畸变)图像坐标系下的成像点P的坐标(xp，yp)如公式(2)所示：
Figure BDA0002539815650000101
将公式(2)化为齐次坐标表示如公式(3)所示：
Figure BDA0002539815650000102
从图像坐标系到像素坐标系：本申请实施例中以像素坐标系原点与图像坐标系原点不重合为例，假设图像坐标系原点在像素坐标系下的坐标为(u0，v0)，每个像素点在图像坐标系x轴、y轴方向的尺寸为：dx、dy，且像素点在实际的图像坐标系下的坐标为(xc，yc)，那么，可以得到像素点在像素坐标系下的坐标(u，v)如公式(4)所示：
Figure BDA0002539815650000103
将公式(4)化为齐次坐标表示如公式(5)所示：
Figure BDA0002539815650000104
公式(3)中的(xp,yp)与公式(5)中的(xc,yc)相同，都是图象坐标系下的坐标，将公式(3)中的转换矩阵与公式(5)中的转换矩阵相乘得到如公式(6)所示的内参矩阵M：
Figure BDA0002539815650000111
内参矩阵M可以理解为矩阵内各值只与相机内部参数有关，且不随物体位置变化而变化。
通过上述公式的推导，最终可以建立像素坐标系和世界坐标系的坐标映射关系如公式(7)所示：
Figure BDA0002539815650000112
公式(7)中，其中，u、v表示像素坐标系中的坐标，s表示尺度因子，r1、r2为旋转矩阵R中的参数，t为平移向量，图像坐标系原点在像素坐标系下的坐标为(u0，v0)，fx、fy、u0、v0、γ表示5个相机内参，γ表示由于制造误差产生的两个坐标轴偏斜参数，通常很小；R，t表示相机外参，Xw、Yw、Zw(假设标定棋盘位于世界坐标系中Zw＝0的平面)表示世界坐标系中的坐标。其中，相机内参为相机自身特性相关的参数，比如相机的焦距、像素大小、相机畸变系数等，相机外参为在世界坐标系中的参数，比如相机的位置、旋转方向等。
如公式(7)所示，对应的变换矩阵称为单应性矩阵H，如公式(8)所示：
Figure BDA0002539815650000113
公式(8)中，
Figure BDA0002539815650000114
称之为内参矩阵。
从公式(8)所示的单应性矩阵H来看，单应性矩阵H同时包含了相机内参和相机外参。
通过上述在不同坐标系之间对相机标定的分析，在一种示例性实例中，步骤102中的建立线上场内业务地图坐标系与像素坐标系的映射关系，包括：
将表示实场地图坐标系和线上场内业务地图坐标系的第一映射关系的第一单应性矩阵，乘以表示实场地图坐标系和像素坐标系的第二映射关系的第二单应性矩阵，得到的乘积为表示线上场内业务地图坐标系与像素坐标系的映射关系的单应性矩阵。
本申请信息处理方法，以实场地图坐标系作为中间介质，巧妙地建立了线上场内业务地图坐标系与像素坐标系的映射关系，即完成了对摄像装置的标定，保证了后续在业务应用中，摄像头抓拍图像上的需要定位的对象如人或物等会实时准确地定位到线上场内业务地图上，也就是说，为实现室内场景的准确定位提供了强有力的保障。
在一种示例性实例中，本申请信息处理方法还包括：
对建立的线上场内业务地图坐标系与像素坐标系的映射关系进行验证，以确保摄像装置拍摄的图像上的需要定位的对象实时准确地定位到线上场内业务地图上。
在一种示例性实例中，对建立的线上场内业务地图坐标系与像素坐标系的映射关系进行验证，可以包括：
通过预先设置的可视化界面，在摄像装置拍摄的图像上通过拖动操作形成拖动轨迹；
判断是否能在线上场内业务地图上实时准确地标记出拖动操作的拖动轨迹；如果能够标记出，则认为建立的线上场内业务地图坐标系与像素坐标系的映射关系正确，如果不能标记出，则认为建立的线上场内业务地图坐标系与像素坐标系的映射关系不正确。
图3(a)为本申请对信息处理结果进行验证成功的实施例的示意图，图3(b)为本申请对信息处理结果进行验证失败的实施例的示意图，如图3(a)和图3(b)所示，在预先设置的可视化界面中，左侧显示的是一张某零售场的线上场内业务地图，右侧显示的是该零售场内某摄像头拍摄的某一帧图像。如图3(a)所示的实施例中，在图像上通过拖动鼠标的方式圈出位置点1～位置点4围起来的边界，如图3(a)中右侧的经过位置点1、位置点2、位置点3和位置点4的虚线围起来的轨迹。如果在线上场内业务地图上的位置点1～位置点4实时准确地圈出该边界，如图3(a)中左侧的经过位置点1、位置点2、位置点3和位置点4的实线围起来的标识轨迹的边界线，那么，表明验证通过，也就是说，建立的线上场内业务地图坐标系与像素坐标系的映射关系是正确的；如果在线上场内业务地图上的位置点1～位置点4不能准确地圈出图3(a)或图3(b)右侧所示的轨迹边界，如图3(b)所示，比如在位置点2和位置点3之间出现断线或连接错位等，那么，表明验证未通过，也就是说，建立的线上场内业务地图坐标系与像素坐标系的映射关系是不正确的。
在一种示例性实例中，本申请还可以包括：
当验证出建立的线上场内业务地图坐标系与像素坐标系的映射关系不正确时，重新执行图1所示的信息处理方法。
在一种示例性实例中，本申请还可以包括：
当验证出建立的线上场内业务地图坐标系与像素坐标系的映射关系正确时，将验证结果发送给云端服务器，由云端服务器对验证结果做进一步验证，以确保摄像装置拍摄的图像上的需要定位的对象实时精准地定位到线上场内业务地图上。
以室内零售场所为例，通过本申请信息处理方法建立的线上场内业务地图坐标系与像素坐标系的映射关系，实现了将线上室内地图精确到对货架、摊位等级别的位置标定的方式，也就是说，在业务应用中后续通过摄像头抓拍到的图像可以实现在线上室内地图上精确定位用户、货品及二者发生关系(如拿货、付款等)的位置等，特别适合于线下室内零售场如超市、便利店、书店、杂货店等。
本申请还提供一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行上述任一项的信息处理方法。
本申请再提供一种实现信息处理的设备，包括存储器和处理器，其中，存储器中存储有以下可被处理器执行的指令：用于执行上任一项所述的信息处理方法的步骤。
图4为本申请室内地图定位方法的实施例的流程示意图，如图4所示，包括：
步骤400：在图像上选择需要定位的对象。
在一种示例性实例中，图像包括线下室内零售场中的摄像装置拍摄的图像。
步骤401：根据建立的线上场内业务地图坐标系与像素坐标系的映射关系，确定需要定位的对象在线上场内业务地图上的位置。
在一种示例性实例中，确定需要定位的对象在线上场内业务地图上的位置，可以包括：
根据图像上选择需要定位的对象的坐标信息，等于表示线上场内业务地图坐标系与像素坐标系的映射关系的单应性矩阵与需要定位的对象在线上场内业务地图上的坐标信息的乘积，可以通过简单的运算获得需要定位的对象在线上场内业务地图上的位置。
在一种示例性实例中，步骤401之前还可以包括：
建立的线上场内业务地图坐标系与像素坐标系的映射关系。
在一种示例性实例中，可以根据图1所述的任一项信息处理方法来建立的线上场内业务地图坐标系与像素坐标系的映射关系。
本申请实施例提供的室内地图定位方法，以实场地图坐标系作为中间介质，巧妙地建立了线上场内业务地图坐标系与像素坐标系的映射关系，简单、准确地实现了室内场景的定位。本申请实施例中，通过摄像头抓拍到图像实现了在线上室内地图上精确定位用户、货品及二者发生关系(如拿货、付款等)的位置等，特别适合于线下室内零售场如超市、便利店、书店、杂货店等。
本申请还提供一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行上述任一项的实现室内地图定位的方法。
本申请再提供一种实现室内地图定位的设备，包括存储器和处理器，其中，存储器中存储有以下可被处理器执行的指令：用于执行上任一项所述的实现室内地图定位的方法的步骤。
下面结合应用场景描述本申请的具体实现。
第一实施例，以线下零售场自助支付场景为例，比如：需要排查可疑人员时，从零售场内摄像头拍摄的图像中，找出包括需要排查的可疑人员的所有图像，通过这些图像上的可疑人员所在的位置，通过本申请实施例提供的室内地图定位方法，可以准确地在线上场内业务地图上将该可疑人员的行动轨迹标识出来，这样，就可以很清楚地看到该可疑人员在零售场的哪些地方如货架活动过，进一步可以查看到该可疑人员在店内的拿货信息，进而可以确定该可疑人员是否漏付。再如：对于零售场进货的情况，需要排查订单时，从零售场内摄像头拍摄的图像中，找出包括订单中需要排查的货品的所有图像，通过这些图像上的该货品所在的位置，通过本申请实施例提供的室内地图定位方法，可以准确地在线上场内业务地图上将该货品的行动轨迹标识出来，这样，就可以很清楚地看到该货品在零售场的哪些地方出现过，进一步可以查看到该货品是否进入零售场内；如果从线上场内业务地图上显示的该货品的行动轨迹确定出该货品未出现逃单，那么还可以进一步确定出该货品是否放置到了正确的货架上等。
第二实施例，通过第一实施例中对可疑人员的排查方法，对于多次出现的可疑人员，通过本申请实施例提供的室内地图定位方法，可以在发现该可疑人员进入零售场，便可以在线实时跟踪这些进场的可疑人员，确认该人员的拿货动作，进一步确定是否存在换货等行为，从而找出了线下新零售场内时常出现的违规行为人等，有效规避了商家潜在可能的损失。
第三实施例，通过第一实施例中对货品的排查方法，可以实现对货架上的货品被查看、被购买的数量进行统计。
第四实施例，通过本申请对不同货品的出货量(如被查看、被购买)的统计，可以实现实时对场内不同货品的热度分布进行统计，这样，便于安排工作人员提升服务质量、或者尽早补货、或者预防热度货品所在位置的单位面积人员过多发生踩踏事件。
虽然本申请所揭露的实施方式如上，但所述的内容仅为便于理解本申请而采用的实施方式，并非用以限定本申请。任何本申请所属领域内的技术人员，在不脱离本申请所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本申请的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (19)

1.一种信息处理方法，包括：
在实场地图坐标系和线上场内业务地图坐标系中选择第一位置信息对，建立实场地图坐标系与线上场内业务地图坐标系的第一映射关系；
以第一信息对中实场地图坐标系的信息为参考，在实场地图坐标系和像素坐标系中选择第二位置信息对，建立实场地图坐标系与像素坐标系的第二映射关系；
根据第一映射关系与第二映射关系，建立线上场内业务地图坐标系与像素坐标系的映射关系。
2.根据权利要求1所述的信息处理方法，其中，所述建立实场地图坐标系与线上场内业务地图坐标系的第一映射关系，包括：
手工建立所述实场地图坐标系；
在确定的所述实场地图坐标系中选择第二位置点信息，在所述线上场内业务地图上选择出与第二位置点信息对应的第一位置点信息，组成所述第一位置信息对；
根据所述第一位置信息对，计算表示所述第一映射关系的第一单应性矩阵。
3.根据权利要求1所述的信息处理方法，其中，所述建立实场地图坐标系与线上场内业务地图坐标系的第一映射关系，包括：
自动建立所述实场地图坐标系；
在确定的所述实场地图坐标系中选择第二位置点信息，在所述线上场内业务地图上选择出与第二位置点信息对应的第一位置点信息，组成所述第一位置信息对；
根据所述第一位置信息对，计算表示所述第一映射关系的第一单应性矩阵。
4.根据权利要求1所述的信息处理方法，其中，所述建立实场地图坐标系与像素坐标系的第二映射关系，包括：
针对每一个拍摄装置，在拍摄的图像上选择出与所述第二位置点信息对应的第三位置点信息，组成所述第二位置信息对；
根据所述第二位置信息对，计算表示所述第二映射关系的第二单应性矩阵。
5.根据权利要求2、3或4所述的信息处理方法，其中，所述第二位置点信息包括至少4个位置点信息。
6.根据权利要求5所述的信息处理方法，其中，利用OpenCV计算机视觉库提供的应用程序接口API实现所述计算。
7.根据权利要求1所述的信息处理方法，其中，所述建立线上场内业务地图坐标系与像素坐标系的映射关系，包括：
表示所述第一映射关系的第一单应性矩阵乘以表示所述第二映射关系的第二单应性矩阵，得到的乘积为表示所述线上场内业务地图坐标系与所述像素坐标系的所述映射关系的单应性矩阵。
8.根据权利要求1、2、3、4或7所述的信息处理方法，还包括：
对建立的所述线上场内业务地图坐标系与所述像素坐标系的所述映射关系进行验证。
9.根据权利要求8所述的信息处理方法，其中，所述对建立的线上场内业务地图坐标系与像素坐标系的映射关系进行验证，包括：
通过预先设置的可视化界面，在摄像装置拍摄的图像上通过拖动操作形成拖动轨迹；
如果在所述线上场内业务地图上标记出的所述拖动轨迹，则认为建立的所述映射关系正确，如果在所述线上场内业务地图上不能标记出的所述拖动轨迹，则认为建立的所述映射关系不正确。
10.根据权利要求9所述的信息处理方法，还包括：
当验证出建立的所述映射关系不正确时，返回所述建立实场地图坐标系与线上场内业务地图坐标系的第一映射关系的步骤重新执行。
11.根据权利要求9所述的信息处理方法，还包括：
当验证出建立的所述映射关系正确时，将验证结果发送给云端服务器，由云端服务器对验证结果做进一步验证。
12.一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行权利要求1～权利要求11任一项所述的信息处理方法。
13.一种实现信息处理的设备，包括存储器和处理器，其中，存储器中存储有以下可被处理器执行的指令：用于执行权利要求1～权利要求11任一项所述的信息处理方法的步骤。
14.一种室内地图定位方法，包括：
在图像上选择需要定位的对象；
根据建立的线上场内业务地图坐标系与像素坐标系的映射关系，确定需要定位的对象在线上场内业务地图上的位置。
15.根据权利要求14所述的室内地图定位方法，其中，所述确定需要定位的对象在线上场内业务地图上的位置，包括：
根据所述图像上选择需要定位的对象的坐标信息，等于表示线上场内业务地图坐标系与像素坐标系的映射关系的单应性矩阵与需要定位的对象在线上场内业务地图上的坐标信息的乘积，获取所述需要定位的对象在线上场内业务地图上的位置。
16.根据权利要求14或15所述的室内地图定位方法，所述确定需要定位的对象在线上场内业务地图上的位置之前，还包括：
建立的所述线上场内业务地图坐标系与所述像素坐标系的映射关系。
17.根据权利要求16所述的室内地图定位方法，所述建立的所述线上场内业务地图坐标系与所述像素坐标系的映射关系，包括：权利要求1～权利要求11任一项所述的信息处理方法。
18.一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行权利要求14～权利要求17任一项所述的室内地图定位方法。
19.一种实现室内地图定位的设备，包括存储器和处理器，其中，存储器中存储有以下可被处理器执行的指令：用于执行权利要求14～权利要求17任一项所述的室内地图定位方法的步骤。
CN202010543725.0A 2020-06-15 2020-06-15 信息处理方法及设备和室内地图定位方法及设备 Pending CN113804195A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010543725.0A CN113804195A (zh) 2020-06-15 2020-06-15 信息处理方法及设备和室内地图定位方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010543725.0A CN113804195A (zh) 2020-06-15 2020-06-15 信息处理方法及设备和室内地图定位方法及设备

Publications (1)

Publication Number Publication Date
CN113804195A true CN113804195A (zh) 2021-12-17

Family

ID=78944023

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010543725.0A Pending CN113804195A (zh) 2020-06-15 2020-06-15 信息处理方法及设备和室内地图定位方法及设备

Country Status (1)

Country Link
CN (1) CN113804195A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115797445A (zh) * 2023-02-06 2023-03-14 成都智元汇信息技术股份有限公司 一种基于图像识别的室内人员定位方法及装置及介质

Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140362107A1 (en) * 2013-06-10 2014-12-11 International Business Machines Corporation Generating a composite field of view using a plurality of oblique panoramic images of a geographic area
US20150154773A1 (en) * 2013-01-09 2015-06-04 Google Inc. Using Geographic Coordinates On A Digital Image Of A Physical Map
CN105785989A (zh) * 2016-02-24 2016-07-20 中国科学院自动化研究所 利用行进中机器人标定分布式网络摄像机的系统和相关方法
EP3051495A1 (en) * 2015-01-29 2016-08-03 Wipro Limited Systems and methods for mapping object coordinates from a video frame view to real world coordinates
CN106027960A (zh) * 2016-05-13 2016-10-12 深圳先进技术研究院 一种定位系统和方法
CN106295512A (zh) * 2016-07-27 2017-01-04 哈尔滨工业大学 基于标识的多纠正线室内视觉数据库构建方法以及室内定位方法
US20170116783A1 (en) * 2015-10-26 2017-04-27 Institute Of Nuclear Energy Research Atomic Energy Council, Executive Yuan Navigation System Applying Augmented Reality
CN106651990A (zh) * 2016-12-23 2017-05-10 芜湖哈特机器人产业技术研究院有限公司 一种室内地图构建方法及基于室内地图的室内定位方法
CN107103069A (zh) * 2017-04-19 2017-08-29 成都领创先科技有限公司 用于大型超市室内地图构建的系统及方法
US20180249298A1 (en) * 2017-01-20 2018-08-30 Bmc Software, Inc. Asset floor map
CN108762492A (zh) * 2018-05-14 2018-11-06 歌尔科技有限公司 基于虚拟场景实现信息处理的方法、装置、设备及存储介质
CN109272454A (zh) * 2018-07-27 2019-01-25 阿里巴巴集团控股有限公司 一种增强现实设备的坐标系校准方法及装置
CN109540144A (zh) * 2018-11-29 2019-03-29 北京久其软件股份有限公司 一种室内定位方法及装置
CN109685909A (zh) * 2018-11-12 2019-04-26 腾讯科技（深圳）有限公司 图像的显示方法、装置、存储介质和电子装置
CN109934892A (zh) * 2019-03-22 2019-06-25 河南思维轨道交通技术研究院有限公司 惯导运动轨迹绘制方法、装置和计算机设备
CN109945853A (zh) * 2019-03-26 2019-06-28 西安因诺航空科技有限公司 一种基于3d点云航拍图像的地理坐标定位系统和方法
CN110057352A (zh) * 2018-01-19 2019-07-26 北京图森未来科技有限公司 一种相机姿态角确定方法及装置
CN110174093A (zh) * 2019-05-05 2019-08-27 腾讯科技（深圳）有限公司 定位方法、装置、设备和计算机可读存储介质
CN110595494A (zh) * 2019-09-17 2019-12-20 百度在线网络技术（北京）有限公司 地图误差确定方法和装置
CN111009035A (zh) * 2019-11-28 2020-04-14 河南艾欧电子科技有限公司 模拟场景的创建方法及装置
CN111126304A (zh) * 2019-12-25 2020-05-08 鲁东大学 一种基于室内自然场景图像深度学习的增强现实导航方法
CN111275730A (zh) * 2020-01-13 2020-06-12 平安国际智慧城市科技股份有限公司 地图区域的确定方法、装置、设备及存储介质

Patent Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150154773A1 (en) * 2013-01-09 2015-06-04 Google Inc. Using Geographic Coordinates On A Digital Image Of A Physical Map
US20140362107A1 (en) * 2013-06-10 2014-12-11 International Business Machines Corporation Generating a composite field of view using a plurality of oblique panoramic images of a geographic area
EP3051495A1 (en) * 2015-01-29 2016-08-03 Wipro Limited Systems and methods for mapping object coordinates from a video frame view to real world coordinates
US20170116783A1 (en) * 2015-10-26 2017-04-27 Institute Of Nuclear Energy Research Atomic Energy Council, Executive Yuan Navigation System Applying Augmented Reality
CN105785989A (zh) * 2016-02-24 2016-07-20 中国科学院自动化研究所 利用行进中机器人标定分布式网络摄像机的系统和相关方法
CN106027960A (zh) * 2016-05-13 2016-10-12 深圳先进技术研究院 一种定位系统和方法
CN106295512A (zh) * 2016-07-27 2017-01-04 哈尔滨工业大学 基于标识的多纠正线室内视觉数据库构建方法以及室内定位方法
CN106651990A (zh) * 2016-12-23 2017-05-10 芜湖哈特机器人产业技术研究院有限公司 一种室内地图构建方法及基于室内地图的室内定位方法
US20180249298A1 (en) * 2017-01-20 2018-08-30 Bmc Software, Inc. Asset floor map
CN107103069A (zh) * 2017-04-19 2017-08-29 成都领创先科技有限公司 用于大型超市室内地图构建的系统及方法
CN110057352A (zh) * 2018-01-19 2019-07-26 北京图森未来科技有限公司 一种相机姿态角确定方法及装置
CN108762492A (zh) * 2018-05-14 2018-11-06 歌尔科技有限公司 基于虚拟场景实现信息处理的方法、装置、设备及存储介质
CN109272454A (zh) * 2018-07-27 2019-01-25 阿里巴巴集团控股有限公司 一种增强现实设备的坐标系校准方法及装置
CN109685909A (zh) * 2018-11-12 2019-04-26 腾讯科技（深圳）有限公司 图像的显示方法、装置、存储介质和电子装置
CN109540144A (zh) * 2018-11-29 2019-03-29 北京久其软件股份有限公司 一种室内定位方法及装置
CN109934892A (zh) * 2019-03-22 2019-06-25 河南思维轨道交通技术研究院有限公司 惯导运动轨迹绘制方法、装置和计算机设备
CN109945853A (zh) * 2019-03-26 2019-06-28 西安因诺航空科技有限公司 一种基于3d点云航拍图像的地理坐标定位系统和方法
CN110174093A (zh) * 2019-05-05 2019-08-27 腾讯科技（深圳）有限公司 定位方法、装置、设备和计算机可读存储介质
CN110595494A (zh) * 2019-09-17 2019-12-20 百度在线网络技术（北京）有限公司 地图误差确定方法和装置
CN111009035A (zh) * 2019-11-28 2020-04-14 河南艾欧电子科技有限公司 模拟场景的创建方法及装置
CN111126304A (zh) * 2019-12-25 2020-05-08 鲁东大学 一种基于室内自然场景图像深度学习的增强现实导航方法
CN111275730A (zh) * 2020-01-13 2020-06-12 平安国际智慧城市科技股份有限公司 地图区域的确定方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
谢荣平: "室内外增强现实导航系统的研究与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》, 15 July 2019 (2019-07-15), pages 138 - 1366 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115797445A (zh) * 2023-02-06 2023-03-14 成都智元汇信息技术股份有限公司 一种基于图像识别的室内人员定位方法及装置及介质

Similar Documents

Publication Publication Date Title
US10977818B2 (en) Machine learning based model localization system
Koch et al. Evaluation of cnn-based single-image depth estimation methods
CN110111262B (zh) 一种投影仪投影畸变校正方法、装置和投影仪
US11455746B2 (en) System and methods for extrinsic calibration of cameras and diffractive optical elements
US9270974B2 (en) Calibration between depth and color sensors for depth cameras
CN108564527B (zh) 基于神经网络的全景图内容补全和修复的方法及装置
CN108205797A (zh) 一种全景视频融合方法及装置
Gai et al. A novel dual-camera calibration method for 3D optical measurement
Olesen et al. Real-time extraction of surface patches with associated uncertainties by means of kinect cameras
Silva et al. Camera calibration using a color-depth camera: Points and lines based DLT including radial distortion
US20180322671A1 (en) Method and apparatus for visualizing a ball trajectory
CN110728649A (zh) 用于生成位置信息的方法和装置
CN110807431A (zh) 对象定位方法、装置、电子设备及存储介质
CN115035162A (zh) 基于视觉slam的监控视频人员定位跟踪方法及系统
CN109934165A (zh) 一种关节点检测方法、装置、存储介质及电子设备
CN112862861B (zh) 相机运动路径确定方法、确定装置及拍摄系统
WO2022241644A1 (en) Apparatus and method for augmented reality user manual
CN113804195A (zh) 信息处理方法及设备和室内地图定位方法及设备
EP2779102A1 (en) Method of generating an animated video sequence
CN113763478B (zh) 无人车相机标定方法、装置、设备、存储介质及系统
Francken et al. Screen-camera calibration using a spherical mirror
RU2679200C1 (ru) Способ и система отображения данных с видеокамеры
CN114155233A (zh) 获得表示图像的锐度级别的配准误差图的装置和方法
EP3882846B1 (en) Method and device for collecting images of a scene for generating virtual reality data
US10032080B2 (en) Evaluation of models generated from objects in video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220627

Address after: Room 5034, building 3, 820 wenerxi Road, Xihu District, Hangzhou City, Zhejiang Province

Applicant after: ZHEJIANG LIANHE TECHNOLOGY Co.,Ltd.

Address before: Box 847, four, Grand Cayman capital, Cayman Islands, UK

Applicant before: ALIBABA GROUP HOLDING Ltd.

TA01 Transfer of patent application right