CN113516707A - 基于图像的对象定位方法及装置 - Google Patents
基于图像的对象定位方法及装置 Download PDFInfo
- Publication number
- CN113516707A CN113516707A CN202010895912.5A CN202010895912A CN113516707A CN 113516707 A CN113516707 A CN 113516707A CN 202010895912 A CN202010895912 A CN 202010895912A CN 113516707 A CN113516707 A CN 113516707A
- Authority
- CN
- China
- Prior art keywords
- image
- position information
- target
- information
- coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 86
- 230000009466 transformation Effects 0.000 claims description 151
- 239000011159 matrix material Substances 0.000 claims description 120
- 238000001514 detection method Methods 0.000 claims description 61
- 238000012549 training Methods 0.000 claims description 44
- 230000004807 localization Effects 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 description 31
- 230000008859 change Effects 0.000 description 15
- 230000002452 interceptive effect Effects 0.000 description 15
- 238000012545 processing Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000013507 mapping Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 239000004570 mortar (masonry) Substances 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Algebra (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本说明书提供基于图像的对象定位方法及装置,其中所述基于图像的对象定位方法包括:获取图像采集终端采集的目标图像;确定所述目标图像中目标对象的图像坐标信息,并根据所述图像坐标信息定位所述目标对象在空间坐标系中的空间位置信息;基于所述空间位置信息确定所述目标对象在所述图像采集终端的图像采集区域内的真实位置信息,建立所述目标图像与所述真实位置信息的对应关系表并存储至位置数据库;统计预设时间周期内的所述位置数据库中的真实位置信息组成位置信息集合,并通过所述位置信息集合确定的目标真实位置信息生成热销商品的路线图;实现准确的针对热销商品生成路线图,方便引导用户进行采购。
Description
本申请为申请号202010276997.9,申请日2020年04月10日,发明名称为“基于图像的对象定位方法及装置”的分案申请。
技术领域
本说明书涉及图像处理技术领域,特别涉及一种基于图像的对象定位方法及装置。
背景技术
随着互联网技术的发展,定位服务得到了广泛的推广与应用,而室内定位服务成为了主要的突破方向。在零售场景中,室内定位能为客户提供位置服务和商品导航,从而提高用户的购买成功率,同时,根据用户实时位置统计的运动轨迹和热力图的分布,可以用于分析商品的销售效果,从而可以对商品的摆放或商品的数量进行调整。然而,室内定位服务对定位的精准度具有较高的要求,并且越是精准的室内定位服务所需要花销的成本也会随之增加,应用场景因此受到很大程度上的限定。
发明内容
有鉴于此,本说明书实施例提供了一种基于图像的对象定位方法。本说明书同时涉及一种基于图像的对象定位装置,一种计算设备,以及一种计算机可读存储介质,以解决现有技术中存在的技术缺陷。
根据本说明书实施例的第一方面,提供了一种基于图像的对象定位方法,包括:
获取图像采集终端采集的目标图像,以及所述图像采集终端采集所述目标图像时的位置信息;
基于检测模型对所述目标图像中的目标对象进行检测,获得所述目标对象在基于所述目标图像建立的图像坐标系中的图像坐标信息;
确定所述图像坐标系与所述图像采集终端对应的终端坐标系的第一坐标变换矩阵;
基于所述位置信息和所述图像坐标信息,以及所述第一坐标变换矩阵和第二坐标变换矩阵,定位所述目标对象在空间坐标系中的空间位置信息;
其中,所述第二坐标变换矩阵基于所述终端坐标系与所述空间坐标系确定。
可选的,还包括:
基于所述空间位置信息确定所述目标对象在所述图像采集终端的图像采集区域内的真实位置信息;所述真实位置信息中包含与所述目标对象具有交互关系的交互对象的对象位置信息;
建立所述目标图像与所述真实位置信息之间的对应关系表并存储至位置数据库。
可选的,还包括:
在所述位置数据库中提取预设时间周期内的图像与真实位置信息之间的对应关系表;
基于所述对应关系表,提取真实位置信息组成位置信息集合;
通过所述位置信息集合确定目标真实位置信息,并创建所述目标真实位置信息对应的路线图进行展示。
可选的,所述基于所述位置信息和所述图像坐标信息,以及所述第一坐标变换矩阵和第二坐标变换矩阵,定位所述目标对象在空间坐标系中的空间位置信息,包括:
采用逆透视变换算法对所述图像坐标信息按照所述第一坐标变换矩阵、所述第二坐标变换矩阵以及所述位置信息进行解算;
根据解算结果确定所述图像坐标信息在所述空间坐标系中对应的空间坐标信息,将所述空间坐标信息作为所述空间位置信息。
可选的,所述确定所述图像坐标系与所述图像采集终端对应的终端坐标系的第一坐标变换矩阵,包括:
获取所述图像采集终端在采集所述目标图像时的终端参数;
基于所述终端参数以及所述图像坐标信息,确定所述目标对象在所述终端坐标系中对应的终端坐标信息;
按照所述图像坐标信息与所述终端坐标信息二者的变换关系,确定所述第一坐标变换矩阵。
可选的,所述第二坐标变换矩阵通过如下方式确定:
基于所述图像采集终端建立所述终端坐标系,以及基于所述图像采集终端的投影点建立所述空间坐标系;
选择目标空间坐标信息确定在所述终端坐标系中对应的第一齐次坐标信息,以及在所述空间坐标系中对应的第二齐次坐标信息;
根据所述第一齐次坐标信息以及所述第二齐次坐标信息,确定所述终端坐标系与所述空间坐标系二者之间的变换关系;
基于所述变换关系确定所述第二坐标变换矩阵。
可选的,所述获取图像采集终端采集的目标图像,以及所述图像采集终端采集所述目标图像时的位置信息,包括:
获取所述图像采集终端在预设的时间节点采集的所述目标图像;
根据在所述时间节点所述图像采集终端配置的高度传感器确定高度信息,以及所述图像采集终端配置的角度传感器确定角度信息;
基于所述高度信息以及所述角度信息确定所述位置信息。
可选的,所述基于检测模型对所述目标图像中的目标对象进行检测,获得所述目标对象在基于所述目标图像建立的图像坐标系中的图像坐标信息,包括:
将所述目标图像输入至所述检测模型对所述目标图像中的目标对象进行检测,获得所述检测模型输出的所述目标对象在所述目标图像中的图像位置信息;
按照所述目标图像建立所述图像坐标系,并根据所述图像位置信息确定所述目标对象在所述图像坐标系中的所述图像坐标信息。
可选的,所述通过所述位置信息集合确定目标真实位置信息,包括:
通过对所述位置信息集合中包含的真实位置信息进行聚类处理,根据聚类处理结果确定所述目标真实位置信息;
或者,
选择所述位置信息集合中重复率最高的真实位置信息,确定为所述目标真实位置信息。
可选的,所述检测模型通过如下方式训练:
获取训练图像,并基于所述训练图像中训练对象对应的图像坐标信息构建训练样本;
将所述训练样本输入至基于所述训练图像与所述训练对象对应的图像坐标信息之间的关系构建的初始检测模型进行训练,获得所述检测模型。
根据本说明书实施例的第二方面,提供了一种基于图像的对象定位装置,包括:
获取模块,被配置为获取图像采集终端采集的目标图像,以及所述图像采集终端采集所述目标图像时的位置信息;
检测模块,被配置为基于检测模型对所述目标图像中的目标对象进行检测,获得所述目标对象在基于所述目标图像建立的图像坐标系中的图像坐标信息;
确定模块,被配置为确定所述图像坐标系与所述图像采集终端对应的终端坐标系的第一坐标变换矩阵;
定位模块,被配置为基于所述位置信息和所述图像坐标信息,以及所述第一坐标变换矩阵和第二坐标变换矩阵,定位所述目标对象在空间坐标系中的空间位置信息;
其中,所述第二坐标变换矩阵基于所述终端坐标系与所述空间坐标系确定。
可选的,还包括:
确定真实位置信息模块,被配置为基于所述空间位置信息确定所述目标对象在所述图像采集终端的图像采集区域内的真实位置信息;所述真实位置信息中包含与所述目标对象具有交互关系的交互对象的对象位置信息;
存储模块,被配置为建立所述目标图像与所述真实位置信息之间的对应关系表并存储至位置数据库。
可选的,还包括:
提取对应关系表模块,被配置为在所述位置数据库中提取预设时间周期内的图像与真实位置信息之间的对应关系表;
组成位置信息集合模块,被配置为基于所述对应关系表,提取真实位置信息组成位置信息集合;
展示路线图模块,被配置为通过所述位置信息集合确定目标真实位置信息,并创建所述目标真实位置信息对应的路线图进行展示。
根据本说明书实施例的第三方面,提供了一种计算设备,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令:
获取图像采集终端采集的目标图像,以及所述图像采集终端采集所述目标图像时的位置信息;
基于检测模型对所述目标图像中的目标对象进行检测,获得所述目标对象在基于所述目标图像建立的图像坐标系中的图像坐标信息;
确定所述图像坐标系与所述图像采集终端对应的终端坐标系的第一坐标变换矩阵;
基于所述位置信息和所述图像坐标信息,以及所述第一坐标变换矩阵和第二坐标变换矩阵,定位所述目标对象在空间坐标系中的空间位置信息;
其中,所述第二坐标变换矩阵基于所述终端坐标系与所述空间坐标系确定。
根据本说明书实施例的第四方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,该指令被处理器执行时实现所述基于图像的对象定位方法的步骤。
本说明书一实施例提供的基于图像的对象定位方法,通过检测模型对图像采集终端采集的目标图像中的目标对象进行检测,获得所述目标对象在图像坐标系中的图像坐标信息,并确定所述图像坐标系与终端坐标系的第一坐标变换矩阵,以及终端坐标系和空间坐标系的第二坐标变换矩阵,基于所述图像采集终端采集所述目标图像时的位置信息和所述图像坐标信息,以及所述第一坐标变换矩阵和第二坐标变换矩阵,定位所述目标对象的空间位置信息,实现了在对目标对象进行定位的过程中,考虑到图像采集终端采集目标图像时发生的位置变化,避免图像采集终端的位置变化导致定位精准度降低的情况发生,从而更进一步的提高了对目标对象进行定位的定位精准度。
附图说明
图1是本说明书一实施例提供的一种基于图像的对象定位方法的流程图;
图2是本说明书一实施例提供的一种基于图像的对象定位方法中图像坐标系与终端坐标系的变换关系的示意图;
图3是本说明书一实施例提供的一种基于图像的对象定位方法中终端坐标系与空间坐标系的变换关系的示意图;
图4是本说明书一实施例提供的一种基于图像的对象定位方法中针对用户进行定位的示意图;
图5是本说明书一实施例提供的一种应用于室内定位场景中的基于图像的对象定位方法的处理流程图;
图6是本说明书一实施例提供的一种基于图像的对象定位装置的结构示意图;
图7是本说明书一实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本说明书内涵的情况下做类似推广,因此本说明书不受下面公开的具体实施的限制。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
在本说明书中,提供了一种基于图像的对象定位方法,本说明书同时涉及一种基于图像的对象定位装置,一种计算设备,以及一种计算机可读存储介质,在下面的实施例中逐一进行详细说明。
图1示出了根据本说明书一实施例提供的一种基于图像的对象定位方法的流程图,具体包括以下步骤:
步骤102:获取图像采集终端采集的目标图像,以及所述图像采集终端采集所述目标图像时的位置信息。
实际应用中,用户在实体店进行购物的过程中,为了能够给用户带来更便捷的服务,部分实体店都会为用户提供位置服务,比如商品导航路线图,用户可以通过该路线图寻找到需要购买的商品,进而可以根据用户的位置数据统计出用户的运动轨迹,从而可以分析出店内的热销商品,方便对进入店内的新用户进行导购,提高商品的购买成功率。而通过用户的位置数据统计运动轨迹需要对用户的位置进行精准的定位,才能够实现分析出热销商品;在对用户的位置进行定位的过程中,虽然可以实现对用户的位置进行定位,但是存在着定位精准度低的问题,并且若通过配置导购机器人等方式实现精准的定位,成本上会是一笔较大的开销,很难做到广泛的应用。
本实施例提供的基于图像的对象定位方法,为了能够实现对用户的位置进行精准的定位,并且减少定位服务所需要成本,通过检测模型对图像采集终端采集的目标图像中的目标对象进行检测,获得所述目标对象在图像坐标系中的图像坐标信息,并确定所述图像坐标系与终端坐标系的第一坐标变换矩阵,以及终端坐标系和空间坐标系的第二坐标变换矩阵,基于所述图像采集终端采集所述目标图像时的位置信息和所述图像坐标信息,以及所述第一坐标变换矩阵和第二坐标变换矩阵,定位所述目标对象的空间位置信息,实现了可以精准的对目标对象的位置进行定位,并且在定位的过程中考虑到的图像采集终端的位置变化情况,更进一步的提高了对目标对象进行定位的精准度。
具体实施时,所述图像采集终端可以是照相机或者摄像头等能够进行图像采集的终端设备,所述目标图像具体是指图像采集终端采集到需要根据该图像确定目标对象的位置信息的图像,相应的,所述目标对象具体是指需要对其进行定位的对象,可以是用户或者物品等。
进一步的,在根据所述目标图像实现对目标对象进行定位的过程中,由于对目标对象进行定位的位置是存在于图像采集终端对应的图像采集区域内,也就是目标对象所处的空间中,故需要考虑到图像采集终端的安装位置以及采集目标图像时的偏转角度对定位精准度的影响,本实施例的一个或多个实施方式中,需要在获取目标图像的同时获取图像采集终端的位置信息,具体实现方式如下所述:
获取所述图像采集终端在预设的时间节点采集的所述目标图像;
根据在所述时间节点所述图像采集终端配置的高度传感器确定高度信息,以及所述图像采集终端配置的角度传感器确定角度信息;
基于所述高度信息以及所述角度信息确定所述位置信息。
实际应用中,首先需要在预设的时间节点采集所述目标图像,用于后续对目标图像中存在的目标对象进行定位,其次通过所述图像采集终端配置的高度传感器确定所述图像采集终端的高度信息,所述高度信息可以理解为是所述图像采集终端的安装高度,即图像采集终端距离地面的高度,同时通过所述图像采集终端配置的角度传感器确定所述图像采集终端的角度信息,所述角度信息可以理解为所述图像采集终端在采集所述目标图像时发生的偏转角度,即图像采集终端在采集目标图像时发生的俯仰角变化、倾斜角变化和航向角变化;最后通过所述角度信息和高度信息即可确定所述图像采集终端的位置信息;
其中,所述高度传感器可以采用TOF(Time of flight,飞行时间测距法)实现高度信息的获取,具体是通过向地面连续发送光脉冲,然后用户高度传感器接收从地面返回的光,通过探测光脉冲的飞行时间来测得高度信息;所述角度传感器可以通过三轴加速度计传感器实现角度信息的获取,具体是通过三轴加速度计传感器输出的三个角度不同的加速度(ax,ay,az),从而计算出图像采集终端的角度信息,计算角度信息可以通过公式(1)和公式(2)实现:
p=asin(ay) (1)
r=-atan(ax/az) (2)
其中,ax,ay,az分别表示三轴加速度计传感器输出的三个不同角度的加速度,p表示图像采集终端出现偏差后的第一角度,r表示图像采集终端出现偏差后的第二角度,通过(p,r)即可确定图像采集终端的水平倾斜角。
具体实施时,在根据所述目标图像确定所述目标对象的空间位置信息的过程中,由于图像采集终端对应的终端坐标系以及空间坐标系都是预先建立完成的,故当图像采集终端采集目标图像时,图像采集终端的拍摄角度会有一定的变化,若不考虑此时图像采集终端的拍摄角度的变化,以及图像采集终端的安装高度,可能会导致图像在后续对目标对象进行定位过程中,最终定位的位置会存在一定的误差,导致目标对象在空间坐标系中的空间坐标信息与真实的空间坐标信息会受到拍摄角度的影响,故在进行定位之前需要获取所述图像采集终端的位置信息,以用于后续可以对目标对象的定位位置进行校正。
例如,某商店需要根据每个商品位置前对应的用户出现的频次,确定商店中热销的商品,以生成针对热销商品的导购图向用户展示,促进用户的采购率,以及提高用户购物体验,基于此,配置有三轴加速度计传感器和TOF传感器的摄像头在1月5日,上午10点05分采集到一张图像,并且确定此时摄像头的高度信息是256cm,三轴加速度计传感器输出的加速度为(0,0.866,0.5),计算确定摄像头的姿态角度是p=1.047,r=0,确定摄像头的水平倾斜角是(1.047,0),以用于后续对用户的位置进行定位。
综上,通过在获取目标图像的同时,获取图像采集终端在采集目标图像时的位置信息,用于后续定位过程所应用,实现避免图像采集终端的位置变化导致定位精准度降低的情况发生。
步骤104:基于检测模型对所述目标图像中的目标对象进行检测,获得所述目标对象在基于所述目标图像建立的图像坐标系中的图像坐标信息。
具体的,在上述获取所述目标图像以及所述位置信息的基础上,进一步的,此时将根据所述目标图像检测出所述目标对象,所述目标对象即为需要进行定位的对象,可以是用户或者物品等,具体实现方式可以使用检测模型实现对目标对象的检测,通过将所述目标图像输入至所述检测模型对目标对象的检测,即可获得所述检测模型输出的所述目标对象在基于所述目标图像建立的图像坐标系中的图像坐标信息。
实际应用中,在通过所述检测模型对目标对象进行检测的过程中,所述目标图像中包含的目标对象可以是一个或者多个,或者目标图像中未存在目标对象,当所述检测模型未检测到所述目标图像中存在目标对象的情况下,此时说明在该时间节点不存在需要定位的目标对象,则不作任何处理即可;当所述检测模型检测到所述目标图像中存在目标对象的情况下,此时说明在该时间节点存在需要定位的目标对象,则进行后续的定位处理即可;并且无论目标图像中存在的目标对象是一个或者多个,都可以根据本实施例提供的方法实现对目标对象的定位,本实施例将以对一个目标对象定位的过程进行描述,对多个目标对象定位的过程可以参见本实施例相关的描述内容,在此不作过多赘述。
进一步的,在通过所述检测模型对目标图像中的目标对象进行检测的过程中,由于所述目标图像属于二维元素,而对目标对象进行定位的位置信息属于真实空间中的位置,故需要确定目标图像在图像坐标系中的图像坐标信息,从而计算出在空间坐标系中对应的空间坐标信息,此时则需要确定所述目标对象的图像坐标信息,本实施例的一个或多个实施方式中,具体实现方式如下所述:
将所述目标图像输入至所述检测模型对所述目标图像中的目标对象进行检测,获得所述检测模型输出的所述目标对象在所述目标图像中的图像位置信息;
按照所述目标图像建立所述图像坐标系,并根据所述图像位置信息确定所述目标对象在所述图像坐标系中的所述图像坐标信息。
具体的,在获取所述目标图像之后,将所述目标图像输入至检测模型对所述目标图像中的目标对象进行检测,此时获得所述检测模型输出的所述目标对象在所述目标图像中的图像位置信息,其中,所述图像位置信息具体是指所述目标对象在所述目标图像中的位置信息;
基于此,在获得所述目标图像对应的图像位置信息之后,按照所述目标图像建立图像坐标系,之后确定所述图像位置信息在所述图像坐标系中的图像坐标信息,最后将所述图像坐标信息作为所述目标对象在所述图像坐标系中的所述图像坐标信息。
其中,建立所述图像坐标系的过程可以是,将所述目标图像的左上角确定为原点,之后以该原点为中心点,将中心点右边,即目标图像的上边界作为u轴方向,以中心点下边,即目标图像的左边界作为v轴方向,构建所述图像坐标系,所述图像坐标系可以理解为像素坐标系。
实际应用中,在构建完成所述图像坐标系之后,可以将像素点作为该坐标系的单位,相应的,确定所述目标对象在所述图像坐标系中的图像坐标信息即为由多个像素坐标组成的所述图像坐标信息,由于目标对象在目标图像中是由多个像素点构成,故确定的图像坐标信息由多个像素坐标组成。
沿用上例,通过将摄像头在1月5日,上午10点05分采集到图像输入至检测模型,检测模型输出图像中的用户在该图像中的图像位置信息是:距离图像的上边界3.03cm,距离图像的左边界是2.03cm,此时将以该图像的左上角为原点,图像的上边界作为u轴,图像的左边界作为v轴构建图像坐标系,并且图像坐标系的单位是10个像素为1个单位,此时确定用户在图像坐标系中的图像坐标信息是(u,v)=(3.03,2.03),以用于后续确定该坐标在空间坐标系中的坐标位置。
综上,通过检测模型对所述目标对象的图像坐标信息进行检测,提高了对所述目标对象进行定位的效率,并且基于目标图像构建图像坐标系,能够在后续更加准确的映射出该图像坐标信息在空间坐标系中的空间坐标信息,有效的提高了定位的精准度。
此外,若要所述目标对象的图像坐标信息的确定准确度具有足够的保障,需要预先对所述检测模型进行训练,从而通过训练后输出准确率较高的模型对所述目标对象的图像坐标信息进行检测,本实施例的一个或多个实施方式中,具体所述检测模型通过如下方式训练:
获取训练图像,并基于所述训练图像中训练对象对应的图像坐标信息构建训练样本;
将所述训练样本输入至基于所述训练图像与所述训练对象对应的图像坐标信息之间的关系构建的初始检测模型进行训练,获得所述检测模型。
实际应用中,所述训练图像存储与训练图像库,当需要对检测模型进行训练的情况下,将在所述训练图像库中提取大量的训练图像,并确定所述训练图像中的训练对象对应的图像坐标信息,基于所述训练图像以及对应的图像坐标信息构建训练样本,之后将所述训练样本输入至基于所述训练图像与所述训练对象对应的图像坐标信息之间的关系构建的初始检测模型进行训练,即可获得所述检测模型。
除此之外,在对所述检测模型进行训练完成之后,若需要提高所述检测模型的输出准确率,还可以对所述检测模型进行优化,优化的过程具体是指对所述检测模型的参数进行调整,当所述检测模型的输出准确率趋近于真实图像坐标信息的情况下,此时检测模型的输出准确率具有足够的保证,即可应用于针对目标对象进行定位的过程。
步骤106:确定所述图像坐标系与所述图像采集终端对应的终端坐标系的第一坐标变换矩阵。
具体的,在上述将所述目标图像输入至检测模型获得目标对象在图像坐标系中的图像坐标信息的基础上,进一步的,将确定所述图像坐标系与所述终端坐标系之间的第一坐标变换矩阵,以用于在对目标对象进行定位时将目标对象在图像坐标系中的图像坐标信息可以映射到终端坐标系中,再从终端坐标系映射到空间坐标系,从而能够确定目标对象的空间位置信息。
其中,所述终端坐标系的建立过程是,将图像采集终端的位置确定为坐标原点,图像采集终端的右边朝向为X轴,垂直于地面向下为Y轴,图像采集终端的正前方为Z轴,构建所述终端坐标系,所述终端坐标系的单位可以根据实际应用场景进行设定,由于终端坐标系是基于图像采集终端构建,即该坐标系的单位可以根据图像采集终端的采集区域按照一定的比例设定。
实际应用中,所述终端坐标系与所述图像坐标系的关系是属于映射关系,故确定所述图像坐标系和终端坐标系的第一坐标变换矩阵,即可实现根据该第一坐标变换矩阵可以将图像坐标系中的任意点转换为终端坐标系中的点,也可以将终端坐标系中任意点转换为图像坐标系中的点;例如,某用户在图像中对应的图像坐标信息是(-1,2),则根据第一坐标变换矩阵,可以计算出图像坐标信息映射到终端坐标系后的终端坐标信息是(-4,8,8)。
具体实施时,所述第一坐标变换矩阵可以根据公式(3),公式(3)如下:
其中,r和p可参见公式(1)中相关描述,h表示图像采集终端的高度信息,并且第一坐标变换矩阵[R|t]可以拆解为由矩阵和矩阵t经过计算构成,具体是指在图像采集时刻的图像采集终端对应的终端坐标系与图像采集终端处于水平位置时对应的终端坐标系的姿态变换矩阵,C表示图像采集终端处于水平位置时对应的终端坐标系,C′表示图像采集终端在采集目标图像时对应的终端坐标系,t表示高度矩阵;若图像采集终端在采集目标图像时未发生水平偏移,则此时C与C′相同,可以理解为第一坐标变换矩阵中只存在h,故图像坐标信息映射到终端坐标系中,对应的终端坐标信息将添加与h相等的z轴方向的坐标信息。
此外,由于图像采集终端在采集目标图像时会产生水平倾斜角,故在构建所述第一坐标变换矩阵时可以考虑水平倾斜角对第一坐标变换矩阵的影响,可以更进一步的提高后续的定位的精准度。
进一步的,在确定所述第一坐标变换矩阵的过程中,由于图像采集终端属于摄像设备,故在对目标图像进行采集时,图像采集终端的终端参数会发生变换,在所述图像坐标信息映射到终端坐标信息中时,需要结合终端参数才能够准确的映射终端坐标信息,本实施例的一个或多个实施方式中,具体实现方式如下所述:
获取所述图像采集终端在采集所述目标图像时的终端参数;
基于所述终端参数以及所述图像坐标信息,确定所述目标对象在所述终端坐标系中对应的终端坐标信息;
按照所述图像坐标信息与所述终端坐标信息二者的变换关系,确定所述第一坐标变换矩阵。
实际应用中,所述由于目标图像是由图像采集终端进行采集,并且图像坐标信息是目标对象在图像坐标系中的坐标,故终端坐标系和图像坐标系存在着映射关系,在确定所述第一坐标变换矩阵的过程中,首先需要获取图像采集终端在采集所述目标图像时的终端参数,所述终端参数可以是图像采集终端采集目标图像时的焦距,之后根据所述终端参数以及所述图像坐标信息,确定所述目标对象在所述终端坐标系中映射的终端坐标信息,此时确定了图像坐标信息映射的终端坐标信息,最后即可按照所述图像坐标信息与所述终端坐标信息二者的变换关系,确定所述第一坐标变换矩阵。
参见图2所示,Xc,Yc和Zc分别表示终端坐标系的三个坐标轴,O表示终端坐标系的坐标原点,u和v表示图像坐标系的两个坐标轴,O1表示图像坐标系的坐标原点,在图像坐标系中存在点p(u,v),由于相机成像的原理,故终端坐标系中的Xc轴和Yc轴与图像坐标系的u轴和v轴平行,Zc轴与图像坐标系垂直,其中O-O1的距离表示图像采集终端的焦距f,当确定点p(u,v)的情况下,可以根据相似三角形原理,确定从而可以确定出点p映射到终端坐标系中的终端坐标信息是p1(Xc,Yc,Zc),此时根据p(u,v)以及p1(Xc,Yc,Zc)二者之间的变换关系,即可确定第一坐标变换矩阵,以用于后续进行定位处理。
在确定所述第一坐标变换矩阵的过程中,通过确定图像采集终端的终端参数用于确定所述图像坐标信息映射到终端坐标系中的终端坐标信息,此时可以确定与图像坐标系中的坐标点具有映射关系的终端坐标系中的坐标点,再根据二者的变换关系,即可确定所述第一坐标变换矩阵,实现了图像坐标系到终端坐标系的变换,可以更方便后续确定图像坐标信息映射到空间坐标系中的空间坐标信息,实现定位目标用户的空间位置信息。
步骤108:基于所述位置信息和所述图像坐标信息,以及所述第一坐标变换矩阵和第二坐标变换矩阵,定位所述目标对象在空间坐标系中的空间位置信息。
具体的,在上述确定所述第一坐标变换矩阵的基础上,进一步的,将根据所述位置信息和所述图像坐标信息,以及所述第一坐标变换矩阵和第二坐标变换矩阵,定位所述目标对象在空间坐标系中的空间位置信息,其中,所述第二坐标变换矩阵基于所述终端坐标系与所述空间坐标系确定,所述空间坐标系是基于图像采集终端所安装的空间区域进行构建,例如,图像采集终端需要对室内进行用户的定位,此时构建的空间坐标系即为基于室内区域进行构建,相应的,所述空间位置信息具体是指所述目标对象在空间坐标系中的空间坐标信息以及空间坐标系所属的区域中与该坐标信息相关的其他位置信息组成所述空间位置信息。
进一步的,对所述目标对象进行定位的过程中,需要根据所述终端坐标系和空间坐标系的第二变换矩阵实现,而所述第二坐标变换矩阵是用于可以将终端坐标系中的任意坐标映射到空间坐标系,以实现可以将图像坐标系中的点映射到终端坐标系,再基于第二坐标变换矩阵映射到空间坐标系,从而可以通过目标图像在图像坐标系中的图像坐标信息映射出在终端坐标系中的终端坐标信息,实现精准的定额日,本实施例的一个或多个实施方式中,确定所述第二坐标变换矩阵的过程如下所述:
基于所述图像采集终端建立所述终端坐标系,以及基于所述图像采集终端的投影点建立所述空间坐标系;
选择目标空间坐标信息确定在所述终端坐标系中对应的第一齐次坐标信息,以及在所述空间坐标系中对应的第二齐次坐标信息;
根据所述第一齐次坐标信息以及所述第二齐次坐标信息,确定所述终端坐标系与所述空间坐标系二者之间的变换关系;
基于所述变换关系确定所述第二坐标变换矩阵。
具体的,在确定所述第二坐标变换矩阵时,可以在所述图像采集终端安装完成之后完成,方便后续直接进行定位应用,首先需要建立所述图像采集终端对应的终端坐标系,再建立所述空间坐标系,其次在所述图像采集终端安装的空间中选择任意一点作为目标空间坐标,并确定该点的目标空间坐标信息,之后确定所述目标空间坐标信息在所述终点坐标系中的第一齐次坐标信息,以及在所述空间坐标系中的第二齐次坐标信息,最后即可根据所述第一齐次坐标信息以及所述第二齐次坐标信息,确定所述终端坐标系与所述空间坐标系二者之间的变换关系;基于所述变换关系即可确定所述第二坐标变换矩阵。
其中,所述空间坐标系的建立是,将所述图像采集终端在地面上投影点作为坐标原点,图像采集终端的右边朝向作为X轴,垂直于地面向上为Z轴,基于右手原则确定Y轴方向,构建所述空间坐标系。
实际应用中,所述第二坐标变换矩阵由于是基于终端坐标系和空间坐标系所确定,并且空间坐标系在任意时刻都不会发生变化,故所述第二坐标变换矩阵可以通过表示,即为所述第二坐标变换矩阵,其中C表示终端坐标系,W表示空间坐标系。
参见图3所示,所述空间坐标系可以是世界坐标系,所述终端坐标系可以是相机坐标系,基于此,空间坐标系与终端坐标系存在的转换关系如图3所示,其中O为终端坐标系的原点,Xc,Yc和Zc分别为三个坐标轴,Ow为空间坐标系的原点,Xw,Yw和Zw分别为三个坐标轴,二者存在的变换关系是需要将空间坐标系旋转角度R,在进行位移距离T即可得到终端坐标系,故若空间坐标系中的坐标点pw(Xw,Yw,Zw)映射到终端坐标系中,对应的坐标是pc(RXc+T,RYc+T,RZc+T),并且若不需要进行位移的情况下,T可以取0,此时空间坐标点pw映射到终端坐标系中的终端坐标点pc可以是(RXc,RYc,RZc)。
进一步的,此时即可根据目标空间坐标信息在所述终端坐标系中的第一齐次坐标信息,以及在所述空间坐标系中的第二齐次坐标信息,确定所述空间坐标系和终端坐标系的变换关系,基于此变换关系即可确定所述第二坐标变换矩阵。
综上,通过目标空间坐标信息分别在终端坐标系和空间坐标系对应的齐次坐标,确定所述空间坐标系和终端坐标系的变换关系,可以准确的确定二者之间存在的第二坐标变换矩阵,方便后续可以进行准确的目标对应的定位过程。
更进一步的,在确定所述第一坐标变换矩阵、所述第二坐标变换矩阵,以及所述位置信息和图像坐标信息的基础上,再通过采用逆透视变换算法解算出图像坐标信息映射到空间坐标系中的空间坐标信息,从而确定所述空间位置信息,本实施例的一个或多个实施方式中,具体实现过程如下所述:
采用逆透视变换算法对所述图像坐标信息按照所述第一坐标变换矩阵、所述第二坐标变换矩阵以及所述位置信息进行解算;
根据解算结果确定所述图像坐标信息在所述空间坐标系中对应的空间坐标信息,将所述空间坐标信息作为所述空间位置信息。
实际应用中,在对所述目标对象的空间位置信息进行定位的过程中,可以采用逆透视变换算法按照所述第一坐标变换矩阵、所述第二坐标变换矩阵以及所述位置信息进行解算,根据解算结果确定所述图像坐标信息在所述空间坐标系中对应的空间坐标信息,将所述空间坐标信息作为所述空间位置信息即可。
具体实施时,在进行解算的过程中可以通过如下公式(4)实现:
其中,u,v分别表示目标对象在图像坐标系中对应的图像坐标,相应的,Puv表示对图像坐标对应的标号,PC′表示图像坐标在图像采集终端采集目标图像时对应的终端坐标系中的映射的终端坐标1,K表示图像采集终端的内参矩阵,K-1表示内参矩阵的求逆,fx和fy表示图像采集终端的焦距,cx和cy表示图像采集终端中的中心点坐标,PC表示图像坐标在图像采集终端处于水平位置时对应的终端坐标系中的映射的终端坐标2,表示终端坐标1和终端坐标2存在的姿态变换矩阵,s表示尺度因子,h表示图像采集终端的高度信息,表示终端坐标系和空间坐标系存在的第二坐标变换矩阵,PW表示图像坐标映射到空间坐标系中的空间坐标,即为目标对象的坐标信息。
例如,某商店为了分析出店内商品的销售情况,此时将根据图像采集终端进行用户采购位置的定位,从而分析出每个商品前用户出现的频次,从而得出商品的销售情况,通过图像采集终端采集到的图像,确定在该图像中用户正在购买商品,通过该图像确定此时图像采集终端的姿态角是p=1.047,r=0,高度是h=256cm,并确定用户在该图像中的图像坐标信息是Puv=[1166,2279,1],此时确定图像坐标系和终端坐标系的第一坐标变换矩阵R|t,终端坐标系和空间坐标系的第二坐标变换矩阵采用逆透视变换算法解算出此用户处于空间坐标系中的空间坐标信息是PW(-0.9093,2.803,0),根据空间坐标信息即可确定用户的空间位置信息,实现精准的定位,用于后续通过采集大量的图像进行商品的销售分析。
综上,通过采用逆透视变换算法对目标对象进行定位,实现了可以通过图像采集终端采集到的目标图像实现精准的定位,无需在定位空间中安装标定点即可实现精准的定位,很大程度上节省了定位服务所需要消耗的资源。
此外,在确定所述目标对象对应的空间位置信息的基础上,进一步的,可以根据所述空间位置信息确定目标对象真实的位置信息,并进行存储,用于在进行交互处理过程中所应用,本实施例的一个或多个实施方式中,具体实现方式如下所述:
基于所述空间位置信息确定所述目标对象在所述图像采集终端的图像采集区域内的真实位置信息;所述真实位置信息中包含与所述目标对象具有交互关系的交互对象的对象位置信息;
建立所述目标图像与所述真实位置信息之间的对应关系表并存储至位置数据库。
具体的,所述真实位置信息具体是指所述目标对象在所述图像采集终端的图像采集区域内的位置,所述图像采集区域是与目标对象所处的空间相对应,比如,图像采集终端采集的是商店室内客户的位置,由于空间坐标系是基于商店的室内构建,故根据用户在空间坐标系中的空间位置信息即可确定用户在商店的室内的位置信息;
进一步的,所述真实位置信息中还包含与所述目标对象具有交互关系的交互对象的对象位置信息,所述交互对象具体是指与用户具有交互关系的对象,比如用户在商店购买商品,被购买的商品即为与用户具有采购关系的对象,所述真实位置信息中将包含该商品的位置信息,之后建立所述目标图像与所述真实位置信息之间的对应关系表并存储至位置数据库。
具体实施时,在建立所述目标图像与所述真实位置信息之间的对应关系表的过程中,首先可以为目标图像配置唯一标识,之后建立该唯一标识与目标图像中目标对象在图像采集区域内的真实位置信息的对应关系,最后存储在位置数据库中,以用于后续的相关处理分析。
所述相关处理分析可以是根据位置数据库中的对应关系表分析交互对象的频次,从而确定交互对象的消耗程度,或者可以根据对应关系表中涉及的真实位置信息构建路线图,用于后续为其他目标对象进行路线指引,本实施例的一个或多个实施方式中,具体实现方式如下所述:
在所述位置数据库中提取预设时间周期内的图像与真实位置信息之间的对应关系表;
基于所述对应关系表,提取真实位置信息组成位置信息集合;
通过所述位置信息集合确定目标真实位置信息,并创建所述目标真实位置信息对应的路线图进行展示。
具体的,所述预设的时间周期是需要进行相关处理分析的时间,可以根据实际应用场景进行设定,基于此,通过在所述位置数据库中提取预设时间周期内的图像与真实位置信息之间的对应关系表,再基于所述对应关系表提取真实位置信息组成位置信息集合,之后通过所述位置信息集合确定目标真实位置信息,最后创建所述目标真实位置信息对应的路线图进行展示。
更进一步的,本实施例的一个或多个实施方式中,所述通过所述位置信息集合确定目标真实位置信息具体实现方式如下所述:
通过对所述位置信息集合中包含的真实位置信息进行聚类处理,根据聚类处理结果确定所述目标真实位置信息;或者,选择所述位置信息集合中重复率最高的真实位置信息,确定为所述目标真实位置信息。
参见图4,某商店需要分析各个商品的销售情况,此时通过图像采集终端按照每分钟进行图像采集,采集到了120张图像,通过筛选确定其中100张图像中出现了用户购买商品的情况下,通过对这100张图像中的用户进行确定,确定有150名用户购买了商品,通过定位确定这150名用户在基于该商店构建的空间坐标系中的空间位置信息,之后再确定各个用户在商店中的真实位置信息,由于商店中的商品也存在各自的位置信息,故通过真实位置信息与商品的位置信息,可以分析出用户停留在商品的位置,此时将基于120张图像与150个真实位置信息建立对应关系表并存储,商店根据该表即可进行商品的销售情况分析;
进一步的,通过提取120张图像与150个真实位置建立对应关系表中的各个真实位置信息,组成位置信息集合,由于用户在购买同一件商品时的站姿或者站位不同,此时用户对应的真实位置信息也可能不同,但是购买的商品是同一件,则可以通过聚类处理的方式进行真实位置信息的归一化,即:将购买同一件商品用户对应的真实位置信息进行统一为一个目标真实位置信息,并且单独计算出现频次,根据一个真实位置信息代表一名用户,通过统计真实位置信息的个数即可确定各个商品前用户出现的频次,通过频次即可确定商店中各个商品的销售情况,频次越高说明销售情况越好,反之,频次越低说明销售情况越差;
更进一步的,为了促进该商店中热销商品的销售率更进一步的提升,可以根据目标真实位置信息确定热销商品的位置,根据目标真实位置信息生成该商品的路线图,用于在配置有图像采集终端的展示设备进行展示,使得进入商店中的用户可以根据该路线图找到该商店的热销商品。
此外,还可以根据这150名用户的定位情况,生成多个路线图,每个路线图对应不同的商品,当有新用户进行购买商品时,可以通过选择多个路线图中的任意一个路线图确定商品位置进行购买,有效的提高了用户的体验效果。
本实施例提供的基于图像的对象定位方法,通过检测模型对图像采集终端采集的目标图像中的目标对象进行检测,获得所述目标对象在图像坐标系中的图像坐标信息,并确定所述图像坐标系与终端坐标系的第一坐标变换矩阵,以及终端坐标系和空间坐标系的第二坐标变换矩阵,基于所述图像采集终端采集所述目标图像时的位置信息和所述图像坐标信息,以及所述第一坐标变换矩阵和第二坐标变换矩阵,定位所述目标对象的空间位置信息,实现了在对目标对象进行定位的过程中,考虑到图像采集终端采集目标图像时发生的位置变化,避免图像采集终端的位置变化导致定位精准度降低的情况发生,从而更进一步的提高了对目标对象进行定位的定位精准度。
下述结合附图5,以本说明书提供的基于图像的对象定位方法在室内定位场景中的应用为例,对所述基于图像的对象定位方法进行进一步说明。其中,图5示出了本说明书一实施例提供的一种应用于室内定位场景中的基于图像的对象定位方法的处理流程图,具体包括以下步骤:
步骤502:获取摄像头在预设的时间节点采集的目标图像。
具体的,在安装有摄像头的商店的室内,需要对商店中出现的用户进行定位,用于分析商店中商品的销售率,在对用户进行定位的过程中,为了提高定位的精准度,后续还需要获取摄像头的位置信息。
步骤504:根据摄像头配置的位置传感器确定在预设的时间节点摄像头的位置信息。
具体的,位置信息具体是指摄像头安装位置的高度信息,以及摄像头采集目标图像时的偏转角度信息。
步骤506:基于检测模型对目标图像中的用户进行检测,获得用户在目标图像中的图像位置信息。
具体的,图像位置信息具体是指用户在目标图像中所处的位置信息。
步骤508:构建目标图像对应的图像坐标系,并基于图像位置信息确定用户的图像坐标信息。
步骤510:获取摄像头在预设时间节点的相机参数。
步骤512:基于相机参数以及图像坐标信息确定用户在终端坐标系中的终端坐标信息。
步骤514:按照图像坐标信息以及终端坐标信息二者的变换关系,确定终端坐标系和图像坐标系的第一坐标变换矩阵。
具体的,终端坐标系具体是指基于摄像头建立的坐标系。
步骤516:采用逆透视变换算法对图像坐标信息按照第一坐标变换矩阵、终端坐标系和空间坐标系的第二坐标变换矩阵以及位置信息进行解算。
步骤518:根据解算结果确定用户在空间坐标系中对应的空间坐标信息,并基于空间坐标信息确定用户的空间位置信息。
具体的,空间坐标系是基于商店的室内构建的坐标系。
步骤520:基于空间位置信息确定用户在室内的真实位置信息。
步骤522:建立目标图像与真实位置信息之间的对应关系表并存储至位置数据库。
步骤524:提取预设时间周期内位置数据库中的对应关系表确定商品的销售率。
具体的,在确定用户在空间坐标系中的空间位置信息的基础上,此时则根据空间位置信息即可确定用户在商店中的真实位置信息,即用户处于那种商品的位置,通过将目标图像与真实位置信息的对应关系表存储至位置数据库,在采集到足够的对应关系表之后,通过提取对应关系表,即可分析出真实位置信息出现的频次,选择频次出现最高的真实位置信息确定为目标真实位置信息,再确定目标真实位置信息对应的商品位置,从而确定出商品的销售率。
综上所述,实现了在对目标对象进行定位的过程中,考虑到图像采集终端采集目标图像时发生的位置变化,避免图像采集终端的位置变化导致定位精准度降低的情况发生,从而更进一步的提高了对目标对象进行定位的定位精准度。
与上述方法实施例相对应,本说明书还提供了基于图像的对象定位装置实施例,图6示出了本说明书一实施例提供的一种基于图像的对象定位装置的结构示意图。如图6所示,该装置包括:
获取模块602,被配置为获取图像采集终端采集的目标图像,以及所述图像采集终端采集所述目标图像时的位置信息;
检测模块604,被配置为基于检测模型对所述目标图像中的目标对象进行检测,获得所述目标对象在基于所述目标图像建立的图像坐标系中的图像坐标信息;
确定模块606,被配置为确定所述图像坐标系与所述图像采集终端对应的终端坐标系的第一坐标变换矩阵;
定位模块608,被配置为基于所述位置信息和所述图像坐标信息,以及所述第一坐标变换矩阵和第二坐标变换矩阵,定位所述目标对象在空间坐标系中的空间位置信息;
其中,所述第二坐标变换矩阵基于所述终端坐标系与所述空间坐标系确定。
一个可选的实施例中,所述基于图像的对象定位装置,还包括:
确定真实位置信息模块,被配置为基于所述空间位置信息确定所述目标对象在所述图像采集终端的图像采集区域内的真实位置信息;所述真实位置信息中包含与所述目标对象具有交互关系的交互对象的对象位置信息;
存储模块,被配置为建立所述目标图像与所述真实位置信息之间的对应关系表并存储至位置数据库。
一个可选的实施例中,所述基于图像的对象定位装置,还包括:
提取对应关系表模块,被配置为在所述位置数据库中提取预设时间周期内的图像与真实位置信息之间的对应关系表;
组成位置信息集合模块,被配置为基于所述对应关系表,提取真实位置信息组成位置信息集合;
展示路线图模块,被配置为通过所述位置信息集合确定目标真实位置信息,并创建所述目标真实位置信息对应的路线图进行展示。
一个可选的实施例中,所述定位模块608,包括:
解算单元,被配置为采用逆透视变换算法对所述图像坐标信息按照所述第一坐标变换矩阵、所述第二坐标变换矩阵以及所述位置信息进行解算;
确定空间位置信息单元,被配置为根据解算结果确定所述图像坐标信息在所述空间坐标系中对应的空间坐标信息,将所述空间坐标信息作为所述空间位置信息。
一个可选的实施例中,所述确定模块606,包括:
获取终端参数单元,被配置为获取所述图像采集终端在采集所述目标图像时的终端参数;
确定终端坐标信息单元,被配置为基于所述终端参数以及所述图像坐标信息,确定所述目标对象在所述终端坐标系中对应的终端坐标信息;
确定第一坐标变换矩阵单元,被配置为按照所述图像坐标信息与所述终端坐标信息二者的变换关系,确定所述第一坐标变换矩阵。
一个可选的实施例中,所述第二坐标变换矩阵通过如下方式确定:
基于所述图像采集终端建立所述终端坐标系,以及基于所述图像采集终端的投影点建立所述空间坐标系;
选择目标空间坐标信息确定在所述终端坐标系中对应的第一齐次坐标信息,以及在所述空间坐标系中对应的第二齐次坐标信息;
根据所述第一齐次坐标信息以及所述第二齐次坐标信息,确定所述终端坐标系与所述空间坐标系二者之间的变换关系;
基于所述变换关系确定所述第二坐标变换矩阵。
一个可选的实施例中,所述获取模块602,包括:
获取图像单元,被配置为获取所述图像采集终端在预设的时间节点采集的所述目标图像;
第一确定单元,被配置为根据在所述时间节点所述图像采集终端配置的高度传感器确定高度信息,以及所述图像采集终端配置的角度传感器确定角度信息;
第二确定单元,被配置为基于所述高度信息以及所述角度信息确定所述位置信息。
一个可选的实施例中,所述检测模块604,包括:
模型检测单元,被配置为将所述目标图像输入至所述检测模型对所述目标图像中的目标对象进行检测,获得所述检测模型输出的所述目标对象在所述目标图像中的图像位置信息;
确定图像坐标信息单元,被配置为按照所述目标图像建立所述图像坐标系,并根据所述图像位置信息确定所述目标对象在所述图像坐标系中的所述图像坐标信息。
一个可选的实施例中,所述展示路线图模块,包括:
聚类处理单元,被配置为通过对所述位置信息集合中包含的真实位置信息进行聚类处理,根据聚类处理结果确定所述目标真实位置信息;
或者,
选择单元,被配置为选择所述位置信息集合中重复率最高的真实位置信息,确定为所述目标真实位置信息。
一个可选的实施例中,所述检测模型通过如下方式训练:
获取训练图像,并基于所述训练图像中训练对象对应的图像坐标信息构建训练样本;
将所述训练样本输入至基于所述训练图像与所述训练对象对应的图像坐标信息之间的关系构建的初始检测模型进行训练,获得所述检测模型。
本说明书提供的基于图像的对象定位装置,通过检测模型对图像采集终端采集的目标图像中的目标对象进行检测,获得所述目标对象在图像坐标系中的图像坐标信息,并确定所述图像坐标系与终端坐标系的第一坐标变换矩阵,以及终端坐标系和空间坐标系的第二坐标变换矩阵,基于所述图像采集终端采集所述目标图像时的位置信息和所述图像坐标信息,以及所述第一坐标变换矩阵和第二坐标变换矩阵,定位所述目标对象的空间位置信息,实现了在对目标对象进行定位的过程中,考虑到图像采集终端采集目标图像时发生的位置变化,避免图像采集终端的位置变化导致定位精准度降低的情况发生,从而更进一步的提高了对目标对象进行定位的定位精准度。
上述为本实施例的一种基于图像的对象定位装置的示意性方案。需要说明的是,该基于图像的对象定位装置的技术方案与上述的基于图像的对象定位方法的技术方案属于同一构思,基于图像的对象定位装置的技术方案未详细描述的细节内容,均可以参见上述基于图像的对象定位方法的技术方案的描述。
图7示出了根据本说明书一实施例提供的一种计算设备700的结构框图。该计算设备700的部件包括但不限于存储器710和处理器720。处理器720与存储器710通过总线730相连接,数据库750用于保存数据。
计算设备700还包括接入设备740,接入设备740使得计算设备700能够经由一个或多个网络760通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备740可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(NIC))中的一个或多个,诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口,等等。
在本说明书的一个实施例中,计算设备700的上述部件以及图7中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图7所示的计算设备结构框图仅仅是出于示例的目的,而不是对本说明书范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。
计算设备700可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或PC的静止计算设备。计算设备700还可以是移动式或静止式的服务器。
其中,处理器720用于执行如下计算机可执行指令:
获取图像采集终端采集的目标图像,以及所述图像采集终端采集所述目标图像时的位置信息;
基于检测模型对所述目标图像中的目标对象进行检测,获得所述目标对象在基于所述目标图像建立的图像坐标系中的图像坐标信息;
确定所述图像坐标系与所述图像采集终端对应的终端坐标系的第一坐标变换矩阵;
基于所述位置信息和所述图像坐标信息,以及所述第一坐标变换矩阵和第二坐标变换矩阵,定位所述目标对象在空间坐标系中的空间位置信息;
其中,所述第二坐标变换矩阵基于所述终端坐标系与所述空间坐标系确定。
上述为本实施例的一种计算设备的示意性方案。需要说明的是,该计算设备的技术方案与上述的基于图像的对象定位方法的技术方案属于同一构思,计算设备的技术方案未详细描述的细节内容,均可以参见上述基于图像的对象定位方法的技术方案的描述。
本说明书一实施例还提供一种计算机可读存储介质,其存储有计算机指令,该指令被处理器执行时以用于:
获取图像采集终端采集的目标图像,以及所述图像采集终端采集所述目标图像时的位置信息;
基于检测模型对所述目标图像中的目标对象进行检测,获得所述目标对象在基于所述目标图像建立的图像坐标系中的图像坐标信息;
确定所述图像坐标系与所述图像采集终端对应的终端坐标系的第一坐标变换矩阵;
基于所述位置信息和所述图像坐标信息,以及所述第一坐标变换矩阵和第二坐标变换矩阵,定位所述目标对象在空间坐标系中的空间位置信息;
其中,所述第二坐标变换矩阵基于所述终端坐标系与所述空间坐标系确定。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的基于图像的对象定位方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述基于图像的对象定位方法的技术方案的描述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本说明书并不受所描述的动作顺序的限制,因为依据本说明书,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本说明书所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本说明书的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。
Claims (14)
1.一种基于图像的对象定位方法,包括:
获取图像采集终端采集的目标图像;
确定所述目标图像中目标对象的图像坐标信息,并根据所述图像坐标信息定位所述目标对象在空间坐标系中的空间位置信息;
基于所述空间位置信息确定所述目标对象在所述图像采集终端的图像采集区域内的真实位置信息,建立所述目标图像与所述真实位置信息的对应关系表并存储至位置数据库;
统计预设时间周期内的所述位置数据库中的真实位置信息组成位置信息集合,并通过所述位置信息集合确定的目标真实位置信息生成热销商品的路线图。
2.根据权利要求1所述的基于图像的对象定位方法,所述确定所述目标图像中目标对象的图像坐标信息,包括:
基于检测模型对所述目标图像中的所述目标对象进行检测,获得所述目标对象在基于所述目标图像建立的图像坐标系中的所述图像坐标信息。
3.根据权利要求2所述的基于图像的对象定位方法,所述根据所述图像坐标信息定位所述目标对象在空间坐标系中的空间位置信息,包括:
确定所述图像坐标系与所述图像采集终端对应的终端坐标系的第一坐标变换矩阵;
基于所述图像采集终端采集所述目标图像时的位置信息和所述图像坐标信息,以及所述第一坐标变换矩阵和第二坐标变换矩阵,定位所述目标对象在所述空间坐标系中的所述空间位置信息;
其中,所述第二坐标变换矩阵基于所述终端坐标系与所述空间坐标系确定。
4.根据权利要求1所述的基于图像的对象定位方法,所述统计预设时间周期内的所述位置数据库中的真实位置信息组成位置信息集合,包括:
在所述位置数据库中提取所述预设时间周期内的图像与真实位置信息之间的对应关系表;
基于所述对应关系表,提取真实位置信息组成所述位置信息集合。
5.根据权利要求3所述的基于图像的对象定位方法,所述基于所述图像采集终端采集所述目标图像时的位置信息和所述图像坐标信息,以及所述第一坐标变换矩阵和第二坐标变换矩阵,定位所述目标对象在所述空间坐标系中的所述空间位置信息,包括:
采用逆透视变换算法对所述图像坐标信息按照所述第一坐标变换矩阵、所述第二坐标变换矩阵以及所述位置信息进行解算;
根据解算结果确定所述图像坐标信息在所述空间坐标信息中对应的空间坐标信息,将所述空间坐标信息作为所述空间位置信息。
6.根据权利要求3所述的基于图像的对象定位方法,所述确定所述图像坐标系与所述图像采集终端对应的终端坐标系的第一坐标变换矩阵,包括:
获取所述图像采集终端在采集所述目标图像时的终端参数;
基于所述终端参数以及所述图像坐标信息,确定所述目标对象在所述终端坐标系中对应的终端坐标信息;
按照所述图像坐标信息与所述终端坐标信息二者的变换关系,确定所述第一坐标变换矩阵。
7.根据权利要求3所述的基于图像的对象定位方法,所述第二坐标变换矩阵通过如下方式确定:
基于所述图像采集终端建立所述终端坐标系,以及基于所述图像采集终端的投影点建立所述空间坐标系;
选择目标空间坐标信息确定在所述终端坐标系中对应的第一齐次坐标信息,以及在所述空间坐标系中对应的第二齐次坐标信息;
根据所述第一齐次坐标信息以及所述第二齐次坐标信息,确定所述终端坐标系与所述空间坐标系二者之间的变换关系;
基于所述变换关系确定所述第二坐标变换矩阵。
8.根据权利要求3所述的基于图像的对象定位方法,所述图像采集终端采集所述目标图像时的位置信息通过如下方式确定:
获取所述图像采集终端采集所述目标图像时的时间节点;
根据在所述时间节点所述图像采集终端配置的高度传感器确定高度信息,以及所述图像采集终端配置的角度传感器确定角度信息;
基于所述高度信息以及所述角度信息确定所述位置信息。
9.根据权利要求2所述的基于图像的对象定位方法,所述基于检测模型对所述目标图像中的所述目标对象进行检测,获得所述目标对象在基于所述目标图像建立的图像坐标系中的所述图像坐标信息,包括:
将所述目标图像输入至所述检测模型对所述目标图像中的目标对象进行检测,获得所述检测模型输出的所述目标对象在所述目标图像中的图像位置信息;
按照所述目标图像建立所述图像坐标系,并根据所述图像位置信息确定所述目标对象在所述图像坐标系中的所述图像坐标信息。
10.根据权利要求1所述的基于图像的对象定位方法,所述通过所述位置信息集合确定的目标真实位置信息生成热销商品的路线图,包括:
通过对所述位置信息集合中包含的真实位置信息进行聚类处理,根据聚类处理结果确定所述目标真实位置信息,并根据所述目标真实位置信息生成所述热销商品的所述路线图;
或者,
选择所述位置信息集合中重复率最高的真实位置信息,确定为所述目标真实位置信息,并根据所述目标真实位置信息生成所述热销商品的所述路线图。
11.根据权利要求1所述的基于图像的对象定位方法,所述检测模型通过如下方式训练:
获取训练图像,并基于所述训练图像中训练对象对应的图像坐标信息构建训练样本;
将所述训练样本输入至基于所述训练图像与所述训练对象对应的图像坐标信息之间的关系构建的初始检测模型进行训练,获得所述检测模型。
12.一种基于图像的对象定位装置,包括:
获取模块,被配置为获取图像采集终端采集的目标图像;
定位模块,被配置为确定所述目标图像中目标对象的图像坐标信息,并根据所述图像坐标信息定位所述目标对象在空间坐标系中的空间位置信息;
存储模块,被配置为基于所述空间位置信息确定所述目标对象在所述图像采集终端的图像采集区域内的真实位置信息,建立所述目标图像与所述真实位置信息的对应关系表并存储至位置数据库;
统计模块,被配置为统计预设时间周期内的所述位置数据库中的真实位置信息组成位置信息集合,并通过所述位置信息集合确定的目标真实位置信息生成热销商品的路线图。
13.一种计算设备,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令:
获取图像采集终端采集的目标图像;
确定所述目标图像中目标对象的图像坐标信息,并根据所述图像坐标信息定位所述目标对象在空间坐标系中的空间位置信息;
基于所述空间位置信息确定所述目标对象在所述图像采集终端的图像采集区域内的真实位置信息,建立所述目标图像与所述真实位置信息的对应关系表并存储至位置数据库;
统计预设时间周期内的所述位置数据库中的真实位置信息组成位置信息集合,并通过所述位置信息集合确定的目标真实位置信息生成热销商品的路线图。
14.一种计算机可读存储介质,其存储有计算机指令,该指令被处理器执行时实现权利要求1至11任意一项所述基于图像的对象定位方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010895912.5A CN113516707B (zh) | 2020-04-10 | 基于图像的对象定位方法及装置 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010276997.9A CN111192323B (zh) | 2020-04-10 | 2020-04-10 | 基于图像的对象定位方法及装置 |
CN202010895912.5A CN113516707B (zh) | 2020-04-10 | 基于图像的对象定位方法及装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010276997.9A Division CN111192323B (zh) | 2020-04-10 | 2020-04-10 | 基于图像的对象定位方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113516707A true CN113516707A (zh) | 2021-10-19 |
CN113516707B CN113516707B (zh) | 2024-07-16 |
Family
ID=
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2796917A1 (en) * | 2013-04-26 | 2014-10-29 | Baden-Württemberg Stiftung gGmbH | A method for automated platform and/or reference object independent acquisition of positional information and localization of objects of interest in a microscope |
CN108198044A (zh) * | 2018-01-30 | 2018-06-22 | 北京京东金融科技控股有限公司 | 商品信息的展示方法、装置、介质及电子设备 |
CN108647242A (zh) * | 2018-04-10 | 2018-10-12 | 北京天正聚合科技有限公司 | 一种热力图的生成方法和系统 |
CN110659848A (zh) * | 2018-06-28 | 2020-01-07 | 北京京东尚科信息技术有限公司 | 一种监测对象的方法和系统 |
CN110895768A (zh) * | 2018-09-13 | 2020-03-20 | 阿里巴巴集团控股有限公司 | 一种数据处理方法、设备、系统及存储介质 |
CN110926334A (zh) * | 2019-11-29 | 2020-03-27 | 深圳市商汤科技有限公司 | 测量方法、装置、电子设备及存储介质 |
CN110955797A (zh) * | 2019-11-27 | 2020-04-03 | 北京京东尚科信息技术有限公司 | 用户位置确定方法、装置、电子设备及存储介质 |
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2796917A1 (en) * | 2013-04-26 | 2014-10-29 | Baden-Württemberg Stiftung gGmbH | A method for automated platform and/or reference object independent acquisition of positional information and localization of objects of interest in a microscope |
CN108198044A (zh) * | 2018-01-30 | 2018-06-22 | 北京京东金融科技控股有限公司 | 商品信息的展示方法、装置、介质及电子设备 |
CN108647242A (zh) * | 2018-04-10 | 2018-10-12 | 北京天正聚合科技有限公司 | 一种热力图的生成方法和系统 |
CN110659848A (zh) * | 2018-06-28 | 2020-01-07 | 北京京东尚科信息技术有限公司 | 一种监测对象的方法和系统 |
CN110895768A (zh) * | 2018-09-13 | 2020-03-20 | 阿里巴巴集团控股有限公司 | 一种数据处理方法、设备、系统及存储介质 |
CN110955797A (zh) * | 2019-11-27 | 2020-04-03 | 北京京东尚科信息技术有限公司 | 用户位置确定方法、装置、电子设备及存储介质 |
CN110926334A (zh) * | 2019-11-29 | 2020-03-27 | 深圳市商汤科技有限公司 | 测量方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111192323B (zh) | 2020-09-29 |
CN111192323A (zh) | 2020-05-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11393173B2 (en) | Mobile augmented reality system | |
CN113570721B (zh) | 三维空间模型的重建方法、装置和存储介质 | |
CN111192323B (zh) | 基于图像的对象定位方法及装置 | |
EP2915140B1 (en) | Fast initialization for monocular visual slam | |
CN111028358B (zh) | 室内环境的增强现实显示方法、装置及终端设备 | |
US20210295081A1 (en) | Tracking and analytics system | |
CN110148223B (zh) | 三维地理场景模型中监控视频目标浓缩表达方法及系统 | |
WO2012040709A2 (en) | Augmenting image data based on related 3d point cloud data | |
WO2020159650A1 (en) | Calibrating cameras using human skeleton | |
CN113220251B (zh) | 物体显示方法、装置、电子设备及存储介质 | |
EP3531340A2 (en) | Human body tracing method, apparatus and device, and storage medium | |
CN117095002B (zh) | 轮毂缺陷的检测方法及装置、存储介质 | |
CN113240806B (zh) | 信息处理方法、装置、电子设备及存储介质 | |
CN117352126A (zh) | 肌肉受力可视化方法、装置、计算机设备以及存储介质 | |
CN113516707B (zh) | 基于图像的对象定位方法及装置 | |
CN108235764B (zh) | 信息处理方法、装置、云处理设备及计算机程序产品 | |
CN115830073A (zh) | 地图要素重建方法、装置、计算机设备和存储介质 | |
CN114463167A (zh) | 模型展示方法、装置、电子设备及存储介质 | |
CN110111428A (zh) | 一种应用于增强现实的虚拟目标标定方法及装置 | |
CN113836249B (zh) | 地图信息点的管理方法和相关装置、设备 | |
CN114723923B (zh) | 一种传动解决方案模拟展示系统和方法 | |
US20230410451A1 (en) | Augmented reality implement apparatus and method using mobile scanned object model scaling | |
Meng et al. | Viewpoint quality evaluation for augmented virtual environment | |
Murray | Unmanned Aerial Vehicle Trajectory Reconstruction Using Un-synchronized, Multi-camera Networks | |
CN114677427A (zh) | 一种人体三维模型生成方法、设备和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |