CN112532874B - 生成平面热力图的方法、装置、存储介质和电子设备 - Google Patents

生成平面热力图的方法、装置、存储介质和电子设备 Download PDF

Info

Publication number
CN112532874B
CN112532874B CN202011322979.6A CN202011322979A CN112532874B CN 112532874 B CN112532874 B CN 112532874B CN 202011322979 A CN202011322979 A CN 202011322979A CN 112532874 B CN112532874 B CN 112532874B
Authority
CN
China
Prior art keywords
point
target
position information
image
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011322979.6A
Other languages
English (en)
Other versions
CN112532874A (zh
Inventor
艾剑飞
刘帅
左涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sankuai Online Technology Co Ltd
Original Assignee
Beijing Sankuai Online Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sankuai Online Technology Co Ltd filed Critical Beijing Sankuai Online Technology Co Ltd
Priority to CN202011322979.6A priority Critical patent/CN112532874B/zh
Publication of CN112532874A publication Critical patent/CN112532874A/zh
Application granted granted Critical
Publication of CN112532874B publication Critical patent/CN112532874B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H04N23/662—Transmitting camera control signals through networks, e.g. control via the Internet by using master/slave camera arrangements for affecting the control of camera image capture, e.g. placing the camera in a desirable condition to capture a desired image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及一种生成平面热力图的方法、装置、存储介质和电子设备，该方法包括：根据摄像头采集到的平面的多个深度图像的图像信息，确定处于该平面和该摄像设备之间的物体在该平面上的垂直映射点的位置信息；该图像信息包括：该深度图像中的每个像素点对应的空间点与该摄像头所处的第一空间点的距离和每个像素点对应的空间点相对于该第一空间点与该平面之间的垂线的相对角度，该位置信息包括：该垂直映射点与该第一空间点之前的距离和该垂直映射点的相对角度；根据该物体在每个垂直映射点的出现频率和每个垂直映射点的位置信息，生成该物体在该平面上的热力图。提高对物体在平面上的映射点进行识别的准确度，进而提高生成的热力图的准确度。

Description

生成平面热力图的方法、装置、存储介质和电子设备
技术领域
本公开涉及图像识别领域，具体地，涉及一种生成平面热力图的方法、装置、存储介质和电子设备。
背景技术
如今，在新零售行业的线下场景中，将顾客的购物行为或购物习惯数字化，进而对顾客的购物行为或购物习惯的相应统计数据进行分析，能够有效地对线下零售场景进行赋能。对货架级别的热力分布的统计是对顾客购物行为或购物习惯进行分析所需的重要信息，能够使得商家了解到顾客对于商品的关注情况，为线下零售场景商品陈列优化提供依据。
发明内容
本公开的主要目的是提供一种生成平面热力图的方法、装置、存储介质和电子设备，以解决相关技术中对物体在货架平面的映射点进行位置判断的准确性较差的技术问题。
为了实现上述目的，本公开第一方面提供一种生成平面热力图的方法，应用于处理设备，所述处理设备与摄像头连接，所述摄像头设置于目标平面的一侧，所述方法包括：
根据所述摄像头采集到的所述目标平面的多个深度图像的图像信息，确定处于所述目标平面和所述摄像设备之间的目标物体在所述目标平面上的垂直映射点的目标位置信息；其中，所述图像信息包括：所述深度图像中的每个像素点对应的空间点与所述摄像头所处的第一空间点的距离，以及，所述每个像素点对应的空间点相对于所述第一空间点与所述目标平面之间的目标垂线的相对角度，所述目标位置信息包括：所述垂直映射点与所述第一空间点之前的目标距离和所述垂直映射点的目标相对角度；
根据所述目标物体在每个所述垂直映射点的出现频率和每个所述垂直映射点的目标位置信息，生成所述目标物体在所述目标平面上的热力图。
可选的，所述根据所述摄像设备采集到的所述目标平面的多个深度图像的图像信息，确定处于所述目标平面和所述摄像设备之间的目标物体在所述目标平面上的垂直映射点的目标位置信息，包括：
通过所述图像信息获取所述目标物体在所述目标平面上的摄像映射点的第一位置信息和所述第二空间点的第二位置信息，所述摄像映射点为所述第一空间点与所述第二空间点的连线在所述目标平面上的交点，所述第一位置信息包括：所述摄像映射点与所述第一空间点的第一距离和所述摄像映射点的第一相对角度，所述第二位置信息包括：所述第二空间点与所述第一空间点的第二距离和所述第二空间点的第二相对角度；
根据所述第一位置信息和所述第二位置信息，确定所述目标位置信息。
可选的，所述通过所述图像信息获取所述目标物体在所述目标平面上的摄像映射点的第一位置信息和所述第二空间点的第二位置信息，包括：
从所述多个深度图像中确定包含所述目标物体的第一深度图像和不包含所述目标物体的第二深度图像；
根据所述第一深度图像的图像信息确定所述第二位置信息；
通过所述第一深度图像的图像信息和所述第二深度图像的图像信息，确定所述第一位置信息。
可选的，所述通过所述第一深度图像的图像信息和所述第二深度图像的图像信息，确定第一位置信息，包括：
获取所述第一深度图像中的第一像素点在所述第一深度图像对应的平面图像上的目标二维坐标，所述第一像素点为所述第一深度图像中包含所述目标物体的多个像素点中的任一像素点；
从所述第二深度图像中确定第二像素点，所述第二像素点在所述第二深度图像对应的平面图像上的二维坐标为所述目标二维坐标；
根据所述第二深度图像的图像信息，将所述第二像素点对应的空间点与所述第一空间点的距离作为所述第一距离，并将所述第二像素点对应的空间点的相对角度作为所述第一相对角度。
可选的，所述相对角度为所述每个像素点对应的空间点与所述第一空间点的连线与所述目标垂线的夹角的角度，所述根据所述第一位置信息和所述第二位置信息，确定所述目标位置信息，包括：
根据所述第一距离和所述第一相对角度，确定目标角度，所述目标角度为所述第一空间点与所述摄像映射点的连线与所述目标平面的夹角的角度；
根据所述目标角度、所述第一距离、所述第一相对角度、所述第二距离和所述第二相对角度，确定所述目标距离以及所述目标图像角度。
可选的，所述根据所述第一距离和所述第一相对角度，确定目标角度，包括：
确定在第一深度图像中确定第三像素点，所述第三像素点为所述第一深度图像中除所述摄像遮蔽点对应的像素点外的任一像素点；
根据所述第三像素点的第三相对角度，所述第一像素点与所述第一空间点的第三距离、所述第一距离和所述第一相对角度，确定目标角度。
可选的，所述确定在预设时间段内所述目标物体在每个所述垂直映射点的出现频率，以生成所述目标物体在所述目标平面上的热力图，包括：
对预设时间段内获取到的多个所述垂直映射点进行聚类，以获取多个映射点集，每个所述映射点集中包含的垂直映射点具备相同的目标位置信息；
根据每个所述映射点集中包含的垂直映射点的数量和所述每个所述映射点集对应的目标位置信息，生成所述热力图。
本公开第二方面提供一种生成平面热力图的装置，应用于处理设备，所述处理设备与摄像头连接，所述摄像头设置于目标平面的一侧，所述装置包括：
位置确定模块，被配置成用于根据所述摄像头采集到的所述目标平面的多个深度图像的图像信息，确定处于所述目标平面和所述摄像设备之间的目标物体在所述目标平面上的垂直映射点的目标位置信息；其中，所述图像信息包括：所述深度图像中的每个像素点对应的空间点与所述摄像头所处的第一空间点的距离，以及，所述每个像素点对应的空间点相对于所述第一空间点与所述目标平面之间的目标垂线的相对角度，所述目标位置信息包括：所述垂直映射点与所述第一空间点之前的目标距离和所述垂直映射点的目标相对角度；
热力图生成模块，被配置成用于根据所述目标物体在每个所述垂直映射点的出现频率和每个所述垂直映射点的目标位置信息，生成所述目标物体在所述目标平面上的热力图。
可选的，所述位置确定模块，包括：
位置获取子模块，被配置成用于通过所述图像信息获取所述目标物体在所述目标平面上的摄像映射点的第一位置信息和所述第二空间点的第二位置信息，所述摄像映射点为所述第一空间点与所述第二空间点的连线在所述目标平面上的交点，所述第一位置信息包括：所述摄像映射点与所述第一空间点的第一距离和所述摄像映射点的第一相对角度，所述第二位置信息包括：所述第二空间点与所述第一空间点的第二距离和所述第二空间点的第二相对角度；
位置确定子模块，被配置成用于根据所述第一位置信息和所述第二位置信息，确定所述目标位置信息。
可选的，所述位置获取子模块，被配置成用于：
从所述多个深度图像中确定包含所述目标物体的第一深度图像和不包含所述目标物体的第二深度图像；
根据所述第一深度图像的图像信息确定所述第二位置信息；
通过所述第一深度图像的图像信息和所述第二深度图像的图像信息，确定所述第一位置信息。
可选的，所述位置获取子模块，被配置成用于：
获取所述第一深度图像中的第一像素点在所述第一深度图像对应的平面图像上的目标二维坐标，所述第一像素点为所述第一深度图像中包含所述目标物体的多个像素点中的任一像素点；
从所述第二深度图像中确定第二像素点，所述第二像素点在所述第二深度图像对应的平面图像上的二维坐标为所述目标二维坐标；
根据所述第二深度图像的图像信息，将所述第二像素点对应的空间点与所述第一空间点的距离作为所述第一距离，并将所述第二像素点对应的空间点的相对角度作为所述第一相对角度。
可选的，所述相对角度为所述每个像素点对应的空间点与所述第一空间点的连线与所述目标垂线的夹角的角度，所述位置确定子模块，被配置成用于：
根据所述第一距离和所述第一相对角度，确定目标角度，所述目标角度为所述第一空间点与所述摄像映射点的连线与所述目标平面的夹角的角度；
根据所述目标角度、所述第一距离、所述第一相对角度、所述第二距离和所述第二相对角度，确定所述目标距离以及所述目标图像角度。
可选的，所述位置确定子模块，被配置成用于：
确定在第一深度图像中确定第三像素点，所述第三像素点为所述第一深度图像中除所述摄像遮蔽点对应的像素点外的任一像素点；
根据所述第三像素点的第三相对角度，所述第一像素点与所述第一空间点的第三距离、所述第一距离和所述第一相对角度，确定目标角度。
可选的，所述热力图生成模块，被配置成用于：
对预设时间段内获取到的多个所述垂直映射点进行聚类，以获取多个映射点集，每个所述映射点集中包含的垂直映射点具备相同的目标位置信息；
根据每个所述映射点集中包含的垂直映射点的数量和所述每个所述映射点集对应的目标位置信息，生成所述热力图。本公开第三方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述的生成平面热力图的方法的步骤。
本公开第四方面提供一种电子设备，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现第一方面所述的生成平面热力图的方法的步骤。
采用本公开提供的技术方案，至少可以达到如下技术效果：
根据摄像头采集到的目标平面的多个深度图像的图像信息，确定处于该目标平面和该摄像设备之间的目标物体在该目标平面上的垂直映射点的目标位置信息；其中，该图像信息包括：该深度图像中的每个像素点对应的空间点与该摄像头所处的第一空间点的距离，以及，上述每个像素点对应的空间点相对于该第一空间点与该目标平面之间的目标垂线的相对角度，该目标位置信息包括：该垂直映射点与该第一空间点之前的目标距离和该垂直映射点的目标相对角度；根据该目标物体在每个该垂直映射点的出现频率和每个该垂直映射点的目标位置信息，生成该目标物体在该目标平面上的热力图。提高对物体在平面上的映射点进行识别的准确度，进而提高生成的热力图的准确度。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1是根据一示例性实施例示出的一种生成平面热力图的方法的流程图；
图2是根据一示例性实施例示出的一种目标平面、摄像头和目标物体三者的位置示意图；
图3是根据图1示出的一种确定位置信息的方法的流程图；
图4是根据图3示出的一种确定摄像映射点位置信息的方法的流程图；
图5a是根据图3示出的一种确定垂直映射点位置信息的方法的流程图；
图5b是根据图5a示出的一种目标平面、摄像头和目标物体三者的位置示意图；
图6是根据图1示出的一种生成热力图的方法的流程图；
图7是根据一示例性实施例示出的一种生成平面热力图的装置的框图；
图8是根据图7示出的一种位置确定模块的框图；
图9是根据一示例性实施例示出的一种电子设备的结构示意图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
在对货架级别热力分布进行统计的相关技术中，通常使用平面摄像头捕捉客户在货架下行为的图像，进而提取图像，再通过目标物体(顾客的手部或头部)在图像中的位置确定顾客对目标商品采取触碰、拿取、放回等行为对应的位置。根据这些位置生成货架级别的热力分布，进而根据生成的热力分布图确定预测的潜在购买商品、潜在的热销商品以及货架的热点位置/区域等信息，为商超贩卖提供数据支持。但是上述通过平面图像进行位置判断的技术手段，对拍摄头和货架平面的相对位置的要求较为严格，进而造成生成图像的范围较小，对不同大小的货架平面适应性较差，而通过改变上述相对位置进而提高摄像头拍摄范围的方法又会因为拍摄角度的问题而影响映射点位置判断的准确度。
发明人注意到这一问题，提出了一种生成平面热力图的方法，具体如下：
图1是根据一示例性实施例示出的一种生成平面热力图的方法的流程图，如图1所示，应用于处理设备，该处理设备与摄像头连接，该摄像头设置于目标平面的一侧，该方法包括以下步骤：
步骤101，根据该摄像头采集到的该目标平面的多个深度图像的图像信息，确定处于该目标平面和该摄像设备之间的目标物体在该目标平面上的垂直映射点的目标位置信息。
其中，该图像信息包括：该深度图像中的每个像素点对应的空间点与该摄像头所处的第一空间点的距离，以及，上述每个像素点对应的空间点相对于该第一空间点与该目标平面之间的目标垂线的相对角度，该目标位置信息包括：该垂直映射点与该第一空间点之前的目标距离和该垂直映射点的目标相对角度。
示例地，在超市或便利店中通常设置有(垂直于地面或平行于地面)货架或货柜，货架上摆放商品供顾客自行选择。该摄像头可以设置于货架用于存放货物并朝向顾客的一侧。例如，针对于垂直于地面的货架，该摄像头设置于货架对面；针对于平行于地面的货架，该摄像头设置于货架上方。该目标物体可以为顾客的头部和/或手部，在此情况下，可以通过预设的图像识别算法对图像中包含的人的头部和/或手部进行识别。在一实施例中，该目标物体可以为顾客拿着商品的手部。在此情况下，对于该目标物体的识别可以包括两部分，一部分为对人的手部的识别，一部分为手中的商品的识别。其中，针对于手中的商品的识别的依据为预先储存的该货架上应当摆放的所有商品的图片。这些图片可以以(货架号，图片集)的形式储存于上述处理设备中。在确定深度图像中出现握着商品的手部，并且手中握着商品为本货架上应当摆放的商品的情况下，才确定识别到该目标物体。
示例地，该摄像头为双目摄像头。该双目摄像头能够采集到目标平面和摄像头之间的整个空间的深度图像，该深度图像不仅包含目标平面的图像，也包含图像中每个像素的位置信息。需要说明的是，由于该步骤101所需要探寻的垂直映射点一定处于该目标平面上，而根据其与第一空间点的距离和上述相对角度就可以唯一地表征该目标平面上的点，因此，该位置信息可以包括图像中每个像素相对于摄像头的距离和相对角度。该相对角度可以以不同的基准线为依据确定的角度，在本公开实施例中，该基准线为该摄像头所在的第一空间点和该目标平面之间的目标垂线。需要说明的是，由于该步骤101所需要探寻的垂直映射点一定处于该目标平面上，而根据其与第一空间点的距离和上述相对角度就可以唯一地表征该目标平面上的点。
示例地，该垂直映射点为目标物体与该目标平面之间的垂线的垂足。具体地，上述目标平面、摄像头和目标物体三者的位置关系如图2所示，其中，图2中的O点为摄像头所处的第一空间点，A点为目标物体当前所处的第二空间点。可以理解的是，A点在目标平面上的垂直映射点为C点。用户在拿取物品时，手部与货架存在一定距离，线段AC的长度即为该距离。若站在摄像头一侧的线段AC的反向延长线上观察整个目标平面，目标平面中被遮挡的点应该是点C，即顾客实际拿取的商品在目标平面上的映射位置为点C。但是，在实际状况中，摄像头正好设置于线段AC的反向延长线的情况很难达到，而以摄像头当前所处的位置(即O点)进行二维图像拍摄，在拍摄后的图像中，目标平面上被遮挡的点实际为B点(即下文所述的摄像映射点)。而若以B点的位置信息直接作为生成热力图依据，会产生较大的误差，因此，在本公开实施例中，需要根据A点的位置信息和B点的位置信息计算出C点的位置信息。
步骤102，根据该目标物体在每个该垂直映射点的出现频率和每个该垂直映射点的目标位置信息，生成该目标物体在该目标平面上的热力图。
示例地，在本公开实施例的实际执行过程中，可以不间断地识别该目标物体。一旦监测到目标物体，则通过步骤101计算该目标物体在该目标平面上垂直映射点的位置信息，进而在需要生成热力图时，获取和统计所有已经计算出的垂直映射点，并根据该目标物体在每个该垂直映射点的出现频率和每个该垂直映射点的目标位置信息，生成该目标物体在该目标平面上的热力图。例如，若目标物体在目标平面上的E点出现了3次，在F点出现了20次，在H点出现了0次，则生成的热力图可以为，该目标平面的同比例缩小图，该同比例缩小图中F点的颜色较深，E点的颜色较浅，而H点无颜色。
综上所述，本公开的实施例所提供的技术方案，能够根据摄像头采集到的目标平面的多个深度图像的图像信息，确定处于该目标平面和该摄像设备之间的目标物体在该目标平面上的垂直映射点的目标位置信息；其中，该图像信息包括：该深度图像中的每个像素点对应的空间点与该摄像头所处的第一空间点的距离，以及，上述每个像素点对应的空间点相对于该第一空间点与该目标平面之间的目标垂线的相对角度，该目标位置信息包括：该垂直映射点与该第一空间点之前的目标距离和该垂直映射点的目标相对角度；根据该目标物体在每个该垂直映射点的出现频率和每个该垂直映射点的目标位置信息，生成该目标物体在该目标平面上的热力图。提高对物体在平面上的映射点进行识别的准确度，进而提高生成的热力图的准确度。
图3是根据图1示出的一种确定位置信息的方法的流程图，如图3所示，该步骤101包括：
步骤1011，通过该图像信息获取该目标物体在该目标平面上的摄像映射点的第一位置信息和该第二空间点的第二位置信息。
其中，该摄像映射点为该第一空间点与该第二空间点的连线在该目标平面上的交点，该第一位置信息包括：该摄像映射点与该第一空间点的第一距离和该摄像映射点的第一相对角度，该第二位置信息包括：该第二空间点与该第一空间点的第二距离和该第二空间点的第二相对角度。
步骤1012，根据该第一位置信息和该第二位置信息，确定该目标位置信息。
示例地，在本实施例中，可以通过预设的图像识别算法对目标物体进行识别。在识别出目标物体后，首先需要将不同的图像进行对比，确定摄像映射点(即图2中所示的B点)的第一位置信息，而第二空间点的第二位置信息可以同一单一的图像直接确认。之后，根据摄像映射点和第二空间点的位置推算出该目标位置信息。
图4是根据图3示出的一种确定摄像映射点位置信息的方法的流程图，如图4所示，该步骤1011包括：
步骤1011a，从上述多个深度图像中确定包含该目标物体的第一深度图像和不包含该目标物体的第二深度图像。
示例地，该步骤1011a到步骤1011c实际为通过两个深度图像的对比确定摄像映射点的过程。基于此，该第二深度图像还可以为包含的目标物体，但目标物体在目标平面上所处的位置与第一深度图像包含的目标物体在目标平面所处的位置不同的图像。
步骤1011b，根据该第一深度图像的图像信息确定该第二位置信息。
步骤1011c，通过该第一深度图像的图像信息和该第二深度图像的图像信息，确定该第一位置信息。
示例地，可以理解的是，该步骤1011b和该步骤1011c可以同时进行。该步骤1011b中，第一深度图像中包含该目标物体的像素点对应的空间点即为该第二空间点，包含该目标物体的任一像素点的位置信息可以根据第一深度图像信息直接获得。而针对步骤1011c，该摄像映射点无法直接获得，需要首先根据第一深度图像获取该目标物体在目标平面上的二维位置(即目标二维坐标)。进而确定第二深度图像中同样处于该目标二维坐标的像素点的图像信息，即为该第一位置信息。该步骤1011c包括：获取该第一深度图像中的第一像素点在该第一深度图像对应的平面图像上的目标二维坐标，该第一像素点为该第一深度图像中包含该目标物体的多个像素点中的任一像素点；从该第二深度图像中确定第二像素点，该第二像素点在该第二深度图像对应的平面图像上的二维坐标为该目标二维坐标；根据该第二深度图像的图像信息，将该第二像素点对应的空间点与该第一空间点的距离作为该第一距离，并将该第二像素点对应的空间点的相对角度作为该第一相对角度。
图5a是根据图3示出的一种确定垂直映射点位置信息的方法的流程图，如图5a所示，该步骤1012包括：
步骤1012a，根据该第一距离和该第一相对角度，确定目标角度。
其中，该目标角度为该第一空间点与该摄像映射点的连线与该目标平面的夹角的角度。
示例地，该步骤1012b，包括：步骤a，确定在第一深度图像中确定第三像素点，该第三像素点为该第一深度图像中除该摄像遮蔽点对应的像素点外的任一像素点；步骤b，根据该第三像素点的第三相对角度，该第一像素点与该第一空间点的第三距离、该第一距离和该第一相对角度，确定目标角度。
示例地，图5b是根据图5a示出的一种目标平面、摄像头和目标物体三者的位置示意图，如图5b所示，X点为该第三像素点，第一距离为线段OB的长度(记为OB)，第一相对角度为角DOB的角度(记为θ)，第三距离为线段OX的长度(记为OX)，第三相对角度为角DOX的角度(记为ε)。如此，上述步骤b可以为，首先根据上述的θ和ε可以确定角XOB的角度(记为α)，即α＝θ-ε。其次，可以通过第一计算公式，根据上述的OB、OX和α，可以确定线段BX的长度(记为BX)，该第一计算公式可以表示为：
BX＝OB2+OX2-2×OB×OX×cosα (1)。
最后，通过第二计算公式根据BX、α和OX，确定角OBX的角度(记为β)，该角OBX的角度即为上述的目标角度。该第二计算公式可以表示为：
Figure BDA0002793498260000131
步骤1012b，根据该目标角度、该第一距离、该第一相对角度、该第二距离和该第二相对角度，确定该目标距离以及该目标图像角度。
依然以图5b为例，该步骤1012可以包括：根据OA和线段OB的长度(即第一距离，记为OB)，确定线段AB的距离(记为AB)，即OA-OB＝AB；通过第三计算公式，根据线段AB的距离和上述的β，确定线段AC的长度(记为AC)，该第三计算公式可以表示为：
AC＝AB×sinβ (3)；
通过第四计算公式，根据AC、OB和β确定角COB的角度(记为γ)，该第四计算公式可以表示为：
Figure BDA0002793498260000132
之后，可以通过第五计算公式，根据β、γ和OA，确定线段OC的长度(记为OC)。该第五计算公式可以表示为：
Figure BDA0002793498260000133
如此，第一相对角度减去该角COB的角度(即γ)即为角DOC的角度，亦即上述的目标相对角度，线段OC的长度即为上述的目标距离。
图6是根据图1示出的一种生成热力图的方法的流程图，如图6所示，该步骤102包括：
步骤1021，对预设时间段内获取到的多个该垂直映射点进行聚类，以获取多个映射点集。
其中，每个该映射点集中包含的垂直映射点具备相同的目标位置信息。
步骤1022，根据每个映射点集中包含的垂直映射点的数量和每个映射点集对应的目标位置信息，生成该热力图。
示例地，可以理解的是，该步骤1021和1022实际为将具备相同的目标距离和目标相对角度的垂直映射点的数量进行统计的步骤。例如，若映射点集中包含3个具备相同位置的垂直映射点(E点)，则认为目标物体在目标平面上的E点出现了3次；若映射点集中包含20个具备相同位置的垂直映射点(点F)，则认为目标物体在目标平面上的F点出现了20次。
综上所述，本公开的实施例所提供的技术方案，能够根据摄像头采集到的目标平面的多个深度图像的图像信息，确定处于该目标平面和该摄像设备之间的目标物体在该目标平面上的垂直映射点的目标位置信息；其中，该图像信息包括：该深度图像中的每个像素点对应的空间点与该摄像头所处的第一空间点的距离，以及，上述每个像素点对应的空间点相对于该第一空间点与该目标平面之间的目标垂线的相对角度，该目标位置信息包括：该垂直映射点与该第一空间点之前的目标距离和该垂直映射点的目标相对角度；根据该目标物体在每个该垂直映射点的出现频率和每个该垂直映射点的目标位置信息，生成该目标物体在该目标平面上的热力图。提高对物体在平面上的映射点进行识别的准确度，进而提高生成的热力图的准确度。
图7是根据一示例性实施例示出的一种生成平面热力图的装置的框图，如图7所示，应用于处理设备，该处理设备与摄像头连接，该摄像头设置于目标平面的一侧，该装置包括：
位置确定模块710，被配置成用于根据该摄像头采集到的该目标平面的多个深度图像的图像信息，确定处于该目标平面和该摄像设备之间的目标物体在该目标平面上的垂直映射点的目标位置信息；其中，该图像信息包括：该深度图像中的每个像素点对应的空间点与该摄像头所处的第一空间点的距离，以及，上述每个像素点对应的空间点相对于该第一空间点与该目标平面之间的目标垂线的相对角度，该目标位置信息包括：该垂直映射点与该第一空间点之前的目标距离和该垂直映射点的目标相对角度；
热力图生成模块720，被配置成用于根据该目标物体在每个该垂直映射点的出现频率和每个该垂直映射点的目标位置信息，生成该目标物体在该目标平面上的热力图。
图8是根据图7示出的一种位置确定模块的框图，如图8所示，该位置确定模块710，包括：
位置获取子模块711，被配置成用于通过该图像信息获取该目标物体在该目标平面上的摄像映射点的第一位置信息和该第二空间点的第二位置信息，该摄像映射点为该第一空间点与该第二空间点的连线在该目标平面上的交点，该第一位置信息包括：该摄像映射点与该第一空间点的第一距离和该摄像映射点的第一相对角度，该第二位置信息包括：该第二空间点与该第一空间点的第二距离和该第二空间点的第二相对角度；
位置确定子模块712，被配置成用于根据该第一位置信息和该第二位置信息，确定该目标位置信息。
可选的，该位置获取子模块711，被配置成用于：
从上述多个深度图像中确定包含该目标物体的第一深度图像和不包含该目标物体的第二深度图像；
根据该第一深度图像的图像信息确定该第二位置信息；
通过该第一深度图像的图像信息和该第二深度图像的图像信息，确定该第一位置信息。
可选的，该位置获取子模块711，被配置成用于：
获取该第一深度图像中的第一像素点在该第一深度图像对应的平面图像上的目标二维坐标，该第一像素点为该第一深度图像中包含该目标物体的多个像素点中的任一像素点；
从该第二深度图像中确定第二像素点，该第二像素点在该第二深度图像对应的平面图像上的二维坐标为该目标二维坐标；
根据该第二深度图像的图像信息，将该第二像素点对应的空间点与该第一空间点的距离作为该第一距离，并将该第二像素点对应的空间点的相对角度作为该第一相对角度。
可选的，该相对角度为上述每个像素点对应的空间点与该第一空间点的连线与该目标垂线的夹角的角度，该位置确定子模块712，被配置成用于：
根据该第一距离和该第一相对角度，确定目标角度，该目标角度为该第一空间点与该摄像映射点的连线与该目标平面的夹角的角度；
根据该目标角度、该第一距离、该第一相对角度、该第二距离和该第二相对角度，确定该目标距离以及该目标图像角度。
可选的，该位置确定子模块712，被配置成用于：
确定在第一深度图像中确定第三像素点，该第三像素点为该第一深度图像中除该摄像遮蔽点对应的像素点外的任一像素点；
根据该第三像素点的第三相对角度，该第一像素点与该第一空间点的第三距离、该第一距离和该第一相对角度，确定目标角度。
可选的，该热力图生成模块720，被配置成用于：
对预设时间段内获取到的多个该垂直映射点进行聚类，以获取多个映射点集，每个该映射点集中包含的垂直映射点具备相同的目标位置信息；
根据每个该映射点集中包含的垂直映射点的数量和每个该映射点集对应的目标位置信息，生成该热力图。
综上所述，本公开的实施例所提供的技术方案，能够根据摄像头采集到的目标平面的多个深度图像的图像信息，确定处于该目标平面和该摄像设备之间的目标物体在该目标平面上的垂直映射点的目标位置信息；其中，该图像信息包括：该深度图像中的每个像素点对应的空间点与该摄像头所处的第一空间点的距离，以及，上述每个像素点对应的空间点相对于该第一空间点与该目标平面之间的目标垂线的相对角度，该目标位置信息包括：该垂直映射点与该第一空间点之前的目标距离和该垂直映射点的目标相对角度；根据该目标物体在每个该垂直映射点的出现频率和每个该垂直映射点的目标位置信息，生成该目标物体在该目标平面上的热力图。提高对物体在平面上的映射点进行识别的准确度，进而提高生成的热力图的准确度。
示例地，图9是根据一示例性实施例示出的一种电子设备900的框图。参照图9，电子设备900包括处理器901，其数量可以为一个或多个，以及存储器902，用于存储可由处理器901执行的计算机程序。存储器902中存储的计算机程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理器901可以被配置为执行该计算机程序，以执行上述的生成平面热力图的方法。
另外，电子设备900还可以包括电源组件903和通信组件904，该电源组件903可以被配置为执行电子设备900的电源管理，该通信组件904可以被配置为实现电子设备900的通信，例如，有线或无线通信。此外，该电子设备900还可以包括输入/输出(I/O)接口905。电子设备900可以操作基于存储在存储器902的操作系统，例如Windows ServerTM，Mac OSXTM，UnixTM，LinuxTM等等。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的生成平面热力图的方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器902，上述程序指令可由电子设备900的处理器901执行以完成上述的生成平面热力图的方法。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。

Claims (16)

1.一种生成平面热力图的方法，其特征在于，应用于处理设备，所述处理设备与摄像头连接，所述摄像头设置于目标平面的一侧，所述方法包括：
根据所述摄像头采集到的所述目标平面的多个深度图像的图像信息，确定处于所述目标平面和所述摄像设备之间的目标物体在所述目标平面上的垂直映射点的目标位置信息；其中，所述图像信息包括：所述深度图像中的每个像素点对应的空间点与所述摄像头所处的第一空间点的距离，以及，所述每个像素点对应的空间点相对于所述第一空间点与所述目标平面之间的目标垂线的相对角度，所述目标位置信息包括：所述垂直映射点与所述第一空间点之间的目标距离和所述垂直映射点的目标相对角度；
根据所述目标物体在每个所述垂直映射点的出现频率和每个所述垂直映射点的目标位置信息，生成所述目标物体在所述目标平面上的热力图。
2.根据权利要求1所述的方法，其特征在于，所述根据所述摄像设备采集到的所述目标平面的多个深度图像的图像信息，确定处于所述目标平面和所述摄像设备之间的目标物体在所述目标平面上的垂直映射点的目标位置信息，包括：
通过所述图像信息获取所述目标物体在所述目标平面上的摄像映射点的第一位置信息和所述目标物体当前所处的第二空间点的第二位置信息，所述摄像映射点为所述第一空间点与所述第二空间点的连线在所述目标平面上的交点，所述第一位置信息包括：所述摄像映射点与所述第一空间点的第一距离和所述摄像映射点的第一相对角度，所述第二位置信息包括：所述第二空间点与所述第一空间点的第二距离和所述第二空间点的第二相对角度；
根据所述第一位置信息和所述第二位置信息，确定所述目标位置信息。
3.根据权利要求2所述的方法，其特征在于，所述通过所述图像信息获取所述目标物体在所述目标平面上的摄像映射点的第一位置信息和所述目标物体当前所处的第二空间点的第二位置信息，包括：
从所述多个深度图像中确定包含所述目标物体的第一深度图像和不包含所述目标物体的第二深度图像；
根据所述第一深度图像的图像信息确定所述第二位置信息；
通过所述第一深度图像的图像信息和所述第二深度图像的图像信息，确定所述第一位置信息。
4.根据权利要求3所述的方法，其特征在于，所述通过所述第一深度图像的图像信息和所述第二深度图像的图像信息，确定第一位置信息，包括：
获取所述第一深度图像中的第一像素点在所述第一深度图像对应的平面图像上的目标二维坐标，所述第一像素点为所述第一深度图像中包含所述目标物体的多个像素点中的任一像素点；
从所述第二深度图像中确定位于所述目标二维坐标的第二像素点，所述第二像素点在所述第二深度图像对应的平面图像上的二维坐标为所述目标二维坐标；
根据所述第二深度图像的图像信息，将所述第二像素点对应的空间点与所述第一空间点的距离作为所述第一距离，并将所述第二像素点对应的空间点的相对角度作为所述第一相对角度。
5.根据权利要求2所述的方法，其特征在于，所述相对角度为所述每个像素点对应的空间点与所述第一空间点的连线与所述目标垂线的夹角的角度，所述根据所述第一位置信息和所述第二位置信息，确定所述目标位置信息，包括：
根据所述第一距离和所述第一相对角度，确定目标角度，所述目标角度为所述第一空间点与所述摄像映射点的连线与所述目标平面的夹角的角度；
根据所述目标角度、所述第一距离、所述第一相对角度、所述第二距离和所述第二相对角度，确定所述目标距离以及所述目标相对角度。
6.根据权利要求5所述的方法，其特征在于，所述根据所述第一距离和所述第一相对角度，确定目标角度，包括：
确定在第一深度图像中确定第三像素点，所述第三像素点为所述第一深度图像中除所述摄像映射点对应的像素点外的任一像素点；
根据所述第三像素点的第三相对角度，所述第三像素点与所述第一空间点的第三距离、所述第一距离和所述第一相对角度，确定目标角度。
7.根据权利要求1所述的方法，其特征在于，所述确定在预设时间段内所述目标物体在每个所述垂直映射点的出现频率，以生成所述目标物体在所述目标平面上的热力图，包括：
对预设时间段内获取到的多个所述垂直映射点进行聚类，以获取多个映射点集，每个所述映射点集中包含的垂直映射点具备相同的目标位置信息；
根据每个所述映射点集中包含的垂直映射点的数量和每个所述映射点集对应的目标位置信息，生成所述热力图。
8.一种生成平面热力图的装置，其特征在于，应用于处理设备，所述处理设备与摄像头连接，所述摄像头设置于目标平面的一侧，所述装置包括：
位置确定模块，被配置成用于根据所述摄像头采集到的所述目标平面的多个深度图像的图像信息，确定处于所述目标平面和所述摄像设备之间的目标物体在所述目标平面上的垂直映射点的目标位置信息；其中，所述图像信息包括：所述深度图像中的每个像素点对应的空间点与所述摄像头所处的第一空间点的距离，以及，所述每个像素点对应的空间点相对于所述第一空间点与所述目标平面之间的目标垂线的相对角度，所述目标位置信息包括：所述垂直映射点与所述第一空间点之间的目标距离和所述垂直映射点的目标相对角度；
热力图生成模块，被配置成用于根据所述目标物体在每个所述垂直映射点的出现频率和每个所述垂直映射点的目标位置信息，生成所述目标物体在所述目标平面上的热力图。
9.根据权利要求8所述的装置，其特征在于，所述位置确定模块，包括：
位置获取子模块，被配置成用于通过所述图像信息获取所述目标物体在所述目标平面上的摄像映射点的第一位置信息和所述目标物体当前所处的第二空间点的第二位置信息，所述摄像映射点为所述第一空间点与所述第二空间点的连线在所述目标平面上的交点，所述第一位置信息包括：所述摄像映射点与所述第一空间点的第一距离和所述摄像映射点的第一相对角度，所述第二位置信息包括：所述第二空间点与所述第一空间点的第二距离和所述第二空间点的第二相对角度；
位置确定子模块，被配置成用于根据所述第一位置信息和所述第二位置信息，确定所述目标位置信息。
10.根据权利要求9所述的装置，其特征在于，所述位置获取子模块，被配置成用于：
从所述多个深度图像中确定包含所述目标物体的第一深度图像和不包含所述目标物体的第二深度图像；
根据所述第一深度图像的图像信息确定所述第二位置信息；
通过所述第一深度图像的图像信息和所述第二深度图像的图像信息，确定所述第一位置信息。
11.根据权利要求10所述的装置，其特征在于，所述位置获取子模块，被配置成用于：
获取所述第一深度图像中的第一像素点在所述第一深度图像对应的平面图像上的目标二维坐标，所述第一像素点为所述第一深度图像中包含所述目标物体的多个像素点中的任一像素点；
从所述第二深度图像中确定位于所述目标二维坐标的第二像素点，所述第二像素点在所述第二深度图像对应的平面图像上的二维坐标为所述目标二维坐标；
根据所述第二深度图像的图像信息，将所述第二像素点对应的空间点与所述第一空间点的距离作为所述第一距离，并将所述第二像素点对应的空间点的相对角度作为所述第一相对角度。
12.根据权利要求9所述的装置，其特征在于，所述相对角度为所述每个像素点对应的空间点与所述第一空间点的连线与所述目标垂线的夹角的角度，所述位置确定子模块，被配置成用于：
根据所述第一距离和所述第一相对角度，确定目标角度，所述目标角度为所述第一空间点与所述摄像映射点的连线与所述目标平面的夹角的角度；
根据所述目标角度、所述第一距离、所述第一相对角度、所述第二距离和所述第二相对角度，确定所述目标距离以及所述目标相对角度。
13.根据权利要求12所述的装置，其特征在于，所述位置确定子模块，被配置成用于：
确定在第一深度图像中确定第三像素点，所述第三像素点为所述第一深度图像中除所述摄像映射点对应的像素点外的任一像素点；
根据所述第三像素点的第三相对角度，所述第三像素点与所述第一空间点的第三距离、所述第一距离和所述第一相对角度，确定目标角度。
14.根据权利要求8所述的装置，其特征在于，所述热力图生成模块，被配置成用于：
对预设时间段内获取到的多个所述垂直映射点进行聚类，以获取多个映射点集，每个所述映射点集中包含的垂直映射点具备相同的目标位置信息；
根据每个所述映射点集中包含的垂直映射点的数量和每个所述映射点集对应的目标位置信息，生成所述热力图。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至7中任一项所述的生成平面热力图的方法的步骤。
16.一种电子设备，其特征在于，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1至7中任一项所述的生成平面热力图的方法的步骤。
CN202011322979.6A 2020-11-23 2020-11-23 生成平面热力图的方法、装置、存储介质和电子设备 Active CN112532874B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011322979.6A CN112532874B (zh) 2020-11-23 2020-11-23 生成平面热力图的方法、装置、存储介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011322979.6A CN112532874B (zh) 2020-11-23 2020-11-23 生成平面热力图的方法、装置、存储介质和电子设备

Publications (2)

Publication Number Publication Date
CN112532874A CN112532874A (zh) 2021-03-19
CN112532874B true CN112532874B (zh) 2022-03-29

Family

ID=74992979

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011322979.6A Active CN112532874B (zh) 2020-11-23 2020-11-23 生成平面热力图的方法、装置、存储介质和电子设备

Country Status (1)

Country Link
CN (1) CN112532874B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015184978A1 (zh) * 2014-06-04 2015-12-10 华为技术有限公司 摄像机控制方法、装置及摄像机

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104656903A (zh) * 2015-03-04 2015-05-27 联想(北京)有限公司 一种显示图像处理方法和电子设备
US10019655B2 (en) * 2016-08-31 2018-07-10 Adobe Systems Incorporated Deep-learning network architecture for object detection
CN109961472B (zh) * 2017-12-25 2022-03-04 北京京东尚科信息技术有限公司 3d热力图生成的方法、系统、存储介质及电子设备
CN110619807B (zh) * 2018-06-20 2022-12-02 北京京东尚科信息技术有限公司 生成全局热力图的方法和装置
CN110599593B (zh) * 2019-09-12 2021-03-23 北京三快在线科技有限公司 数据合成的方法、装置、设备及存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015184978A1 (zh) * 2014-06-04 2015-12-10 华为技术有限公司 摄像机控制方法、装置及摄像机

Also Published As

Publication number Publication date
CN112532874A (zh) 2021-03-19

Similar Documents

Publication Publication Date Title
US11049279B2 (en) Device for detecting positional relationship among objects
US10909667B1 (en) Image rectification using transformation data
US20150248578A1 (en) Methods and Apparatus for Determining Dimensions of an Item Using 3-Dimensional Triangulation
US10929629B2 (en) Positional relationship detection device and positional relationship detection system
JP2020011031A (ja) ターゲットオブジェクトとアイテムとの関連付け方法、装置、及びシステム
US20150213498A1 (en) Method and apparatus for providing product information
CN108921098B (zh) 人体运动分析方法、装置、设备及存储介质
JP5773436B2 (ja) 情報端末装置
CN109961472B (zh) 3d热力图生成的方法、系统、存储介质及电子设备
CN112074842A (zh) 价签信息显示方法、装置及货架系统
CN110728649A (zh) 用于生成位置信息的方法和装置
WO2019003858A1 (ja) 商品特定システム
CN111429194B (zh) 用户轨迹确定系统、方法、装置及服务器
CN112532874B (zh) 生成平面热力图的方法、装置、存储介质和电子设备
CN110766646A (zh) 展示架遮挡检测方法、装置以及存储介质
US8805014B2 (en) Produce color data correction method and an apparatus therefor
WO2015079054A1 (en) Estimating gaze from un-calibrated eye measurement points
JP6536707B1 (ja) 画像認識システム
CN110765815B (zh) 展示架遮挡检测方法和装置
CN115661624A (zh) 一种货架的数字化方法、装置及电子设备
US9392254B2 (en) Game sizing camera
CN115082520A (zh) 定位追踪方法、装置、终端设备及计算机可读存储介质
US20240046597A1 (en) System that calculates available shelf space based on images projected onto the shelf surface
JP2022014793A (ja) 情報処理装置、情報処理方法、及びプログラム
US11462004B2 (en) Object identification device, object identification method, calculation device, system, and recording medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant