CN112329718A - 用于生成信息的方法和装置 - Google Patents
用于生成信息的方法和装置 Download PDFInfo
- Publication number
- CN112329718A CN112329718A CN202011342733.5A CN202011342733A CN112329718A CN 112329718 A CN112329718 A CN 112329718A CN 202011342733 A CN202011342733 A CN 202011342733A CN 112329718 A CN112329718 A CN 112329718A
- Authority
- CN
- China
- Prior art keywords
- image
- detected
- user
- head
- shoulder
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 238000001514 detection method Methods 0.000 claims abstract description 25
- 210000003128 head Anatomy 0.000 claims description 99
- 230000006399 behavior Effects 0.000 claims description 85
- 238000000605 extraction Methods 0.000 claims description 50
- 238000012549 training Methods 0.000 claims description 36
- 238000010586 diagram Methods 0.000 claims description 23
- 230000015654 memory Effects 0.000 claims description 19
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000010801 machine learning Methods 0.000 claims description 7
- 230000000873 masking effect Effects 0.000 claims description 6
- 230000009191 jumping Effects 0.000 claims description 3
- 230000004044 response Effects 0.000 claims 1
- 239000000126 substance Substances 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 11
- 238000012545 processing Methods 0.000 abstract description 5
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0282—Rating or review of business operators or products
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- Strategic Management (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Accounting & Taxation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Artificial Intelligence (AREA)
- Game Theory and Decision Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Economics (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了用于生成信息的方法和装置,具体实现方案为:从包括人体图像的待检测图像中,确定人体图像对应的头肩边框的位置坐标和头肩边框的位置坐标对应的头肩图像;基于头肩图像、待检测图像和头肩边框的位置坐标,对待检测图像中人体图像对应的用户进行分析,得到待检测图像中人体图像对应的用户行为数据,其中,用户行为数据包括:用户的用户标识、用户的属性信息、用户所在地点的位置坐标、用户的注视点信息和时间戳,用户的注视点信息通过将头肩图像、待检测图像和头肩边框的位置坐标输入至预先训练的注视点预测模型而生成。该方案通过计算机视觉技术定位用户,利用图像处理技术获取用户注视点位置,从而实现用户行为检测方法。
Description
技术领域
本申请的实施例涉及计算机技术领域,具体涉及图像处理技术领域,尤其涉及用于生成信息的方法和装置。
背景技术
线下场景中,店内用户的行为分析对商家有极大的指导意义。但线下区域不同于线上区域,线下顾客表示关注的行为往往难以获得。基于深度学习的目标检测是计算机视觉的核心技术,在各种设备智能化的应用中属于核心方法。如何利用深度学习的目标检测技术对线下区域内中的店内用户的行为进行分析成为我们的一个研究方向。
目前获取线下区域内用户关注度的方法有以下几种:一种是按照销售情况进行推断,整个购物流程中只能获取到用户最终的结算数据,运营人员从最终的销量情况反推该区域用户的购买偏好。另一种是采用调查问卷的方式,依靠线下推广人员一对一进行问卷调查,得到用户的购买偏好。还有一种是运营人员根据个人经验判断该区域用户的购买偏好。
发明内容
本申请提供了一种用于生成信息的方法、装置、设备以及存储介质。
根据本申请的第一方面,提供了一种用于生成信息的方法,该方法包括:从包括人体图像的待检测图像中,确定人体图像对应的头肩边框的位置坐标和头肩边框的位置坐标对应的头肩图像,其中,待检测图像为某个区域内若干待检测图像其中之一;基于头肩图像、待检测图像和头肩边框的位置坐标,对待检测图像中人体图像对应的用户进行分析,得到待检测图像中人体图像对应的用户行为数据,其中,用户行为数据包括:用户的用户标识、用户的属性信息、用户所在地点的位置坐标、用户的注视点信息和时间戳,用户的注视点信息通过将头肩图像、待检测图像和头肩边框的位置坐标输入至预先训练的注视点预测模型而生成,注视点预测模型用于表征对用户眼睛注视的位置点坐标进行检测。
在一些实施例中,从包括人体图像的待检测图像中,确定人体图像对应的头肩边框的位置坐标和头肩边框的位置坐标对应的头肩图像,包括:将待检测图像输入至预先训练的位置检测模型,生成待检测图像中人体图像对应的头肩边框的位置坐标,其中,位置检测模型用于表征对待检测图像中人体图像的人体头部和人体肩部的结合进行位置检测;基于生成的头肩边框的位置坐标和待检测图像,确定待检测图像中与头肩边框的位置坐标对应的头肩图像。
在一些实施例中,注视点预测模型通过如下方式训练得到:获取训练样本集,其中,训练样本集中的训练样本包括待检测图像、待检测图像中人体图像对应的头肩边框的位置坐标、与头肩边框的位置坐标对应的头肩图像和待检测图像中人体图像对应的用户的注视点信息;利用机器学习算法,将训练样本集中的训练样本包括的待检测图像、待检测图像中人体图像对应的头肩边框的位置坐标、与头肩边框的位置坐标相对应的头肩图像作为输入数据,将待检测图像中人体图像对应的用户的注视点信息作为期望输出数据,训练得到注视点预测模型。
在一些实施例中,注视点预测模型包括:第一特征提取子模型、第二特征提取子模型和注视点预测子模型;用户的注视点信息的生成过程,包括:将待检测图像和待检测图像对应的掩模图像输入至第一特征提取子模型,生成待检测图像对应的第一特征图,其中,第一特征提取子模型用于表征针对待检测图像与掩模图像的叠加图像进行特征信息提取,掩模图像基于头肩边框的位置坐标对待检测图像进行图像掩模而得到;将头肩图像输入至第二特征提取子模型,生成头肩图像对应的第二特征图;将第一特征图中的特征信息和第二特征图中的特征信息进行叠加,得到叠加后的第三特征图;将第三特征图输入至注视点预测子模型,生成待检测图像中人体图像对应的用户的注视点信息。
在一些实施例中,在将第三特征图输入至注视点预测子模型,生成待检测图像中人体图像对应的用户的注视点信息之前,还包括:判断第三特征图中是否存在对象类,其中,对象类基于对用户眼睛注视到的对象进行分类而得到;响应于第三特征图中存在对象类,跳转至将第三特征图输入至注视点预测子模型,生成待检测图像中人体图像对应的用户的注视点信息;响应于第三特征图中不存在对象类,输出判断结果并停止运行。
在一些实施例中,方法还包括:基于区域内各个待检测图像对应的用户行为数据,确定区域内各个维度的关注时长数据集和各个维度的关注度数据集,其中,各个维度的关注时长数据集和各个维度的关注度数据集至少包括:基于所有用户行为数据对区域内各个位置坐标进行关注程度分析而得到和基于所有用户行为数据对区域内各个属性信息对应的用户进行关注程度分析而得到;基于各个维度的关注时长数据集和各个维度的关注度数据集,生成与各个维度的关注时长数据集对应的时长图和与各个维度的关注度数据集对应的热度图。
在一些实施例中,方法还包括:基于对象标识、各个热度图和各个时长图,确定每个热度图中各个对象的关注度、各个对象的时长、与各个对象的关注度对应的关注度排名和与各个对象的时长对应的时长排名。
在一些实施例中,方法还包括:基于区域内各个待检测图像对应的用户行为数据,确定区域内各个用户的行驶轨迹,其中,行驶轨迹基于用户标识对各个用户行为数据进行分析而得到;基于各个用户的行驶轨迹,生成各个用户的行驶轨迹图。
在一些实施例中,方法还包括:生成区域的用户行为报告并将用户行为报告输出。
根据本申请的第二方面,提供了一种用于生成信息的装置,装置包括:第一确定单元,被配置成从包括人体图像的待检测图像中,确定人体图像对应的头肩边框的位置坐标和头肩边框的位置坐标对应的头肩图像,其中,待检测图像为某个区域内若干待检测图像其中之一;第一生成单元,被配置成基于头肩图像、待检测图像和头肩边框的位置坐标,对待检测图像中人体图像对应的用户进行分析,得到待检测图像中人体图像对应的用户行为数据,其中,用户行为数据包括:用户的用户标识、用户的属性信息、用户所在地点的位置坐标、用户的注视点信息和时间戳,用户的注视点信息通过将头肩图像、待检测图像和头肩边框的位置坐标输入至预先训练的注视点预测模型而生成,注视点预测模型用于表征对用户眼睛注视的位置点坐标进行检测。
在一些实施例中,第一确定单元,包括:位置生成模块,被配置成将待检测图像输入至预先训练的位置检测模型,生成待检测图像中人体图像对应的头肩边框的位置坐标,其中,位置检测模型用于表征对待检测图像中人体图像的人体头部和人体肩部的结合进行位置检测;图像确定模块,被配置成基于生成的头肩边框的位置坐标和待检测图像,确定待检测图像中与头肩边框的位置坐标对应的头肩图像。
在一些实施例中,第一生成单元中的注视点预测模型利用如下模块训练得到:样本获取模块,被配置成获取训练样本集,其中,训练样本集中的训练样本包括待检测图像、待检测图像中人体图像对应的头肩边框的位置坐标、与头肩边框的位置坐标对应的头肩图像和待检测图像中人体图像对应的用户的注视点信息;训练模块,被配置成利用机器学习算法,将训练样本集中的训练样本包括的待检测图像、待检测图像中人体图像对应的头肩边框的位置坐标、与头肩边框的位置坐标相对应的头肩图像作为输入数据,将待检测图像中人体图像对应的用户的注视点信息作为期望输出数据,训练得到注视点预测模型。
在一些实施例中,第一生成单元中的注视点预测模型包括:第一特征提取子模型、第二特征提取子模型和注视点预测子模型;第一生成单元中的用户的注视点信息利用如下模块生成:第一特征提取模块,被配置成将待检测图像和待检测图像对应的掩模图像输入至第一特征提取子模型,生成待检测图像对应的第一特征图,其中,第一特征提取子模型用于表征针对待检测图像与掩模图像的叠加图像进行特征信息提取,掩模图像基于头肩边框的位置坐标对待检测图像进行图像掩模而得到;第二特征提取模块,被配置成将头肩图像输入至第二特征提取子模型,生成头肩图像对应的第二特征图;特征叠加模块,被配置成将第一特征图中的特征信息和第二特征图中的特征信息进行叠加,得到叠加后的第三特征图;注视点预测模块,被配置成将第三特征图输入至注视点预测子模型,生成待检测图像中人体图像对应的用户的注视点信息。
在一些实施例中,第一生成单元,还包括:判断模块,被配置成判断第三特征图中是否存在对象类,其中,对象类基于对用户眼睛注视到的对象进行分类而得到;跳转模块,被配置成响应于第三特征图中存在对象类,跳转至将第三特征图输入至注视点预测子模型,生成待检测图像中人体图像对应的用户的注视点信息;输出模块,被配置成响应于第三特征图中不存在对象类,输出判断结果并停止运行。
在一些实施例中,装置还包括:第二确定单元,被配置成基于区域内各个待检测图像对应的用户行为数据,确定区域内各个维度的关注时长数据集和各个维度的关注度数据集,其中,各个维度的关注时长数据集和各个维度的关注度数据集至少包括:基于所有用户行为数据对区域内各个位置坐标进行关注程度分析而得到和基于所有用户行为数据对区域内各个属性信息对应的用户进行关注程度分析而得到;第二生成单元,被配置成基于各个维度的关注时长数据集和各个维度的关注度数据集,生成与各个维度的关注时长数据集对应的时长图和与各个维度的关注度数据集对应的热度图。
在一些实施例中,装置还包括:第三确定单元,被配置成基于对象标识、各个热度图和各个时长图,确定每个热度图中各个对象的关注度、各个对象的时长、与各个对象的关注度对应的关注度排名和与各个对象的时长对应的时长排名。
在一些实施例中,装置还包括:第四确定单元,被配置成基于区域内各个待检测图像对应的用户行为数据,确定区域内各个用户的行驶轨迹,其中,行驶轨迹基于用户标识对各个用户行为数据进行分析而得到;第三生成单元,被配置成基于各个用户的行驶轨迹,生成各个用户的行驶轨迹图。
在一些实施例中,装置还包括:第四生成单元,被配置成生成区域的用户行为报告并将用户行为报告输出。
根据本申请的第三方面,提供了一种电子设备,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行如第一方面中任一实现方式描述的方法。
根据本申请的第四方面,本申请提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,计算机指令用于使计算机执行如第一方面中任一实现方式描述的方法。
根据本申请的技术采用从包括人体图像的待检测图像中,确定人体图像对应的头肩边框的位置坐标和头肩边框的位置坐标对应的头肩图像,基于头肩图像、待检测图像和头肩边框的位置坐标,对待检测图像中人体图像对应的用户进行分析,得到待检测图像中人体图像对应的用户行为数据,其中,用户行为数据包括:用户的用户标识、用户的属性信息、用户所在地点的位置坐标、用户的注视点信息和时间戳,用户的注视点信息通过将头肩图像、待检测图像和头肩边框的位置坐标输入至预先训练的注视点预测模型而生成,注视点预测模型用于表征对用户眼睛注视的位置点坐标进行检测,解决了现有技术中依据销售情况反推的方式做出的判断存在偏差,容易偏向单一种类热销品,并失去挖掘新增长品的机会的问题,避免了采用调查问卷的方式耗费成本的人力巨大并且收集范围较小以及采用经验判断的方式对于规模化的线下区域难以一一进行人工分析的问题。利用区域内图像预测用户眼睛注视点位置坐标和用户行为数据,实现了一种针对图像的用户行为检测方法,通过使用计算机视觉技术和图像处理技术定位用户,捕捉用户注视点位置,从而抓取到线下区域内最难获取到的用户关注行为。
应当理解,本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征,也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本申请的限定。
图1是根据本申请的用于生成信息的方法的第一实施例的示意图;
图2是可以实现本申请实施例的用于生成信息的方法的区域内图;
图3是根据本申请的用于生成信息的方法的第二实施例的示意图;
图4是根据本申请的用于生成信息的方法的第三实施例的示意图;
图5是根据本申请的用于生成信息的装置的一个实施例的结构示意图;
图6是用来实现本申请实施例的用于生成信息的方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了根据本申请的用于生成信息的方法的第一实施例的示意图100。该用于生成信息的方法,包括以下步骤:
步骤101,从包括人体图像的待检测图像中,确定人体图像对应的头肩边框的位置坐标和头肩边框的位置坐标对应的头肩图像。
在本实施例中,执行主体(例如服务平台或终端设备)根据预设的边框位置算法,针对待检测图像的人体图像,确定人体图像对应的头肩边框的位置坐标,再根据头肩边框的位置坐标生成头肩边框的位置坐标对应的头肩图像。其中,待检测图像为某个区域内若干待检测图像其中之一。待检测图像可以通过采集摄像头的视频流而获得。头肩边框用于表征人体图像中包含人体头部和人体肩部的图像边框。
步骤102,基于头肩图像、待检测图像和头肩边框的位置坐标,对待检测图像中人体图像对应的用户进行分析,得到待检测图像中人体图像对应的用户行为数据。
在本实施例中,执行主体可以基于步骤101得到的头肩图像、待检测图像和头肩边框的位置坐标,利用预设的用户分析法对待检测图像中人体图像对应的用户进行分析,得到待检测图像中人体图像对应的用户行为数据。分析后得到的用户行为数据包括:用户的用户标识、用户的属性信息、用户所在地点的位置坐标、用户的注视点信息和时间戳,用户的注视点信息通过将头肩图像、待检测图像和头肩边框的位置坐标输入至预先训练的注视点预测模型而生成,注视点预测模型用于表征对用户眼睛注视的位置点坐标进行检测。属性信息可以包括:性别、年龄等属性信息,时间戳为当前时间信息。
在本实施例的一些可选的实现方式中,注视点预测模型通过如下方式训练得到:获取训练样本集,其中,训练样本集中的训练样本包括待检测图像、待检测图像中人体图像对应的头肩边框的位置坐标、与头肩边框的位置坐标对应的头肩图像和待检测图像中人体图像对应的用户的注视点信息;利用机器学习算法,将训练样本集中的训练样本包括的待检测图像、待检测图像中人体图像对应的头肩边框的位置坐标、与头肩边框的位置坐标相对应的头肩图像作为输入数据,将待检测图像中人体图像对应的用户的注视点信息作为期望输出数据,训练得到注视点预测模型。利用机器学习算法,使模型更加精准、高效,应用更加广泛。
需要说明的是,技术人员可以根据实际需求,自行设定上述注视点预测模型的模型结构,本公开的实施例对此不做限定。
继续参见图2,本实施例的用于生成信息的方法200运行于电子设备201中。在监控安防领域,当用于监控的电子设备201从包括人体图像的待检测图像中,确定人体图像对应的头肩边框的位置坐标和头肩边框的位置坐标对应的头肩图像202后,基于头肩图像、待检测图像和头肩边框的位置坐标,对待检测图像中人体图像对应的用户进行分析,得到待检测图像中人体图像对应的用户行为数据203。其中,用户行为数据包括:用户的用户标识、用户的属性信息、用户所在地点的位置坐标、用户的注视点信息和时间戳,用户的注视点信息通过将头肩图像、待检测图像和头肩边框的位置坐标输入至预先训练的注视点预测模型而生成,注视点预测模型用于表征对用户眼睛注视的位置点坐标进行检测。
本申请的上述实施例提供的用于生成信息的方法采用从包括人体图像的待检测图像中,确定人体图像对应的头肩边框的位置坐标和头肩边框的位置坐标对应的头肩图像,基于头肩图像、待检测图像和头肩边框的位置坐标,对待检测图像中人体图像对应的用户进行分析,得到待检测图像中人体图像对应的用户行为数据,其中,用户行为数据包括:用户的用户标识、用户的属性信息、用户所在地点的位置坐标、用户的注视点信息和时间戳,用户的注视点信息通过将头肩图像、待检测图像和头肩边框的位置坐标输入至预先训练的注视点预测模型而生成,注视点预测模型用于表征对用户眼睛注视的位置点坐标进行检测,解决了现有技术中依据销售情况反推的方式做出的判断存在偏差,容易偏向单一种类热销品,并失去挖掘新增长品的机会的问题,避免了采用调查问卷的方式耗费成本的人力巨大并且收集范围较小以及采用经验判断的方式对于规模化的线下区域难以一一进行人工分析的问题。利用区域内图像预测用户眼睛注视点位置坐标和用户行为数据,实现了一种针对图像的用户行为检测方法,通过使用计算机视觉技术定位用户,捕捉用户注视点位置,从而抓取到线下区域内最难获取到的用户关注行为。
进一步参考图3,其示出了用于生成信息的方法的第二实施例的示意图300。该方法的流程包括以下步骤:
步骤301,从包括人体图像的待检测图像中,确定人体图像对应的头肩边框的位置坐标和头肩边框的位置坐标对应的头肩图像。
在本实施例的一些可选的实现方式中,从包括人体图像的待检测图像中,确定人体图像对应的头肩边框的位置坐标和头肩边框的位置坐标对应的头肩图像,包括:将待检测图像输入至预先训练的位置检测模型,生成待检测图像中人体图像对应的头肩边框的位置坐标,其中,位置检测模型用于表征对待检测图像中人体图像的人体头部和人体肩部的结合进行位置检测;基于生成的头肩边框的位置坐标和待检测图像,确定待检测图像中与头肩边框的位置坐标对应的头肩图像。位置检测模型可以基于卷积神经网络。利用预先训练的模型生成位置坐标,使信息生成更加精准。
步骤302,基于头肩图像、待检测图像和头肩边框的位置坐标,对待检测图像中人体图像对应的用户进行分析,得到待检测图像中人体图像对应的用户行为数据。
在本实施例中,执行主体可以基于头肩图像、待检测图像和头肩边框的位置坐标,利用预设的用户分析法对待检测图像中人体图像对应的用户进行分析,得到待检测图像中人体图像对应的用户行为数据。分析后得到的用户行为数据包括:用户的用户标识、用户的属性信息、用户所在地点的位置坐标、用户的注视点信息和时间戳,用户的注视点信息通过将头肩图像、待检测图像和头肩边框的位置坐标输入至预先训练的注视点预测模型而生成,注视点预测模型用于表征对用户眼睛注视的位置点坐标进行检测。注视点预测模型基于卷积神经网络而构建。
在本实施例中,注视点预测模型可以包括:第一特征提取子模型、第二特征提取子模型和注视点预测子模型;用户的注视点信息的生成过程,包括:将待检测图像和待检测图像对应的掩模图像输入至第一特征提取子模型,生成待检测图像对应的第一特征图,其中,第一特征提取子模型用于表征针对待检测图像与掩模图像的叠加图像进行特征信息提取,掩模图像(mask图)基于头肩边框的位置坐标对待检测图像进行图像掩模而得到;将头肩图像输入至第二特征提取子模型,生成头肩图像对应的第二特征图,其中,第二特征提取子模型用于表征对头肩图像进行特征信息提取;将第一特征图中的特征信息和第二特征图中的特征信息进行叠加,得到叠加后的第三特征图;将第三特征图输入至注视点预测子模型,生成待检测图像中人体图像对应的用户的注视点信息。其中,注视点预测子模型用于表征对用户眼睛注视的位置点坐标进行检测。
在本实施例的一些可选的实现方式中,在将第三特征图输入至注视点预测子模型,生成待检测图像中人体图像对应的用户的注视点信息之前,还包括:判断第三特征图中是否存在对象类,其中,对象类基于对用户眼睛注视到的对象进行分类而得到;响应于第三特征图中存在对象类,跳转至将第三特征图输入至注视点预测子模型,生成待检测图像中人体图像对应的用户的注视点信息;响应于第三特征图中不存在对象类,即用户注视点不在画面中,输出判断结果并停止运行。对象类可以预先设定,判断可以通过两个全连接层(FC层)输出结果。通过提前判断用户注视点是否存在于画面中,针对用户注视点存在于画面中的图像执行后续操作,提升了系统效率和系统处理的准确性。
步骤303,基于区域内各个待检测图像对应的用户行为数据,确定区域内各个维度的关注时长数据集和各个维度的关注度数据集。
在本实施中,执行主体可以基于区域内各个待检测图像对应的用户行为数据,利用关注时长和关注度算法确定区域内各个维度的关注时长数据集和各个维度的关注度数据集。其中,各个维度的关注时长数据集和各个维度的关注度数据集至少包括:基于所有用户行为数据对区域内各个位置坐标进行关注程度分析而得到和基于所有用户行为数据对区域内各个属性信息对应的用户进行关注程度分析而得到。这里的区域可以为线下场景中的购物区域,各个待检测图像为摄像装置采集到的该区域中包括人体图像的各个图像。维度包括基于位置坐标和基于用户属性。关注时长和关注度算法可以通过统计关注点数量和累计关注点时长来完成,关注点数量越多说明关注人次越多,关注点累计时长越长说明用户关注时间长。
步骤304,基于各个维度的关注时长数据集和各个维度的关注度数据集,生成与各个维度的关注时长数据集对应的时长图和与各个维度的关注度数据集对应的热度图。
在本实施中,执行主体可以基于各个维度的关注时长数据集和各个维度的关注度数据集,分别在监控图像上进行关注时长的标注和关注度的标注,生成与各个维度的关注时长数据集对应的时长图和与各个维度的关注度数据集对应的热度图。
在本实施例的一些可选的实现方式中,方法还包括:基于对象标识、各个热度图和各个时长图,确定每个热度图中各个对象的关注度、各个对象的时长、与各个对象的关注度对应的关注度排名和与各个对象的时长对应的时长排名。能够快速、直观的了解区域内不同对象的受关注程度,为区域内的选品改进做准备。
在本实施例的一些可选的实现方式中,方法还包括:生成区域的用户行为报告并将用户行为报告输出。利用报告的形式,帮助改进产品选品策略和进行产品库存管理。
需要说明的是,第一特征提取子模型、第二特征提取子模型和注视点预测子模型可以是数据表或计算公式等,技术人员可以根据实际需求,自行设定第一特征提取子模型、第二特征提取子模型和注视点预测子模型的模型结构,本公开的实施例对此不做限定。
在本实施例中,步骤301的具体操作与图1所示的实施例中的步骤101的操作基本相同,在此不再赘述。
从图3中可以看出,与图1对应的实施例相比,本实施例中的用于生成信息的方法的示意图300采用将待检测图像和待检测图像对应的掩模图像输入至第一特征提取子模型,生成待检测图像对应的第一特征图,将头肩图像输入至第二特征提取子模型,生成头肩图像对应的第二特征图,将第一特征图中的特征信息和第二特征图中的特征信息进行叠加,得到叠加后的第三特征图,将第三特征图输入至注视点预测子模型,生成待检测图像中人体图像对应用户行为数据中的用户注视点信息,基于区域内各个待检测图像对应的用户行为数据,确定区域内各个维度的关注时长数据集和各个维度的关注度数据集,基于各个维度的关注时长数据集和各个维度的关注度数据集,生成与各个维度的关注时长数据集对应的时长图和与各个维度的关注度数据集对应的热度图,通过计算机视觉技术获取店内用户的眼睛注视点,统计得到线下零售场景中用户的购买偏好,作为帮助商家改进选品策略和管理库存的参考。
进一步参考图4,其示出了用于生成信息的方法的第三实施例的示意图400。该方法的流程包括以下步骤:
步骤401,从包括人体图像的待检测图像中,确定人体图像对应的头肩边框的位置坐标和头肩边框的位置坐标对应的头肩图像。
步骤402,基于头肩图像、待检测图像和头肩边框的位置坐标,对待检测图像中人体图像对应的用户进行分析,得到待检测图像中人体图像对应的用户行为数据。
步骤403,基于区域内各个待检测图像对应的用户行为数据,确定区域内各个用户的行驶轨迹。
在本实施中,执行主体可以基于区域内各个待检测图像对应的用户行为数据,确定区域内各个用户的行驶轨迹。行驶轨迹基于用户标识对各个用户行为数据进行分析而得到。
步骤404,基于各个用户的行驶轨迹,生成各个用户的行驶轨迹图。
在本实施中,执行主体可以基于各个用户的行驶轨迹,分别在监控图像上进行标注,生成各个用户的行驶轨迹图。
在本实施例的一些可选的实现方式中,方法还包括:生成区域的用户行为报告并将用户行为报告输出。利用报告的形式,帮助指导店内布局及陈列,可以针对不同属性的用户制定个性化的营销策略。
在本实施例中,步骤401和402的具体操作与图1所示的实施例中的步骤101和102的操作基本相同,在此不再赘述。
从图4中可以看出,与图1对应的实施例相比,本实施例中的用于生成信息的方法的示意图400采用基于区域内各个待检测图像对应的用户行为数据,确定区域内各个用户的行驶轨迹,基于各个用户的行驶轨迹,生成各个用户的行驶轨迹图,通过计算机视觉技术获取店内用户的眼睛注视点,统计得到线下零售场景中用户的购买偏好和行动轨迹,作为帮助指导店内布局及陈列以及针对不同属性的用户制定个性化的营销策略的参考。
进一步参考图5,作为对上述图1~4所示方法的实现,本申请提供了一种用于生成信息的装置的一个实施例,该装置实施例与图1所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图5所示,本实施例的用于生成信息的装置500包括:第一确定单元501和第一生成单元502,其中,第一确定单元,被配置成从包括人体图像的待检测图像中,确定人体图像对应的头肩边框的位置坐标和头肩边框的位置坐标对应的头肩图像,其中,待检测图像为某个区域内若干待检测图像其中之一;第一生成单元,被配置成基于头肩图像、待检测图像和头肩边框的位置坐标,对待检测图像中人体图像对应的用户进行分析,得到待检测图像中人体图像对应的用户行为数据,其中,用户行为数据包括:用户的用户标识、用户的属性信息、用户所在地点的位置坐标、用户的注视点信息和时间戳,用户的注视点信息通过将头肩图像、待检测图像和头肩边框的位置坐标输入至预先训练的注视点预测模型而生成,注视点预测模型用于表征对用户眼睛注视的位置点坐标进行检测。
在本实施例中,用于生成信息的装置500的第一确定单元501和第一生成单元502的具体处理及其所带来的技术效果可分别参考图1对应的实施例中的步骤101到步骤102的相关说明,在此不再赘述。
在本实施例的一些可选的实现方式中,第一确定单元,包括:位置生成模块,被配置成将待检测图像输入至预先训练的位置检测模型,生成待检测图像中人体图像对应的头肩边框的位置坐标,其中,位置检测模型用于表征对待检测图像中人体图像的人体头部和人体肩部的结合进行位置检测;图像确定模块,被配置成基于生成的头肩边框的位置坐标和待检测图像,确定待检测图像中与头肩边框的位置坐标对应的头肩图像。
在本实施例的一些可选的实现方式中,第一生成单元中的注视点预测模型利用如下模块训练得到:样本获取模块,被配置成获取训练样本集,其中,训练样本集中的训练样本包括待检测图像、待检测图像中人体图像对应的头肩边框的位置坐标、与头肩边框的位置坐标对应的头肩图像和待检测图像中人体图像对应的用户的注视点信息;训练模块,被配置成利用机器学习算法,将训练样本集中的训练样本包括的待检测图像、待检测图像中人体图像对应的头肩边框的位置坐标、与头肩边框的位置坐标相对应的头肩图像作为输入数据,将待检测图像中人体图像对应的用户的注视点信息作为期望输出数据,训练得到注视点预测模型。
在本实施例的一些可选的实现方式中,第一生成单元中的注视点预测模型包括:第一特征提取子模型、第二特征提取子模型和注视点预测子模型;第一生成单元中的用户的注视点信息利用如下模块生成:第一特征提取模块,被配置成将待检测图像和待检测图像对应的掩模图像输入至第一特征提取子模型,生成待检测图像对应的第一特征图,其中,第一特征提取子模型用于表征针对待检测图像与掩模图像的叠加图像进行特征信息提取,掩模图像基于头肩边框的位置坐标对待检测图像进行图像掩模而得到;第二特征提取模块,被配置成将头肩图像输入至第二特征提取子模型,生成头肩图像对应的第二特征图;特征叠加模块,被配置成将第一特征图中的特征信息和第二特征图中的特征信息进行叠加,得到叠加后的第三特征图;注视点预测模块,被配置成将第三特征图输入至注视点预测子模型,生成待检测图像中人体图像对应的用户的注视点信息。
在本实施例的一些可选的实现方式中,第一生成单元,还包括:判断模块,被配置成判断第三特征图中是否存在对象类,其中,对象类基于对用户眼睛注视到的对象进行分类而得到;跳转模块,被配置成响应于第三特征图中存在对象类,跳转至将第三特征图输入至注视点预测子模型,生成待检测图像中人体图像对应的用户的注视点信息;输出模块,被配置成响应于第三特征图中不存在对象类,输出判断结果并停止运行。
在本实施例的一些可选的实现方式中,装置还包括:第二确定单元,被配置成基于区域内各个待检测图像对应的用户行为数据,确定区域内各个维度的关注时长数据集和各个维度的关注度数据集,其中,各个维度的关注时长数据集和各个维度的关注度数据集至少包括:基于所有用户行为数据对区域内各个位置坐标进行关注程度分析而得到和基于所有用户行为数据对区域内各个属性信息对应的用户进行关注程度分析而得到;第二生成单元,被配置成基于各个维度的关注时长数据集和各个维度的关注度数据集,生成与各个维度的关注时长数据集对应的时长图和与各个维度的关注度数据集对应的热度图。
在本实施例的一些可选的实现方式中,装置还包括:第三确定单元,被配置成基于对象标识、各个热度图和各个时长图,确定每个热度图中各个对象的关注度、各个对象的时长、与各个对象的关注度对应的关注度排名和与各个对象的时长对应的时长排名。
在本实施例的一些可选的实现方式中,装置还包括:第四确定单元,被配置成基于区域内各个待检测图像对应的用户行为数据,确定区域内各个用户的行驶轨迹,其中,行驶轨迹基于用户标识对各个用户行为数据进行分析而得到;第三生成单元,被配置成基于各个用户的行驶轨迹,生成各个用户的行驶轨迹图。
在本实施例的一些可选的实现方式中,装置还包括:第四生成单元,被配置成生成区域的用户行为报告并将用户行为报告输出。
根据本申请的实施例,本申请还提供了一种电子设备和一种可读存储介质。
如图6所示,是根据本申请实施例的用于生成信息的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图6所示,该电子设备包括:一个或多个处理器601、存储器602,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个电子设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图6中以一个处理器601为例。
存储器602即为本申请所提供的非瞬时计算机可读存储介质。其中,存储器存储有可由至少一个处理器执行的指令,以使至少一个处理器执行本申请所提供的用于生成信息的方法。本申请的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行本申请所提供的用于生成信息的方法。
存储器602作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块,如本申请实施例中的用于生成信息的方法对应的程序指令/模块(例如,附图5所示的第一确定单元501和第一生成单元502)。处理器601通过运行存储在存储器602中的非瞬时软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中的用于生成信息的方法。
存储器602可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据用于生成信息的电子设备的使用所创建的数据等。此外,存储器602可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中,存储器602可选包括相对于处理器601远程设置的存储器,这些远程存储器可以通过网络连接至用于生成信息的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
用于生成信息的方法的电子设备还可以包括:输入装置603和输出装置604。处理器601、存储器602、输入装置603和输出装置604可以通过总线或者其他方式连接,图6中以通过总线连接为例。
输入装置603可接收输入的数字或字符信息,以及产生与用于生成信息的电子设备的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置604可以包括显示设备、辅助照明装置(例如,LED)和触觉反馈装置(例如,振动电机)等。该显示设备可以包括但不限于,液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中,显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令,并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(PLD)),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案采用从包括人体图像的待检测图像中,确定人体图像对应的头肩边框的位置坐标和头肩边框的位置坐标对应的头肩图像,基于头肩图像、待检测图像和头肩边框的位置坐标,对待检测图像中人体图像对应的用户进行分析,得到待检测图像中人体图像对应的用户行为数据,其中,用户行为数据包括:用户的用户标识、用户的属性信息、用户所在地点的位置坐标、用户的注视点信息和时间戳,用户的注视点信息通过将头肩图像、待检测图像和头肩边框的位置坐标输入至预先训练的注视点预测模型而生成,注视点预测模型用于表征对用户眼睛注视的位置点坐标进行检测,解决了现有技术中依据销售情况反推的方式做出的判断存在偏差,容易偏向单一种类热销品,并失去挖掘新增长品的机会的问题,避免了采用调查问卷的方式耗费成本的人力巨大并且收集范围较小以及采用经验判断的方式对于规模化的线下区域难以一一进行人工分析的问题。利用区域内图像预测用户眼睛注视点位置坐标和用户行为数据,实现了一种针对图像的用户行为检测方法,通过使用计算机视觉技术定位用户,捕捉用户注视点位置,从而抓取到线下区域内最难获取到的用户关注行为。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。
Claims (20)
1.一种用于生成信息的方法,所述方法包括:
从包括人体图像的待检测图像中,确定所述人体图像对应的头肩边框的位置坐标和所述头肩边框的位置坐标对应的头肩图像,其中,所述待检测图像为某个区域内若干待检测图像其中之一;
基于所述头肩图像、所述待检测图像和所述头肩边框的位置坐标,对所述待检测图像中所述人体图像对应的用户进行分析,得到所述待检测图像中所述人体图像对应的用户行为数据,其中,所述用户行为数据包括:所述用户的用户标识、所述用户的属性信息、所述用户所在地点的位置坐标、所述用户的注视点信息和时间戳,所述用户的注视点信息通过将所述头肩图像、所述待检测图像和所述头肩边框的位置坐标输入至预先训练的注视点预测模型而生成,所述注视点预测模型用于表征对所述用户眼睛注视的位置点坐标进行检测。
2.根据权利要求1所述的方法,其中,所述从包括人体图像的待检测图像中,确定所述人体图像对应的头肩边框的位置坐标和所述头肩边框的位置坐标对应的头肩图像,包括:
将所述待检测图像输入至预先训练的位置检测模型,生成所述待检测图像中人体图像对应的头肩边框的位置坐标,其中,所述位置检测模型用于表征对所述待检测图像中人体图像的人体头部和人体肩部的结合进行位置检测;
基于生成的所述头肩边框的位置坐标和所述待检测图像,确定所述待检测图像中与所述头肩边框的位置坐标对应的头肩图像。
3.根据权利要求1所述的方法,其中,所述注视点预测模型通过如下方式训练得到:
获取训练样本集,其中,所述训练样本集中的训练样本包括所述待检测图像、所述待检测图像中人体图像对应的头肩边框的位置坐标、与所述头肩边框的位置坐标对应的所述头肩图像和所述待检测图像中人体图像对应的所述用户的注视点信息;
利用机器学习算法,将所述训练样本集中的训练样本包括的所述待检测图像、所述待检测图像中人体图像对应的所述头肩边框的位置坐标、与所述头肩边框的位置坐标相对应的所述头肩图像作为输入数据,将所述待检测图像中人体图像对应的所述用户的注视点信息作为期望输出数据,训练得到所述注视点预测模型。
4.根据权利要求1和3中任一项所述的方法,其中,所述注视点预测模型包括:第一特征提取子模型、第二特征提取子模型和注视点预测子模型;所述用户的注视点信息的生成过程,包括:
将所述待检测图像和所述待检测图像对应的掩模图像输入至所述第一特征提取子模型,生成所述待检测图像对应的第一特征图,其中,所述第一特征提取子模型用于表征针对所述待检测图像与所述掩模图像的叠加图像进行特征信息提取,所述掩模图像基于所述头肩边框的位置坐标对所述待检测图像进行图像掩模而得到;
将所述头肩图像输入至所述第二特征提取子模型,生成所述头肩图像对应的第二特征图;
将所述第一特征图中的特征信息和所述第二特征图中的特征信息进行叠加,得到叠加后的第三特征图;
将所述第三特征图输入至所述注视点预测子模型,生成所述待检测图像中人体图像对应的所述用户的注视点信息。
5.根据权利要求4所述的方法,其中,在所述将所述第三特征图输入至所述注视点预测子模型,生成所述待检测图像中人体图像对应的所述用户的注视点信息之前,还包括:
判断所述第三特征图中是否存在对象类,其中,所述对象类基于对所述用户眼睛注视到的对象进行分类而得到;
响应于所述第三特征图中存在所述对象类,跳转至将所述第三特征图输入至所述注视点预测子模型,生成所述待检测图像中人体图像对应的所述用户的注视点信息;
响应于所述第三特征图中不存在所述对象类,输出所述判断结果并停止运行。
6.根据权利要求1所述的方法,还包括:
基于所述区域内各个所述待检测图像对应的所述用户行为数据,确定所述区域内各个维度的关注时长数据集和各个维度的关注度数据集,其中,所述各个维度的关注时长数据集和所述各个维度的关注度数据集至少包括:基于所有所述用户行为数据对所述区域内各个所述位置坐标进行关注程度分析而得到和基于所有所述用户行为数据对所述区域内各个所述属性信息对应的用户进行关注程度分析而得到;
基于所述各个维度的关注时长数据集和所述各个维度的关注度数据集,生成与所述各个维度的关注时长数据集对应的时长图和与所述各个维度的关注度数据集对应的热度图。
7.根据权利要求6所述的方法,还包括:
基于对象标识、各个所述热度图和各个所述时长图,确定每个所述热度图中各个所述对象的关注度、各个所述对象的时长、与各个所述对象的关注度对应的关注度排名和与各个所述对象的时长对应的时长排名。
8.根据权利要求1所述的方法,还包括:
基于所述区域内各个所述待检测图像对应的所述用户行为数据,确定所述区域内各个所述用户的行驶轨迹,其中,所述行驶轨迹基于所述用户标识对各个所述用户行为数据进行分析而得到;
基于各个所述用户的行驶轨迹,生成各个所述用户的行驶轨迹图。
9.根据权利要求6-8中任一项所述的方法,还包括:
生成所述区域的用户行为报告并将所述用户行为报告输出。
10.一种用于生成信息的装置,所述装置包括:
第一确定单元,被配置成从包括人体图像的待检测图像中,确定所述人体图像对应的头肩边框的位置坐标和所述头肩边框的位置坐标对应的头肩图像,其中,所述待检测图像为某个区域内若干待检测图像其中之一;
第一生成单元,被配置成基于所述头肩图像、所述待检测图像和所述头肩边框的位置坐标,对所述待检测图像中所述人体图像对应的用户进行分析,得到所述待检测图像中所述人体图像对应的用户行为数据,其中,所述用户行为数据包括:所述用户的用户标识、所述用户的属性信息、所述用户所在地点的位置坐标、所述用户的注视点信息和时间戳,所述用户的注视点信息通过将所述头肩图像、所述待检测图像和所述头肩边框的位置坐标输入至预先训练的注视点预测模型而生成,所述注视点预测模型用于表征对所述用户眼睛注视的位置点坐标进行检测。
11.根据权利要求10所述的装置,其中,所述第一确定单元,包括:
位置生成模块,被配置成将所述待检测图像输入至预先训练的位置检测模型,生成所述待检测图像中人体图像对应的头肩边框的位置坐标,其中,所述位置检测模型用于表征对所述待检测图像中人体图像的人体头部和人体肩部的结合进行位置检测;
图像确定模块,被配置成基于生成的所述头肩边框的位置坐标和所述待检测图像,确定所述待检测图像中与所述头肩边框的位置坐标对应的头肩图像。
12.根据权利要求10所述的装置,其中,所述第一生成单元中的所述注视点预测模型利用如下模块训练得到:
样本获取模块,被配置成获取训练样本集,其中,所述训练样本集中的训练样本包括所述待检测图像、所述待检测图像中人体图像对应的头肩边框的位置坐标、与所述头肩边框的位置坐标对应的所述头肩图像和所述待检测图像中人体图像对应的所述用户的注视点信息;
训练模块,被配置成利用机器学习算法,将所述训练样本集中的训练样本包括的所述待检测图像、所述待检测图像中人体图像对应的所述头肩边框的位置坐标、与所述头肩边框的位置坐标相对应的所述头肩图像作为输入数据,将所述待检测图像中人体图像对应的所述用户的注视点信息作为期望输出数据,训练得到所述注视点预测模型。
13.根据权利要求10和12中任一项所述的装置,其中,所述第一生成单元中的所述注视点预测模型包括:第一特征提取子模型、第二特征提取子模型和注视点预测子模型;所述第一生成单元中的所述用户的注视点信息利用如下模块生成:
第一特征提取模块,被配置成将所述待检测图像和所述待检测图像对应的掩模图像输入至所述第一特征提取子模型,生成所述待检测图像对应的第一特征图,其中,所述第一特征提取子模型用于表征针对所述待检测图像与所述掩模图像的叠加图像进行特征信息提取,所述掩模图像基于所述头肩边框的位置坐标对所述待检测图像进行图像掩模而得到;
第二特征提取模块,被配置成将所述头肩图像输入至所述第二特征提取子模型,生成所述头肩图像对应的第二特征图;
特征叠加模块,被配置成将所述第一特征图中的特征信息和所述第二特征图中的特征信息进行叠加,得到叠加后的第三特征图;
注视点预测模块,被配置成将所述第三特征图输入至所述注视点预测子模型,生成所述待检测图像中人体图像对应的所述用户的注视点信息。
14.根据权利要求13所述的装置,其中,所述第一生成单元,还包括:
判断模块,被配置成判断所述第三特征图中是否存在对象类,其中,所述对象类基于对所述用户眼睛注视到的对象进行分类而得到;
跳转模块,被配置成响应于所述第三特征图中存在所述对象类,跳转至将所述第三特征图输入至所述注视点预测子模型,生成所述待检测图像中人体图像对应的所述用户的注视点信息;
输出模块,被配置成响应于所述第三特征图中不存在所述对象类,输出所述判断结果并停止运行。
15.根据权利要求10所述的装置,还包括:
第二确定单元,被配置成基于所述区域内各个所述待检测图像对应的所述用户行为数据,确定所述区域内各个维度的关注时长数据集和各个维度的关注度数据集,其中,所述各个维度的关注时长数据集和所述各个维度的关注度数据集至少包括:基于所有所述用户行为数据对所述区域内各个所述位置坐标进行关注程度分析而得到和基于所有所述用户行为数据对所述区域内各个所述属性信息对应的用户进行关注程度分析而得到;
第二生成单元,被配置成基于所述各个维度的关注时长数据集和所述各个维度的关注度数据集,生成与所述各个维度的关注时长数据集对应的时长图和与所述各个维度的关注度数据集对应的热度图。
16.根据权利要求15所述的装置,还包括:
第三确定单元,被配置成基于对象标识、各个所述热度图和各个所述时长图,确定每个所述热度图中各个所述对象的关注度、各个所述对象的时长、与各个所述对象的关注度对应的关注度排名和与各个所述对象的时长对应的时长排名。
17.根据权利要求10所述的装置,还包括:
第四确定单元,被配置成基于所述区域内各个所述待检测图像对应的所述用户行为数据,确定所述区域内各个所述用户的行驶轨迹,其中,所述行驶轨迹基于所述用户标识对各个所述用户行为数据进行分析而得到;
第三生成单元,被配置成基于各个所述用户的行驶轨迹,生成各个所述用户的行驶轨迹图。
18.根据权利要求15-17中任一项所述的装置,还包括:
第四生成单元,被配置成生成所述区域的用户行为报告并将所述用户行为报告输出。
19.一种电子设备,其特征在于,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-9中任一项所述的方法。
20.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使所述计算机执行权利要求1-9中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011342733.5A CN112329718A (zh) | 2020-11-26 | 2020-11-26 | 用于生成信息的方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011342733.5A CN112329718A (zh) | 2020-11-26 | 2020-11-26 | 用于生成信息的方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112329718A true CN112329718A (zh) | 2021-02-05 |
Family
ID=74307974
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011342733.5A Pending CN112329718A (zh) | 2020-11-26 | 2020-11-26 | 用于生成信息的方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112329718A (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2870751A1 (en) * | 2012-07-31 | 2014-02-06 | Japan Science And Technology Agency | Point-of-gaze detection device, point-of-gaze detecting method, personal parameter calculating device, personal parameter calculating method, program, and computer-readable storage medium |
CN106682946A (zh) * | 2016-12-30 | 2017-05-17 | 北京七鑫易维信息技术有限公司 | 一种广告内容分析方法和装置 |
CN108615159A (zh) * | 2018-05-03 | 2018-10-02 | 百度在线网络技术(北京)有限公司 | 基于注视点检测的访问控制方法和装置 |
CN109389589A (zh) * | 2018-09-28 | 2019-02-26 | 百度在线网络技术(北京)有限公司 | 用于统计人数的方法和装置 |
CN110244778A (zh) * | 2019-06-20 | 2019-09-17 | 京东方科技集团股份有限公司 | 一种基于人眼追踪的平视随动控制系统和控制方法 |
CN110908513A (zh) * | 2019-11-18 | 2020-03-24 | 维沃移动通信有限公司 | 一种数据处理方法及电子设备 |
CN111079555A (zh) * | 2019-11-25 | 2020-04-28 | Oppo广东移动通信有限公司 | 用户喜好程度确定方法和装置、电子设备、可读存储介质 |
US20200202561A1 (en) * | 2018-12-24 | 2020-06-25 | Samsung Electronics Co., Ltd. | Method and apparatus with gaze estimation |
WO2020186867A1 (zh) * | 2019-03-18 | 2020-09-24 | 北京市商汤科技开发有限公司 | 注视区域检测方法、装置及电子设备 |
-
2020
- 2020-11-26 CN CN202011342733.5A patent/CN112329718A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2870751A1 (en) * | 2012-07-31 | 2014-02-06 | Japan Science And Technology Agency | Point-of-gaze detection device, point-of-gaze detecting method, personal parameter calculating device, personal parameter calculating method, program, and computer-readable storage medium |
CN106682946A (zh) * | 2016-12-30 | 2017-05-17 | 北京七鑫易维信息技术有限公司 | 一种广告内容分析方法和装置 |
CN108615159A (zh) * | 2018-05-03 | 2018-10-02 | 百度在线网络技术(北京)有限公司 | 基于注视点检测的访问控制方法和装置 |
CN109389589A (zh) * | 2018-09-28 | 2019-02-26 | 百度在线网络技术(北京)有限公司 | 用于统计人数的方法和装置 |
US20200202561A1 (en) * | 2018-12-24 | 2020-06-25 | Samsung Electronics Co., Ltd. | Method and apparatus with gaze estimation |
WO2020186867A1 (zh) * | 2019-03-18 | 2020-09-24 | 北京市商汤科技开发有限公司 | 注视区域检测方法、装置及电子设备 |
CN110244778A (zh) * | 2019-06-20 | 2019-09-17 | 京东方科技集团股份有限公司 | 一种基于人眼追踪的平视随动控制系统和控制方法 |
CN110908513A (zh) * | 2019-11-18 | 2020-03-24 | 维沃移动通信有限公司 | 一种数据处理方法及电子设备 |
CN111079555A (zh) * | 2019-11-25 | 2020-04-28 | Oppo广东移动通信有限公司 | 用户喜好程度确定方法和装置、电子设备、可读存储介质 |
Non-Patent Citations (1)
Title |
---|
龚秀锋;李斌;邓宏平;张文聪;: "基于标记点检测的视线跟踪注视点估计", 计算机工程, no. 06, 20 March 2011 (2011-03-20) * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3811337A1 (en) | System for predicting articulated object feature location | |
CN110659600B (zh) | 物体检测方法、装置及设备 | |
CN111259751A (zh) | 基于视频的人体行为识别方法、装置、设备及存储介质 | |
CN112149636A (zh) | 用于检测目标物体的方法、装置、电子设备及存储介质 | |
US9013591B2 (en) | Method and system of determing user engagement and sentiment with learned models and user-facing camera images | |
CN111598164A (zh) | 识别目标对象的属性的方法、装置、电子设备和存储介质 | |
CN111862277A (zh) | 用于生成动画的方法、装置、设备以及存储介质 | |
CN111783606A (zh) | 一种人脸识别网络的训练方法、装置、设备及存储介质 | |
CN111695516B (zh) | 热力图的生成方法、装置及设备 | |
CN111259755A (zh) | 数据关联方法、装置、设备及存储介质 | |
CN112001248A (zh) | 主动交互的方法、装置、电子设备和可读存储介质 | |
CN112784760A (zh) | 人体行为识别方法、装置、设备以及存储介质 | |
CN111666771A (zh) | 文书的语义标签抽取、装置、电子设备及可读存储介质 | |
CN114419493A (zh) | 图像的标注方法、装置、电子设备和存储介质 | |
CN114187392A (zh) | 虚拟偶像的生成方法、装置和电子设备 | |
CN111783600A (zh) | 一种人脸识别模型训练方法、装置、设备及介质 | |
CN112561059A (zh) | 用于模型蒸馏的方法和装置 | |
CN112270303A (zh) | 图像识别方法、装置以及电子设备 | |
CN113781384A (zh) | 视频质量评估方法和装置 | |
CN112307872A (zh) | 用于检测目标对象的方法的和装置 | |
CN112329718A (zh) | 用于生成信息的方法和装置 | |
CN114461078B (zh) | 一种基于人工智能的人机交互方法 | |
CN110889392A (zh) | 人脸图像处理的方法及装置 | |
CN110798681A (zh) | 成像设备的监测方法、装置和计算机设备 | |
CN113128436B (zh) | 关键点的检测方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |