CN110851148B - 一种基于智能图像识别用户行为数据的分析系统及其方法 - Google Patents
一种基于智能图像识别用户行为数据的分析系统及其方法 Download PDFInfo
- Publication number
- CN110851148B CN110851148B CN201910898453.3A CN201910898453A CN110851148B CN 110851148 B CN110851148 B CN 110851148B CN 201910898453 A CN201910898453 A CN 201910898453A CN 110851148 B CN110851148 B CN 110851148B
- Authority
- CN
- China
- Prior art keywords
- data
- module
- data acquisition
- application program
- acquisition terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 49
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 33
- 238000013500 data storage Methods 0.000 claims abstract description 19
- 238000004891 communication Methods 0.000 claims abstract description 16
- 230000006399 behavior Effects 0.000 claims description 31
- 238000001514 detection method Methods 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 17
- 238000013475 authorization Methods 0.000 claims description 14
- 230000004069 differentiation Effects 0.000 claims description 12
- 230000005540 biological transmission Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 5
- 238000009434 installation Methods 0.000 claims description 4
- 230000003993 interaction Effects 0.000 claims description 3
- 230000009191 jumping Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 239000000725 suspension Substances 0.000 claims description 2
- 230000009471 action Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/60—Software deployment
- G06F8/61—Installation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/445—Program loading or initiating
- G06F9/44594—Unloading
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Information Transfer Between Computers (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本发明公开了一种基于智能图像识别用户行为数据的分析系统及其方法,涉及数据智能采集分析技术领域。本发明的系统包括搭载有数据采集系统的数据采集终端、设置于云端且内置有图像识别系统的智能云端服务器、连接于数据采集终端与智能云端服务器之间的通讯网络;数据采集系统包括权限模块、登录模块、知情许可协议模块、屏幕录制授权模块、检测及上传模块,图像识别系统包括数据读取模块、视频流数据处理模块、AI图像识别模块、数据存储模块和模型调优模块。本发明解决了消费者实时数字行为分析瓶颈,让商业分析更接近现实情况,不会因为额外干扰被访者,给品牌方带来更多有价值的分析结果,去指导品牌全局优化消费路径。
Description
技术领域
本发明属于数据智能采集分析技术领域,特别是涉及一种基于智能图像识别用户行为数据的分析系统以及一种基于智能图像识别用户行为数据的分析方法。
背景技术
现有的技术中,针对消费者用户的消费信息采集和分析的方法主要是通过连接数据采集设备的消费数据接口或通过抓取用户消费日志的方式进行数据采集从而进行规整并产生商业价值。这一方式中,利用数据采集设备自身的系统漏洞或缺口,未经用户主动授权的,极易导致用户的安全隐私信息数据被泄露,且上述技术存在数据传输延迟高不及时,数据孤立且不完整,大量的数据仍需人工进行识别效率低,结构化后分析操作困难,因此如何针对以上问题,亟需解决数据采集不至于形成数据孤岛,使数据链路更加完整可靠,用户安全和隐私保护性更强,数据识别能力更强和投入成本更小,数据采集效率更高的技术。因此,针对以上问题提供一种基于智能图像识别用户行为数据的分析系统及其方法具有重要意义。
发明内容
本发明的目的在于提供一种基于智能图像识别用户行为数据的分析系统及其方法,能够方便快捷的抓取安全的非隐私的消费者信息数据,不产生数据延迟、孤立、不完整,AI智能识别能力强,还原消费者非隐私的真实数字行为,产出更多商业价值,解决了消费者实时数字行为分析瓶颈,让商业分析更接近现实情况,不会因为额外干扰被访者,给品牌方带来更多有价值的分析结果,去指导品牌全局优化消费路径。
为解决上述技术问题,本发明是通过以下技术方案实现的:
本发明的一种基于智能图像识别用户行为数据的分析系统,包括搭载有数据采集系统的数据采集终端、设置于云端且内置有图像识别系统的智能云端服务器、连接于数据采集终端与智能云端服务器之间的通讯网络;
所述数据采集系统以应用程序安装包的形式安装于数据采集终端上,所述数据采集系统包括权限模块、登录模块、知情许可协议模块、屏幕录制授权模块、检测及上传模块,所述屏幕录制授权模块经用户授权后获取MediaRecord屏幕录制权限,并将初步确定进行屏幕录制的应用程序与服务器配置比对,形成初步被许可屏幕录制白名单给用户进行勾选授权后形成确定许可屏幕录制白名单;所述屏幕录制授权模块对用户操作的手机中被允许录制的应用程序界面通过调动MediaRecord对屏幕进行录制形成视频流进行存储,并经检测及上传模块进行检测和上传,经通讯网络传输至智能云端服务器;
所述智能云端服务器内设置有处理服务器和存储服务器,所述处理服务器与存储服务器之间信息数据交互相连;
所述图像识别系统包括设置于处理服务器内的数据读取模块、视频流数据处理模块、AI图像识别模块,设置于存储服务器内的数据存储模块和模型调优模块;所述AI图像识别模块对经视频流数据处理模块进行优化处理后的整体视频流数据或经逐帧拆解后的关键帧图片数据进行智能识别,获取识别结果并反馈存储至数据存储模块中;
所述通讯网络包括与数据采集终端通过4G模块或5G模块网络相连的4G基站或5G基站,所述数据采集终端内的通信接口或Wifi模块通过交换机、路由器与Internet网络相连。
进一步地,所述数据采集终端包括PC端和移动终端,所述数据采集系统以程序安装包的形式安装于PC端,所述数据采集系统以APP形式安装于移动终端,所述数据采集系统采用C语言或java语言编写。
进一步地,所述数据采集终端内设置有用于存储屏幕录制形成视频流的存储模块,视频流按照录屏生成时间的先后进行存储并依次经检测及上传模块和通讯网络传输至智能云端服务器。
进一步地,所述权限模块是通过应用程序安装包于数据采集终端上安装完毕后,向数据采集终端系统申请获取数据采集终端的数据采集终端信息、读取应用列表、读写数据采集终端存储、常驻通知的系统权限。
进一步地,所述检测及上传模块用于在应用程序运行中,获取当前数据采集终端上用户使用活跃的应用程序列表,与服务器配置比对后确定该所述应用程序列表包含在确定许可屏幕录制白名单中,若是,则所述数据采集系统向MediaRecord提出调取进行屏幕录制请求;若所述检测及上传模块在对当前运行的应用程序检测时,该应用程序不在确定许可屏幕录制白名单,则所述数据采集系统向MediaRecord提出暂停屏幕录制请求。
进一步地,所述视频流数据处理模块对获取的视频流数据处理包括两种:
第一种:通过对获取的视频流数据进行视频关键帧的逐帧拆解,对逐帧拆解后获得的连续时序的图像进行差异化分析和比对,选出并拼接出需要图像识别的关键帧发送至AI图像识别模块进行图像识别;
第二种:通过对获取的视频流数据进行视频流自身特有的物理特征提取,与存储服务器中设定的检测模型进行差异化分析和比对,挑选出有用的视频流数据后,经第一种方式的视频关键帧进行逐帧拆解获取图像识别关键帧后发送至AI图像识别模块进行图像识别。
进一步地,所述物理特征包括视频流数据的颜色特征、视频纹理特征、视频运动特性特征。
进一步地,所述数据存储模块中存储有经训练和归类的分类器模型,包括广告分类器模型、品牌分类器模型、产品分类器模型;
所述AI图像识别模块将由视频流数据处理模块处理后的图像识别关键帧数据与数据存储模块中的经训练后的分类器模型进行比对识别,若识别成功则向计算服务器反馈识别参数的结果和对应的分类类型。
进一步地,所述模型调优模块用于针对AI图像识别模块的召回率和正确率问题,通过追加训练分类器模型和分类样本对AI图像识别模块进行识别模型调优,使识别更加精准和细化。
一种基于智能图像识别用户行为数据的分析方法,包括如下步骤:
S01、安装应用程序安装包并进行权限申请:数据采集终端用户在数据采集终端上安装应用程序安装包,安装完成后,启动后的应用程序向数据采集终端系统申请获取终端信息、读取应用列表、读写数据采集终端存储、常驻通知等系统权限;数据采集终端系统向用户提示申请的权限列表,并等待用户将所有权限同意授权给应用程序,用户同意后,若用户未登陆,则应用程序跳转至步骤S03;若用户拒绝授予权限,则应用程序自动关闭;
S02、用户登陆:用户通过登录模块经动态验证码进行应用程序注册和登录,分配服务器并在智能云端服务器内绑定与注册账户相对应的数据存储区和处理区,实现数据采集终端与智能云端服务器的实时交互;若用户注册和登录失败,则返回至登录原始界面;
S03、用户知情书同意:
若用户已经同意,则无更新跳转至步骤S04;
若用户未同意,则通过知情许可协议模块向用户展示知情书,并要求阅读全文,勾选已明确知晓内容,且同意提供数据给应用程序后台,将同意申请发送至智能云端服务器,智能云端服务器确认收到信息后,记录具体的同意时间和同意根据IP形成的数据采集终端的设备编号,反馈给数据采集终端用户同意记录,然后跳转至步骤S04;若不同意,则应用程序关闭;
S04、对屏幕录制进行授权:应用程序通过屏幕录制授权模块向数据采集终端系统申请MediaRecord的屏幕录制权限,数据采集终端系统向用户提示应用程序正在要求进行屏幕录制,用户同意后,应用程序通过数据采集终端系统录制数据采集终端上各应用程序的使用情况;若用户拒绝,则应用程序自动关闭;
S05、对获取的屏幕录制视频数据流进行检测并上传:
在运行过程中,应用程序向数据采集终端系统申请当前前台活跃应用程序列表,根据与服务器配置比对,确定当前前台活跃应用程序是否包含在屏幕录制白名单的应用程序列表中;
若当前前台活跃应用程序不在白名单,应用程序向系统提交暂停屏幕录制请求;数据采集终端系统接收到请求后,保存系统录制的数据到智能设备存储,同时向数据采集系统的检测及上传模块提交数据传输请求,把本地存储模块中的屏幕录制视频流数据通过4G或5G或WiFi网络传输至智能云端服务器中的存储服务器中;存储服务器中数据存储模块收到数据后,反馈给服务器记录模块记录上传记录并推送应用程序告知上传完成应用程序收到完成事件后,删除本地存储模块中对应的数据备份;若传输被意外暂停,数据传输任务进入等待列表,待数据采集终端再次与智能服务器接通后,继续上传;
S06、智能云端服务器进行数据读取:计算服务器中通过数据读取模块从存储服务器中读取来自数据采集终端的屏幕录制视频流数据,然后进入步骤S07;若读取失败,则中断本段读取并循环步骤S06;
S07、智能云端服务器对经数据读取模块读取的视频流数据进行处理:
包括第一种处理:直接通过对获取的视频流数据进行视频关键帧的逐帧拆解后,对逐帧拆解后获得的连续时序的图像进行差异化分析和比对,选出并拼接出需要图像识别的关键帧发送至AI图像识别模块进行图像识别;以及第二种处理:对获取的视频流数据进行视频流自身特有的物理特征提取,与存储服务器中设定的检测模型进行差异化分析和比对,挑选出有用的视频流数据后,经第一种方式的视频关键帧进行逐帧拆解获取图像识别关键帧后发送至AI图像识别模块进行图像识别;由智能云端服务器根据读取的视频数据流的大小进行自动分配处理方式;
S08、针对处理后的图像数据进行AI识别:根据预先训练的广告分类器、品牌分类器、产品分类器等对图像进行识别;若识别成功,反馈给智能云端服务器对应的参数的结果及对应类型;若识别失败,则放弃该数据;
S09、对获取的经识别后的图像数据进行归类存储:针对反馈的数据进行再归类,得到完整的消费者的行为及接触的数据并存储于存储服务器中;
S10、对AI图像识别模型进行调优:根据所述AI图像识别模块有召回率和正确率的问题,不断追加样本和测试对AI图像识别模型进行调优。
本发明具有以下有益效果:
本发明通过在搭载有多种包括但不限于网购、电子消费、娱乐视听、位置旅游、实用工具等所有能够产生数字行为数据的应用及来自终端本身使用的数据的数据采集终端上安装分布授权的数据采集系统,对用户在使用过程中产生的包含但不限于品牌和产品等有价值内容的屏幕数据通过录屏的方式进行抓取、存储、上传、并在云端进行视频逐帧拆解并通过AI识别分析,将获取的关键帧图像与经训练的分类器模型图像数据比对,识别出相应的参数结果和类型,具有用户选择主动性强,安全和隐私保护程度高,能够方便快捷的抓取安全的非隐私的消费者信息数据,不产生数据延迟、孤立、不完整,AI智能识别能力强,还原消费者非隐私的真实数字行为,产出更多商业价值,解决了消费者实时数字行为分析瓶颈,让商业分析更接近现实情况,不会因为额外干扰被访者,给品牌方带来更多有价值的分析结果,去指导品牌全局优化消费路径。
当然,实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的一种基于智能图像识别用户行为数据的分析系统的结构示意图;
图2为承载图1中系统的硬件系统结构示意图;
图3为本发明的一种基于智能图像识别用户行为数据的分析方法的步骤结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
请参阅图1-2所示,本发明的一种基于智能图像识别用户行为数据的分析系统,包括搭载有数据采集系统的数据采集终端、设置于云端且内置有图像识别系统的智能云端服务器、连接于数据采集终端与智能云端服务器之间的通讯网络;
数据采集系统以应用程序安装包的形式安装于数据采集终端上,数据采集系统包括权限模块、登录模块、知情许可协议模块、屏幕录制授权模块、检测及上传模块,屏幕录制授权模块经用户授权后获取MediaRecord屏幕录制权限,并将初步确定进行屏幕录制的应用程序与服务器配置比对,形成初步被许可屏幕录制白名单给用户进行勾选授权后形成确定许可屏幕录制白名单;屏幕录制授权模块对用户操作的手机中被允许录制的应用程序界面通过调动MediaRecord对屏幕进行录制形成视频流进行存储,并经检测及上传模块进行检测和上传,经通讯网络传输至智能云端服务器;
智能云端服务器内设置有处理服务器和存储服务器,处理服务器与存储服务器之间信息数据交互相连;
图像识别系统包括设置于处理服务器内的数据读取模块、视频流数据处理模块、AI图像识别模块,设置于存储服务器内的数据存储模块和模型调优模块;AI图像识别模块对经视频流数据处理模块进行优化处理后的整体视频流数据或经逐帧拆解后的关键帧图片数据进行智能识别,获取识别结果并反馈存储至数据存储模块中;
通讯网络包括与数据采集终端通过4G模块或5G模块网络相连的4G基站或5G基站,数据采集终端内的通信接口或Wifi模块通过交换机、路由器与Internet网络相连。
其中,数据采集终端包括PC端和移动终端,PC端和移动终端上搭载有多种包括但不限于网购、电子消费、潜在消费浏览应用、娱乐视听、位置旅游、实用工具等所用能够产生数字行为的应用,数据采集系统以程序安装包的形式安装于PC端,数据采集系统以APP形式安装于移动终端,数据采集系统采用C语言或java语言编写;PC端包括笔记本、台式机、一体机;移动终端采用智能手机,4G以上网络传输。
其中,数据采集终端内设置有用于存储屏幕录制形成视频流的存储模块,视频流按照录屏生成时间的先后进行存储并依次经检测及上传模块和通讯网络传输至智能云端服务器。
其中,权限模块是通过应用程序安装包于数据采集终端上安装完毕后,向数据采集终端系统申请获取数据采集终端的数据采集终端信息、读取应用列表、读写数据采集终端存储、常驻通知的系统权限。
其中,检测及上传模块用于在应用程序运行中,获取当前数据采集终端上用户使用活跃的应用程序列表,与服务器配置比对后确定该所述应用程序列表包含在确定许可屏幕录制白名单中,若是,则数据采集系统向MediaRecord提出调取进行屏幕录制请求;若检测及上传模块在对当前运行的应用程序检测时,该应用程序不在确定许可屏幕录制白名单,则数据采集系统向MediaRecord提出暂停屏幕录制请求。
进一步地,视频流数据处理模块对获取的视频流数据处理包括两种:
第一种:通过对获取的视频流数据进行视频关键帧的逐帧拆解,对逐帧拆解后获得的连续时序的图像进行差异化分析和比对,选出并拼接出需要图像识别的关键帧发送至AI图像识别模块进行图像识别;
第二种:通过对获取的视频流数据进行视频流自身特有的物理特征提取,与存储服务器中设定的检测模型进行差异化分析和比对,挑选出有用的视频流数据后,经第一种方式的视频关键帧进行逐帧拆解获取图像识别关键帧后发送至AI图像识别模块进行图像识别。
其中,物理特征包括视频流数据的颜色特征、视频纹理特征、视频运动特性特征。
其中,数据存储模块中存储有经训练和归类的分类器模型,包括广告分类器模型、品牌分类器模型、产品分类器模型;AI图像识别模块将由视频流数据处理模块处理后的图像识别关键帧数据与数据存储模块中的经训练后的分类器模型进行比对识别,若识别成功则向计算服务器反馈识别参数的结果和对应的分类类型。
其中,模型调优模块用于针对AI图像识别模块的召回率和正确率问题,通过追加训练分类器模型和分类样本对AI图像识别模块进行识别模型调优,使识别更加精准和细化。
如图3所示,一种基于智能图像识别用户行为数据的分析方法,包括如下步骤:
S01、安装应用程序安装包并进行权限申请:通过App Store,Google Play,应用宝,豌豆荚,官网等渠道,数据采集终端用户在数据采集终端上安装应用程序安装包,安装完成后,启动后的应用程序向数据采集终端系统申请获取终端信息、读取应用列表、读写数据采集终端存储、常驻通知等系统权限;数据采集终端系统向用户提示申请的权限列表,并等待用户将所有权限同意授权给应用程序,用户同意后,若用户未登陆,则应用程序跳转至步骤S03;若用户拒绝授予权限,则应用程序自动关闭;
S02、用户登陆:用户通过登录模块经动态验证码进行应用程序注册和登录,分配服务器并在智能云端服务器内绑定与注册账户相对应的数据存储区和处理区,实现数据采集终端与智能云端服务器的实时交互;若用户注册和登录失败,则返回至登录原始界面;
S03、用户知情书同意:
若用户已经同意,则无更新跳转至步骤S04;
若用户未同意,则通过知情许可协议模块向用户展示知情书,并要求阅读全文,勾选已明确知晓内容,且同意提供数据给应用程序后台,将同意申请发送至智能云端服务器,智能云端服务器确认收到信息后,记录具体的同意时间和同意根据IP形成的数据采集终端的设备编号,反馈给数据采集终端用户同意记录,然后跳转至步骤S04;若不同意,则应用程序关闭;
S04、对屏幕录制进行授权:应用程序通过屏幕录制授权模块向数据采集终端系统申请MediaRecord的屏幕录制权限,数据采集终端系统向用户提示应用程序正在要求进行屏幕录制,屏幕录制的数据仅在应用程序开启期间进行屏幕录制,且不包括音频数据,用户同意后,应用程序通过数据采集终端系统录制数据采集终端上各应用程序的使用情况;若用户拒绝,则应用程序自动关闭;
S05、对获取的屏幕录制视频数据流进行检测并上传:
在运行过程中,应用程序向数据采集终端系统申请当前前台活跃应用程序列表,根据与服务器配置比对,确定当前前台活跃应用程序是否包含在屏幕录制白名单的应用程序列表中;
若当前前台活跃应用程序不在白名单,应用程序向系统提交暂停屏幕录制请求;数据采集终端系统接收到请求后,保存系统录制的数据到智能设备存储,同时向数据采集系统的检测及上传模块提交数据传输请求,把本地存储模块中的屏幕录制视频流数据通过4G或5G或WiFi网络传输至智能云端服务器中的存储服务器中;存储服务器中数据存储模块收到数据后,反馈给服务器记录模块记录上传记录并推送应用程序告知上传完成应用程序收到完成事件后,删除本地存储模块中对应的数据备份;若传输被意外暂停,数据传输任务进入等待列表,待数据采集终端再次与智能服务器接通后,继续上传;获取的屏幕录制视频流数据采用片段的形式,当当前运行的应用程序停止工作或切换时,该阶段的屏幕录制视频流数据自动分段打包并结束当前阶段录制;
S06、智能云端服务器进行数据读取:计算服务器中通过数据读取模块从存储服务器中读取来自数据采集终端的屏幕录制视频流数据,然后进入步骤S07;若读取失败,则中断本段读取并循环步骤S06;
S07、智能云端服务器对经数据读取模块读取的视频流数据进行处理:
包括第一种处理:直接通过对获取的视频流数据进行视频关键帧的逐帧拆解后,对逐帧拆解后获得的连续时序的图像进行差异化分析和比对,选出并拼接出需要图像识别的关键帧发送至AI图像识别模块进行图像识别;以及第二种处理:对获取的视频流数据进行视频流自身特有的物理特征提取,与存储服务器中设定的检测模型进行差异化分析和比对,挑选出有用的视频流数据后,经第一种方式的视频关键帧进行逐帧拆解获取图像识别关键帧后发送至AI图像识别模块进行图像识别;由智能云端服务器根据读取的视频数据流的大小进行自动分配处理方式;
S08、针对处理后的图像数据进行AI识别:根据预先训练的广告分类器、品牌分类器、产品分类器等对图像进行识别;若识别成功,反馈给智能云端服务器对应的参数的结果及对应类型;若识别失败,则放弃该数据;
S09、对获取的经识别后的图像数据进行归类存储:针对反馈的数据进行再归类,得到完整的消费者的行为及接触的数据并存储于存储服务器中;
S10、对AI图像识别模型进行调优:根据所述AI图像识别模块有召回率和正确率的问题,不断追加样本和测试对AI图像识别模型进行调优,目的是更准确的识别出需要识别的内容。
在对数据采集终端进行屏幕录制数据采集过程中,屏幕顶端隐藏设置有主动控制屏幕录制进程的浮动的控制钮,在需要时用户可主动对屏幕录制动作进行强制中断和终止,做到不打扰用户,主动个性化的控制;数据采集终端在对屏幕录制的视频流进行录制时,是边录制边上传,排列进行的,当上传完毕后的视频进行自动删除,当没有网络时,停止屏幕录制和视频流保存动作,直至恢复网络继续上传并自动恢复屏幕录制流程和动作,整个流程,视频流占据手机内存量小,不会影响用户使用体验感。
本发明采用综合解决的方案,通过在搭载有多种包括但不限于网购、电子消费、娱乐视听、位置旅游、实用工具等所有能够产生数字行为数据的应用及来自终端本身使用的数据的数据采集终端上安装分布授权的数据采集系统,对用户在使用过程中产生的包含但不限于品牌和产品等有价值内容的屏幕数据通过录屏的方式进行抓取、存储、上传、并在云端进行视频逐帧拆解并通过AI识别分析,将获取的关键帧图像与经训练的分类器模型图像数据比对,识别出相应的参数结果和类型,具有用户选择主动性强,安全和隐私保护程度高,能够方便快捷的抓取安全的非隐私的消费者信息数据,不产生数据延迟、孤立、不完整,AI智能识别能力强,还原消费者非隐私的真实数字行为,产出更多商业价值,解决了消费者实时数字行为分析瓶颈,让商业分析更接近现实情况,不会因为额外干扰被访者,给品牌方带来更多有价值的分析结果,去指导品牌全局优化消费路径。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本发明的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。
Claims (10)
1.一种基于智能图像识别用户行为数据的分析系统,其特征在于:
包括搭载有数据采集系统的数据采集终端、设置于云端且内置有图像识别系统的智能云端服务器、连接于数据采集终端与智能云端服务器之间的通讯网络;
所述数据采集系统以应用程序安装包的形式安装于数据采集终端上,所述数据采集系统包括权限模块、登录模块、知情许可协议模块、屏幕录制授权模块、检测及上传模块,所述屏幕录制授权模块经用户授权后获取MediaRecord屏幕录制权限,并将初步确定进行屏幕录制的应用程序与服务器配置比对,形成初步被许可屏幕录制白名单给用户进行勾选授权后形成确定许可屏幕录制白名单;所述屏幕录制授权模块对用户操作的手机中被允许录制的应用程序界面通过调动MediaRecord对屏幕进行录制形成视频流进行存储,并经检测及上传模块进行检测和上传,经通讯网络传输至智能云端服务器;
所述智能云端服务器内设置有处理服务器和存储服务器,所述处理服务器与存储服务器之间信息数据交互相连;
所述图像识别系统包括设置于处理服务器内的数据读取模块、视频流数据处理模块、AI图像识别模块,设置于存储服务器内的数据存储模块和模型调优模块;所述AI图像识别模块对经视频流数据处理模块进行优化处理后的整体视频流数据或经逐帧拆解后的关键帧图片数据进行智能识别,获取识别结果并反馈存储至数据存储模块中;
所述通讯网络包括与数据采集终端通过4G模块或5G模块网络相连的4G基站或5G基站,所述数据采集终端内的通信接口或Wifi模块通过交换机、路由器与Internet网络相连。
2.根据权利要求1所述的一种基于智能图像识别用户行为数据的分析系统,其特征在于,所述数据采集终端包括PC端和移动终端,所述数据采集系统以程序安装包的形式安装于PC端,所述数据采集系统以APP形式安装于移动终端,所述数据采集系统采用C语言或java语言编写。
3.根据权利要求1所述的一种基于智能图像识别用户行为数据的分析系统,其特征在于,所述数据采集终端内设置有用于存储屏幕录制形成视频流的存储模块,视频流按照录屏生成时间的先后进行存储并依次经检测及上传模块和通讯网络传输至智能云端服务器。
4.根据权利要求1所述的一种基于智能图像识别用户行为数据的分析系统,其特征在于,所述权限模块是通过应用程序安装包于数据采集终端上安装完毕后,向数据采集终端系统申请获取数据采集终端的数据采集终端信息、读取应用列表、读写数据采集终端存储、常驻通知的系统权限。
5.根据权利要求1所述的一种基于智能图像识别用户行为数据的分析系统,其特征在于,所述检测及上传模块用于在应用程序运行中,获取当前数据采集终端上用户使用活跃的应用程序列表,与服务器配置比对后确定该所述应用程序列表包含在确定许可屏幕录制白名单中,若是,则所述数据采集系统向MediaRecord提出调取进行屏幕录制请求;若所述检测及上传模块在对当前运行的应用程序检测时,该应用程序不在确定许可屏幕录制白名单,则所述数据采集系统向MediaRecord提出暂停屏幕录制请求。
6.根据权利要求1所述的一种基于智能图像识别用户行为数据的分析系统,其特征在于,所述视频流数据处理模块对获取的视频流数据处理包括两种:
第一种:通过对获取的视频流数据进行视频关键帧的逐帧拆解,对逐帧拆解后获得的连续时序的图像进行差异化分析和比对,选出并拼接出需要图像识别的关键帧发送至AI图像识别模块进行图像识别;
第二种:通过对获取的视频流数据进行视频流自身特有的物理特征提取,与存储服务器中设定的检测模型进行差异化分析和比对,挑选出有用的视频流数据后,经第一种方式的视频关键帧进行逐帧拆解获取图像识别关键帧后发送至AI图像识别模块进行图像识别。
7.根据权利要求6所述的一种基于智能图像识别用户行为数据的分析系统,其特征在于,所述物理特征包括视频流数据的颜色特征、视频纹理特征、视频运动特性特征。
8.根据权利要求1所述的一种基于智能图像识别用户行为数据的分析系统,其特征在于,所述数据存储模块中存储有经训练和归类的分类器模型,包括广告分类器模型、品牌分类器模型、产品分类器模型;
所述AI图像识别模块将由视频流数据处理模块处理后的图像识别关键帧数据与数据存储模块中的经训练后的分类器模型进行比对识别,若识别成功则向计算服务器反馈识别参数的结果和对应的分类类型。
9.根据权利要求1所述的一种基于智能图像识别用户行为数据的分析系统,其特征在于,所述模型调优模块用于针对AI图像识别模块的召回率和正确率问题,通过追加训练分类器模型和分类样本对AI图像识别模块进行识别模型调优,使识别更加精准和细化。
10.一种基于智能图像识别用户行为数据的分析方法,其特征在于,包括如下步骤:
S01、安装应用程序安装包并进行权限申请:数据采集终端用户在数据采集终端上安装应用程序安装包,安装完成后,启动后的应用程序向数据采集终端系统申请获取终端信息、读取应用列表、读写数据采集终端存储、常驻通知等系统权限;数据采集终端系统向用户提示申请的权限列表,并等待用户将所有权限同意授权给应用程序,用户同意后,若用户未登陆,则应用程序跳转至步骤S03;若用户拒绝授予权限,则应用程序自动关闭;
S02、用户登陆:用户通过登录模块经动态验证码进行应用程序注册和登录,分配服务器并在智能云端服务器内绑定与注册账户相对应的数据存储区和处理区,实现数据采集终端与智能云端服务器的实时交互;若用户注册和登录失败,则返回至登录原始界面;
S03、用户知情书同意:
若用户已经同意,则无更新跳转至步骤S04;
若用户未同意,则通过知情许可协议模块向用户展示知情书,并要求阅读全文,勾选已明确知晓内容,且同意提供数据给应用程序后台,将同意申请发送至智能云端服务器,智能云端服务器确认收到信息后,记录具体的同意时间和同意根据IP形成的数据采集终端的设备编号,反馈给数据采集终端用户同意记录,然后跳转至步骤S04;若不同意,则应用程序关闭;
S04、对屏幕录制进行授权:应用程序通过屏幕录制授权模块向数据采集终端系统申请MediaRecord的屏幕录制权限,数据采集终端系统向用户提示应用程序正在要求进行屏幕录制,用户同意后,应用程序通过数据采集终端系统录制数据采集终端上各应用程序的使用情况;若用户拒绝,则应用程序自动关闭;
S05、对获取的屏幕录制视频数据流进行检测并上传:
在运行过程中,应用程序向数据采集终端系统申请当前前台活跃应用程序列表,根据与服务器配置比对,确定当前前台活跃应用程序是否包含在屏幕录制白名单的应用程序列表中;
若当前前台活跃应用程序不在白名单中,应用程序向系统提交暂停屏幕录制请求;数据采集终端系统接收到请求后,保存系统录制的数据到智能设备存储,同时向数据采集系统的检测及上传模块提交数据传输请求,把本地存储模块中的屏幕录制视频流数据通过4G或5G或WiFi网络传输至智能云端服务器中的存储服务器中;存储服务器中数据存储模块收到数据后,反馈给服务器记录模块记录上传记录并推送应用程序告知上传完成应用程序收到完成事件后,删除本地存储模块中对应的数据备份;若传输被意外暂停,数据传输任务进入等待列表,待数据采集终端再次与智能服务器接通后,继续上传;
S06、智能云端服务器进行数据读取:计算服务器中通过数据读取模块从存储服务器中读取来自数据采集终端的屏幕录制视频流数据,然后进入步骤S07;若读取失败,则中断本段读取并循环步骤S06;
S07、智能云端服务器对经数据读取模块读取的视频流数据进行处理:
包括第一种处理:直接通过对获取的视频流数据进行视频关键帧的逐帧拆解后,对逐帧拆解后获得的连续时序的图像进行差异化分析和比对,选出并拼接出需要图像识别的关键帧发送至AI图像识别模块进行图像识别;以及第二种处理:对获取的视频流数据进行视频流自身特有的物理特征提取,与存储服务器中设定的检测模型进行差异化分析和比对,挑选出有用的视频流数据后,经第一种方式的视频关键帧进行逐帧拆解获取图像识别关键帧后发送至AI图像识别模块进行图像识别;由智能云端服务器根据读取的视频数据流的大小进行自动分配处理方式;
S08、针对处理后的图像数据进行AI识别:根据预先训练的广告分类器、品牌分类器、产品分类器等对图像进行识别;若识别成功,反馈给智能云端服务器对应的参数的结果及对应类型;若识别失败,则放弃该数据;
S09、对获取的经识别后的图像数据进行归类存储:针对反馈的数据进行再归类,得到完整的消费者的行为及接触的数据并存储于存储服务器中;
S10、对AI图像识别模型进行调优:根据所述AI图像识别模块有召回率和正确率的问题,不断追加样本和测试对AI图像识别模型进行调优。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910898453.3A CN110851148B (zh) | 2019-09-23 | 2019-09-23 | 一种基于智能图像识别用户行为数据的分析系统及其方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910898453.3A CN110851148B (zh) | 2019-09-23 | 2019-09-23 | 一种基于智能图像识别用户行为数据的分析系统及其方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110851148A CN110851148A (zh) | 2020-02-28 |
CN110851148B true CN110851148B (zh) | 2021-07-30 |
Family
ID=69596057
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910898453.3A Active CN110851148B (zh) | 2019-09-23 | 2019-09-23 | 一种基于智能图像识别用户行为数据的分析系统及其方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110851148B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112087672B (zh) * | 2020-08-13 | 2021-11-23 | 浙江大学 | 一种使用智能终端及服务器的视频流描述生成方法 |
CN112712504B (zh) * | 2020-12-30 | 2023-08-15 | 广东粤云工业互联网创新科技有限公司 | 基于云端的工件检测方法及系统、计算机可读存储介质 |
US11811523B2 (en) | 2021-06-11 | 2023-11-07 | Measure Protocol Limited | Device-side validation of screen recordings |
US11582509B2 (en) | 2021-06-11 | 2023-02-14 | Measure Protocol Limited | Generating structured data from screen recordings |
CN114051120A (zh) * | 2021-10-26 | 2022-02-15 | 远光软件股份有限公司 | 视频告警方法、装置、存储介质及电子设备 |
CN114191824A (zh) * | 2021-11-30 | 2022-03-18 | 上海乐畅信息技术有限公司 | 一种向用户发送好友召回信息的方法与设备 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106164959A (zh) * | 2014-02-06 | 2016-11-23 | 威图数据研究公司 | 行为事件测量系统和相关方法 |
CN106779819A (zh) * | 2016-11-29 | 2017-05-31 | 特斯联(北京)科技有限公司 | 基于ar云端识别的智能广告推荐方法、系统及服务器 |
CN106875507A (zh) * | 2015-12-10 | 2017-06-20 | 北京奇虎科技有限公司 | 一种基于移动终端的行车记录方法和装置 |
CN108108294A (zh) * | 2017-12-29 | 2018-06-01 | 北京奇虎科技有限公司 | 一种根据基准时间来获取定制运行数据的方法及系统 |
CN108874268A (zh) * | 2017-05-09 | 2018-11-23 | 腾讯科技(深圳)有限公司 | 用户行为数据的采集方法及装置 |
CN109660669A (zh) * | 2018-12-25 | 2019-04-19 | 江苏满运软件科技有限公司 | 用户操作信息的采集方法、系统、设备及存储介质 |
CN110263748A (zh) * | 2019-06-26 | 2019-09-20 | 北京百度网讯科技有限公司 | 用于发送信息的方法和装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
BR102014007662A2 (pt) * | 2014-03-28 | 2016-01-05 | Sky Brasil Serviços Ltda | método e sistema para capturar e gravar conteúdo de mídia |
CN107797894B (zh) * | 2017-02-17 | 2021-04-13 | 平安科技(深圳)有限公司 | App用户行为分析方法和装置 |
US10706386B2 (en) * | 2017-09-14 | 2020-07-07 | Sensormatic Electronics, LLC | Machine learning inventory management |
CN108509232A (zh) * | 2018-03-29 | 2018-09-07 | 北京小米移动软件有限公司 | 屏幕录制方法、装置及计算机可读存储介质 |
CN109376603A (zh) * | 2018-09-25 | 2019-02-22 | 北京周同科技有限公司 | 一种视频识别方法、装置、计算机设备及存储介质 |
-
2019
- 2019-09-23 CN CN201910898453.3A patent/CN110851148B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106164959A (zh) * | 2014-02-06 | 2016-11-23 | 威图数据研究公司 | 行为事件测量系统和相关方法 |
CN106875507A (zh) * | 2015-12-10 | 2017-06-20 | 北京奇虎科技有限公司 | 一种基于移动终端的行车记录方法和装置 |
CN106779819A (zh) * | 2016-11-29 | 2017-05-31 | 特斯联(北京)科技有限公司 | 基于ar云端识别的智能广告推荐方法、系统及服务器 |
CN108874268A (zh) * | 2017-05-09 | 2018-11-23 | 腾讯科技(深圳)有限公司 | 用户行为数据的采集方法及装置 |
CN108108294A (zh) * | 2017-12-29 | 2018-06-01 | 北京奇虎科技有限公司 | 一种根据基准时间来获取定制运行数据的方法及系统 |
CN109660669A (zh) * | 2018-12-25 | 2019-04-19 | 江苏满运软件科技有限公司 | 用户操作信息的采集方法、系统、设备及存储介质 |
CN110263748A (zh) * | 2019-06-26 | 2019-09-20 | 北京百度网讯科技有限公司 | 用于发送信息的方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN110851148A (zh) | 2020-02-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110851148B (zh) | 一种基于智能图像识别用户行为数据的分析系统及其方法 | |
WO2022116888A1 (zh) | 一种视频数据处理方法、装置、设备以及介质 | |
US11166066B2 (en) | Display apparatus, content recognizing method thereof, and non-transitory computer readable recording medium | |
CN110554831B (zh) | 操作同步方法、装置、设备及存储介质 | |
CN107133158A (zh) | 一种适用于Android设备的日志自动采集及问题定位跟踪方法 | |
CN112420069A (zh) | 一种语音处理方法、装置、机器可读介质及设备 | |
CN111885375A (zh) | 双录视频的检验方法、装置、服务器及系统 | |
US11503110B2 (en) | Method for presenting schedule reminder information, terminal device, and cloud server | |
KR101954717B1 (ko) | 고속분석 영상처리장치 및 그 장치의 구동방법 | |
US20200293760A1 (en) | Multi-modal identity recognition | |
CN111241873A (zh) | 图像翻拍检测方法及其模型的训练方法、支付方法及装置 | |
US11348254B2 (en) | Visual search method, computer device, and storage medium | |
CN114363547A (zh) | 一种双录装置、双录交互控制方法 | |
CN110807184A (zh) | 一种智能录屏采集电脑及移动终端用户行为数据的方法 | |
CN110598644B (zh) | 多媒体播放控制方法、装置及电子设备 | |
KR20170057071A (ko) | 이미지기반 빅데이터 추출 및 활용 방법 및 그를 위한 서버 | |
CN114928766A (zh) | 一种自动调整视频片段的系统及方法 | |
CN115661527A (zh) | 基于人工智能的图像分类模型训练方法、分类方法及装置 | |
US11398091B1 (en) | Repairing missing frames in recorded video with machine learning | |
US11250267B2 (en) | Method and apparatus for processing information associated with video, electronic device, and storage medium | |
CN113158842A (zh) | 一种识别方法、系统、设备及介质 | |
CN113660482A (zh) | 一种ai摄像设备或模块的自动化测试方法及装置 | |
US20200252667A1 (en) | Apparatuses, systems and methods for sharing content | |
CN102075329B (zh) | 一种用户图像识别方法 | |
CN105743848B (zh) | 一种多媒体内容选择性传送方法、装置及遥控设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20240603 Address after: Unit C-021, Unit 501, 5th Floor, No. 700 Liyuan Road, Huangpu District, Shanghai, 200001 Patentee after: Jia Wei Yun Information Technology (Shanghai) Co.,Ltd. Country or region after: China Address before: Room 2602-2605, 288 Jiujiang Road, Huangpu District, Shanghai Patentee before: Shanghai yilueming Digital Technology Co.,Ltd. Country or region before: China |
|
TR01 | Transfer of patent right |