CN110851148B - 一种基于智能图像识别用户行为数据的分析系统及其方法 - Google Patents

Abstract

本发明公开了一种基于智能图像识别用户行为数据的分析系统及其方法，涉及数据智能采集分析技术领域。本发明的系统包括搭载有数据采集系统的数据采集终端、设置于云端且内置有图像识别系统的智能云端服务器、连接于数据采集终端与智能云端服务器之间的通讯网络；数据采集系统包括权限模块、登录模块、知情许可协议模块、屏幕录制授权模块、检测及上传模块，图像识别系统包括数据读取模块、视频流数据处理模块、AI图像识别模块、数据存储模块和模型调优模块。本发明解决了消费者实时数字行为分析瓶颈，让商业分析更接近现实情况，不会因为额外干扰被访者，给品牌方带来更多有价值的分析结果，去指导品牌全局优化消费路径。

Description

一种基于智能图像识别用户行为数据的分析系统及其方法

技术领域

本发明属于数据智能采集分析技术领域，特别是涉及一种基于智能图像识别用户行为数据的分析系统以及一种基于智能图像识别用户行为数据的分析方法。

背景技术

现有的技术中，针对消费者用户的消费信息采集和分析的方法主要是通过连接数据采集设备的消费数据接口或通过抓取用户消费日志的方式进行数据采集从而进行规整并产生商业价值。这一方式中，利用数据采集设备自身的系统漏洞或缺口，未经用户主动授权的，极易导致用户的安全隐私信息数据被泄露，且上述技术存在数据传输延迟高不及时，数据孤立且不完整，大量的数据仍需人工进行识别效率低，结构化后分析操作困难，因此如何针对以上问题，亟需解决数据采集不至于形成数据孤岛，使数据链路更加完整可靠，用户安全和隐私保护性更强，数据识别能力更强和投入成本更小，数据采集效率更高的技术。因此，针对以上问题提供一种基于智能图像识别用户行为数据的分析系统及其方法具有重要意义。

发明内容

本发明的目的在于提供一种基于智能图像识别用户行为数据的分析系统及其方法，能够方便快捷的抓取安全的非隐私的消费者信息数据，不产生数据延迟、孤立、不完整，AI智能识别能力强，还原消费者非隐私的真实数字行为，产出更多商业价值，解决了消费者实时数字行为分析瓶颈，让商业分析更接近现实情况，不会因为额外干扰被访者，给品牌方带来更多有价值的分析结果，去指导品牌全局优化消费路径。

为解决上述技术问题，本发明是通过以下技术方案实现的：

本发明的一种基于智能图像识别用户行为数据的分析系统，包括搭载有数据采集系统的数据采集终端、设置于云端且内置有图像识别系统的智能云端服务器、连接于数据采集终端与智能云端服务器之间的通讯网络；

所述数据采集系统以应用程序安装包的形式安装于数据采集终端上，所述数据采集系统包括权限模块、登录模块、知情许可协议模块、屏幕录制授权模块、检测及上传模块，所述屏幕录制授权模块经用户授权后获取MediaRecord屏幕录制权限，并将初步确定进行屏幕录制的应用程序与服务器配置比对，形成初步被许可屏幕录制白名单给用户进行勾选授权后形成确定许可屏幕录制白名单；所述屏幕录制授权模块对用户操作的手机中被允许录制的应用程序界面通过调动MediaRecord对屏幕进行录制形成视频流进行存储，并经检测及上传模块进行检测和上传，经通讯网络传输至智能云端服务器；

所述智能云端服务器内设置有处理服务器和存储服务器，所述处理服务器与存储服务器之间信息数据交互相连；

所述图像识别系统包括设置于处理服务器内的数据读取模块、视频流数据处理模块、AI图像识别模块，设置于存储服务器内的数据存储模块和模型调优模块；所述AI图像识别模块对经视频流数据处理模块进行优化处理后的整体视频流数据或经逐帧拆解后的关键帧图片数据进行智能识别，获取识别结果并反馈存储至数据存储模块中；

所述通讯网络包括与数据采集终端通过4G模块或5G模块网络相连的4G基站或5G基站，所述数据采集终端内的通信接口或Wifi模块通过交换机、路由器与Internet网络相连。

进一步地，所述数据采集终端包括PC端和移动终端，所述数据采集系统以程序安装包的形式安装于PC端，所述数据采集系统以APP形式安装于移动终端，所述数据采集系统采用C语言或java语言编写。

进一步地，所述数据采集终端内设置有用于存储屏幕录制形成视频流的存储模块，视频流按照录屏生成时间的先后进行存储并依次经检测及上传模块和通讯网络传输至智能云端服务器。

进一步地，所述权限模块是通过应用程序安装包于数据采集终端上安装完毕后，向数据采集终端系统申请获取数据采集终端的数据采集终端信息、读取应用列表、读写数据采集终端存储、常驻通知的系统权限。

进一步地，所述检测及上传模块用于在应用程序运行中，获取当前数据采集终端上用户使用活跃的应用程序列表，与服务器配置比对后确定该所述应用程序列表包含在确定许可屏幕录制白名单中，若是，则所述数据采集系统向MediaRecord提出调取进行屏幕录制请求；若所述检测及上传模块在对当前运行的应用程序检测时，该应用程序不在确定许可屏幕录制白名单，则所述数据采集系统向MediaRecord提出暂停屏幕录制请求。

进一步地，所述视频流数据处理模块对获取的视频流数据处理包括两种：

第一种：通过对获取的视频流数据进行视频关键帧的逐帧拆解，对逐帧拆解后获得的连续时序的图像进行差异化分析和比对，选出并拼接出需要图像识别的关键帧发送至AI图像识别模块进行图像识别；

第二种：通过对获取的视频流数据进行视频流自身特有的物理特征提取，与存储服务器中设定的检测模型进行差异化分析和比对，挑选出有用的视频流数据后，经第一种方式的视频关键帧进行逐帧拆解获取图像识别关键帧后发送至AI图像识别模块进行图像识别。

进一步地，所述物理特征包括视频流数据的颜色特征、视频纹理特征、视频运动特性特征。

进一步地，所述数据存储模块中存储有经训练和归类的分类器模型，包括广告分类器模型、品牌分类器模型、产品分类器模型；

所述AI图像识别模块将由视频流数据处理模块处理后的图像识别关键帧数据与数据存储模块中的经训练后的分类器模型进行比对识别，若识别成功则向计算服务器反馈识别参数的结果和对应的分类类型。

进一步地，所述模型调优模块用于针对AI图像识别模块的召回率和正确率问题，通过追加训练分类器模型和分类样本对AI图像识别模块进行识别模型调优，使识别更加精准和细化。

一种基于智能图像识别用户行为数据的分析方法，包括如下步骤：

S01、安装应用程序安装包并进行权限申请：数据采集终端用户在数据采集终端上安装应用程序安装包，安装完成后，启动后的应用程序向数据采集终端系统申请获取终端信息、读取应用列表、读写数据采集终端存储、常驻通知等系统权限；数据采集终端系统向用户提示申请的权限列表，并等待用户将所有权限同意授权给应用程序，用户同意后，若用户未登陆，则应用程序跳转至步骤S03；若用户拒绝授予权限，则应用程序自动关闭；

S02、用户登陆：用户通过登录模块经动态验证码进行应用程序注册和登录，分配服务器并在智能云端服务器内绑定与注册账户相对应的数据存储区和处理区，实现数据采集终端与智能云端服务器的实时交互；若用户注册和登录失败，则返回至登录原始界面；

S03、用户知情书同意：

若用户已经同意，则无更新跳转至步骤S04；

若用户未同意，则通过知情许可协议模块向用户展示知情书，并要求阅读全文，勾选已明确知晓内容，且同意提供数据给应用程序后台，将同意申请发送至智能云端服务器，智能云端服务器确认收到信息后，记录具体的同意时间和同意根据IP形成的数据采集终端的设备编号，反馈给数据采集终端用户同意记录，然后跳转至步骤S04；若不同意，则应用程序关闭；

S04、对屏幕录制进行授权：应用程序通过屏幕录制授权模块向数据采集终端系统申请MediaRecord的屏幕录制权限，数据采集终端系统向用户提示应用程序正在要求进行屏幕录制，用户同意后，应用程序通过数据采集终端系统录制数据采集终端上各应用程序的使用情况；若用户拒绝，则应用程序自动关闭；

S05、对获取的屏幕录制视频数据流进行检测并上传：

在运行过程中，应用程序向数据采集终端系统申请当前前台活跃应用程序列表，根据与服务器配置比对，确定当前前台活跃应用程序是否包含在屏幕录制白名单的应用程序列表中；

若当前前台活跃应用程序不在白名单，应用程序向系统提交暂停屏幕录制请求；数据采集终端系统接收到请求后，保存系统录制的数据到智能设备存储，同时向数据采集系统的检测及上传模块提交数据传输请求，把本地存储模块中的屏幕录制视频流数据通过4G或5G或WiFi网络传输至智能云端服务器中的存储服务器中；存储服务器中数据存储模块收到数据后，反馈给服务器记录模块记录上传记录并推送应用程序告知上传完成应用程序收到完成事件后，删除本地存储模块中对应的数据备份；若传输被意外暂停，数据传输任务进入等待列表，待数据采集终端再次与智能服务器接通后，继续上传；

S06、智能云端服务器进行数据读取：计算服务器中通过数据读取模块从存储服务器中读取来自数据采集终端的屏幕录制视频流数据，然后进入步骤S07；若读取失败，则中断本段读取并循环步骤S06；

S07、智能云端服务器对经数据读取模块读取的视频流数据进行处理：

包括第一种处理：直接通过对获取的视频流数据进行视频关键帧的逐帧拆解后，对逐帧拆解后获得的连续时序的图像进行差异化分析和比对，选出并拼接出需要图像识别的关键帧发送至AI图像识别模块进行图像识别；以及第二种处理：对获取的视频流数据进行视频流自身特有的物理特征提取，与存储服务器中设定的检测模型进行差异化分析和比对，挑选出有用的视频流数据后，经第一种方式的视频关键帧进行逐帧拆解获取图像识别关键帧后发送至AI图像识别模块进行图像识别；由智能云端服务器根据读取的视频数据流的大小进行自动分配处理方式；

S08、针对处理后的图像数据进行AI识别：根据预先训练的广告分类器、品牌分类器、产品分类器等对图像进行识别；若识别成功，反馈给智能云端服务器对应的参数的结果及对应类型；若识别失败，则放弃该数据；

S09、对获取的经识别后的图像数据进行归类存储：针对反馈的数据进行再归类，得到完整的消费者的行为及接触的数据并存储于存储服务器中；

S10、对AI图像识别模型进行调优：根据所述AI图像识别模块有召回率和正确率的问题，不断追加样本和测试对AI图像识别模型进行调优。

本发明具有以下有益效果：

本发明通过在搭载有多种包括但不限于网购、电子消费、娱乐视听、位置旅游、实用工具等所有能够产生数字行为数据的应用及来自终端本身使用的数据的数据采集终端上安装分布授权的数据采集系统，对用户在使用过程中产生的包含但不限于品牌和产品等有价值内容的屏幕数据通过录屏的方式进行抓取、存储、上传、并在云端进行视频逐帧拆解并通过AI识别分析，将获取的关键帧图像与经训练的分类器模型图像数据比对，识别出相应的参数结果和类型，具有用户选择主动性强，安全和隐私保护程度高，能够方便快捷的抓取安全的非隐私的消费者信息数据，不产生数据延迟、孤立、不完整，AI智能识别能力强，还原消费者非隐私的真实数字行为，产出更多商业价值，解决了消费者实时数字行为分析瓶颈，让商业分析更接近现实情况，不会因为额外干扰被访者，给品牌方带来更多有价值的分析结果，去指导品牌全局优化消费路径。

当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的一种基于智能图像识别用户行为数据的分析系统的结构示意图；

图2为承载图1中系统的硬件系统结构示意图；

图3为本发明的一种基于智能图像识别用户行为数据的分析方法的步骤结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1-2所示，本发明的一种基于智能图像识别用户行为数据的分析系统，包括搭载有数据采集系统的数据采集终端、设置于云端且内置有图像识别系统的智能云端服务器、连接于数据采集终端与智能云端服务器之间的通讯网络；

数据采集系统以应用程序安装包的形式安装于数据采集终端上，数据采集系统包括权限模块、登录模块、知情许可协议模块、屏幕录制授权模块、检测及上传模块，屏幕录制授权模块经用户授权后获取MediaRecord屏幕录制权限，并将初步确定进行屏幕录制的应用程序与服务器配置比对，形成初步被许可屏幕录制白名单给用户进行勾选授权后形成确定许可屏幕录制白名单；屏幕录制授权模块对用户操作的手机中被允许录制的应用程序界面通过调动MediaRecord对屏幕进行录制形成视频流进行存储，并经检测及上传模块进行检测和上传，经通讯网络传输至智能云端服务器；

智能云端服务器内设置有处理服务器和存储服务器，处理服务器与存储服务器之间信息数据交互相连；

图像识别系统包括设置于处理服务器内的数据读取模块、视频流数据处理模块、AI图像识别模块，设置于存储服务器内的数据存储模块和模型调优模块；AI图像识别模块对经视频流数据处理模块进行优化处理后的整体视频流数据或经逐帧拆解后的关键帧图片数据进行智能识别，获取识别结果并反馈存储至数据存储模块中；

通讯网络包括与数据采集终端通过4G模块或5G模块网络相连的4G基站或5G基站，数据采集终端内的通信接口或Wifi模块通过交换机、路由器与Internet网络相连。

其中，数据采集终端包括PC端和移动终端，PC端和移动终端上搭载有多种包括但不限于网购、电子消费、潜在消费浏览应用、娱乐视听、位置旅游、实用工具等所用能够产生数字行为的应用，数据采集系统以程序安装包的形式安装于PC端，数据采集系统以APP形式安装于移动终端，数据采集系统采用C语言或java语言编写；PC端包括笔记本、台式机、一体机；移动终端采用智能手机，4G以上网络传输。

其中，数据采集终端内设置有用于存储屏幕录制形成视频流的存储模块，视频流按照录屏生成时间的先后进行存储并依次经检测及上传模块和通讯网络传输至智能云端服务器。

其中，权限模块是通过应用程序安装包于数据采集终端上安装完毕后，向数据采集终端系统申请获取数据采集终端的数据采集终端信息、读取应用列表、读写数据采集终端存储、常驻通知的系统权限。

其中，检测及上传模块用于在应用程序运行中，获取当前数据采集终端上用户使用活跃的应用程序列表，与服务器配置比对后确定该所述应用程序列表包含在确定许可屏幕录制白名单中，若是，则数据采集系统向MediaRecord提出调取进行屏幕录制请求；若检测及上传模块在对当前运行的应用程序检测时，该应用程序不在确定许可屏幕录制白名单，则数据采集系统向MediaRecord提出暂停屏幕录制请求。

进一步地，视频流数据处理模块对获取的视频流数据处理包括两种：

第一种：通过对获取的视频流数据进行视频关键帧的逐帧拆解，对逐帧拆解后获得的连续时序的图像进行差异化分析和比对，选出并拼接出需要图像识别的关键帧发送至AI图像识别模块进行图像识别；

第二种：通过对获取的视频流数据进行视频流自身特有的物理特征提取，与存储服务器中设定的检测模型进行差异化分析和比对，挑选出有用的视频流数据后，经第一种方式的视频关键帧进行逐帧拆解获取图像识别关键帧后发送至AI图像识别模块进行图像识别。

其中，物理特征包括视频流数据的颜色特征、视频纹理特征、视频运动特性特征。

其中，数据存储模块中存储有经训练和归类的分类器模型，包括广告分类器模型、品牌分类器模型、产品分类器模型；AI图像识别模块将由视频流数据处理模块处理后的图像识别关键帧数据与数据存储模块中的经训练后的分类器模型进行比对识别，若识别成功则向计算服务器反馈识别参数的结果和对应的分类类型。

其中，模型调优模块用于针对AI图像识别模块的召回率和正确率问题，通过追加训练分类器模型和分类样本对AI图像识别模块进行识别模型调优，使识别更加精准和细化。

如图3所示，一种基于智能图像识别用户行为数据的分析方法，包括如下步骤：

S01、安装应用程序安装包并进行权限申请：通过App Store，Google Play，应用宝，豌豆荚，官网等渠道，数据采集终端用户在数据采集终端上安装应用程序安装包，安装完成后，启动后的应用程序向数据采集终端系统申请获取终端信息、读取应用列表、读写数据采集终端存储、常驻通知等系统权限；数据采集终端系统向用户提示申请的权限列表，并等待用户将所有权限同意授权给应用程序，用户同意后，若用户未登陆，则应用程序跳转至步骤S03；若用户拒绝授予权限，则应用程序自动关闭；

S02、用户登陆：用户通过登录模块经动态验证码进行应用程序注册和登录，分配服务器并在智能云端服务器内绑定与注册账户相对应的数据存储区和处理区，实现数据采集终端与智能云端服务器的实时交互；若用户注册和登录失败，则返回至登录原始界面；

S03、用户知情书同意：

若用户已经同意，则无更新跳转至步骤S04；

若用户未同意，则通过知情许可协议模块向用户展示知情书，并要求阅读全文，勾选已明确知晓内容，且同意提供数据给应用程序后台，将同意申请发送至智能云端服务器，智能云端服务器确认收到信息后，记录具体的同意时间和同意根据IP形成的数据采集终端的设备编号，反馈给数据采集终端用户同意记录，然后跳转至步骤S04；若不同意，则应用程序关闭；

S04、对屏幕录制进行授权：应用程序通过屏幕录制授权模块向数据采集终端系统申请MediaRecord的屏幕录制权限，数据采集终端系统向用户提示应用程序正在要求进行屏幕录制，屏幕录制的数据仅在应用程序开启期间进行屏幕录制，且不包括音频数据，用户同意后，应用程序通过数据采集终端系统录制数据采集终端上各应用程序的使用情况；若用户拒绝，则应用程序自动关闭；

S05、对获取的屏幕录制视频数据流进行检测并上传：

在运行过程中，应用程序向数据采集终端系统申请当前前台活跃应用程序列表，根据与服务器配置比对，确定当前前台活跃应用程序是否包含在屏幕录制白名单的应用程序列表中；

若当前前台活跃应用程序不在白名单，应用程序向系统提交暂停屏幕录制请求；数据采集终端系统接收到请求后，保存系统录制的数据到智能设备存储，同时向数据采集系统的检测及上传模块提交数据传输请求，把本地存储模块中的屏幕录制视频流数据通过4G或5G或WiFi网络传输至智能云端服务器中的存储服务器中；存储服务器中数据存储模块收到数据后，反馈给服务器记录模块记录上传记录并推送应用程序告知上传完成应用程序收到完成事件后，删除本地存储模块中对应的数据备份；若传输被意外暂停，数据传输任务进入等待列表，待数据采集终端再次与智能服务器接通后，继续上传；获取的屏幕录制视频流数据采用片段的形式，当当前运行的应用程序停止工作或切换时，该阶段的屏幕录制视频流数据自动分段打包并结束当前阶段录制；

S06、智能云端服务器进行数据读取：计算服务器中通过数据读取模块从存储服务器中读取来自数据采集终端的屏幕录制视频流数据，然后进入步骤S07；若读取失败，则中断本段读取并循环步骤S06；

S07、智能云端服务器对经数据读取模块读取的视频流数据进行处理：

包括第一种处理：直接通过对获取的视频流数据进行视频关键帧的逐帧拆解后，对逐帧拆解后获得的连续时序的图像进行差异化分析和比对，选出并拼接出需要图像识别的关键帧发送至AI图像识别模块进行图像识别；以及第二种处理：对获取的视频流数据进行视频流自身特有的物理特征提取，与存储服务器中设定的检测模型进行差异化分析和比对，挑选出有用的视频流数据后，经第一种方式的视频关键帧进行逐帧拆解获取图像识别关键帧后发送至AI图像识别模块进行图像识别；由智能云端服务器根据读取的视频数据流的大小进行自动分配处理方式；

S08、针对处理后的图像数据进行AI识别：根据预先训练的广告分类器、品牌分类器、产品分类器等对图像进行识别；若识别成功，反馈给智能云端服务器对应的参数的结果及对应类型；若识别失败，则放弃该数据；

S09、对获取的经识别后的图像数据进行归类存储：针对反馈的数据进行再归类，得到完整的消费者的行为及接触的数据并存储于存储服务器中；

S10、对AI图像识别模型进行调优：根据所述AI图像识别模块有召回率和正确率的问题，不断追加样本和测试对AI图像识别模型进行调优，目的是更准确的识别出需要识别的内容。

在对数据采集终端进行屏幕录制数据采集过程中，屏幕顶端隐藏设置有主动控制屏幕录制进程的浮动的控制钮，在需要时用户可主动对屏幕录制动作进行强制中断和终止，做到不打扰用户，主动个性化的控制；数据采集终端在对屏幕录制的视频流进行录制时，是边录制边上传，排列进行的，当上传完毕后的视频进行自动删除，当没有网络时，停止屏幕录制和视频流保存动作，直至恢复网络继续上传并自动恢复屏幕录制流程和动作，整个流程，视频流占据手机内存量小，不会影响用户使用体验感。

本发明采用综合解决的方案，通过在搭载有多种包括但不限于网购、电子消费、娱乐视听、位置旅游、实用工具等所有能够产生数字行为数据的应用及来自终端本身使用的数据的数据采集终端上安装分布授权的数据采集系统，对用户在使用过程中产生的包含但不限于品牌和产品等有价值内容的屏幕数据通过录屏的方式进行抓取、存储、上传、并在云端进行视频逐帧拆解并通过AI识别分析，将获取的关键帧图像与经训练的分类器模型图像数据比对，识别出相应的参数结果和类型，具有用户选择主动性强，安全和隐私保护程度高，能够方便快捷的抓取安全的非隐私的消费者信息数据，不产生数据延迟、孤立、不完整，AI智能识别能力强，还原消费者非隐私的真实数字行为，产出更多商业价值，解决了消费者实时数字行为分析瓶颈，让商业分析更接近现实情况，不会因为额外干扰被访者，给品牌方带来更多有价值的分析结果，去指导品牌全局优化消费路径。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (10)

1.一种基于智能图像识别用户行为数据的分析系统，其特征在于：

包括搭载有数据采集系统的数据采集终端、设置于云端且内置有图像识别系统的智能云端服务器、连接于数据采集终端与智能云端服务器之间的通讯网络；

所述数据采集系统以应用程序安装包的形式安装于数据采集终端上，所述数据采集系统包括权限模块、登录模块、知情许可协议模块、屏幕录制授权模块、检测及上传模块，所述屏幕录制授权模块经用户授权后获取MediaRecord屏幕录制权限，并将初步确定进行屏幕录制的应用程序与服务器配置比对，形成初步被许可屏幕录制白名单给用户进行勾选授权后形成确定许可屏幕录制白名单；所述屏幕录制授权模块对用户操作的手机中被允许录制的应用程序界面通过调动MediaRecord对屏幕进行录制形成视频流进行存储，并经检测及上传模块进行检测和上传，经通讯网络传输至智能云端服务器；

所述智能云端服务器内设置有处理服务器和存储服务器，所述处理服务器与存储服务器之间信息数据交互相连；

所述图像识别系统包括设置于处理服务器内的数据读取模块、视频流数据处理模块、AI图像识别模块，设置于存储服务器内的数据存储模块和模型调优模块；所述AI图像识别模块对经视频流数据处理模块进行优化处理后的整体视频流数据或经逐帧拆解后的关键帧图片数据进行智能识别，获取识别结果并反馈存储至数据存储模块中；

所述通讯网络包括与数据采集终端通过4G模块或5G模块网络相连的4G基站或5G基站，所述数据采集终端内的通信接口或Wifi模块通过交换机、路由器与Internet网络相连。

2.根据权利要求1所述的一种基于智能图像识别用户行为数据的分析系统，其特征在于，所述数据采集终端包括PC端和移动终端，所述数据采集系统以程序安装包的形式安装于PC端，所述数据采集系统以APP形式安装于移动终端，所述数据采集系统采用C语言或java语言编写。

3.根据权利要求1所述的一种基于智能图像识别用户行为数据的分析系统，其特征在于，所述数据采集终端内设置有用于存储屏幕录制形成视频流的存储模块，视频流按照录屏生成时间的先后进行存储并依次经检测及上传模块和通讯网络传输至智能云端服务器。

4.根据权利要求1所述的一种基于智能图像识别用户行为数据的分析系统，其特征在于，所述权限模块是通过应用程序安装包于数据采集终端上安装完毕后，向数据采集终端系统申请获取数据采集终端的数据采集终端信息、读取应用列表、读写数据采集终端存储、常驻通知的系统权限。

5.根据权利要求1所述的一种基于智能图像识别用户行为数据的分析系统，其特征在于，所述检测及上传模块用于在应用程序运行中，获取当前数据采集终端上用户使用活跃的应用程序列表，与服务器配置比对后确定该所述应用程序列表包含在确定许可屏幕录制白名单中，若是，则所述数据采集系统向MediaRecord提出调取进行屏幕录制请求；若所述检测及上传模块在对当前运行的应用程序检测时，该应用程序不在确定许可屏幕录制白名单，则所述数据采集系统向MediaRecord提出暂停屏幕录制请求。

6.根据权利要求1所述的一种基于智能图像识别用户行为数据的分析系统，其特征在于，所述视频流数据处理模块对获取的视频流数据处理包括两种：

第一种：通过对获取的视频流数据进行视频关键帧的逐帧拆解，对逐帧拆解后获得的连续时序的图像进行差异化分析和比对，选出并拼接出需要图像识别的关键帧发送至AI图像识别模块进行图像识别；

第二种：通过对获取的视频流数据进行视频流自身特有的物理特征提取，与存储服务器中设定的检测模型进行差异化分析和比对，挑选出有用的视频流数据后，经第一种方式的视频关键帧进行逐帧拆解获取图像识别关键帧后发送至AI图像识别模块进行图像识别。

7.根据权利要求6所述的一种基于智能图像识别用户行为数据的分析系统，其特征在于，所述物理特征包括视频流数据的颜色特征、视频纹理特征、视频运动特性特征。

8.根据权利要求1所述的一种基于智能图像识别用户行为数据的分析系统，其特征在于，所述数据存储模块中存储有经训练和归类的分类器模型，包括广告分类器模型、品牌分类器模型、产品分类器模型；

所述AI图像识别模块将由视频流数据处理模块处理后的图像识别关键帧数据与数据存储模块中的经训练后的分类器模型进行比对识别，若识别成功则向计算服务器反馈识别参数的结果和对应的分类类型。

9.根据权利要求1所述的一种基于智能图像识别用户行为数据的分析系统，其特征在于，所述模型调优模块用于针对AI图像识别模块的召回率和正确率问题，通过追加训练分类器模型和分类样本对AI图像识别模块进行识别模型调优，使识别更加精准和细化。

10.一种基于智能图像识别用户行为数据的分析方法，其特征在于，包括如下步骤：

S01、安装应用程序安装包并进行权限申请：数据采集终端用户在数据采集终端上安装应用程序安装包，安装完成后，启动后的应用程序向数据采集终端系统申请获取终端信息、读取应用列表、读写数据采集终端存储、常驻通知等系统权限；数据采集终端系统向用户提示申请的权限列表，并等待用户将所有权限同意授权给应用程序，用户同意后，若用户未登陆，则应用程序跳转至步骤S03；若用户拒绝授予权限，则应用程序自动关闭；

S02、用户登陆：用户通过登录模块经动态验证码进行应用程序注册和登录，分配服务器并在智能云端服务器内绑定与注册账户相对应的数据存储区和处理区，实现数据采集终端与智能云端服务器的实时交互；若用户注册和登录失败，则返回至登录原始界面；

S03、用户知情书同意：

若用户已经同意，则无更新跳转至步骤S04；

若用户未同意，则通过知情许可协议模块向用户展示知情书，并要求阅读全文，勾选已明确知晓内容，且同意提供数据给应用程序后台，将同意申请发送至智能云端服务器，智能云端服务器确认收到信息后，记录具体的同意时间和同意根据IP形成的数据采集终端的设备编号，反馈给数据采集终端用户同意记录，然后跳转至步骤S04；若不同意，则应用程序关闭；

S04、对屏幕录制进行授权：应用程序通过屏幕录制授权模块向数据采集终端系统申请MediaRecord的屏幕录制权限，数据采集终端系统向用户提示应用程序正在要求进行屏幕录制，用户同意后，应用程序通过数据采集终端系统录制数据采集终端上各应用程序的使用情况；若用户拒绝，则应用程序自动关闭；

S05、对获取的屏幕录制视频数据流进行检测并上传：

在运行过程中，应用程序向数据采集终端系统申请当前前台活跃应用程序列表，根据与服务器配置比对，确定当前前台活跃应用程序是否包含在屏幕录制白名单的应用程序列表中；

若当前前台活跃应用程序不在白名单中，应用程序向系统提交暂停屏幕录制请求；数据采集终端系统接收到请求后，保存系统录制的数据到智能设备存储，同时向数据采集系统的检测及上传模块提交数据传输请求，把本地存储模块中的屏幕录制视频流数据通过4G或5G或WiFi网络传输至智能云端服务器中的存储服务器中；存储服务器中数据存储模块收到数据后，反馈给服务器记录模块记录上传记录并推送应用程序告知上传完成应用程序收到完成事件后，删除本地存储模块中对应的数据备份；若传输被意外暂停，数据传输任务进入等待列表，待数据采集终端再次与智能服务器接通后，继续上传；

S06、智能云端服务器进行数据读取：计算服务器中通过数据读取模块从存储服务器中读取来自数据采集终端的屏幕录制视频流数据，然后进入步骤S07；若读取失败，则中断本段读取并循环步骤S06；

S07、智能云端服务器对经数据读取模块读取的视频流数据进行处理：

包括第一种处理：直接通过对获取的视频流数据进行视频关键帧的逐帧拆解后，对逐帧拆解后获得的连续时序的图像进行差异化分析和比对，选出并拼接出需要图像识别的关键帧发送至AI图像识别模块进行图像识别；以及第二种处理：对获取的视频流数据进行视频流自身特有的物理特征提取，与存储服务器中设定的检测模型进行差异化分析和比对，挑选出有用的视频流数据后，经第一种方式的视频关键帧进行逐帧拆解获取图像识别关键帧后发送至AI图像识别模块进行图像识别；由智能云端服务器根据读取的视频数据流的大小进行自动分配处理方式；

S08、针对处理后的图像数据进行AI识别：根据预先训练的广告分类器、品牌分类器、产品分类器等对图像进行识别；若识别成功，反馈给智能云端服务器对应的参数的结果及对应类型；若识别失败，则放弃该数据；

S09、对获取的经识别后的图像数据进行归类存储：针对反馈的数据进行再归类，得到完整的消费者的行为及接触的数据并存储于存储服务器中；

S10、对AI图像识别模型进行调优：根据所述AI图像识别模块有召回率和正确率的问题，不断追加样本和测试对AI图像识别模型进行调优。

Images