CN111651499A - 一种基于大数据技术和数学算法的学习行为分计算方法 - Google Patents
一种基于大数据技术和数学算法的学习行为分计算方法 Download PDFInfo
- Publication number
- CN111651499A CN111651499A CN202010467410.2A CN202010467410A CN111651499A CN 111651499 A CN111651499 A CN 111651499A CN 202010467410 A CN202010467410 A CN 202010467410A CN 111651499 A CN111651499 A CN 111651499A
- Authority
- CN
- China
- Prior art keywords
- learning
- user
- duration
- accumulated
- reasonable
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 32
- 230000006399 behavior Effects 0.000 title claims abstract description 23
- 230000003993 interaction Effects 0.000 claims abstract description 11
- 206010028980 Neoplasm Diseases 0.000 claims abstract description 4
- 201000011510 cancer Diseases 0.000 claims abstract description 4
- 230000003203 everyday effect Effects 0.000 claims abstract description 4
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001680 brushing effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
- G06F16/275—Synchronous replication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Probability & Statistics with Applications (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Computing Systems (AREA)
- Economics (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本发明公开了一种基于大数据技术和数学算法的学习行为分计算方法，包括以下方法步骤：记录用户每天每个课程的学习观看视频行为数据及问答互动操作数据；利用Canal+Kafka将记录的数据实时同步到Hbase数据库；利用HADOOP离线计算(HIVE+HBASE+MR)；利用SQOOP将计算结果导出到关系型数据库。有益效果：培养和改善用户的学习习惯，合理的安排学习时长；减少用户可见的违规内容，净化问答环境，最终达到提升问答活跃度的结果；对应问答智能评分需求，鼓励问答产生更多的有效内容。
Description
技术领域
本发明涉及大数据算法领域，具体来说，涉及一种基于大数据技术和数学算法的学习行为分计算方法。
背景技术
目前市场上利用大数据技术对用户的行为进行分析的应用很多，做用户行为分析的基础是获得用户行为数据，例如用户页面停留时间、跳转来源等等。这些信息有些能直接拿到，有些是需要做一些计算才能拿到的。一般来说用户访问时的一些信息都是以日志的形式记录到NoSQL系统中去，这其中包含了最通用的一些访问信息以及一些自定义的日志埋点。通常这些数据都是零散的，需要从业务需求层面将所有行为数据串联起来，通过一定的计算，加工，清洗获得最终需要的数据。
针对相关技术中的问题，目前尚未提出有效的解决方案。
发明内容
本发明的目的在于提供一种基于大数据技术和数学算法的学习行为分计算方法，通过科学的计算行为分，培养和改善用户的学习习惯，合理的安排学习时长，通过合理的规则减少人为的刷课行为，鼓励学生进行更有价值的学习行为，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种基于大数据技术和数学算法的学习行为分计算方法，包括以下方法步骤：
(1)、记录用户每天每个课程的学习观看视频行为数据及问答互动操作数据；
(2)、利用Canal+Kafka将记录的数据实时同步到Hbase数据库；
(3)、利用HADOOP离线计算(HIVE+HBASE+MR)；
(4)、利用SQOOP将计算结果导出到关系型数据库。
进一步的，习惯分计算规则如下：
(1)将记录下来的同一课程章节同一用户学习观看时长累加与该视频时长作对比，当观看时长大于视频时长，取视频时长再减去上一次已观看时长作为本次计算有效观看时长；
(2)当有效时长大于等于合理学习时长时视为合理学习一次；
(3)合理学习总次数＝课程学习总时长*0.6/25；
(4)根据合理学习次数与合理学习总次数对比计算出相应的学习习惯分。
进一步的，互动分计算规则如下：
(1)将用户在课程下发的贴子数累计；用户回复的帖子数累计；用户发的帖子被回复数累计；用户发的帖子被老师回复数累计；用户发的帖子被点赞数累计；用户回复的帖子被老师点赞数累计；用户回复的帖子被老师评论数累计；
(2)将各项累计指标*相应的分数值；
(3)将分数值累加为总得分值。
与现有技术相比，本发明具有以下有益效果：
(1)、培养和改善用户的学习习惯，合理的安排学习时长；
(2)、减少用户可见的违规内容，净化问答环境，最终达到提升问答活跃度的结果；
(3)、对应问答智能评分需求，鼓励问答产生更多的有效内容。
具体实施方式
下面，结合具体实施方式，对发明做出进一步的描述：
根据本发明实施例的一种基于大数据技术和数学算法的学习行为分计算方法，包括以下方法步骤：
(1)、记录用户每天每个课程的学习观看视频行为数据及问答互动操作数据；
(2)、利用Canal+Kafka将记录的数据实时同步到Hbase数据库；
(3)、利用HADOOP离线计算(HIVE+HBASE+MR)；
(4)、利用SQOOP将计算结果导出到关系型数据库。
通过本发明的上述方案，习惯分计算规则如下：
(1)将记录下来的同一课程章节同一用户学习观看时长累加与该视频时长作对比，当观看时长大于视频时长，取视频时长再减去上一次已观看时长作为本次计算有效观看时长；
(2)当有效时长大于等于合理学习时长时视为合理学习一次；
(3)合理学习总次数＝课程学习总时长*0.6/25；
(4)根据合理学习次数与合理学习总次数对比计算出相应的学习习惯分。
学习习惯分＝(完成频次/合理频次)*权重分，其中：
权重分＝学习行为分*50％(即如果学习行为分10分，则习惯分和互动分各占5分)。
完成频次/合理频次这个比例，计算出后四舍五入保留两位小数。学习习惯分计算出来后只舍不入保留一位小数(避免出现应该学12次才能拿满分数，但是学到11次的时候，四舍五入分就拿满分数的情况出现)。
完成频次为学生按照计划完成学习的次数，具体来说就是：用户某一天学习时长达到合理学习时长则完成频次加1；学习时长指学生通过PC、APP观看学分课教程视频的时长，app里通过闯关模式和正常模式看视频都得统计进学习时长；每日学习时长的统计从每天00:00开始，至当日23:59结束；重复观看视频依旧统计学习时长；由于学习进度每隔段时间才会提交，因此为了弥补这部分误差，故学生的每日学习时长加2分钟后向上取整(01/29)。
合理频次＝2*学分+8(1学分就是10次，2学分就是12次，3学分就是14次，以此类推)；如果学分大于5,则统一按照5计算(比如一门课10学分，依旧按照5计算频次为18)。
合理学习时长＝0.6*课程实际视频总时长/合理频次，再对计算出来的时长进行处埋，T＝quot ient(t,5)*5,使合理时长以0或5结尾(比如说计算出来时长为17，则经过处理后合理时长变为15)；如果合理学习时长计算出来超过40分钟，则统一按照40分钟算(个别课程时长太长)；如果合理学习时长计算出来小于10分钟的，则统一按照10分钟计算；不考虑替换视频等特殊情况，合理学习时长一旦确定，直至学习结束不再变化(以该招生学习开始时问时的视频总时长计算)；自选章节的课程按照部分引用之后的学分和视频总时长计算合理频次以及合理学习时长(以配置完成时的数据计算，之后不再变化)。
通过本发明的上述方案，互动分计算规则如下：
(1)将用户在课程下发的贴子数累计；用户回复的帖子数累计；用户发的帖子被回复数累计；用户发的帖子被老师回复数累计；用户发的帖子被点赞数累计；用户回复的帖子被老师点赞数累计；用户回复的帖子被老师评论数累计；
(2)将各项累计指标*相应的分数值；
(3)将分数值累加为总得分值。
用该课程下问答区内所有帖子的贡献值计算互动分，贡献值来源：
1、回答获得老师的赞+10；若老师取消点赞，则把加的分去掉；老师中要排除掉教学运行保障身份的账号，运行不算在内。
2、获得老师的回答+3；若老师删除回答，则把加的分去掉；老师中要排除掉教学运行保障身份的账号，运行不算在内。
3、回答获得赞+2；若取消赞则把加的分去掉。
4、提的问题被标记为有效提问时+1。
5、回答被标记为有效回答时，本人+1，回答的提问题的人+0.5(每个提问最多获得10)。
其中:
若老师或者审核人员删除了有效提问，则扣除提问人获得的分数，该提问下所有回答、点赞获得的分数也一井扣除；
若老师或者审核人员删除了有效回答，则扣除回答人获得的分数，其获得的点赞的分数也一并扣除，有效可以改判为无效，相应的分数需要扣除掉。
互动分换算：对有贡献值的人按照大小进行百分等级的划分，得出个体的贡献度等级：
1.贡献值小于等于0的，不计入总体样本中；
2、按照百分等级给出相应的分数。等级是动态变化的，一段时间不参与问答互动，活跃度降低，等级有可能会下降，激励学生持续参与问答互动，逆水行舟，不进则退；
3、互动得分＝PR*权重分，只入不舍，比如4.1分也算5分(避免出现很多学生参与了问答却因为排名靠后一分都得不到而降低积极性)。
表1确定原始分数的百分数等级PR的计算示例
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限定本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (3)
1.一种基于大数据技术和数学算法的学习行为分计算方法，其特征在于，包括以下方法步骤：
(1)、记录用户每天每个课程的学习观看视频行为数据及问答互动操作数据；
(2)、利用Canal+Kafka将记录的数据实时同步到Hbase数据库；
(3)、利用HADOOP离线计算(HIVE+HBASE+MR)；
(4)、利用SQOOP将计算结果导出到关系型数据库。
2.根据权利要求1所述的一种基于大数据技术和数学算法的学习行为分计算方法，其特征在于，习惯分计算规则如下：
(1)将记录下来的同一课程章节同一用户学习观看时长累加与该视频时长作对比，当观看时长大于视频时长，取视频时长再减去上一次已观看时长作为本次计算有效观看时长；
(2)当有效时长大于等于合理学习时长时视为合理学习一次；
(3)合理学习总次数＝课程学习总时长*0.6/25；
(4)根据合理学习次数与合理学习总次数对比计算出相应的学习习惯分。
3.根据权利要求1所述的一种基于大数据技术和数学算法的学习行为分计算方法，其特征在于，互动分计算规则如下：
(1)将用户在课程下发的贴子数累计；用户回复的帖子数累计；用户发的帖子被回复数累计；用户发的帖子被老师回复数累计；用户发的帖子被点赞数累计；用户回复的帖子被老师点赞数累计；用户回复的帖子被老师评论数累计；
(2)将各项累计指标*相应的分数值；
(3)将分数值累加为总得分值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010467410.2A CN111651499A (zh) | 2020-05-28 | 2020-05-28 | 一种基于大数据技术和数学算法的学习行为分计算方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010467410.2A CN111651499A (zh) | 2020-05-28 | 2020-05-28 | 一种基于大数据技术和数学算法的学习行为分计算方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111651499A true CN111651499A (zh) | 2020-09-11 |
Family
ID=72346935
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010467410.2A Pending CN111651499A (zh) | 2020-05-28 | 2020-05-28 | 一种基于大数据技术和数学算法的学习行为分计算方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111651499A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170116388A1 (en) * | 2015-10-26 | 2017-04-27 | Greg Robinson | Lifestyle and phenotype database and analytics platform |
| CN107463620A (zh) * | 2017-07-05 | 2017-12-12 | 洛川闰土农牧科技有限责任公司 | 一种基于数据挖掘的电梯事故预警预报系统 |
| CN110782375A (zh) * | 2019-09-05 | 2020-02-11 | 华南师范大学 | 基于数据的在线学习全过程动态分析方法及系统 |
| CN110852925A (zh) * | 2019-11-20 | 2020-02-28 | 中国联合网络通信集团有限公司 | 异常学习检测方法、装置、设备和存储介质 |
| CN111126873A (zh) * | 2019-12-30 | 2020-05-08 | 盾构及掘进技术国家重点实验室 | 一种基于Hadoop集群架构的盾构TBM大数据平台系统及建设方法 |
-
2020
- 2020-05-28 CN CN202010467410.2A patent/CN111651499A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170116388A1 (en) * | 2015-10-26 | 2017-04-27 | Greg Robinson | Lifestyle and phenotype database and analytics platform |
| CN107463620A (zh) * | 2017-07-05 | 2017-12-12 | 洛川闰土农牧科技有限责任公司 | 一种基于数据挖掘的电梯事故预警预报系统 |
| CN110782375A (zh) * | 2019-09-05 | 2020-02-11 | 华南师范大学 | 基于数据的在线学习全过程动态分析方法及系统 |
| CN110852925A (zh) * | 2019-11-20 | 2020-02-28 | 中国联合网络通信集团有限公司 | 异常学习检测方法、装置、设备和存储介质 |
| CN111126873A (zh) * | 2019-12-30 | 2020-05-08 | 盾构及掘进技术国家重点实验室 | 一种基于Hadoop集群架构的盾构TBM大数据平台系统及建设方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Bailey | Reasons for attrition from occupational therapy | |
| Chilman | Growing Up Poor: An Over-view and Analysis of Child-rearing and Family Life Patterns Associated with Poverty... | |
| Bekhradnia et al. | The academic experience of students in English universities | |
| McKinley et al. | Characteristics and experiences related to the leadership skills of agriculture students in college | |
| Atkinson et al. | A four-component model for proactive accountability in school counseling | |
| Sevilla et al. | Parental time investments in children: The role of competition for university places in the UK | |
| Alodat et al. | Issues of children with disabilities as reflected in the Jordanian media from their parents’ perception: A SWOT analysis | |
| CN111651499A (zh) | 一种基于大数据技术和数学算法的学习行为分计算方法 | |
| Ruehlman | Depression and affective meaning for current concerns | |
| Ying | Strategy analysis of psychological quality education in the environment of big data | |
| Rankin et al. | Aging in the'80s | |
| Dedmon | Successful social work educators engaged in practice | |
| Balmeo | Stressors in The Workplace: A Baseline Study for Continuous Improvement of School-Based Management Policies In Schools Division of Zambales | |
| Stevenson | Research and policy in the personal social services | |
| Miller et al. | Trends in community mental health programming | |
| Sevilla Sanz et al. | Parental time investments in children: The role of competition for university places in the UK | |
| Szabo | THE RELATIONSHIP OF INTELLECTIVE, PERSONALITY, AND BIOGRAPHICAL VARIABLESTO SUCCESS AND ITS PREDICTION IN AN INDEPENDENT STUDY SCIENCE COURSE AT THE COLLEGE LEVEL | |
| Burke | Distance education: Reducing barriers | |
| Foster | Ethical Considerations for Randomized Controlled Trials with Low-Income Students | |
| Eckerle | " INTERACT," A FAMILY ORIENTATED COMMUNITY BASED JUVENILE DELINQUENCY INTERVENTION PROGRAM. | |
| Bushery et al. | How interview mode affects data reliability | |
| Schwartz | Tying it all together: Research, concepts, and fiction in an introductory psychology course | |
| Cid et al. | Giving a second chance: an after-school program in a shanty town interacted with parent type | |
| Strydom, LM & Strydom | Emotional and behavioural problems in children-parent training and the ratonalization of resources | |
| Jack | A survey analysis of the clientele of an adult basic education program for welfare recipients |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: Room 901, 902, 903, 904, building 1, 1188 Qinzhou North Road, Xuhui District, Shanghai Applicant after: Shanghai Zhuoyue Ruixin Digital Technology Co.,Ltd. Address before: Room 901, 902, 903, 904, building 1, 1188 Qinzhou North Road, Xuhui District, Shanghai Applicant before: SHANGHAI ABLE DIGITAL & TECH Co.,Ltd. |
|
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200911 |