CN116309538A - 绘图考试评定方法、装置、计算机设备及存储介质 - Google Patents
绘图考试评定方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN116309538A CN116309538A CN202310449183.4A CN202310449183A CN116309538A CN 116309538 A CN116309538 A CN 116309538A CN 202310449183 A CN202310449183 A CN 202310449183A CN 116309538 A CN116309538 A CN 116309538A
- Authority
- CN
- China
- Prior art keywords
- image
- images
- frames
- correction
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 39
- 238000012937 correction Methods 0.000 claims abstract description 164
- 238000000034 method Methods 0.000 claims abstract description 73
- 239000011159 matrix material Substances 0.000 claims description 43
- 238000012549 training Methods 0.000 claims description 34
- 238000012360 testing method Methods 0.000 claims description 28
- 238000013138 pruning Methods 0.000 claims description 24
- 239000013598 vector Substances 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 5
- 238000000354 decomposition reaction Methods 0.000 claims description 5
- 238000010191 image analysis Methods 0.000 claims description 3
- 230000036651 mood Effects 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 8
- 230000036544 posture Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000006854 communication Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000007175 bidirectional communication Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000010422 painting Methods 0.000 description 2
- 244000141353 Prunus domestica Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3185—Geometric adjustment, e.g. keystone or convergence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种绘图考试评定方法、装置、计算机设备及存储介质,包括:获取用户在绘图考试过程中的绘图视频及参考绘图图像;对绘图视频进行畸变校正,得到多帧第一校正图像;对多帧第一校正图像进行解析,得到用户的实际绘图逻辑、实际绘图图像及绘图时间;基于实际绘图逻辑、参考绘图图像、实际绘图图像及绘图时间,确定用户在绘图考试过程中的绘图得分;从多帧第一校正图像中确定多帧待显示图像,并对多帧待显示图像进行梯形校正,得到多帧第二校正图像;将多帧第二校正图像及绘图得分传输至投影设备。本申请可以避免绘图考试结果受考评老师欣赏水平的差异和心情的影响,提升绘图考试评定的公平公正性。
Description
技术领域
本申请涉及计算机技术领域,具体涉及一种绘图考试评定方法、装置、计算机设备及存储介质。
背景技术
在绘图相关的课程中,通常需要组织学员进行绘图考试,并在绘图考试结束后预测学员的考试得分,以通过考试得分确定学员的绘图能力。现有学员的考试得分通常是由考评老师基于学员的绘图图像进行主观打分,此种打分方式易受考评老师欣赏水平的差异和心情的影响。
发明内容
本申请实施例提供一种绘图考试评定方法、装置、计算机设备及存储介质,可以避免绘图考试结果受考评老师欣赏水平的差异和心情的影响,提升绘图考试评定的公平公正性。
一方面,本申请提供一种绘图考试评定方法,包括:
获取用户在绘图考试过程中的绘图视频及参考绘图图像;
对绘图视频进行畸变校正,得到多帧第一校正图像;
对多帧第一校正图像进行解析,得到用户的实际绘图逻辑、实际绘图图像及绘图时间;
基于实际绘图逻辑、参考绘图图像、实际绘图图像及绘图时间,确定用户在绘图考试过程中的绘图得分;
从多帧第一校正图像中确定多帧待显示图像,并对多帧待显示图像进行梯形校正,得到多帧第二校正图像;
将多帧第二校正图像及绘图得分传输至投影设备,以通过投影设备对多帧第二校正图像及绘图得分进行显示。
在本申请一些实施方案中,基于实际绘图逻辑、参考绘图图像、实际绘图图像及绘图时间,确定用户在绘图考试过程中的绘图得分,包括:
将参考绘图图像输入预先训练的绘图逻辑识别模型,通过绘图逻辑识别模型输出参考绘图图像的参考绘图逻辑;
基于实际绘图逻辑及参考绘图逻辑,确定用户的第一得分;
基于参考绘图图像、实际绘图图像及绘图时间,确定用户的第二得分;
基于第一得分和第二得分,确定用户在绘图考试过程中的绘图得分。
在本申请一些实施方案中,对多帧待显示图像进行梯形校正,得到多帧第二校正图像,包括:
获取投影设备的投影图像;
将投影图像输入预先训练的姿态估计模型,通过姿态估计模型输出投影设备的姿态参数;
基于姿态参数对待显示图像进行梯形校正,得到多帧第二校正图像。
在本申请一些实施方案中,对绘图视频进行畸变校正,得到多帧第一校正图像,包括:
对绘图视频进行解码,得到多帧绘图图像;
将多帧绘图图像输入预先训练的畸变校正模型,通过畸变校正模型输出多帧第一校正图像。
在本申请一些实施方案中,绘图视频通过摄像头获取,将多帧绘图图像输入预先训练的畸变校正模型,通过畸变校正模型输出多帧第一校正图像之前,包括:
获取多帧第一图像及摄像头的内参矩阵和畸变向量;
基于内参矩阵和畸变向量对多帧第一图像进行转换,得到多帧第二图像,多帧第二图像与多帧第一图像分别对应,每帧第二图像的分辨率低于每帧第二图像对应的第一图像的分辨率;
基于多帧第一图像和多帧第二图像对预设网络模型进行训练,得到第一网络模型,预设网络模型包括生成器网络模型;
从第一网络模型中剥离出生成器网络模型,并对生成器网络模型进行修剪,以得到畸变校正模型。
在本申请一些实施方案中,对生成器网络模型进行修剪,包括:
对生成器网络模型进行修剪,并基于多帧第一图像和多帧第二图像对修剪后的生成器网络模型进行训练;
当修剪后的生成器网络模型的训练情况满足预设第一条件时,获取每帧第二图像的第三图像和第四图像,第三图像为修剪后的生成器网络模型对每帧第二图像的预测图像,第四图像为未修剪的生成器网络模型对每帧第二图像的预测图像;
基于第三图像和第四图像,确定修剪后的生成器网络模型的预测准确度偏差;
当预测准确度偏差不大于预设的偏差阈值时,继续执行对生成器网络模型进行修剪,并基于多帧第一图像和多帧第二图像对修剪后的生成器网络模型进行训练的步骤,直至预测准确度偏差大于偏差阈值;
将上一次修剪后的生成器网络模型,确定为畸变校正模型。
在本申请一些实施方案中,基于内参矩阵和畸变向量对多帧第一图像进行转换,得到多帧第二图像,包括:
基于内参矩阵和畸变向量,确定校正后的内参矩阵;
对校正后的内参矩阵进行奇异值分解,得到校正后内参矩阵的逆矩阵;
基于逆矩阵对每帧第一图像中像素点的二维坐标进行转换,得到每帧第一图像中像素点的三维坐标;
基于三维坐标,确定转换后的二维坐标;
基于转换后的二维坐标,确定多帧第二图像。
另一方面,本申请提供一种绘图考试评定装置,包括:
数据获取单元,用于获取用户在绘图考试过程中的绘图视频及参考绘图图像;
畸变校正单元,用于对绘图视频进行畸变校正,得到多帧第一校正图像;
图像解析单元,用于对多帧第一校正图像进行解析,得到用户的实际绘图逻辑、实际绘图图像及绘图时间;
得分确定单元,用于基于实际绘图逻辑、参考绘图图像、实际绘图图像及绘图时间,确定用户在绘图考试过程中的绘图得分;
梯形校正单元,用于从多帧第一校正图像中确定多帧待显示图像,并对多帧待显示图像进行梯形校正,得到多帧第二校正图像;
数据显示单元,用于将多帧第二校正图像及绘图得分传输至投影设备,以通过投影设备对多帧第二校正图像及绘图得分进行显示。
另一方面,本申请还提供一种计算机设备,计算机设备包括:
一个或多个处理器;
存储器;以及
一个或多个应用程序,其中一个或多个应用程序被存储于存储器中,并配置为由处理器执行以实现第一方面中任一项的绘图考试评定方法中的步骤。
第四方面,本申请还提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器进行加载,以执行第一方面任一项的绘图考试评定方法中的步骤。
本申请对绘图视频进行畸变校正,再对畸变校正得到的多帧第一校正图像进行解析,并基于解析得到的实际绘图逻辑、实际绘图图像及绘图时间确定用户在绘图考试过程中的绘图得分,可以避免绘图考试结果受考评老师欣赏水平的差异和心情的影响,提升绘图考试评定的公平公正性;对多帧待显示图像进行梯形校正,再将梯形校正后得到的多帧第二校正图像及绘图得分传输至投影设备,用户通过投影设备可以查看自己的绘图考试过程及绘图得分,进一步提升绘图考试评定的公平公正性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的绘图考试评定系统的场景示意图;
图2是本申请实施例中提供的绘图考试评定方法的一个实施例流程示意图;
图3是本申请实施例中提供的绘图考试评定装置的一个实施例结构示意图;
图4是本申请实施例中提供的计算机设备的一个实施例结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本申请的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本申请和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。此外,术语“第一”、“第二”、“第三”、“第四”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”、“第三”、“第四”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本申请中,“示例性”一词用来表示“用作例子、例证或说明”。本申请中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本申请,给出了以下描述。在以下描述中,为了解释的目的而列出了细节。应当明白的是,本领域普通技术人员可以认识到,在不使用这些特定细节的情况下也可以实现本申请。在其它实例中,不会对公知的结构和过程进行详细阐述,以避免不必要的细节使本申请的描述变得晦涩。因此,本申请并非旨在限于所示的实施例,而是与符合本申请所公开的原理和特征的最广范围相一致。
需要说明的是,本申请实施例方法由于是在计算机设备中执行,各计算机设备的处理对象均以数据或信息的形式存在,例如时间,实质为时间信息,可以理解的是,后续实施例中若提及尺寸、数量、位置等,均为对应的数据存在,以便计算机设备进行处理,具体此处不作赘述。
本申请实施例提供一种绘图考试评定方法、装置、计算机设备及存储介质,以下分别进行详细说明。
请参阅图1,图1为本申请实施例所提供的绘图考试评定系统的场景示意图,该绘图考试评定系统可以包括计算机设备100,计算机设备100中集成有绘图考试评定装置,如图1中的计算机设备。
本申请实施例中计算机设备100主要用于获取用户在绘图考试过程中的绘图视频及参考绘图图像;对绘图视频进行畸变校正,得到多帧第一校正图像;对多帧第一校正图像进行解析,得到用户的实际绘图逻辑、实际绘图图像及绘图时间;基于实际绘图逻辑、参考绘图图像、实际绘图图像及绘图时间,确定用户在绘图考试过程中的绘图得分;从多帧第一校正图像中确定多帧待显示图像,并对多帧待显示图像进行梯形校正,得到多帧第二校正图像;将多帧第二校正图像及绘图得分传输至投影设备,以通过投影设备对多帧第二校正图像及绘图得分进行显示,可以避免绘图考试结果受考评老师欣赏水平的差异和心情的影响,提升绘图考试评定的公平公正性。
本申请实施例中,该计算机设备100可以是独立的服务器,也可以是服务器组成的服务器网络或服务器集群,例如,本申请实施例中所描述的计算机设备100,其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云服务器。其中,云服务器由基于云计算(Cloud Computing)的大量计算机或网络服务器构成。
可以理解的是,本申请实施例中所使用的计算机设备100可以是既包括接收和发射硬件的设备,即具有能够在双向通信链路上,执行双向通信的接收和发射硬件的设备。这种设备可以包括:蜂窝或其他通信设备,其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备。具体的计算机设备100具体可以是台式终端或移动终端,计算机设备100具体还可以是手机、平板电脑、笔记本电脑等中的一种。
本领域技术人员可以理解,图1中示出的应用环境,仅仅是与本申请方案一种应用场景,并不构成对本申请方案应用场景的限定,其他的应用环境还可以包括比图1中所示更多或更少的计算机设备,例如图1中仅示出1个计算机设备,可以理解的,该绘图考试评定系统还可以包括一个或多个其他服务,具体此处不作限定。
另外,如图1所示,该绘图考试评定系统还可以包括存储器200,用于存储数据,如参考绘图图像,实际绘图图像等,如摄像头的参数,例如内参矩阵,畸变向量等。
需要说明的是,图1所示的绘图考试评定系统的场景示意图仅仅是一个示例,本申请实施例描述的绘图考试评定系统以及场景是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定,本领域普通技术人员可知,随着绘图考试评定系统的演变和新业务场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
首先,本申请实施例中提供一种绘图考试评定方法,该绘图考试评定方法的执行主体为绘图考试评定装置,该绘图考试评定装置应用于计算机设备,该绘图考试评定方法包括:获取用户在绘图考试过程中的绘图视频及参考绘图图像;对绘图视频进行畸变校正,得到多帧第一校正图像;对多帧第一校正图像进行解析,得到用户的实际绘图逻辑、实际绘图图像及绘图时间;基于实际绘图逻辑、参考绘图图像、实际绘图图像及绘图时间,确定用户在绘图考试过程中的绘图得分;从多帧第一校正图像中确定多帧待显示图像,并对多帧待显示图像进行梯形校正,得到多帧第二校正图像;将多帧第二校正图像及绘图得分传输至投影设备,以通过投影设备对多帧第二校正图像及绘图得分进行显示。
如图2所示,为本申请实施例中绘图考试评定方法的一个实施例流程示意图,该绘图考试评定方法包括:
S100、获取用户在绘图考试过程中的绘图视频及参考绘图图像。
绘图视频为通过摄像头采集的用户在整个绘图考试过程中的视频,绘图视频可以通过电子设备(例如,智能手机)的摄像头获取,也可以通过网络、蓝牙以及红外等途径获取其他电子设备的摄像头采集的视频。参考绘图图像为考评老师提供给用户的需要绘制的绘图图像,例如,绘图考试要求用户临摹一幅山水画,则参考绘图图像为该山水画。
S200、对绘图视频进行畸变校正,得到多帧第一校正图像。
通过电子设备的摄像头获取的绘图视频中的多帧绘图图像通常存在一定的图像畸变,在直接观看或进行下游任务之前,往往需要对图像进行畸变校正。多帧第一校正图像为对绘图视频中的多帧绘图图像进行畸变校正,得到的校正后的图像。
以摄像头为鱼眼摄像头为例,由于鱼眼摄像头成像原理的特点,鱼眼摄像头拍摄的鱼眼图像会存在很大的图像畸变,在直接观看或进行下游任务之前,往往需要对鱼眼图像进行畸变校正。
S300、对多帧第一校正图像进行解析,得到用户的实际绘图逻辑、实际绘图图像及绘图时间。
实际绘图逻辑为用户绘图考试过程中的绘图逻辑,例如,绘图逻辑为先画底层,再画中层,最后画顶层。实际绘图逻辑为用户基于参考绘图图像实际绘制图形的图像,绘图时间为用户完成整个绘图过程所需的时间。
由于多帧第一校正图像中包含用户的整个绘图过程,基于多帧第一校正图像即可确定用户的实际绘图逻辑、实际绘图图像及绘图时间。例如,基于多帧第一校正图像确定用户绘图考试过程中先绘制中层,再绘制顶层,最后绘制底层,则可确定实际绘图逻辑为先绘制中层,再绘制顶层,最后绘制底层;又如,基于多帧第一校正图像确定用户开始绘图的时间为下午两点,结束绘图时间为下午四点,则用户的绘图时间为2h。
多帧第一校正图像为对绘图视频进行畸变校正得到的图像,对多帧第一校正图像进行解析相对于对绘图视频中的绘图图像进行解析,可以提高解析结果的准确性。
S400、基于实际绘图逻辑、参考绘图图像、实际绘图图像及绘图时间,确定用户在绘图考试过程中的绘图得分。
绘图得分为基于实际绘图逻辑、参考绘图图像、实际绘图图像及绘图时间确定的用户在绘图考试过程中的综合得分。本实施例得到用户的实际绘图逻辑、实际绘图图像及绘图时间后,基于实际绘图逻辑、参考绘图图像、实际绘图图像及绘图时间,确定用户在绘图考试过程中的绘图得分。
S500、从多帧第一校正图像中确定多帧待显示图像,并对多帧待显示图像进行梯形校正,得到多帧第二校正图像。
多帧待显示图像为多帧第一校正图像中可以体现用户的实际绘图逻辑的图像,在确定用户在绘图考试过程中的绘图得分后,从多帧第一校正图像中确定多帧待显示图像,并对多帧待显示图像进行梯形校正,得到多帧第二校正图像。
S600、将多帧第二校正图像及绘图得分传输至投影设备,以通过投影设备对多帧第二校正图像及绘图得分进行显示。
对多帧待显示图像进行梯形校正后,将梯形校正后得到的多帧第二校正图像及绘图得分传输至投影设备,以通过投影设备对多帧第二校正图像和绘图得分进行显示,用户通过投影设备即可查看自己的绘图考试过程及绘图得分,从而提升绘图考试评定的公平公正性。
在一具体实施方式中,步骤S200中对绘图视频进行畸变校正,得到多帧第一校正图像,具体可以包括:
S210、对绘图视频进行解码,得到多帧绘图图像;
S220、将多帧绘图图像输入预先训练的畸变校正模型,通过畸变校正模型输出多帧第一校正图像。
畸变校正模型为预先训练的用于对图像进行畸变校正的模型。本实施例对绘图视频进行畸变校正时,具体是对绘图视频进行解码,得到多帧绘图图像,然后将多帧绘图图像输入预先训练的畸变校正模型,通过畸变校正模型对多帧绘图图像进行畸变校正,得到多帧第一校正图像。本实施例基于畸变校正模型对多帧绘图图像进行畸变校正,可以充分利用绘图图像的全部信息,实现全图的畸变校正。
在一具体实施方式中,绘图视频通过摄像头获取,步骤S220中将多帧绘图图像输入预先训练的畸变校正模型,通过畸变校正模型输出多帧第一校正图像之前,具体可以包括:
S230、获取多帧第一图像及摄像头的内参矩阵和畸变向量;
S240、基于内参矩阵和畸变向量对多帧第一图像进行转换,得到多帧第二图像,多帧第二图像与多帧第一图像分别对应,每帧第二图像的分辨率低于每帧第二图像对应的第一图像的分辨率;
S250、基于多帧第一图像和多帧第二图像对预设网络模型进行训练,得到第一网络模型,预设网络模型包括生成器网络模型;
S260、从第一网络模型中剥离出生成器网络模型,并对生成器网络模型进行修剪,以得到畸变校正模型。
多帧第一图像为预先准备的无畸变的高分辨率图像,多帧第二图像为基于内参矩阵和畸变向量对多帧第一图像进行转换,得到的有畸变的图像。也就是说,多帧第二图像与多帧第一图像分别对应,且每帧第二图像的分辨率低于每帧第二图像对应的第一图像的分辨率。
第一网络模型包括生成器网络模型,畸变校正模型为精简后的生成器网络模型。从第一网络模型中剥离生成器网络模型时,可以单独构建一个生成器网络模型,并加载第一网络模型中生成器网络模型的权重,从而实现生成器网络模型的剥离。
由于畸变校正模型是对生成器网络模型进行修剪后得到的网络模型,该畸变校正模型为轻量化网络模型,可以手机、USB摄像头等终端设备上实现独立、实时的运行。
在一具体实施方式中,步骤S240中基于内参矩阵和畸变向量对多帧第一图像进行转换,得到多帧第二图像,具体可以包括:
S241、基于内参矩阵和畸变向量,确定校正后的内参矩阵;
S242、对校正后的内参矩阵进行奇异值分解,得到校正后内参矩阵的逆矩阵;
S243、基于逆矩阵对每帧第一图像中像素点的二维坐标进行转换,得到每帧第一图像中像素点的三维坐标;
S244、基于三维坐标,确定转换后的二维坐标;
S245、基于转换后的二维坐标,确定多帧第二图像。
校正后的内参矩阵的计算公式为,对校正后的内参矩阵进行奇异值分解的过程可表示为/>,基于逆矩阵对二维坐标进行转换的过程可表示为,其中,/>表示校正后的内参矩阵,/>表示内参矩阵,/>表示畸变向量,/>表示逆矩阵,/>表示像素点的二维坐标,/>表示像素点的三维坐标。
在一具体实现方式中,摄像头为鱼眼摄像头,基于三维坐标确定转换后的二维坐标具体可以包括:基于三维坐标,确定鱼眼摄像头的鱼眼半球的截面半径;基于截面半径,确定入射角度;基于畸变向量对入射角度进行校正,并基于校正后的入射角度对三维坐标进行校正;对校正后的三维坐标进行转换,得到转换后的二维坐标。
其中,基于三维坐标确定鱼眼摄像头的鱼眼半球的截面半径具体可以包括:对三维坐标在z轴方向进行归一化,得到归一化坐标,然后基于归一化坐标计算鱼眼半球的截面半径。三维坐标在z轴方向进行归一化的过程可表示为,/>,截面半径的计算公式为:/>,/>表示像素点的三维坐标,/>和/>表示归一化坐标,/>表示截面半径。
在一具体实施方式中,步骤S260中对生成器网络模型进行修剪,具体可以包括:
S261、对生成器网络模型进行修剪,并基于多帧第一图像和多帧第二图像对修剪后的生成器网络模型进行训练;
S262、当修剪后的生成器网络模型的训练情况满足预设第一条件时,获取每帧第二图像的第三图像和第四图像,第三图像为修剪后的生成器网络模型对每帧第二图像的预测图像,第四图像为未修剪的生成器网络模型对每帧第二图像的预测图像;
S263、基于第三图像和第四图像,确定修剪后的生成器网络模型的预测准确度偏差;
S264、当预测准确度偏差不大于预设的偏差阈值时,继续执行对生成器网络模型进行修剪,并基于多帧第一图像和多帧第二图像对修剪后的生成器网络模型进行训练的步骤,直至预测准确度偏差大于偏差阈值;
S265、将上一次修剪后的生成器网络模型,确定为畸变校正模型。
对生成器网络模型进行修剪时,可以以与生成器网络模型的最小功能单元有关的层数进行修剪,例如,类Resnet结构以ResBlock为单位进行修剪。
基于多帧第一图像和多帧第二图像对修剪后的生成器网络模型进行训练时,可以首先将多帧第二图像输入修剪后的生成器网络模型,通过修剪后的生成器网络模型输出多帧第三图像,并基于多帧第一图像、多帧第三图像及生成器网络模型的损失函数确定第一损失值。修剪后的生成器网络模型的训练情况满足预设第一条件即为第一损失值小于预设的第一阈值或前后两次得到的第一损失值的差值小于预设的第二阈值。
当修剪后的生成器网络模型的训练情况满足预设第一条件后,获取每帧第二图像的第三图像和第四图像,基于第三图像和第四图像确定修剪后的生成器网络模型的预测准确度偏差。其中,预测准确度偏差的计算公式为:,/>表示预测准确度偏差,/>表示第四图像/>的预测准确度,/>表示第三图像/>的预测准确度。
当预测准确度偏差不大于预设的偏差阈值时,继续执行对生成器网络模型进行修剪,并基于多帧第一图像和多帧第二图像对修剪后的生成器网络模型进行训练的步骤,直至预测准确度偏差大于偏差阈值,将上一次修剪后的生成器网络模型,确定为畸变校正模型。其中,判断预测准确度偏差是否大于偏差阈值的过程可表示为:,/>表示预测准确度偏差,/>表示偏差阈值,当/>时,终止对生成器网络模型的修剪和训练。
例如,对生成器网络模型进行第t次修剪,并基于多帧第一图像和多帧第二图像对第t次修剪后的生成器网络模型进行训练,当第t次修剪后的生成器网络模型的训练情况满足预设第一条件时,确定第t次修剪后的生成器网络模型的预测准确度偏差是否大于偏差阈值,当第t次修剪后的生成器网络模型的预测准确度偏差大于偏差阈值时,将第t-1次修剪后的生成器网络模型确定为畸变校正模型。本实施例基于未修剪的生成器网络模型的预测结果(即第四图像)对生成器网络模型进行修剪及训练,使修剪后的生成器网络模型在训练过程中能够学习到未修剪的生成器网络模型的泛化能力,防止修剪后的生成器网络模型过拟合。
在一具体实施方式中,预设网络模型还包括判别器网络模型,步骤S250中基于多帧第一图像和多帧第二图像对预设网络模型进行训练,得到第一网络模型,具体可以包括:
S251、将多帧第二图像输入生成器网络模型,通过生成器网络模型输出多帧第五图像;
S252、基于多帧第一图像和多帧第五图像对判别器网络模型进行训练;
S253、基于多帧第一图像和多帧第二图像对生成器网络模型进行训练;
S254、判断预设网络模型的训练情况是否满足预设第二条件,当预设网络模型的训练情况不满足第二条件时,继续执行将多帧第二图像输入生成器网络模型,通过生成器网络模型输出多帧第五图像的步骤,直至预设网络模型的训练情况满足第二条件,以得到第一网络模型。
预设网络模型除包括生成器网络模型外,还包括判别器网络模型,本实施例基于多帧第一图像和多帧第二图像对预设网络模型进行训练时,首先将多帧第二图像输入生成器网络模型,通过生成器网络模型输出多帧第五图像,然后基于多帧第一图像和多帧第五图像对判别器网络模型进行训练,使判别器网络模型能够很好的区分伪图像和真实图像,接着固定判别器网络模型,并基于多帧第一图像和多帧第二图像对生成器网络模型进行训练。
当判别器网络模型和生成器网络模型训练完成后,判断预设网络模型的训练情况是否满足预设第二条件,当预设网络模型的训练情况不满足预设第二条件时,继续执行将多帧第二图像输入生成器网络模型,通过生成器网络模型输出多帧第五图像的步骤,直至预设网络模型的训练情况满足第二条件,从而得到第一网络模型。
在一具体实施方式中,步骤S400中基于实际绘图逻辑、绘图信息、绘图图像及绘图时间,确定用户在绘图考试过程中的绘图得分,具体可以包括:
S410、将参考绘图图像输入预先训练的绘图逻辑识别模型,通过绘图逻辑识别模型输出参考绘图图像的参考绘图逻辑;
S420、基于实际绘图逻辑及参考绘图逻辑,确定用户的第一得分;
S430、基于参考绘图图像、实际绘图图像及绘图时间,确定用户的第二得分;
S440、基于第一得分和第二得分,确定用户在绘图考试过程中的绘图得分。
绘图逻辑识别模型为预先训练的用于对绘图图像的绘图逻辑进行识别的模型。参考绘图逻辑为将参考绘图图像输入绘图逻辑识别模型,由绘图逻辑识别模型识别到的参考绘图图像的参考绘图逻辑。
确定用户的第一得分时,可以将实际绘图逻辑和参考绘图逻辑输入预先训练的第一评分模型,通过第一评分模型输出用户的第一得分。第一评分模型可以基于实际绘图逻辑和参考绘图逻辑的相似程度进行评分,例如,参考绘图逻辑为先绘制底层,再绘制中层,最后绘制顶层,但实际绘图逻辑为先绘制中层,再绘制顶层,最后绘制底层,则输出一个较低的分数。
确定用户的第二得分时,可以将参考绘图图像、实际绘图图像及绘图时间输入预先训练的第二评分模型,通过第二评分模型输出用户的第二得分。第二评分模型可以基于参考绘图图像和实际绘图图像的相似程度及绘图时间进行评分,例如,参考绘图图像和实际绘图图像的相似程度越高且绘图时间越短,第二得分越高。
基于第一得分和第二得分确定绘图得分时,可以对第一得分和第二得分进行求和,或者对第一得分和第二得分进行加权求和,或者对第一得分和第二得分求和之后再平均等,本申请对此不作限定。
在一具体实施方式中,步骤S500中对多帧待显示图像进行梯形校正,得到多帧第二校正图像,具体可以包括:
S510、获取投影设备的投影图像;
S520、将投影图像输入预先训练的姿态估计模型,通过姿态估计模型输出投影设备的姿态参数;
S530、基于姿态参数对待显示图像进行梯形校正,得到多帧第二校正图像。
投影图像为对投影设备投影的参考图像进行拍照得到的图像,姿态估计模型用于基于投影图像对投影设备的姿态参数进行估计,姿态估计模型基于不同姿态下的投影画面及其对应的姿态参数训练得到。
为了更好实现本申请实施例中绘图考试评定方法,在绘图考试评定方法基础之上,本申请实施例中还提供一种绘图考试评定装置,如图3所示,绘图考试评定装置700包括:
数据获取单元701,用于获取用户在绘图考试过程中的绘图视频及参考绘图图像;
畸变校正单元702,用于对绘图视频进行畸变校正,得到多帧第一校正图像;
图像解析单元703,用于对多帧第一校正图像进行解析,得到用户的实际绘图逻辑、实际绘图图像及绘图时间;
得分确定单元704,用于基于实际绘图逻辑、参考绘图图像、实际绘图图像及绘图时间,确定用户在绘图考试过程中的绘图得分;
梯形校正单元705,用于从多帧第一校正图像中确定多帧待显示图像,并对多帧待显示图像进行梯形校正,得到多帧第二校正图像;
数据显示单元706,用于将多帧第二校正图像及绘图得分传输至投影设备,以通过投影设备对多帧第二校正图像及绘图得分进行显示。
在本申请一些实施例中,畸变校正单元702具体用于:
对绘图视频进行解码,得到多帧绘图图像;
将多帧绘图图像输入预先训练的畸变校正模型,通过畸变校正模型输出多帧第一校正图像。
在本申请一些实施例中,得分确定单元704具体用于:
将参考绘图图像输入预先训练的绘图逻辑识别模型,通过绘图逻辑识别模型输出参考绘图图像的参考绘图逻辑;
基于实际绘图逻辑及参考绘图逻辑,确定用户的第一得分;
基于参考绘图图像、实际绘图图像及绘图时间,确定用户的第二得分;
基于第一得分和第二得分,确定用户在绘图考试过程中的绘图得分。
在本申请一些实施例中,梯形校正单元705具体用于:
获取投影设备的投影图像;
将投影图像输入预先训练的姿态估计模型,通过姿态估计模型输出投影设备的姿态参数;
基于姿态参数对待显示图像进行梯形校正,得到多帧第二校正图像。
在本申请一些实施例中,绘图视频通过摄像头获取,绘图考试评定装置700还包括:
参数获取单元,用于获取多帧第一图像及摄像头的内参矩阵和畸变向量;
图像转换单元,用于基于内参矩阵和畸变向量对多帧第一图像进行转换,得到多帧第二图像,多帧第二图像与多帧第一图像分别对应,每帧第二图像的分辨率低于每帧第二图像对应的第一图像的分辨率;
模型训练单元,用于基于多帧第一图像和多帧第二图像对预设网络模型进行训练,得到第一网络模型,预设网络模型包括生成器网络模型;
模型生成单元,用于从第一网络模型中剥离出生成器网络模型,并对生成器网络模型进行修剪,以得到畸变校正模型。
在本申请一些实施例中,图像转换单元具体用于:
基于内参矩阵和畸变向量,确定校正后的内参矩阵;
对校正后的内参矩阵进行奇异值分解,得到校正后内参矩阵的逆矩阵;
基于逆矩阵对每帧第一图像中像素点的二维坐标进行转换,得到每帧第一图像中像素点的三维坐标;
基于三维坐标,确定转换后的二维坐标;
基于转换后的二维坐标,确定多帧第二图像。
在本申请一些实施例中,模型生成单元具体用于:
对生成器网络模型进行修剪,并基于多帧第一图像和多帧第二图像对修剪后的生成器网络模型进行训练;
当修剪后的生成器网络模型的训练情况满足预设第一条件时,获取每帧第二图像的第三图像和第四图像,第三图像为修剪后的生成器网络模型对每帧第二图像的预测图像,第四图像为未修剪的生成器网络模型对每帧第二图像的预测图像;
基于第三图像和第四图像,确定修剪后的生成器网络模型的预测准确度偏差;
当预测准确度偏差不大于预设的偏差阈值时,继续执行对生成器网络模型进行修剪,并基于多帧第一图像和多帧第二图像对修剪后的生成器网络模型进行训练的步骤,直至预测准确度偏差大于偏差阈值;
将上一次修剪后的生成器网络模型,确定为畸变校正模型。
本申请实施例还提供一种计算机设备,其集成了本申请实施例所提供的任一种绘图考试评定装置,计算机设备包括:
一个或多个处理器;
存储器;以及
一个或多个应用程序,其中一个或多个应用程序被存储于存储器中,并配置为由处理器执行上述绘图考试评定方法实施例中任一实施例中的绘图考试评定方法中的步骤。
本申请实施例还提供一种计算机设备,其集成了本申请实施例所提供的任一种绘图考试评定装置。如图4所示,其示出了本申请实施例所涉及的计算机设备的结构示意图,具体来讲:
该计算机设备可以包括一个或者一个以上处理核心的处理器801、一个或一个以上计算机可读存储介质的存储器802、电源803和输入单元804等部件。本领域技术人员可以理解,图4中示出的计算机设备结构并不构成对计算机设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器801是该计算机设备的控制中心,利用各种接口和线路连接整个计算机设备的各个部分,通过运行或执行存储在存储器802内的软件程序和/或模块,以及调用存储在存储器802内的数据,执行计算机设备的各种功能和处理数据,从而对计算机设备进行整体监控。可选的,处理器801可包括一个或多个处理核心;优选的,处理器801可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器801中。
存储器802可用于存储软件程序以及模块,处理器801通过运行存储在存储器802的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器802可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据计算机设备的使用所创建的数据等。此外,存储器802可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器802还可以包括存储器控制器,以提供处理器801对存储器802的访问。
计算机设备还包括给各个部件供电的电源803,优选的,电源803可以通过电源管理系统与处理器801逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源803还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该计算机设备还可包括输入单元804,该输入单元804可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出,计算机设备还可以包括显示单元等,在此不再赘述。具体在本实施例中,计算机设备中的处理器801会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器802中,并由处理器801来运行存储在存储器802中的应用程序,从而实现各种功能,如下:
获取用户在绘图考试过程中的绘图视频及参考绘图图像;
对绘图视频进行畸变校正,得到多帧第一校正图像;
对多帧第一校正图像进行解析,得到用户的实际绘图逻辑、实际绘图图像及绘图时间;
基于实际绘图逻辑、参考绘图图像、实际绘图图像及绘图时间,确定用户在绘图考试过程中的绘图得分;
从多帧第一校正图像中确定多帧待显示图像,并对多帧待显示图像进行梯形校正,得到多帧第二校正图像;
将多帧第二校正图像及绘图得分传输至投影设备,以通过投影设备对多帧第二校正图像及绘图得分进行显示。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请实施例提供一种计算机可读存储介质,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。其上存储有计算机程序,计算机程序被处理器进行加载,以执行本申请实施例所提供的任一种绘图考试评定方法中的步骤。例如,计算机程序被处理器进行加载可以执行如下步骤:
获取用户在绘图考试过程中的绘图视频及参考绘图图像;
对绘图视频进行畸变校正,得到多帧第一校正图像;
对多帧第一校正图像进行解析,得到用户的实际绘图逻辑、实际绘图图像及绘图时间;
基于实际绘图逻辑、参考绘图图像、实际绘图图像及绘图时间,确定用户在绘图考试过程中的绘图得分;
从多帧第一校正图像中确定多帧待显示图像,并对多帧待显示图像进行梯形校正,得到多帧第二校正图像;
将多帧第二校正图像及绘图得分传输至投影设备,以通过投影设备对多帧第二校正图像及绘图得分进行显示。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见上文针对其他实施例的详细描述,此处不再赘述。
具体实施时,以上各个单元或结构可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单元或结构的具体实施可参见前面的方法实施例,在此不再赘述。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
以上对本申请实施例所提供的一种绘图考试评定方法、装置、计算机设备及存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种绘图考试评定方法,其特征在于,包括:
获取用户在绘图考试过程中的绘图视频及参考绘图图像;
对所述绘图视频进行畸变校正,得到多帧第一校正图像;
对多帧所述第一校正图像进行解析,得到所述用户的实际绘图逻辑、实际绘图图像及绘图时间;
基于所述实际绘图逻辑、所述参考绘图图像、所述实际绘图图像及所述绘图时间,确定所述用户在绘图考试过程中的绘图得分;
从多帧所述第一校正图像中确定多帧待显示图像,并对多帧所述待显示图像进行梯形校正,得到多帧第二校正图像;
将多帧所述第二校正图像及所述绘图得分传输至投影设备,以通过所述投影设备对多帧所述第二校正图像及所述绘图得分进行显示。
2.根据权利要求1所述的绘图考试评定方法,其特征在于,所述基于所述实际绘图逻辑、所述参考绘图图像、所述实际绘图图像及所述绘图时间,确定所述用户在绘图考试过程中的绘图得分,包括:
将所述参考绘图图像输入预先训练的绘图逻辑识别模型,通过所述绘图逻辑识别模型输出所述参考绘图图像的参考绘图逻辑;
基于所述实际绘图逻辑及所述参考绘图逻辑,确定所述用户的第一得分;
基于所述参考绘图图像、所述实际绘图图像及所述绘图时间,确定所述用户的第二得分;
基于所述第一得分和所述第二得分,确定所述用户在绘图考试过程中的绘图得分。
3.根据权利要求1所述的绘图考试评定方法,其特征在于,所述对多帧所述待显示图像进行梯形校正,得到多帧第二校正图像,包括:
获取所述投影设备的投影图像;
将所述投影图像输入预先训练的姿态估计模型,通过所述姿态估计模型输出所述投影设备的姿态参数;
基于所述姿态参数对所述待显示图像进行梯形校正,得到多帧第二校正图像。
4.根据权利要求1所述的绘图考试评定方法,其特征在于,所述对所述绘图视频进行畸变校正,得到多帧第一校正图像,包括:
对所述绘图视频进行解码,得到多帧绘图图像;
将多帧所述绘图图像输入预先训练的畸变校正模型,通过所述畸变校正模型输出多帧第一校正图像。
5.根据权利要求4所述的绘图考试评定方法,其特征在于,所述绘图视频通过摄像头获取,所述将多帧所述绘图图像输入预先训练的畸变校正模型,通过所述畸变校正模型输出多帧第一校正图像之前,包括:
获取多帧第一图像及所述摄像头的内参矩阵和畸变向量;
基于所述内参矩阵和所述畸变向量对多帧所述第一图像进行转换,得到多帧第二图像,多帧所述第二图像与多帧所述第一图像分别对应,每帧所述第二图像的分辨率低于每帧所述第二图像对应的第一图像的分辨率;
基于多帧所述第一图像和多帧所述第二图像对预设网络模型进行训练,得到第一网络模型,所述预设网络模型包括生成器网络模型;
从所述第一网络模型中剥离出所述生成器网络模型,并对所述生成器网络模型进行修剪,以得到所述畸变校正模型。
6.根据权利要求5所述的绘图考试评定方法,其特征在于,所述对所述生成器网络模型进行修剪,包括:
对所述生成器网络模型进行修剪,并基于多帧所述第一图像和多帧所述第二图像对修剪后的所述生成器网络模型进行训练;
当修剪后的所述生成器网络模型的训练情况满足预设第一条件时,获取每帧所述第二图像的第三图像和第四图像,所述第三图像为修剪后的所述生成器网络模型对每帧所述第二图像的预测图像,所述第四图像为未修剪的所述生成器网络模型对每帧所述第二图像的预测图像;
基于所述第三图像和所述第四图像,确定修剪后的所述生成器网络模型的预测准确度偏差;
当所述预测准确度偏差不大于预设的偏差阈值时,继续执行对所述生成器网络模型进行修剪,并基于多帧所述第一图像和多帧所述第二图像对修剪后的所述生成器网络模型进行训练的步骤,直至所述预测准确度偏差大于所述偏差阈值;
将上一次修剪后的所述生成器网络模型,确定为所述畸变校正模型。
7.根据权利要求5所述的绘图考试评定方法,其特征在于,所述基于所述内参矩阵和所述畸变向量对多帧所述第一图像进行转换,得到多帧第二图像,包括:
基于所述内参矩阵和所述畸变向量,确定校正后的内参矩阵;
对校正后的所述内参矩阵进行奇异值分解,得到校正后所述内参矩阵的逆矩阵;
基于所述逆矩阵对每帧所述第一图像中像素点的二维坐标进行转换,得到每帧所述第一图像中像素点的三维坐标;
基于所述三维坐标,确定转换后的二维坐标;
基于转换后的所述二维坐标,确定多帧第二图像。
8.一种绘图考试评定装置,其特征在于,包括:
数据获取单元,用于获取用户在绘图考试过程中的绘图视频及参考绘图图像;
畸变校正单元,用于对所述绘图视频进行畸变校正,得到多帧第一校正图像;
图像解析单元,用于对多帧所述第一校正图像进行解析,得到所述用户的实际绘图逻辑、实际绘图图像及绘图时间;
得分确定单元,用于基于所述实际绘图逻辑、所述参考绘图图像、所述实际绘图图像及所述绘图时间,确定所述用户在绘图考试过程中的绘图得分;
梯形校正单元,用于从多帧所述第一校正图像中确定多帧待显示图像,并对多帧所述待显示图像进行梯形校正,得到多帧第二校正图像;
数据显示单元,用于将多帧所述第二校正图像及所述绘图得分传输至投影设备,以通过所述投影设备对多帧所述第二校正图像及所述绘图得分进行显示。
9.一种计算机设备,其特征在于,所述计算机设备包括:
一个或多个处理器;
存储器;以及
一个或多个应用程序,其中一个或多个应用程序被存储于存储器中,并配置为由处理器执行以实现权利要求1至7任一项所述的绘图考试评定方法中的步骤。
10.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,所述计算机程序被处理器进行加载,以执行权利要求1至7任一项所述的绘图考试评定方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310449183.4A CN116309538B (zh) | 2023-04-24 | 2023-04-24 | 绘图考试评定方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310449183.4A CN116309538B (zh) | 2023-04-24 | 2023-04-24 | 绘图考试评定方法、装置、计算机设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116309538A true CN116309538A (zh) | 2023-06-23 |
CN116309538B CN116309538B (zh) | 2023-07-28 |
Family
ID=86801557
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310449183.4A Active CN116309538B (zh) | 2023-04-24 | 2023-04-24 | 绘图考试评定方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116309538B (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007072569A (ja) * | 2005-09-05 | 2007-03-22 | Namco Bandai Games Inc | プログラム、情報記憶媒体及び手書き図類似度判定装置 |
CN106409063A (zh) * | 2016-12-16 | 2017-02-15 | 北京奇虎科技有限公司 | 一种机器人绘画教学方法、装置及其机器人 |
CN106548671A (zh) * | 2016-10-28 | 2017-03-29 | 网易(杭州)网络有限公司 | 一种信息处理方法、设备和系统 |
CN110188600A (zh) * | 2019-04-15 | 2019-08-30 | 广东智媒云图科技股份有限公司 | 一种绘画评价方法、系统及存储介质 |
CN113988563A (zh) * | 2021-10-21 | 2022-01-28 | 上海大风实验室设备有限公司 | 一种用于平面镜成像实验的智能赋分系统 |
CN114092853A (zh) * | 2021-10-28 | 2022-02-25 | 智恩陪心(北京)科技有限公司 | 一种基于绘画心理分析和视频分析的心理分析系统 |
CN114419736A (zh) * | 2022-03-10 | 2022-04-29 | 成都西交智汇大数据科技有限公司 | 一种实验评分方法、系统、设备及可读存储介质 |
WO2022120008A1 (en) * | 2020-12-03 | 2022-06-09 | Kansas State University Research Foundation | A machine learning method and computing device for art authentication |
CN114995682A (zh) * | 2020-09-23 | 2022-09-02 | 中国美术学院 | 一种美术远程考试系统及方法 |
CN115222835A (zh) * | 2021-04-20 | 2022-10-21 | 阿里巴巴新加坡控股有限公司 | 绘画建议的生成方法、装置及设备 |
CN115456888A (zh) * | 2022-08-22 | 2022-12-09 | 全美测评技术(北京)有限公司 | 电子化美术考试作品的校正方法、装置、电子设备及介质 |
-
2023
- 2023-04-24 CN CN202310449183.4A patent/CN116309538B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007072569A (ja) * | 2005-09-05 | 2007-03-22 | Namco Bandai Games Inc | プログラム、情報記憶媒体及び手書き図類似度判定装置 |
CN106548671A (zh) * | 2016-10-28 | 2017-03-29 | 网易(杭州)网络有限公司 | 一种信息处理方法、设备和系统 |
CN106409063A (zh) * | 2016-12-16 | 2017-02-15 | 北京奇虎科技有限公司 | 一种机器人绘画教学方法、装置及其机器人 |
CN110188600A (zh) * | 2019-04-15 | 2019-08-30 | 广东智媒云图科技股份有限公司 | 一种绘画评价方法、系统及存储介质 |
CN114995682A (zh) * | 2020-09-23 | 2022-09-02 | 中国美术学院 | 一种美术远程考试系统及方法 |
WO2022120008A1 (en) * | 2020-12-03 | 2022-06-09 | Kansas State University Research Foundation | A machine learning method and computing device for art authentication |
CN115222835A (zh) * | 2021-04-20 | 2022-10-21 | 阿里巴巴新加坡控股有限公司 | 绘画建议的生成方法、装置及设备 |
CN113988563A (zh) * | 2021-10-21 | 2022-01-28 | 上海大风实验室设备有限公司 | 一种用于平面镜成像实验的智能赋分系统 |
CN114092853A (zh) * | 2021-10-28 | 2022-02-25 | 智恩陪心(北京)科技有限公司 | 一种基于绘画心理分析和视频分析的心理分析系统 |
CN114419736A (zh) * | 2022-03-10 | 2022-04-29 | 成都西交智汇大数据科技有限公司 | 一种实验评分方法、系统、设备及可读存储介质 |
CN115456888A (zh) * | 2022-08-22 | 2022-12-09 | 全美测评技术(北京)有限公司 | 电子化美术考试作品的校正方法、装置、电子设备及介质 |
Non-Patent Citations (1)
Title |
---|
温雯: "手绘图像相似度计算及评价模型研究", 《万方数据库》 * |
Also Published As
Publication number | Publication date |
---|---|
CN116309538B (zh) | 2023-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220188840A1 (en) | Target account detection method and apparatus, electronic device, and storage medium | |
CN110147744B (zh) | 一种人脸图像质量评估方法、装置及终端 | |
JP2022504704A (ja) | ターゲット検出方法、モデル訓練方法、装置、機器及びコンピュータプログラム | |
CN111327828B (zh) | 拍照方法、装置、电子设备及存储介质 | |
CN110189246B (zh) | 图像风格化生成方法、装置及电子设备 | |
WO2023151289A1 (zh) | 情感识别方法、训练方法、装置、设备、存储介质及产品 | |
CN111401376A (zh) | 目标检测方法、装置、电子设备以及存储介质 | |
US20210133469A1 (en) | Neural network training method and apparatus, gaze tracking method and apparatus, and electronic device | |
CN111292262A (zh) | 图像处理方法、装置、电子设备以及存储介质 | |
US20240037898A1 (en) | Method for predicting reconstructabilit, computer device and storage medium | |
CN111539353A (zh) | 一种图像场景识别方法及装置、计算机设备以及存储介质 | |
CN111589138B (zh) | 动作预测方法、装置、设备及存储介质 | |
CN110827217B (zh) | 图像处理方法、电子设备及计算机可读存储介质 | |
CN116360574A (zh) | 确定资源配置参数的方法与电子设备 | |
CN113838134B (zh) | 图像关键点检测方法、装置、终端和存储介质 | |
CN112507848A (zh) | 一种移动端实时人脸姿态估计方法 | |
CN115131437A (zh) | 位姿估计方法及相关模型的训练方法、装置、设备、介质 | |
CN114612531A (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
CN116309538B (zh) | 绘图考试评定方法、装置、计算机设备及存储介质 | |
CN116704401A (zh) | 操作类考试的评分校验方法、装置、电子设备及存储介质 | |
CN115546408A (zh) | 模型简化方法、装置、存储介质、电子设备及产品 | |
CN111275183B (zh) | 视觉任务的处理方法、装置和电子系统 | |
CN116823869A (zh) | 背景替换的方法和电子设备 | |
CN114005156A (zh) | 人脸替换方法、系统、终端设备及计算机存储介质 | |
CN116863460A (zh) | 姿态识别、姿态识别模型的训练方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |