CN111753613A - 基于实验操作的图像分析方法、装置、设备及存储介质 - Google Patents
基于实验操作的图像分析方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111753613A CN111753613A CN201910882824.9A CN201910882824A CN111753613A CN 111753613 A CN111753613 A CN 111753613A CN 201910882824 A CN201910882824 A CN 201910882824A CN 111753613 A CN111753613 A CN 111753613A
- Authority
- CN
- China
- Prior art keywords
- instrument
- user
- instruments
- image
- lever
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供一种基于实验操作的图像分析方法、装置、设备及存储介质，该方法包括：采集用户操作图像，其中，所述用户操作图像中包括用户在实验过程中操作的多个仪器，所述仪器上设有标签；根据每一个所述仪器的标签，对每一个所述仪器的位置进行跟踪，得到每一个所述仪器的运动轨迹；根据各所述仪器的运动轨迹，确定仪器位置关系，其中，所述仪器位置关系用于指示各所述仪器之间的相对位置关系；根据所述仪器位置关系，对所述用户的实验操作过程进行分析，得到分析结果。本发明实施例通过标签能够准确对仪器的位置进行跟踪，并通过仪器位置关系确定对用户的实验操作过程的分析结果，能够提高分析结果的准确性。
Description
技术领域
本发明实施例涉及图像检测技术领域，尤其涉及一种基于实验操作的图像分析方法、装置、设备及存储介质。
背景技术
实验是指用户通过操作相关仪器来观察、研究自然现象及其规律性的社会实践形式，如化学实验、生物实验等，其中仪器可以为试管、导管、锥形瓶、漏斗等。在教学或考试等场景中，需要根据用户的操作过程对用户的实验操作进行分析和评价。
现有技术中，通过采集用户实验过程中的视频，将用户实验操作的视频与预先录制的一段标准的实验视频进行对比分析，从而对用户的实验操作进行评价。
然而现有技术中，用户所操作的仪器中可能会存在透明的仪器，在对比用户的实验视频与标准实验视频时，难以将透明仪器从周围环境中准确分辨出来，导致对用户的实验操作的分析结果不准确。
发明内容
本发明实施例提供一种基于实验操作的图像分析方法、装置、设备及存储介质，以解决目前通过视频对比对用户的实验操作的分析结果不准确的问题。
第一方面，本发明实施例提供一种基于实验操作的图像分析方法，包括：
采集用户操作图像，其中，所述用户操作图像中包括用户在实验过程中操作的多个仪器，所述仪器上设有标签；
根据每一个所述仪器的标签，对每一个所述仪器的位置进行跟踪，得到每一个所述仪器的运动轨迹；
根据各所述仪器的运动轨迹，确定仪器位置关系，其中，所述仪器位置关系用于指示各所述仪器之间的相对位置关系；
根据所述仪器位置关系，对所述用户的实验操作过程进行分析，得到分析结果。
在一种可能的实施方式中，所述实验包括多个考点，每个所述考点对应一个位置合格条件以及一个分值；
根据所述仪器位置关系，对所述用户的实验操作过程进行分析，得到分析结果，包括：
对所有得分考点对应的分值进行统计，将统计结果作为所述分析结果，其中，所述得分考点为所述仪器位置关系满足该考点对应的位置合格条件的考点。
在一种可能的实施方式中，所述考点包括第一考点，所述第一考点对应的位置合格条件包括：
所有第一指定仪器之间的交集区域范围大于预设范围阈值，其中，所述第一指定仪器为所有仪器中第一考点对应的仪器。
在一种可能的实施方式中，所述方法还包括：
获取多个样本图像，其中，每个所述样本图像对应于一个用户，所述样本图像为采集对应用户在实验操作过程中对仪器正确操作的图像；
针对每个所述样本图像，确定该样本图像中所有所述第一指定仪器之间的交集区域范围；
确定所有所述样本图像对应的交集区域范围中的最小范围值，将所述最小范围值确定为所述预设范围阈值。
在一种可能的实施方式中，所述第一考点对应的位置合格条件还包括：
所有所述第一指定仪器之间的交集区域范围大于预设范围阈值所持续的图像帧数/时长大于预设帧数阈值/预设时长阈值。
在一种可能的实施方式中，所述考点包括第二考点，所述第二考点对应的位置合格条件包括：
两个第二指定仪器之间的距离在由第一距离缩短为第二距离后，由所述第二距离增大至第三距离，其中，所述第二指定仪器为所述第二考点对应的仪器，所述第一距离和所述第三距离均大于第一预设距离阈值，所述第二距离小于第二预设距离阈值，所述第一预设距离阈值大于所述第二预设距离阈值。
在一种可能的实施方式中，所述仪器包括第一气体导管、第二气体导管、橡皮管；所述第一气体导管、第二气体导管的两个端口处均设有标签；
所述考点包括第三考点，所述第三考点对应的位置合格条件包括：
在所述橡皮管第一端口周围的预设范围内存在第一气体导管的标签，第二端口的所述预设范围内存在第二气体导管的标签。
在一种可能的实施方式中，所述实验包括双氧水制取氧气实验和/或二氧化碳制取实验，所述仪器包括分液漏斗、锥形瓶中的至少一个。
在一种可能的实施方式中，所述实验包括杠杆平衡实验，所述仪器包括立柱、杠杆轴、杠杆、钩码、弹簧测力计；所述杠杆轴在将所述杠杆固定于所述立柱上时，杠杆轴的长度方向为水平方向；
所述杠杆上设有两个第一标签，所述两个第一标签位于所述杠杆中心位置的两侧；所述钩码上设有第二标签；所述弹簧测力计上设有第三标签。
在一种可能的实施方式中，所述考点包括第四考点、第五考点、第六考点、第七考点中的至少一个；
其中，所述第四考点对应的位置合格条件包括：
所述杠杆轴位于所述两个第一标签之间；
所述第五考点对应的位置合格条件包括：
所述杠杆周围指定区域内不存在所述钩码和所述弹簧测力计，且所述杠杆对应的第一水平线，与所述杠杆轴对应的第二水平线之间的角度小于第一预设角度阈值；
所述第六考点对应的位置合格条件包括：
所述杠杆轴的左右两侧均存在所述钩码；所述杠杆对应的第一水平线，与所述杠杆轴对应的第二水平线之间的角度小于所述第一预设角度阈值；且所述杠杆的平衡螺母所在区域与所述操作者的手部所在区域不存在重合；
所述第七考点对应的位置合格条件包括：
所述杠杆轴的一侧存在所述钩码和所述弹簧测力计；弹簧测力计的高度大于杠杆的高度；所述杠杆轴对应的第二水平线、所述弹簧测力计对应的竖直线之间的角度与90度的差值小于第二预设角度阈值；所述杠杆对应的第一水平线，与所述杠杆轴对应的第二水平线之间的角度小于所述第一预设角度阈值。
在一种可能的实施方式中，所述杠杆对应的第一水平线为根据所述两个第一标签中的至少一个的轮廓线确定的；
所述杠杆的高度为根据所述两个第一标签中的至少一个的高度确定的；
所述弹簧测力计对应的竖直线为根据所述第三标签中的轮廓线确定的。
在一种可能的实施方式中，所述实验包括蒸发装置搭建实验，所述仪器包括铁架台、铁圈、蒸发皿、酒精灯；所述铁圈用于固定于所述铁架台上；
所述考点包括第八考点，所述第八考点对应的位置合格条件包括：
所述蒸发皿的位置高度与所述铁圈的位置高度之间的差值属于第一预设高度范围，所述蒸发皿的位置高度与所述酒精灯的位置高度之间的差值属于第二预设高度范围。
在一种可能的实施方式中，所述分析结果包括错误操作图像，所述错误操作图像为包含所述用户在实验操作过程中的错误操作的图像；
根据所述仪器位置关系，对所述用户的实验操作过程进行分析，得到分析结果之后，所述方法还包括：
将所述错误操作图像发送至所述用户的终端，以使所述终端显示所述错误操作图像。
第二方面，本发明实施例提供一种图像分析装置，包括：
采集模块，用于采集用户操作图像，其中，所述用户操作图像中包括用户在实验过程中操作的多个仪器，所述仪器上设有标签；
跟踪模块，用于根据每一个所述仪器的标签，对每一个所述仪器的位置进行跟踪，得到每一个所述仪器的运动轨迹；
第一处理模块，用于根据各所述仪器的运动轨迹，确定仪器位置关系，其中，所述仪器位置关系用于指示各所述仪器之间的相对位置关系；
第二处理模块，用于根据所述仪器位置关系，对所述用户的实验操作过程进行分析，得到分析结果。
在一种可能的实施方式中，所述实验包括多个考点，每个所述考点对应一个位置合格条件以及一个分值；
所述第二处理模块，用于：
对所有得分考点对应的分值进行统计，将统计结果作为所述分析结果，其中，所述得分考点为所述仪器位置关系满足该考点对应的位置合格条件的考点。
在一种可能的实施方式中，所述考点包括第一考点，所述第一考点对应的位置合格条件包括：
所有第一指定仪器之间的交集区域范围大于预设范围阈值，其中，所述第一指定仪器为所有仪器中第一考点对应的仪器。
在一种可能的实施方式中，所述装置还包括第三处理模块，所述第三处理模块用于：
获取多个样本图像，其中，每个所述样本图像对应于一个用户，所述样本图像为采集对应用户在实验操作过程中对仪器正确操作的图像；
针对每个所述样本图像，确定该样本图像中所有所述第一指定仪器之间的交集区域范围；
确定所有所述样本图像对应的交集区域范围中的最小范围值，将所述最小范围值确定为所述预设范围阈值。
在一种可能的实施方式中，所述第一考点对应的位置合格条件还包括：
所有所述第一指定仪器之间的交集区域范围大于预设范围阈值所持续的图像帧数/时长大于预设帧数阈值/预设时长阈值。
在一种可能的实施方式中，所述考点包括第二考点，所述第二考点对应的位置合格条件包括：
两个第二指定仪器之间的距离在由第一距离缩短为第二距离后，由所述第二距离增大至第三距离，其中，所述第二指定仪器为所述第二考点对应的仪器，所述第一距离和所述第三距离均大于第一预设距离阈值，所述第二距离小于第二预设距离阈值，所述第一预设距离阈值大于所述第二预设距离阈值。
在一种可能的实施方式中，所述分析结果包括错误操作图像，所述错误操作图像为包含所述用户在实验操作过程中的错误操作的图像；
所述第二处理模块还用于：
在根据所述仪器位置关系，对所述用户的实验操作过程进行分析，得到分析结果之后，将所述错误操作图像发送至所述用户的终端，以使所述终端显示所述错误操作图像。
第三方面，本发明实施例提供一种图像分析设备，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的实施方式所述的基于实验操作的图像分析方法。
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的实施方式所述的基于实验操作的图像分析方法。
本实施例提供的基于实验操作的图像分析方法、装置、设备及存储介质，采集用户操作图像，其中，用户操作图像中包括用户在实验过程中操作的多个仪器，仪器上设有标签；根据每一个仪器的标签，对每一个仪器的位置进行跟踪，得到每一个仪器的运动轨迹；根据各仪器的运动轨迹，确定仪器位置关系，其中，仪器位置关系用于指示各仪器之间的相对位置关系；根据仪器位置关系，对用户的实验操作过程进行分析，得到分析结果，通过标签能够准确对仪器的位置进行跟踪，并通过仪器位置关系确定对用户的实验操作过程的分析结果，能够提高分析结果的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的基于实验操作的图像分析方法的流程示意图；
图2为本发明又一实施例提供的基于实验操作的图像分析方法的流程示意图；
图3为杠杆平衡实验的装置示意图；
图4为本发明另一实施例提供的基于实验操作的图像分析方法的流程示意图；
图5为本发明一实施例提供的图像分析装置的结构示意图；
图6为本发明又一实施例提供的图像分析装置的结构示意图；
图7为本发明一实施例提供的图像分析设备的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
现有技术中，为实现对用户实验操作的自动分析，通过采集用户实验过程中的视频，将用户实验操作的视频与预先录制的一段标准的实验视频进行对比分析，从而对用户的实验操作进行评价。然而现有技术中，用户所操作的仪器中可能会存在透明的仪器，在对比用户的实验视频与标准实验视频时，难以将透明仪器从周围环境中准确分辨出来，导致对用户的实验操作的分析结果不准确。本实施例提供的基于实验操作的图像分析方法通过标签能够准确对仪器的位置进行跟踪，并通过仪器位置关系确定对用户的实验操作过程的分析结果，能够提高分析结果的准确性。
图1为本发明一实施例提供的基于实验操作的图像分析方法的流程示意图。如图1所示，该方法包括：
S101、采集用户操作图像，其中，所述用户操作图像中包括用户在实验过程中操作的多个仪器，所述仪器上设有标签。
在用户操作多个仪器进行实验时，可以通过摄像头采集用户操作图像。可以将一个或多个摄像头布置于用户进行实验操作的周围，使用户在实验过程中对仪器的操作位于摄像头的拍摄范围内，以采集用户操作图像。摄像头可以通过拍照模式或视频模式来采集用户操作图像，若以视频模式采集用户操作图像，则可以获取到视频中的每帧用户操作图像。
其中，仪器可以为玻璃导管、分液漏斗和锥形瓶等实验所需的仪器，具体包含哪些仪器可以由用户所进行的实验确定，在此不作限定。每个仪器上都设有标签，仪器与标签一一对应。标签用于标识不同的仪器。标签可以为易于在图像中识别的标签，如标签可以为仪器上设置的纹理、图案、色彩等，具体的标签形式，在此不作限定。可选地，为使不同角度采集的图像中都能包含仪器的标签，并且让标签不影响用户在实验过程中观察仪器及仪器内的物体，标签的形状可以为环绕仪器表面的环形。例如，对于玻璃导管，可以设置在导管上不同的位置的多段环形标签；对于锥形瓶，可以在锥形瓶的靠近瓶口的瓶身位置和靠近瓶底处的瓶身位置分别设置两段环形标签。
S102、根据每一个所述仪器的标签，对每一个所述仪器的位置进行跟踪，得到每一个所述仪器的运动轨迹。
在本实施例中，可以根据每一个仪器的标签在用户操作图像中定位出仪器，然后对多张用户操作图像中仪器的位置进行跟踪，从而确定每一个仪器的运动轨迹。例如，可以对用户操作图像进行裁剪、降采样等预处理，将用户操作图像处理为需要的图像尺寸，然后根据每个仪器的标签对处理后的图像进行目标检测，以检测出图像中的各个仪器的位置，再对多张用户操作图像的各个仪器进行目标跟踪，得到每个仪器的运动轨迹。例如，可以采用深度神经网络根据标签对仪器进行位置追踪。
由于采用标签对仪器进行位置跟踪，能够提高仪器位置跟踪的准确度。对于透明的仪器，现有技术难以准确对仪器的位置进行跟踪，而通过在透明仪器上设置标签，能够通过标签来准确对仪器的位置进行跟踪，进而提高对用户实验操作分析结果的准确度。
S103、根据各所述仪器的运动轨迹，确定仪器位置关系，其中，所述仪器位置关系用于指示各所述仪器之间的相对位置关系。
在本实施例中，仪器位置关系用于指示所有仪器中指定的两个或者两个以上仪器之间的相对位置关系，仪器位置关系具体包含哪些仪器之间的相对位置关系由用户所进行的实验进行确定，在此不作限定。例如，仪器可以包括仪器A、仪器B、仪器C、仪器D和仪器E，仪器位置关系可以包括仪器A与仪器B之间的相对位置关系，仪器C与仪器D之间的相对位置关系，仪器B、仪器C与仪器D之间的相对位置关系等。
可以根据各仪器的运动轨迹，确定仪器位置关系。用户操作图像为多帧图像时，仪器位置关系可以包括每帧图像中的仪器位置关系。例如，每个仪器的运动轨迹可以包括每帧图像中仪器的位置。可以根据指定的仪器标识，从所有仪器的运动轨迹中提取指定的两个或两个以上仪器的运动轨迹，然后根据获取到的运动轨迹确定仪器位置关系。具体的，可以针对每帧用户操作图像，将该帧图像中指定的多个仪器的位置进行对比，从而确定该帧图像中的仪器位置关系。
S104、根据所述仪器位置关系，对所述用户的实验操作过程进行分析，得到分析结果。
在本实施例中，在实验操作过程中用户需要操作仪器完成实验，因此可以根据实验过程中的仪器位置关系，对用户的实验操作进行分析，得到分析结果。其中，分析结果用于指示用户的实验操作的规范程度，分析结果的具体内容在此不作限定，可以根据实际需求确定。例如，分析结果可以包括但不限于对用户的实验操作的评分、用户操作正确的图像和用户操作错误的图像中的至少一个。
本实施例中，采集用户操作图像，其中，用户操作图像中包括用户在实验过程中操作的多个仪器，仪器上设有标签；根据每一个仪器的标签，对每一个仪器的位置进行跟踪，得到每一个仪器的运动轨迹；根据各仪器的运动轨迹，确定仪器位置关系，其中，仪器位置关系用于指示各仪器之间的相对位置关系；根据仪器位置关系，对用户的实验操作过程进行分析，得到分析结果，通过标签能够准确对仪器的位置进行跟踪，并通过仪器位置关系确定对用户的实验操作过程的分析结果，能够提高分析结果的准确性。
可选地，所述仪器包括透明材质的仪器，所述标签包括设置在所述仪器上指定位置的图案。
在本实施例中，透明材质可以为塑料、玻璃等光线能够透过的材质。采集到的图像中透明材质容易和周围以及后方的物体相重合，不易识别出透明材质的仪器位置。而通过在透明材质的仪器的指定位置上设置图案，能够利用图案识别出仪器的位置，提高仪器的位置跟踪的准确度。其中，指定位置的选取以及图案的设置可以根据仪器的样式进行确定，在此不作限定。
图2为本发明又一实施例提供的基于实验操作的图像分析方法的流程示意图。本实施例对根据仪器位置关系对用户的实验操作过程进行分析的具体实现过程进行了详细说明。在本实施例中，实验包括多个考点，每个考点对应一个位置合格条件以及一个分值。如图2所示，该方法包括：
S201、采集用户操作图像，其中，所述用户操作图像中包括用户在实验过程中操作的多个仪器，所述仪器上设有标签。
在本实施例中，S201与图1实施例中的S101类似，此处不再赘述。
S202、根据每一个所述仪器的标签，对每一个所述仪器的位置进行跟踪，得到每一个所述仪器的运动轨迹。
在本实施例中，S202与图1实施例中的S102类似，此处不再赘述。
S203、根据各所述仪器的运动轨迹，确定仪器位置关系，其中，所述仪器位置关系用于指示各所述仪器之间的相对位置关系。
在本实施例中，S203与图1实施例中的S103类似，此处不再赘述。
S204、对所有得分考点对应的分值进行统计，将统计结果作为所述分析结果，其中，所述得分考点为所述仪器位置关系满足该考点对应的位置合格条件的考点。
在本实施例中，实验包括多个考点，每个考点对应一个位置合格条件以及一个分值。如果用户实验操作过程中的仪器位置关系满足某考点的位置合格条件，则将该考点确定为得分考点。通过对得分考点所对应的分值进行汇总，可以得到用户实验操作的总分值，将该总分值作为分析结果输出给用户显示。本实施例通过将仪器位置关系与各考点对应的位置合格条件进行对比，能够准确判断用户在实验中各考点的操作是否规范，从而提高对用户实验操作的分析结果的准确度。
可选地，所述考点包括第一考点，所述第一考点对应的位置合格条件包括：
所有第一指定仪器之间的交集区域范围大于预设范围阈值，其中，所述第一指定仪器为所有仪器中第一考点对应的仪器。
在本实施例中，交集区域范围可以为多个第一指定仪器在图像中的交集区域的范围。第一指定仪器的个数和预设范围阈值的取值可以根据实际情况确定，在此不作限定。例如，第一考点对应三个仪器，则这三个仪器均为第一指定仪器。根据仪器位置关系判断三个第一指定仪器之间的交集区域范围是否大于预设范围阈值，如果大于，则表征用户第一考点的操作规范，将第一考点确定为得分考点；如果不大于，则表征用户在第一考点的操作不规范，不将第一考点确定为得分考点。
以双氧水制取氧气的实验为例，第一考点可以用于分析仪器搭建操作，在该实验中，用户需要分液漏斗及玻璃导管插入锥形瓶中，通过锥形瓶、分液漏斗与玻璃导管之间的交集区域范围是否大于预设范围阈值，可以准确判断用户进行仪器搭建的操作是否规范。其中，锥形瓶、分液漏斗与玻璃导管之间的交集区域范围可以首先分别确定锥形瓶与分液漏斗之前的交集区域，以及锥形瓶与玻璃导管之间的交集区域，然后将两个交集区域所占的范围相加得到三者之间的交集区域范围。
可选地，所述方法还包括：
获取多个样本图像，其中，每个所述样本图像对应于一个用户，所述样本图像为采集对应用户在实验操作过程中对仪器正确操作的图像；
针对每个所述样本图像，确定该样本图像中所有所述第一指定仪器之间的交集区域范围；
确定所有所述样本图像对应的交集区域范围中的最小范围值，将所述最小范围值确定为所述预设范围阈值。
在本实施例中，用户对仪器正确操作，是指用户按照实验考核要求对仪器进行的操作。在实验操作过程中用户对仪器进行正确操作，则可以通过实验考核。一个样本图像可以为一个用户进行实验操作过程的图像。样本图像与用户一一对应。可以根据多个样本图像来确定第一考点对应的预设范围阈值。可以预先采集每个样本图像，然后对每个样本图像进行仪器位置跟踪，得到每个样本图像中所有第一指定仪器之间的交集区域范围。从所有样本图像对应的交集区域范围中选取最小范围值，将该最小范围值确定为预设范围阈值。
可选地，所述第一考点对应的位置合格条件还包括：
所有所述第一指定仪器之间的交集区域范围大于预设范围阈值所持续的图像帧数/时长大于预设帧数阈值/预设时长阈值。
在本实施例中，预设图像帧数/预设时长阈值可以根据实际情况确定，在此不作限定。通过预设图像帧数/预设时长阈值可以分析用户实验操作中某些步骤持续的时间是否符合要求。
以双氧水制取氧气的实验为例，第一考点可以用于分析仪器搭建操作，用户将仪器搭建完成后需要稳定持续一定时间才能符合实验要求。在进行图像分析时，若判断出锥形瓶、分液漏斗与玻璃导管之间的交集区域范围大于预设范围阈值，且大于预设范围阈值所持续的图像帧数/时长大于预设图像帧数/预设时长阈值，则表明用户进行该步的实验操作规范，将该考点确认为得分考点。
可选地，所述考点包括第二考点，所述第二考点对应的位置合格条件包括：
两个第二指定仪器之间的距离在由第一距离缩短为第二距离后，由所述第二距离增大至第三距离，其中，所述第二指定仪器为所述第二考点对应的仪器，所述第一距离和所述第三距离均大于第一预设距离阈值，所述第二距离小于第二预设距离阈值，所述第一预设距离阈值大于所述第二预设距离阈值。
在本实施例中，第二考点为将某个仪器内的物质转移到另一个仪器内，由于转移物质的过程中存在两个仪器先接近再远离的位置变化，因此可以通过图像检测实验过程中两个仪器是否发生该位置变化来确定第二考点是否为得分考点。
其中，第一预设距离阈值和第二预设距离阈值可以根据实际情况确定，在此不作限定。根据仪器位置关系可以确定出实验操作过程中两个第二指定仪器之间的距离是否发生以下变化：由大于第一预设距离阈值的距离缩短到小于第二预设距离阈值的距离，然后又从小于第二预设距离阈值的距离增大到大于第一预设距离阈值的距离。如果发生该变化，则符合第二考点对应的位置合格条件，确定第二考点为得分考点。
以双氧水制取氧气的实验为例，第一预设距离阈值可以设为0.5米，第二预设距离阈值可以设为0.01米，两个第二指定仪器分别为分别为用于转移实验药品的称量纸和用于盛放实验药品的容器。用户在将称量纸上的实验药品转移到容器中时，需要移动称量纸靠近容器，将实验药品置于容器后再将称量纸移走放回原位。通过称量纸与容器之间的相对距离关系是否符合第二考点对应的位置合格条件能够准确判断用户是否完成实验药品的转移操作。
可选地，所述仪器包括第一气体导管、第二气体导管、橡皮管；所述第一气体导管、第二气体导管的两个端口处均设有标签；
所述考点包括第三考点，所述第三考点对应的位置合格条件包括：
在所述橡皮管第一端口周围的预设范围内存在第一气体导管的标签，第二端口的所述预设范围内存在第二气体导管的标签。
对于一些需要传导气体的实验中，如二氧化碳制取实验、双氧水制取氧气实验等，有时需要将两个或两个以上的气体导管用橡皮管连接起来，组成一个气体通路。本实施例中各个气体导管的两个端口处均设有标签，可以通过检测橡皮管的两个端口周围是否存在两个气体导管的标签，来确定操作者是够准确地通过橡皮管将两个气体导管进行连接，判断操作者的操作是否规范。其中，预设范围可以为以端口为中心的一定范围，具体范围设定可以根据实际场景确定，在此不作限定。
可选地，如果想进一步确定气体通路中气体导管的连接次序是否正确，可以为不同的气体导管贴上不同的标签。可以沿气体导管的连接方向依次获取气体通路上的各个标签，组成标签序列，根据标签序列确定气体导管的连接次序是否正确。比如某气体通路由一个橡皮管连接两个气体导管形成，那么只需判断图像中是否存在类似“DD-EE-FF”的标签序列即可，其中，D，E，F均表示标签。
可选地，所述实验包括双氧水制取氧气实验和/或二氧化碳制取实验，所述仪器包括分液漏斗、锥形瓶中的至少一个，另外，还可以包括其他所需的仪器，在此不作限定。
可选地，所述实验包括杠杆平衡实验，所述仪器包括立柱、杠杆轴、杠杆、钩码、弹簧测力计；所述杠杆轴在将所述杠杆固定于所述立柱上时，杠杆轴的长度方向为水平方向；
所述杠杆上设有两个第一标签，所述两个第一标签位于所述杠杆中心位置的两侧；所述钩码上设有第二标签；所述弹簧测力计上设有第三标签。
如图3所示为杠杆平衡实验的装置示意图。其中，桌面0上放置有杠杆底座1，杠杆底座1上设置有垂直于底座平面的立柱2。杠杆轴3为一个矩形的固定块，用于将杠杆5的中心点固定于立柱2上，杠杆5可以绕中心点旋转。杠杆轴3的位置不随杠杆5的旋转而变化，杠杆轴3的长度方向始终保持为水平方向。杠杆5上设有两个标识“B”图案的第一标签4，第一标签4为矩形，其矩形的上边线与杠杆5的上边线平行。钩码7上设有标识“W”图案的第二标签8。弹簧测力计10上设有标识“S”图案的第三标签9。此外，杠杆5上还设有平衡螺母6。
可选地，所述考点包括第四考点、第五考点、第六考点、第七考点中的至少一个；
其中，所述第四考点对应的位置合格条件包括：
所述杠杆轴位于所述两个第一标签之间；
所述第五考点对应的位置合格条件包括：
所述杠杆周围指定区域内不存在所述钩码和所述弹簧测力计，且所述杠杆对应的第一水平线，与所述杠杆轴对应的第二水平线之间的角度差值小于第一预设角度阈值；
所述第六考点对应的位置合格条件包括：
所述杠杆轴的左右两侧均存在所述钩码；所述杠杆对应的第一水平线，与所述杠杆轴对应的第二水平线之间的角度差值小于所述第一预设角度阈值；且所述杠杆的平衡螺母所在区域与所述操作者的手部所在区域不存在重合；
所述第七考点对应的位置合格条件包括：
所述杠杆轴的一侧存在所述钩码和所述弹簧测力计；弹簧测力计的高度大于杠杆的高度；所述杠杆轴对应的第二水平线、所述弹簧测力计对应的竖直线之间的角度与90度的差值小于第二预设角度阈值；所述杠杆对应的第一水平线，与所述杠杆轴对应的第二水平线之间的角度差值小于所述第一预设角度阈值。
在本实施例中，杠杆平衡实验操作的考点有以下几点：1)杠杆中心挂在支架上；2)实验前调节平衡螺母使杠杆水平平衡；3)调节钩码使得杠杆水平平衡；4)弹簧测力计竖直向上拉使得杠杆水平平衡。其中，3)和4)的实验过程中不能调节平衡螺母。
在本实施例中，可以采用目标检测和关键点检测技术进行仪器定位。具体目标检测包括：第一标签(BBB)、杠杆轴、第三标签(S)、钩码和平衡螺母等目标的外接矩形框。具体关键点检测包括第一标签的左上角顶点和右上角顶点、杠杆轴的左上角顶点和右上角顶点、第三标签的左上角顶点和左下角顶点。在标签的辅助下，可以准确获取杠杆轴、第一标签、第三标签的两个顶点，进而精确计算出角度信息，最终极大提升了对仪器检测的准确度。
第四考点用于检测操作者是否规范的将杠杆中心挂在立柱上。当检测到杠杆轴的位置处于两个第一标签中间，则认为杠杆中心挂在支架上，该考点操作合格。
第五考点用于检测操作者是否在实验前调节平衡螺母使杠杆水平平衡。其中，指定区域的选取可以根据实际需求确定，在此不作限定。当杠杆周围没有检测到钩码和弹簧测力计，且杠杆对应的第一水平线，与杠杆轴对应的第二水平线之间的角度小于第一预设角度阈值(如3°，4°等)，则判定操作者调节平衡螺母使杠杆水平平衡，该考点操作合格。其中，杠杆对应的第一水平线可以根据两个第一标签中的至少一个的轮廓线确定的。例如，将一个第一标签的上边线作为杠杆对应的第一水平线。可以将杠杆轴的上边线作为杠杆轴对应的第二水平线。
第六考点用于检测操作者是否通过调节钩码使得杠杆水平平衡。当杠杆轴左右两侧分别检测到钩码，且杠杆对应的第一水平线，与杠杆轴对应的第二水平线之间的角度小于第一预设角度阈值，则判定操作者调节钩码使得杠杆水平平衡，该考点操作合格。需要注意的是，在第六考点过程中，还需要检测操作者是否手动调节平衡螺母，如果是，则第六考点不合格。具体的，可以在检测杠杆的平衡螺母所在区域与操作者的手部所在区域是否存在重合，若不存在重合，则判定操作者没有手动调节平衡螺母。
第七考点用于检测操作者是否通过弹簧测力计竖直向上拉使得杠杆水平平衡。第七考点对应的位置合格条件包括以下几点：1.杠杆轴的某一侧检测到钩码和弹簧测力计；2.弹簧测力计的高度大于杠杆的高度；3.杠杆轴对应的第二水平线、弹簧测力计对应的竖直线之间的角度与90度的差值小于第二预设角度阈值；4.杠杆对应的第一水平线，与杠杆轴对应的第二水平线之间的角度小于所述第一预设角度阈值(如10°，8°等)；5.杠杆的平衡螺母所在区域与操作者的手部所在区域不存在重合。以上几点均满足，则判定操作者通过弹簧测力计竖直向上拉使得杠杆水平平衡，第七考点合格。其中，杠杆的高度可以根据两个第一标签中的至少一个的高度确定的，例如当检测到弹簧测力计的高度大于第一标签的高度时，确定弹簧测力计的高度大于杠杆的高度。另外，可以将第三标签中的沿弹簧测力计长度方向的边线作为弹簧测力计对应的竖直线。在杠杆轴对应的第二水平线、弹簧测力计对应的竖直线之间的角度与90度的差值小于第二预设角度阈值时，确定杠杆轴与弹簧测力计相互垂直，符合第七考点的操作要求。
本实施例通过设置在仪器上的标签以及对仪器的检测定位，能够准确判定操作者的杠杆平衡实验是否规范。
可选的，所述实验包括蒸发装置搭建实验，所述仪器包括铁架台、铁圈、蒸发皿、酒精灯；所述铁圈用于固定于所述铁架台上；
所述考点包括第八考点，所述第八考点对应的位置合格条件包括：
所述蒸发皿的位置高度与所述铁圈的位置高度之间的差值属于第一预设高度范围，所述蒸发皿的位置高度与所述酒精灯的位置高度之间的差值属于第二预设高度范围。
在本实施例中，蒸发装置搭建实验是为了蒸发已经制取好的氯化钠溶液而搭建装置的，需要操作者将蒸发皿置于固定在铁架台的铁圈上，然后在蒸发皿下方的位置放置酒精灯。
第八考点用于检测操作者是否将蒸发皿置于铁圈上，以及蒸发皿相对于酒精度的高度是否合适。当蒸发皿的位置高度与铁圈的位置高度之间的差值属于第一预设高度范围，蒸发皿的位置高度与酒精灯的位置高度之间的差值属于第二预设高度范围，则判定该考点合格。其中，第一预设高度范围和第二预设高度范围的取值可以根据实际场景确定，在此不作限定。例如，第一预设高度范围可以取为1cm～2cm，第二预设高度范围可以取为2cm～8cm。蒸发皿的位置高度可以为蒸发皿中心点的位置所在的高度。酒精灯的位置高度可以为酒精灯中心点的位置所在的高度。也可以取其他位置点的高度，在此不作限定。
可选地，可以建立图像像素位置与空间实际位置的对应关系，利用蒸发皿、铁圈、酒精灯在图像中的位置计算实际空间中蒸发皿的位置高度与铁圈的位置高度之间的差值，以及蒸发皿的位置高度与酒精灯的位置高度之间的差值。
图4为本发明另一实施例提供的基于实验操作的图像分析方法的流程示意图。在本实施例中，分析结果包括错误操作图像，错误操作图像为包含用户在实验操作过程中的错误操作的图像。如图3所示，该方法包括：
S401、采集用户操作图像，其中，所述用户操作图像中包括用户在实验过程中操作的多个仪器，所述仪器上设有标签。
在本实施例中，S401与图1实施例中的S101类似，此处不再赘述。
S402、根据每一个所述仪器的标签，对每一个所述仪器的位置进行跟踪，得到每一个所述仪器的运动轨迹。
在本实施例中，S402与图1实施例中的S102类似，此处不再赘述。
S403、根据各所述仪器的运动轨迹，确定仪器位置关系，其中，所述仪器位置关系用于指示各所述仪器之间的相对位置关系。
在本实施例中，S403与图1实施例中的S103类似，此处不再赘述。
S404、根据所述仪器位置关系，对所述用户的实验操作过程进行分析，得到分析结果。
在本实施例中，S404与图1实施例中的S104类似，此处不再赘述。
S405、将所述错误操作图像发送至所述用户的终端，以使所述终端显示所述错误操作图像。
在本实施例中，分析结果包括错误操作图像，错误操作图像为包含用户在实验操作过程中的错误操作的图像。可以根据仪器位置关系从所有用户操作图像中查找不符合实验考点对应的位置合格条件的图像，将不符合实验考点对应的位置合格条件的图像确定为错误操作图像，将错误操作图像发送至用户的终端。用户的终端接收错误操作图像，将错误操作图像显示给用户查看，以便用户查看错误操作图像后获知在实验过程中的错误操作，改正错误的操作。
本实施例中，采集用户操作图像，其中，用户操作图像中包括用户在实验过程中操作的多个仪器，仪器上设有标签；根据每一个仪器的标签，对每一个仪器的位置进行跟踪，得到每一个仪器的运动轨迹；根据各仪器的运动轨迹，确定仪器位置关系，其中，仪器位置关系用于指示各仪器之间的相对位置关系；根据仪器位置关系，对用户的实验操作过程进行分析，得到分析结果，通过标签能够准确对仪器的位置进行跟踪，并通过仪器位置关系确定对用户的实验操作过程的分析结果，能够提高分析结果的准确性。
图5为本发明一实施例提供的图像分析装置的结构示意图。如图5所示，该图像分析装置50包括：采集模块501、跟踪模块502、第一处理模块503和第二处理模块504。
采集模块501，用于采集用户操作图像，其中，所述用户操作图像中包括用户在实验过程中操作的多个仪器，所述仪器上设有标签。
跟踪模块502，用于根据每一个所述仪器的标签，对每一个所述仪器的位置进行跟踪，得到每一个所述仪器的运动轨迹。
第一处理模块503，用于根据各所述仪器的运动轨迹，确定仪器位置关系，其中，所述仪器位置关系用于指示各所述仪器之间的相对位置关系。
第二处理模块504，用于根据所述仪器位置关系，对所述用户的实验操作过程进行分析，得到分析结果。
本实施例中，采集用户操作图像，其中，用户操作图像中包括用户在实验过程中操作的多个仪器，仪器上设有标签；根据每一个仪器的标签，对每一个仪器的位置进行跟踪，得到每一个仪器的运动轨迹；根据各仪器的运动轨迹，确定仪器位置关系，其中，仪器位置关系用于指示各仪器之间的相对位置关系；根据仪器位置关系，对用户的实验操作过程进行分析，得到分析结果，通过标签能够准确对仪器的位置进行跟踪，并通过仪器位置关系确定对用户的实验操作过程的分析结果，能够提高分析结果的准确性。
图6为本发明又一实施例提供的图像分析装置的结构示意图。如图6所示，本实施例提供的图像分析装置60在图6所示实施例提供的图像分析装置的基础上，还可以包括：第三处理模块605。
可选地，所述仪器包括透明材质的仪器，所述标签包括设置在所述仪器上指定位置的图案。
可选地，所述实验包括多个考点，每个所述考点对应一个位置合格条件以及一个分值；
所述第二处理模块604，用于：
对所有得分考点对应的分值进行统计，将统计结果作为所述分析结果，其中，所述得分考点为所述仪器位置关系满足该考点对应的位置合格条件的考点。
可选地，所述考点包括第一考点，所述第一考点对应的位置合格条件包括：
所有第一指定仪器之间的交集区域范围大于预设范围阈值，其中，所述第一指定仪器为所有仪器中第一考点对应的仪器。
可选地，所述装置还包括第三处理模块605，所述第三处理模块605用于：
获取多个样本图像，其中，每个所述样本图像对应于一个用户，所述样本图像为采集对应用户在实验操作过程中对仪器正确操作的图像；
针对每个所述样本图像，确定该样本图像中所有所述第一指定仪器之间的交集区域范围；
确定所有所述样本图像对应的交集区域范围中的最小范围值，将所述最小范围值确定为所述预设范围阈值。
可选地，所述第一考点对应的位置合格条件还包括：
所有所述第一指定仪器之间的交集区域范围大于预设范围阈值所持续的图像帧数/时长大于预设帧数阈值/预设时长阈值。
可选地，所述考点包括第二考点，所述第二考点对应的位置合格条件包括：
两个第二指定仪器之间的距离在由第一距离缩短为第二距离后，由所述第二距离增大至第三距离，其中，所述第二指定仪器为所述第二考点对应的仪器，所述第一距离和所述第三距离均大于第一预设距离阈值，所述第二距离小于第二预设距离阈值，所述第一预设距离阈值大于所述第二预设距离阈值。
可选地，所述两个第二指定仪器分别为用于转移实验药品的称量纸和用于盛放所述实验药品的容器。
可选地，所述仪器包括第一气体导管、第二气体导管、橡皮管；所述第一气体导管、第二气体导管的两个端口处均设有标签；
所述考点包括第三考点，所述第三考点对应的位置合格条件包括：
在所述橡皮管第一端口周围的预设范围内存在第一气体导管的标签，第二端口的所述预设范围内存在第二气体导管的标签。
可选地，所述实验包括双氧水制取氧气实验和/或二氧化碳制取实验，所述仪器包括分液漏斗、锥形瓶中的至少一个。
可选地，所述实验包括杠杆平衡实验，所述仪器包括立柱、杠杆轴、杠杆、钩码、弹簧测力计；所述杠杆轴在将所述杠杆固定于所述立柱上时，杠杆轴的长度方向为水平方向；
所述杠杆上设有两个第一标签，所述两个第一标签位于所述杠杆中心位置的两侧；所述钩码上设有第二标签；所述弹簧测力计上设有第三标签。
可选地，所述考点包括第四考点、第五考点、第六考点、第七考点中的至少一个；
其中，所述第四考点对应的位置合格条件包括：
所述杠杆轴位于所述两个第一标签之间；
所述第五考点对应的位置合格条件包括：
所述杠杆周围指定区域内不存在所述钩码和所述弹簧测力计，且所述杠杆对应的第一水平线，与所述杠杆轴对应的第二水平线之间的角度小于第一预设角度阈值；
所述第六考点对应的位置合格条件包括：
所述杠杆轴的左右两侧均存在所述钩码；所述杠杆对应的第一水平线，与所述杠杆轴对应的第二水平线之间的角度小于所述第一预设角度阈值；且所述杠杆的平衡螺母所在区域与所述操作者的手部所在区域不存在重合；
所述第七考点对应的位置合格条件包括：
所述杠杆轴的一侧存在所述钩码和所述弹簧测力计；弹簧测力计的高度大于杠杆的高度；所述杠杆轴对应的第二水平线、所述弹簧测力计对应的竖直线之间的角度与90度的差值小于第二预设角度阈值；所述杠杆对应的第一水平线，与所述杠杆轴对应的第二水平线之间的角度小于所述第一预设角度阈值。
可选地，所述杠杆对应的第一水平线为根据所述两个第一标签中的至少一个的轮廓线确定的；
所述杠杆的高度为根据所述两个第一标签中的至少一个的高度确定的；
所述弹簧测力计对应的竖直线为根据所述第三标签中的轮廓线确定的。
可选地，所述实验包括蒸发装置搭建实验，所述仪器包括铁架台、铁圈、蒸发皿、酒精灯；所述铁圈用于固定于所述铁架台上；
所述考点包括第八考点，所述第八考点对应的位置合格条件包括：
所述蒸发皿的位置高度与所述铁圈的位置高度之间的差值属于第一预设高度范围，所述蒸发皿的位置高度与所述酒精灯的位置高度之间的差值属于第二预设高度范围。
可选地，所述分析结果包括错误操作图像，所述错误操作图像为包含所述用户在实验操作过程中的错误操作的图像；
所述第二处理模块604还用于：
在根据所述仪器位置关系，对所述用户的实验操作过程进行分析，得到分析结果之后，将所述错误操作图像发送至所述用户的终端，以使所述终端显示所述错误操作图像。
本发明实施例提供的图像分析装置，可用于执行上述的方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
图7为本发明一实施例提供的图像分析设备的硬件结构示意图。如图7所示，本实施例提供的图像分析设备70包括：至少一个处理器701和存储器702。该图像分析设备70还包括通信部件703。其中，处理器701、存储器702以及通信部件703通过总线704连接。
在具体实现过程中，至少一个处理器701执行所述存储器702存储的计算机执行指令，使得至少一个处理器701执行如上的基于实验操作的图像分析方法。
处理器701的具体实现过程可参见上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
在上述的图7所示的实施例中，应理解，处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application SpecificIntegrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器。
总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上的基于实验操作的图像分析方法。
上述的计算机可读存储介质，上述可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。可读存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(Application Specific IntegratedCircuits，简称：ASIC)中。当然，处理器和可读存储介质也可以作为分立组件存在于设备中。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (22)
1.一种基于实验操作的图像分析方法，其特征在于，包括：
采集用户操作图像，其中，所述用户操作图像中包括用户在实验过程中操作的多个仪器，所述仪器上设有标签；
根据每一个所述仪器的标签，对每一个所述仪器的位置进行跟踪，得到每一个所述仪器的运动轨迹；
根据各所述仪器的运动轨迹，确定仪器位置关系，其中，所述仪器位置关系用于指示各所述仪器之间的相对位置关系；
根据所述仪器位置关系，对所述用户的实验操作过程进行分析，得到分析结果。
2.根据权利要求1所述的方法，其特征在于，所述实验包括多个考点，每个所述考点对应一个位置合格条件以及一个分值；
根据所述仪器位置关系，对所述用户的实验操作过程进行分析，得到分析结果，包括：
对所有得分考点对应的分值进行统计，将统计结果作为所述分析结果，其中，所述得分考点为所述仪器位置关系满足该考点对应的位置合格条件的考点。
3.根据权利要求2所述的方法，其特征在于，所述考点包括第一考点，所述第一考点对应的位置合格条件包括：
所有第一指定仪器之间的交集区域范围大于预设范围阈值，其中，所述第一指定仪器为所有仪器中第一考点对应的仪器。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
获取多个样本图像，其中，每个所述样本图像对应于一个用户，所述样本图像为采集对应用户在实验操作过程中对仪器正确操作的图像；
针对每个所述样本图像，确定该样本图像中所有所述第一指定仪器之间的交集区域范围；
确定所有所述样本图像对应的交集区域范围中的最小范围值，将所述最小范围值确定为所述预设范围阈值。
5.根据权利要求3所述的方法，其特征在于，所述第一考点对应的位置合格条件还包括：
所有所述第一指定仪器之间的交集区域范围大于预设范围阈值所持续的图像帧数/时长大于预设帧数阈值/预设时长阈值。
6.根据权利要求2所述的方法，其特征在于，所述考点包括第二考点，所述第二考点对应的位置合格条件包括：
两个第二指定仪器之间的距离在由第一距离缩短为第二距离后，由所述第二距离增大至第三距离，其中，所述第二指定仪器为所述第二考点对应的仪器，所述第一距离和所述第三距离均大于第一预设距离阈值，所述第二距离小于第二预设距离阈值，所述第一预设距离阈值大于所述第二预设距离阈值。
7.根据权利要求2所述的方法，其特征在于，所述仪器包括第一气体导管、第二气体导管、橡皮管；所述第一气体导管、第二气体导管的两个端口处均设有标签；
所述考点包括第三考点，所述第三考点对应的位置合格条件包括：
在所述橡皮管第一端口周围的预设范围内存在第一气体导管的标签，第二端口的所述预设范围内存在第二气体导管的标签。
8.根据权利要求1～7任一项所述的方法，其特征在于，所述实验包括双氧水制取氧气实验和/或二氧化碳制取实验，所述仪器包括分液漏斗、锥形瓶中的至少一个。
9.根据权利要求2所述的方法，其特征在于，所述实验包括杠杆平衡实验，所述仪器包括立柱、杠杆轴、杠杆、钩码、弹簧测力计；所述杠杆轴在将所述杠杆固定于所述立柱上时，杠杆轴的长度方向为水平方向；
所述杠杆上设有两个第一标签，所述两个第一标签位于所述杠杆中心位置的两侧；所述钩码上设有第二标签；所述弹簧测力计上设有第三标签。
10.根据权利要求9所述的方法，其特征在于，所述考点包括第四考点、第五考点、第六考点、第七考点中的至少一个；
其中，所述第四考点对应的位置合格条件包括：
所述杠杆轴位于所述两个第一标签之间；
所述第五考点对应的位置合格条件包括：
所述杠杆周围指定区域内不存在所述钩码和所述弹簧测力计，且所述杠杆对应的第一水平线，与所述杠杆轴对应的第二水平线之间的角度小于第一预设角度阈值；
所述第六考点对应的位置合格条件包括：
所述杠杆轴的左右两侧均存在所述钩码；所述杠杆对应的第一水平线，与所述杠杆轴对应的第二水平线之间的角度小于所述第一预设角度阈值；且所述杠杆的平衡螺母所在区域与所述操作者的手部所在区域不存在重合；
所述第七考点对应的位置合格条件包括：
所述杠杆轴的一侧存在所述钩码和所述弹簧测力计；弹簧测力计的高度大于杠杆的高度；所述杠杆轴对应的第二水平线、所述弹簧测力计对应的竖直线之间的角度与90度的差值小于第二预设角度阈值；所述杠杆对应的第一水平线，与所述杠杆轴对应的第二水平线之间的角度小于所述第一预设角度阈值。
11.根据权利要求10所述的方法，其特征在于，所述杠杆对应的第一水平线为根据所述两个第一标签中的至少一个的轮廓线确定的；
所述杠杆的高度为根据所述两个第一标签中的至少一个的高度确定的；
所述弹簧测力计对应的竖直线为根据所述第三标签中的轮廓线确定的。
12.根据权利要求2所述的方法，其特征在于，所述实验包括蒸发装置搭建实验，所述仪器包括铁架台、铁圈、蒸发皿、酒精灯；所述铁圈用于固定于所述铁架台上；
所述考点包括第八考点，所述第八考点对应的位置合格条件包括：
所述蒸发皿的位置高度与所述铁圈的位置高度之间的差值属于第一预设高度范围，所述蒸发皿的位置高度与所述酒精灯的位置高度之间的差值属于第二预设高度范围。
13.根据权利要求1～12任一项所述的方法，其特征在于，所述分析结果包括错误操作图像，所述错误操作图像为包含所述用户在实验操作过程中的错误操作的图像；
根据所述仪器位置关系，对所述用户的实验操作过程进行分析，得到分析结果之后，所述方法还包括：
将所述错误操作图像发送至所述用户的终端，以使所述终端显示所述错误操作图像。
14.一种图像分析装置，其特征在于，包括：
采集模块，用于采集用户操作图像，其中，所述用户操作图像中包括用户在实验过程中操作的多个仪器，所述仪器上设有标签；
跟踪模块，用于根据每一个所述仪器的标签，对每一个所述仪器的位置进行跟踪，得到每一个所述仪器的运动轨迹；
第一处理模块，用于根据各所述仪器的运动轨迹，确定仪器位置关系，其中，所述仪器位置关系用于指示各所述仪器之间的相对位置关系；
第二处理模块，用于根据所述仪器位置关系，对所述用户的实验操作过程进行分析，得到分析结果。
15.根据权利要求14所述的装置，其特征在于，所述实验包括多个考点，每个所述考点对应一个位置合格条件以及一个分值；
所述第二处理模块，用于：
对所有得分考点对应的分值进行统计，将统计结果作为所述分析结果，其中，所述得分考点为所述仪器位置关系满足该考点对应的位置合格条件的考点。
16.根据权利要求15所述的装置，其特征在于，所述考点包括第一考点，所述第一考点对应的位置合格条件包括：
所有第一指定仪器之间的交集区域范围大于预设范围阈值，其中，所述第一指定仪器为所有仪器中第一考点对应的仪器。
17.根据权利要求16所述的装置，其特征在于，所述装置还包括第三处理模块，所述第三处理模块用于：
获取多个样本图像，其中，每个所述样本图像对应于一个用户，所述样本图像为采集对应用户在实验操作过程中对仪器正确操作的图像；
针对每个所述样本图像，确定该样本图像中所有所述第一指定仪器之间的交集区域范围；
确定所有所述样本图像对应的交集区域范围中的最小范围值，将所述最小范围值确定为所述预设范围阈值。
18.根据权利要求16所述的装置，其特征在于，所述第一考点对应的位置合格条件还包括：
所有所述第一指定仪器之间的交集区域范围大于预设范围阈值所持续的图像帧数/时长大于预设帧数阈值/预设时长阈值。
19.根据权利要求15所述的装置，其特征在于，所述考点包括第二考点，所述第二考点对应的位置合格条件包括：
两个第二指定仪器之间的距离在由第一距离缩短为第二距离后，由所述第二距离增大至第三距离，其中，所述第二指定仪器为所述第二考点对应的仪器，所述第一距离和所述第三距离均大于第一预设距离阈值，所述第二距离小于第二预设距离阈值，所述第一预设距离阈值大于所述第二预设距离阈值。
20.根据权利要求14～19任一项所述的装置，其特征在于，所述分析结果包括错误操作图像，所述错误操作图像为包含所述用户在实验操作过程中的错误操作的图像；
所述第二处理模块还用于：
在根据所述仪器位置关系，对所述用户的实验操作过程进行分析，得到分析结果之后，将所述错误操作图像发送至所述用户的终端，以使所述终端显示所述错误操作图像。
21.一种图像分析设备，其特征在于，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1～13任一项所述的基于实验操作的图像分析方法。
22.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1～13任一项所述的基于实验操作的图像分析方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910882824.9A CN111753613B (zh) | 2019-09-18 | 2019-09-18 | 基于实验操作的图像分析方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910882824.9A CN111753613B (zh) | 2019-09-18 | 2019-09-18 | 基于实验操作的图像分析方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111753613A true CN111753613A (zh) | 2020-10-09 |
| CN111753613B CN111753613B (zh) | 2023-10-10 |
Family
ID=72672908
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910882824.9A Active CN111753613B (zh) | 2019-09-18 | 2019-09-18 | 基于实验操作的图像分析方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111753613B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113096340A (zh) * | 2021-03-01 | 2021-07-09 | 浙江工业大学 | 一种化工室内实验安全防护系统 |
| CN117726977A (zh) * | 2024-02-07 | 2024-03-19 | 南京百伦斯智能科技有限公司 | 基于dcnn的实验操作关键节点评分方法和系统 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101473439A (zh) * | 2006-04-17 | 2009-07-01 | 全视Cdm光学有限公司 | 阵列成像系统及相关方法 |
| US20140115622A1 (en) * | 2012-10-18 | 2014-04-24 | Chi-Hsiang Chang | Interactive Video/Image-relevant Information Embedding Technology |
| CN104049586A (zh) * | 2013-03-15 | 2014-09-17 | 费希尔-罗斯蒙特系统公司 | 具有实时环境感知的移动控制室 |
| CN104049585A (zh) * | 2013-03-15 | 2014-09-17 | 费希尔-罗斯蒙特系统公司 | 过程工厂中环境敏感的移动控制 |
| CN105717111A (zh) * | 2016-04-29 | 2016-06-29 | 中储粮成都粮食储藏科学研究所 | 一种基于机器视觉的检测溶液颜色变化的自动滴定装置及检测方法 |
| CN107255731A (zh) * | 2011-09-09 | 2017-10-17 | 简·探针公司 | 自动化样品处理仪器、系统、过程和方法 |
| EP3301454A1 (en) * | 2016-10-03 | 2018-04-04 | Accelerate Diagnostics, Inc. | Instrument and system for rapid microorganism identification and antimicrobial agent susceptibility testing |
| US20180101732A1 (en) * | 2015-03-16 | 2018-04-12 | Canon Kabushiki Kaisha | Image processing apparatus, image processing system, method for image processing, and computer program |
| US20180190030A1 (en) * | 2016-12-30 | 2018-07-05 | Baidu Online Network Technology (Beijing) Co., Ltd. | Display method and apparatus |
| CN108875465A (zh) * | 2017-05-26 | 2018-11-23 | 北京旷视科技有限公司 | 多目标跟踪方法、多目标跟踪装置以及非易失性存储介质 |
| CN109254662A (zh) * | 2018-09-04 | 2019-01-22 | 平安普惠企业管理有限公司 | 移动设备操作方法、装置、计算机设备及存储介质 |
| CN109416928A (zh) * | 2016-06-07 | 2019-03-01 | 伊路米纳有限公司 | 用于进行二级和/或三级处理的生物信息学系统、设备和方法 |
| CN109863391A (zh) * | 2016-10-05 | 2019-06-07 | 雅培实验室 | 用于样品分析的装置和方法 |
-
2019
- 2019-09-18 CN CN201910882824.9A patent/CN111753613B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101473439A (zh) * | 2006-04-17 | 2009-07-01 | 全视Cdm光学有限公司 | 阵列成像系统及相关方法 |
| CN107255731A (zh) * | 2011-09-09 | 2017-10-17 | 简·探针公司 | 自动化样品处理仪器、系统、过程和方法 |
| US20140115622A1 (en) * | 2012-10-18 | 2014-04-24 | Chi-Hsiang Chang | Interactive Video/Image-relevant Information Embedding Technology |
| CN104049586A (zh) * | 2013-03-15 | 2014-09-17 | 费希尔-罗斯蒙特系统公司 | 具有实时环境感知的移动控制室 |
| CN104049585A (zh) * | 2013-03-15 | 2014-09-17 | 费希尔-罗斯蒙特系统公司 | 过程工厂中环境敏感的移动控制 |
| US20180101732A1 (en) * | 2015-03-16 | 2018-04-12 | Canon Kabushiki Kaisha | Image processing apparatus, image processing system, method for image processing, and computer program |
| CN105717111A (zh) * | 2016-04-29 | 2016-06-29 | 中储粮成都粮食储藏科学研究所 | 一种基于机器视觉的检测溶液颜色变化的自动滴定装置及检测方法 |
| CN109416928A (zh) * | 2016-06-07 | 2019-03-01 | 伊路米纳有限公司 | 用于进行二级和/或三级处理的生物信息学系统、设备和方法 |
| EP3301454A1 (en) * | 2016-10-03 | 2018-04-04 | Accelerate Diagnostics, Inc. | Instrument and system for rapid microorganism identification and antimicrobial agent susceptibility testing |
| CN109863391A (zh) * | 2016-10-05 | 2019-06-07 | 雅培实验室 | 用于样品分析的装置和方法 |
| US20180190030A1 (en) * | 2016-12-30 | 2018-07-05 | Baidu Online Network Technology (Beijing) Co., Ltd. | Display method and apparatus |
| CN108875465A (zh) * | 2017-05-26 | 2018-11-23 | 北京旷视科技有限公司 | 多目标跟踪方法、多目标跟踪装置以及非易失性存储介质 |
| CN109254662A (zh) * | 2018-09-04 | 2019-01-22 | 平安普惠企业管理有限公司 | 移动设备操作方法、装置、计算机设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| FRANK PENNEKAMP等: "Implementing image analysis in laboratory-based experimental systems for ecology and evolution:a hands-on guide", 《METHODS IN ECOLOGY AND EVOLUTION》, pages 483 - 492 * |
| 孙位位: "化学教学中学生自主学习能力培养的实践研究—以淮阳县实验高中为例", 《中国优秀硕士学位论文全文数据库 (社会科学Ⅱ辑)》, no. 1, pages 130 - 2825 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113096340A (zh) * | 2021-03-01 | 2021-07-09 | 浙江工业大学 | 一种化工室内实验安全防护系统 |
| CN117726977A (zh) * | 2024-02-07 | 2024-03-19 | 南京百伦斯智能科技有限公司 | 基于dcnn的实验操作关键节点评分方法和系统 |
| CN117726977B (zh) * | 2024-02-07 | 2024-04-12 | 南京百伦斯智能科技有限公司 | 基于dcnn的实验操作关键节点评分方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111753613B (zh) | 2023-10-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3155368B1 (en) | Drawer vision system | |
| CN107067003B (zh) | 感兴趣区域边界的提取方法、装置、设备和计算机存储介质 | |
| CN101295402B (zh) | 信息处理设备和信息处理方法 | |
| CN111210468A (zh) | 一种图像深度信息获取方法及装置 | |
| CN111753613B (zh) | 基于实验操作的图像分析方法、装置、设备及存储介质 | |
| CN111656358A (zh) | 分析捕获的图像以确定测试成果 | |
| TWI716012B (zh) | 樣本標註方法、裝置、儲存媒體和計算設備、損傷類別的識別方法及裝置 | |
| CN110135396B (zh) | 地面标志的识别方法、装置、设备及介质 | |
| CN112017231B (zh) | 基于单目摄像头的人体体重识别方法、装置及存储介质 | |
| CN103487104A (zh) | 一种细管液面式数据的图像采集识别系统及方法 | |
| CN111428717A (zh) | 文本识别方法、装置、电子设备及计算机可读存储介质 | |
| CN113628079A (zh) | 评分方法、装置、电子设备及可读介质 | |
| JP3035916U (ja) | プラント監視装置 | |
| CN114782437B (zh) | 一种基于人工智能的电脑主板质量检测方法及系统 | |
| CN111179340A (zh) | 一种物体的定位方法、装置及计算机系统 | |
| CN112153320B (zh) | 一种物品尺寸的测量方法、装置、电子设备和存储介质 | |
| CN111768439B (zh) | 一种确定实验评分的方法、装置、电子设备及介质 | |
| CN111026924A (zh) | 一种待搜索内容的获取方法及电子设备 | |
| CN113901934A (zh) | 一种大输液包装产品的智能视觉检测方法、系统及装置 | |
| CN111144172B (zh) | 一种基于视频的评分方法、装置及电子设备 | |
| CN111243410B (zh) | 一种化学漏斗装置搭建实验操作装置及智能评分方法 | |
| CN113916899A (zh) | 基于视觉识别的大输液软袋产品的检测方法、系统及装置 | |
| CN111753633A (zh) | 目标检测方法及装置 | |
| CN112686203A (zh) | 一种基于空间先验的车辆安全警示装置检测方法 | |
| CN109559585B (zh) | 一种模拟训练仿真控制系统和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |