CN111753633B - 目标检测方法及装置 - Google Patents

目标检测方法及装置 Download PDF

Info

Publication number
CN111753633B
CN111753633B CN202010238622.3A CN202010238622A CN111753633B CN 111753633 B CN111753633 B CN 111753633B CN 202010238622 A CN202010238622 A CN 202010238622A CN 111753633 B CN111753633 B CN 111753633B
Authority
CN
China
Prior art keywords
target object
video
target
determining
assessment score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010238622.3A
Other languages
English (en)
Other versions
CN111753633A (zh
Inventor
赵帅帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202010238622.3A priority Critical patent/CN111753633B/zh
Publication of CN111753633A publication Critical patent/CN111753633A/zh
Application granted granted Critical
Publication of CN111753633B publication Critical patent/CN111753633B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • G06Q50/205Education administration or guidance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Multimedia (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种目标检测方法及装置,所述方法包括:从摄像机在目标对象执行指定操作时所采集到的视频流中检测出目标视频,所述目标视频为包含所述目标对象在执行所述指定操作过程中所执行的待考核操作的视频;依据所述目标视频确定所述目标对象执行所述待考核操作的考核分数;依据所述目标对象执行所述待考核操作的考核分数确定所述目标对象执行所述指定操作的考核分数。应用该方法,可以自动对目标对象执行指定操作的过程进行考核,同时,由于针对不同的目标对象采用统一的考核标准,因此可以有效地保证对不同目标对象考核结果的客观性和准确性。

Description

目标检测方法及装置
技术领域
本申请涉及视频处理技术领域,尤其涉及一种目标检测方法及装置。
背景技术
在一些应用中,常由人工来监测目标对象执行指定操作的过程,并对目标对象执行的指定操作进行考核。
以考生执行化学实验操作为例,由一个或多个监考老师负责监测考场中每一个考生执行化学实验操作的过程,并确定考生执行化学实验操作的考核分数。如此处理,不仅耗费人工成本,同时也会存在不同的监考老师对于同一指定操作具有不同的考核标准,而导致监考老师对考生执行化学实验操作的考核分数不准确的问题。
发明内容
有鉴于此,本申请提供一种目标检测方法及装置。
根据本申请实施例的第一方面,提供一种目标检测方法,所述方法包括:
从摄像机在目标对象执行指定操作时所采集到的视频流中检测出目标视频,所述目标视频为包含所述目标对象在执行所述指定操作过程中所执行的待考核操作的视频;
依据所述目标视频确定所述目标对象执行所述待考核操作的考核分数;
依据所述目标对象执行所述待考核操作的考核分数确定所述目标对象执行所述指定操作的考核分数。
在一实施例中,所述从摄像机在目标对象执行指定操作时所采集到的视频流中检测出目标视频,包括:
按顺序对所述视频流中的视频帧进行识别,当识别出所述视频流的第一视频帧中存在用于指示所述目标对象开始执行待考核操作的第一事件时,确定所述目标对象开始执行所述待考核操作,当识别出所述第一视频帧之后的第二视频帧中存在用于指示所述目标对象结束所述待考核操作的第二事件时,确定所述目标对象结束执行所述待考核操作;
将所述视频流中以所述第一视频帧为首个视频帧,所述第二视频帧为最后一个视频帧的一段视频确定为所述待考核操作对应的目标视频。
在一实施例中,所述依据所述目标视频确定所述目标对象执行所述待考核操作的考核分数,包括:
将所述目标视频输入至已训练的深度学习模型以得到所述待考核操作对应的考核信息;
依据所述考核信息确定所述待考核操作的考核分数。
在一实施例中,该方法进一步包括:
确定所述目标对象在执行完所述指定操作后得到的操作结果信息的考核分数;
所述依据所述目标对象执行所述待考核操作的考核分数确定所述目标对象执行所述指定操作的考核分数,包括:
依据所述操作结果信息的考核分数和所述目标对象执行所述待考核操作的考核分数确定所述目标对象执行所述指定操作的考核分数。
在一实施例中,所述目标对象执行指定操作为:考生执行测定溶液PH值实验;
所述确定所述目标对象在执行完所述指定操作后得到的操作结果信息的考核分数,包括:
从所述视频流中检测出PH试纸上的变色区域和考生测定的溶液PH值;
以所述变色区域的颜色信息为关键字在比色卡中查找到对应的PH值;
依据查找到的PH值和考生测定的溶液PH值确定考核分数。
在一实施例中,所述目标对象执行指定操作为:考生执行测定溶液PH值实验;
所述待考核操作为:所述考生执行测定溶液PH值实验过程中的取液操作、PH值读数比色操作;
所述取液操作是指使用玻璃棒蘸取待测液体,并将待测液体滴在放置在点滴板上的PH试纸上的操作;
所述PH值读数操作是指使用比色卡与变色的PH试纸进行比色的操作。
根据本申请实施例的第二方面,提供一种目标检测装置,所述装置包括:
检测模块,用于从摄像机在目标对象执行指定操作时所采集到的视频流中检测出目标视频,所述目标视频为包含所述目标对象在执行所述指定操作过程中所执行的待考核操作的视频;
第一考核模块,用于依据所述目标视频确定所述目标对象执行所述待考核操作的考核分数;
第二考核模块,用于依据所述目标对象执行所述待考核操作的考核分数确定所述目标对象执行所述指定操作的考核分数。
在一实施例中,所述检测模块从摄像机在目标对象执行指定操作时所采集到的视频流中检测出目标视频,包括:
按顺序对所述视频流中的视频帧进行识别,当识别出所述视频流的第一视频帧中存在用于指示所述目标对象开始执行待考核操作的第一事件时,确定所述目标对象开始执行所述待考核操作,当识别出所述第一视频帧之后的第二视频帧中存在用于指示所述目标对象结束所述待考核操作的第二事件时,确定所述目标对象结束执行所述待考核操作;
将所述视频流中以所述第一视频帧为首个视频帧,所述第二视频帧为最后一个视频帧的一段视频确定为所述待考核操作对应的目标视频。
在一实施例中,所述第一考核模块依据所述目标视频确定所述目标对象执行所述待考核操作的考核分数,包括:
将所述目标视频输入至已训练的深度学习模型以得到所述待考核操作对应的考核信息;
依据所述考核信息确定所述待考核操作的考核分数。
在一实施例中,所述装置进一步包括:
第三考核模块,用于确定所述目标对象在执行完所述指定操作后得到的操作结果信息的考核分数;
所述第二考核模块依据所述目标对象执行所述待考核操作的考核分数确定所述目标对象执行所述指定操作的考核分数包括:
依据所述操作结果信息的考核分数和所述目标对象执行所述待考核操作的考核分数确定所述目标对象执行所述指定操作的考核分数。
在一实施例中,所述目标对象执行指定操作为:考生执行测定溶液PH值实验;
所述第三考核模块确定所述目标对象在执行完所述指定操作后得到的操作结果信息的考核分数包括:
从所述视频流中检测出PH试纸上的变色区域和考生测定的溶液PH值;
以所述变色区域的颜色信息为关键字在比色卡中查找到对应的PH值;
依据查找到的PH值和考生测定的溶液PH值确定考核分数。
在一实施例中,所述目标对象执行指定操作为:考生执行测定溶液PH值实验;
所述待考核操作为:所述考生执行测定溶液PH值实验过程中的取液操作、PH值读数比色操作;
所述取液操作是指使用玻璃棒蘸取待测液体,并将待测液体滴在放置在点滴板上的PH试纸上的操作;
所述PH值读数操作是指使用比色卡与变色的PH试纸进行比色的操作。
根据本申请实施例的第三方面,提供一种电子设备,所述设备包括可读存储介质和处理器;
其中,所述可读存储介质,用于存储机器可执行指令;
所述处理器,用于读取所述可读存储介质上的所述机器可执行指令,并执行所述指令以实现本申请实施例提供的目标检测方法的步骤。
根据本申请实施例的第四方面,提供一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现本申请实施例提供的目标检测方法的步骤。
应用本申请实施例,通过从摄像机在目标对象执行指定操作时所采集到的视频流中检测出目标视频,依据目标视频确定目标对象执行待考核操作的考核分数,依据目标对象执行待考核操作的考核分数确定目标对象执行指定操作的考核分数,实现了自动对目标对象执行指定操作的过程进行考核,同时,由于针对不同的目标对象采用统一的考核标准,因此可以有效地保证对不同目标对象考核结果的客观性和准确性。
附图说明
图1为本申请一示例性实施例提供的应用场景示意图;
图2为本申请一示例性实施例提供的一种目标检测方法的实施例流程图;
图3为本申请一示例性实施例提供的一种步骤202的实现流程;
图4为本申请一示例性实施例提供的一种步骤203之后的实现流程;
图5为本申请一示例性实施例提供的一种目标检测装置的实施例框图;
图6本申请根据一示例性实施例示出的一种电子设备的硬件结构图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
为了便于理解本申请,首先对应用本申请提出的目标检测方法的应用场景进行示例性说明。
在一示例性应用场景中,可以通过摄像机采集考生执行化学实验操作,例如测定溶液PH值实验时的视频流,基于本申请提出的目标检测方法确定考生执行化学实验操作的考核分数。基于此,在图1所示例的应用场景中,可以包括:考生101、操作台102、摄像机103、网络104以及电子设备105。
其中,网络104用于在摄像机103和电子设备105之间提供通信链路,可以包括无线链路、有线链路或者光纤电缆等,本申请对此不做限制。
操作台102上可放置有执行化学实验操作所需要的实验器材(图1中未示出),例如玻璃棒、量杯、试管等,以供考生执行化学实验操作。
摄像机103可以实施为枪型摄像机、鱼眼摄像机、球型摄像机等,本申请对摄像机103的具体实施形式不做限制。在本申请实施例中,摄像机103可以正对操作台102,以采集考生执行化学实验操作时的视频流。在一优选的实施例中,为了保证考核结果的精准度,设置为一台摄像机仅对应一个操作台,也即一台摄像机仅负责采集一个考生执行化学实验操作时的视频流。
电子设备105可以是支持网络连接从而提供各种网络服务的硬件设备,包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机、服务器等。在本申请实施例中,电子设备105可以获取摄像机103在考生执行化学实验操作时所采集到的视频流,基于该视频流执行本申请提供的目标检测方法,以实现自动确定考生执行化学实验操作的考核分数。
下面基于图1所示例的应用场景,通过具体的实施例对本申请提供的目标检测方法进行说明:
请参见图2,为本申请一示例性实施例提供的一种目标检测方法的实施例流程图,在一个例子中,该方法可以应用于电子设备,例如图1中所示例的电子设备105。
如图2所示,包括以下步骤:
步骤201:从摄像机在目标对象执行指定操作时所采集到的视频流中检测出目标视频,该目标视频为包含目标对象在执行指定操作过程中所执行的待考核操作的视频。
作为一个示例,电子设备可以实时获取摄像机在目标对象执行指定操作时所采集到的视频流。
作为另一个示例,电子设备也可以在目标对象完成指定操作后,获取摄像机在目标对象执行指定操作是所采集到的视频流。
在应用中,为了实现操作逻辑分明,可将一个完整的指定操作划分为几部分子操作,例如,测定溶液PH值实验可以由两部分子操作组成,分别为取液操作、PH值读数比色操作,其中,取液操作是指使用玻璃棒蘸取待测液体,并将待测液体滴在放置在点滴板上的PH试纸上的操作,PH值读数比色操作是指使用比色卡与变色的PH试纸进行比色的操作。进一步,还可以根据实际需要,在完整的指定操作所包含的几部分子操作中选择一个或多个子操作作为待考核操作,例如,对于测定溶液PH值实验,将其中的取液操作和PH值读数比色操作均作为待考核操作。
基于此,在本步骤202中,则可以从摄像机在目标对象执行指定操作时所采集到的视频流中检测出包含目标对象执行各个待考核操作的视频(以下简称目标视频)。至于是如何从摄像机在目标对象执行指定操作时所采集到的视频流中检测出包含目标对象执行各个待考核操作的目标视频的,下文中会有详细描述,这里先不描述。
步骤202:依据目标视频确定目标对象执行待考核操作的考核分数。
在应用中,由于不同的目标对象有不同的操作习惯,例如,在图1所示例的应用场景中,有的考生习惯右手拿玻璃棒,左手拿容器,而有的考生则习惯左手拿玻璃棒,右手拿容器,至于是左手拿玻璃棒还是右手拿玻璃棒,并不会对化学实验操作结果产生影响,因此,并非一定要求不同考生在执行整个化学实验操作时,每个操作步骤都做到统一标准,而是可以针对化学实验操作中的待考核操作设置一些特定的考核点,要求对于不同的考生而言,其对特定考核点的操作做到规范统一即可。
举例来说,在取液操作这一待考核操作中,特定的考核点包括:PH试纸放置在点滴板上、考生使用玻璃棒蘸取待测液体并滴在PH试纸上,以及点滴过程中PH试纸保持在点滴板上。
再举例来说,在PH值读数比色操作这一待考核操作中,特定的考核点包括:使用比色卡、将比色卡与变色的PH试纸靠近比色。
基于此,在本步骤202中,可以依据目标视频检测目标对象执行待考核操作过程中,对于该待考核操作的每个考核点的执行情况,根据各个考核点的执行情况确定目标对象执行待考核操作的考核分数。至于具体是如何实现的,下文中会有详细描述,这里先不描述。
作为一个实施例,可以预先针对待考核操作设置一个最高的考核分数,并针对该待考核操作的每个考核点设置相应的扣分规则,例如,如下述表1所示,为取液操作和PH值读数比色操作各自对应的考核规则的示例:
表1
基于上述表1举例来说,假设考生在执行取液操作时,首先将PH试纸放置在点滴板上、然后将待测液体倾倒在放置在点滴板的PH试纸上,可见该考生对于考核点“使用玻璃棒蘸取待测液体并滴在PH试纸上”的操作不规范,因此,可以从取液操作对应的最高考核分数40分中扣除20分,得到考生执行取液操作的考核分数为20分。
步骤203:依据目标对象执行待考核操作的考核分数确定目标对象执行指定操作的考核分数。
由上述描述可知,指定操作可以包括一个或几个待考核操作,且通过执行步骤202可以确定目标对象执行各待考核操作的考核分数,据此,则可以依据目标对象执行待考核操作的考核分数确定目标对象执行指定操作的考核分数。
作为一个示例,可以将目标对象执行各待考核操作的考核分数相加,得到目标对象执行指定操作的考核分数。
作为另一个示例,还可以预先针对各待考核操作分别设置相应的分值权重,基于该分值权重将目标对象执行各待考核操作的考核分数进行加权相加,得到目标对象执行指定操作的考核分数。
至此,完成图2所示流程的相关描述。
由上述实施例可见,通过从摄像机在目标对象执行指定操作时所采集到的视频流中检测出目标视频,依据目标视频确定目标对象执行待考核操作的考核分数,依据目标对象执行待考核操作的考核分数确定目标对象执行指定操作的考核分数,实现了自动对目标对象执行指定操作的过程进行考核,同时,由于针对不同的目标对象采用统一的考核标准,因此可以有效地保证对不同目标对象考核结果的客观性和准确性。
下面描述如何从摄像机在目标对象执行指定操作时所采集到的视频流中检测出包含目标对象执行待考核操作的目标视频:
作为一个实施例,可以按顺序对上述视频流进行识别,当从视频流的一个视频帧(以下简称第一视频帧)中识别出用于指示目标对象开始执行待考核操作的事件(以下简称第一事件)时,即识别出视频流的第一视频帧中存在第一事件时,可以确定目标对象开始执行待考核操作。类似的,当从第一视频帧之后的一个视频帧(以下简称第二视频帧)中识别出用于指示目标对象结束待考核操作的事件(以下简称第二事件)时,即识别出第二视频帧中存在第二事件时,确定目标对象结束执行待考核操作。将视频流中以第一视频帧为首个视频帧,第二视频帧为最后一个视频帧的一段视频确定为待考核操作对应的目标视频。
以取液操作为例,上述第一事件可以指:未使用过的PH试纸被放置在点滴板上,上述第二事件可以指:点滴板上放置的PH试纸变色。
通过上述实施例,实现了从摄像机在目标对象执行指定操作时所采集到的视频流中检测出包含目标对象执行待考核操作的目标视频。
请参见图3,为本申请一示例性实施例提供的一种步骤202的实现流程。
如图3所示,包括以下步骤:
步骤301:将目标视频输入至已训练的深度学习模型以得到待考核操作对应的考核信息。
步骤302:依据考核信息确定待考核操作的考核分数。
以下对步骤302和步骤302进行统一说明:
首先说明,上述已训练的深度学习模型可以包括两个部分,分别为目标检测网络和关键点检测网络。其中,目标检测网络可以基于YOLOV2目标检测方法实现,被配置为检测出输入的视频帧中包括的各个器材,例如玻璃棒、点滴板等;关键点检测网络则可以基于关键点检测方法实现,被配置为定位出输入的视频帧中包括的器材上的关键区域,例如,对于PH试纸而言,其关键区域为变色区域,再例如,对于玻璃棒而言,其关键区域为头部位置。
需要说明的是,在本申请实施例中,之所以设定深度学习模型包括目标检测网络和关键点检测网络两个部分,原因在于:目标检测网络只是将视频帧中的器材使用矩形框框出来,即定位出视频帧中的器材,而在一些应用场景中,例如取液操作过程中,玻璃棒的头部位置要和PH试纸进行接触,而为了检测这一点就需要使用关键点检测网络对玻璃棒的头部位置进行定位。
此外,本领域技术人员可以理解的是,在应用中,可以采集多人次执行指定操作时的视频流作为训练数据,并且,事先对训练数据中的每一视频帧进行人工标注,标注出其中的器材,之后,利用标注好的训练数据对深度学习模型进行训练,得到上述已训练的深度学习模型。至于该深度学习模型详细的训练过程,本申请则不再详述。
基于上述描述,作为一个实施例,可以将目标视频输入至已训练的深度学习模型以得到待考核操作对应的考核信息,依据该考核信息确定待考核操作的考核分数。
以考生执行化学实验操作这一应用场景为例,通过将目标视频输入至已训练的深度学习模型,可以检测出各视频帧上器材的位置、器材上关键区域的位置,这些信息即为待考核操作对应的考核信息。由于通过各视频帧上器材的位置、器材上关键区域的位置可以确定考生的真实操作过程,因此基于这些信息则可以确定考生对该待考核操作的每个考核点的执行情况,从而实现根据各个考核点的执行情况确定目标对象执行待考核操作的考核分数。
此外,作为一个示例,在将目标视频输入至已训练的深度学习模型之前,还可以对目标视频中的各个视频帧进行预处理操作,这里的预处理操作包括但不限于感兴趣区域选择、图像大小调整、图像对比度调整等。通过该种处理,可以提高利用深度学习模型对目标视频进行识别的效率和识别结果的准确度。
此外,对于某些指定操作而言,可以由目标对象基于实际的操作结果得到一个操作结果信息,例如,在考生执行完测定溶液PH值实验之后,可以在答题卡上写出测定的溶液PH值,该PH值即为考生得到的操作结果信息。
基于此,在本申请实施例中,还可以确定目标对象在执行完指定操作后得到的操作结果信息的考核分数,在上述步骤203中,则可以依据操作结果信息的考核分数和目标对象执行待考核操作的考核分数确定目标对象执行指定操作的考核分数。
作为一个实施例,可以预先针对操作结果信息设置一个最高考核分数,并确定一个标准的操作结果信息,依据该最高的考核分数和标准的操作结果信息确定目标对象得到的操作结果信息的考核分数。
以下以测定溶液PH值实验为例,示出图4所示流程对确定目标对象在执行完指定操作后得到的操作结果信息的考核分数的过程进行说明:
如图4所示,包括以下步骤:
步骤401:从视频流中检测出PH试纸上的变色区域和考生测定的溶液PH值。
首先说明如何从视频流中检测出PH试纸上的变色区域:
作为一个实施例,可以首先从视频流中检测出待读取PH值,即待检测PH试纸上变色区域的视频帧(以下简称目标视频帧)。由于待考生将待测溶液点滴在PH试纸上之后,PH试纸上才会出现变色区域,并且,PH试纸变色是一个过程,而读取PH试纸显示的PH值的时机将影响到最终的读取结果,因此,可以将摄像机在考生将待测溶液点滴在PH试纸上之后,所采集到的视频帧确定为目标视频帧。
在一个例子中,对于PH值读数比色操作而言,可以将视频流中位于上述第二视频帧之后的视频帧确定为目标视频帧。
作为一个示例,可以针对每一目标视频帧,将目标视频帧输入至上述深度学习模型,以由深度学习模型中的目标检测网络识别出该目标视频帧中包括的PH试纸并将识别结果输入至深度学习模型中的关键点检测网络,以由关键点检测网络依据识别结果在该目标视频帧中包括PH试纸上定位出变色区域。
作为另一个示例,还可以针对每一目标视频帧,通过传统的图像处理技术手段,例如二值化处理、前景提取等再目标视频帧中包括的PH试纸上定位出变色区域,本申请对这一过程不做赘述。
其次说明如何从视频流中检测出考生测定的溶液PH值:
作为一个实施例,可以从视频流中检测出存在考生测定的溶液PH值的视频帧,然后对该视频帧进行分析识别,例如利用ORC(Optical Character Recognition,光学字符识别)技术,从该视频帧中获取考生测定的溶液PH值。
步骤402:以变色区域的颜色信息为关键字在比色卡中查找到对应的PH值。
作为一个示例,上述颜色信息可以为RGB颜色信息,也可以为YUV颜色信息,本申请对此不做限制。
在本步骤402中,可以以变色区域的颜色信息为关键字查找比色卡,该比色卡包括颜色信息和PH值的对应关系,以查找到对应的PH值。该对应的PH值即为上述描述的标准的操作结果信息。
步骤403:依据查找到的PH值和考生测定的溶液PH值确定考核分数。
作为一个实施例,由上述描述可知,通过执行步骤401和步骤402,可以查找到多个PH值,即多个标准的操作结果信息。基于此,在本步骤403中,作为一个示例,可以针对每一目标视频帧对应的所查找到的PH值,计算出该PH值和考生测定的溶液PH值之间的差值,然后根据计算出的所有差值确定考核分数。
在一个例子中,可以计算出所有差值的平均值,然后将该平均值与多个预设范围进行比较,确定该平均值属于哪个预设范围内,最终将该平均值所属的预设范围对应的考核分数确定为考生在执行完测定溶液PH值实验后测定的溶液PH值的考核分数。
至此,完成图4所示流程的相关描述。
通过图4所示流程,最终实现了自动确定考生测定的溶液PH值的考核分数。
与前述目标检测方法的实施例相对应,本申请还提供了目标检测装置的实施例。
请参见图5,为本申请一示例性实施例提供的一种目标检测装置的实施例框图,该装置包括:
检测模块51,用于从摄像机在目标对象执行指定操作时所采集到的视频流中检测出目标视频,所述目标视频为包含所述目标对象在执行所述指定操作过程中所执行的待考核操作的视频;
第一考核模块52,用于依据所述目标视频确定所述目标对象执行所述待考核操作的考核分数;
第二考核模块53,用于依据所述目标对象执行所述待考核操作的考核分数确定所述目标对象执行所述指定操作的考核分数。
在一实施例中,所述检测模块51从摄像机在目标对象执行指定操作时所采集到的视频流中检测出目标视频,包括:
按顺序对所述视频流中的视频帧进行识别,当识别出所述视频流的第一视频帧中存在用于指示所述目标对象开始执行待考核操作的第一事件时,确定所述目标对象开始执行所述待考核操作,当识别出所述第一视频帧之后的第二视频帧中存在用于指示所述目标对象结束所述待考核操作的第二事件时,确定所述目标对象结束执行所述待考核操作;
将所述视频流中以所述第一视频帧为首个视频帧,所述第二视频帧为最后一个视频帧的一段视频确定为所述待考核操作对应的目标视频。
在一实施例中,所述第一考核模块52依据所述目标视频确定所述目标对象执行所述待考核操作的考核分数,包括:
将所述目标视频输入至已训练的深度学习模型以得到所述待考核操作对应的考核信息;
依据所述考核信息确定所述待考核操作的考核分数。
在一实施例中,所述装置进一步包括(图5中未示出):
第三考核模块,用于确定所述目标对象在执行完所述指定操作后得到的操作结果信息的考核分数;
所述第二考核模块53依据所述目标对象执行所述待考核操作的考核分数确定所述目标对象执行所述指定操作的考核分数包括:
依据所述操作结果信息的考核分数和所述目标对象执行所述待考核操作的考核分数确定所述目标对象执行所述指定操作的考核分数。
在一实施例中,所述目标对象执行指定操作为:考生执行测定溶液PH值实验;
所述第三考核模块确定所述目标对象在执行完所述指定操作后得到的操作结果信息的考核分数包括:
从所述视频流中检测出PH试纸上的变色区域和考生测定的溶液PH值;
以所述变色区域的颜色信息为关键字在比色卡中查找到对应的PH值;
依据查找到的PH值和考生测定的溶液PH值确定考核分数。
在一实施例中,所述目标对象执行指定操作为:考生执行测定溶液PH值实验;
所述待考核操作为:所述考生执行测定溶液PH值实验过程中的取液操作、PH值读数比色操作;
所述取液操作是指使用玻璃棒蘸取待测液体,并将待测液体滴在放置在点滴板上的PH试纸上的操作;
所述PH值读数操作是指使用比色卡与变色的PH试纸进行比色的操作。
请继续参见图6,本申请还提供一种电子设备,包括处理器601、通信接口602、存储器603,以及通信总线604。
其中,处理器601、通信接口602、存储器603通过通信总线604进行相互间的通信;
存储器603,用于存放计算机程序;
处理器601,用于执行存储器603上所存放的计算机程序,处理器501执行所述计算机程序时实现本申请实施例提供的目标检测方法的步骤。
本申请还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现本申请实施例提供的目标检测方法的步骤。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求指出。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。

Claims (8)

1.一种目标检测方法,其特征在于,所述方法包括:
从摄像机在目标对象执行指定操作时所采集到的视频流中检测出目标视频,所述目标视频为包含所述目标对象在执行所述指定操作过程中所执行的待考核操作的视频;
将所述目标视频输入至已训练的深度学习模型以得到所述待考核操作对应的考核信息;依据所述考核信息确定所述待考核操作的考核分数;
预先针对操作结果信息设置最高考核分数,并确定标准操作结果信息,依据所述最高考核分数和所述标准操作结果信息确定目标对象在执行完所述指定操作后得到的操作结果信息的考核分数;
依据所述操作结果信息的考核分数和所述目标对象执行所述待考核操作的考核分数确定所述目标对象执行所述指定操作的考核分数。
2.根据权利要求1所述的方法,其特征在于,所述从摄像机在目标对象执行指定操作时所采集到的视频流中检测出目标视频,包括:
按顺序对所述视频流中的视频帧进行识别,当识别出所述视频流的第一视频帧中存在用于指示所述目标对象开始执行待考核操作的第一事件时,确定所述目标对象开始执行所述待考核操作,当识别出所述第一视频帧之后的第二视频帧中存在用于指示所述目标对象结束所述待考核操作的第二事件时,确定所述目标对象结束执行所述待考核操作;
将所述视频流中以所述第一视频帧为首个视频帧,所述第二视频帧为最后一个视频帧的一段视频确定为所述待考核操作对应的目标视频。
3.根据权利要求1所述的方法,其特征在于:
所述目标对象执行指定操作为:考生执行测定溶液PH值实验;
所述确定所述目标对象在执行完所述指定操作后得到的操作结果信息的考核分数,包括:
从所述视频流中检测出PH试纸上的变色区域和考生测定的溶液PH值;
以所述变色区域的颜色信息为关键字在比色卡中查找到对应的PH值;
依据查找到的PH值和考生测定的溶液PH值确定考核分数。
4.根据权利要求1或2所述的方法,其特征在于:
所述目标对象执行指定操作为:考生执行测定溶液PH值实验;
所述待考核操作为:所述考生执行测定溶液PH值实验过程中的取液操作、PH值读数比色操作;
所述取液操作是指使用玻璃棒蘸取待测液体,并将待测液体滴在放置在点滴板上的PH试纸上的操作;
所述PH值读数比色操作是指使用比色卡与变色的PH试纸进行比色的操作。
5.一种目标检测装置,其特征在于,所述装置包括:
检测模块,用于从摄像机在目标对象执行指定操作时所采集到的视频流中检测出目标视频,所述目标视频为包含所述目标对象在执行所述指定操作过程中所执行的待考核操作的视频;
第一考核模块,用于将所述目标视频输入至已训练的深度学习模型以得到所述待考核操作对应的考核信息;依据所述考核信息确定所述待考核操作的考核分数;
第二考核模块,用于预先针对操作结果信息设置最高考核分数,并确定标准操作结果信息,依据所述最高考核分数和所述标准操作结果信息确定目标对象在执行完所述指定操作后得到的操作结果信息的考核分数;依据所述操作结果信息的考核分数和所述目标对象执行所述待考核操作的考核分数确定所述目标对象执行所述指定操作的考核分数。
6.根据权利要求5所述的装置,其特征在于,所述检测模块从摄像机在目标对象执行指定操作时所采集到的视频流中检测出目标视频,包括:
按顺序对所述视频流中的视频帧进行识别,当识别出所述视频流的第一视频帧中存在用于指示所述目标对象开始执行待考核操作的第一事件时,确定所述目标对象开始执行所述待考核操作,当识别出所述第一视频帧之后的第二视频帧中存在用于指示所述目标对象结束所述待考核操作的第二事件时,确定所述目标对象结束执行所述待考核操作;
将所述视频流中以所述第一视频帧为首个视频帧,所述第二视频帧为最后一个视频帧的一段视频确定为所述待考核操作对应的目标视频。
7.一种电子设备,其特征在于,所述设备包括可读存储介质和处理器;
其中,所述可读存储介质,用于存储机器可执行指令;
所述处理器,用于读取所述可读存储介质上的所述机器可执行指令,并执行所述指令以实现权利要求1-4任一所述方法的步骤。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-4任一所述方法的步骤。
CN202010238622.3A 2020-03-30 2020-03-30 目标检测方法及装置 Active CN111753633B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010238622.3A CN111753633B (zh) 2020-03-30 2020-03-30 目标检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010238622.3A CN111753633B (zh) 2020-03-30 2020-03-30 目标检测方法及装置

Publications (2)

Publication Number Publication Date
CN111753633A CN111753633A (zh) 2020-10-09
CN111753633B true CN111753633B (zh) 2023-08-29

Family

ID=72673210

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010238622.3A Active CN111753633B (zh) 2020-03-30 2020-03-30 目标检测方法及装置

Country Status (1)

Country Link
CN (1) CN111753633B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114800506B (zh) * 2022-04-26 2023-11-21 浙江大学 一种基于视觉的实训机器人操作逻辑评价系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015011664A (ja) * 2013-07-02 2015-01-19 Necエンジニアリング株式会社 動作評価装置、動作評価方法及び動作評価プログラム
CN105898239A (zh) * 2016-06-03 2016-08-24 北京中电万联科技股份有限公司 一种公交车司机行为异常监测系统及监测方法
CN108924082A (zh) * 2018-05-07 2018-11-30 长庆石油勘探局有限公司技术监测中心 一种特种作业人员实际操作考试控制方法及系统
CN109035091A (zh) * 2018-07-25 2018-12-18 深圳市异度信息产业有限公司 一种用于学生实验的打分方法、装置及设备
CN109727172A (zh) * 2019-03-18 2019-05-07 上海中科教育装备集团有限公司 一种人工智能机器学习实验技能评分系统
CN110418112A (zh) * 2019-08-09 2019-11-05 上海商汤智能科技有限公司 一种视频处理方法及装置、电子设备和存储介质
CN110610310A (zh) * 2019-09-10 2019-12-24 北京字节跳动网络技术有限公司 一种教学考核的方法、装置、介质和电子设备
CN110619460A (zh) * 2019-09-05 2019-12-27 北京邮电大学 基于深度学习目标检测的教室课堂质量评估系统及方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070269788A1 (en) * 2006-05-04 2007-11-22 James Flowers E learning platform for preparation for standardized achievement tests
US10572735B2 (en) * 2015-03-31 2020-02-25 Beijing Shunyuan Kaihua Technology Limited Detect sports video highlights for mobile computing devices
TWI639978B (zh) * 2017-07-19 2018-11-01 和碩聯合科技股份有限公司 視訊監控系統與視訊監控方法
US10740620B2 (en) * 2017-10-12 2020-08-11 Google Llc Generating a video segment of an action from a video
CN110718104A (zh) * 2019-10-21 2020-01-21 重庆科技学院 一种电子技术实验考试系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015011664A (ja) * 2013-07-02 2015-01-19 Necエンジニアリング株式会社 動作評価装置、動作評価方法及び動作評価プログラム
CN105898239A (zh) * 2016-06-03 2016-08-24 北京中电万联科技股份有限公司 一种公交车司机行为异常监测系统及监测方法
CN108924082A (zh) * 2018-05-07 2018-11-30 长庆石油勘探局有限公司技术监测中心 一种特种作业人员实际操作考试控制方法及系统
CN109035091A (zh) * 2018-07-25 2018-12-18 深圳市异度信息产业有限公司 一种用于学生实验的打分方法、装置及设备
CN109727172A (zh) * 2019-03-18 2019-05-07 上海中科教育装备集团有限公司 一种人工智能机器学习实验技能评分系统
CN110418112A (zh) * 2019-08-09 2019-11-05 上海商汤智能科技有限公司 一种视频处理方法及装置、电子设备和存储介质
CN110619460A (zh) * 2019-09-05 2019-12-27 北京邮电大学 基于深度学习目标检测的教室课堂质量评估系统及方法
CN110610310A (zh) * 2019-09-10 2019-12-24 北京字节跳动网络技术有限公司 一种教学考核的方法、装置、介质和电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于雨课堂的视频考核方式在外科护理学绷带包扎考核中的应用;李鹏等;《卫生职业教育》;第37卷(第17期);第82-84页 *

Also Published As

Publication number Publication date
CN111753633A (zh) 2020-10-09

Similar Documents

Publication Publication Date Title
CN108831228B (zh) 基于dis的实验操作测评方法及系统
WO2017067023A1 (zh) 一种基于专用试纸对体液的检测方法
CN111753635B (zh) 化学实验操作的智能评分方法、装置及存储介质
US11333658B2 (en) Urine test strip comprising timer, and method for detecting and analyzing urine test strip
CN109558833A (zh) 一种人脸识别算法评测方法以及装置
CN109901996A (zh) 辅助测试的方法、装置、电子设备及可读存储介质
CN111292327B (zh) 机房巡检方法、装置、设备及存储介质
CN113628079A (zh) 评分方法、装置、电子设备及可读介质
CN111897962A (zh) 一种物联网资产标记方法及装置
CN110826646A (zh) 机器人视觉测试方法、装置、存储介质及终端设备
CN108780050A (zh) 检测镜头的方法及装置、电子设备和计算机可读存储介质
CN113763348A (zh) 图像质量确定方法、装置、电子设备及存储介质
CN113378804A (zh) 一种自助采样的检测方法、装置、终端设备和存储介质
CN111753633B (zh) 目标检测方法及装置
CN110346704A (zh) 板卡测试中测试文件的确定方法、装置、设备及存储介质
CN106528665B (zh) Aoi设备测试文件查找方法和系统
CN111026924A (zh) 一种待搜索内容的获取方法及电子设备
CN111259887B (zh) 一种哑资源设备的智能质检方法及系统、装置
CN112016334A (zh) 判分方法及装置
CN114494765B (zh) 真假烟鉴别点的识别方法、装置、电子设备及存储介质
CN111428858A (zh) 样本数量的确定方法、装置、电子设备及存储介质
CN111768439B (zh) 一种确定实验评分的方法、装置、电子设备及介质
CN115359412A (zh) 一种盐酸中和实验评分方法、装置、设备及可读存储介质
CN112153320B (zh) 一种物品尺寸的测量方法、装置、电子设备和存储介质
CN114049370A (zh) 一种基于深度学习方法的智能移动终端有色溶液浓度检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant