CN112699755A - 一种行为检测方法、装置、计算机设备和存储介质 - Google Patents
一种行为检测方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN112699755A CN112699755A CN202011545384.7A CN202011545384A CN112699755A CN 112699755 A CN112699755 A CN 112699755A CN 202011545384 A CN202011545384 A CN 202011545384A CN 112699755 A CN112699755 A CN 112699755A
- Authority
- CN
- China
- Prior art keywords
- information
- shooting
- target object
- time
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 74
- 238000000034 method Methods 0.000 claims abstract description 52
- 230000006399 behavior Effects 0.000 claims description 131
- 238000007726 management method Methods 0.000 claims description 53
- 238000013507 mapping Methods 0.000 claims description 47
- 230000008569 process Effects 0.000 claims description 24
- 238000012216 screening Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 10
- 238000005516 engineering process Methods 0.000 abstract description 7
- 238000012545 processing Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000003542 behavioural effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241001456553 Chanodichthys dabryi Species 0.000 description 1
- 206010036436 Posture abnormal Diseases 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Educational Technology (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Educational Administration (AREA)
- Human Computer Interaction (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
Abstract
本公开提供了一种行为检测方法、装置、计算机设备和存储介质,其中,该方法包括:获取拍摄设备采集的第一目标图像;识别第一目标图像中包括的目标对象以及目标对象的身份信息;确定与身份信息相匹配的第一标定拍摄参数,并基于第一标定拍摄参数控制拍摄设备调整拍摄位姿;获取调整拍摄位姿后的拍摄设备采集的第二目标图像,并基于第二目标图像,确定目标对象的行为状态信息。本公开实施例利用图像识别技术能够精准识别到目标对象的身份信息,能够较为清楚地拍摄到目标对象进行行为状态检测的图像,从而实现了对该目标对象进行有针对性的行为状态监督、管理,可以得到更为精确地针对该目标对象的行为状态信息。
Description
技术领域
本公开涉及图像处理技术领域,具体而言,涉及一种行为检测方法、装置、计算机设备和存储介质。
背景技术
现如今,人们对中小学生的教育越来越重视,但是由于一些家长在一些不可抗拒因素的影响下,无法亲自照看孩子的学习,尤其是针对具有多个孩子的家庭,家长更是没有时间针对每一个孩子在学习过程中的状态进行有效监督、管理。
发明内容
本公开实施例至少提供一种行为检测方法、装置、计算机设备和存储介质。
第一方面,本公开实施例提供了一种行为检测方法,包括:
获取拍摄设备采集的第一目标图像;
识别所述第一目标图像中包括的目标对象以及所述目标对象的身份信息;
确定与所述身份信息相匹配的第一标定拍摄参数,并基于所述第一标定拍摄参数控制所述拍摄设备调整拍摄位姿;
获取调整拍摄位姿后的所述拍摄设备采集的第二目标图像,并基于所述第二目标图像,确定所述目标对象的行为状态信息,所述第二目标图像为所述拍摄设备对处于预设区域的所述目标对象进行拍摄得到的图像。
本公开实施例中,利用图像识别技术能够精准识别到目标对象的身份信息,利用与身份信息相匹配的第一标定拍摄参数来调整拍摄设备的拍摄位姿,能够较为清楚的拍摄到目标对象的脸部、手部、以及预设区域内的书桌等用于对目标对象进行行为状态检测的图像区域,从而实现了对该目标对象进行有针对性的行为状态监督、管理,可以得到更为精确的针对该目标对象的行为状态信息。
一种可选的实施方式中,所述基于所述第二目标图像,确定所述目标对象的行为状态信息,包括:
在所述第二目标图像的拍摄时间与第一时间规划信息相匹配的情况下,基于所述第二目标图像,确定所述目标对象的行为状态信息;所述第一时间规划信息为与所述身份信息对应的时间规划信息。
该实施方式,利用与身份信息匹配的第一时间规划信息,可以有效监督目标对象是否按照规定的第一时间规划信息执行行为。
一种可选的实施方式中,所述基于所述第二目标图像,确定所述目标对象的行为状态信息,包括:
在所述第二目标图像的拍摄时间与第一时间规划信息不匹配的情况下,基于所述第二目标图像的拍摄时间,生成第二时间规划信息;所述第一时间规划信息为与所述身份信息对应的时间规划信息;
将所述第二时间规划信息作为本次检测过程中与所述身份信息对应的时间规划信息,并基于所述第二目标图像,确定所述目标对象的行为状态信息。
该实施方式,在采集第二目标图像的时间不与第一时间规划信息匹配的情况下,生成新的时间规划信息,即上述第二时间规划信息,之后利用新的时间规划信息对目标对象进行行为状态检测,实现了对不同身份信息对应的目标对象进行灵活化地学习时间调整,为目标对象提供了合理性选择时间段进行学习的可能性,满足了目标对象在不同时间段进行行为状态的检测。
一种可选的实施方式中,在所述将所述第二时间规划信息作为本次检测过程中与所述身份信息对应的时间规划信息之前,所述方法还包括:
基于所述第二时间规划信息,生成并输出第一提示信息;所述第一提示信息用于确认是否在所述第二时间规划信息对应的时间段内对所述目标对象进行行为状态检测;
所述将所述第二时间规划信息作为本次检测过程中与所述身份信息对应的时间规划信息,并基于所述第二目标图像,确定所述目标对象的行为状态信息,包括:
响应于接收到第一反馈信息,基于所述第二目标图像,确定所述目标对象的行为状态信息;所述第一反馈信息为所述目标对象对应的管理客户端基于所述第一提示信息生成并发送的信息,所述第一反馈信息用于指示在所述第二时间规划信息对应的时间段内对所述目标对象进行行为状态检测。
该实施方式,在采集第二目标图像的时间不与第一时间规划信息匹配的情况下,通过输出第一提示信息,比如可以通过语音播放的方式为目标对象发送是否确定新的时间规划信息的消息,其中,新的时间规划信息即上述第二时间规划信息,通过个性化的方式为目标对象推送信息,提高了目标对象管理时间规划信息的合理性,之后当接收到目标对象对应的管理客户端发送的第一反馈信息时,利用新的时间规划信息对目标对象进行行为状态检测,实现了对不同身份信息对应的目标对象进行灵活化地学习时间调整,为目标对象提供了合理性选择时间段进行学习的可能性,满足了目标对象在不同时间段进行行为状态的检测。
一种可选的实施方式中,在接收到所述第一反馈信息之后,所述方法还包括:
向所述管理客户端发送所述第二时间规划信息,以及第二提示信息;所述第二提示信息用于确认是否将所述第一时间规划信息调整为所述第二时间规划信息;
响应于接收到第二反馈信息,使用所述第二时间规划信息替换所述第一时间规划信息;所述第二反馈信息为所述管理客户端基于所述第二提示信息生成并发送的信息。
该实施方式,管理客户端能够灵活地为目标对象修改后续的学习时间规划信息,满足学生不同时间段的学习的需求。
一种可选的实施方式中,所述识别所述第一目标图像中包括的目标对象,包括:
获取预先存储的、至少一个预设对象对应的标准人脸图像;
从获取的标准人脸图像中,筛选与所述第一目标图像相匹配的所述标准人脸图像;
将筛选得到的标准人脸图像对应的预设对象作为所述目标对象。
该实施方式,通过图像识别技术准确地从若干个预设对象中识别出目标对象,提高目标对象的匹配效率、准确率。
一种可选的实施方式中,识别所述目标对象的身份信息,包括:
获取预先存储的、标准人脸图像与对应的预设对象的身份信息之间的第一映射关系;
基于所述第一映射关系,确定筛选得到的标准人脸图像对应的身份信息,并将确定的身份信息作为所述目标对象的身份信息。
该实施方式,通过图像识别技术准确地从若干个预设对象中识别出目标对象,并基于预先存储的预设对象的身份信息,可以准确地匹配到目标对象的身份信息。
一种可选的实施方式中,在识别所述第一目标图像中包括的目标对象以及目标对象的身份信息之前,还包括:
获取至少一个预设对象对应的标准人脸图像和至少一个预设对象的身份信息;
存储所述标准人脸图像、以及所述标准人脸图像与对应的预设对象的身份信息的第一映射关系。
该实施方式,为不同的预设对象设置了标准人脸图像,并将标准人脸图像与对应的预设对象的身份信息建立了映射关系,从而能够通过图像识别的方式较为准确地确定目标对象的身份信息。
一种可选的实施方式中,在确定与所述身份信息相匹配的第一标定拍摄参数之前,还包括:
获取预设对象在所述拍摄设备采集的图像中的标准位置信息;
在所述拍摄设备采集的图像中预设对象的实时位置信息,与所述标准位置信息相匹配时,将所述拍摄设备的当前的标定拍摄参数作为所述第一标定拍摄参数;
建立所述预设对象的身份信息与所述第一标定拍摄参数之间的第二映射关系,并将所述第二映射关系以及所述第一标定拍摄参数进行存储。
一种可选的实施方式中,所述确定与所述身份信息相匹配的第一标定拍摄参数,包括:
基于所述第二映射关系,确定与所述目标对象的身份信息相匹配的第一标定拍摄参数。
该实施方式,通过标准位置信息和实时位置位置信息的比对,能够自动化控制拍摄设备进行拍摄位姿的调整,进而可以确定出准确度较高的拍摄位姿作为第一标定拍摄参数。
一种可选的实施方式中,还包括:
接收管理客户端发送的第二标定拍摄参数,并基于所述第二标定拍摄参数控制所述拍摄设备调整拍摄位姿;
基于获取调整拍摄位姿后的所述拍摄设备采集的第三目标图像,并基于所述第三目标图像,确定所述目标对象的行为状态信息,所述第三目标图像为所述拍摄设备对处于预设区域的所述目标对象进行拍摄得到的图像。
该实施方式,可以通过管理客户端发送的第二标定拍摄参数,调整拍摄设备的拍摄位姿,实现了按照更为适合该目标对象的拍摄位姿进行拍摄工作,进而得到更为精确地目标对象的行为状态信息,具有针对性的为目标对象调整当前拍摄设备。
一种可选的实施方式中,所述行为状态信息包括以下至少一项:
注意力状态信息;坐姿状态信息。
该实施方式,针对学生的学习状态进行检测的场景中,通过对注意力状态信息、坐姿状态信息的检测,可以更为全面的反应学生在学习过程中的具体行为状态信息。
一种可选的实施方式中,还包括:
基于所述行为状态信息,生成所述目标对象的学习报告。
一种可选的实施方式中,还包括:
向管理客户端发送所述学习报告。
该实施方式,针对学生的学习状态进行检测的场景中,通过管理客户端接收到的学习报告,管理客户端对应的家长可以得到针对每一孩子在学习过程中的行为状态信息,有效的帮助家长对孩子进行监督,方便后续家长对不同孩子进行具有针对性的教育。
第二方面,本公开实施例还提供一种行为检测装置,包括:
获取模块,用于获取拍摄设备采集的第一目标图像;
识别模块,用于识别所述第一目标图像中包括的目标对象以及所述目标对象的身份信息;
调整模块,用于确定与所述身份信息相匹配的第一标定拍摄参数,并基于所述第一标定拍摄参数控制所述拍摄设备调整拍摄位姿;
确定模块,用于获取调整拍摄位姿后的所述拍摄设备采集的第二目标图像,并基于所述第二目标图像,确定所述目标对象的行为状态信息,所述第二目标图像为所述拍摄设备对处于预设区域的所述目标对象进行拍摄得到的图像。
一种可选的实施方式中,所述确定模块,用于在所述第二目标图像的拍摄时间与第一时间规划信息相匹配的情况下,基于所述第二目标图像,确定所述目标对象的行为状态信息;所述第一时间规划信息为与所述身份信息对应的时间规划信息。
一种可选的实施方式中,所述确定模块,用于在所述第二目标图像的拍摄时间与第一时间规划信息不匹配的情况下,基于所述第二目标图像的拍摄时间,生成第二时间规划信息;所述第一时间规划信息为与所述身份信息对应的时间规划信息;将所述第二时间规划信息作为本次检测过程中与所述身份信息对应的时间规划信息,并基于所述第二目标图像,确定所述目标对象的行为状态信息。
一种可选的实施方式中,所述方法还包括第一生成模块,用于基于所述第二时间规划信息,生成并输出第一提示信息;所述第一提示信息用于确认是否在所述第二时间规划信息对应的时间段内对所述目标对象进行行为状态检测;
所述确定模块,用于响应于接收到第一反馈信息,基于所述第二目标图像,确定所述目标对象的行为状态信息;所述第一反馈信息为所述目标对象对应的管理客户端基于所述第一提示信息生成并发送的信息,所述第一反馈信息用于指示在所述第二时间规划信息对应的时间段内对所述目标对象进行行为状态检测。
一种可选的实施方式中,所述方法还包括第一发送模块,用于向所述管理客户端发送所述第二时间规划信息,以及第二提示信息;所述第二提示信息用于确认是否将所述第一时间规划信息调整为所述第二时间规划信息;
还包括第一处理模块,用于响应于接收到第二反馈信息,使用所述第二时间规划信息替换所述第一时间规划信息;所述第二反馈信息为所述管理客户端基于所述第二提示信息生成并发送的信息。
一种可选的实施方式中,所述识别模块,用于获取预先存储的、至少一个预设对象对应的标准人脸图像;从获取的标准人脸图像中,筛选与所述第一目标图像相匹配的所述标准人脸图像;将筛选得到的标准人脸图像对应的预设对象作为所述目标对象。
一种可选的实施方式中,所述识别模块,用于获取预先存储的、标准人脸图像与对应的预设对象的身份信息之间的第一映射关系;基于所述第一映射关系,确定筛选得到的标准人脸图像对应的身份信息,并将确定的身份信息作为所述目标对象的身份信息。
一种可选的实施方式中,还包括第一存储模块,用于在所述识别模块之前,获取至少一个预设对象对应的标准人脸图像和至少一个预设对象的身份信息;存储所述标准人脸图像、以及所述标准人脸图像与对应的预设对象的身份信息的第一映射关系。
一种可选的实施方式中,还包括第二存储模块,用于获取预设对象在所述拍摄设备采集的图像中的标准位置信息;在所述拍摄设备采集的图像中预设对象的实时位置信息,与所述标准位置信息相匹配时,将所述拍摄设备的当前的标定拍摄参数作为所述第一标定拍摄参数;建立所述预设对象的身份信息与所述第一标定拍摄参数之间的第二映射关系,并将所述第二映射关系以及所述第一标定拍摄参数进行存储。
一种可选的实施方式中,所述调整模块,用于基于所述第二映射关系,确定与所述目标对象的身份信息相匹配的第一标定拍摄参数。
一种可选的实施方式中,还包括第二处理模块,用于接收管理客户端发送的第二标定拍摄参数,并基于所述第二标定拍摄参数控制所述拍摄设备调整拍摄位姿;基于获取调整拍摄位姿后的所述拍摄设备采集的第三目标图像,并基于所述第三目标图像,确定所述目标对象的行为状态信息,所述第三目标图像为所述拍摄设备对处于预设区域的所述目标对象进行拍摄得到的图像。
一种可选的实施方式中,所述行为状态信息包括以下至少一项:
注意力状态信息;坐姿状态信息。
一种可选的实施方式中,还包括第二生成模块,用于基于所述行为状态信息,生成所述目标对象的学习报告。
一种可选的实施方式中,还包括第二发送模块,用于向管理客户端发送所述学习报告。
第三方面,本公开实施例还提供一种计算机设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当计算机设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤。
第四方面,本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤。
关于上述行为检测装置、计算机设备和存储介质的效果描述参见上述行为检测方法的说明,这里不再赘述。
本公开实施例提供的行为检测方法、装置、计算机设备和存储介质,通过获取拍摄设备采集的第一目标图像;识别第一目标图像中包括的目标对象以及目标对象的身份信息;确定与身份信息相匹配的第一标定拍摄参数,并基于第一标定拍摄参数控制所述拍摄设备调整拍摄位姿;获取调整拍摄位姿后的拍摄设备采集的第二目标图像,并基于第二目标图像,确定目标对象的行为状态信息,第二目标图像为拍摄设备对处于预设区域的所述目标对象进行拍摄得到的图像,与现有技术中的无法具有针对性的监督、管理每一目标对象的行为状态信息相比,其利用图像识别技术能够精准识别到目标对象的身份信息,利用与身份信息相匹配的第一标定拍摄参数来调整拍摄设备的拍摄位姿,能够较为清楚的拍摄到目标对象的脸部、手部、以及预设区域内的书桌等用于对目标对象进行行为状态检测的图像区域,从而实现了对该目标对象进行有针对性的行为状态监控,可以得到更为精确的针对该目标对象的行为状态信息。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种行为检测方法的流程图;
图2示出了本公开实施例所提供的拍摄设备标准安装位置示意图;
图3示出了本公开实施例所提供的识别第一目标图像中包括的目标对象的流程图;
图4示出了本公开实施例所提供的识别目标对象的身份信息的流程图;
图5示出了本公开实施例所提供的建立预设对象的身份信息与第一标定参数之间的第二映射关系的流程图;
图6示出了本公开实施例所提供的一种基于时间管理策略,进行目标对象行为状态检测的流程图;
图7示出了本公开实施例所提供的管理客户端展示的学习报告示意图;
图8示出了本公开实施例所提供的针对学生A的学习状态进行检测的场景下,对不同身份的学生进行个性化检测过程流程图;
图9示出了本公开实施例所提供的一种行为检测装置的示意图;
图10示出了本公开实施例所提供的一种计算机设备的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
另外,本公开实施例中的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。
在本文中提及的“多个或者若干个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
经研究发现,人们对中小学生的教育越来越重视,但是由于一些家长在一些不可抗拒因素的影响下,无法亲自照看孩子的学习,尤其是针对具有多个孩子的家庭,家长更是没有时间针对每一个孩子在学习过程中是否能够保持正确的坐姿,以及是否能够具有一定时间的注意力等进行有效的监控。因此,在通过拍摄设备对中小学生的学习行为进行检测时,如何对拍摄设备的拍摄位姿进行调整,使得拍摄设备能够有效的进行行为检测工作,帮助家长对孩子进行有效的监督,方便后续家长对孩子进行具有针对性的教育,愈发重要。
基于上述研究,本公开提供了一种行为检测方法、装置、计算机设备和存储介质,可以通过识别不同目标对象的身份信息,具有针对性的为目标对象调整拍摄设备的拍摄位姿,可以实时精准地检测目标对象的行为状态,在应用于对学生的学习状态进行检测的场景中,还可以为家长提供有效的监督,比如监督孩子的坐姿、学习时间、注意力集中等情况,令家长时刻掌握孩子学习情况,具有针对性的对孩子出现的问题做出判断,给予孩子正确高效的教育管理。
针对以上方案所存在的缺陷,均是发明人在经过实践并仔细研究后得出的结果,因此,上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案,都应该是发明人在本公开过程中对本公开做出的贡献。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本实施例进行理解,首先对本实施例提供的一种行为检测方法的应用场景进行详细描述。本实施例提供的一种行为检测方法主要可以应用于学生教育,尤其是对于一个家庭中具有多个低学龄学生的课后教育。对于每个低学龄学生而言,完成家庭作业是其学习阶段不可或缺的一个环节,一个学生标准的坐姿、科学规范的学习计划和高度集中的注意力等等良好的学习习惯可以帮助其更好更快的完成家庭作业。
目前,在以家庭方式为主的课后教育中,考虑到用于监督孩子学习的时间比较少,尤其是针对一个家庭中具有多个低学龄学生的情况下,家长不能很好的了解每一孩子在学习的时候是否坐姿正确、注意力是否集中、是否按照规范的学习计划完成学习任务,而不同学生对应的标准的坐姿、注意力集中的判断方式,以及科学规范的学习计划不尽相同,无法利用唯一的检测标准来检测学生学习过程中的行为状态。
正是为了解决这一问题,本公开实施例才提供了一种行为检测方法,基于不同学生的身份信息,可以自动确定该学生是否存在坐姿不正确、注意力不集中、以及未按照科学规范的学习计划完成学习任务等问题,以便给予学生及时的学习指导。
下面对本公开实施例所公开的一种行为检测方法进行详细介绍,本公开实施例所提供的行为检测方法的执行主体一般为具有一定计算能力的计算机设备,该计算机设备例如包括:终端设备或服务器或其它处理设备。示例性地,以对学生的学习状态进行检测的应用场景为例,整个检测过程涉及的装置可以包括后台服务器、拍摄设备和用户对应管理客户端,其中,用户对应的管理客户端可以为用户设备(User Equipment,UE)、移动设备、用户终端、手持设备、计算设备、可穿戴设备等。
在一些可能的实现方式中,该行为检测方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
下面以执行主体为计算机设备为例对本公开实施例提供的行为检测方法加以说明。
参见图1所示,为本公开实施例提供的一种行为检测方法的流程图,该方法包括步骤S101~S104,其中:
S101:获取拍摄设备采集的第一目标图像。
本步骤中,拍摄设备可以为有采集图像和/或视频的功能的设备,示例性地,拍摄设备可以包括但不仅限于云台摄像机、带有录像功能的智能手机、平板、笔记本等,在此不做具体限定。在具体应用中可以将拍摄设备设置于书桌上,朝向人体,并位于预设区域的前方。这里,可以将拍摄设备设置在距离人体0.5m-0.6m的位置,与此同时,可以将拍摄设备设置在偏离人体30°的范围内。为了拍摄到图像质量更高的第一目标图像,这里可以将摄像装置正对人体设置,如图2所示。
本步骤中,第一目标图像可以根据对拍摄设备拍摄的视频进行分帧处理,得到的包括目标对象的图像。在考虑到本公开实施例所提供的行为检测方法的具体应用场景,这里所拍摄到的第一目标图像可以是包含学生人脸、人手、书桌、人体等位置的图像。
S102:识别第一目标图像中包括的目标对象以及目标对象的身份信息。
在一种可能的实施方式中,可以获取至少一个预设对象对应的标准人脸图像和至少一个预设对象的身份信息;存储标准人脸图像、以及标准人脸图像与对应的预设对象的身份信息的第一映射关系。由于为不同的预设对象设置了标准人脸图像,并将标准人脸图像与对应的预设对象的身份信息建立了映射关系,基于建立的映射关系,能够通过图像识别的方式较为准确地确定目标对象的身份信息。示例性地,针对不同的应用场景,标准人脸图像可以是预先设置的、包括预设对象脸部信息的图像,其中,标准人脸图像可以有如下的获取方式:
方式1、可以从管理客户端的相册中选择预设对象的合格人脸照片;
方式2、还可以调用管理客户端的拍照功能,调整预设对象的人脸部位在摄像头拍摄下的角度,在一定误差范围内,比如在±30°以内,以及非强光非暗光的条件下,将人脸大小在管理客户端图像拍摄组件中的圆形框内拍摄到的图像存储在管理客户端中,作为该预设对象对应的标准人脸图像。
例如,在检测多个学生在学习场景下的学习状态,比如学生A和学生B,在学生A开始学习之前,可以预先在应用程序(Application,APP)中添加学生A的标准人脸图像,以及学生A的身份信息,如小A,建立学生A的标准人脸图像与学生A的身份信息之间的第一映射关系,并存储;在学生B开始学习之前,可以预先在APP中添加学生B的标准人脸图像,以及学生B的身份信息,如小B,建立学生B的标准人脸图像与学生B的身份信息之间的第一映射关系,并存储;可以添加若干个学生,在数量上不进行限定。
参见图3所示,其为识别第一目标图像中包括的目标对象的流程图,包括步骤S301~S303,其中:
S301:获取预先存储的、至少一个预设对象对应的标准人脸图。
本步骤中,预设对象可以是上例中的学生A和学生B。
S302:从获取的标准人脸图像中,筛选与第一目标图像相匹配的标准人脸图像。
S303:将筛选得到的标准人脸图像对应的预设对象作为目标对象。
延续上例,当获取到拍摄设备采集的学生A的图像,即上述第一目标图像,从预先存储的学生A的标准人脸图像和学生B的标准人脸图像中筛选与学生A的图像相匹配的标准人脸图像,将筛选得到的学生A的标准人脸图像中的学生A作为目标对象。
参见图4所示,其为识别目标对象的身份信息的流程图,包括步骤S401~S402,其中:
S401:获取预先存储的、标准人脸图像与对应的预设对象的身份信息之间的第一映射关系。
本步骤中,标准人脸图像与对应的预设对象的身份信息之间的第一映射关系,比如,学生A的标准人脸图像与小A之间的映射关系;学生B的标准人脸图像与小B之间的映射关系。
S402:基于第一映射关系,确定筛选得到的标准人脸图像对应的身份信息,并将确定的身份信息作为目标对象的身份信息。
延续上例,可以通过获取预先存储的学生A的标准人脸图像与学生A的身份信息之间的第一映射关系,进一步确定出目标对象的身份信息,即学生A的身份信息是小A。
S103:确定与身份信息相匹配的第一标定拍摄参数,并基于第一标定拍摄参数控制拍摄设备调整拍摄位姿。
本步骤中,拍摄位姿可以包含针对拍摄方向的调整信息和/或针对拍摄设备与目标对象之间的相对距离的调整信息,比如,若学生在第一目标图像中位置信息指示拍摄设备的拍摄方向偏左,此时拍摄位姿可以为向右偏移;再比如,若学生在第一目标图像中的位置信息指示学生和拍摄位姿的距离较远,此时拍摄位姿可以向学生所在的位置靠近。
在一种可能的实施方式中,在确定与身份信息相匹配的第一标定拍摄参数之前,还需要建立预设对象的身份信息与第一标定参数之间的第二映射关系。具体实施时,可以参见图5所示,其为建立预设对象的身份信息与第一标定参数之间的第二映射关系的流程图,包括步骤S501~S503,其中:
S501:获取预设对象在拍摄设备采集的图像中的标准位置信息。
示例性地,预设对象在拍摄设备采集的图像中的标准位置信息可以是在学生按照标准位姿坐好后,拍摄设备可以采集到的学生的脸部、手部、书桌、学生和/或书桌在图像中符合一定的比例的尺寸、学生和/或书桌在图像中的目标区域,比如位于预先绘制的预设区域中的中心区域等。
S502:在拍摄设备采集的图像中预设对象的实时位置信息,与标准位置信息相匹配时,将拍摄设备的当前的标定拍摄参数作为第一标定拍摄参数。
S503:建立预设对象的身份信息与第一标定拍摄参数之间的第二映射关系,并将第二映射关系以及第一标定拍摄参数进行存储。
延续上例,获取上述已经确定的学生A的标准位置信息,当学生A将要学习时,拍摄设备开始采集学生A的实时位置信息,在学生A的实时位置信息与学生A的标准位置信息相匹配的情况下,可以将拍摄设备的当前的标定拍摄参数作为学生A的第一标定拍摄参数,建立小A与学生A的第一标定拍摄参数之间的第二映射关系,并将第二映射关系以及第一标定参数进行存储。
步骤S501~S503通过标准位置信息和实时位置位置信息的比对,能够自动化控制拍摄设备进行拍摄位姿的调整,进而可以确定出准确度较高的拍摄位姿作为第一标定拍摄参数。
在一种可能的实施方式中,在拍摄设备所拍摄到的图像中预设对象的实时位置信息,与标准位置信息不匹配时,还可以自动进行拍摄位姿调整,比如在拍摄设备为云台摄像机时,在云台摄像机的放置位置固定后,每次使用云台摄像机采集预设对象的实时位置信息时,可以基于采集的预设对象的图像对云台摄像机的拍摄位姿进行微调,直到拍摄设备采集的图像中预设对象的实时位置信息与标准位置信息相匹配时,将拍摄设备的当前的标定拍摄参数作为第一标定拍摄参数;建立预设对象的身份信息与第一标定拍摄参数之间的第二映射关系,并将第二映射关系以及第一标定拍摄参数进行存储。
基于步骤S103中,确定与身份信息相匹配的第一标定拍摄参数,具体实施时,可以基于上述存储的第二映射关系,确定与目标对象的身份信息相匹配的第一标定拍摄参数。延续上例,基于小A与学生A的第一标定拍摄参数之间的第二映射关系,在确定目标对象是小A的情况下,则确定小A的第一标定拍摄参数,基于小A的第一标定拍摄参数控制拍摄设备调整拍摄位姿。
在一种可能的实施方式中,还可以接收管理客户端发送的第二标定拍摄参数,并基于第二标定拍摄参数控制拍摄设备调整拍摄位姿。具体实施时,一种实施方式为,管理客户端可以在第一时间规划信息对应的开始学习的时间点,通过拍摄设备反馈的针对目标对象的第一目标图像,确定第二标定拍摄参数,并将第二标定拍摄参数发送给拍摄设备控制端,当拍摄设备控制端接收管理客户端发送的第二标定拍摄参数时,基于当前的第二标定拍摄参数控制拍摄设备调整拍摄位姿。或者,另一种实施方式为,管理客户端可以通过拍摄设备实时反馈的针对目标对象正在实施行为时的图像,确定第二标定拍摄参数,并将第二标定拍摄参数发送给拍摄设备控制端,当拍摄设备控制端接收管理客户端发送的第二标定拍摄参数时,基于当前的第二标定拍摄参数调整拍摄设备的拍摄位姿。该种实施方式,实现了按照更为适合该目标对象的拍摄位姿进行拍摄工作,进而得到更为精确的目标对象的行为状态信息,具有针对性的为目标对象调整当前拍摄设备。示例性地,针对学生A,家长可以通过手机监控到小A正在学习时的实时位置信息,并通过向拍摄设备发送针对小A的第二标定拍摄参数,令拍摄设备按照家长发送的第二标定拍摄参数,自动调整拍摄设备的拍摄位姿;或者,可以通过向服务器发送针对小A的第二标定拍摄参数,利用服务器控制拍摄设备按照家长发送的第二标定拍摄参数调整拍摄位姿;或者,还可以通过运行APP的手机设备控制拍摄设备按照家长设置的第二标定拍摄参数调整拍摄位姿。
S104:获取调整拍摄位姿后的拍摄设备采集的第二目标图像,并基于第二目标图像,确定目标对象的行为状态信息。
本步骤中,第二目标图像为拍摄设备对处于预设区域的目标对象进行拍摄得到的图像。示例性地,预设区域可以是预先设置的学习区域。在进行拍摄设备安装时,可以基于该预设区域进行目标对象行为状态的校准,在基于图像识别技术采集的第一目标图像和/或第二目标图像上可以对应有与预设区域对应的图像区域。
另外,第二目标图像可以根据拍摄设备在进入位姿调整阶段后,直接进行图像采集获取到的。针对学生的学习状态进行检测的场景中,目标对象的行为状态信息可以包括学生的注意力状态信息、学生的坐姿状态信息等,具体地,比如坐姿标准状态、坐姿不标准状态、注意力集中和注意力不集中等。
参见图6所示,其为一种基于时间管理策略,进行目标对象行为状态检测的流程图,包括步骤S601~S605,其中:
S601:获取预设的、与身份信息相匹配的第一时间规划信息。
示例性地,第一时间规划信息可以包含目标对象在学习模式下保持学习状态下的预设学习时长阈值,以及开始学习的时间以及结束学习的时间等,比如学生A从下午3:00学习,一直到下午5:00,其中预设学习时长阈值为两小时;还可以包含目标对象在学习模式下休息的预设休息时长阈值,比如10分钟等。另外,预设学习时长阈值可以由目标对象的监护人进行设定,比如由学生的家长提前进行设定。
S602:判断第二目标图像的拍摄时间与第一时间规划信息是否匹配,如果是,则执行步骤S603;如果否,则执行步骤S604。
S603:基于第二目标图像,确定目标对象的行为状态信息,结束流程。
本步骤可以利用与身份信息匹配正确的第一时间规划信息,有效地监督目标对象是否按照规定的第一时间规划信息执行行为。
延续上例,小A的第一时间规划信息可以为小A从下午3:00学习,一直到下午5:00;小B的第一时间规划信息可以为小B从下午5:00学习,一直到下午7:00。当在下午3:00点获取到的第二目标图像中识别到小A,则基于获取到的小A的第二目标图像,确定小A的坐姿信息和注意力信息。
S604:基于第二目标图像的拍摄时间生成第二时间规划信息。
本步骤中,由于第二目标图像的拍摄时间与第一时间规划信息不匹配,则可以基于拍摄设备采集到第二目标图像的当前时间和、与第二目标图像中目标对象的身份信息相匹配的的第一规划时间信息,生成第二时间规划信息。
延续上例,当在下午3:00获取到的第二目标图像中识别到小B,则基于第二目标图像的拍摄时间,即下午3:00,和小B第一时间规划信息中对应的学习的时间,即下午5:00~7:00,确定小B的学习时长为2小时,则生成小B的第二时间规划信息可以为从下午3:00学习,一直到下午5:00。
S605:将第二时间规划信息作为本次检测过程中与身份信息对应的时间规划信息,并基于第二目标图像,确定目标对象的行为状态信息。
具体实施时,可以基于步骤S604中的第二时间规划信息,生成并输出第一提示信息。其中,第一提示信息用于确认是否在第二时间规划信息对应的时间段内对目标对象进行行为状态检测。第一提示信息可以以消息的方式推送到目标对象的管理客户端;或者,以语音播放的方式推送到目标对象的管理客户端。
同时,响应于接收到第一反馈信息,基于第二目标图像,确定目标对象的行为状态信息。其中,第一反馈信息为目标对象对应的管理客户端基于第一提示信息生成并发送的信息,第一反馈信息用于指示在第二时间规划信息对应的时间段内对目标对象进行行为状态检测。
延续上例,基于小B的第二时间规划信息,生成第一提示信息,比如为小B语音播放是否在下午3:00~5:00时间段内对自己进行行为状态检测的消息,响应于小B手机设备发送的确认在下午3:00~5:00时间段内对自己进行行为状态的检测,则将小B的第二时间规划信息,即下午3:00~5:00学习,作为当天小B学习的时间规划信息,基于获取到的小B的第二目标图像,确定小B的坐姿信息和注意力信息。
这里,在小B不将第二规划时间修改为第一时间规划信息的情况下,当天小B学习的时间规划信息不作为当天之后每一天的第一时间规划信息,即不影响之后每一天小B的第一时间规划信息。
上述在采集第二目标图像的时间不与第一时间规划信息匹配的情况下,通过输出第一提示信息,比如可以通过语音播放的方式为目标对象发送是否确定新的时间规划信息的消息,其中,新的时间规划信息即上述第二时间规划信息,通过个性化的方式为目标对象推送信息,提高了目标对象管理时间规划信息的合理性,之后当接收到目标对象对应的管理客户端发送的第一反馈信息时,利用新的时间规划信息对目标对象进行行为状态检测,实现了对不同身份信息对应的目标对象进行灵活化地学习时间调整,为目标对象提供了合理性选择时间段进行学习的可能性,满足了目标对象在不同时间段进行行为状态的检测。
另外,在目标对象需要将第二规划时间修改为第一时间规划信息的情况下。具体实施时,接收到目标对象反馈的第一反馈信息之后,还可以向管理客户端发送第二时间规划信息,以及第二提示信息;响应于接收到的第二反馈信息,使用第二时间规划信息替换为第一时间规划信息。其中,第二提示信息用于确认是否将第一时间规划信息调整为第二时间规划信息,第二反馈信息为管理客户端基于第二提示信息生成并发送的信息。延续上例,将小B当天的学习时间规划信息修改为下午3:00~5:00时间段之后,向家长手机发送确认是否将后续小B的第一时间规划信息,即下午5:00~7:00,调整为第二时间规划信息,即下午3:00~5:00点;家长可以根据小B的实际情况,确认将小B的第一时间规划信息调整为第二时间规划信息。上述,管理客户端能够灵活地为目标对象修改后续的学习时间规划信息,满足学生不同时间段的学习的需求。
在另一种可能的实施方式中,在管理客户端发送的第二标定参数,并基于第二标定拍摄参数调整拍摄设备的拍摄位姿之后,还可以基于拍摄位姿调整后的拍摄设备所拍摄的第三目标图像,确定目标对象的行为状态信息。上述可以通过管理客户端发送的第二标定拍摄参数,调整拍摄设备的拍摄位姿,实现了按照更为适合该目标对象的拍摄位姿进行拍摄工作,进而得到更为精确的目标对象的行为状态信息,具有针对性的为目标对象调整当前拍摄设备。
在一种可能的实施方式中,可以将确定的目标对象的行为状态信息生成一份针对该目标对象的学习报告。示例性地,在检测学生在学习场景下的学习状态,参见图7所示,其为管理客户端展示的学习报告示意图。生成的学习报告可以包括但不仅限于学生A的身份信息71,比如小A;学生A的行为状态信息72,包括但不限于姿势分析721和状态分析722中的至少一项,比如,姿势分析721中的“XXX”可以包括的信息有:80%的学习时间中,存在姿势不良的情况,主要包含驼背、头过低等情况,长时间的错误姿势将会导致身体发育不良等问题,需要注意改正;状态分析722中的“XXX”可以包括的信息有:60%的时间状态都很棒,只有40%的时间状态欠佳,可能长时间的学习导致状态下降,建议合理安排学习时长,劳逸结合,学习效率会大大提升;学生A开始学习的更新时间73,比如2020年11月12日,下午3:00;学生A学习的今日学习时长74,比如2小时;学生A学习的学习地点75,比如书桌等。
可以将上述生成的学习报告发送给管理客户端。客户管理端可以为家长的手机,管理客户端对应的家长可以得到针对每一孩子在学习过程中的行为状态信息,有效的帮助家长对孩子进行监督,方便后续家长对不同孩子进行具有针对性的教育。
参见图8所示,其为针对学生A的学习状态进行检测的场景下,对不同身份的学生进行个性化检测过程流程图,包括步骤S801~S806,其中:
S801:基于学生A进行人脸识别;
S802:识别出学生A,确定出学生A的身份信息;
S803:基于学生A的身份信息,确定与学生A相匹配的第一标定拍摄参数,并调整拍摄设备的拍摄位姿;
S804:获取学生A的第一时间规划信息;
S805:在第二目标图像的拍摄时间与第一时间规划信息相匹配的情况下,基于第二目标图像,确定学生A的行为状态信息;
S806:基于行为状态信息,生成学生A的学习报告。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思,本公开实施例中还提供了与行为检测方法对应的行为检测装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述行为检测方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
参照图9所示,为本公开实施例提供的一种行为检测装置的示意图,该装置包括:获取模块901、识别模块902、调整模块903和确定模块904;其中,
获取模块901,用于获取拍摄设备采集的第一目标图像;
识别模块902,用于识别所述第一目标图像中包括的目标对象以及所述目标对象的身份信息;
调整模块903,用于确定与所述身份信息相匹配的第一标定拍摄参数,并基于所述第一标定拍摄参数控制所述拍摄设备调整拍摄位姿;
确定模块904,用于获取调整拍摄位姿后的所述拍摄设备采集的第二目标图像,并基于所述第二目标图像,确定所述目标对象的行为状态信息,所述第二目标图像为所述拍摄设备对处于预设区域的所述目标对象进行拍摄得到的图像。
一种可选的实施方式中,所述确定模块904,用于在所述第二目标图像的拍摄时间与第一时间规划信息相匹配的情况下,基于所述第二目标图像,确定所述目标对象的行为状态信息;所述第一时间规划信息为与所述身份信息对应的时间规划信息。
一种可选的实施方式中,所述确定模块904,用于在所述第二目标图像的拍摄时间与第一时间规划信息不匹配的情况下,基于所述第二目标图像的拍摄时间,生成第二时间规划信息;所述第一时间规划信息为与所述身份信息对应的时间规划信息;将所述第二时间规划信息作为本次检测过程中与所述身份信息对应的时间规划信息,并基于所述第二目标图像,确定所述目标对象的行为状态信息。
一种可选的实施方式中,所述方法还包括第一生成模块905,用于基于所述第二时间规划信息,生成并输出第一提示信息;所述第一提示信息用于确认是否在所述第二时间规划信息对应的时间段内对所述目标对象进行行为状态检测;
所述确定模块904,用于响应于接收到第一反馈信息,基于所述第二目标图像,确定所述目标对象的行为状态信息;所述第一反馈信息为所述目标对象对应的管理客户端基于所述第一提示信息生成并发送的信息,所述第一反馈信息用于指示在所述第二时间规划信息对应的时间段内对所述目标对象进行行为状态检测。
一种可选的实施方式中,所述方法还包括第一发送模块906,用于向所述管理客户端发送所述第二时间规划信息,以及第二提示信息;所述第二提示信息用于确认是否将所述第一时间规划信息调整为所述第二时间规划信息;还包括第一处理模块907,用于响应于接收到第二反馈信息,使用所述第二时间规划信息替换所述第一时间规划信息;所述第二反馈信息为所述管理客户端基于所述第二提示信息生成并发送的信息。
一种可选的实施方式中,所述识别模块902,用于获取预先存储的、至少一个预设对象对应的标准人脸图像;从获取的标准人脸图像中,筛选与所述第一目标图像相匹配的所述标准人脸图像;将筛选得到的标准人脸图像对应的预设对象作为所述目标对象。
一种可选的实施方式中,所述识别模块902,用于获取预先存储的、标准人脸图像与对应的预设对象的身份信息之间的第一映射关系;基于所述第一映射关系,确定筛选得到的标准人脸图像对应的身份信息,并将确定的身份信息作为所述目标对象的身份信息。
一种可选的实施方式中,还包括第一存储模块908,用于在识别所述第一目标图像中包括的目标对象以及目标对象的身份信息之前,获取至少一个预设对象对应的标准人脸图像和至少一个预设对象的身份信息;存储所述标准人脸图像、以及所述标准人脸图像与对应的预设对象的身份信息的第一映射关系。
一种可选的实施方式中,还包括第二存储模块909,用于获取预设对象在所述拍摄设备采集的图像中的标准位置信息;在所述拍摄设备采集的图像中预设对象的实时位置信息,与所述标准位置信息相匹配时,将所述拍摄设备的当前的标定拍摄参数作为所述第一标定拍摄参数;建立所述预设对象的身份信息与所述第一标定拍摄参数之间的第二映射关系,并将所述第二映射关系以及所述第一标定拍摄参数进行存储。
一种可选的实施方式中,所述调整模块903,用于基于所述第二映射关系,确定与所述目标对象的身份信息相匹配的第一标定拍摄参数。
一种可选的实施方式中,还包括第二处理模块910,用于接收所述管理客户端发送的第二标定拍摄参数,并基于所述第二标定拍摄参数控制所述拍摄设备调整拍摄位姿;获取调整拍摄位姿后的所述拍摄设备采集的第三目标图像,并基于所述第三目标图像,确定所述目标对象的行为状态信息,所述第三目标图像为所述拍摄设备对处于预设区域的所述目标对象进行拍摄得到的图像。
一种可选的实施方式中,所述行为状态信息包括以下至少一项:
注意力状态信息;坐姿状态信息。
一种可选的实施方式中,还包括第二生成模块911,用于基于所述行为状态信息,生成所述目标对象的学习报告。
一种可选的实施方式中,还包括第二发送模块912,用于向所述管理客户端发送所述学习报告。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明,这里不再详述。
基于同一技术构思,本申请实施例还提供了一种计算机设备。参见图10所示,为本申请实施例提供的计算机设备的结构示意图,包括:
处理器10、存储器20和总线30。其中,存储器20存储有处理器10可执行的机器可读指令,处理器10用于执行存储器20中存储的机器可读指令,所述机器可读指令被处理器10执行时,处理器10执行下述步骤:S101:获取拍摄设备采集的第一目标图像;S102:识别第一目标图像中包括的目标对象以及目标对象的身份信息;S103:确定与身份信息相匹配的第一标定拍摄参数,并基于第一标定拍摄参数控制拍摄设备调整拍摄位姿;S104:获取调整拍摄位姿后的拍摄设备采集的第二目标图像,并基于第二目标图像,确定行为状态信息,第二目标图像为所述拍摄设备对处于预设区域的目标对象进行拍摄得到的图像。
上述存储器20包括内存21和外部存储器22;这里的内存21也称内存储器,用于暂时存放处理器10中的运算数据,以及与硬盘等外部存储器22交换的数据,处理器10通过内存21与外部存储器22进行数据交换,当计算机设备运行时,处理器10与存储器20之间通过总线30通信,使得处理器10在执行上述方法实施例中所提及的执行指令。
本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的行为检测方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例所还提供一种计算机程序产品,该计算机程序产品承载有程序代码,所述程序代码包括的指令可用于执行上述方法实施例中所述的行为检测方法的步骤,具体可参见上述方法实施例,在此不再赘述。
其中,上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software Development Kit,SDK)等等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。
Claims (17)
1.一种行为检测方法,其特征在于,包括:
获取拍摄设备采集的第一目标图像;
识别所述第一目标图像中包括的目标对象以及所述目标对象的身份信息;
确定与所述身份信息相匹配的第一标定拍摄参数,并基于所述第一标定拍摄参数控制所述拍摄设备调整拍摄位姿;
获取调整拍摄位姿后的所述拍摄设备采集的第二目标图像,并基于所述第二目标图像,确定所述目标对象的行为状态信息,所述第二目标图像为所述拍摄设备对处于预设区域的所述目标对象进行拍摄得到的图像。
2.根据权利要求1所述的行为检测方法,其特征在于,所述基于所述第二目标图像,确定所述目标对象的行为状态信息,包括:
在所述第二目标图像的拍摄时间与第一时间规划信息相匹配的情况下,基于所述第二目标图像,确定所述目标对象的行为状态信息;所述第一时间规划信息为与所述身份信息对应的时间规划信息。
3.根据权利要求1或2所述的行为检测方法,其特征在于,所述基于所述第二目标图像,确定所述目标对象的行为状态信息,还包括:
在所述第二目标图像的拍摄时间与第一时间规划信息不匹配的情况下,基于所述第二目标图像的拍摄时间,生成第二时间规划信息;所述第一时间规划信息为与所述身份信息对应的时间规划信息;
将所述第二时间规划信息作为本次检测过程中与所述身份信息对应的时间规划信息,并基于所述第二目标图像,确定所述目标对象的行为状态信息。
4.根据权利要求3所述的行为检测方法,其特征在于,在所述将所述第二时间规划信息作为本次检测过程中与所述身份信息对应的时间规划信息之前,所述方法还包括:
基于所述第二时间规划信息,生成并输出第一提示信息;所述第一提示信息用于确认是否在所述第二时间规划信息对应的时间段内对所述目标对象进行行为状态检测;
所述将所述第二时间规划信息作为本次检测过程中与所述身份信息对应的时间规划信息,并基于所述第二目标图像,确定所述目标对象的行为状态信息,包括:
响应于接收到第一反馈信息,基于所述第二目标图像,确定所述目标对象的行为状态信息;所述第一反馈信息为所述目标对象对应的管理客户端基于所述第一提示信息生成并发送的信息,所述第一反馈信息用于指示在所述第二时间规划信息对应的时间段内对所述目标对象进行行为状态检测。
5.根据权利要求4所述的行为检测方法,其特征在于,在接收到所述第一反馈信息之后,所述方法还包括:
向所述管理客户端发送所述第二时间规划信息,以及第二提示信息;所述第二提示信息用于确认是否将所述第一时间规划信息调整为所述第二时间规划信息;
响应于接收到第二反馈信息,使用所述第二时间规划信息替换所述第一时间规划信息;所述第二反馈信息为所述管理客户端基于所述第二提示信息生成并发送的信息。
6.根据权利要求1至5任一项所述的行为检测方法,其特征在于,所述识别所述第一目标图像中包括的目标对象,包括:
获取预先存储的、至少一个预设对象对应的标准人脸图像;
从获取的标准人脸图像中,筛选与所述第一目标图像相匹配的所述标准人脸图像;
将筛选得到的标准人脸图像对应的预设对象作为所述目标对象。
7.根据权利要求6所述的行为检测方法,其特征在于,识别所述目标对象的身份信息,包括:
获取预先存储的、标准人脸图像与对应的预设对象的身份信息之间的第一映射关系;
基于所述第一映射关系,确定筛选得到的标准人脸图像对应的身份信息,并将确定的身份信息作为所述目标对象的身份信息。
8.根据权利要求1至7任一项所述的行为检测方法,其特征在于,在识别所述第一目标图像中包括的目标对象以及目标对象的身份信息之前,还包括:
获取至少一个所述预设对象对应的标准人脸图像和至少一个预设对象的身份信息;
存储所述标准人脸图像、以及所述标准人脸图像与对应的预设对象的身份信息的第一映射关系。
9.根据权利要求1至8任一项所述的行为检测方法,其特征在于,在确定与所述身份信息相匹配的第一标定拍摄参数之前,还包括:
获取预设对象在所述拍摄设备所拍摄到采集的图像中的标准位置信息;
在所述拍摄设备所拍摄到采集的图像中预设对象的实时位置信息,与所述标准位置信息相匹配时,将所述拍摄设备的当前的标定拍摄参数作为所述第一标定拍摄参数;
建立所述预设对象的身份信息与所述第一标定拍摄参数之间的第二映射关系,并将所述第二映射关系以及所述第一标定拍摄参数进行存储。
10.根据权利要求9所述的行为检测方法,其特征在于,所述确定与所述身份信息相匹配的第一标定拍摄参数,包括:
基于所述第二映射关系,确定与所述目标对象的身份信息相匹配的第一标定拍摄参数。
11.根据权利要求1至10任一项所述的行为检测方法,其特征在于,还包括:
接收管理客户端发送的第二标定拍摄参数,并基于所述第二标定拍摄参数控制调整所述拍摄设备调整的拍摄位姿;
基于获取调整拍摄位姿调整后的所述拍摄设备所拍摄采集的第三目标图像,并基于所述第三目标图像,确定所述目标对象的行为状态信息,所述第三目标图像为所述拍摄设备对处于预设区域的所述目标对象进行拍摄得到的图像。
12.根据权利要求1至11任一项所述的行为检测方法,其特征在于,所述行为状态信息包括以下至少一项:
注意力状态信息;坐姿状态信息。
13.根据权利要求1至12任一项所述的行为检测方法,其特征在于,还包括:
基于所述行为状态信息,生成所述目标对象的学习报告。
14.根据权利要求13所述的行为检测方法,其特征在于,还包括:
向管理客户端发送所述学习报告。
15.一种行为检测装置,其特征在于,包括:
获取模块,用于获取拍摄设备采集的第一目标图像;
识别模块,用于识别所述第一目标图像中包括的目标对象以及所述目标对象的身份信息;
调整模块,用于确定与所述身份信息相匹配的第一标定拍摄参数,并基于所述第一标定拍摄参数控制所述拍摄设备调整拍摄位姿;
确定模块,用于获取调整拍摄位姿后的所述拍摄设备采集的第二目标图像,并基于所述第二目标图像,确定所述目标对象的行为状态信息,所述第二目标图像为所述拍摄设备对处于预设区域的所述目标对象进行拍摄得到的图像。
16.一种计算机设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当计算机设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至14任一项所述的行为检测方法的步骤。
17.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至14任一项所述的行为检测方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011545384.7A CN112699755A (zh) | 2020-12-24 | 2020-12-24 | 一种行为检测方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011545384.7A CN112699755A (zh) | 2020-12-24 | 2020-12-24 | 一种行为检测方法、装置、计算机设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112699755A true CN112699755A (zh) | 2021-04-23 |
Family
ID=75509531
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011545384.7A Pending CN112699755A (zh) | 2020-12-24 | 2020-12-24 | 一种行为检测方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112699755A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113190821A (zh) * | 2021-05-31 | 2021-07-30 | 浙江大华技术股份有限公司 | 一种对象状态信息确定方法、装置、系统及介质 |
CN114926889A (zh) * | 2022-07-19 | 2022-08-19 | 安徽淘云科技股份有限公司 | 作业提交方法、装置、电子设备和存储介质 |
WO2023279785A1 (zh) * | 2021-07-06 | 2023-01-12 | 上海商汤智能科技有限公司 | 人岗匹配检测方法、装置、计算机设备及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104243832A (zh) * | 2014-09-30 | 2014-12-24 | 北京金山安全软件有限公司 | 通过移动终端进行拍摄的方法、装置及移动终端 |
CN107566728A (zh) * | 2017-09-25 | 2018-01-09 | 维沃移动通信有限公司 | 一种拍摄方法、移动终端及计算机可读存储介质 |
CN110174988A (zh) * | 2018-11-06 | 2019-08-27 | 广东小天才科技有限公司 | 一种基于可穿戴设备的学习方法及可穿戴设备 |
CN110458971A (zh) * | 2019-07-05 | 2019-11-15 | 中国平安人寿保险股份有限公司 | 课堂考勤记录方法、装置、计算机设备和存储介质 |
CN111353368A (zh) * | 2019-08-19 | 2020-06-30 | 深圳市鸿合创新信息技术有限责任公司 | 云台摄像机、人脸特征处理方法及装置、电子设备 |
CN111507283A (zh) * | 2020-04-21 | 2020-08-07 | 浙江蓝鸽科技有限公司 | 基于课堂场景的学生行为识别方法及系统 |
CN111935453A (zh) * | 2020-07-27 | 2020-11-13 | 浙江大华技术股份有限公司 | 一种学习监督方法、装置、电子设备及存储介质 |
-
2020
- 2020-12-24 CN CN202011545384.7A patent/CN112699755A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104243832A (zh) * | 2014-09-30 | 2014-12-24 | 北京金山安全软件有限公司 | 通过移动终端进行拍摄的方法、装置及移动终端 |
CN107566728A (zh) * | 2017-09-25 | 2018-01-09 | 维沃移动通信有限公司 | 一种拍摄方法、移动终端及计算机可读存储介质 |
CN110174988A (zh) * | 2018-11-06 | 2019-08-27 | 广东小天才科技有限公司 | 一种基于可穿戴设备的学习方法及可穿戴设备 |
CN110458971A (zh) * | 2019-07-05 | 2019-11-15 | 中国平安人寿保险股份有限公司 | 课堂考勤记录方法、装置、计算机设备和存储介质 |
CN111353368A (zh) * | 2019-08-19 | 2020-06-30 | 深圳市鸿合创新信息技术有限责任公司 | 云台摄像机、人脸特征处理方法及装置、电子设备 |
CN111507283A (zh) * | 2020-04-21 | 2020-08-07 | 浙江蓝鸽科技有限公司 | 基于课堂场景的学生行为识别方法及系统 |
CN111935453A (zh) * | 2020-07-27 | 2020-11-13 | 浙江大华技术股份有限公司 | 一种学习监督方法、装置、电子设备及存储介质 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113190821A (zh) * | 2021-05-31 | 2021-07-30 | 浙江大华技术股份有限公司 | 一种对象状态信息确定方法、装置、系统及介质 |
WO2023279785A1 (zh) * | 2021-07-06 | 2023-01-12 | 上海商汤智能科技有限公司 | 人岗匹配检测方法、装置、计算机设备及存储介质 |
CN114926889A (zh) * | 2022-07-19 | 2022-08-19 | 安徽淘云科技股份有限公司 | 作业提交方法、装置、电子设备和存储介质 |
CN114926889B (zh) * | 2022-07-19 | 2023-04-07 | 安徽淘云科技股份有限公司 | 作业提交方法、装置、电子设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11302207B2 (en) | System and method for validating honest test taking | |
CN112699755A (zh) | 一种行为检测方法、装置、计算机设备和存储介质 | |
CN110659397B (zh) | 一种行为检测方法、装置、电子设备和存储介质 | |
EP3471014A1 (en) | Attendance monitoring method, system and apparatus for teacher during class | |
US20150193651A1 (en) | System and method for validating test takers | |
US9955116B2 (en) | Utilizing eye tracking to determine attendee engagement | |
CN112613780B (zh) | 一种学习报告生成的方法、装置、电子设备及存储介质 | |
KR20240014569A (ko) | 감시 데이터 제공 시스템 및 방법 | |
KR102012286B1 (ko) | 카메라 및 거리감지센서를 이용한 순수 공부시간 측정 장치 및 방법 | |
CA2949356A1 (en) | Asset estimate generation system | |
CN112437135A (zh) | 一种英语教学系统及其使用方法 | |
CN112733619A (zh) | 采集设备的位姿调整方法、装置、电子设备及存储介质 | |
US20210304339A1 (en) | System and a method for locally assessing a user during a test session | |
TW202241122A (zh) | 會議室智能管理方法及智能會議室系統 | |
CN112041852A (zh) | 对360度图像中的对象的神经网络标识 | |
CN104620299A (zh) | 跨班及跨机构题目验证 | |
CN111767898B (zh) | 业务数据处理方法、装置、设备及存储介质 | |
Assarasee et al. | Meerkat: A framework for developing presence monitoring software based on face recognition | |
CN113486799A (zh) | 设备联动方法、装置、设备、存储介质及程序产品 | |
CN112651865A (zh) | 一种行为状态的提示方法、装置、电子设备及存储介质 | |
CN117095456A (zh) | 考试行为的检测方法、装置、电子设备和存储介质 | |
Mershad et al. | Using Internet of Things for automatic student assessment during laboratory experiments | |
JP6451608B2 (ja) | 講義確認システム | |
CN113065524A (zh) | 智能工作台管理系统、智能工作台、方法、设备及介质 | |
US9843795B1 (en) | Photo booth with integrated self-diagnostic systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210423 |
|
RJ01 | Rejection of invention patent application after publication |