CN113673503B - 一种图像检测的方法及装置 - Google Patents
一种图像检测的方法及装置 Download PDFInfo
- Publication number
- CN113673503B CN113673503B CN202110979113.0A CN202110979113A CN113673503B CN 113673503 B CN113673503 B CN 113673503B CN 202110979113 A CN202110979113 A CN 202110979113A CN 113673503 B CN113673503 B CN 113673503B
- Authority
- CN
- China
- Prior art keywords
- type
- image
- preset
- target object
- coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 50
- 230000006399 behavior Effects 0.000 claims description 81
- 230000015654 memory Effects 0.000 claims description 29
- 238000012545 processing Methods 0.000 claims description 21
- 230000002159 abnormal effect Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 230000009471 action Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 241001310793 Podium Species 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本申请提供一种图像检测的方法及装置,用以解决图像检测中不准确的问题。该方法具体包括:获取布置在预设场景中的第一类图像采集设备拍摄的第一图像,其中所述第一类图像采集设备用于采集所述预设场景中第一类对象的图像;以及,获取布置在所述预设场景中的第二类图像采集设备拍摄的第二图像,其中所述第二类图像采集设备用于采集所述预设场景中第二类对象的图像;根据所述第一图像判断所述预设场景中是否存在目标对象,其中所述目标对象为发生第一预设行为的第一类对象;若存在所述目标对象,则根据所述第二图像判断所述第二类对象是否发生第二预设行为;若为是,则根据所述第二图像判断所述目标对象是否为误判。
Description
技术领域
本申请涉及计算机技术领域,具体涉及一种图像检测的方法及装置。
背景技术
随着信息技术的发展,在教学、开会、演讲以及辩论等场景中,将这些场景中的活动摄录并转播的举措,已是越来越流行。
在这些场景中,通常会设立多个摄像机位,不同机位的摄像机对场内不同身份的人员进行拍摄,并且能够基于摄像机拍摄的图像对场内人员进行行为检测。而在现有技术存在对场内人员行为检测不准确的问题。
发明内容
本申请实施例提供一种图像检测的方法及装置,用以解决现有技术对指定对象的行为检测不准确的问题。
第一方面,提供一种图像检测的方法,包括:获取布置在预设场景中的第一类图像采集设备拍摄的第一图像,其中所述第一类图像采集设备用于采集所述预设场景中第一类对象的图像;以及,获取布置在所述预设场景中的第二类图像采集设备拍摄的第二图像,其中所述第二类图像采集设备用于采集所述预设场景中第二类对象的图像;根据所述第一图像判断所述预设场景中是否存在目标对象,其中所述目标对象为发生第一预设行为的第一类对象;若存在所述目标对象,则根据所述第二图像判断所述第二类对象是否发生第二预设行为;若为是,则判断所述目标对象的坐标和所述第二类对象的坐标之间的距离是否在预设范围之内;若所述目标对象的坐标和所述第二类对象的坐标之间的距离在预设范围之内,则确定所述目标对象为误判。
在本方案中,在使用第一类图像采集设备拍摄的第一图像检测第一类对象中的目标对象(即检测发生第一预设行为的第一类对象)时,还使用第二类图像采集设备拍摄的第二图像检测第二对象是否发生影响目标对象检测准确率的第二预设行为,如果存在,则进一步根据第二图像判断之前检测出的目标对象是否为误判,如此,可以提高对第一类对象行为检测的准确性。并且,该方案无需增加额外的硬件成本,提高了方案的适用性。
可选的,第一预设行为包括但不限于起立、坐下、举手等中的一项或多项。
可选的,第二预设行为包括但不限于:(往预设方向)移动、出现在第一预设区域、离开第二预设区域等中的一项或多项。
可选的,根据所述第一图像获取所述至少一个第一类对象在世界坐标系中的第一坐标;根据所述至少一个第一类对象中的每个第一类对象对应的第一坐标确定所述每个第一类对象是否发生所述第一预设行为;其中,发生所述第一预设行为的第一类对象对应的第一坐标满足第一预设条件;将发生所述第一预设行为的第一类对象确定为所述目标对象。
通过本方式,可根据第一类对象的坐标检测其是否发生预设行为,实现简单,易于实施。
可选的,根据第一图像获取至少一个第一类对象在世界坐标系中的第一坐标;根据至少一个第一类对象对应的第一坐标从至少一个第一类对象中确定出至少一个第一类目标对象,其中第一类目标对象对应的第一坐标满足第一预设条件;根据第二图像获取至少一个第一类对象在世界坐标系中的第二坐标;根据至少一个第一类对象对应的第二坐标从至少一个第一类对象中确定出至少一个第二类目标对象,其中第二类目标对象对应的第二坐标满足第二预设条件;对至少一个第一类目标对象和至少一个第二类目标对象进行去重处理,获得目标对象。
通过本方式,联合多个不同拍摄角度的图像中检测目标对象,可以进一步提高图像检测的准确性。
可选的,根据所述第二图像获取所述第二类对象在世界坐标系中的第三坐标;根据所述第二类对象对应的第三坐标确定所述第二类对象是否发生所述第二预设行为;其中,发生所述第二预设行为的第二类对象对应的第三坐标满足第三预设条件。
通过本方式,可根据第二类对象的坐标检测其是否发生预设行为,实现简单,易于实施。
可选的,根据所述第二图像获取所述第二类对象在世界坐标系中的第三坐标;根据所述第一图像获取所述第二类对象在世界坐标系中的第四坐标;对比所述第二类对象的第三坐标和第四坐标,选择所述第三坐标和所述第四坐标中精度更高的坐标为所述第二类对象的第五坐标;根据所述第二类对象对应的第五坐标确定所述第二类对象是否发生所述第二预设行为;其中,发生所述第二预设行为的第二类对象对应的第五坐标满足第四预设条件。
通过本方式,可以获取更为精确的第二类对象的坐标,进一步提高了目标对象误判检测的准确性。
可选的,若所述第二类图像采集设备异常,则根据所述第一图像判断所述至少一个第二类对象是否发生所述第二预设行为。
通过本方式,提高了方案的可靠性。
可选的,若所述目标对象不是误判,则根据所述第一图像获取所述目标对象对应的第六坐标;根据所述目标对象的第六坐标、身份信息与坐标的对应关系,输出所述目标对象对应的身份信息;和/或,根据所述第一图像中获取所述目标对象对应的人脸信息;根据所述目标对象对应的人脸信息、身份信息与人脸信息的对应关系,输出所述目标对象对应的身份信息。
在本方式中,根据预置的身份信息与坐标的对应关系对目标对象的身份进行确认,提高了身份确认的便捷性;根据人脸信息对目标对象的身份进行确认,提高了身份确认的准确性。
可选的,上文所述预设场景可以为教室场景,所述第一类对象更为精确为学生,所述第二类对象更为精确为教师。
第二方面,本申请提供一种图像检测的装置,包括:
获取模块,用于获取布置在预设场景中的第一类图像采集设备拍摄的第一图像,其中所述第一类图像采集设备用于采集所述预设场景中第一类对象的图像;以及,获取布置在所述预设场景中的第二类图像采集设备拍摄的第二图像,其中所述第二类图像采集设备用于采集所述预设场景中第二类对象的图像;
处理模块,用于根据所述第一图像判断所述预设场景中是否存在目标对象,其中所述目标对象为发生第一预设行为的第一类对象;若存在所述目标对象,则根据所述第二图像判断所述第二类对象是否发生第二预设行为;若为是,则判断所述目标对象的坐标和所述第二类对象的坐标之间的距离是否在预设范围之内;若所述目标对象的坐标和所述第二类对象的坐标之间的距离在预设范围之内,则确定所述目标对象为误判。
可选的,所述获取模块还用于:根据所述第一图像获取所述至少一个第一类对象在世界坐标系中的第一坐标;所述处理模块还用于:根据所述至少一个第一类对象中的每个第一类对象对应的第一坐标确定所述每个第一类对象是否发生所述第一预设行为,其中,发生所述第一预设行为的第一类对象对应的第一坐标满足第一预设条件;将发生所述第一预设行为的第一类对象确定为所述目标对象。
可选的,所述获取模块还用于:根据第一图像获取至少一个第一类对象在世界坐标系中的第一坐标;根据第二图像获取至少一个第一类对象在世界坐标系中的第二坐标;所述处理模块还用于:根据至少一个第一类对象对应的第一坐标从至少一个第一类对象中确定出至少一个第一类目标对象,其中第一类目标对象对应的第一坐标满足第一预设条件;根据至少一个第一类对象对应的第二坐标从至少一个第一类对象中确定出至少一个第二类目标对象,其中第二类目标对象对应的第二坐标满足第二预设条件;对至少一个第一类目标对象和至少一个第二类目标对象进行去重处理,获得目标对象。
可选的,所述获取模块还用于:根据所述第二图像获取所述第二类对象在世界坐标系中的第三坐标;所述处理模块还用于:根据所述第二类对象对应的第三坐标确定所述第二类坐标是否发生所述第二预设行为;其中,发生所述第二预设行为的第二类对象对应的第三坐标满足第三预设条件。
可选的,所述获取模块还用于:根据所述第二图像获取所述第二类对象在世界坐标系中的第三坐标;根据所述第一图像获取所述第二类对象在世界坐标系中的第四坐标;所述处理模块还用于:对比所述第二类对象的第三坐标和第四坐标,选择所述第三坐标和所述第四坐标中精度更高的坐标为所述第二类对象的第五坐标;根据所述第二类对象对应的第五坐标确定所述第二类对象是否发生所述第二预设行为;其中,发生所述第二预设行为的第二类对象对应的第五坐标满足第四预设条件。
可选的,所述处理模块还用于:若所述第二类图像采集设备异常,则根据所述第一图像判断所述至少一个第二类对象是否发生所述第二预设行为。
可选的,所述获取模块还用于:根据所述第一图像获取所述目标对象对应的坐标;所述处理模块还用于:根据所述目标对象对应的坐标、身份信息与坐标的对应关系,输出所述目标对象对应的身份信息;和/或,
所述获取模块还用于:根据所述第一图像中获取所述目标对象对应的人脸信息;所述处理模块还用于:根据所述目标对象对应的人脸信息、身份信息与人脸信息的对应关系,输出所述目标对象对应的身份信息。
可选的,所述预设场景为教室场景,所述第一类对象为学生,所述第二类对象为教师。
第三方面,提供一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述至少一个处理器通过执行所述存储器存储的指令,使得所述装置通过执行第一方面或第一方面任一种可选的实施方式中所述的方法。
第四方面,提供一种计算机可读存储介质,所述计算机可读存储介质用于存储指令,当所述指令被执行时,使如第一方面或第一方面任一种可选的实施方式中的方法被实现。
本申请实施例中第二、第三以及第四方面中提供的一个或多个技术方案所具有的技术效果或优点,均可以由第一方面中提供的对应的一个或多个技术方案所具有的技术效果或优点对应解释。
附图说明
图1是本申请实施例适用的一种网络架构示意图;
图2是本申请实施例一种可能的应用场景;
图3a是本申请实施例提供的一种检测图像的方法的流程图;
图3b是本申请实施例提供的另一种检测图像的方法的流程图;
图4是本申请实施例提供的一种图像检测的装置的结构示意图;
图5是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面通过附图以及具体实施例对本申请技术方案做详细的说明,应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明,而不是对本申请技术方案的限定,在不冲突的情况下,本申请实施例以及实施例中的技术特征可以相互组合。
需要理解的是,在本申请实施例的描述中,“第一”、“第二”等词汇,仅用于区分描述的目的,而不能理解为指示或暗示相对重要性,也不能理解为指示或暗示顺序。在本申请实施例的描述中“多个”,是指两个或两个以上。
本申请实施例中的术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
为了便于理解本申请实施例的方案,下面先介绍本申请实施例可能的应用场景。
参见图1,为本申请实施例适用的一种系统架构示意图,该系统架构可以是教学活动中的智能录播系统,也可以是记录会议的转播系统,还可以是演讲活动、辩论活动的转播系统等等,本申请不做限制。
在该系统架构中,存在至少两个摄像设备,以及与该些摄像设备相连的后端服务器。
其中,上述摄像设备除了能够获取拍摄对象的红绿蓝(Red-Green-blue,RGB)信息之外,还可以获得拍摄对象的空间信息(例如,深度信息)。
例如,摄像设备可以是双目及以上的智能相机,如三目智能相机、4K智能相机等。在这些相机中,双目相机全称为双目立体相机,这种相机基于双目视差原理,利用成像设备从不同位置获取被测物体的两幅图像,通过计算图像对应点之间的位置偏差,获取物体三维信息。摄像设备还可以是飞行时间(time of flight,ToF)相机,这种相机可以获取拍摄对象的空间信息,其测距原理是通过给拍摄对象连续发送光脉冲,然后用传感器接收从物体返回的光,通过探测光脉冲的飞行(往返)时间来得到目标物距离。摄像设备还可以是结构光相机,等等。
上述后端服务器可以是具有计算功能的网络设备,例如计算机、服务器、移动终端等。
应理解,图1仅以两个摄像设备和一个服务器为例,但实际情况不限于此,还可以有更多数量或更少数量的摄像设备,还可以有更多数量的服务器,或者还可以包括其它设备。
例如,参见图2,为本申请实施例的一种可能的应用场景。在某一室内场景中,可以在前后左右四面墙上都安装有上述摄像设备,而所有摄像设备可以受服务器调动,例如启动/停止拍摄、调整拍摄角度等。应理解,这四个摄像设备也可以分别连接不同的后端服务器,比如室内左右墙上的摄像设备与服务器1相连接,前后墙的摄像设备与服务器2相连接。服务器通过与其连接的摄像设备采集的图像,共同对室内场景出现的情况进行检测。
参见图3a,为本申请实施例提供的一种检测图像的方法的流程图,该方法可以应用于教学场景中,也可以应用于其他可能的场景中,如开会、演讲、辩论等活动。为便于说明,本文以图3a实施例应用于如图2所示的场景为例。
而本申请实施例提供的方法的具体步骤如下:
步骤S301:第一设备获取布置在预设场景中的第一类图像采集设备拍摄的第一图像,其中第一类图像采集设备用于采集预设场景中至少一个第一类对象的图像;以及,第一设备获取布置在预设场景中的第二类图像采集设备拍摄的第二图像,其中第二类图像采集设备用于采集预设场景中第二类对象的图像。
在本步骤中,第一设备为图2中的后端服务器1为例,第一类图像采集设备以图2中相机A为例,而第二类采集设备以图2中相机B为例。第一类对象为图2座位上的学生,第二类对象为在该场景中的教师。
如图2所示,相机A为预先设置在此场景中的第一类图像采集设备,用以采集第一类对象(即学生)的图像,置于所有第一类对象的正前方。而相机B为预先设置在此场景中的第二类图像采集设备,用以采集第二类对象(即教师)的图像,置于所有第一类对象的正后方。同时,室内具有3x3的座位并以(p,q)进行编号,以指代该座位上的学生。在3x3的座位前的讲台区域,则存在有讲台区域,为预先设置的教师所在区域。同时,在该场景中,相机A与相机B、以及显示器与后端服务器1相连接交换数据。
进一步的,本申请实施例中,以相机A与相机B均为双目相机为例进行说明。
由相机A获取第一图像、相机B获取第二图像,与一般单目相机获取图像不同。例如,相机A通过其左目摄像头与右目摄像头,获取同一场景的不同图像,然后计算不同图像对应点之间位置的偏差,得到场景内物体的空间信息。这样,通过相机A与相机B,第一设备就可以得到场景内教师及所有学生的空间信息。
其中,教师和学生的三维坐标,则可以由双目相机中成像模型四个坐标系的转换得到。在双目相机中的成像模型中有四个坐标系:世界坐标系,相机坐标系,图像坐标系,像素坐标系。相机A与相机B由自身相机坐标系并图像坐标系和像素坐标系,得出拍摄对象的坐标后,再将该坐标转换为同一世界坐标系下的坐标。这样,在如图2所示的场景中,使用主体将相机A与相机B的世界坐标系设置为同一个(即如图2内教室的坐标系),则可以实现两个相机对同一物体识别出的坐标一致。
步骤S302:第一设备根据所述第一图像判断所述预设场景中是否存在目标对象;若存在目标对象,则执行步骤S303,若不存在目标对象,则转至步骤S301,获取新的图像,重新执行上述方法。
在一种可能的实现方式中,可以仅根据第一图像来判断预设场景中是否存在目标对象。
具体的,第一设备根据第一图像获取至少一个第一类对象在世界坐标系中的第一坐标;然后,第一设备根据至少一个第一类对象中的每个第一类对象对应的第一坐标确定每个第一类对象是否为目标对象。
示例性的,设目标对象为发生第一预设行为的第一类对象,而发生第一预设行为的第一类对象对应的第一坐标均满足第一预设条件,则第一设备可以判断各个第一类对象对应的第一坐标是否满足第一预设条件,然后将第一坐标满足第一预设条件的第一类对象确定为目标对象。
以第一预设行为是学生起立为例,具体方法可以包括但不限于以下两种:
方法一、相机A获取每帧图像中所有学生眼睛位置对应的坐标,计算同一个学生在一定时间内坐标的距离,例如,某一个学生,在某一帧图像内,他的坐标是(10,22,120),而在1秒后的这一帧图像中,他的坐标变成了(10,22,170),那么计算两个坐标之间的距离为50,而这个距离达到了预先设定的条件,即坐标距离超过40,那么,就可以确认该名学生发生了预设行为(即学生起立)。
方法二、相机A获取每帧图像中所有学生眼睛位置对应的坐标,根据学生的z坐标判断学生是否发生预设行为。例如,相机A获取到某一学生的坐标为(53,79,175),那么,得到该学生的z坐标为175,而这个坐标达到了预先设定的条件,即z坐标的值超过150,那么就可以确认该名学生发生了预设行为。
应理解,在具体实现中,若需要检测学生不同的行为时,上述第一预设行为,第一预设条件都可以对应修改。如上述检测学生起立时,第一预设行为是学生起立,其对应的第一预设条件是学生眼睛的坐标满足对应的条件;而当检测学生举手时,则可以有不同的第一预设行为和第一预设条件。
例如,相机A获取学生手部坐标,同时获取该名学生眼睛的坐标,当手部坐标的z轴超过眼睛的坐标的z轴时,可以判定该名学生在举手。其中,预设条件是手部坐标的z轴超过眼睛的坐标的z轴,预设行为是学生举手。
在对所有学生进行判断后,将发生第一预设行为的学生初步确定为目标对象,在下文中,将以目标对象指代发生第一预设行为的学生。
通过本实现方式,可根据第一类对象的坐标检测其是否发生预设行为,实现简单,易于实施。
在另一种可能的实现方式中,还可以联合第一图像和第二图像来判断预设场景中是否存在目标对象。
具体的,第一设备根据第一图像获取至少一个第一类对象在世界坐标系中的第一坐标,并根据该第一坐标确定每个第一类对象是否为目标对象;同时。第一设备根据第二图像获取至少一个第一类对象在世界坐标系中的第二坐标,并根据该第二坐标确定每个第一类对象是否为目标对象;然后,第一设备将从第一图像和第二图像获取到的目标对象进行去重处理,最终得到场景内所有的目标对象。
示例性的,设目标对象为发生第一预设行为的第一类对象,而发生第一预设行为的第一类对象对应的第一坐标均满足第一预设条件,其第二坐标满足第二预设条件,则第一设备可以根据各个第一类对象的第一坐标是否满足第一预设条件然后判断该第一类对象是否为目标对象,根据各个第一类对象的第二坐标是否满足第二预设条件判断该第一类对象是否为目标对象,最后,将从不同图像获取到的目标对象进行去重处理后,得到场景内的所有目标对象。
以图2所示的场景为例,当(1,2)和(2,2)位置上的学生同时起立时,单以第一图像对目标对象进行判断时,可能出现(2,2)位置的学生不能被准确检测到的情况。因此,在本方式中,同时调用第一图像和第二图像对目标对象进行检测:
首先,根据第一图像,获取到第一图像中的所有目标对象,例如:(1,2)、(2,2)、(2,3);根据第二图像,获取到第二图像中的所有目标对象,例如(1,2)、(2,2)、(3,3)。
其次,对比从两个图像获取到的目标对象,进行去重以后,可得到所有的目标对象,即为:(1,2)、(2,2)、(2,3)、(3,3)。
通过本方式,从不同的图像中获取目标对象并进行比对,可以更准确的获得全部出现预设行为的对象的坐标,提高了图像检测的准确性。
步骤S303:根据所述第二图像判断所述第二类对象是否发生第二预设行为。若第二类对象发生第二预设行为,则执行步骤S304a,否则,执行步骤S304b:确认目标对象。
在一种可能的实现方式中,第一设备仅根据第二图像判断第二类对象是否发生第二预设行为。
具体的,第一设备获取到第二图像中第二类对象所对应的第三坐标,根据第三坐标是否满足第三预设条件,判断每个第二类对象是否发生第二预设行为。
示例性的,第一设备根据由第二图像获取的第二类对象的第三坐标,判断该第三坐标是否离开图2中讲台区域(即是否满足第三预设条件),以此确认第二类对象是否发生第二预设行为。
如上文所述,相机B也可以获取到教师(第二类对象)的坐标,通过教师的坐标,判断其是否发生了第二预设行为。
例如,由相机B获取头部的坐标,当该坐标出现在除讲台外的所有区域后,则确认教师发生了第二预设行为。其中,在该举例中,第二预设条件即为:教师坐标离开室内讲台的范围。
当确定教师发生第二预设行为后,则需要根据教师的坐标判断目标对象是否为误判。
通过本实现方式,可根据第二类对象的坐标检测其是否发生预设行为,实现简单,易于实施。
在另一种可能的实现方式中,第一设备根据第一图像和第二图像判断教师是否发生第二预设行为。
示例性的,第一设备根据第二图像获取第二类对象对应的第三坐标,并根据第一图像获取第二类对象对应的第四坐标;然后第一设备对比该第三坐标和第四坐标,将其中精度更高的坐标确定为第二类对象对应的第五坐标,并根据该第五坐标确认第二类对象是否发生第二预设行为。
以图2所示场景为例,可以同时调用相机A和相机B,通过两个相机采集的图像,来提取教师在场景内的坐标。当教师离开讲台在场景内移动时,可能会导致原先仅由相机B获取的坐标精度降低。
而在本方式中,采用相机A与相机B同时获取教师在场景内的坐标,然后选择两个坐标中精度更高的坐标作为教师的实际坐标,可以确保教师坐标的准确性,并提高对目标对象检测的准确性。
可选的,当第二类图像采集设备发生异常时,第一设备将根据第一类图像采集设备采集的第一图像来判断第二类对象是否发生第二预设行为。
仍以图2所示场景为例,当出现相机B不能正常获取图像和/或坐标的情况时,调用相机A获取图像,并以相机A获取的图像,确定教师的坐标。
步骤S304a:第一设备根据所述第二图像判断所述目标对象是否为误判;
若为是,则执行步骤S305a:确认所述目标为误判;
可选的,如图3b所示,若不是误判,则执行步骤S305b:确认目标对象。
一种可能的实现方式是,第一设备根据目标对象的第一坐标或第二坐标和第二类对象的第五坐标之间的水平距离是否在预设范围之内判断目标对象是否为误判。
例如,发生第二预设行为的教师的坐标为(107,200,160),而目标对象的坐标为(102,200,130),计算两个坐标的水平距离为5,而预设范围是10,那么教师与目标对象之间的距离就在预设范围之内,则确认该目标对象为误判。而如果教师与目标对象之间的距离不在预设范围之内,那么就要确认该目标对象不是误判。
通过本实施方式,可以提高目标对象的检测的准确性,排除因第一类对象与第二类对象相距过近而导致对目标对象的误判(例如将第二类对象误判为目标对象)。
另一种可能的实现方式是,第一设备根据目标对象与第二类对象的方位关系,判断目标对象是否为误判。
以图2场景为例,当教师出现在(3,3)学生的身后位置时,相机A存在着将教师误判为起立学生的可能。因此,在第一设备进行对目标对象的判断时,根据第二类对象的第五坐标,与目标对象的第一坐标或第二坐标的方位关系,判断目标对象是否发生误判。若第五坐标处于第一坐标或第二坐标的正前方或正后方,则判断目标对象为误判。
通过本方式,将实际应用场景中可能发生的事件纳入考虑,提高了对目标对象检测的准确性。
另一种可能的实现方式是,当目标对象与第二类对象的距离在预设范围之后和/或方位为预设方位关系时,第一设备还进一步判断第二类对象是否发生第一预设行为,在确定第二类对象还发生第一预设行为时(即和目标对象的行为一致),确定目标对象为误判。
示例性的,第一类对象与第二类对象同时发生第一预设行为,第一设备则需要根据第二图像确定第二类对象是否发生第一预设行为,以及发生第一预设行为的第二类对象的坐标,判断目标对象是否为误判。
以图2场景为例,当教师站在学生(2,3)身边抬手指向某一同学(即教师发生第一预设行为)时,相机A可能出现将教师的该行为检测成学生(2,3)出现第一预设行为,此时,第一设备对比教师的第五坐标以及学生(2,3)的坐标,当发现两者的坐标小于阈值时,则第一设备可以确认该目标对象为误判。
通过本方式,可以进一步的提高图像检测的准确性,并提高该图像检测方法的适用性。
基于上述方案可知:本申请实施例在使用第一类图像采集设备拍摄的第一图像检测第一类对象中的目标对象(即检测发生第一预设行为的第一类对象)时,还使用第二类图像采集设备拍摄的第二图像检测第二对象是否发生影响目标对象检测准确率的第二预设行为,如果存在,则进一步根据第二图像判断之前检测出的目标对象是否为误判,如此,可以提高对第一类对象行为检测的准确性。并且,该方案无需增加额外的硬件成本,提高了方案的适用性。
可选的,第一设备在初步识别出目标(即S303)或确定目标不是误判(即S304a)之后,可以输出目标的身份信息,以帮助录播系统能就场景内发生的行为对观察者做出提示。
示例性的,第一设备预置了有关坐标与身份信息的对应关系,当第一设备获取到目标对象的坐标时,根据该对应关系,则可以确定目标对象的身份信息,并将该身份信息进行输出。
在确认发生第一预设行为的学生后,还需要确认该名学生的身份信息。例如,在中小学的教学环境中,课堂上学生的位置相对固定,则可以通过预先将坐标和学生信息进行一一对应,使得当获取到目标对象的坐标后,即可获得该目标对象的身份信息。
示例性的,第一设备预置了有关人脸信息与身份信息的对应关系,当第一设备获取到目标对象的人脸信息时,根据该对应关系,第一设备可以确定目标对象的身份信息,并将该身份信息进行输出。
在大学或公开课的教学环境中,学生的选择座位较为随机,那么,可以根据图像中,学生的人脸信息,获取目标对象的身份信息。
应理解,本文中的各实施方式可以相互结合以实现不同的技术效果。
以上介绍了本申请实施例提供的方法,以下介绍本申请实施例提供的装置。
参见图4,本申请实施例提供一种图像检测的装置,该装置可以是上文中的后端服务器(或者说第一设备)或者是该服务器设备中的芯片或集成电路等,该装置包括用于执行上述方法实施例中由服务器设备执行的方法的模块/单元/技术手段。
示例性的,该装置400可以包括:
获取模块401,用于获取布置在预设场景中的第一类图像采集设备拍摄的第一图像,其中所述第一类图像采集设备用于采集所述预设场景中第一类对象的图像;以及,获取布置在所述预设场景中的第二类图像采集设备拍摄的第二图像,其中所述第二类图像采集设备用于采集所述预设场景中第二类对象的图像;
处理模块402,用于根据所述第一图像判断所述预设场景中是否存在目标对象,其中所述目标对象为发生第一预设行为的第一类对象;若存在所述目标对象,则根据所述第二图像判断所述第二类对象是否发生第二预设行为;若为是,则根据所述第二图像判断所述目标对象是否为误判。
应理解,上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述,在此不再赘述。作为上述装置一种可能的产品形态,参见图5,本申请实施例还提供一种电子设备500,包括:
至少一个处理器501;以及与所述至少一个处理器501通信连接的通信接口503;所述至少一个处理器501通过执行存储器502存储的指令,使得所述电子设备500通过所述通信接口503执行上述方法实施例中任一设备所执行的方法步骤。
可选的,所述存储器502位于所述电子设备500之外。
可选的,所述电子设备500包括所述存储器502,所述存储器502与所述至少一个处理器501相连,所述存储器502存储有可被所述至少一个处理器501执行的指令。附图5用虚线表示存储器502对于电子设备500是可选的。
其中,所述处理器501和所述存储器502可以通过接口电路耦合,也可以集成在一起,这里不做限制。
本申请实施例中不限定上述处理器501、存储器502以及通信接口503之间的具体连接介质。本申请实施例在图5中以处理器501、存储器502以及通信接口503之间通过总线504连接,总线在图5中以粗线表示,其它部件之间的连接方式,仅是进行示意性说明,并不引以为限。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图5中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
应理解,本申请实施例中提及的处理器可以通过硬件实现也可以通过软件实现。当通过硬件实现时,该处理器可以是逻辑电路、集成电路等。当通过软件实现时,该处理器可以是一个通用处理器,通过读取存储器中存储的软件代码来实现。
示例性的,处理器可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(FieldProgrammable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
应理解,本申请实施例中提及的存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data EateSDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM,DR RAM)。
需要说明的是,当处理器为通用处理器、DSP、ASIC、FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件时,存储器(存储模块)可以集成在处理器中。
应注意,本文描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
作为另一种可能的产品形态,本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质用于存储指令,当所述指令被执行时,使得计算机执行上述方法实例中任一设备所执行的方法步骤。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (11)
1.一种图像检测方法,其特征在于,包括:
获取布置在预设场景中的第一类图像采集设备拍摄的第一图像,其中所述第一类图像采集设备用于采集所述预设场景中至少一个第一类对象的图像;以及,获取布置在所述预设场景中的第二类图像采集设备拍摄的第二图像,其中所述第二类图像采集设备用于采集所述预设场景中第二类对象的图像;
根据所述第一图像判断所述预设场景中是否存在目标对象,其中所述目标对象为所述至少一个第一类对象中发生第一预设行为的第一类对象;
若存在所述目标对象,则根据所述第二图像判断所述第二类对象是否发生第二预设行为;若为是,则判断所述目标对象的坐标和所述第二类对象的坐标之间的距离是否在预设范围之内;
若所述目标对象的坐标和所述第二类对象的坐标之间的距离在预设范围之内,则确定所述目标对象为误判。
2.如权利要求1所述的方法,其特征在于,所述根据所述第一图像判断所述预设场景中是否存在目标对象,包括:
根据所述第一图像获取所述至少一个第一类对象在世界坐标系中的第一坐标;
根据所述至少一个第一类对象中的每个第一类对象对应的第一坐标确定所述每个第一类对象是否发生所述第一预设行为;其中,发生所述第一预设行为的第一类对象对应的第一坐标满足第一预设条件;
将发生所述第一预设行为的第一类对象确定为所述目标对象。
3.如权利要求1所述的方法,其特征在于,所述方法还包括:
根据所述第一图像获取所述至少一个第一类对象在世界坐标系中的第一坐标;根据所述至少一个第一类对象对应的第一坐标从所述至少一个第一类对象中确定出至少一个第一类目标对象,其中所述第一类目标对象对应的第一坐标满足第一预设条件;
根据所述第二图像获取所述至少一个第一类对象在世界坐标系中的第二坐标;根据所述至少一个第一类对象对应的第二坐标从所述至少一个第一类对象中确定出至少一个第二类目标对象,其中所述第二类目标对象对应的第二坐标满足第二预设条件;
对所述至少一个第一类目标对象和所述至少一个第二类目标对象进行去重处理,获得所述目标对象。
4.如权利要求1所述的方法,其特征在于,所述根据所述第二图像判断所述第二类对象是否发生第二预设行为,包括:
根据所述第二图像获取所述第二类对象在世界坐标系中的第三坐标;
根据所述第二类对象对应的第三坐标确定所述第二类对象是否发生所述第二预设行为;其中,发生所述第二预设行为的第二类对象对应的第三坐标满足第三预设条件。
5.如权利要求1所述的方法,其特征在于,所述方法还包括:
根据所述第二图像获取所述第二类对象在世界坐标系中的第三坐标;
根据所述第一图像获取所述第二类对象在世界坐标系中的第四坐标;
对比所述第二类对象的第三坐标和第四坐标,选择所述第三坐标和所述第四坐标中精度更高的坐标为所述第二类对象的第五坐标;
根据所述第二类对象对应的第五坐标确定所述第二类对象是否发生所述第二预设行为;其中,发生所述第二预设行为的第二类对象对应的第五坐标满足第四预设条件。
6.如权利要求1所述的方法,其特征在于,所述方法还包括:
若所述第二类图像采集设备异常,则根据所述第一图像判断所述至少一个第二类对象是否发生所述第二预设行为。
7.如权利要求1所述的方法,其特征在于,所述方法还包括:
若所述目标对象不是误判,则根据所述第一图像获取所述目标对象对应的第六坐标;根据所述目标对象的第六坐标、身份信息与坐标的对应关系,输出所述目标对象对应的身份信息;和/或,
根据所述第一图像中获取所述目标对象对应的人脸信息;根据所述目标对象对应的人脸信息、身份信息与人脸信息的对应关系,输出所述目标对象对应的身份信息。
8.如权利要求1-5任一项所述的方法,其特征在于,所述预设场景为教室场景,所述第一类对象为学生,所述第二类对象为教师。
9.一种检测图像的装置,其特征在于,包括:
获取模块,用于获取布置在预设场景中的第一类图像采集设备拍摄的第一图像,其中所述第一类图像采集设备用于采集所述预设场景中第一类对象的图像;以及,获取布置在所述预设场景中的第二类图像采集设备拍摄的第二图像,其中所述第二类图像采集设备用于采集所述预设场景中第二类对象的图像;
处理模块,用于根据所述第一图像判断所述预设场景中是否存在目标对象,其中所述目标对象为发生第一预设行为的第一类对象;若存在所述目标对象,则根据所述第二图像判断所述第二类对象是否发生第二预设行为;若为是,则判断所述目标对象的坐标和所述第二类对象的坐标之间的距离是否在预设范围之内;若所述目标对象的坐标和所述第二类对象的坐标之间的距离在预设范围之内,则确定所述目标对象为误判。
10.一种电子设备,其特征在于,包括:
至少一个处理器;以及与所述至少一个处理器通信连接的存储器;
其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述至少一个处理器通过执行所述存储器存储的指令,使得所述处理器通过执行如权利要求1-8中任一项所述的方法。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储指令,当所述指令被执行时,使如权利要求1-8中任一项所述的方法被实现。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110979113.0A CN113673503B (zh) | 2021-08-25 | 2021-08-25 | 一种图像检测的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110979113.0A CN113673503B (zh) | 2021-08-25 | 2021-08-25 | 一种图像检测的方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113673503A CN113673503A (zh) | 2021-11-19 |
CN113673503B true CN113673503B (zh) | 2024-03-26 |
Family
ID=78545946
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110979113.0A Active CN113673503B (zh) | 2021-08-25 | 2021-08-25 | 一种图像检测的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113673503B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105956586A (zh) * | 2016-07-15 | 2016-09-21 | 瑞胜科信息(深圳)有限公司 | 一种基于tof 3d摄像机的智能跟踪系统 |
CN106961568A (zh) * | 2017-03-09 | 2017-07-18 | 广州盈可视电子科技有限公司 | 一种画面切换方法、装置和系统 |
CN110782185A (zh) * | 2019-11-09 | 2020-02-11 | 上海光数信息科技有限公司 | 一种课堂行为识别分析方法 |
CN111586356A (zh) * | 2020-05-08 | 2020-08-25 | 国家邮政局邮政业安全中心 | 违规行为监控方法、装置、系统、电子设备及存储介质 |
WO2020199480A1 (zh) * | 2019-04-03 | 2020-10-08 | 平安科技(深圳)有限公司 | 一种人体动作的识别方法及设备 |
CN111767783A (zh) * | 2020-04-22 | 2020-10-13 | 杭州海康威视数字技术股份有限公司 | 行为检测、模型训练方法、装置、电子设备及存储介质 |
CN112270231A (zh) * | 2020-10-19 | 2021-01-26 | 北京大米科技有限公司 | 一种确定目标视频属性特征的方法、存储介质、电子设备 |
-
2021
- 2021-08-25 CN CN202110979113.0A patent/CN113673503B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105956586A (zh) * | 2016-07-15 | 2016-09-21 | 瑞胜科信息(深圳)有限公司 | 一种基于tof 3d摄像机的智能跟踪系统 |
CN106961568A (zh) * | 2017-03-09 | 2017-07-18 | 广州盈可视电子科技有限公司 | 一种画面切换方法、装置和系统 |
WO2020199480A1 (zh) * | 2019-04-03 | 2020-10-08 | 平安科技(深圳)有限公司 | 一种人体动作的识别方法及设备 |
CN110782185A (zh) * | 2019-11-09 | 2020-02-11 | 上海光数信息科技有限公司 | 一种课堂行为识别分析方法 |
CN111767783A (zh) * | 2020-04-22 | 2020-10-13 | 杭州海康威视数字技术股份有限公司 | 行为检测、模型训练方法、装置、电子设备及存储介质 |
CN111586356A (zh) * | 2020-05-08 | 2020-08-25 | 国家邮政局邮政业安全中心 | 违规行为监控方法、装置、系统、电子设备及存储介质 |
CN112270231A (zh) * | 2020-10-19 | 2021-01-26 | 北京大米科技有限公司 | 一种确定目标视频属性特征的方法、存储介质、电子设备 |
Non-Patent Citations (1)
Title |
---|
基于双目视觉的家庭机器人的目标识别与检测;贾宁;;现代电子技术;20171201(第23期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113673503A (zh) | 2021-11-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11704833B2 (en) | Monocular vision tracking method, apparatus and non-transitory computer-readable storage medium | |
US9390475B2 (en) | Backlight detection method and device | |
CN111179358A (zh) | 标定方法、装置、设备及存储介质 | |
CN108401457A (zh) | 一种曝光的控制方法、装置以及无人机 | |
EP3588004A1 (en) | Stereoscopic camera and height acquisition method therefor and height acquisition system | |
JPS59182688A (ja) | ステレオ視処理装置 | |
CN103329518A (zh) | 拍摄系统及其使用的摄像机控制装置、拍摄方法及摄像机控制方法、以及计算机程序 | |
CN109635639B (zh) | 交通标识的位置检测方法、装置、设备和存储介质 | |
US20180330520A1 (en) | Method and system for calibrating a velocimetry system | |
CN106447735A (zh) | 一种全景相机几何标定处理方法 | |
CN112001944A (zh) | 课堂教学质量评价数据的获取方法、计算机设备和介质 | |
CN112633096A (zh) | 客流的监测方法、装置、电子设备及存储介质 | |
CN110458104B (zh) | 人眼视线检测系统的人眼视线方向确定方法和系统 | |
CN113870213A (zh) | 图像显示方法、装置、存储介质以及电子设备 | |
TW202242803A (zh) | 定位方法、裝置、電子設備及儲存媒體 | |
CN107659772B (zh) | 3d图像生成方法、装置及电子设备 | |
CN113673503B (zh) | 一种图像检测的方法及装置 | |
CN109460077B (zh) | 一种自动跟踪方法、自动跟踪设备及自动跟踪系统 | |
CN113259650A (zh) | 一种基于人眼追踪立体影像显示方法、装置、介质及系统 | |
CN112598610A (zh) | 一种深度图像获得方法、装置、电子设备及存储介质 | |
CN110581977B (zh) | 一种视频画面的输出方法、装置及三目摄像机 | |
JPWO2020003764A1 (ja) | 画像処理装置、移動装置、および方法、並びにプログラム | |
CN107977995B (zh) | 一种目标区域的位置检测方法及相关装置 | |
US7158665B2 (en) | Image processing device for stereo image processing | |
CN114390267A (zh) | 立体图像数据合成方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |