CN112508033A - 检测方法、存储介质和电子装置 - Google Patents

检测方法、存储介质和电子装置 Download PDF

Info

Publication number
CN112508033A
CN112508033A CN202110143934.0A CN202110143934A CN112508033A CN 112508033 A CN112508033 A CN 112508033A CN 202110143934 A CN202110143934 A CN 202110143934A CN 112508033 A CN112508033 A CN 112508033A
Authority
CN
China
Prior art keywords
image
feature point
detected
imaging device
reference image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110143934.0A
Other languages
English (en)
Other versions
CN112508033B (zh
Inventor
兰永亮
张俊
马志国
王麒铭
岳海纯
李力
赵飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
New Oriental Education Technology Group Co ltd
Original Assignee
New Oriental Education Technology Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by New Oriental Education Technology Group Co ltd filed Critical New Oriental Education Technology Group Co ltd
Priority to CN202110143934.0A priority Critical patent/CN112508033B/zh
Publication of CN112508033A publication Critical patent/CN112508033A/zh
Application granted granted Critical
Publication of CN112508033B publication Critical patent/CN112508033B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/30Noise filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • G06Q50/205Education administration or guidance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Studio Devices (AREA)

Abstract

一种检测方法、存储介质和电子装置。该检测方法包括:获取第一成像装置拍摄第一教室得到的待检测图像;获取基准图像;获取待检测图像的特征点集以及基准图像的特征点集,待检测图像的特征点集包括至少一个第一特征点,基准图像的特征点集包括至少一个第二特征点;获取第一特征点对集;获取第二特征点对集;根据是否基于第一特征点对集和第二特征点对集获取至少一个交叉匹配特征点对,确定第一教室的教学信息展示区的至少部分是否位于第一成像装置的成像区域之外。至少一个交叉匹配特征点对包括满足交叉匹配条件的第一特征点对和第二特征点对。该检测方法可以自动检测教学信息展示区的至少部分是否位于成像区域之外。

Description

检测方法、存储介质和电子装置
技术领域
本公开的实施例涉及一种检测方法、存储介质和电子装置。
背景技术
在线下教学中,存在学生缺勤或者注意力不集中等情况下,这导致学生可能后续不能很好的理解下次课程的内容。
发明内容
本公开的至少一个实施例提供了一种检测方法,其用于分别设置在多个教室的多个成像装置,且包括:获取第一成像装置拍摄第一教室得到的待检测图像,其中,所述第一教室为所述多个教室之一,所述第一成像装置为所述多个成像装置之一且设置在所述第一教室内;获取所述基准图像;获取所述待检测图像的特征点集以及所述基准图像的特征点集,其中,所述待检测图像的特征点集包括至少一个第一特征点,所述基准图像的特征点集包括至少一个第二特征点;针对所述待检测图像的特征点集中的每个第一特征点,将所述基准图像的特征点集中的与所述每个第一特征点距离最近的第二特征点作为与所述每个第一特征点对应的第一匹配特征点,以获取第一特征点对集,其中,所述第一特征点对集包括由所述每个第一特征点以及与所述每个第一特征点对应的第一匹配特征点形成的第一特征点对;针对所述基准图像的特征点集中的每个第二特征点,将所述待检测图像的特征点集中的与所述每个第二特征点距离最近的第一特征点作为与所述每个第二特征点对应的第二匹配特征点,以获取第二特征点对集,其中,所述第二特征点对集包括由所述每个第二特征点以及与所述每个第二特征点对应的第二匹配特征点形成的第二特征点对;以及根据是否基于所述第一特征点对集和所述第二特征点对集获取至少一个交叉匹配特征点对,确定所述第一教室的教学信息展示区的至少部分是否位于所述第一成像装置的成像区域之外,其中,所述至少一个交叉匹配特征点对包括满足交叉匹配条件的第一特征点对和第二特征点对。
本公开的至少一个实施例提供了一种存储介质,所述存储介质存储有计算机程序指令,所述计算机程序指令被处理器运行时使得计算机执行本公开的至少一个实施例提供的任一检测方法。
本公开的至少一个实施例提供了一种电子装置,其包括:处理器和存储器。所述存储器中存储有适于所述处理器执行的计算机程序指令,所述计算机程序指令被所述处理器运行时使得所述处理器执行本公开的至少一个实施例提供的任一检测方法。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例的附图作简单地介绍,显而易见地,下面描述中的附图仅仅涉及本公开的一些实施例,而非对本公开的限制。
图1是本公开的至少一个实施例提供的检测方法的示例性流程图;
图2A和图2B是本公开的至少一个实施例提供的第一教室的基准图像的第一个和第二个示意图;
图3A和图3B分别示出了图2A和图2B所示的第一教室的基准图像的标注区域;
图4A和图4B是本公开的至少一个实施例提供的示出了第一教室的教学信息展示区的可见光图像的第一个和第二个示意图;
图5A和图5B是本公开的至少一个实施例提供的示出了第一教室的教学信息展示区的红外图像的第一个和第二个示意图;
图6是图4A和图4B所示的可见光图像的竖直边缘图的示意图;
图7是图5A和图5B所示的红外图像的竖直边缘图的示意图;
图8和图9分别是本公开的至少一个实施例提供的基准图像和待检测图像的亮度通道图像的示意图;
图10示出了针对图8和图9所示的基准图像和待检测图像获取的第二特征点对涉及的第二特征点和第二匹配特征点;
图11示出了针对图8和图9所示的基准图像和待检测图像获取的第一特征点对涉及的第一特征点和第一匹配特征点;
图12示出了针对图10所示的第二特征点对集和图11所示的第一特征点对集执行交叉匹配特征点筛选得到的满足交叉匹配条件的第一个交叉匹配特征点对;
图13示出了针对图12所示的交叉匹配特征点对获取的对应于距离中值统计量的特征点对;
图14示出了本公开的至少一个实施例提供的第一成像装置的示意图;
图15示出了本公开的至少一个实施例提供的待检测图像以及待检测图像包括的板书区和第一个障碍物区域的示意图;
图16是本公开的至少一个实施例提供的基准图像以及基准图像包括的电子化显示区的示意图;
图17是图1所示的检测方法的一个示例的流程图;
图18是与图17所示的检测方法相关的方法步骤的示例性流程图;
图19是本公开的至少一个实施例提供的存储介质的示意性框图;
图20是本公开的至少一个实施例提供的电子装置的示意性框图;以及
图21示出了本公开的至少一个实施例提供的计算设备的架构。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例的附图,对本公开实施例的技术方案进行清楚、完整地描述。显然,所描述的实施例是本公开的一部分实施例,而不是全部的实施例。基于所描述的本公开的实施例,本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
除非另作定义,此处使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的组成部分。同样,“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同,而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电性的连接,不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系,当被描述对象的绝对位置改变后,则该相对位置关系也可能相应地改变。
本公开的发明人注意到,为了使得缺勤学生有机会在线补课以及允许出勤学生复听或复习,可以通过录屏设备(录制屏幕的设备)或者人工录像的方式录制课堂教学的音频或视频。然而,前者不能录制教学信息展示区(例如,黑板)以及教师在教学过程中的行为(例如,板书过程,动作),由此降低了录制的音频或视频的教学效果;后者的人工成本较高,难以规模推广。
本公开的发明人在研究中还注意到,在课堂教学过程中,可以利用成像装置(例如,朝向讲台方向的摄像头)录制教学信息展示区的视频,这不仅可以让缺勤学生有机会在线补课,允许出勤学生复听或复习,对课堂的教学质量进行监督,还有助于实现线上教学和线下教学的深度融合。
然而,本公开的发明人在研究中还注意到,成像装置本身的变化或者外界环境变化可能导致成像装置在一些情况下实际拍摄到的图像(视频)无法很好的满足实际应用的要求。
本公开的发明人在研究中还注意到,成像装置拍摄到的图像可能存在以下的问题的至少一个:教学信息展示区(例如,黑板)所占面积过小或者图像分辨率过小,而无法很好的识别教学信息展示区展示的信息;教学信息展示区的至少部分(例如,黑板的至少部分)缺失问题,而无法获取教学信息展示区展示的所有信息;教学信息展示区的形状存在畸变、偏移或者倾斜,而使得观看效果较差,存在上述问题至少之一的图像可能无法很好的满足学生对线上补课和复听的要求,并对后续的处理步骤(例如,图像校正、增强、切分、基于人工智能的内容匹配和生成)带来了额外的难度,甚至无法执行部分处理步骤。对此,可以通过定期对成像装置的状态进行检测和维护,来使得成像装置拍摄到的图像满足应用需求。
本公开的发明人在研究中还注意到,在教室的数目较少的情况下,尚可以通过人工定时(例如,每天)查看成像装置采集的图像的方式来判断成像装置的设置(例如,安装位置、角度、分辨率)以及外界环境(例如,是否存在外界遮挡以及教学区域相对于成像装置位置改变)是否存在导致成像装置采集的图像无法很好的满足实际应用的要求的问题,但是在教室的数目较多的情况下,上述人工巡检的方法将导致人工成本显著提升,且不利于使用成像装置录制教学信息展示区的视频的方案的推广。
本公开的发明人在研究中还注意到,尽管通过相关图像处理技术可以判断一幅图像相比于基准图像是否存在变化,但是不能确定图像变化是否会导致该图像不能满足实际应用需求,更不能确定导致图像变化的原因;然而,如前所述,教学场景中,导致图像变化的原因多种多样,因此,在采用相关图像处理技术之后,依然需要依赖人工来确定是否需要对该图像变化进行进一步的处理以及导致该图像变化的原因。
本公开的发明人在研究中还注意到,相关图像处理技术对外界环境比较敏感。例如,在成像装置的位置或角度并未发生任何变化,教室也未被改造的情况下,如果对于拍摄两幅图像的两个时刻,存在以下情况的至少一种,也可能导致经由相关图像处理技术提取的教室图像的特征不同,并导致获得两幅图像存在变化的错误的判定结果:课桌被移动;板书内容不一样;成像装置的成像区域的人体发生变化(由老师变为学生,由没人体变为有人体);成像装置的工作波段发生改变(由可见光波段变为红外波段)等;此种情况下,相关图像处理技术将导致假警报并额外增加了教室(成像装置)巡检人员的工作量。
本公开的至少一个实施例提供了一种检测方法,存储介质和电子装置。该检测方法可以自动检测(例如,自动巡检)教室的教学信息展示区的至少部分是否位于安装在教室中的成像装置(例如,摄像头)的成像区域之外,由此可以降低教室巡检的人工成本,有利于使用成像装置录制教学信息展示区的视频的方案的推广。
例如,通过自动检测教室的教学信息展示区的至少部分是否位于安装在教室中的成像装置的成像区域之外,有助于实现成像装置的变动分类;例如,可以将变动原因分类为可以自动维护的变动以及需要人工维护的变动,由此可以针对不同的变动类型采用适用的维护方式,由此可以进一步地降低教室巡检人员的工作量。
例如,在获取第二特征点对集基础上,进一步地获取第一特征点对集,可以剔除第二特征点对集中与判定第一教室的教学信息展示区的至少部分是否位于第一成像装置的成像区域之外弱相关或不相关的特征点对,由此可以采用基于第二特征点对集是否包括与上述判定过程强相关的特征点对(也即,通过剔除弱相关或不相关的特征点对获取的特征点对集是否为空)的方法,来判定第一教室的教学信息展示区的至少部分是否位于第一成像装置的成像区域之外弱相关或不相关的特征点对,进而可以在降低弱特征点对带来的不利干扰以及提升检测方法的鲁棒性的基础上简化判定过程;并且允许利用剔除弱相关或不相关的特征点对获取的特征点对集来进一步的判定第一成像装置是否存在小幅度的角度和位置变化。
在一些示例中,通过将成像装置的变动类型分类为“是否存在大角度改变”、“是否存在小角度和位置改变”和“是否存在遮挡”等,并通过顺次判定“是否存在大角度改变”、“是否存在小角度和位置改变”和“是否存在遮挡”,不仅可以避免在前的变动类型对在后的变动类型的变动产生不利影响(例如,存在大角度改变的情况下可能降低“是否存在遮挡”判定的准确性);还将成像装置的变动分类为可以自动维护的变动以及需要人工维护的变动。例如,将“大角度改变”和“遮挡”归类为需要人工维护的变动,并将“小角度和位置改变”归类为可以自动维护的变动。
在一些示例中,通过判断待检测图像的类型与基准图像的类型是否一致,使得本公开的至少一个实施例提供的检测方法兼容采用工作波段类型不同的成像装置(或者同一个成像装置的不同工作模式)获取的待检测图像的类型与基准图像,由此可以拓展本公开的至少一个实施例提供的检测方法的应用场景(例如,可以检测低光照情况下获取的待检测图像),提升了检测方法的鲁棒性(例如,对应待检测图像的拍摄时间的要求降低)。
下面通过几个示例和实施例对根据本公开实施例提供的检测方法进行非限制性的说明,如下面所描述的,在不相互抵触的情况下这些具体示例和实施例中不同特征可以相互组合,从而得到新的示例和实施例,这些新的示例和实施例也都属于本公开保护的范围。
本公开的至少一个实施例提供了一种检测方法,其用于分别设置在多个教室的多个成像装置。例如,多个成像装置分别被安装在多个教室中,且分别被配置为拍摄所在的教室的教学信息展示区。例如,多个教室包括第一教室,多个成像装置包括设置在第一教室内的第一成像装置。
图1是本公开的至少一个实施例提供的检测方法的示例性流程图。
例如,如图1所示,该检测方法包括以下的步骤S110-步骤 S160。
步骤S110:获取第一成像装置拍摄第一教室得到的待检测图像。
步骤S120:获取第一教室的基准图像。
步骤S130:获取待检测图像的特征点集以及基准图像的特征点集;待检测图像的特征点集包括至少一个第一特征点,基准图像的特征点集包括至少一个第二特征点。
步骤S140:针对待检测图像的特征点集中的每个第一特征点,将基准图像的特征点集中的与每个第一特征点距离最近的第二特征点作为与每个第一特征点对应的第一匹配特征点,以获取第一特征点对集;第一特征点对集包括由每个第一特征点以及与每个第一特征点对应的第一匹配特征点形成的第一特征点对。
步骤S150:针对基准图像的特征点集中的每个第二特征点,将待检测图像的特征点集中的与每个第二特征点距离最近的第一特征点作为与每个第二特征点对应的第二匹配特征点,以获取第二特征点对集;第二特征点对集包括由每个第二特征点以及与每个第二特征点对应的第二匹配特征点形成的第二特征点对。
步骤S160:根据是否基于第一特征点对集和第二特征点对集获取至少一个交叉匹配特征点对,确定第一教室的教学信息展示区的至少部分是否位于第一成像装置的成像区域之外;至少一个交叉匹配特征点对包括满足交叉匹配条件的第一特征点对和第二特征点对。
例如,步骤S110-步骤S160可以按照步骤S110+步骤S120、步骤S130、步骤S140+步骤S150和步骤S160的顺序被执行,此处,步骤S110+步骤S120表示步骤S110和步骤S120可以同时被执行或者步骤S110和步骤S120中的任意一个步骤可以在先执行,另一个在后执行;对应地,步骤S140+步骤S150具有相似的含义,不再赘述。
需要说明的是,为清楚起见,在下面的描述中,主要针对第一教室内和第一成像装置进行描述,但本领域技术人员可以理解,针对安装在其他教室中的其他成像装置,可以执行相同或相似的检测方法。
例如,该检测方法还包括:依次获取位于多个教室中除第一教室之外的其它教室的成像装置拍摄对应的教室得到的待检测图像,并依次判断(例如,通过执行步骤S110-步骤S160判断)其它教室的教学信息展示区的至少部分是否位于对应的第一成像装置的成像区域之外。
例如,该检测方法也可以被称为针对位于多个教室中多个成像装置的巡检方法。例如,该检测方法可以按照预定的时间间隔(例如,每隔24小时巡检一次,例如,在每天晚上10点开始)针对多个教室中多个摄像头执行。
例如,步骤S130-步骤S160涉及的待检测图像和基准图像具有相同的分辨率(例如,相同的水平和竖直分辨率)。
例如,在步骤S110中,第一成像装置可以是摄像头,第一成像装置的图像面朝向第一教室的教学信息展示区,由此可以拍摄第一教室的教学信息展示区的图像。需要说明的是,第一成像装置也可以拍摄视频,由于视频有多帧图像组成,因此,为方便描述,将拍摄视频也描述为拍摄图像。
例如,第一成像装置拍摄的图像可以保存在服务器中(例如,云服务器)或者第一成像装置的存储器件中;对应地,在步骤S110中,获取第一成像装置拍摄第一教室得到的待检测图像,包括:从服务器或者第一成像装置的存储器件中获取第一成像装置在预定的时间范围内拍摄第一教室得到的待检测图像。例如,在第一成像装置拍摄的图像保存在第一成像装置的存储器件的情况下,可以基于第一成像装置的互联网协议地址(IP地址)访问第一成像装置,并获得第一成像装置拍摄得到的待检测图像。
例如,在每天对位于多个教室中多个成像装置的巡检的情况下,预定的时间范围可以是当天的在巡检之前的任意时间时刻。
例如,响应于服务器或者第一成像装置的存储器件中不存在第一教室的当前图像(例如,通常意味着该教室在预定的时间范围内没有上课),结束针对第一成像装置执行该检测方法,由此可以缩短该检测方法所需的时间以及提升该检测方法的鲁棒性。
例如,教学信息展示区为用于展示教学信息(例如,板书)的区域。例如,教学信息展示区包括板书区、电子化显示区和讲台区的至少一个。例如,板书区(也被称为板书教学区)包括黑板、白板或者其它适用的用于呈现手动书写信息的区域。例如,电子化显示区(也被称为电子化教学区)包括投影机幕布、大屏幕显示器(例如,液晶显示屏)或者其它适用的用于呈现电子化信息(例如,电子课件、视频、图片等)的区域。例如,讲台区是教师在授课过程中的主要活动区域。
例如,在步骤S120中,基准图像在待检测图像被第一成像装置拍摄得到之前拍摄得到。例如,在步骤S120中,第一教室的基准图像是示出了第一教室的教学信息展示区的图像。例如,第一教室的基准图像是满足应用需求的图像。例如,第一教室的基准图像示出了完整的教学信息展示区(例如,黑板的全部和投影仪的幕布的全部)、且教学信息展示区不存在人眼可观察的偏移和倾斜的图像。
例如,可以在执行该检测方法之前,将成像装置(例如,成像装置的位置、角度等)调整为理想状态(例如,正确状态),然后使用成像装置(例如,第一成像装置或者其它适用的成像装置)拍摄第一教室的教学信息展示区,并将拍摄得到的图像作为第一教室的基准图像(以下称之为基准图像)。例如,拍摄得到的第一教室的基准图像可以存储在存储器(例如,与数据库关联的存储器)中,并在执行检测方法(例如,步骤S120)时,从存储器中调用该基准图像。
图2A和图2B是本公开的至少一个实施例提供的第一教室的基准图像的第一个和第二个示意图。例如,如图2A所示,教学信息展示区110包括电子化信息展示区111以及位于电子化信息展示区两侧的两个板书区112。例如,如图2B所示,教学信息展示区110包括电子化信息展示区111和板书区112,且电子化信息展示区111和板书区112彼此重叠。图2B还示出了投影仪191以及投影仪191所占据的矩形区域192。
例如,在执行该检测方法之前(例如巡检之前),还包括对基准图像的预定区域进行标注,以获取基准图像的预定区域的信息;通过标注获取的基准图像的预定区域的信息被存储在存储器(例如,与数据库关联的存储器)中,由此可以在执行检测方法(例如,执行下面的步骤S181)时,从存储器中调用该预定区域的信息,进而可以提升该检测方法的执行速度。
例如,基准图像的预定区域可以是板书区、电子化信息展示区、投影仪所在区域的任意一个或任意组合。例如,预定区域的信息可以包括预定区域的至少两个顶点(例如,左上角和右下角)的坐标信息以及预定区域的类型。例如,可以使用标注框框出的标注区域表示预定区域;对应地,可以将标注区域的顶点的坐标信息作为预定区域的顶点的坐标信息。
例如,标注区域可以为矩形标注区域或多边形标注区域;为方便描述,下面的相关步骤中,以标注区域为矩形标注区域为例进行阐述,但本公开的至少一个实施例不限于此。
图3A和图3B分别示出了图2A和图2B所示的第一教室的基准图像的标注区域。例如,图3A示出了用于标注电子化信息展示区的标注区域MR1以及用于标注板书区的标注区域MR2_1和MR2_2;图3B示出了用于标注电子化信息展示区和标注板书区的标注区域MR3以及用于标注投影仪的标注区域MR4。
例如,待检测图像可以是红外图像或者可见光图像;基准图像可以是红外图像或者可见光图像;此处,可见光图像是成像装置通过采集来自教学信息展示区的位于可见光波段的光线获得的;红外图像是成像装置通过采集来自教学信息展示区的位于红外波段的光线获得的。例如,第一成像装置可以工作在可见光拍摄模式和红外拍摄模式。例如,在低光照的情况下,第一成像装置调用红外拍摄模式拍摄得到的红外图像;在光照充足的情况下,第一成像装置调用可见光拍摄模式拍摄得到的可见光图像。
图4A和图4B是本公开的至少一个实施例提供的示出了第一教室的教学信息展示区的可见光图像的第一个和第二个示意图;图5A和图5B是本公开的至少一个实施例提供的示出了第一教室的教学信息展示区的红外图像的第一个和第二个示意图。图4A、图4B、图5A和图5B是相同的第一教室的教学信息展示区的图像。其中图4B、5B分别是第一教室的教学信息展示区的可见光图像的亮度通道图和第一教室的教学信息展示区的红外图像的亮度通道图。如图4A、图4B、图5A和图5B所示,对于相同的物体,可见光图像和红外图像可能不同。例如,如图4A、图4B、图5A和图5B所示,可见光图像示出了位于板书区上方的、面向学生的摄像头,但是红外图像没有示出位于板书区上方的、面向学生的摄像头;这是因为,位于板书区上方的、面向学生的摄像头在暗光情况下会发出一种人肉眼不可见的波段,以弥补暗光补偿,这样导致朝向板书区(例如,黑板)的成像装置(例如,摄像头)在成像时捕获到这样光线补偿,引起过曝现象。
在第一个示例中,在执行步骤S130之前,可以获得待检测图像的亮度通道图像和基准图像的亮度通道图像,并在执行步骤S130时,对待检测图像的亮度通道图像执行特征点提取操作,以获取待检测图像的特征点集包括的至少一个第一特征点,并对基准图像的亮度通道图像执行特征点提取操作,以获取基准图像的特征点集包括的至少一个第二特征点。
例如,在第一个示例中,获得待检测图像的亮度通道图像和基准图像的亮度通道图像,包括:将待检测图像和基准图像的颜色空间从RGB颜色空间转换为YCbCr颜色空间;提取待检测图像和基准图像的Y分量(也即,亮度分量),以获取待检测图像和基准图像的亮度通道图像。需要说明的是,也可以使用RGB颜色空间的灰度通道图像作为步骤S130的特征点提取对象。
本公开的发明人在研究中发现,待检测图像和基准图像的类型存在不一致的情况(例如,待检测图像是第一成像装置在低光照的情况下调用红外拍摄模式拍摄得到的红外图像,基准图像是可见光图像),此种情况下,即使在第一成像装置的其它设置(例如,位置,角度等)相同的情况下,拍摄同一个教学信息展示区得到的两幅图像的特征可能差异较大,并因此导致提取的特征差异较大,对应地,第一个示例中涉及检测方法鲁棒性较差(例如,要求待检测图像也需要是可见光图像)。
本公开的发明人在研究中注意到,可以在执行步骤S130之前检测待检测图像和基准图像的类型,并基于待检测图像和基准图像的类型为步骤S130中特征点提取操作选择适用的操作对象,以提升本公开的至少一个实施例提供的检测方法的鲁棒性,下面结合第二个示例进行说明。
在第二个示例中,在执行步骤S130之前,还包括以下的步骤S310。
步骤S310:确定待检测图像和基准图像的类型。
例如,在步骤S310中,确定待检测图像和基准图像的类型是指:确定成像装置通过采集哪个波段的光线形成待检测图像和基准图像。
本公开的发明人在研究中注意到,可以通过对比色调阈值以及图像的色调通道图像的像素平均值来判定来图像的类型(例如,图像是红外图像还是可见光图像),例如,可以通过以下的步骤S311-步骤S313确定待检测图像和基准图像的类型。
步骤S311:将待检测图像和基准图像的颜色空间从RGB颜色空间转换为HSV颜色空间,并获取待检测图像的色调通道图像以及基准图像的色调通道图像。
例如,HSV颜色空间的参数包括色调(H),饱和度(S)和明度(V);获取待检测图像的色调通道图像包括:提取待检测图像的各个图像像素对应于色调(H)参数的值;各个图像像素对应于色调(H)参数的值共同形成待检测图像的色调通道图像。例如,获取基准图像的色调通道图像的方法与获取待检测图像的色调通道图像的方法相同或相似,在此不再赘述。
步骤S312:计算第一像素平均值和第二像素平均值,此处,第一像素平均值等于待检测图像的色调通道图像的像素平均值,第二像素平均值等于基准图像的色调通道图像的像素平均值。
例如,色调通道图像的像素平均值等于色调通道图像的像素的值(例如,待检测图像和基准图像的色调值)的加和与色调通道图像的像素的数目的比值。
步骤S313:基于色调阈值、第一像素平均值和第二像素平均值确定待检测图像和基准图像的类型(例如,成像装置通过采集哪个波段的光线形成)。
例如,如果图像的像素平均值小于色调阈值(也可被称为红外成像阈值),则判定该图像为红外图像;如果图像的像素平均值大于等于色调阈值,则判定该图像为可见光图像。
例如,在步骤S313中,响应于第一像素平均值和第二像素平均值的一个小于色调阈值,另一个大于等于色调阈值,判定待检测图像为红外图像和可见光图像的一种且基准图像为红外图像和可见光图像的另一种;响应于第一像素平均值和第二像素平均值均小于色调阈值,判定待检测图像和基准图像均为红外图像;响应于第一像素平均值和第二像素平均值均大于等于色调阈值,判定待检测图像和基准图像均为可见光图像。本公开的发明人在研究中注意到,将色调阈值为10-20(例如,12,15或18),可以提升图像类型判定结果的准确性。
例如,在步骤S310之后,执行步骤S130之前,检测方法还包括以下的步骤S320。
步骤S320:响应于待检测图像为红外图像和可见光图像的一种且基准图像为红外图像和可见光图像的另一种,获取第一竖直边缘图和第二竖直边缘图;此种情况下,步骤S130包括:对第一竖直边缘图执行特征点提取操作,以获取待检测图像的特征点集包括的至少一个第一特征点,并对第二竖直边缘图执行特征点提取操作,以获取基准图像的特征点集包括的至少一个第二特征点。例如,第一竖直边缘图包括待检测图像中的沿竖直方向延伸的边缘,第二竖直边缘图包括基准图像中的沿竖直方向延伸的边缘。例如,沿竖直方向延伸的边缘是指图像中与竖直方向的夹角小于预定角度的物体的边缘。例如,预定角度可以根据实践经验进行设定。例如,预定角度可以小于3-5度(例如,1度)。
图6是图4A和图4B所示的可见光图像的竖直边缘图的示意图,图7是图5A和图5B所示的红外图像的竖直边缘图的示意图。
如前所述,在待检测图像和基准图像的类型不同的情况下,从待检测图像和基准图像提取的特征差异可能造成误判;然而,通过执行步骤S130之前,获取第一竖直边缘图和第二竖直边缘图,并将第一竖直边缘图和第二竖直边缘图作为步骤S130中特征点提取的对象,可以降低从待检测图像和基准图像提取的特征差异,由此可以降低待检测图像和基准图像的图像类型不同对后续的判定过程带来的不利影响,提升该检测方法在待检测图像和基准图像的类型不同的情况下的准确性。例如,由于该检测方法重点关注的电子化信息展示区和板书区均具有竖直边缘,且教室场景的其它干扰因素(例如,人体、课桌面、板书内容)通常不具有竖直边缘,因此将竖直边缘图(相比于例如水平边缘图)作为步骤S130中特征点提取的对象可以进一步地提升该检测方法在待检测图像和基准图像的类型不同的情况下的准确性。
例如,在步骤S320中,获取第一竖直边缘图和第二竖直边缘图,包括:获取待检测图像的色调通道图像以及基准图像的色调通道图像;利用待检测图像的色调通道图像获取第一竖直边缘图,并利用基准图像的色调通道图像获取第二竖直边缘图。
例如,利用色调通道图像(例如,待检测图像和基准图像的色调通道图像)获取竖直边缘图,包括:对色调通道图像进行降噪处理,然后针对降噪处理后的色调通道图像执行竖直边缘提取操作,以提取色调通道图像的竖直方向的边缘,获取色调通道图像的竖直边缘图。
例如,可以采用二维高斯滤波器对色调通道图像执行滤波去噪处理。例如,高斯滤波器核大小n可以设置为3,标准差(sigma)设为n×mod(n,2)+0.8,此处,mod为求余函数。
例如,可以使用竖直方向的索贝尔(sobel)梯度算法或者其它适用的边缘提取算法来计算提取降噪处理后的色调通道图像的竖直方向边缘图。
例如,在步骤S310之后,执行步骤S130之前,检测方法还包括:响应于待检测图像和基准图像均为红外图像,获取待检测图像的色调通道图像以及基准图像的色调通道图像;此种情况下,步骤S130包括:对待检测图像的色调通道图像执行特征点提取操作,以获取待检测图像的特征点集包括的至少一个第一特征点,并对基准图像的色调通道图像执行特征点提取操作,以获取基准图像的特征点集包括的至少一个第二特征点。
例如,在步骤S310之后,执行步骤S130之前,检测方法还包括:响应于待检测图像和基准图像均为可见光图像,获取待检测图像的亮度通道图像和基准图像的亮度通道图像;此种情况下,步骤S130包括:对待检测图像的亮度通道图像执行特征点提取操作,以获取待检测图像的特征点集包括的至少一个第一特征点,并对基准图像的亮度通道图像执行特征点提取操作,以获取基准图像的特征点集包括的至少一个第二特征点。
需要说明的是,为方便描述,后续步骤以待检测图像和基准图像均为可见光图像为例进行阐释,但是本领域技术人员可以理解,在待检测图像和基准图像的至少一个类型变化的情况下,可以将特征点提取的对象从亮度通道图像调整为色度通道图像或者竖直边缘图。
例如,在步骤S130中,可以采用相关特征点提取算法提取待检测图像的特征点以及基准图像的特征点。例如,特征点提取算法可以是尺度不变特征变换匹配算法(SIFT)或其它适用的算法。
例如,在执行步骤S130时,除了可获取待检测图像的特征点集以及基准图像的特征点集,还可以获取特征向量描述符集。
下面结合图8-图10对步骤S150进行示例性说明。
图8和图9分别是本公开的至少一个实施例提供的基准图像和待检测图像的亮度通道图像的示意图。图8和图9分别示出的基准图像和待检测图像是针对同一间教室的教学信息展示区110拍摄得到的,相比于图8,图9所示的待检测图像示出的教学信息展示区增加了板书区112。
图10示出了针对图8和图9所示的基准图像和待检测图像获取的第二特征点对涉及的第二特征点和第二匹配特征点。在图10中,上图表示基准图像,下图表示待检测图像,圆圈用于圈出第二特征点和第二匹配特征点。
例如,在步骤S150中,如图10所示,可以将基准图像的亮度通道图像作为参考图像,并将待检测图像的亮度通道图像作为待查询图像,利用匹配算法,针对基准图像(也即参考图像)的特征点集的每个第二特征点,将待检测图像的特征点集中的与每个第二特征点距离最近的第一特征点作为与每个第二特征点对应的第二匹配特征点,以获取第二特征点对集(也被称为集合O)。例如,步骤S150以及后续步骤S140涉及的匹配算法可以采用k近邻分类(k-nearest neighbor classification)算法或其它适用的匹配算法。
例如,如图10所示,在步骤S150中,对于基准图像的特征点集的第二个第二特征点F2_2,将待检测图像的特征点集中的与第二个第二特征点F2_2距离最近的第一特征点作为第二匹配特征点FM2_2,第二个第二特征点F2_2和第二匹配特征点FM2_2形成第二个第二特征点对(F2_2,FM2_2)。例如,第二个第二特征点对(F2_2,FM2_2)的坐标为{(x_ F2_2,y_F2_2),(x_ FM2_2,y_ FM2_2)},此处,x_ F2_2和y_ F2_2分别表示第二个第二特征点F2_2在基准图像中的横坐标和纵坐标;x_ FM2_2和y_ FM2_2分别表示第二匹配特征点FM2_2在待检测图像中的横坐标和纵坐标。
图10还示出了经由步骤S150找到的第三个至第七个第二特征点对(F2_3,FM2_3)、(F2_4,FM2_4)、(F2_5,FM2_5)、(F2_6,FM2_6)和(F2_7,FM2_7);第三个至第七个第二特征点对的坐标的表示方式参见前述的第二个第二特征点对的坐标的表示方式,不再赘述。本领域技术人员可以理解,还可能从图8和图9所示的基准图像和待检测图像中找到未在图10中示出的其它第二特征点对。
例如,所有的第二特征点对的集合被称为第二特征点对集,也即,第二特征点对集包括由每个第二特征点以及与每个第二特征点对应的第二匹配特征点形成的第二特征点对。
本公开的发明人在研究中注意到,第二特征点对集可以是包括弱特征点对和强特征点对的集合。例如,弱特征点对可以是与步骤S160的判定过程(确定第一教室的教学信息展示区的至少部分是否位于第一成像装置的成像区域之外)弱相关或不相关的特征点对。例如,图10中的第三个第二特征点对(F2_3,FM2_3)为与步骤S160的判定过程不相关的特征点对。例如,图10中的第六个第二特征点对(F2_6,FM2_6)为与步骤S160的判定过程弱相关的特征点对。例如,强特征点对可以是与步骤S160的判定过程强相关的特征点对。
本公开的发明人在研究中还注意到,第二特征点对集中的弱特征点对会对后续的步骤带来干扰并降低检测方法的准确性。本公开的发明人在研究中还注意到,可以在执行步骤S150之后,通过执行步骤S140获取第一特征点对集,并利用第一特征点对集以及交叉匹配特征点匹配来剔除第二特征点对集中的弱特征点,筛选出第二特征点对集中的强特征点对,由此可以仅利用强特征点执行后续的步骤,进而可以在降低弱特征点对带来的不利干扰,提升该检测方法的鲁棒性的基础上,简化判定过程,并且允许利用剔除弱相关或不相关的特征点对获取的特征点对集,进一步的判定第一成像装置是否存在小幅度的角度和位置变化。
下面结合图11对步骤S140进行示例性说明。图11示出了针对图8和图9所示的基准图像和待检测图像获取的第一特征点对涉及的第一特征点和第一匹配特征点。在图11中,上图表示基准图像,下图表示待检测图像,圆圈用于圈出第一特征点和第一匹配特征点。
例如,在步骤S140中,如图11所示,可以将待检测图像的亮度通道图像作为参考图像,并将基准图像的亮度通道图像作为待查询图像,利用匹配算法,针对待检测图像的特征点集中的每个第一特征点,将基准图像的特征点集中的与每个第一特征点距离最近的第二特征点作为与每个第一特征点对应的第一匹配特征点,以获取第一特征点对集(也被称为集合I)。
例如,如图11所示,在步骤S140中,对于待检测图像的特征点集中的第一个第一特征点F1_1,将基准图像的特征点集中的与第一个第一特征点F1_1距离最近的第二特征点作为与第一个第一特征点F1_1第一特征点对应的第一匹配特征点FM1_1;第一个第一特征点F1_1和第一匹配特征点FM1_1形成第一个第一特征点对(F1_1,FM1_1)。例如,第一个第一特征点对(F1_1,FM1_1)的坐标为{(x_ F1_1,y_ F1_1),(x_ FM1_1,y_ FM1_1)},此处,x_ F1_1和y_ F1_1分别表示第一个第一特征点F1_1在待检测图像中的横坐标和纵坐标;x_ FM1_1和y_ FM1_1分别表示第一匹配特征点FM1_1在基准图像中的横坐标和纵坐标。
图11还示出了经由步骤S140找到的第二个、第三个、第五个至第七个第一特征点对(F1_2,FM1_2)、(F1_3,FM1_3)、(F1_5,FM1_5)、(F1_6,FM1_6)和(F1_7,FM1_7)。第二个、第三个、第五个至第七个第一特征点对的坐标的表示方式参见前述的第一个第一特征点对的坐标的表示方式,不再赘述。本领域技术人员可以理解,还可能从图8和图9所示的基准图像和待检测图像中找到未在图11中示出的其它第一特征点对。
例如,所有的第一特征点对的集合被称为第一特征点对集,也即,第一特征点对集包括由每个第一特征点以及与每个第一特征点对应的第一匹配特征点形成的第一特征点对。例如,第一特征点对集可以包括弱特征点对和强特征点对的集合。
例如,在执行步骤S140和步骤S150之后,执行步骤S160之前,可以执行步骤S160p:针对第一特征点对集和第二特征点对集执行交叉匹配特征点筛选;通过执行步骤S160p,可以筛选掉第一特征点对集和第二特征点对集中的弱特征点对,筛选出第一特征点对集和第二特征点对集中的强特征点对。
下面结合图12对步骤S160p和交叉匹配特征点筛选的方法进行示例性说明。
例如,交叉匹配特征点筛选用于从第一特征点对集和第二特征点对集中筛选出满足交叉匹配条件的第一特征点对和第二特征点对(也即,强特征点对)。例如,针对第一特征点对集和第二特征点对集执行交叉匹配特征点筛选包括:针对第一特征点对集的第k个第一特征点对,确定第二特征点对集的第i个第二特征点对是否与第一特征点对集的第k个第一特征点对满足交叉匹配条件,以确定第二特征点对集中,是否存在至少一个第二特征点对,使得该至少一个第二特征点对与第k个第一特征点对满足交叉匹配条件;此处,k为小于或等于第一特征点对集中第一特征点对的个数的正整数,i为小于或等于第二特征点对集中第二特征点对的个数的正整数。
例如,在满足交叉匹配条件的第一特征点对和第二特征点对中,第一特征点对的第一特征点与第二特征点对的第二匹配特征点的差值小于偏移阈值,第一特征点对的第一匹配特征点与第二特征点对的第二特征点的差值小于偏移阈值。
例如,在第一个示例中,交叉匹配条件包括以下的表达式(1)-(4)。
Figure 691342DEST_PATH_IMAGE001
在表达式(1)-(4)中,x_ F1_k和y_ F1_k是第一特征点对集中第k个第一特征点对的第一特征点的横坐标和纵坐标;x_ FM1_k和y_ FM1_k是第一特征点对集中第k个第一特征点对的第一匹配特征点的横坐标和纵坐标;x_ F2_i和y_ F2_i是第二特征点对集中第i个第二特征点对的第二特征点的横坐标和纵坐标;x_ FM2_i和y_ FM2_i是第二特征点对集中第i个第二特征点对的第二匹配特征点的横坐标和纵坐标;为第一偏移阈值(例如,横坐标方向上可容忍的偏移阈值);为第二偏移阈值(例如,纵坐标方向上可容忍的偏移阈值)。
例如,在第一个示例中,参见表达式(1)和(2),“第一特征点对的第一特征点与第二特征点对的第二匹配特征点的差值小于偏移阈值”是指第一特征点对的第一特征点的横坐标(例如,x_ F1_k)与第二特征点对的第二匹配特征点的横坐标(例如,x_ FM2_i)的差值小于第一偏移阈值(例如,),且第一特征点对的第一特征点的纵坐标(例如,y_ F1_k)与第二特征点对的第二匹配特征点的纵坐标(例如,y_ FM2_i)的差值小于第二偏移阈值;参见表达式(3)和(4),“第一特征点对的第一匹配特征点与第二特征点对的第二特征点的差值小于偏移阈值”是指第一特征点对的第一匹配特征点的横坐标(例如,x_ FM1_k)与第二特征点对的第二特征点的横坐标(例如,x_ FM2_i)的差值小于第一偏移阈值,且第一特征点对的第一匹配特征点的纵坐标(例如,y_ FM1_k)与第二特征点对的第二特征点的纵坐标(例如,y_ FM2_i)的差值小于第二偏移阈值。
例如,第一偏移阈值和第二偏移阈值满足以下的表达式(5)和(6)。
Figure 608482DEST_PATH_IMAGE002
在表达式(5)和(6)中,h为待检测图像和基准图像在横坐标方向上的分辨率(水平分辨率),w为待检测图像和基准图像在纵坐标方向上的分辨率(竖直分辨率);γ为扰动系数(例如,成像装置的可容忍的扰动系数);β为噪声扰动参数(例如,成像装置的可容忍的噪声扰动参数)。例如,h和w可以根据待检测图像和基准图像的分辨率进行设置;γ和β可以通过测试和调试实践经验确定。例如,γ位于0.05-0.3之间(例如,0.1或0.2);β位于5-8之间(例如,6或7)。
例如,在第二个示例中,在满足交叉匹配条件的第一特征点对和第二特征点对中,第一特征点对的第一特征点与第二特征点对的第二匹配特征点在同一个坐标系中的距离小于偏移阈值,第一特征点对的第一匹配特征点与第二特征点对的第二特征点的在同一个坐标系中的距离小于偏移阈值,也即,相比于第一个示例,在第二个示例中,在计算差值时,同时考虑x坐标和y坐标,而不是分别计算在x方向上的差值以及在y方向上的差值。第二个示例的交叉匹配特征点筛选方法与第一个示例相似,具体方法可参见第一个示例设置,在此不再赘述。
需要说明的是,由于满足交叉匹配条件的第一特征点对和第二特征点对的差异较小,因此,在后续处理中,可以仅利用第一特征点对或者第二特征点对。对此,为清楚起见,在获得满足交叉匹配条件的第一特征点对和第二特征点对之后的步骤中,我们将满足交叉匹配条件的第一特征点对和第二特征点对中的第二特征点对作为交叉匹配特征点(或者强特征点)。本领域技术人员可以理解,在后续步骤中,也可以使用第一特征点对和第二特征点对中的第一特征点对,或者第一特征点对和第二特征点对,作为交叉匹配特征点(或者强特征点)。
例如,至少一个交叉匹配特征点包括第j个交叉匹配特征点对(CR_j,CRM_j),j为小于等于至少一个交叉匹配特征点对的数目的正整数;CR_j和CRM_j分别表示对应的第二特征点对包括第二特征点和第二匹配特征点。例如,特征点CR_j的横坐标和纵坐标分别为x_CR_j和y_CR_j;特征点CRM_j的横坐标和纵坐标分别为x_CRM_j和y_CRM_j。
图12示出了针对图10所示的第二特征点对集和图11所示的第一特征点对集执行交叉匹配特征点筛选得到的满足交叉匹配条件的第一个交叉匹配特征点对(CR_1,CRM_1)。本领域技术人员可以理解,针对图10所示的第二特征点对集和图11所示的第一特征点对集,还可能得到其它交叉匹配特征点对。
下面对步骤S160进行示例性说明。
例如,在步骤S160中,根据是否基于第一特征点对集和第二特征点对集获取至少一个交叉匹配特征点对,确定第一教室的教学信息展示区的至少部分是否位于第一成像装置的成像区域之外。
例如,步骤S160包括:响应于基于第一特征点对集和第二特征点对集获取至少一个交叉匹配特征点对,确定第一教室的教学信息展示区(例如,整个教学信息展示区)位于第一成像装置的成像区域之内;响应于无法基于第一特征点对集和第二特征点对集获取至少一个交叉匹配特征点对,确定第一教室的教学信息展示区的至少部分位于第一成像装置的成像区域之外。
例如,可以将第一特征点对集和第二特征点对集中筛选出满足交叉匹配条件的第一特征点对和第二特征点对的集合作为筛选后的特征点对集合,也即,强特征点集合S;如果集合S为空,则表示第一教室的教学信息展示区的至少部分位于第一成像装置的成像区域之外;如果集合S不为空,则表示第一教室的整个教学信息展示区位于第一成像装置的成像区域之内。
例如,第一教室的教学信息展示区的至少部分位于第一成像装置的成像区域之外可能是由于第一成像装置发生了大角度改变(大幅度角度改变)或者教室被改造(例如,板书区的位置由与电子化显示区重叠改造为位于电子化显示区的至少一侧)导致的。例如,前述的大角度改变是指:第一成像装置的角度变化过大,而无法通过自动维护(例如,自动图像校正程序或者成像装置包括的角度调节装置)消除角度变化带来的不利影响。
例如,该检测方法还包括:响应于确定第一教室的教学信息展示区的至少部分位于第一成像装置的成像区域之外,输出第一变动提醒信号,以提醒维护人员第一教室的教学信息展示区的至少部分位于第一成像装置的成像区域,以及第一教室的第一成像装置的角度可能需要人工调整。
例如,该检测方法还包括:响应于确定第一教室的教学信息展示区的至少部分位于第一成像装置的成像区域之外,结束针对第一成像装置执行该检测方法,由此可以缩短该检测方法所需的时间。
例如,维护人员消除问题后(使得第一教室的整个教学信息展示区位于第一成像装置的成像区域之内),可以执行后续的检测方法的步骤(例如,步骤S170)。
例如,该检测方法还包括:响应于第一教室的教学信息展示区位于第一成像装置的成像区域之内,基于待检测图像以及基准图像自动确定第一成像装置的角度和位置的至少一种相对于教学信息展示区是否存在变化。
例如,基于待检测图像以及基准图像自动确定第一成像装置的角度和位置的至少一种相对于教学信息展示区是否存在变化可以根据需求进行设定(例如,采用下面步骤S170描述的方法)。
例如,该检测方法还包括以下的步骤S170。
步骤S170:响应于基于第一特征点对集和第二特征点对集获取至少一个交叉匹配特征点对,计算至少一个交叉匹配特征点对的距离,并通过将至少一个交叉匹配特征点对的距离与预定的距离阈值进行对比确定第一成像装置的角度和位置的至少一种相对于教学信息展示区是否存在变化。
例如,交叉匹配特征点对的距离表示从基准图像提取的特征点(例如,第二特征点CR_j)与待检测图像中与基准图像中的上述提取的特征点最接近(最匹配)的特征点(例如,第二特征匹配点CRM_j)之间距离。例如,至少一个交叉匹配特征点对的距离可用于判定第一成像装置是否存在特定类型的异常(例如,第一成像装置的角度和位置的至少一种相对于教学信息展示区是否存在变化)。
例如,至少一个交叉匹配特征点对的距离可以采用欧式距离公式计算。例如,第j个交叉匹配特征点对的距离D _j满足以下的表达式(7)。
Figure 388219DEST_PATH_IMAGE003
例如,预定的距离阈值T、待检测图像的水平分辨率h和竖直分辨率w满足以下的表达式。
Figure 642483DEST_PATH_IMAGE004
也即,预定的距离阈值T正比于水平分辨率h和竖直分辨率w的平方和的开方。
例如,预定的距离阈值T、待检测图像的水平分辨率h和竖直分辨率w满足以下的表达式(8)。
Figure 456855DEST_PATH_IMAGE005
此处,γ2为成像装置的扰动参数。例如,γ2位于0.005-0.03之间(例如,0.015-0.02)。
例如,至少一个交叉匹配特征点对包括单个交叉匹配特征点,此种情况下,步骤S170包括:响应于单交叉匹配特征点对的距离大于预定的距离阈值,确定第一成像装置存在角度变化和位置变化的至少一种;响应于单交叉匹配特征点对的距离小于等于预定的距离阈值,确定第一成像装置相对于教学信息展示区不存在角度变化和位置变化。
又例如,至少一个交叉匹配特征点对包括多个交叉匹配特征点,此种情况下,步骤S170包括以下的步骤S171和步骤S172。
步骤S171:获取多个交叉匹配特征点对的距离的统计量D_m。
例如,多个交叉匹配特征点对的距离的统计量可以是多个交叉匹配特征点对的距离的中值统计量。例如,可以将多个交叉匹配特征点对的距离按照升序或者降序排序,将位于序列中间位置的距离值作为多个交叉匹配特征点对的距离的统计量。例如,上述位于序列中间位置的距离值对应的交叉匹配特征点对记为Sn。图13示出了针对图12所示的交叉匹配特征点对获取的对应于距离中值统计量D_m的特征点对(Sn1,Sn2)。
步骤S172:判定对应于统计量的交叉匹配特征点对的距离D_t是否大于预定的距离阈值T。
例如,响应于对应于统计量的交叉匹配特征点对的距离D_t大于预定的距离阈值T,确定第一成像装置存在角度变化和位置变化的至少一种;响应于对应于统计量的交叉匹配特征点对的距离小于等于预定的距离阈值T确定第一成像装置相对于教学信息展示区不存在角度变化和位置变化;此处,角度变化是小角度变化,该小角度变化带来的不利影响可以由自动图像校正程序或者成像装置包括的角度调节装置(例如,云台)的调节而消除或减轻。
例如,通过获取多个交叉匹配特征点对的距离的统计量D_m,并基于对应于统计量的交叉匹配特征点对的距离D_t是否大于预定的距离阈值T来判定第一成像装置是否存在角度变化和位置变化的至少一种,可以排除多个交叉匹配特征点对中与诸如水印、时间戳相关的强特征点对对判定过程的带来的不利干扰,并由此也提升该检测方法的鲁棒性。
例如,通过基于对应于统计量的交叉匹配特征点对的距离D_t大于预定的距离阈值T,确定第一成像装置存在角度变化和位置变化的至少一种,在降低弱特征点对带来的不利干扰,提升该检测方法的鲁棒性的基础上,简化判定过程。
例如,该检测方法还包括以下的步骤S180。
步骤S180:响应于第一成像装置的角度和位置的至少一种存在变化,基于待检测图像以及基准图像自动确定第一成像装置的角度相对于教学信息展示区是否存在变化。
例如,在步骤S180中,基于待检测图像以及基准图像自动确定第一成像装置的角度相对于教学信息展示区是否存在变化包括以下的步骤S181和步骤S182。
步骤S181:获取待检测图像的第一特征区域以及的基准图像第二特征区域,此处,第一特征区域和第二特征区域表示位于第一教室中的同一个对象。
例如,在步骤S181中,第一和第二特征区域可以是固有特征属性区域,其均对应于第一教室中通常而言不会变化的对象。例如,上述同一个对象可以是板书区、电子化显示区或其它适用的对象。例如,为方便计算,可以选择形状为矩形的对象(例如,黑板)作为同一个对象,对应地,第一和第二特征区域的形状实质上为矩形。
例如,步骤S181可以包括:采用目标检测模型,来检测待检测图像中对应于预先设定的检测对象的第一特征区域。例如,目标检测模型会输出第一特征区域(对应于)的位置信息(例如,矩形特征区域的左上角和右下角的坐标)。
例如,目标检测模型可以是yolo(You Only Look Once)模型,yolo、模型是一种基于深度神经网络的对象识别和定位模型。
例如,可以在执行步骤S181之前,获取预先设定的检测对象;此种情况下,步骤S181还包括:采用目标检测模型,来检测基准图像中对应于预先设定的检测对象的第二特征区域。又例如,可以将基准图像的标注区域对应的对象作为预先设定的检测对象。
步骤S182:通过对比第一特征区域的边长信息和第二特征区域的边长信息确定第一成像装置的角度相对于教学信息展示区是否存在变化。
例如,在步骤S182中,“确定第一成像装置的角度相对于教学信息展示区是否存在变化”是指确定第一成像装置的俯仰角、偏航角和翻滚角是否存在变化。
下面结合图14对步骤S182进行示例性说明。
图14示出了本公开的至少一个实施例提供的第一成像装置181的示意图。图14还示出第一和第二特征区域表示的位于第一教室中的同一个对象182(例如,电子化展示区)以及第一成像装置181对对象182成像获得的图像区域183(图像区域183的四个顶点为ABCD)。例如,图像区域183可用于表示第一特征区域和第二特征区域。
例如,如图14所示,在第一成像装置181不存在角度变化的情况下,第一成像装置181的光轴与z轴重叠,第一成像装置181的成像平面的竖直方向和水平方向分别与y轴和x轴平行。
例如,如图14所示,图像区域183包括由四个顶点形成顺次相接的四条边(后面称之为线段AB,BC,CD,DA);第一组线段(也即,线段AD和BC)为对应于x轴的两条对置的线段;第二组线段(也即,线段AB和CD)为对应于y轴的两条对置的线段;如果第一成像装置181不存在角度变化,第一组线段包括的两条线段均实质上平行于x轴,第二组线段包括的两条线段均实质上平行于y轴。
例如,步骤S182包括以下的步骤S182a和步骤S182b。
步骤S182a:通过对比第一特征区域的边长比值和第二特征区域的边长比值确定第一成像装置的俯仰角和偏航角的至少一个是否存在变化。
例如,步骤S182a包括:响应于第一特征区域的第一组线段包括的两条线段的长度的比值(也即,线段DA和线段BC的长度的比值)不同于第二特征区域的第一组线段包括的两条线段的长度的比值,判定第一成像装置的俯仰角存在变化(也即,第一成像装置的集光面绕x轴旋转)。
例如,步骤S182a还包括:响应于第一特征区域的第二组线段包括的两条线段的长度的比值(也即,线段AB和线段CD的长度的比值)不同于第二特征区域的第二组线段包括的两条线段的长度的比值,判定第一成像装置的偏航角相对于教学信息展示区存在变化(也即,第一成像装置的集光面绕y轴旋转)。
步骤S182b:响应于通过对比第一特征区域的预定边与参考虚拟直线的夹角以及第二特征区域的预定边与参考虚拟直线的夹角确定第一成像装置的翻滚角是否存在变化。
例如,步骤S182b包括:响应于第一特征区域的预定边与参考虚拟直线的夹角不同于第二特征区域的预定边与参考虚拟直线的夹角,确定第一成像装置的翻滚角存在变化。
例如,第一特征区域的预定边和第二特征区域的预定边对应于上述对象的同一条边;下面以线段DA作为第一特征区域的预定边和第二特征区域的预定边,x轴所在的虚拟直线作为参考虚拟直线为例进行阐述。
例如,第一特征区域的预定边与参考虚拟直线的夹角θ1和第二特征区域的预定边与参考虚拟直线的夹角θ2满足以下的表达式(9)和(10)。
Figure 279318DEST_PATH_IMAGE006
在表达式(9)和(10)中,xD1和yD1分别是第一特征区域的顶点D的横坐标和纵坐标;xA1和yA1分别是第一特征区域的顶点A的横坐标和纵坐标;xD2和yD2分别是第二特征区域的顶点D的横坐标和纵坐标;xA2和yA2分别是第一特征区域的顶点A的横坐标和纵坐标。
例如,该检测方法还包括以下的步骤S190。
步骤S190:响应于第一成像装置的角度相对于教学信息展示区不存在变化,确定成像装置的位置存在变化。
例如,该检测方法还包括:响应于第一成像装置的角度相对于教学信息展示区不存在变化,调整第一成像装置的位置或者输出用于提醒进行位置调整的信号。
例如,通过顺次判定“第一成像装置的角度和位置的至少一个相对于教学信息展示区是否存在变化”以及“第一成像装置的角度相对于教学信息展示区是否存在变化”,可以避免直接判断“第一成像装置的位置相对于教学信息展示区是否存在变化”,由此可以提升该检测方法判定结果的准确性。
例如,该检测方法还包括以下的步骤S210。
步骤S210:响应于第一成像装置的角度和位置的至少一种不存在变化,基于待检测图像自动确定是否存在教学信息展示区的至少部分被遮挡而无法被第一成像装置拍摄的问题。
例如,步骤S210包括以下的步骤S211-步骤S213。
步骤S211:检测待检测图像中的教学信息展示区以及障碍物区域。
例如,可以利用目标检测模型来检测待检测图像中的教学信息展示区以及障碍物区域。例如,障碍物区域包括但不限于投影仪。例如,在步骤S211中检测的障碍物区域可以由在标注阶段,针对基准图像标注的障碍物区域确定。例如,教学信息展示区包括板书区和电子化显示区的至少一个。例如,目标检测模型被配置为输出检测到的目标的类型(例如,检测到的目标的类型为板书区)以及目标的坐标信息(例如,检测到的目标的左上角和右下角坐标)。
例如,可以使用yoloV5算法模型(第五代yolo算法模型)作为目标检测模型;例如,通过将yoloV5算法模型作为目标检测模型,有利于工程化部署、降低模型体积、提升检测得到的目标的精度高(由此适用巡检异常问题的准确分析)、准确率高(这是因为模型采用了很多有效的数据增强方法)、提升模型训练及推理速度。
步骤S212:响应于从待检测图像检测出障碍物区域,计算教学信息展示区以及障碍物区域的交并比。
例如,下面结合图15对步骤S212进行示例性说明。
图15示出了本公开的至少一个实施例提供的待检测图像以及待检测图像包括的板书区和第一个障碍物区域的示意图。
例如,如图15所示,板书区112与第一个障碍物区域171交叠;板书区112的位于左上角顶点的坐标为(x_b1,y_b1);板书区112的位于右下角顶点的坐标为(x_b2,y_b2);第一个障碍物区域171的位于左上角顶点的坐标为(x_o1,y_o1);第一个障碍物区域171的位于右上角顶点的坐标为(x_o2,y_o2)。
例如,如图15所示,板书区112与第一个障碍物区域171的交叠区域的左上角的坐标为(max(x_b1,x_o1),max(y_b1,y_o1)),例如,(x_o1,y_b1);板书区112与第一个障碍物区域171的交叠区域的右角的坐标为(min(x_b2,x_o2),min(y_b2,y_o2)),例如,(x_b2,y_o2);板书区112与第一个障碍物区域171的交叠区域的面积S_I=(min(x_b2,x_o2)- max(x_b1,x_o1))×(min(y_b2,y_o2)- max(y_b1,y_o1)))。
例如,如图15所示,板书区112和第一个障碍物区域171共同占用的区域的面积之S_U=S_b+S_o-S_I,此处,S_b和S_o分别是板书区112的面积和第一个障碍物区域171的面积。
例如,板书区112与第一个障碍物区域171的交并比Ra_b1为板书区112与第一个障碍物区域171的交叠区域的面积S_I与板书区112和第一个障碍物区域171共同占用的区域的面积的比值,也即,Ra_b1=S_I/S_U。
例如,在待检测图像还包括其它障碍物区域(例如,第t个障碍物区域),可以采用上述的方法计算板书区112与第t个障碍物区域的交并比Ra_bt,之后可以采用下面的表达式(11)计算板书区112与待检测图像包括的所有障碍物区域的交并比Ra_b。
Figure 546351DEST_PATH_IMAGE007
在表达式(11)中,m为待检测图像包括的障碍物区域的数目。
例如,在教学信息展示区还包括电子化显示区的情况下,可以参照上述的方法计算计算电子化显示区与第t个障碍物区域的交并比Ra_dt,之后可以采用下面的表达式(12)计算电子化显示区与待检测图像包括的所有障碍物区域的交并比Ra_d。
Figure 745251DEST_PATH_IMAGE008
例如,在教学信息展示区仅包括板书区112或者电子化显示区的情况下,可以将交并比Ra_b或交并比Ra_d作为教学信息展示区以及障碍物区域的交并比;在教学信息展示区包括板书区112和电子化显示区的情况下,可以将Ra_b+Ra_d作为教学信息展示区以及障碍物区域的交并比。
步骤S213:响应于交并比大于交并比阈值,确定存在教学信息展示区的至少部分被遮挡而无法被第一成像装置拍摄的问题。
例如,交并比阈值可以根据实践经验设定。例如,本公开的发明人注意到,通过将交并比阈值设置为位于0.01-0.05之间的数值(例如,0.03),可以降低遮挡的误报率和漏报率。
例如,在执行检测方法之前,还包括以下的步骤S510。
步骤S510:确定第一成像装置与教学信息展示区之间的距离是否位于预定范围之内。
例如,通过使得在执行检测方法之前确定第一成像装置与教学信息展示区之间的距离是否位于预定范围之内,可以降低第一成像装置与教学信息展示区之间的距离不合适对检测方法的准确度带来的不利影响。
例如,可以基于基准图像中的教学信息展示区包括的子区域(例如,板书区或电子化显示区)的面积与基准图像的面积的比值确定第一成像装置与教学信息展示区之间的距离是否位于预定范围之内。
例如,步骤S510包括以下的步骤S501-步骤S505。
步骤S501:获取基准图像以及基准图像包括的电子化显示区的坐标信息。
例如,可以从与数据库相关的存储器获取基准图像以及基准图像包括的电子化显示区的坐标信息。
图16是本公开的至少一个实施例提供的基准图像以及基准图像包括的电子化显示区的示意图。例如,如图16所示,基准图像包括的电子化显示区的左上角坐标和右下角坐标分别为(x_p1,y_p1)和(x_p2,y_p2)。
步骤S502:计算基准图像包括的电子化显示区的面积Area_P,面积Area_P满足以下的表达式。
Area_P=( x_p2- x_p1)×( y_p2- y_p1)。
步骤S503:计算基准图像的面积Area_img。
例如,基准图像的宽度和高度分别为L_w和L_h,基准图像的面积Area_img = L_w×L_h。
步骤S504:计算基准图像中的教学信息展示区包括的电子化显示区的面积与基准图像的面积的比值Rat_P(也被称为屏占比),其满足以下的表达式。
Rat_P= Area_P/Area_img。
步骤S505:基于比值Rat_P确定第一成像装置与教学信息展示区之间的距离是否位于预定范围之内。
例如,响应于比值Rat_P小于第一屏占比阈值Rth1或者大于第二屏占比阈值Rth2,判定第一成像装置与教学信息展示区之间的距离位于预定范围之外;响应于比值Rat_P大于等于第一屏占比阈值Rth1,或者小于等于第二屏占比阈值Rth2,判定第一成像装置与教学信息展示区之间的距离位于预定范围之内。
例如,响应于比值Rat_P小于第一屏占比阈值Rth1,判定第一成像装置与教学信息展示区之间的距离过远;响应于比值Rat_P大于第二屏占比阈值Rth2,判定第一成像装置与教学信息展示区之间的距离过近。
例如,第一屏占比阈值Rth1和第二屏占比阈值Rth2可以根据教学信息展示区的组成以及实践经验设定。例如,第一屏占比阈值Rth1位于0.2-0.5之间,第二屏占比阈值Rth2位于0.35-0.95之间。在一些示例中,可以不判断第一成像装置与教学信息展示区之间的距离是否过远。
需要说明的是,步骤S510不限于在检测方法执行之前被执行,步骤S510也可以为检测方法的一部分,并在执行步骤S110+步骤S120之前被执行。例如,步骤S510不限于在初始化或者第一成像装置安装阶段被执行,也可以在定期巡检时被执行。
例如,该检测方法还包括:在确定第一教室的教学信息展示区的至少部分是否位于第一成像装置的成像区域之外之前(例如,执行步骤S130之前),执行以下步骤S001和步骤S003的至少一项。
步骤S001:确定多个成像装置与多个教室的对应关系是否存在变化。
例如,在步骤S001中,在执行步骤S110和步骤S120之前,可以从相关数据库中,获取多个成像装置与多个教室当前的对应关系以及预设的对应关系,以确定当前的对应关系是否不同于预设的对应关系。
例如,多个成像装置与多个教室的对应关系可以是多个成像装置的互联网协议地址(IP地址)与多个教室的识别码(例如,编号)的对应关系。
例如,在当前的对应关系不同于预设的对应关系的情况下,输出映射变动提醒信号,以提醒相关人员将多个成像装置与多个教室的对应关系重新调整为预设的对应关系;或者,也可以直接将多个成像装置与多个教室的对应关系自动复位(调整为预设的对应关系)。
例如,确定多个成像装置与多个教室的对应关系存在变化,且成像装置拍摄的图像保存在成像装置的存储器件的情况下,在获取成像装置拍摄的图像时,可以基于成像装置的调整后的互联网协议地址(IP地址)访问目标成像装置。
步骤S002:确定第一成像装置的分辨率是否存在变化。例如,步骤S002在执行步骤S110和步骤S120之后,在执行步骤S130之前被执行。
例如,步骤S002包括:响应于第一教室的基准图像的宽度不同于待检测图像的宽度以及第一教室的基准图像的高度不同于待检测图像的高度的至少一项,确定第一成像装置的分辨率存在变化。
例如,步骤S002还包括:响应于第一成像装置的分辨率存在变化,通过图像处理,将待检测图像的分辨率调整为与基准图像的分辨率一致,并在步骤S130中采用分辨率调整后的图像作为待检测图像。
例如,步骤S002还包括:响应于第一成像装置的分辨率存在变化,输出分辨率变动提醒信号,以提醒相关人员将第一成像装置的分辨率调整为与基准图像的分辨率一致。
图17是图1所示的检测方法的一个示例的流程图。例如,可以利用图17所示的检测方法对多个教室中多个摄像头进行巡检。需要说明的是,为清楚起见,图17主要示出了针对单个摄像头的检测方法,本领域技术人员可以理解,在实践中,可以针对多个摄像头的每个执行图17所示的除判定映射关系是否一致之外的其余步骤。
例如,如图17所示,该检测方法包括以下的步骤S611- S621。
步骤S611:获取多个成像装置与多个教室当前的映射(对应)关系以及预设映射关系。例如,从与数据库关联的存储器获取当前的映射关系以及预设映射关系。
步骤S612:判定多个成像装置与多个教室当前的映射关系以及预设映射关系是否一致(对应于前述的步骤S001)。
例如,如图17所示,响应于当前的映射关系以及预设映射关系不一致,判定多个成像装置和多个教室的映射关系改变,响应于当前的映射关系以及预设映射关系一致,判定多个成像装置和多个教室的映射关系没有改变,并执行下面的步骤S613。
例如,响应于当前的映射关系以及预设映射关系不一致,输出映射变动提醒信号,以提醒相关人员将多个成像装置与多个教室的对应关系重新调整为预设的对应关系。
需要说明的是,在一些示例中,在当前的映射关系以及预设映射关系不一致的情况下,如果可以将成像装置拍摄的待检测图像和成像装置所在的教室正确对应,也可以执行下面的步骤S613。
步骤S613:获取第一成像装置拍摄第一教室得到的待检测图像和第一教室的基准图像(对应于前述的步骤S110和步骤S120)。
步骤S614:确定待检测图像和基准图像的分辨率是否一致(对应于前述的步骤S002)。
例如,如图17所示,响应于待检测图像和基准图像的分辨率不一致,判定待检测图像的分辨率存在改变;响应于待检测图像和基准图像的分辨率一致,执行下面的步骤S615。
例如,响应于待检测图像和基准图像的分辨率不一致,输出分辨率变动提醒信号,以提醒相关人员将第一成像装置的分辨率调整为与基准图像的分辨率一致的分辨率。
需要说明的是,在一些示例中,待检测图像和基准图像的分辨率不一致的情况下,可以通过图像处理,将待检测图像的分辨率调整为与基准图像的分辨率一致,并利用分辨率调整后的图像执行下面的步骤S615。
例如,在执行步骤S614之后,在执行步骤S615之前,该检测方法还包括确定待检测图像和基准图像的类型(参见步骤S310),并基于待检测图像和基准图像的类型的判定结果,为步骤S615中特征点提取操作选择适用的操作对象(例如,亮度通道图像、色调通道图像或者竖直边缘图)。
步骤S615:特征点提取,以获取至少一个第一特征点和至少一个第二特征点(对应于前述的步骤S130)。
步骤S616:获取第一特征点对集和获取第二特征点对集(对应于前述的步骤S140和步骤S150)。
步骤S617:判断强特征点对(也即,满足交叉匹配条件的第一特征点对和第二特征点对)是否存在(对应于前述的步骤S160p)。
如图17所示,响应于不存在强特征点对,判定成像装置的角度存在大幅度改变或者教室存在改造(例如,板书区的位置由与电子化显示区重叠改造为位于电子化显示区的至少一侧);
例如,响应于不存在强特征点对,输出第一变动提醒信号,以提醒维护人员成像装置的角度存在大幅度改变或者教室存在改造,而需要人工维护。
如图17所示,响应于存在强特征点对,执行下面的步骤S618。
步骤S618:获取距离统计量对应的特征点对的距离D_t(对应于前述的步骤S171)。
步骤S619:判定对应于统计量的交叉匹配特征点对的距离D_t是否大于预定的距离阈值T。
例如,如图17所示,响应于对应于统计量的交叉匹配特征点对的距离D_t大于预定的距离阈值T,确定第一成像装置存在角度变化和位置变化的至少一种,并执行下面的步骤S620;响应于对应于统计量的交叉匹配特征点对的距离小于等于预定的距离阈值T确定第一成像装置相对于教学信息展示区不存在角度变化和位置变化(对应于前述的步骤S210),并执行下面的步骤S621。
步骤S620:基于待检测图像以及基准图像自动确定第一成像装置的角度相对于教学信息展示区是否存在变化(对应于前述的步骤S180)。
例如,如图17所示,响应于第一成像装置的角度相对于教学信息展示区存在变化,确定成像装置的角度相对于教学信息展示区存在变化;响应于第一成像装置的角度相对于教学信息展示区不存在变化,确定成像装置的位置相对于教学信息展示区存在变化(对应于前述的步骤S190)。
例如,响应于第一成像装置的角度相对于教学信息展示区存在变化,调整第一成像装置的角度或者输出用于提醒进行角度调整的信号。例如,可以利用成像装置包括的角度调节装置(例如,云台)调节成像装置的角度来消除或抑制角度变化对后续拍摄的图像的不利影响。
例如,响应于第一成像装置的位置相对于教学信息展示区存在变化,调整第一成像装置的位置或者输出用于提醒进行位置调整的信号。
例如,响应于第一成像装置的角度和位置的至少一个相对于教学信息展示区存在变化,调用自动图像校正程序对第一成像装置在预定的时间范围内拍摄的图片进行图像校正,以消除或抑制第一成像装置的角度和位置的至少一个的变化对第一成像装置在预定的时间范围内拍摄的图片的不利影响。
步骤S621:基于待检测图像自动确定是否存在教学信息展示区的至少部分被遮挡而无法被第一成像装置拍摄的问题(对应于前述的步骤S210)。
例如,如图17所示,响应于确定存在教学信息展示区的至少部分被遮挡而无法被第一成像装置拍摄的问题,判定教学信息展示区的至少部分被遮挡;响应于确定不存在教学信息展示区的至少部分被遮挡而无法被第一成像装置拍摄的问题,判定第一成像装置正常。
例如,响应于确定存在教学信息展示区的至少部分被遮挡而无法被第一成像装置拍摄的问题,输出用于提醒进行遮挡调整的信号。
图18是与图17所示的检测方法相关的方法步骤的示例性流程图。
例如,如图18所示,在执行图17所示的检测方法之前,还可以执行图18所示的步骤S651-步骤S653。
步骤S651:采集第一教室的基准图像。
例如,在步骤S651中,可以将成像装置(例如,成像装置的位置、角度等)调整为理想状态(例如,正确状态),然后使用成像装置(例如,第一成像装置或者其它适用的成像装置)拍摄第一教室的教学信息展示区,并将拍摄得到的图像作为第一教室的基准图像。
步骤S652:对基准图像的预定区域进行标注,以获取基准图像的预定区域的信息。
步骤S653:计算屏占比Rat_P(对应于步骤S504)。
例如,如图18所示,响应于比值Rat_P小于第一屏占比阈值Rth1或者大于第二屏占比阈值Rth2,判定第一成像装置与教学信息展示区之间的距离不合适(也即,位于预定范围之外)。
例如,响应于比值Rat_P大于等于第一屏占比阈值Rth1,或者小于等于第二屏占比阈值Rth2,判定第一成像装置与教学信息展示区之间的距离位于预定范围之内。例如,响应于比值Rat_P小于第一屏占比阈值Rth1,判定第一成像装置与教学信息展示区之间的距离过远;响应于比值Rat_P大于第二屏占比阈值Rth2,判定第一成像装置与教学信息展示区之间的距离过近。
需要说明的是,为了示出步骤S651-步骤S653与图17所示的检测方法之间的关系,图18所示还示出了步骤S611等。
例如,图17和图18示出的步骤与图1所示的检测方法的相关步骤相同或相似,在此不再赘述。
例如,本公开的至少一个实施例提供的检测方法可应用于面授课(线下课)教学场景和OMO(即线上和线下深度融合)教学场景;本公开的至少一个实施例提供的检测方法可针对教室中摄像头(也即,前述的成像装置)和教室间的映射关系,对所辖区域内的教室进行定期巡检,通过对教室中的摄像头成像(尤其是不同成像源,如可见光成像,红外成像)进行分析,通过对教室摄像头成像进行分析,自动判断摄像头是否存在安装变动、设备改变等异常情况及其他相关信息的变更,并定位出变动的类型,以自动触发相应处理流程(包括通过精准分类,对部分变动类型调用自动处理程序,对其他变动类型则提醒相应的设备维护人员采取对应措施等)。例如,本公开的至少一个实施例提供的检测方法可应用于安装了摄像头且摄像头朝向讲台方向的各类教室(其教室场景类型不限于黑板、白板、投影仪、液晶屏等)。
本公开的至少一个实施例还提供了一种存储介质(例如,非暂时性存储介质)。图19是本公开的至少一个实施例提供的存储介质的示意性框图。如图19所示,该存储介质存储有计算机程序指令,计算机程序指令被处理器运行时使得计算机执行本公开的至少一个实施例提供的任一检测方法。
例如,存储介质可能有多种形式,包括有形的存储介质,载波介质或物理传输介质等。稳定的储存介质可以包括:光盘或磁盘,以及其他计算机或类似设备中使用的,能够实现图中所描述的系统组件的存储系统。不稳定的存储介质可以包括动态内存,例如计算机平台的主内存等。有形的传输介质可以包括同轴电缆、铜电缆以及光纤,例如计算机系统内部形成总线的线路。载波传输介质可以传递电信号、电磁信号、声波信号或光波信号等。这些信号可以由无线电频率或红外数据通信的方法所产生。通常的存储介质(例如,计算机可读介质)包括硬盘、软盘、磁带、任何其他磁性介质;CD-ROM、DVD、DVD-ROM、任何其他光学介质;穿孔卡、任何其他包含小孔模式的物理存储介质;RAM、PROM、EPROM、FLASH-EPROM,任何其他存储器片或磁带;传输数据或指令的载波、电缆或传输载波的连接装置、任何其他可以利用计算机程序指令(例如,程序代码)和/或计算机读取的数据。可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序指令(例如,程序代码)。
本公开的至少一个实施例提供了一种电子装置。图20是本公开的至少一个实施例提供的电子装置的示意性框图。如图20所示,该电子装置包括:处理器和存储器。存储器中存储有适于处理器执行的计算机程序指令,计算机程序指令被处理器运行时使得处理器执行本公开的至少一个实施例提供的任一检测方法。
例如,该处理器例如是中央处理单元(CPU)、图形处理器GPU、张量处理器(TPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元,例如,该处理器可以实现为通用处理器,并且也可以为单片机、微处理器、数字信号处理器、专用的图像处理芯片、或现场可编程逻辑阵列等。例如,存储器可以包括易失性存储器和非易失性存储器的至少一种,例如存储器可以包括只读存储器(ROM)、硬盘、闪存等。相应地,该存储器可以实现为一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,在所述计算机可读存储介质上可以存储一个或多个计算机程序指令。处理器可以运行所述程序指令,以执行本公开的至少一个实施例提供的任一检测方法。该存储器还可以存储其他各种应用程序和各种数据,例如,所述应用程序使用和/或产生的各种数据等。
本公开的至少一个实施例描述的功能可以通过软件、固件、硬件(例如,硬件逻辑部件)及其任意组合实现。
根据本申请实施例的方法也可以借助于图21所示的计算设备400的架构来实现。
图21示出了本公开的至少一个实施例提供的计算设备400的架构。如图11所示,计算设备400可以包括总线410、一个或至少两个CPU 420、只读存储器(ROM)430、随机存取存储器(RAM)440、连接到网络的通信端口450、输入/输出组件460、硬盘470等。计算设备400中的存储设备(例如,ROM 430或硬盘470)可以存储本公开的至少一个实施例提供的检测方法对应的指令以及各种相关的数据或文件。计算设备400还可以包括人机用户界面480。当然,图21所示的架构只是示例性的,在实现不同的设备时,根据实际需要,可以省略图21示出的计算设备中的一个或至少两个组件。
虽然上文中已经用一般性说明及具体实施方式,对本公开作了详尽的描述,但在本公开实施例基础上,可以对之作一些修改或改进,这对本领域技术人员而言是显而易见的。因此,在不偏离本公开精神的基础上所做的这些修改或改进,均属于本公开要求保护的范围。
以上所述仅是本公开的示范性实施方式,而非用于限制本公开的保护范围,本公开的保护范围由所附的权利要求确定。

Claims (21)

1.一种检测方法,用于分别设置在多个教室的多个成像装置,包括:
获取第一成像装置拍摄第一教室得到的待检测图像,其中,所述第一教室为所述多个教室之一,所述第一成像装置为所述多个成像装置之一且设置在所述第一教室内;
获取所述第一教室的基准图像;
获取所述待检测图像的特征点集以及所述基准图像的特征点集,其中,所述待检测图像的特征点集包括至少一个第一特征点,所述基准图像的特征点集包括至少一个第二特征点;
针对所述待检测图像的特征点集中的每个第一特征点,将所述基准图像的特征点集中的与所述每个第一特征点距离最近的第二特征点作为与所述每个第一特征点对应的第一匹配特征点,以获取第一特征点对集,其中,所述第一特征点对集包括由所述每个第一特征点以及与所述每个第一特征点对应的第一匹配特征点形成的第一特征点对;
针对所述基准图像的特征点集中的每个第二特征点,将所述待检测图像的特征点集中的与所述每个第二特征点距离最近的第一特征点作为与所述每个第二特征点对应的第二匹配特征点,以获取第二特征点对集,其中,所述第二特征点对集包括由所述每个第二特征点以及与所述每个第二特征点对应的第二匹配特征点形成的第二特征点对;以及
根据是否基于所述第一特征点对集和所述第二特征点对集获取至少一个交叉匹配特征点对,确定所述第一教室的教学信息展示区的至少部分是否位于所述第一成像装置的成像区域之外,其中,所述至少一个交叉匹配特征点对包括满足交叉匹配条件的第一特征点对和第二特征点对。
2.根据权利要求1所述的检测方法,其中,所述根据是否可以基于所述第一特征点对集和所述第二特征点对集获取至少一个交叉匹配特征点对,确定所述第一教室的教学信息展示区的至少部分是否位于所述第一成像装置的成像区域之外,包括:
响应于基于所述第一特征点对集和所述第二特征点对集获取至少一个交叉匹配特征点对,确定所述第一教室的教学信息展示区位于所述第一成像装置的成像区域之内;以及
响应于无法基于所述第一特征点对集和所述第二特征点对集获取至少一个交叉匹配特征点对,确定所述第一教室的教学信息展示区的至少部分位于所述第一成像装置的成像区域之外;
在所述满足交叉匹配条件的第一特征点对和第二特征点对中,所述第一特征点对的第一特征点与所述第二特征点对的第二匹配特征点的差值小于偏移阈值,且所述第一特征点对的第一匹配特征点与所述第二特征点对的第二特征点的差值小于所述偏移阈值。
3.根据权利要求1所述的检测方法,还包括:响应于所述待检测图像为红外图像和可见光图像的一种且所述基准图像为红外图像和可见光图像的另一种,获取第一竖直边缘图和第二竖直边缘图,
其中,所述第一竖直边缘图包括所述待检测图像中的沿竖直方向延伸的边缘,所述第二竖直边缘图包括所述基准图像中的沿所述竖直方向延伸的边缘;以及
所述获取所述待检测图像的特征点集以及所述基准图像的特征点集,包括:对所述第一竖直边缘图执行特征点提取操作,以获取所述待检测图像的特征点集包括的至少一个第一特征点,并对所述第二竖直边缘图执行特征点提取操作,以获取所述基准图像的特征点集包括的至少一个第二特征点。
4.根据权利要求3所述的检测方法,其中,所述获取所述第一竖直边缘图和所述第二竖直边缘图,包括:
获取所述待检测图像的色调通道图像以及所述基准图像的色调通道图像;以及
利用所述待检测图像的色调通道图像获取所述第一竖直边缘图,并利用所述基准图像的色调通道图像获取所述第二竖直边缘图。
5.根据权利要求1所述的检测方法,还包括:响应于所述待检测图像和所述基准图像均为红外图像,获取所述待检测图像的色调通道图像以及所述基准图像的色调通道图像,
其中,所述获取所述待检测图像的特征点集以及所述基准图像的特征点集,包括:对所述待检测图像的色调通道图像执行特征点提取操作,以获取所述待检测图像的特征点集包括的至少一个第一特征点,并对所述基准图像的色调通道图像执行特征点提取操作,以获取所述基准图像的特征点集包括的至少一个第二特征点。
6.根据权利要求1所述的检测方法,还包括:响应于所述待检测图像和所述基准图像均为可见光图像,获取所述待检测图像的亮度通道图像和所述基准图像的亮度通道图像,
其中,所述获取所述待检测图像的特征点集以及所述基准图像的特征点集,包括:对所述待检测图像执行特征点提取操作,以获取所述待检测图像的特征点集包括的至少一个第一特征点,并对所述基准图像执行特征点提取操作,以获取所述基准图像的特征点集包括的至少一个第二特征点。
7.根据权利要求1-6任一项所述的检测方法,还包括:
将所述待检测图像和所述基准图像的颜色空间从RGB颜色空间转换为HSV颜色空间,并获取所述待检测图像的色调通道图像以及所述基准图像的色调通道图像;以及
计算第一像素平均值和第二像素平均值,其中,所述第一像素平均值等于所述待检测图像的色调通道图像的像素平均值,所述第二像素平均值等于所述基准图像的色调通道图像的像素平均值。
8.根据权利要求6所述的检测方法,其中,响应于所述第一像素平均值和所述第二像素平均值的一个小于色调阈值,另一个大于等于所述色调阈值,判定所述待检测图像为所述红外图像和可见光图像的一种且所述基准图像为红外图像和可见光图像的另一种;
响应于所述第一像素平均值和所述第二像素平均值均小于所述色调阈值,判定所述待检测图像和所述基准图像均为红外图像;以及
响应于所述第一像素平均值和所述第二像素平均值均大于等于所述色调阈值,判定所述待检测图像和所述基准图像均为可见光图像。
9.根据权利要求1-6任一项所述的检测方法,还包括:响应于基于所述第一特征点对集和所述第二特征点对集获取至少一个交叉匹配特征点对,计算所述至少一个交叉匹配特征点对的距离,并通过将所述至少一个交叉匹配特征点对的距离与预定的距离阈值进行对比确定所述第一成像装置的角度和位置的至少一种相对于所述教学信息展示区是否存在变化。
10.根据权利要求9所述的检测方法,其中,所述预定的距离阈值T、所述待检测图像的水平分辨率h和竖直分辨率w满足以下的表达式:
Figure 555172DEST_PATH_IMAGE001
11.根据权利要求9所述的检测方法,其中,所述至少一个交叉匹配特征点对包括多个交叉匹配特征点;以及
所述通过将所述至少一个交叉匹配特征点对的距离与预定的距离阈值进行对比确定所述第一成像装置的角度和位置的至少一种相对于所述教学信息展示区是否存在变化包括:
获取所述多个交叉匹配特征点对的距离的统计量;
响应于对应于所述统计量的交叉匹配特征点对的距离大于所述预定的距离阈值确定所述第一成像装置存在角度变化和位置变化的至少一种,以及响应于对应于所述统计量的交叉匹配特征点对的距离小于等于所述预定的距离阈值确定所述第一成像装置相对于所述教学信息展示区不存在角度变化和位置变化。
12.根据权利要求1-6任一项所述的检测方法,其中,响应于所述第一教室的教学信息展示区位于所述第一成像装置的成像区域之内,基于所述待检测图像以及所述基准图像自动确定所述第一成像装置的角度和位置的至少一种相对于所述教学信息展示区是否存在变化。
13.根据权利要求12所述的检测方法,还包括:
响应于所述第一成像装置的角度和位置的至少一种存在变化,基于所述待检测图像以及所述基准图像自动确定所述第一成像装置的角度相对于所述教学信息展示区是否存在变化。
14.根据权利要求13所述的检测方法,其中,所述基于所述待检测图像以及所述基准图像自动确定所述第一成像装置的角度相对于所述教学信息展示区是否存在变化包括:
获取所述待检测图像的第一特征区域以及所述基准图像第二特征区域,其中,所述第一特征区域和所述第二特征区域表示位于所述第一教室中的同一个对象;以及
通过对比所述第一特征区域的边长信息和所述第二特征区域的边长信息确定所述第一成像装置的角度相对于所述教学信息展示区是否存在变化。
15.根据权利要求13所述的检测方法,还包括:
响应于所述第一成像装置的角度相对于所述教学信息展示区不存在变化,确定所述第一成像装置的位置存在变化,并调整所述第一成像装置的位置或者输出用于提醒进行位置调整的信号。
16.根据权利要求12所述的检测方法,还包括:响应于所述第一成像装置的角度和位置的至少一种不存在变化,基于所述待检测图像自动确定是否存在所述教学信息展示区的至少部分被遮挡而无法被所述第一成像装置拍摄的问题。
17.根据权利要求16所述的检测方法,其中,所述基于所述待检测图像自动确定是否存在所述教学信息展示区的至少部分被遮挡而无法被所述第一成像装置拍摄的问题,包括:
检测所述待检测图像中的教学信息展示区以及障碍物区域;
响应于从所述待检测图像检测出所述障碍物区域,计算所述教学信息展示区以及所述障碍物区域的交并比;以及
响应于所述交并比大于交并比阈值,确定存在所述教学信息展示区的至少部分被遮挡而无法被所述第一成像装置拍摄的问题。
18.根据权利要求1-6任一项所述的检测方法,还包括:在确定所述第一教室的教学信息展示区的至少部分是否位于所述第一成像装置的成像区域之外之前,执行以下方法的至少一项:
确定所述第一成像装置与所述教学信息展示区之间的距离是否位于预定范围之内;
确定所述第一成像装置的分辨率是否存在变化;以及
确定所述多个成像装置与所述多个教室的对应关系是否存在变化。
19.根据权利要求1-6任一项所述的检测方法,其中,所述基准图像在所述待检测图像被所述第一成像装置拍摄得到之前拍摄得到;以及
所述检测方法还包括:依次获取位于所述多个教室中除所述第一教室之外的其它教室的成像装置拍摄对应的教室得到的待检测图像,并依次判断所述其它教室的教学信息展示区的至少部分是否位于对应的第一成像装置的成像区域之外。
20.一种存储介质,所述存储介质存储有计算机程序指令,所述计算机程序指令被处理器运行时使得计算机执行如权利要求1-19任一项所述的检测方法。
21.一种电子装置,包括:
处理器和存储器,
其中,所述存储器中存储有适于所述处理器执行的计算机程序指令,所述计算机程序指令被所述处理器运行时使得所述处理器执行如权利要求1-19任一项所述的检测方法。
CN202110143934.0A 2021-02-03 2021-02-03 检测方法、存储介质和电子装置 Active CN112508033B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110143934.0A CN112508033B (zh) 2021-02-03 2021-02-03 检测方法、存储介质和电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110143934.0A CN112508033B (zh) 2021-02-03 2021-02-03 检测方法、存储介质和电子装置

Publications (2)

Publication Number Publication Date
CN112508033A true CN112508033A (zh) 2021-03-16
CN112508033B CN112508033B (zh) 2021-06-08

Family

ID=74952537

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110143934.0A Active CN112508033B (zh) 2021-02-03 2021-02-03 检测方法、存储介质和电子装置

Country Status (1)

Country Link
CN (1) CN112508033B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113160062A (zh) * 2021-05-25 2021-07-23 烟台艾睿光电科技有限公司 一种红外图像目标检测方法、装置、设备及存储介质
CN114037912A (zh) * 2022-01-07 2022-02-11 成都国星宇航科技有限公司 遥感图像的变化检测方法、装置及计算机可读存储介质
CN114838796A (zh) * 2022-04-29 2022-08-02 合肥市正茂科技有限公司 视觉辅助车辆动态称重方法与称重系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102236675A (zh) * 2010-04-30 2011-11-09 华为技术有限公司 图像特征点匹配对处理、图像检索方法及设备
US20120148164A1 (en) * 2010-12-08 2012-06-14 Electronics And Telecommunications Research Institute Image matching devices and image matching methods thereof
CN106898018A (zh) * 2017-01-22 2017-06-27 武汉秀宝软件有限公司 一种图像连续匹配方法及系统
CN111667520A (zh) * 2020-06-09 2020-09-15 中国人民解放军63811部队 红外图像和可见光图像的配准方法、装置及可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102236675A (zh) * 2010-04-30 2011-11-09 华为技术有限公司 图像特征点匹配对处理、图像检索方法及设备
US20120148164A1 (en) * 2010-12-08 2012-06-14 Electronics And Telecommunications Research Institute Image matching devices and image matching methods thereof
CN106898018A (zh) * 2017-01-22 2017-06-27 武汉秀宝软件有限公司 一种图像连续匹配方法及系统
CN111667520A (zh) * 2020-06-09 2020-09-15 中国人民解放军63811部队 红外图像和可见光图像的配准方法、装置及可读存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113160062A (zh) * 2021-05-25 2021-07-23 烟台艾睿光电科技有限公司 一种红外图像目标检测方法、装置、设备及存储介质
CN114037912A (zh) * 2022-01-07 2022-02-11 成都国星宇航科技有限公司 遥感图像的变化检测方法、装置及计算机可读存储介质
CN114838796A (zh) * 2022-04-29 2022-08-02 合肥市正茂科技有限公司 视觉辅助车辆动态称重方法与称重系统
CN114838796B (zh) * 2022-04-29 2023-06-09 合肥市正茂科技有限公司 视觉辅助车辆动态称重方法与称重系统

Also Published As

Publication number Publication date
CN112508033B (zh) 2021-06-08

Similar Documents

Publication Publication Date Title
CN112508033B (zh) 检测方法、存储介质和电子装置
US11681418B2 (en) Multi-sample whole slide image processing in digital pathology via multi-resolution registration and machine learning
CN109284738B (zh) 不规则人脸矫正方法和系统
CN107749268B (zh) 屏幕检测方法及设备
CN109993086B (zh) 人脸检测方法、装置、系统及终端设备
CN109325933A (zh) 一种翻拍图像识别方法及装置
CN112686812B (zh) 银行卡倾斜矫正检测方法、装置、可读存储介质和终端
US9256928B2 (en) Image processing apparatus, image processing method, and storage medium capable of determining a region corresponding to local light from an image
CN109948566B (zh) 一种基于权重融合与特征选择的双流人脸反欺诈检测方法
CN111008969B (zh) 黑板板书提取与智能识别方法及系统
WO2021139197A1 (zh) 一种图像处理方法及装置
CN111325051A (zh) 一种基于人脸图像roi选取的人脸识别方法及装置
CN111160261A (zh) 用于自动售货柜的样本图像标注方法、装置及存储介质
JP2013140428A (ja) エッジ検出装置、エッジ検出プログラム、およびエッジ検出方法
US11216905B2 (en) Automatic detection, counting, and measurement of lumber boards using a handheld device
CN114511820A (zh) 货架商品检测方法、装置、计算机设备及存储介质
CN108229281B (zh) 神经网络的生成方法和人脸检测方法、装置及电子设备
CN113743378B (zh) 一种基于视频的火情监测方法和装置
US20130022290A1 (en) Image processing apparatus, image processing method, and storage medium
CN113065454B (zh) 一种高空抛物目标识别比较的方法及装置
US20120249837A1 (en) Methods and Systems for Real-Time Image-Capture Feedback
CN112087661B (zh) 视频集锦生成方法、装置、设备及存储介质
CN117475353A (zh) 基于视频的异常烟雾识别方法及系统
CN111402185A (zh) 一种图像检测方法及装置
CN115131355A (zh) 利用电子设备数据检测防水布异常的智能方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant