CN115035587B - 一种高效自动巡航点名轨迹生成的系统及方法 - Google Patents

一种高效自动巡航点名轨迹生成的系统及方法 Download PDF

Info

Publication number
CN115035587B
CN115035587B CN202210947627.2A CN202210947627A CN115035587B CN 115035587 B CN115035587 B CN 115035587B CN 202210947627 A CN202210947627 A CN 202210947627A CN 115035587 B CN115035587 B CN 115035587B
Authority
CN
China
Prior art keywords
camera
parameter
classroom
face
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210947627.2A
Other languages
English (en)
Other versions
CN115035587A (zh
Inventor
陈旭鹏
吴不
段立新
张神力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Tianhai Chenguang Technology Co ltd
Original Assignee
Shenzhen Tianhai Chenguang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Tianhai Chenguang Technology Co ltd filed Critical Shenzhen Tianhai Chenguang Technology Co ltd
Priority to CN202210947627.2A priority Critical patent/CN115035587B/zh
Publication of CN115035587A publication Critical patent/CN115035587A/zh
Application granted granted Critical
Publication of CN115035587B publication Critical patent/CN115035587B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
    • G07C1/20—Checking timed patrols, e.g. of watchman

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Probability & Statistics with Applications (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种高效自动巡航点名轨迹生成的方法及系统，涉及智能教学技术领域；该方法包括以下的步骤：S100、建立空间直角坐标系，S200、通过人脸检测，结合分段线性回归和轮廓法自动kmeans聚类，确定教室座位行列排布；S300、推算出每行座位所需调节的Z参数，计算出整个教室的预置点粗分布；S400、计算出像素点坐标和摄像机PT参数的换算比例；S500、微调预置点PTZ参数，将所有的预置点调整完后形成最终的巡航轨迹；本发明的有益效果是：通过人脸检测自动确定教室座位排布，并根据人脸的坐标，自动确定巡航的预置点，达到全自动规划巡航路线的目的。

Description

一种高效自动巡航点名轨迹生成的系统及方法
技术领域
本发明涉及智能教学技术领域，更具体的说，本发明涉及一种高效自动巡航点名轨迹生成的系统及方法。
背景技术
考勤统计，通常是在一个区域内进行点名，主要应用场景如课堂的考勤点名。传统的通过人员手动逐个依次点名的方式，耗时耗力，已不适合智能信息化的发展趋势。近年来，出现了通过在教室部署摄像机，并规划摄像机巡航的路径，通过计算机视觉技术来进行人脸识别点名的方案。
现有技术中，通常会采用两个摄像机，一个做全局的识别，另一个通过转动角度定点监测每个学生。在巡航轨迹规划方面，一种方式为通过手动规划巡航轨迹路线，另一种方式为通过标定四角的课桌在摄像头正中央的PTZ参数，半自动的规划巡航轨迹路线。
现有技术中的这种方式，需要采用至少两个摄像机才能完成考勤统计，对成本要求较高。同时，在自动规划巡航轨迹方面，还未能做到全自动规划，需要至少采用手动标定的方式，在教室很多的情况下，增加了部署的复杂度，不便于大面积推广。
发明内容
为了克服现有技术的不足，本发明提供一种高效自动巡航点名轨迹生成的系统及方法。
本发明解决其技术问题所采用的技术方案是：一种高效自动巡航点名轨迹生成的方法，其改进之处在于，该方法包括以下的步骤：
S100、建立空间直角坐标系，通过调整摄像机的T参数进行人脸检测，该T参数为摄像机垂直方向的角度；当人脸数量不变时，自动定位教室全景方向，以实现全景图片的获取；
S200、通过人脸检测，结合分段线性回归和轮廓法自动kmeans聚类，确定教室座位行列排布；
S300、根据全景图片中最后一排人脸框的平均大小、摄像机调节焦距后人脸放大到标准像素大小的差值，以及两者的焦距差值，得到像素与Z参数的换算比例，推算出每行座位所需调节的Z参数，计算出整个教室的预置点粗分布，其中Z参数为摄像机的焦距；
S400、通过调节摄像机P参数和T参数，使得视野中最后一排座位发生水平和垂直方向上的位移，根据人脸的像素点坐标的位移变化值以及摄像机的PT参数的变化值，计算出像素点坐标和摄像机PT参数的换算比例；
所述P参数为摄像机水平方向的角度， PT参数代表P参数和T参数，PTZ参数代表P参数、T参数以及Z参数；
S500、根据确定的PT参数换算比例关系，确定每个预置点的PT参数，并对每个预置点分别进行人脸检测，分离出不满足要求的人脸，微调预置点PTZ参数，将所有的预置点调整完后形成最终的巡航轨迹。
进一步的，步骤S100中，包括以下的步骤：
S101、确定教室的长宽高，并测量出摄像机的安装位置，该摄像机安装在黑板墙壁的上方；
S102、以摄像机为原点建立空间直角坐标系，摄像机镜头沿Z方向，X轴和Y轴沿黑板所在的墙壁；
S103、根据坐标系计算出摄像机视野中心向下偏移到教室后方墙壁的底部中心点的角度，该角度即为摄像机前景偏移角度；
S104、调用摄像机的SDK控制摄像机的PT参数，使摄像机朝向前景方向；
S105、调整摄像机的T参数使摄像机上下移动，同时进行人脸检测，当人脸数量增加则使摄像机下移，人脸数量减少则使摄像机上移；
S106、多次调整摄像机的T参数后，当摄像机视野中人脸数量不变时，获取当前PT参数，即为教室全景方向。
进一步的，步骤S101中，摄像机垂直于地面进行壁装安装，使摄像机的拍摄范围能涵盖到整个教室的课桌前景，测量出摄像头相对于地面的高度，以及摄像头相对于左面墙壁的距离。
进一步的，步骤S200中，包括以下的步骤：
S201、通过摄像机采集上课阶段多张各时段的教室全景图像；
S202、在每张全景图像上进行人脸检测，获取人脸位置信息；
S203、采用分段线性回归的方法，判断每行的人脸是否在同一水平线上，若没有，说明摄像机未调节到与座位完全水平，导致每行的座位不是在一条水平线上；
通过分段线性回归的结果，调整全景图像的旋转角度，使得每行的座位在视野内是水平排列的；
S204、采用轮廓法自动kmeans聚类确定座位行数；
S205、通过透视变换矫正全景图像畸变；
S206、采用轮廓法自动kmeans聚类确定座位列数；
S207、根据行列聚类结果，确定教室的行列排布，并自动对人脸和所在座位进行编号；
S208、取多张全景图片的聚类结果平均值，作为最终的教室行列排布。
进一步的，步骤S300中，包括以下的步骤：
S301、根据全景图片中的人脸检测结果，获取最后一排学生人脸框平均大小为S*S，单位为像素*像素，同时获取当前摄像机的Z参数为
Figure 524529DEST_PATH_IMAGE001
，两个S分别为最后一排学生人脸框的长和宽；
S302、通过摄像机SDK多次调节焦距，使最后一排学生的人脸框平均大小
Figure 842378DEST_PATH_IMAGE002
，趋近于人脸识别要求的标准像素大小,并获取此时的摄像机的焦距Z参数
Figure 826515DEST_PATH_IMAGE003
，两个
Figure 546209DEST_PATH_IMAGE004
分别为通过摄像机SDK多次调节焦距后最后一排学生的人脸框的长和宽；
S303、计算像素与Z参数的换算比例，公式如下：
Figure 590388DEST_PATH_IMAGE005
；
S304、根据全景图片中的人脸检测结果，获取其他每行学生人脸框的平均大小及对应的摄像机的Z参数，根据步骤S303中的公式计算其他每行所需调节的Z参数
Figure 395533DEST_PATH_IMAGE003
；
S305、计算出整个教室的预置点粗分布，对Z 参数
Figure 183361DEST_PATH_IMAGE003
相同的行，归为同一预置点；
S306、通过“己”字型串联各个预置点，形成巡航路径。
进一步的，步骤S400中，包括以下的步骤：
S401、获取摄像机当前全景图片的人脸检测结果；
S402、获取当前全景位置对应的摄像机PT参数，以及最后一排每个学生人脸框的中心坐标点
Figure 6829DEST_PATH_IMAGE006
到
Figure 221910DEST_PATH_IMAGE007
；
S403、调整摄像机P参数和T参数，使得视野中最后一排座位发生水平和垂直方向上的位移，同时保证视野中最后一排都能拍摄到；
S404、获取此时摄像机新的P参数
Figure 248772DEST_PATH_IMAGE008
和T参数
Figure 840290DEST_PATH_IMAGE009
，同时获取最后一排每个学生人脸框的新的中心坐标点
Figure 268997DEST_PATH_IMAGE010
到
Figure 654979DEST_PATH_IMAGE011
；
S405、计算最后一排每张人脸的像素与PT参数的换算比例关系，其公式如下：
Figure 700296DEST_PATH_IMAGE012
；
Figure 829926DEST_PATH_IMAGE013
；
公式中的p，t分别为像素与相机位置P，T参数的换算比例，表示1像素对应相机移动实际的PT值；
S406、取最后一排所有人脸的换算比例的平均值，作为最终的换算比例。
进一步的，步骤S500中，包括以下的步骤：
S501、根据步骤S306中确定的巡航路径，获取第一个预置点内所有的人脸坐标；
S502、计算预置点中所有人脸横纵坐标的均值点，根据步骤S405中确定的PT参数换算比例关系公式，确定该均值点对应的PT参数；
S503、根据步骤S303中像素与Z参数的换算比例公式，计算步骤S502中的均值点对应的Z参数；
S504、控制摄像机PTZ参数指向该预置点，获得该预置点的图像；
S505、对该预置点的图像进行人脸检测，分离出不满足要求的人脸，其中不满足要求是图像的10%边缘范围内低于100*80像素的非本预置点目标内人脸；
S506、微调预置点PTZ参数，使中心人脸居中显示，同时将S505检测的边缘端不符合要求人脸从摄像机视野中移出；
S507、其他预置点重复步骤S501至S506，直至所有预置点调整结束，最终完成巡航预置点规划。
本发明还公开了一种高效自动巡航点名轨迹生成的系统，其改进之处在于，该系统包括教室空间直角坐标系建立单元、摄像机初始方向计算单元、图像采集单元、人脸检测单元、教室座位行水平调节单元、教室座位排布计算单元、像素与焦距Z参数换算单元以及预置点PT参数调节单元；
所述的教室空间直角坐标系建立单元，通过教室的长宽高，并以摄像头安装位置为原点建立空间直角坐标系；
所述摄像机初始方向计算单元，与教室空间直角坐标系建立单元相连接，根据空间直角坐标系，获取摄像机视野中人脸数量不变时，教室全景方向的PT参数；
所述图像采集单元，通过摄像机采集上课阶段多张各时段的教室全景图像；
所述人脸检测单元，分别与图像采集单元和摄像机初始方向计算单元相连接，统计摄像机视野中的人脸数量，作为进行教室全景方向确认的依据；并对每张全景图像上进行人脸检测，获取人脸位置和大小的信息；
所述教室座位行水平调节单元，与人脸检测单元相连接，通过采用分段线性回归方法，判断每行的人脸是否在同一水平线上；
所述教室座位排布计算单元，与教室座位行水平调节单元相连接，通过透视变换矫正全景图像畸变，并采用轮廓法自动kmeans聚类确定座位行数和列数；
所述像素与焦距Z参数换算单元，与人脸检测单元相连接，通过从人脸检测单元获取结果，得到像素与焦距Z参数的换算比例，计算出整个教室的预置点粗分布；
所述预置点PT参数调节单元，同像素与焦距Z参数换算单元相连接，用于确定每个预置点的PT参数；微调预置点PTZ参数，将所有的预置点调整完后形成最终的巡航轨迹。
上述的结构中，所述摄像头的安装位置为黑板正上方，所述的空间直角坐标系中，摄像头镜头沿Z轴方向，X轴和Y轴沿黑板所在墙壁。
上述的结构中，该系统还包括摄像机PTZ参数调节单元，且该摄像机PTZ参数调节单元连接在摄像机初始方向计算单元与像素与PT参数换算单元之间，过摄像机PTZ参数调节单元调用摄像机的SDK控制摄像机的PTZ参数。
上述的结构中，该系统还包括像素与PT参数换算单元，该像素与PT参数换算单元连接在摄像机PTZ参数调节单元与预置点PTZ参数调节单元之间，用于调节摄像机的P参数和T参数，使得视野中最后一排座位发生水平和垂直方向上的位移，并根据人脸的像素点坐标的位移变化值和PT参数的变化值，计算出像素点坐标和摄像机PT参数的换算比例。
本发明的有益效果是：该方法通过一个普通变焦摄像机来进行教室中人脸的捕捉，减少了建设成本；通过人脸检测自动确定教室座位排布，并根据人脸的坐标，自动确定巡航的预置点，达到全自动规划巡航路线的目的。
附图说明
图1为本发明的一种高效自动巡航点名轨迹生成的方法的流程示意图。
图2为本发明中步骤S100的详细步骤示意图。
图3为本发明中空间直角坐标系的示意图。
图4为本发明中教室的全景示意图。
图5为本发明中步骤S200的详细步骤示意图。
图6为本发明中教室全景图未旋转前的示意图。
图7为本发明中分段线性回归的示意图。
图8为本发明中采用轮廓法自动kmeans聚类的结果示意图。
图9为本发明中教室全景透射矫正示意图。
图10为本发明中教室学生人脸的横纵坐标排布图。
图11为本发明中步骤S300的详细步骤示意图。
图12为本发明中整体的预置点在教室下的分布示意图。
图13为本发明中步骤S400的详细步骤示意图。
图14为本发明中步骤S500的详细步骤示意图。
图15为本发明的一种高效自动巡航点名轨迹生成的系统的原理框图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整地描述，以充分地理解本发明的目的、特征和效果。显然，所描述的实施例只是本发明的一部分实施例，而不是全部实施例，基于本发明的实施例，本领域的技术人员在不付出创造性劳动的前提下所获得的其他实施例，均属于本发明保护的范围。另外，专利中涉及到的所有联接/连接关系，并非单指构件直接相接，而是指可根据具体实施情况，通过添加或减少联接辅件，来组成更优的联接结构。本发明创造中的各个技术特征，在不互相矛盾冲突的前提下可以交互组合。
参照图1所示，本发明揭示了一种高效自动巡航点名轨迹生成的方法，该方法通过一个普通变焦摄像机来进行教室中人脸的捕捉，减少了建设成本；通过人脸检测自动确定教室座位排布，并根据人脸的坐标，自动确定巡航的预置点，达到全自动规划巡航路线的目的。在本实施例中，本发明的一种高效自动巡航点名轨迹生成的方法包括步骤S100-S500，具体的内容如下：
S100、建立空间直角坐标系，通过调整摄像机的T参数进行人脸检测，该T参数为摄像机垂直方向的角度；当人脸数量不变时，自动定位教室全景方向，以实现全景图片的获取；
本实施例中，结合图2所示，步骤S100包括步骤S101-S106，内容如下：
S101、确定教室的长宽高，并测量出摄像机的安装位置，该摄像机安装在黑板墙壁的上方；
步骤S101中，摄像机垂直于地面进行壁装安装，使摄像机的拍摄范围能涵盖到整个教室的课桌前景，测量出摄像头相对于地面的高度，以及摄像头相对于左面墙壁的距离；
S102、以摄像机为原点建立空间直角坐标系，摄像机镜头沿Z方向，X轴和Y轴沿黑板所在的墙壁；本实施例中，参照图3所示，为建立的空间直角坐标系的实施例；
S103、根据坐标系计算出摄像机视野中心向下偏移到教室后方墙壁的底部中心点的角度，该角度即为摄像机前景偏移角度；在图3中，即为线段OM与水平面的夹角；
S104、调用摄像机的SDK控制摄像机的PT参数，使摄像机朝向前景方向；此时摄像机的Z参数保持为1，Z参数为摄像机的焦距；
S105、调整摄像机的T参数使摄像机上下移动，同时进行人脸检测，当人脸数量增加则使摄像机下移，人脸数量减少则使摄像机上移；
S106、多次调整摄像机的T参数后，当摄像机视野中人脸数量不变时，获取当前PT参数，即为教室全景方向。
在本实施例中，全景方向是指能够拍到所有座位的摄像机视角，此时Z通常为1倍焦距，教室的全景示意图如图4所示，图3和图4中，A1、A2和M分别为教室的两个墙角与垂直于安装相机的点。
S200、通过人脸检测，结合分段线性回归和轮廓法自动kmeans聚类，确定教室座位行列排布；
参照图5所示，在本实施例中，所述的步骤S200包括步骤S201至S208，其内容如下：
S201、通过摄像机采集上课阶段多张各时段的教室全景图像；多张图片可以增加结论的鲁棒性，目的是为了保证每个座位上都有学生入座，座位的行列分布才更准确；
S202、在每张全景图像上进行人脸检测，获取人脸位置信息；
S203、采用分段线性回归的方法，判断每行的人脸是否在同一水平线上，若没有，说明摄像机未调节到与座位完全水平，导致每行的座位不是在一条水平线上；如图6所示，即为教室全景图未旋转前的示意图；
通过分段线性回归的结果，调整全景图像的旋转角度，使得每行的座位在视野内是水平排列的；参照图7所示，灰色点坐标表示旋转前学生人脸坐标，黑色点为旋转后学生人脸坐标，图7为分段线性回归的示意图，分别为图像旋转前和旋转后的结果，根据旋转后的结果，可以判断出在相同行的学生人脸纵坐标基本相同。
S204、采用轮廓法自动kmeans聚类确定座位行数；
如图8所示，即为采用轮廓法自动kmeans聚类的结果示意图，横坐标为聚类类别数，纵坐标为Gap（K）值，Gap(K)值代表聚类值，图8中沿横坐标第五个点表示最佳的聚类值，通过该点的值可以自动确定座位行数。
S205、通过透视变换矫正全景图像畸变；
由于全景图像存在透视现象，近处的座位更大，远处的座位更小，整个教室的座位排布呈梯形分布，为了统计座位列数，需要矫正为每列垂直于每行排布；如图9所示，即为步骤S205中教室全景透射矫正示意图。
S206、采用轮廓法自动kmeans聚类确定座位列数；该步骤中，轮廓法自动kmeans聚类方式与步骤S204中相同，本步骤中不再详细说明；
S207、根据行列聚类结果，确定教室的行列排布，并自动对人脸和所在座位进行编号；
在本实施例中，参照图10所示，为教室学生人脸的横纵坐标排布图，聚类结果将会判断该图所代表的教室，本实施例中教室排布为5行4列。
S208、取多张全景图片的聚类结果平均值，作为最终的教室行列排布。
S300、根据全景图片中最后一排人脸框的平均大小、摄像机调节焦距后人脸放大到标准像素大小的差值，以及两者的焦距差值，得到像素与Z参数的换算比例，推算出每行座位所需调节的Z参数，计算出整个教室的预置点粗分布，其中Z参数为摄像机的焦距；
在本实施例中，参照图11所示，对于步骤S300，本发明提供了一具体实施例，包括步骤S301至步骤S306，内容如下：
S301、根据全景图片中的人脸检测结果，获取最后一排学生人脸框平均大小为S*S，单位为像素*像素，其长和宽相等，同时获取当前摄像机的Z参数为
Figure 113140DEST_PATH_IMAGE014
，两个S分别为最后一排学生人脸框的长和宽；
S302、通过摄像机SDK多次调节焦距，使最后一排学生的人脸框平均大小
Figure 689264DEST_PATH_IMAGE002
趋近于人脸识别要求的标准像素大小,并获取此时的摄像机的焦距Z参数
Figure 690718DEST_PATH_IMAGE003
，两个
Figure 624039DEST_PATH_IMAGE004
分别为通过摄像机SDK多次调节焦距后最后一排学生的人脸框的长和宽；
需要说明的是，具体标准像素大小跟人脸识别算法的精度相关，本实施例中，可设定最后一排学生的人脸框平均大小为112像素*112像素；
S303、计算像素与Z参数的换算比例，公式如下：
Figure 761759DEST_PATH_IMAGE005
；
S304、根据全景图片中的人脸检测结果，获取其他每行学生人脸框的平均大小及对应的摄像机的Z参数，根据步骤S303中的公式计算其他每行所需调节的Z参数
Figure 755123DEST_PATH_IMAGE003
；
S305、计算出整个教室的预置点粗分布，对Z 参数
Figure 243873DEST_PATH_IMAGE003
相同的行，归为同一预置点；每一行作为一个预置点，整体的预置点在教室下的分布情况如图12所示。
S306、通过“己”字型串联各个预置点，形成巡航路径。
S400、通过调节摄像机P参数和T参数，使得视野中最后一排座位发生水平和垂直方向上的位移，根据人脸的像素点坐标的位移变化值以及摄像机的PT参数的变化值，计算出像素点坐标和摄像机PT参数的换算比例；
所述P参数为摄像机水平方向的角度， PT参数代表P参数和T参数，PTZ参数代表P参数、T参数以及Z参数；
在本实施例中，参照图13所示，为步骤S400的具体实施例图，本实施例中，步骤S400包括步骤S401至步骤S406，其内容如下：
S401、获取摄像机当前全景图片的人脸检测结果；
S402、获取当前全景位置对应的摄像机PT参数，以及最后一排每个学生人脸框的中心坐标点
Figure 715306DEST_PATH_IMAGE006
到
Figure 973112DEST_PATH_IMAGE007
；
S403、调整摄像机P参数和T参数，使得视野中最后一排座位发生水平和垂直方向上的位移，同时保证视野中最后一排都能拍摄到；
S404、获取此时摄像机新的P参数
Figure 121065DEST_PATH_IMAGE008
和T参数
Figure 831533DEST_PATH_IMAGE009
，同时获取最后一排每个学生人脸框的新的中心坐标点
Figure 106656DEST_PATH_IMAGE015
到
Figure 484548DEST_PATH_IMAGE016
；
S405、计算最后一排每张人脸的像素与PT参数的换算比例关系，其公式如下：
Figure 554135DEST_PATH_IMAGE012
；
Figure 17477DEST_PATH_IMAGE013
；
公式中的p，t分别为像素与相机位置P，T参数的换算比例，表示1像素对应相机移动实际的PT值；
S406、取最后一排所有人脸的换算比例的平均值，作为最终的换算比例。
S500、根据确定的PT参数换算比例关系，确定每个预置点的PT参数，并对每个预置点分别进行人脸检测，分离出不满足要求的人脸，微调预置点PTZ参数，将所有的预置点调整完后形成最终的巡航轨迹。
在本实施例中，参照图14所示，为步骤S500的具体实施例图，本实施例中，步骤S500包括步骤S501至步骤S507，其内容如下：
S501、根据步骤S306中确定的巡航路径，获取第一个预置点内所有的人脸坐标；
S502、计算预置点中所有人脸横纵坐标的均值点，根据步骤S405中确定的PT参数换算比例关系公式，确定该均值点对应的PT参数；
S503、根据步骤S303中像素与Z参数的换算比例公式，计算步骤S502中的均值点对应的Z参数；
S504、控制摄像机PTZ参数指向该预置点，获得该预置点的图像；
S505、对该预置点的图像进行人脸检测，分离出不满足要求的人脸，其中不满足要求是图像的10%边缘范围内低于100*80像素的非本预置点目标内人脸；
S506、微调预置点PTZ参数，使中心人脸居中显示，同时将S505检测的边缘端不符合要求人脸从摄像机视野中移出；
S507、其他预置点重复步骤S501至S506，直至所有预置点调整结束，最终完成巡航预置点规划。
另一方面，本发明还揭示了一种高效自动巡航点名轨迹生成的系统，结合图15所示，本实施例中，该系统包括教室空间直角坐标系建立单元101、摄像机初始方向计算单元102、图像采集单元104、人脸检测单元105、教室座位行水平调节单元106、教室座位排布计算单元107、像素与焦距Z参数换算单元108以及预置点PT参数调节单元110。
其中，所述的教室空间直角坐标系建立单元101，用于通过教室的长宽高，以摄像头安装位置为原点建立空间直角坐标系，所述摄像头的安装位置为黑板正上方，所述的空间直角坐标系中，摄像头镜头沿Z轴方向，X轴和Y轴沿黑板所在墙壁。
所述摄像机初始方向计算单元102，与教室空间直角坐标系建立单元101相连接，用于根据坐标系计算出摄像机前景偏移角度，并根据多次调节摄像机的T参数后，调用人脸检测单元105检测出摄像机视野中人脸数量不变时，得出教室全景方向的PT参数。
所述图像采集单元104，通过摄像机采集上课阶段多张各时段的教室全景图像；
所述人脸检测单元105，分别与图像采集单元104和摄像机初始方向计算单元102相连接，统计摄像机视野中的人脸数量，作为进行教室全景方向确认的依据；并对每张全景图像上进行人脸检测，获取人脸位置和大小的信息；
所述教室座位行水平调节单元106，与人脸检测单元105相连接，通过采用分段线性回归方法，判断每行的人脸是否在同一水平线上；若没有，调整全景图像的旋转角度，使得每行的座位在视野内是水平排列的。
所述教室座位排布计算单元107，与教室座位行水平调节单元106相连接，通过透视变换矫正全景图像畸变，并采用轮廓法自动kmeans聚类确定座位行数和列数；并自动对人脸和所在座位进行编号。并取多张全景图片的聚类结果平均值，作为最终的教室行列排布。
所述像素与焦距Z参数换算单元108，与人脸检测单元105相连接，通过从人脸检测单元105获取结果，并调用摄像机PTZ参数调节单元调节焦距后人脸放大到标准像素大小，得到像素与焦距Z参数的换算比例，再推算出每行所需调节的焦距Z参数，计算出整个教室的预置点粗分布。
所述预置点PT参数调节单元110，同像素与焦距Z参数换算单元108相连接，用于从人脸检测单元105中获取每一个预置点的所有人脸坐标，根据确定的PT参数换算比例关系，确定每个预置点的PT参数；微调预置点PTZ参数，将所有的预置点调整完后形成最终的巡航轨迹。
另外，继续参照图15所示，该系统还包括摄像机PTZ参数调节单元103、像素与PT参数换算单元109，摄像机PTZ参数调节单元103连接在摄像机初始方向计算单元102与像素与PT参数换算单元109之间，过摄像机PTZ参数调节单元103调用摄像机的SDK控制摄像机的PTZ参数。像素与PT参数换算单元109连接在摄像机PTZ参数调节单元103与预置点PTZ参数调节单元之间，用于调节摄像机的P参数和T参数，使得视野中最后一排座位发生水平和垂直方向上的位移，并根据人脸的像素点坐标的位移变化值和PT参数的变化值，计算出像素点坐标和摄像机PT参数的换算比例。
基于上述的一种高效自动巡航点名轨迹生成的方法和系统，通过人脸检测，当人脸数量不变时，可以自动定位教室全景方法；并且通过人脸检测，结合分段线性回归和轮廓法自动kmeans聚类确定教室座位行列排布。本发明可以根据最后一排人脸的像素与焦距Z参数的换算比例，推算出每行所需调节的焦距Z参数，计算出整个教室的预置点粗分布；另外，根据最后一排人脸的像素点坐标和摄像机PT参数的换算比例。确定每个预置点的PT参数。
因此，本发明的一种高效自动巡航点名轨迹生成的方法和系统，只通过一个普通变焦摄像机来进行教室中人脸的捕捉，减少建设成本。同时，通过人脸检测自动确定教室座位排布，能够自适应不同大小不同学生数量的教室，并根据人脸的坐标，自动确定巡航的预置点，达到全自动规划巡航路线的目的，无需专业人士，方便大规模铺设。
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (11)

1.一种高效自动巡航点名轨迹生成的方法，其特征在于，该方法包括以下的步骤：
S100、建立空间直角坐标系，通过调整摄像机的T参数进行人脸检测，该T参数为摄像机垂直方向的角度；当人脸数量不变时，自动定位教室全景方向，以实现全景图片的获取；
S200、通过人脸检测，结合分段线性回归和轮廓法自动kmeans聚类，确定教室座位行列排布；
S300、根据全景图片中最后一排人脸框的平均大小、摄像机调节焦距后人脸放大到标准像素大小的差值，以及两者的焦距差值，得到像素与Z参数的换算比例，推算出每行座位所需调节的Z参数，计算出整个教室的预置点粗分布，其中Z参数为摄像机的焦距；
S400、通过调节摄像机P参数和T参数，使得视野中最后一排座位发生水平和垂直方向上的位移，根据人脸的像素点坐标的位移变化值以及摄像机的PT参数的变化值，计算出像素点坐标和摄像机PT参数的换算比例；所述P参数为摄像机水平方向的角度， PT参数代表P参数和T参数，PTZ参数代表P参数、T参数以及Z参数；
S500、根据确定的PT参数换算比例关系，确定每个预置点的PT参数，并对每个预置点分别进行人脸检测，分离出不满足要求的人脸，微调预置点PTZ参数，将所有的预置点调整完后形成最终的巡航轨迹。
2.根据权利要求1所述的一种高效自动巡航点名轨迹生成的方法，其特征在于，步骤S100中，包括以下的步骤：
S101、确定教室的长宽高，并测量出摄像机的安装位置，该摄像机安装在黑板墙壁的上方；
S102、以摄像机为原点建立空间直角坐标系，摄像机镜头沿Z方向，X轴和Y轴沿黑板所在的墙壁；
S103、根据坐标系计算出摄像机视野中心向下偏移到教室后方墙壁的底部中心点的角度，该角度即为摄像机前景偏移角度；
S104、调用摄像机的SDK控制摄像机的PT参数，使摄像机朝向前景方向；
S105、调整摄像机的T参数使摄像机上下移动，同时进行人脸检测，当人脸数量增加则使摄像机下移，人脸数量减少则使摄像机上移；
S106、多次调整摄像机的T参数后，当摄像机视野中人脸数量不变时，获取当前PT参数，即为教室全景方向。
3.根据权利要求2所述的一种高效自动巡航点名轨迹生成的方法，其特征在于，步骤S101中，摄像机垂直于地面进行壁装安装，使摄像机的拍摄范围能涵盖到整个教室的课桌前景，测量出摄像头相对于地面的高度，以及摄像头相对于左面墙壁的距离。
4.根据权利要求1所述的一种高效自动巡航点名轨迹生成的方法，其特征在于，步骤S200中，包括以下的步骤：
S201、通过摄像机采集上课阶段多张各时段的教室全景图像；
S202、在每张全景图像上进行人脸检测，获取人脸位置信息；
S203、采用分段线性回归的方法，判断每行的人脸是否在同一水平线上，若没有，说明摄像机未调节到与座位完全水平，导致每行的座位不是在一条水平线上；
通过分段线性回归的结果，调整全景图像的旋转角度，使得每行的座位在视野内是水平排列的；
S204、采用轮廓法自动kmeans聚类确定座位行数；
S205、通过透视变换矫正全景图像畸变；
S206、采用轮廓法自动kmeans聚类确定座位列数；
S207、根据行列聚类结果，确定教室的行列排布，并自动对人脸和所在座位进行编号；
S208、取多张全景图片的聚类结果平均值，作为最终的教室行列排布。
5.根据权利要求1所述的一种高效自动巡航点名轨迹生成的方法，其特征在于，步骤S300中，包括以下的步骤：
S301、根据全景图片中的人脸检测结果，获取最后一排学生人脸框平均大小为S*S，单位为像素*像素，同时获取当前摄像机的Z参数为
Figure 761632DEST_PATH_IMAGE001
，两个S分别为最后一排学生人脸框的长和宽；
S302、通过摄像机SDK多次调节焦距，使最后一排学生的人脸框平均大小
Figure 62163DEST_PATH_IMAGE002
趋近于人脸识别要求的标准像素大小,并获取此时的摄像机的焦距Z参数
Figure 580476DEST_PATH_IMAGE003
，两个
Figure 675470DEST_PATH_IMAGE004
分别为通过摄像机SDK多次调节焦距后最后一排学生的人脸框的长和宽；
S303、计算像素与Z参数的换算比例，公式如下：
Figure 797010DEST_PATH_IMAGE005
；
S304、根据全景图片中的人脸检测结果，获取其他每行学生人脸框的平均大小及对应的摄像机的Z参数，根据步骤S303中的公式计算其他每行所需调节的Z参数
Figure 901232DEST_PATH_IMAGE003
；
S305、计算出整个教室的预置点粗分布，对Z参数
Figure 526249DEST_PATH_IMAGE003
相同的行，归为同一预置点；
S306、通过“己”字型串联各个预置点，形成巡航路径。
6.根据权利要求5所述的一种高效自动巡航点名轨迹生成的方法，其特征在于，步骤S400中，包括以下的步骤：
S401、获取摄像机当前全景图片的人脸检测结果；
S402、获取当前全景位置对应的摄像机PT参数，以及最后一排n个学生人脸框的中心坐标点
Figure 323304DEST_PATH_IMAGE006
到
Figure 666560DEST_PATH_IMAGE007
；
S403、调整摄像机P参数和T参数，使得视野中最后一排座位发生水平和垂直方向上的位移，同时保证视野中最后一排都能拍摄到；
S404、获取此时摄像机新的P参数
Figure 574473DEST_PATH_IMAGE008
和T参数
Figure 568843DEST_PATH_IMAGE009
，同时获取最后一排n个学生人脸框的新的中心坐标点
Figure 271220DEST_PATH_IMAGE010
到
Figure 101773DEST_PATH_IMAGE011
；
S405、计算最后一排每张人脸的像素与PT参数的换算比例关系，其公式如下：
Figure 282218DEST_PATH_IMAGE012
；
Figure 881827DEST_PATH_IMAGE013
；
公式中的p，t分别为像素与相机位置P，T参数的换算比例，表示1像素对应相机移动实际的PT值；
S406、取最后一排所有人脸的换算比例的平均值，作为最终的换算比例。
7.根据权利要求6所述的一种高效自动巡航点名轨迹生成的方法，其特征在于，步骤S500中，包括以下的步骤：
S501、根据步骤S306中确定的巡航路径，获取第一个预置点内所有的人脸坐标；
S502、计算预置点中所有人脸横纵坐标的均值点，根据步骤S405中确定的PT参数换算比例关系公式，确定该均值点对应的PT参数；
S503、根据步骤S303中像素与Z参数的换算比例公式，计算步骤S502中的均值点对应的Z参数；
S504、控制摄像机PTZ参数指向该预置点，获得该预置点的图像；
S505、对该预置点的图像进行人脸检测，分离出不满足要求的人脸，其中不满足要求是图像的10%边缘范围内低于100*80像素的非本预置点目标内人脸；
S506、微调预置点PTZ参数，使中心人脸居中显示，同时将S505检测的边缘端不符合要求人脸从摄像机视野中移出；
S507、其他预置点重复步骤S501至S506，直至所有预置点调整结束，最终完成巡航预置点规划。
8.一种高效自动巡航点名轨迹生成的系统，其特征在于，该系统包括教室空间直角坐标系建立单元、摄像机初始方向计算单元、图像采集单元、人脸检测单元、教室座位行水平调节单元、教室座位排布计算单元、像素与焦距Z参数换算单元以及预置点PT参数调节单元；
所述的教室空间直角坐标系建立单元，通过教室的长宽高，并以摄像头安装位置为原点建立空间直角坐标系；
所述摄像机初始方向计算单元，与教室空间直角坐标系建立单元相连接，根据空间直角坐标系，获取摄像机视野中人脸数量不变时，教室全景方向的PT参数；
所述图像采集单元，通过摄像机采集上课阶段多张各时段的教室全景图像；
所述人脸检测单元，分别与图像采集单元和摄像机初始方向计算单元相连接，统计摄像机视野中的人脸数量，作为进行教室全景方向确认的依据；并对每张全景图像上进行人脸检测，获取人脸位置和大小的信息；
所述教室座位行水平调节单元，与人脸检测单元相连接，通过采用分段线性回归方法，判断每行的人脸是否在同一水平线上；
所述教室座位排布计算单元，与教室座位行水平调节单元相连接，通过透视变换矫正全景图像畸变，并采用轮廓法自动kmeans聚类确定座位行数和列数；
所述像素与焦距Z参数换算单元，与人脸检测单元相连接，通过从人脸检测单元获取结果，得到像素与焦距Z参数的换算比例，计算出整个教室的预置点粗分布；
所述预置点PT参数调节单元，同像素与焦距Z参数换算单元相连接，用于确定每个预置点的PT参数；微调预置点PTZ参数，将所有的预置点调整完后形成最终的巡航轨迹。
9.根据权利要求8所述的一种高效自动巡航点名轨迹生成的系统，其特征在于，所述摄像头的安装位置为黑板正上方，所述的空间直角坐标系中，摄像头镜头沿Z轴方向，X轴和Y轴沿黑板所在墙壁。
10.根据权利要求8所述的一种高效自动巡航点名轨迹生成的系统，其特征在于，该系统还包括摄像机PTZ参数调节单元，且该摄像机PTZ参数调节单元连接在摄像机初始方向计算单元与像素与PT参数换算单元之间，过摄像机PTZ参数调节单元调用摄像机的SDK控制摄像机的PTZ参数。
11.根据权利要求10所述的一种高效自动巡航点名轨迹生成的系统，其特征在于，该系统还包括像素与PT参数换算单元，该像素与PT参数换算单元连接在摄像机PTZ参数调节单元与预置点PTZ参数调节单元之间，用于调节摄像机的P参数和T参数，使得视野中最后一排座位发生水平和垂直方向上的位移，并根据人脸的像素点坐标的位移变化值和PT参数的变化值，计算出像素点坐标和摄像机PT参数的换算比例。
CN202210947627.2A 2022-08-09 2022-08-09 一种高效自动巡航点名轨迹生成的系统及方法 Active CN115035587B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210947627.2A CN115035587B (zh) 2022-08-09 2022-08-09 一种高效自动巡航点名轨迹生成的系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210947627.2A CN115035587B (zh) 2022-08-09 2022-08-09 一种高效自动巡航点名轨迹生成的系统及方法

Publications (2)

Publication Number Publication Date
CN115035587A CN115035587A (zh) 2022-09-09
CN115035587B true CN115035587B (zh) 2022-11-15

Family

ID=83130757

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210947627.2A Active CN115035587B (zh) 2022-08-09 2022-08-09 一种高效自动巡航点名轨迹生成的系统及方法

Country Status (1)

Country Link
CN (1) CN115035587B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012151777A1 (zh) * 2011-05-09 2012-11-15 上海芯启电子科技有限公司 多目标跟踪特写拍摄视频监控系统
CN110647842A (zh) * 2019-09-20 2020-01-03 重庆大学 一种双摄像头课堂巡检方法及系统
CN111259824A (zh) * 2020-01-19 2020-06-09 成都依能科技股份有限公司 基于教室尺寸自动生成扫描路径的方法
CN113365028A (zh) * 2021-05-31 2021-09-07 浙江大华技术股份有限公司 一种巡检路径的生成方法、装置及系统
CN113963453A (zh) * 2021-09-03 2022-01-21 福建星网物联信息系统有限公司 一种基于双摄像头人脸识别技术的课堂考勤方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003280516A1 (en) * 2002-07-01 2004-01-19 The Regents Of The University Of California Digital processing of video images
CN110398760A (zh) * 2019-06-26 2019-11-01 杭州数尔安防科技股份有限公司 基于图像分析的行人坐标捕获装置及其使用方法
CN113068000B (zh) * 2019-12-16 2023-07-18 杭州海康威视数字技术股份有限公司 视频目标的监控方法、装置、设备、系统及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012151777A1 (zh) * 2011-05-09 2012-11-15 上海芯启电子科技有限公司 多目标跟踪特写拍摄视频监控系统
CN110647842A (zh) * 2019-09-20 2020-01-03 重庆大学 一种双摄像头课堂巡检方法及系统
CN111259824A (zh) * 2020-01-19 2020-06-09 成都依能科技股份有限公司 基于教室尺寸自动生成扫描路径的方法
CN113365028A (zh) * 2021-05-31 2021-09-07 浙江大华技术股份有限公司 一种巡检路径的生成方法、装置及系统
CN113963453A (zh) * 2021-09-03 2022-01-21 福建星网物联信息系统有限公司 一种基于双摄像头人脸识别技术的课堂考勤方法及系统

Also Published As

Publication number Publication date
CN115035587A (zh) 2022-09-09

Similar Documents

Publication Publication Date Title
JP4243767B2 (ja) 魚眼レンズカメラ装置及びその画像抽出方法
CN102148965B (zh) 多目标跟踪特写拍摄视频监控系统
US7834907B2 (en) Image-taking apparatus and image processing method
US7019713B2 (en) Methods and measurement engine for aligning multi-projector display systems
CN102169573B (zh) 高精度的宽视场镜头实时畸变矫正方法及系统
JP2008061260A (ja) 魚眼レンズカメラ装置及びその画像歪み補正方法
CN111025701B (zh) 一种曲面液晶屏幕检测方法
JP2015056834A (ja) 投影システム、画像処理装置、投影方法およびプログラム
CN109495729B (zh) 投影画面校正方法和系统
US20090128652A1 (en) Image processing apparatus
CN106559658A (zh) 多通道投影融合带色彩自动平衡控制方法
CN112348775A (zh) 基于车载环视的路面坑塘检测系统及方法
CN115239820A (zh) 一种分体式飞行车辆鸟瞰图实时拼接及车位检测方法
CN111259824B (zh) 基于教室尺寸自动生成扫描路径的方法
JPH05274426A (ja) 画像処理装置及びこの画像処理装置における歪み補正方法
CN111131801B (zh) 投影仪校正系统、方法及投影仪
CN115035587B (zh) 一种高效自动巡航点名轨迹生成的系统及方法
CN104700409B (zh) 一种根据监控目标自动调整摄像机预置位的方法
JP2015032069A (ja) 監視装置及び監視装置の制御プログラム
US11218662B2 (en) Image processing device, image processing method, and projection system
CN113109259B (zh) 一种图像的智能导航方法及装置
JP2009069114A (ja) ステレオ画像調整方法、ステレオ画像調整システム、及びステレオ画像調整プログラム
CN109164672B (zh) 基于共心球透镜的多尺度成像系统视场拼接计算方法
CN111259825B (zh) 基于人脸识别的ptz扫描路径生成方法
CN112702513A (zh) 一种双光云台协同控制方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant