CN107864339B - 一种宏微复合视觉监测系统及控制方法 - Google Patents

一种宏微复合视觉监测系统及控制方法 Download PDF

Info

Publication number
CN107864339B
CN107864339B CN201711306498.4A CN201711306498A CN107864339B CN 107864339 B CN107864339 B CN 107864339B CN 201711306498 A CN201711306498 A CN 201711306498A CN 107864339 B CN107864339 B CN 107864339B
Authority
CN
China
Prior art keywords
subsystem
zoom
imaging subsystem
mounting frame
rotating device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711306498.4A
Other languages
English (en)
Other versions
CN107864339A (zh
Inventor
毕齐林
刘志军
赖敏玲
闫奕樸
陈柏任
周咏涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Maritime University
Original Assignee
Guangzhou Maritime University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Maritime University filed Critical Guangzhou Maritime University
Priority to CN201711306498.4A priority Critical patent/CN107864339B/zh
Publication of CN107864339A publication Critical patent/CN107864339A/zh
Application granted granted Critical
Publication of CN107864339B publication Critical patent/CN107864339B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C1/00Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
    • G07C1/10Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people together with the recording, indicating or registering of other data, e.g. of signs of identity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/51Housings
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Abstract

本发明公开一种宏微复合视觉监测系统,包括视觉监测单元、工控机子系统;所述视觉监测单元对感兴趣目标进行图像采集后将图像传递给所述工控机子系统,通过所述工控机子系统进行判断和决策;所述工控机子系统控制视觉监测单元进行宏观与微观相结合进行准确定位及拍摄。本发明的有益效果在于,本发明实现了对大范围成像场景中人脸等细微特征的识别,为视觉检测和传感等领域提供了新的技术。

Description

一种宏微复合视觉监测系统及控制方法
技术领域
本发明涉及视觉检测及传感领域,具体涉及一种宏微复合视觉监测系统及控制方法。
背景技术
随着时代发展,企业,科研机构,高校的各种管理制度日益完善,但是在人事管理中,企业员工、高校学生等出勤率监测的高效、可靠等问题一直是时代的那题,譬如,现有的出勤率监测系统推广中,若采用打卡机时,容易一个人代替多人打卡,指纹也出现了指纹膜等替代物,从而使得现有流行的出勤率监测系统失效。在现有高校中,学生的出勤率一直还沿用着最为古老的课间点名方式,该种方式虽然稳定可靠,但是出勤率只能反应课间点名时学生的出勤状态,难以等同于对整堂课学生的出勤率。现有视觉技术在监控领域内出现了大面积应用,在较小成像场景中,人脸特征可以精确识别,但是大场景中人脸成像分辨率较低,且相对角度差异较大,对于大范围成像场景中人脸等细微特征的三维特征识别出现了较多的研究算法,但是在实际应用中尚难以稳定实现。因此,基于学校教室、企业办公室这种人口密度较大的大成像场景的场合难以应用。
鉴于上述缺陷,本发明创作者经过长时间的研究和实践终于获得了本发明。
发明内容
为解决上述技术缺陷,本发明采用的技术方案在于,一种宏微复合视觉监测系统,包括视觉监测单元、工控机子系统;所述视觉监测单元对感兴趣目标进行图像采集后将图像传递给所述工控机子系统;所述工控机子系统控制视觉监测单元进行宏观与微观相结合进行准确定位及拍摄。
较佳的,所述视觉检测单元包括保护罩、第一安装架、第一安装架旋转装置、定焦成像子系统、变焦成像子系统、变焦成像子系统空间位置调整装置、通信接口;所述第一安装架、所述第一安装架旋转装置、所述定焦成像子系统、所述变焦成像子系统、所述变焦成像子系统空间位置调整装置均置于所述保护罩内;所述第一安装架安装在所述第一安装架旋转装置上,所述第一安装架上还固定安装有所述定焦成像子系统、所述变焦成像子系统空间位置调整装置,所述第一安装架与所述保护罩的底面连接;所述变焦成像子系统空间位置调整装置上安装有所述变焦成像子系统;所述保护罩的底面设置有通信接口,用于通信数据线的出入。
较佳的,所述工控机子系统包括图像处理子系统和运动自适应控制子系统;所述工控机子系统通过连接所述通信接口实现对所述监测系统的检测与控制。
较佳的,所述第一安装架旋转装置包括Y向第一旋转装置、Y向第二旋转装置、Y向第三旋转装置,所述第一安装架通过所述Y向第一旋转装置安装在保护罩的底面,所述定焦成像子系统通过Y向第二旋转装置安装在第一安装架上,所述变焦成像子系统空间位置调整装置通过Y向第三旋转装置安装在第一安装架上;所述第一安装架旋转装置可根据所述工控机子系统的控制进行旋转,并带动所述第一安装架、所述定焦成像子系统、所述变焦成像子系统空间位置调整装置进行旋转,使所述定焦成像子系统和所述变焦成像子系统进行位置互换;所述Y向第一旋转装置包括第一旋转连接装置、第一步进电机、第一步进电机驱动器、第一编码器;所述Y向第二旋转装置包括第二旋转连接装置、第一支承座、第一带轮,第一支承座内为轴承;Y向第三旋转装置包括第三旋转连接装置、第二支承座、第二带轮,第二支承座内为轴承;所述第一旋转连接装置、所述第一带轮、所述第二带轮通过一皮带连接,所述第一旋转连接装置旋转时带动所述第一带轮和所述第二带轮进行旋转,使得所述定焦成像子系统和所述变焦成像子系统空间位置调整装置始终处于正向状态。
较佳的,所述定焦成像子系统包括定焦相机、广角镜头、辅助光源,所述广角镜头位于所述定焦相机前端,所述辅助光源位于所述定焦相机的后端;所述定焦成像子系统和所述变焦成像子系统位于所述第一安装架的两端,所述定焦成像子系统拍摄大范围视角的图像,所述大范围视角的图像经所述通信接口传送到所述工控机子系统进行方位分析。
较佳的,所述变焦成像子系统孔间位置调整装置包含X向旋转装置、Z向旋转装置、第二安装架、第三安装架;所述X向旋转装置的下方设置有所述Z向旋转装置,所述第三安装架安装在所述Y向旋转装置和所述Z向旋转装置之间,用于连接所述X向旋转装置与所述Z向旋转装置;在所述X向旋转装置的一侧连接有所述变焦成像子系统;在所述Z向旋转装置和所述第一安装架之间安装有所述第三安装架。
较佳的,所述变焦成像子系统包括变焦相机、变焦镜头、大齿轮环、小齿轮、小齿轮支撑座、齿轮步进电机、齿轮编码器、激光器、变焦子系统安装座,所述变焦镜头位于所述变焦相机前端,所述变焦相机固定在所述变焦子系统安装座上,所述大齿轮环件环套在所述变焦镜头上,所述大齿轮环和小齿轮相互啮合,所述步进电机穿过所述小齿轮支撑座并连接在所述小齿轮上,所述小齿轮支撑座固定在所述变焦子系统安装座上并位于所述变焦相机的另一旁,所述齿轮步进电机后端连接所述齿轮编码器,所述激光器固定在所述变焦子系统安装座上,所述激光器发射的激光线与所述变焦镜头的光轴相平行,所述齿轮编码器接收所述工控机子系统的指令来修正所述齿轮步进电机转动,所述齿轮步进电机驱动所述小齿轮转动,所述小齿轮带动所述变焦镜头旋转而进行变焦。
较佳的,所述第一安装架在所述保护罩内可以旋转,所述第一安装架在所述保护罩内旋转实现所述定焦成像子系统和所述变焦成像子系统的位置互换,所述定焦相机和所述变焦相机的光轴均垂直于所述第一安装架的旋转面。
较佳的,所述X向旋转装置包括第四旋转连接装置、第二步进电机、第二向步进电机驱动器、第二编码器,所述第四旋转连接装置连接到所述第二步进电机上,所述第二步进电机驱动器连接所述第二步进电机并对所述第二步进电机进行驱动,所述第二编码器连接在所述第二步进电机上并通过数据线与工控机子系统相连,用于修正第二步进电机转动角度;所述Z向旋转装置包括第五旋转连接装置、第三步进电机、第三向步进电机驱动器、第三编码器,所述第五旋转连接装置连接到所述第三步进电机上,所述第三步进电机驱动器连接所述第三步进电机并对所述第三步进电机进行驱动,所述第三编码器连接在所述第三步进电机上并通过数据线与工控机子系统相连,用于修正第三步进电机转动角度。
较佳的,一种宏微复合监测系统的控制方法,具体步骤如下:
(1)以所述定焦成像子系统中所述定焦相机成像面中心为原点O1,所述定焦相机宽度方向为U轴,所述定焦相机高度方向为V轴,所述定焦相机光轴方向为W轴,建立坐标系O1UVW;
(2)当多个兴趣目标体(A、B、C、D……)同时处于所述定焦成像子系统的成像范围时,大场景中的多个所述兴趣目标体通过所述广角镜头在所述定焦相机中成像,所述定焦成像子系统获取大范围视角的图像,获取图像的时间为t0
(3)所述定焦成像子系统将t0时刻获取的图像通过所述通信接口及网络等方式传送到所述工控机子系统中;
(4)所述工控机子系统中的所述图像处理子系统对图像进行处理,获取所述兴趣目标体A、B、C、D等所在位置分别与所述定焦相机光轴左右偏离角度αuA,αuB,αuC,αuD等和上下偏离角度αvA,αvB,αvC,αvD等;
(5)所述工控机子系统中的所述运动自适应控制子系统控制所述Y向第一旋转装置进行转动,实现所述定焦成像子系统与所述变焦成像子系统位置的交换;
(6)对于所述兴趣目标体A,所述工控机子系统中的所述图像处理子系统将所述兴趣目标体A相对所述定焦相机光轴所述左右偏离角度αuA,所述上下偏离角度αvA传递给所述工控机子系统中的所述运动自适应控制子系统,所述运动自适应控制子系统控制所述第二步进电机驱动器和所述第三步进电机驱动器并分别对所述第二步进电机和所述第三步进电机进行驱动,此时所述第二编码器和所述第三编码器分别检测所述第二步进电机和所述第三步进电机实际转动角度与所述理论角度αuA和αvA之间的差距,进而进行修正,使得所述兴趣目标体A处于所述变焦成像子系统的视场中心附近;
(7)所述变焦成像子系统中的所述激光器发射相应的点激光,依据所述点激光发射信号时间t1及获取所述兴趣目标体表面反射回来的信号时间t2的时间差,获取所述兴趣目标体A距所述变焦成像子系统的距离(即物体距离)。所述变焦成像子系统智能选取相应焦距,从而计算出所述兴趣目标体A相应的成像距离。此时将所述兴趣目标体A成像距离信息传送给所述工控机子系统中的所述运动自适应控制系统中,从而驱动所述齿轮步进电机进行转动,所述齿轮步进电机带动所述小齿轮转动,所述小齿轮将转动传递给所述大齿轮环,所述大齿轮环带动所述变焦镜头进行转动,进而实现自动对焦;
(8)所述变焦相机精准的获取包含所述兴趣目标体A的细节特征图像,并将所述细节特征图像传递给所述工控机子系统中的所述图像处理子系统,获得所述兴趣目标体A的细节特征,用于监测系统的判断及决策;
(9)重复的(6)-(8),获取图像中其余所述兴趣目标体B、C、D等细节特,用于监测系统的判断及决策,完成一个周期的监测;
(10)重复的(2)-(9),实现监控系统的连续工作。
与现有技术比较本发明的有益效果在于:1,本发明通过定焦成像系统和变焦成像系统的位置替换,实现了视觉监测的宏观与微观相复合;2,本发明通过工控机子系统对目标物在三维空间的准确定位,完成了对目标物的精准、清晰的拍摄;3,本发明实现了高效、可靠的考勤和监测功能,可以对员工或学生在整个出勤时间内进行考勤;4,本发明实现了对大范围成像场景中人脸等细微特征的识别,为视觉检测和传感等领域提供了新的技术。
附图说明
为了更清楚地说明本发明各实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍。
图1是本发明的整体示意图;
图2是本发明的安装架和安装架旋转装置结构图;
图3是本发明的定焦成像子系统和变焦成像子系统空间位置调整装置结构图;
图4是本发明的变焦成像子系统结构图;
图5是本发明的工作原理示意图;
图6是本发明的实施例2的工作状态下的结构示意图;
图7是本发明的实施例3的工作状态下的结构示意图。
图中数字表示:
1-保护罩、11-底面、12-底面连接装置、2第一安装架、3第一安装架旋转装置、31-Y向第一旋转装置、311-第一旋转连接装置、312-第一步进电机、313-第一步进电机驱动器、314-第一编码器、32-Y向第二旋转装置、321-第二旋转连接装置、322-第一支承座、323-第一带轮、33-Y向第三旋转装置、331-第三旋转连接装置、332-第二支承座、333-第二带轮、4-定焦成像子系统、41-定焦相机、42-广角镜头、43-辅助光源、44-连接杆、45-连接板、5-变焦成像子系统、51-相机、52-变焦镜头、53-大齿轮环、54-小齿轮、55-小齿轮支撑座、56-齿轮步进电机、57-齿轮编码器、58-激光器、59-变焦子系统安装座、6-变焦成像子系统空间位置调整装置、61-X向旋转装置、611-第四旋转连接装置、612-第二步进电机、613-第二步进电机驱动器、614-第二编码器、62-Z向旋转装置、621-第五旋转连接装置、622-第三步进电机、623-第三步进电机驱动器、624-第三编码器、63-第二安装架、64第三安装架、7通信接口、8工控机子系统、81图像处理子系统、82运动自适应控制子系统。
具体实施方式
以下结合附图,对本发明上述的和另外的技术特征和优点作更详细的说明。
实施例1
如图1所示,一种宏微复合视觉监测系统包括:视觉监测单元及工控机子系统8,通过视觉监测单元对感兴趣目标进行图像采集后将图像传递给工控机子系统,通过工控机子系统进行判断和决策。通过对大范围成像场景中人脸等细微特征的识别,对员工或学生在整个出勤时间内进行考勤,提高了员工和学生的出勤率。
视觉监测单元包括:保护罩1、第一安装架2、第一安装架旋转装置3、定焦成像子系统4、变焦成像子系统5、变焦成像子系统空间位置调整装置6、通信接口7。
保护罩1由铝合金材料通过弯折或者焊接等工作方式加工而成,防止长时间暴露于空气中而导致保护罩变形和提高使用寿命,形状为圆筒型,并带有底面11。
保护罩1的底面11设置有通信接口7,用于通信设备线的出入和接收和传送信号。通信接口7在保护罩1内通过数据线连接各编码器,通信接口7在保护罩1外通过数据线连接工控机子系统8。
工控机子系统8包括:图像处理子系统81、运动自适应控制子系统82。工控机子系统8安装在监控室,通过数据线与通信接口7相连接,接收视觉监测单元的图像并进行分析,再传送出信号控制视觉监测单元进行宏微交换拍摄,再对接收的图像进行分析。
如图2所示,第一安装架2为一个长条板并置于保护罩1的内部,以第一安装架2上某点为原点O,平行于第一安装架2的短边方向为X轴,平行于第第一安装架2的长边方向为Z轴,平行于XZ面的法线方向为Y轴,建立坐标系OXYZ,第一安装架2可以在保护罩1内沿YZ面旋转,第一安装架2安装在第一安装架旋转装置3上。
第一安装架旋转装置3包括Y向第一旋转装置31、Y向第二旋转装置32、Y向第三旋转装置33;Y向第一旋转装置31包括第一旋转连接装置311、第一步进电机312、第一步进电机驱动器313、第一编码器314;Y向第二旋转装置32包括第二旋转连接装置321、第一支承座322、第一带轮323,第一支承座322内为轴承;Y向第三旋转装置33包括第三旋转连接装置331、第二支承座332、第二带轮333,第二支承座332内为轴承。
保护罩1的底面11的中心位置有一底面连接装置12。
沿Y方向依次安装第一旋转连接装置311、第一步进电机312、底面连接装置12、第一步进电机驱动器313,在沿Z方向安装第一编码器314,组成Y向第一旋转装置31并固定在底面11上;Y向第一旋转装置31一端连接在第一安装架2的XZ面中点位置,另一端通过底面连接装置12固定连接在保护罩1的底面11,Y向第一旋转装置31收到工控机系统8的指令在XZ面旋转180°,实现定焦成像子系统4和变焦成像子系统5位置的互换,即实现视觉监视单元的宏微复合拍摄。
沿Y方向依次安装第二旋转连接装置321、第一支承座322、第一带轮323,组成Y向第二旋转装置32,Y向第二旋转装置32位于第一安装架2的A端,一端连接定焦成像子系统4,另一端穿过第一安装架2,并凸出第一安装架2,凸出部分为第一带轮323;
沿Y方向依次安装第三旋转连接装置331、第二支承座332、第二带轮323,组成Y向第三旋转装置33,Y向第三旋转装置33位于第一安装架2的B端,一端连接变焦成像子系统空间位置调整装置6,另一端穿过第一安装架2,并凸出第一安装架2,凸出部分为第二带轮333。
第二旋转装置32还设有两个皮带,两皮带分别套在第一带轮323和第二带轮333上;皮带内带有齿轮,可以紧扣第一带轮323和第二带轮333。
Y向第一旋转装置31收到工控机系统8的指令,通过第一旋转连接装置311带动第一安装架2在XZ面进行旋转,第一旋转连接装置311通过皮带也带动第一带轮323和第二带轮333旋转,进而带动定焦成像子系统4和变焦成像子系统空间位置调整装置6在XZ面绕各自的Y向轴线进行旋转,变焦成像子系统5安装在变焦成像子系统空间位置调整装置6上,使得第一安装架2、定焦成像子系统4和变焦成像子系统5均跟随Y向第一旋转装置31转动并在XZ面进行旋转,第一安装架2的旋转方向与定焦成像子系统4和变焦成像子系统5的旋转方向相反,但是角度相同,可以保证定焦成像子系统4和变焦成像子系统5在旋转过程中始终保持正向状态,所拍摄的图像也都为正向,不会因为定焦成像子系统4和变焦成像子系统5的旋转而拍摄出旋转的图像。
如图3所示,定焦成像子系统4包括定焦相机41、广角镜头42、辅助光源43、连接杆44、Y向连接板45;连接杆44为一长条版,连接杆44的长边与Y向平行,定焦相机41通过连接杆44与Y向连接板45相连,连接板45连接在第二旋转装置32上,定焦成像子系统4通过Y向第二旋转装置32安装在第一安装架2的A端;广角镜头42安装在定焦相机41前端,辅助光源43套在广角镜头42上,使得定焦相机41可拍摄大范围场景。定焦相机41、广角镜头42,及辅助光源43可以根据具体应用场景进行相应的选择。譬如,当监测环境昏暗时候,定焦相机41可采用红外相机,辅助光源43可采用环形红外光源辅助,以实现光线较弱场合的成像;当监测环境较近,但是视场区域较大时,广角镜头42可以采用鱼眼镜头。
变焦成像子系统空间位置调整装置6包含X向旋转装置61,X向旋转装置61的下方设置有Z向旋转装置62,在Z向旋转装置62和Y向旋转装置33之间有一第二安装架63,在X向旋转装置61和Z向旋转装置62之间有一第三安装架64。
变焦成像子系统空间位置调整装置6通过Y向第三旋转装置33安装在第一安装架的B端,变焦成像子系统空间位置调整装置6可沿XZ面旋转。
第二安装架63为Y向长板和Z向长板拼接成的L型安装架,用于连接Y向旋转装置33与Z向旋转装置62;第三安装架64为X向长板和Z向长板拼接成的L型安装架,用于连接Z向旋转装置62与X向旋转装置61;X向旋转装置61的另一侧安装有一变焦成像子系统5。
X向旋转装置61包含第四旋转连接装置611、第二步进电机612、第二步进电机驱动器613、第二编码器614;Z向旋转装置62包含第五旋转连接装置621、第三步进电机622、第三步进电机驱动器623、第三编码器624。
X向旋转装置61按照X方向依次包括第四旋转连接装置611、第二步进电机612,第二步进电机驱动器613,再按照Z方向,将第二编码器614安装在第二步进电机驱动器613上。X向旋转装置61固定在第三安装架64的Z向长板的一端,X向旋转装置61另一端连接变焦成像子系统5。X向旋转装置61可以驱动变焦成像子系统5在XZ面旋转。
Z向旋转装置62按照Z方向依次安装第五旋转连接装置621、第三步进电机622、第三步进电机驱动器623,再按照Y方向,将第三编码器624安装在第三步进电机驱动器623上;Z向旋转装置62以Z向固定在第二安装架63的Y向长板的一端,Z向旋转装置62的Z向上端连接第三安装架64的X向长板的一端,变焦成像子系统5通过X向旋转装置61连接在第三安装架64上,Z向旋转装置62可以驱动变焦成像子系统5在XY面旋转。
如图4所示,变焦成像子系统5包含变焦相机51、变焦镜头52、大齿轮环53、小齿轮54、小齿轮支撑座55、齿轮步进电机56、齿轮编码器57、激光器58、变焦子系统安装座59。
按照Y方向依次安装小齿轮54、小齿轮支撑座55、齿轮步进电机56、齿轮编码器57。小齿轮54与大齿轮环53相啮合,小齿轮54可带动大齿轮环53转动。大齿轮环53套在变焦镜头52的调焦环上,变焦镜头52安装在变焦相机51的镜头上。
变焦相机51按照X的方向固定在变焦系统安装座59上,激光器58安装在变焦相机51的一侧,激光器58发出的激光与变焦相机41拍摄镜头的光轴相互平行且同步运动。
如图5所示,系统工作流程如下:
(1)如图3所示,以定焦成像子系统4中定焦相机41成像面中心为原点O1,定焦相机41宽度方向为U轴,定焦相机41高度方向为V轴,相机31相机光轴方向为W轴,建立坐标系O1UVW。
(2)当多个兴趣目标体(A、B、C、D……)同时处于定焦成像子系统4的成像范围时,大场景中的多个兴趣目标体通过广角镜头42在定焦相机41中成像,定焦成像字系统4获取大范围视角的图像,获取图像的时间为t0
(3)定焦成像子系统4将t0时刻获取的图像通过通信接口7及网络等方式传送到工控机子系统8中;
(4)工控机子系统9中的图像处理子系统3对图像进行处理,获取兴趣目标体A、B、C、D等所在位置分别与相机41光轴左右偏离角度αuA,αuB,αuC,αuD等和上下偏离角度αvA,αvB,αvC,αvD等。
(5)工控机子系统8中的运动自适应控制子系统82控制Y向第一旋转装置31进行转动,实现定焦成像子系统4与变焦成像子系统5位置的交换。
(6)对于兴趣目标体A,工控机子系统8中的图像处理子系统81将兴趣目标体A相对定焦相机41光轴左右偏离角度αuA,上下偏离角度αvA传递给工控机子系统8中的运动自适应控制子系统82,运动自适应控制子系统82控制第二步进电机驱动器613和第三步进电机驱动器623并分别对第二步进电机612和第三步进电机622进行驱动,此时第二编码器614和第三编码器624分别检测第二步进电机612和第三步进电机622实际转动角度与理论角度αuA和αvA之间的差距,进而进行修正,使得兴趣目标体A处于变焦成像子系统5的视场中心附近。
(7)变焦成像子系统5中的激光器58发射相应的点激光,依据点激光发射信号时间t1及获取兴趣目标体A表面反射回来的信号时间t2的时间差,获取兴趣目标体A距变焦成像子系统5的距离(即物体距离)。变焦成像子系统5智能选取相应焦距,从而计算出兴趣目标体A相应的成像距离。此时将兴趣目标体A成像距离信息传送给工控机子系统8中的运动自适应控制系统82中,从而驱动齿轮步进电机56进行转动,齿轮步进电机56带动小齿轮54转动,小齿轮54将转动传递给大齿轮环53,大齿轮环53带动变焦镜头52进行转动,进而实现自动对焦。
(8)变焦相机51精准的获取包含兴趣目标体A的细节特征图像,并将细节特征图像传递给工控机子系统8中的图像处理子系统81,获得兴趣目标体A的细节特征,用于监测系统的判断及决策。
(9)重复的(6)-(8),获取图像中其余兴趣目标体B、C、D等细节特征,用于监测系统的判断及决策,完成一个周期的监测。
(10)重复的(2)-(9),实现监控系统的连续工作。
实施例二
本发明的一个工作状态如图6所示,定焦成像子系统4位于变焦成像子系统5的上端,此时定焦相机41和变焦相机51均处于正向拍照状态,变焦相机51的光轴和Y向第三旋转装置33的旋转中心轴重合,Y向第二旋转装置32旋转中心轴到Y向第一旋转装置31旋转中心轴的距离和Y向第三旋转装置33旋转中心轴到Y向第一旋转装置31旋转中心轴的距离相同,保证定焦相机41和变焦相机51位置发生互换时,变焦相机51能够对准定焦相机41获取的大范围视角的图像。
实施例三
在上述实施例二的状态下,定焦成像子系统5拍摄大范围成像场景的图像,并传送到工控机子系统8中,工控机子系统8中的运动自适应控制子系统82控制Y向第一旋转装置31旋转180°,从而对所述定焦成像子系统4与变焦成像子系统5位置的交换。
如图7所示,定焦相机41与变焦相机51的位置发生了互换,Y向第一旋转装置31旋转180°,转动时,Y向第一旋转装置31通过带动皮带,使得定焦相机41与变焦相机51在Y方向绕其各自的中心轴发生自转,始终保持定焦相机41和变焦相机51处于正向拍照状态。
以上仅为本发明的较佳实施例,对本发明而言仅仅是说明性的,而非限制性的。本专业技术人员理解,在本发明权利要求所限定的精神和范围内可对其进行许多改变,修改,甚至等效,但都将落入本发明的保护范围内。

Claims (8)

1.一种宏微复合视觉监测系统,其特征在于,包括视觉监测单元和工控机子系统;所述视觉监测单元对感兴趣目标进行图像采集后将图像传递给所述工控机子系统,通过所述工控机子系统进行判断和决策;所述工控机子系统控制视觉监测单元进行宏观与微观相结合进行准确定位及拍摄,所述视觉监测单元包括保护罩、第一安装架、第一安装架旋转装置、定焦成像子系统、变焦成像子系统、变焦成像子系统空间位置调整装置和通信接口;所述第一安装架、所述第一安装架旋转装置、所述定焦成像子系统、所述变焦成像子系统和所述变焦成像子系统空间位置调整装置均置于所述保护罩内;所述第一安装架安装在所述第一安装架旋转装置上,所述第一安装架上还固定安装有所述定焦成像子系统和所述变焦成像子系统空间位置调整装置,所述第一安装架与所述保护罩的底面连接;所述变焦成像子系统空间位置调整装置上安装有所述变焦成像子系统;所述保护罩的底面设置有通信接口,用于通信数据线的出入,所述第一安装架为一个长条板,以所述第一安装架上某点为原点O,平行于所述第一安装架的短边方向为X轴,平行于所述第一安装架的长边方向为Z轴,平行于XZ面的法线方向为Y轴,建立坐标系OXYZ,所述第一安装架旋转装置包括Y向第一旋转装置、Y向第二旋转装置和Y向第三旋转装置,所述第一安装架通过所述Y向第一旋转装置安装在保护罩的底面,所述定焦成像子系统通过Y向第二旋转装置安装在第一安装架上,所述变焦成像子系统空间位置调整装置通过Y向第三旋转装置安装在第一安装架上;所述第一安装架旋转装置可根据所述工控机子系统的控制进行旋转并带动所述第一安装架、所述定焦成像子系统和所述变焦成像子系统空间位置调整装置进行旋转,使所述定焦成像子系统和所述变焦成像子系统进行位置互换;所述Y向第一旋转装置包括第一旋转连接装置、第一步进电机、第一步进电机驱动器和第一编码器;所述Y向第二旋转装置包括第二旋转连接装置、第一支承座和第一带轮,第一支承座内为轴承;Y向第三旋转装置包括第三旋转连接装置、第二支承座和第二带轮,第二支承座内为轴承;所述第一旋转连接装置、所述第一带轮和所述第二带轮通过一皮带连接,所述第一旋转连接装置旋转时带动所述第一带轮和所述第二带轮进行旋转,使得所述定焦成像子系统和所述变焦成像子系统空间位置调整装置始终处于正向状态。
2.如权利要求1所述的一种宏微复合视觉监测系统,其特征在于,所述工控机子系统包括图像处理子系统和运动自适应控制子系统;所述工控机子系统通过连接所述通信接口实现对所述监测系统的检测与控制。
3.如权利要求2所述的一种宏微复合视觉监测系统,其特征在于,所述定焦成像子系统包括定焦相机、广角镜头和辅助光源,所述广角镜头位于所述定焦相机前端,所述辅助光源位于所述定焦相机的后端;所述定焦成像子系统和所述变焦成像子系统位于所述第一安装架的两端,所述定焦成像子系统拍摄大范围视角的图像,所述大范围视角的图像经所述通信接口传送到所述工控机子系统进行方位分析。
4.如权利要求3所述的一种宏微复合视觉监测系统,其特征在于,所述变焦成像子系统空间位置调整装置包含X向旋转装置、Z向旋转装置、第二安装架和第三安装架;所述X向旋转装置的下方设置有所述Z向旋转装置,所述第三安装架安装在所述X向旋转装置和所述Z向旋转装置之间,用于连接所述X向旋转装置与所述Z向旋转装置;在所述X向旋转装置的一侧连接有所述变焦成像子系统;在所述Z向旋转装置和所述Y向第三旋转装置之间安装有所述第二安装架。
5.如权利要求4所述的一种宏微复合视觉监测系统,其特征在于,所述变焦成像子系统包括变焦相机、变焦镜头、大齿轮环、小齿轮、小齿轮支撑座、齿轮步进电机、齿轮编码器、激光器和变焦子系统安装座,所述变焦镜头位于所述变焦相机前端,所述变焦相机固定在所述变焦子系统安装座上,所述大齿轮环件环套在所述变焦镜头上,所述大齿轮环和小齿轮相互啮合,所述步进电机穿过所述小齿轮支撑座并连接在所述小齿轮上,所述小齿轮支撑座固定在所述变焦子系统安装座上并位于所述变焦相机的另一旁,所述齿轮步进电机后端连接所述齿轮编码器,所述激光器固定在所述变焦子系统安装座上,所述激光器发射的激光线与所述变焦镜头的光轴相平行,所述齿轮编码器接收所述工控机子系统的指令来修正所述齿轮步进电机转动,所述齿轮步进电机驱动所述小齿轮转动,所述小齿轮带动所述变焦镜头旋转而进行变焦。
6.如权利要求5所述的一种宏微复合视觉监测系统,其特征在于,所述第一安装架在所述保护罩内可以旋转,所述第一安装架在所述保护罩内旋转实现所述定焦成像子系统和所述变焦成像子系统的位置互换,所述定焦相机和所述变焦相机的光轴均垂直于所述第一安装架的旋转面。
7.如权利要求6所述的一种宏微复合视觉监测系统,其特征在于,所述X向旋转装置包括第四旋转连接装置、第二步进电机、第二步进电机驱动器和第二编码器,所述第四旋转连接装置连接到所述第二步进电机上,所述第二步进电机驱动器连接所述第二步进电机并对所述第二步进电机进行驱动,所述第二编码器连接在所述第二步进电机上并通过数据线与工控机子系统相连,用于修正第二步进电机转动角度;所述Z向旋转装置包括第五旋转连接装置、第三步进电机、第三步进电机驱动器和第三编码器,所述第五旋转连接装置连接到所述第三步进电机上,所述第三步进电机驱动器连接所述第三步进电机并对所述第三步进电机进行驱动,所述第三编码器连接在所述第三步进电机上并通过数据线与工控机子系统相连,用于修正第三步进电机转动角度。
8.一种宏微复合视觉监测系统的控制方法,其应用于权利要求7所述的宏微复合视觉监测系统,其特征在于,具体步骤如下:
(1)以所述定焦成像子系统中所述定焦相机成像面中心为原点O1,所述定焦相机宽度方向为U轴,所述定焦相机高度方向为V轴,所述定焦相机光轴方向为W轴,建立坐标系O1UVW;
(2)当多个兴趣目标体A、B、C、D同时处于所述定焦成像子系统的成像范围时,大场景中的多个所述兴趣目标体通过所述广角镜头在所述定焦相机中成像,所述定焦成像子系统获取大范围视角的图像,获取图像的时间为t0
(3)所述定焦成像子系统将t0时刻获取的图像通过所述通信接口及网络方式传送到所述工控机子系统中;
(4)所述工控机子系统中的所述图像处理子系统对图像进行处理,获取所述兴趣目标体A、B、C、D所在位置分别与所述定焦相机光轴左右偏离角度αuA,αuB,αuC,αuD和上下偏离角度αvA,αvB,αvC,αvD
(5)所述工控机子系统中的所述运动自适应控制子系统控制所述Y向第一旋转装置进行转动,实现所述定焦成像子系统与所述变焦成像子系统位置的交换;
(6)对于所述兴趣目标体A,所述工控机子系统中的所述图像处理子系统将所述兴趣目标体A相对所述定焦相机光轴的所述左右偏离角度αuA和所述上下偏离角度αvA传递给所述工控机子系统中的所述运动自适应控制子系统,所述运动自适应控制子系统控制所述第二步进电机驱动器和所述第三步进电机驱动器并分别对所述第二步进电机和所述第三步进电机进行驱动,此时所述第二编码器和所述第三编码器分别检测所述第二步进电机和所述第三步进电机实际转动角度与理论角度之间的差距,进而进行修正,使得所述兴趣目标体A处于所述变焦成像子系统的视场中心附近;
(7)所述变焦成像子系统中的所述激光器发射相应的点激光,依据所述点激光发射信号时间t1及获取所述兴趣目标体A表面反射回来的信号时间t2的时间差,获取所述兴趣目标体A距所述变焦成像子系统的距离即物体距离,所述变焦成像子系统智能选取相应焦距,从而计算出所述兴趣目标体A相应的成像距离,此时将所述兴趣目标体A成像距离信息传送给所述工控机子系统中的所述运动自适应控制系统中,从而驱动所述齿轮步进电机进行转动,所述齿轮步进电机带动所述小齿轮转动,所述小齿轮将转动传递给所述大齿轮环,所述大齿轮环带动所述变焦镜头进行转动,进而实现自动对焦;
(8)所述变焦相机精准的获取包含所述兴趣目标体A的细节特征图像,并将所述细节特征图像传递给所述工控机子系统中的所述图像处理子系统,获得所述兴趣目标体A的细节特征,用于监测系统的判断及决策;
(9)重复步骤(6)-(8),获取图像中其余所述兴趣目标体B、C、D细节特征,用于监测系统的判断及决策,完成一个周期的监测;
(10)重复步骤(2)-(9),实现监控系统的连续工作。
CN201711306498.4A 2017-12-11 2017-12-11 一种宏微复合视觉监测系统及控制方法 Active CN107864339B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711306498.4A CN107864339B (zh) 2017-12-11 2017-12-11 一种宏微复合视觉监测系统及控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711306498.4A CN107864339B (zh) 2017-12-11 2017-12-11 一种宏微复合视觉监测系统及控制方法

Publications (2)

Publication Number Publication Date
CN107864339A CN107864339A (zh) 2018-03-30
CN107864339B true CN107864339B (zh) 2023-09-19

Family

ID=61705431

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711306498.4A Active CN107864339B (zh) 2017-12-11 2017-12-11 一种宏微复合视觉监测系统及控制方法

Country Status (1)

Country Link
CN (1) CN107864339B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109396662B (zh) * 2018-11-23 2020-10-02 拓卡奔马机电科技有限公司 一种激光裁剪设备及激光裁剪方法
CN211880479U (zh) * 2020-05-06 2020-11-06 浙江大华技术股份有限公司 一种双舱摄像机
CN112268174B (zh) * 2020-10-22 2022-07-05 陕西世和安全应急技术有限公司 一种安全生产线图像检测识别装置及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101924923A (zh) * 2010-08-03 2010-12-22 杭州翰平电子技术有限公司 嵌入式智能自动变焦抓拍系统及方法
CN105847650A (zh) * 2016-05-20 2016-08-10 北京科旭威尔科技股份有限公司 一种具有目标锁定跟踪功能的智能控制系统
CN105872475A (zh) * 2016-05-20 2016-08-17 北京格灵深瞳信息技术有限公司 一种监控摄像装置
CN106060470A (zh) * 2016-06-24 2016-10-26 邵文超 一种视频监控方法及其系统
CN206181190U (zh) * 2016-11-09 2017-05-17 深圳市极酷威视科技有限公司 一种自动跟随的云台相机系统
CN206237504U (zh) * 2016-11-30 2017-06-09 深圳市维海德技术股份有限公司 一种智能教学跟踪摄像机
CN107396067A (zh) * 2017-08-29 2017-11-24 浙江大华技术股份有限公司 一种双镜头摄像机

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101924923A (zh) * 2010-08-03 2010-12-22 杭州翰平电子技术有限公司 嵌入式智能自动变焦抓拍系统及方法
CN105847650A (zh) * 2016-05-20 2016-08-10 北京科旭威尔科技股份有限公司 一种具有目标锁定跟踪功能的智能控制系统
CN105872475A (zh) * 2016-05-20 2016-08-17 北京格灵深瞳信息技术有限公司 一种监控摄像装置
CN106060470A (zh) * 2016-06-24 2016-10-26 邵文超 一种视频监控方法及其系统
CN206181190U (zh) * 2016-11-09 2017-05-17 深圳市极酷威视科技有限公司 一种自动跟随的云台相机系统
CN206237504U (zh) * 2016-11-30 2017-06-09 深圳市维海德技术股份有限公司 一种智能教学跟踪摄像机
CN107396067A (zh) * 2017-08-29 2017-11-24 浙江大华技术股份有限公司 一种双镜头摄像机

Also Published As

Publication number Publication date
CN107864339A (zh) 2018-03-30

Similar Documents

Publication Publication Date Title
CN107864339B (zh) 一种宏微复合视觉监测系统及控制方法
JP4188394B2 (ja) 監視カメラ装置及び監視カメラシステム
CN108124090A (zh) 移动机器人双摄像头人脸识别装置及方法
KR20040033986A (ko) 이동물체의 거리와 이동방향을 제공하는 인공지능형영상경비 시스템
JP2008170981A (ja) レンズ光学系の偏芯調整方法及び装置並びにプログラム
CN105282443A (zh) 一种全景深全景图像成像方法
CN103929592A (zh) 全方位智能监控设备及方法
CN102650725A (zh) 红外线用摄像机的后侧焦点调节系统
CN103813102B (zh) 一种用于细节成像的车载可变焦全景监控系统
JP2011109630A (ja) カメラ装置用雲台
KR101452342B1 (ko) 감시카메라 유닛 및 그 구동방법
CN108124127B (zh) 全景扫描监控系统
CN108121146B (zh) 全景扫描装置
Hu et al. Omnidirectional panoramic video system with frame-by-frame ultrafast viewpoint control
CN112584053A (zh) 一种双目视觉激光发射系统及方法
CN111614875A (zh) 一种用于变电站巡检机器人的远程摄影云台控制系统
CN207573501U (zh) 一种宏微复合视觉监测设备
US20200059606A1 (en) Multi-Camera System for Tracking One or More Objects Through a Scene
CN210075404U (zh) 一种全景摄像系统
CN108121066B (zh) 全景扫描装置
US10567657B2 (en) Image processing method and system for vision system
CN110824577A (zh) 一种红外目标探测平台及其探测方法
CN207976139U (zh) 可变物距光学检测装置
CN219372503U (zh) 一种远程共享机器视觉实验系统的实验设备
JPH05130646A (ja) 立体カメラ装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant