CN106713960B - 一种基于人脸识别的智能视频监控系统 - Google Patents

一种基于人脸识别的智能视频监控系统 Download PDF

Info

Publication number
CN106713960B
CN106713960B CN201710098175.4A CN201710098175A CN106713960B CN 106713960 B CN106713960 B CN 106713960B CN 201710098175 A CN201710098175 A CN 201710098175A CN 106713960 B CN106713960 B CN 106713960B
Authority
CN
China
Prior art keywords
image
equipment
distortion
definition
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710098175.4A
Other languages
English (en)
Other versions
CN106713960A (zh
Inventor
吕洋波
陈志平
胡睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang 1one. Cn Technology Corp.
Original Assignee
Zhejiang 1one Cn Technology Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang 1one Cn Technology Corp filed Critical Zhejiang 1one Cn Technology Corp
Priority to CN201710098175.4A priority Critical patent/CN106713960B/zh
Publication of CN106713960A publication Critical patent/CN106713960A/zh
Application granted granted Critical
Publication of CN106713960B publication Critical patent/CN106713960B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Internal components of the client ; Characteristics thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于人脸识别的智能视频监控系统,所述系统包括多个高清摄像机,多个高清摄像机分别设置在场地的不同位置,每一个高清摄像机包括摄像镜头、图像传感设备、畸变类型检测设备和畸变处理设备。

Description

一种基于人脸识别的智能视频监控系统
技术领域
本发明涉及视频领域,尤其涉及一种基于人脸识别的智能视频监控系统。
背景技术
即时回放系统由英国汉普郡拉姆西的Roke Manor研究有限公司的工程师在2001年开发。这项技术由医生保罗霍金斯和大卫雪利持有。后来,该技术脱离原公司,成立了一个独立的公司。
一般地,即时回放系统由多个摄像头和高性能计算机组成。首先,借助计算机的计算把比赛场地内的立体空间分隔成以毫米计算的测量单位;然后,利用摄像头从不同角度同时捕捉球的飞行轨迹的基本数据,再通过电脑计算,将这些数据生成三维图像,最后利用即时成像技术,由现场大屏幕清晰地呈现出球的运动路线及落点。从数据采集到结果演示,这个过程所耗用的时间,不超过10秒钟。通常用于电视转播。
然而,现有技术中的即时回放系统且精度仍局限于网球大小,而且即使在网球大小的精度下,由于图像预处理中的畸变去除机制落后,畸变去除的自适应能力差,以及去噪所用的滤波器较为单一,无法为球类目标的后续跟踪提供优质的预处理图像;而且,摄像机定标技术落后,无法提供高精度的球类目标的三维坐标;同时,缺乏即时回放系统的启动控制逻辑,导致即时回放系统的自动化水平低下;同时,现有技术中的即时回放系统功能单一,无法集成更多能够应用到比赛场地的电子功能,导致现场电子设备种类繁多,难以布线和控制。
因此,需要一种新的场地摄像技术方案,能够在实现即时回放功能的同时,提高即时回放的精度,保证判决的准确性,还能够完善即时回放系统的启动控制逻辑,提高即时回放系统的自动化水平,同时,能够集成保证比赛顺利进行的其他电子功能。
发明内容
本发明提供一种基于人脸识别的智能视频监控系统,其特征在于,所述系统包括多个高清摄像机,多个高清摄像机分别设置在斯诺克场地的不同位置,每一个高清摄像机包括摄像镜头、图像传感设备、畸变类型检测设备和畸变处理设备。
优选地,每一个高清摄像机还包括噪声检测设备和噪声滤除设备。
优选地,所述畸变类型检测设备和所述畸变处理设备连接,所述噪声检测设备和所述噪声滤除设备连接。
优选地,所述系统还包括:
鱼眼摄像头,用于对斯诺克场地的观众席进行全景拍摄以获得全景观众席图像;
闪光灯检测设备,与鱼眼摄像头连接,用于基于预设闪光灯亮度范围在全景观众席图像中检测是否存在闪光动作,如果存在闪光动作,则确定闪光动作在全景观众席图像中的相对位置,并发出存在闪光拍照信号;其中,预设闪光灯亮度范围由预设闪光灯上限亮度和预设闪光灯下限亮度组成;
闪光灯定位设备,与闪光灯检测设备连接,用于基于预设座位编号图案和闪光动作在全景观众席图像中的相对位置确定距离闪光动作最近的座位编号;
高清摄像机阵列,由多个高清摄像机组成,多个高清摄像机分别设置在斯诺克场地的不同位置,每一个高清摄像机包括摄像镜头、图像传感设备、畸变类型检测设备、畸变处理设备、参考点选择设备、畸变坐标映射设备、畸变灰度映射设备、噪声检测设备、噪声滤除设备、图像减影设备、阈值选择设备、二值化处理设备、图像闭合设备、图像开启设备、目标识别设备和目标坐标提取设备;
摄像机定标设备,与每一个高清摄像机连接,用于获取每一个高清摄像机的内参数和每一个高清摄像机的外参数,每一个高清摄像机的内参数包括高清摄像机的焦距、图像传感设备尺寸、摄像镜头失真度,每一个高清摄像机的外参数包括高清摄像机相对于斯诺克场地的相对位置以及高清摄像机的拍摄方向;
坐标映射设备,与摄像机定标设备连接,用于接收每一个高清摄像机的内参数和每一个高清摄像机的外参数,并基于每一个高清摄像机的内参数和每一个高清摄像机的外参数确定每一个高清摄像机的图像空间中像素点坐标与三维世界坐标之间的映射关系。
优选地,所述系统还包括:
三维坐标拟合设备,用于分别与多个高清摄像机的目标坐标提取设备连接,用于接收多个平面坐标参数,还与摄像机定标设备连接,用于接收多个高清摄像机的图像空间中像素点坐标分别与三维世界坐标之间的映射关系,三维坐标拟合设备基于上述多个平面坐标参数以及上述多个高清摄像机对应的映射关系拟合出斯诺克目标在三维世界坐标系中的三维坐标并作为三维目标坐标输出;
环境重建设备,与每一个高清摄像机连接,用于分别接收来自多个高清摄像机的多个几何校准图像,并基于多个几何校准图像对斯诺克场地进行环境重建,以获得并输出斯诺克场地的虚拟场景;
场景融合设备,分别与环境重建设备和三维坐标拟合设备连接,用于基于三维目标坐标将斯诺克目标的运动位置融合到虚拟场景中以获得并输出融合图像帧;
现场回放设备,与场景融合设备连接以接收并回放融合图像帧,现场回放设备包括液晶显示器、显示驱动器和显示缓存;
挑战检测设备,位于现场回放设备的正下方,用于检测斯诺克场地上的运动员的姿态以确定运动员是否发出挑战动作,在确定运动员发出挑战动作时,输出启动挑战信号,在确定运动员未发出挑战动作时,输出未启动挑战信号;
手动操作设备,位于裁判员位置下方,与挑战检测设备连接,包括允许挑战按键和拒绝挑战按键,用于在接收启动挑战信号时,激活允许挑战按键和拒绝挑战按键,并在裁判员按压允许挑战按键时发出允许挑战信号,在裁判员按压拒绝挑战按键时发出拒绝挑战信号;手动操作设备还用于在接收到未启动挑战信号,禁用允许挑战按键和拒绝挑战按键;
时间段设置设备,包括触摸屏,位于裁判员位置下方,与手动操作设备连接,用于在接收到允许挑战信号时,为裁判员提供选择回放时间段的输入界面,并输出裁判员选择的回放时间段;时间段设置设备还用于在接收到拒绝挑战信号时,关闭为裁判员提供选择回放时间段的输入界面。
优选地,在每一个高清摄像机中,图像传感设备用于对斯诺克场地进行高清数据采集以输出高清图像;
畸变类型检测设备与图像传感设备连接,用于接收高清图像,确定高清图像的外形尺寸,基于高清图像的外形尺寸与基准参考图像的外形尺寸确定高清图像的畸变类型,畸变类型包括扭曲畸变、径向失真畸变、仿射变换畸变、类仿射变换畸变和投影变换畸变,基准参考图像为对高清摄像机负责区域进行预先高清数据采集所输出的无畸变的高清图像;
畸变处理设备与畸变类型检测设备连接,当接收到的畸变类型为扭曲畸变、径向失真畸变、仿射变换畸变或类仿射变换畸变时,基于不同的畸变类型对高清图像进行不同的预定几何变换处理,以输出几何校准图像;
参考点选择设备与畸变类型检测设备连接,用于在接收到的畸变类型为投影变换畸变时,选择斯诺克场地中的8个位置作为校准参考点,8个位置分别为斯诺克场地中比赛用桌上的8个基准点;其中,在每一个高清摄像机中,畸变坐标映射设备分别与参考点选择设备和畸变类型检测设备连接,用于确定高清图像中8个位置的坐标,确定基准参考图像中8个位置的坐标,基于高清图像中8个位置的坐标以及基准参考图像中8个位置的坐标确定几何坐标变换矩阵,并基于几何坐标变换矩阵对高清图像的所有像素点进行几何坐标变换以获得对应的多个新像素点,高清图像的所有像素点的水平坐标和垂直坐标都为整数,而新像素点的水平坐标或垂直坐标不一定为整数;
畸变灰度映射设备与畸变坐标映射设备连接,用于接收多个新像素点,当新像素点的水平坐标和垂直坐标都为整数时,新像素点的灰度值为高清图像中相同坐标位置的像素点的灰度值,当新像素点的水平坐标或垂直坐标为非整数时,基于高清图像中相同坐标位置周围的多个像素点的灰度值计算新像素点的灰度值,基于多个新像素点的灰度值输出几何校准图像;
噪声检测设备分别与畸变处理设备和畸变灰度映射设备连接,用于接收几何校准图像,并基于几何校准图像检测并输出几何校准图像中的噪声类型;
噪声滤除设备包括自适应递归滤波单元、维纳滤波单元和边缘保持滤波单元,维纳滤波单元用于在接收到的噪声类型为最大幅度值超过预设幅度值的大幅度值高斯噪声时,对几何校准图像进行维纳滤波处理,以获得并输出滤波图像,自适应递归滤波单元用于在接收到的噪声类型为最大幅度值小于等于预设幅度值的小幅度值高斯噪声时,对几何校准图像进行自适应递归滤波处理,以获得并输出滤波图像,边缘保持滤波单元用于在接收到的噪声类型为椒盐噪声或脉冲噪声时,对几何校准图像中每一个像素点作为待处理像素点进行如下处理:选择待处理像素点周围的M个附近像素点做均值计算以获得第一平均像素值,在M个附近像素点中,选择像素值距离平均像素值最近的N个附近像素点作为运算像素点,对N个运算像素点做均值计算以获得第二平均像素值,将第二平均像素值作为待处理像素点的处理后的像素值,M和N均为自然数且N小于M;边缘保持滤波单元基于所有待处理像素点的处理后的像素值组成并输出滤波图像;其中,在每一个高清摄像机中,图像减影设备与噪声滤除设备连接以获得时间上连续的各个滤波图像,对于每一个滤波图像,将其与前一帧滤波图像按照相同坐标位置对应的像素点灰度值做差,对各个对应的像素点灰度值做差所获得的差值取绝对值后组成并输出减影图像;阈值选择设备与图像减影设备连接,接收减影图像并计算减影图像的复杂度,基于复杂度选择二值化阈值;二值化处理设备分别与阈值选择设备和图像减影设备连接,用于基于二值化阈值对减影图像进行二值化处理以获得二值化图像;图像闭合设备与二值化处理设备连接,用于对二值化图像进行图像闭合处理,即对二值化图像先执行图像膨胀处理后执行图像腐蚀处理,以获得闭合图像;图像开启设备与图像闭合设备连接,用于对闭合图像进行图像开启处理,即对闭合图像先执行图像腐蚀处理后执行图像膨胀处理,以获得开启图像;目标识别设备与图像开启设备连接,用于基于预设基准斯诺克图案在开启图像中识别出斯诺克目标;目标坐标提取设备与目标识别设备连接,用于基于识别出的斯诺克目标在整个开启图像中的相对位置,确定斯诺克目标的平面坐标参数;其中,显示缓存与液晶显示器连接,显示驱动器分别与显示缓存和时间段设置设备连接,显示驱动器用于在接收到裁判员选择的回放时间段时,按照裁判员选择的回放时间段将先前从场景融合设备处接收到的融合图像帧推送到显示缓存内以便于液晶显示器持续回放;其中,预设座位编号图案的获得过程如下:对无观众状态下斯诺克场地的观众席进行预先拍摄以获得无观众图像,再对无观众图像中观众席上的每一个座位完成编号以获得预设座位编号图案;其中,显示驱动器还分别与闪光灯检测设备和闪光灯定位设备连接,用于在接收到闪光拍照信号时,将距离闪光动作最近的座位编号推送到显示缓存中以便于液晶显示器进行相应显示,还将禁止闪光灯拍照警示信息推送到显示缓存中以便于液晶显示器进行相应显示。
优选地,将多个高清摄像机均匀设置在斯诺克场地的不同位置。
优选地,根据权利要求6所述的基于人脸识别的智能视频监控系统,其特征在于,将多个高清摄像机非均匀式地设置在斯诺克场地的不同位置。
具体实施方式
下面将对本发明的实施方案进行详细说明。
本发明提供一种基于人脸识别的智能视频监控系统,所述系统包括多个高清摄像机,多个高清摄像机分别设置在斯诺克场地的不同位置,每一个高清摄像机包括摄像镜头、图像传感设备、畸变类型检测设备和畸变处理设备。
更具体地,在所述基于人脸识别的智能视频监控系统中:每一个高清摄像机还包括噪声检测设备和噪声滤除设备。
更具体地,在所述基于人脸识别的智能视频监控系统中:畸变类型检测设备和畸变处理设备连接,噪声检测设备和噪声滤除设备连接。
更具体地,在所述基于人脸识别的智能视频监控系统中,包括:鱼眼摄像头,用于对斯诺克场地的观众席进行全景拍摄以获得全景观众席图像;闪光灯检测设备,与鱼眼摄像头连接,用于基于预设闪光灯亮度范围在全景观众席图像中检测是否存在闪光动作,如果存在闪光动作,则确定闪光动作在全景观众席图像中的相对位置,并发出存在闪光拍照信号;其中,预设闪光灯亮度范围由预设闪光灯上限亮度和预设闪光灯下限亮度组成;闪光灯定位设备,与闪光灯检测设备连接,用于基于预设座位编号图案和闪光动作在全景观众席图像中的相对位置确定距离闪光动作最近的座位编号;高清摄像机阵列,由多个高清摄像机组成,多个高清摄像机分别设置在斯诺克场地的不同位置,每一个高清摄像机包括摄像镜头、图像传感设备、畸变类型检测设备、畸变处理设备、参考点选择设备、畸变坐标映射设备、畸变灰度映射设备、噪声检测设备、噪声滤除设备、图像减影设备、阈值选择设备、二值化处理设备、图像闭合设备、图像开启设备、目标识别设备和目标坐标提取设备;摄像机定标设备,与每一个高清摄像机连接,用于获取每一个高清摄像机的内参数和每一个高清摄像机的外参数,每一个高清摄像机的内参数包括高清摄像机的焦距、图像传感设备尺寸、摄像镜头失真度,每一个高清摄像机的外参数包括高清摄像机相对于斯诺克场地的相对位置以及高清摄像机的拍摄方向;坐标映射设备,与摄像机定标设备连接,用于接收每一个高清摄像机的内参数和每一个高清摄像机的外参数,并基于每一个高清摄像机的内参数和每一个高清摄像机的外参数确定每一个高清摄像机的图像空间中像素点坐标与三维世界坐标之间的映射关系;三维坐标拟合设备,用于分别与多个高清摄像机的目标坐标提取设备连接,用于接收多个平面坐标参数,还与摄像机定标设备连接,用于接收多个高清摄像机的图像空间中像素点坐标分别与三维世界坐标之间的映射关系,三维坐标拟合设备基于上述多个平面坐标参数以及上述多个高清摄像机对应的映射关系拟合出斯诺克目标在三维世界坐标系中的三维坐标并作为三维目标坐标输出;环境重建设备,与每一个高清摄像机连接,用于分别接收来自多个高清摄像机的多个几何校准图像,并基于多个几何校准图像对斯诺克场地进行环境重建,以获得并输出斯诺克场地的虚拟场景;场景融合设备,分别与环境重建设备和三维坐标拟合设备连接,用于基于三维目标坐标将斯诺克目标的运动位置融合到虚拟场景中以获得并输出融合图像帧;现场回放设备,与场景融合设备连接以接收并回放融合图像帧,现场回放设备包括液晶显示器、显示驱动器和显示缓存;挑战检测设备,位于现场回放设备的正下方,用于检测斯诺克场地上的运动员的姿态以确定运动员是否发出挑战动作,在确定运动员发出挑战动作时,输出启动挑战信号,在确定运动员未发出挑战动作时,输出未启动挑战信号;手动操作设备,位于裁判员位置下方,与挑战检测设备连接,包括允许挑战按键和拒绝挑战按键,用于在接收启动挑战信号时,激活允许挑战按键和拒绝挑战按键,并在裁判员按压允许挑战按键时发出允许挑战信号,在裁判员按压拒绝挑战按键时发出拒绝挑战信号;手动操作设备还用于在接收到未启动挑战信号,禁用允许挑战按键和拒绝挑战按键;时间段设置设备,包括触摸屏,位于裁判员位置下方,与手动操作设备连接,用于在接收到允许挑战信号时,为裁判员提供选择回放时间段的输入界面,并输出裁判员选择的回放时间段;时间段设置设备还用于在接收到拒绝挑战信号时,关闭为裁判员提供选择回放时间段的输入界面;其中,在每一个高清摄像机中,图像传感设备用于对斯诺克场地进行高清数据采集以输出高清图像;畸变类型检测设备与图像传感设备连接,用于接收高清图像,确定高清图像的外形尺寸,基于高清图像的外形尺寸与基准参考图像的外形尺寸确定高清图像的畸变类型,畸变类型包括扭曲畸变、径向失真畸变、仿射变换畸变、类仿射变换畸变和投影变换畸变,基准参考图像为对高清摄像机负责区域进行预先高清数据采集所输出的无畸变的高清图像;畸变处理设备与畸变类型检测设备连接,当接收到的畸变类型为扭曲畸变、径向失真畸变、仿射变换畸变或类仿射变换畸变时,基于不同的畸变类型对高清图像进行不同的预定几何变换处理,以输出几何校准图像;参考点选择设备与畸变类型检测设备连接,用于在接收到的畸变类型为投影变换畸变时,选择斯诺克场地中的8个位置作为校准参考点,8个位置分别为斯诺克场地中比赛用桌上的8个基准点;其中,在每一个高清摄像机中,畸变坐标映射设备分别与参考点选择设备和畸变类型检测设备连接,用于确定高清图像中8个位置的坐标,确定基准参考图像中8个位置的坐标,基于高清图像中8个位置的坐标以及基准参考图像中8个位置的坐标确定几何坐标变换矩阵,并基于几何坐标变换矩阵对高清图像的所有像素点进行几何坐标变换以获得对应的多个新像素点,高清图像的所有像素点的水平坐标和垂直坐标都为整数,而新像素点的水平坐标或垂直坐标不一定为整数;畸变灰度映射设备与畸变坐标映射设备连接,用于接收多个新像素点,当新像素点的水平坐标和垂直坐标都为整数时,新像素点的灰度值为高清图像中相同坐标位置的像素点的灰度值,当新像素点的水平坐标或垂直坐标为非整数时,基于高清图像中相同坐标位置周围的多个像素点的灰度值计算新像素点的灰度值,基于多个新像素点的灰度值输出几何校准图像;噪声检测设备分别与畸变处理设备和畸变灰度映射设备连接,用于接收几何校准图像,并基于几何校准图像检测并输出几何校准图像中的噪声类型;噪声滤除设备包括自适应递归滤波单元、维纳滤波单元和边缘保持滤波单元,维纳滤波单元用于在接收到的噪声类型为最大幅度值超过预设幅度值的大幅度值高斯噪声时,对几何校准图像进行维纳滤波处理,以获得并输出滤波图像,自适应递归滤波单元用于在接收到的噪声类型为最大幅度值小于等于预设幅度值的小幅度值高斯噪声时,对几何校准图像进行自适应递归滤波处理,以获得并输出滤波图像,边缘保持滤波单元用于在接收到的噪声类型为椒盐噪声或脉冲噪声时,对几何校准图像中每一个像素点作为待处理像素点进行如下处理:选择待处理像素点周围的M个附近像素点做均值计算以获得第一平均像素值,在M个附近像素点中,选择像素值距离平均像素值最近的N个附近像素点作为运算像素点,对N个运算像素点做均值计算以获得第二平均像素值,将第二平均像素值作为待处理像素点的处理后的像素值,M和N均为自然数且N小于M;边缘保持滤波单元基于所有待处理像素点的处理后的像素值组成并输出滤波图像;其中,在每一个高清摄像机中,图像减影设备与噪声滤除设备连接以获得时间上连续的各个滤波图像,对于每一个滤波图像,将其与前一帧滤波图像按照相同坐标位置对应的像素点灰度值做差,对各个对应的像素点灰度值做差所获得的差值取绝对值后组成并输出减影图像;阈值选择设备与图像减影设备连接,接收减影图像并计算减影图像的复杂度,基于复杂度选择二值化阈值;二值化处理设备分别与阈值选择设备和图像减影设备连接,用于基于二值化阈值对减影图像进行二值化处理以获得二值化图像;图像闭合设备与二值化处理设备连接,用于对二值化图像进行图像闭合处理,即对二值化图像先执行图像膨胀处理后执行图像腐蚀处理,以获得闭合图像;图像开启设备与图像闭合设备连接,用于对闭合图像进行图像开启处理,即对闭合图像先执行图像腐蚀处理后执行图像膨胀处理,以获得开启图像;目标识别设备与图像开启设备连接,用于基于预设基准斯诺克图案在开启图像中识别出斯诺克目标;目标坐标提取设备与目标识别设备连接,用于基于识别出的斯诺克目标在整个开启图像中的相对位置,确定斯诺克目标的平面坐标参数;其中,显示缓存与液晶显示器连接,显示驱动器分别与显示缓存和时间段设置设备连接,显示驱动器用于在接收到裁判员选择的回放时间段时,按照裁判员选择的回放时间段将先前从场景融合设备处接收到的融合图像帧推送到显示缓存内以便于液晶显示器持续回放;其中,预设座位编号图案的获得过程如下:对无观众状态下斯诺克场地的观众席进行预先拍摄以获得无观众图像,再对无观众图像中观众席上的每一个座位完成编号以获得预设座位编号图案;其中,显示驱动器还分别与闪光灯检测设备和闪光灯定位设备连接,用于在接收到闪光拍照信号时,将距离闪光动作最近的座位编号推送到显示缓存中以便于液晶显示器进行相应显示,还将禁止闪光灯拍照警示信息推送到显示缓存中以便于液晶显示器进行相应显示。
更具体地,在所述基于人脸识别的智能视频监控系统中:将多个高清摄像机均匀设置在斯诺克场地的不同位置。
更具体地,在所述基于人脸识别的智能视频监控系统中:将多个高清摄像机非均匀式地设置在斯诺克场地的不同位置。
更具体地,在所述基于人脸识别的智能视频监控系统中:畸变处理设备在确定高清图像的畸变类型为投影变换畸变时,启动参考点选择设备、畸变坐标映射设备和畸变灰度映射设备。
更具体地,在所述基于人脸识别的智能视频监控系统中:畸变处理设备在确定高清图像的畸变类型为扭曲畸变、径向失真畸变、仿射变换畸变或类仿射变换畸变时,关闭参考点选择设备、畸变坐标映射设备和畸变灰度映射设备。
采用本发明的基于人脸识别的智能视频监控系统,针对现有技术场地摄像回放系统精度低且功能不够完善的技术问题,通过集成各种高精度的图像预处理设备提高图像处理的性能,通过集成准确的回放启动控制设备,提高即时回放系统的自动化水准,还通过现场检测设备实现对观众席异常情况的判断和位置识别,从而全面提高场地摄像回放系统的各项性能。
可以理解的是,虽然本发明已以较佳实施例披露如上,然而上述实施例并非用以限定本发明。对于任何熟悉本领域的技术人员而言,在不脱离本发明技术方案范围情况下,都可利用上述揭示的技术内容对本发明技术方案做出许多可能的变动和修饰,或修改为等同变化的等效实施例。因此,凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰,均仍属于本发明技术方案保护的范围内。

Claims (3)

1.一种基于人脸识别的智能视频监控系统,其特征在于,所述系统包括多个高清摄像机,多个高清摄像机分别设置在斯诺克场地的不同位置,每一个高清摄像机包括摄像镜头、图像传感设备、畸变类型检测设备和畸变处理设备;
每一个高清摄像机还包括噪声检测设备和噪声滤除设备;
所述畸变类型检测设备和所述畸变处理设备连接,所述噪声检测设备和所述噪声滤除设备连接;
其特征在于,所述系统还包括:
鱼眼摄像头,用于对斯诺克场地的观众席进行全景拍摄以获得全景观众席图像;
闪光灯检测设备,与鱼眼摄像头连接,用于基于预设闪光灯亮度范围在全景观众席图像中检测是否存在闪光动作,如果存在闪光动作,则确定闪光动作在全景观众席图像中的相对位置,并发出存在闪光拍照信号;其中,预设闪光灯亮度范围由预设闪光灯上限亮度和预设闪光灯下限亮度组成;
闪光灯定位设备,与闪光灯检测设备连接,用于基于预设座位编号图案和闪光动作在全景观众席图像中的相对位置确定距离闪光动作最近的座位编号;
高清摄像机阵列,由多个高清摄像机组成,多个高清摄像机分别设置在斯诺克场地的不同位置,每一个高清摄像机包括摄像镜头、图像传感设备、畸变类型检测设备、畸变处理设备、参考点选择设备、畸变坐标映射设备、畸变灰度映射设备、噪声检测设备、噪声滤除设备、图像减影设备、阈值选择设备、二值化处理设备、图像闭合设备、图像开启设备、目标识别设备和目标坐标提取设备;
摄像机定标设备,与每一个高清摄像机连接,用于获取每一个高清摄像机的内参数和每一个高清摄像机的外参数,每一个高清摄像机的内参数包括高清摄像机的焦距、图像传感设备尺寸、摄像镜头失真度,每一个高清摄像机的外参数包括高清摄像机相对于斯诺克场地的相对位置以及高清摄像机的拍摄方向;
坐标映射设备,与摄像机定标设备连接,用于接收每一个高清摄像机的内参数和每一个高清摄像机的外参数,并基于每一个高清摄像机的内参数和每一个高清摄像机的外参数确定每一个高清摄像机的图像空间中像素点坐标与三维世界坐标之间的映射关系;
三维坐标拟合设备,用于分别与多个高清摄像机的目标坐标提取设备连接,用于接收多个平面坐标参数,还与摄像机定标设备连接,用于接收多个高清摄像机的图像空间中像素点坐标分别与三维世界坐标之间的映射关系,三维坐标拟合设备基于上述多个平面坐标参数以及上述多个高清摄像机对应的映射关系拟合出斯诺克目标在三维世界坐标系中的三维坐标并作为三维目标坐标输出;
环境重建设备,与每一个高清摄像机连接,用于分别接收来自多个高清摄像机的多个几何校准图像,并基于多个几何校准图像对斯诺克场地进行环境重建,以获得并输出斯诺克场地的虚拟场景;
场景融合设备,分别与环境重建设备和三维坐标拟合设备连接,用于基于三维目标坐标将斯诺克目标的运动位置融合到虚拟场景中以获得并输出融合图像帧;
现场回放设备,与场景融合设备连接以接收并回放融合图像帧,现场回放设备包括液晶显示器、显示驱动器和显示缓存;
挑战检测设备,位于现场回放设备的正下方,用于检测斯诺克场地上的运动员的姿态以确定运动员是否发出挑战动作,在确定运动员发出挑战动作时,输出启动挑战信号,在确定运动员未发出挑战动作时,输出未启动挑战信号;
手动操作设备,位于裁判员位置下方,与挑战检测设备连接,包括允许挑战按键和拒绝挑战按键,用于在接收启动挑战信号时,激活允许挑战按键和拒绝挑战按键,并在裁判员按压允许挑战按键时发出允许挑战信号,在裁判员按压拒绝挑战按键时发出拒绝挑战信号;手动操作设备还用于在接收到未启动挑战信号,禁用允许挑战按键和拒绝挑战按键;
时间段设置设备,包括触摸屏,位于裁判员位置下方,与手动操作设备连接,用于在接收到允许挑战信号时,为裁判员提供选择回放时间段的输入界面,并输出裁判员选择的回放时间段;时间段设置设备还用于在接收到拒绝挑战信号时,关闭为裁判员提供选择回放时间段的输入界面;
在每一个高清摄像机中,图像传感设备用于对斯诺克场地进行高清数据采集以输出高清图像;
畸变类型检测设备与图像传感设备连接,用于接收高清图像,确定高清图像的外形尺寸,基于高清图像的外形尺寸与基准参考图像的外形尺寸确定高清图像的畸变类型,畸变类型包括扭曲畸变、径向失真畸变、仿射变换畸变、类仿射变换畸变和投影变换畸变,基准参考图像为对高清摄像机负责区域进行预先高清数据采集所输出的无畸变的高清图像;
畸变处理设备与畸变类型检测设备连接,当接收到的畸变类型为扭曲畸变、径向失真畸变、仿射变换畸变或类仿射变换畸变时,基于不同的畸变类型对高清图像进行不同的预定几何变换处理,以输出几何校准图像;
参考点选择设备与畸变类型检测设备连接,用于在接收到的畸变类型为投影变换畸变时,选择斯诺克场地中的8个位置作为校准参考点,8个位置分别为斯诺克场地中比赛用桌上的8个基准点;其中,在每一个高清摄像机中,畸变坐标映射设备分别与参考点选择设备和畸变类型检测设备连接,用于确定高清图像中8个位置的坐标,确定基准参考图像中8个位置的坐标,基于高清图像中8个位置的坐标以及基准参考图像中8个位置的坐标确定几何坐标变换矩阵,并基于几何坐标变换矩阵对高清图像的所有像素点进行几何坐标变换以获得对应的多个新像素点,高清图像的所有像素点的水平坐标和垂直坐标都为整数,而新像素点的水平坐标或垂直坐标为整数或者非整数;
畸变灰度映射设备与畸变坐标映射设备连接,用于接收多个新像素点,当新像素点的水平坐标和垂直坐标都为整数时,新像素点的灰度值为高清图像中相同坐标位置的像素点的灰度值,当新像素点的水平坐标或垂直坐标为非整数时,基于高清图像中相同坐标位置周围的多个像素点的灰度值计算新像素点的灰度值,基于多个新像素点的灰度值输出几何校准图像;
噪声检测设备分别与畸变处理设备和畸变灰度映射设备连接,用于接收几何校准图像,并基于几何校准图像检测并输出几何校准图像中的噪声类型;
噪声滤除设备包括自适应递归滤波单元、维纳滤波单元和边缘保持滤波单元,维纳滤波单元用于在接收到的噪声类型为最大幅度值超过预设幅度值的大幅度值高斯噪声时,对几何校准图像进行维纳滤波处理,以获得并输出滤波图像,自适应递归滤波单元用于在接收到的噪声类型为最大幅度值小于等于预设幅度值的小幅度值高斯噪声时,对几何校准图像进行自适应递归滤波处理,以获得并输出滤波图像,边缘保持滤波单元用于在接收到的噪声类型为椒盐噪声或脉冲噪声时,对几何校准图像中每一个像素点作为待处理像素点进行如下处理:选择待处理像素点周围的M个附近像素点做均值计算以获得第一平均像素值,在M个附近像素点中,选择像素值距离平均像素值最近的N个附近像素点作为运算像素点,对N个运算像素点做均值计算以获得第二平均像素值,将第二平均像素值作为待处理像素点的处理后的像素值,M和N均为自然数且N小于M;边缘保持滤波单元基于所有待处理像素点的处理后的像素值组成并输出滤波图像;其中,在每一个高清摄像机中,图像减影设备与噪声滤除设备连接以获得时间上连续的各个滤波图像,对于每一个滤波图像,将其与前一帧滤波图像按照相同坐标位置对应的像素点灰度值做差,对各个对应的像素点灰度值做差所获得的差值取绝对值后组成并输出减影图像;阈值选择设备与图像减影设备连接,接收减影图像并计算减影图像的复杂度,基于复杂度选择二值化阈值;二值化处理设备分别与阈值选择设备和图像减影设备连接,用于基于二值化阈值对减影图像进行二值化处理以获得二值化图像;图像闭合设备与二值化处理设备连接,用于对二值化图像进行图像闭合处理,即对二值化图像先执行图像膨胀处理后执行图像腐蚀处理,以获得闭合图像;图像开启设备与图像闭合设备连接,用于对闭合图像进行图像开启处理,即对闭合图像先执行图像腐蚀处理后执行图像膨胀处理,以获得开启图像;目标识别设备与图像开启设备连接,用于基于预设基准斯诺克图案在开启图像中识别出斯诺克目标;目标坐标提取设备与目标识别设备连接,用于基于识别出的斯诺克目标在整个开启图像中的相对位置,确定斯诺克目标的平面坐标参数;其中,显示缓存与液晶显示器连接,显示驱动器分别与显示缓存和时间段设置设备连接,显示驱动器用于在接收到裁判员选择的回放时间段时,按照裁判员选择的回放时间段将先前从场景融合设备处接收到的融合图像帧推送到显示缓存内以便于液晶显示器持续回放;其中,预设座位编号图案的获得过程如下:对无观众状态下斯诺克场地的观众席进行预先拍摄以获得无观众图像,再对无观众图像中观众席上的每一个座位完成编号以获得预设座位编号图案;其中,显示驱动器还分别与闪光灯检测设备和闪光灯定位设备连接,用于在接收到闪光拍照信号时,将距离闪光动作最近的座位编号推送到显示缓存中以便于液晶显示器进行相应显示,还将禁止闪光灯拍照警示信息推送到显示缓存中以便于液晶显示器进行相应显示;
其中,所述畸变处理设备在确定高清图像的畸变类型为投影变换畸变时,启动参考点选择设备、畸变坐标映射设备和畸变灰度映射设备;以及所述畸变处理设备在确定高清图像的畸变类型为扭曲畸变、径向失真畸变、仿射变换畸变或类仿射变换畸变时,关闭参考点选择设备、畸变坐标映射设备和畸变灰度映射设备。
2.根据权利要求1所述的基于人脸识别的智能视频监控系统,其特征在于,将多个高清摄像机均匀设置在斯诺克场地的不同位置。
3.根据权利要求1所述的基于人脸识别的智能视频监控系统,其特征在于,将多个高清摄像机非均匀式地设置在斯诺克场地的不同位置。
CN201710098175.4A 2017-02-23 2017-02-23 一种基于人脸识别的智能视频监控系统 Active CN106713960B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710098175.4A CN106713960B (zh) 2017-02-23 2017-02-23 一种基于人脸识别的智能视频监控系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710098175.4A CN106713960B (zh) 2017-02-23 2017-02-23 一种基于人脸识别的智能视频监控系统

Publications (2)

Publication Number Publication Date
CN106713960A CN106713960A (zh) 2017-05-24
CN106713960B true CN106713960B (zh) 2018-05-01

Family

ID=58917165

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710098175.4A Active CN106713960B (zh) 2017-02-23 2017-02-23 一种基于人脸识别的智能视频监控系统

Country Status (1)

Country Link
CN (1) CN106713960B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109907462A (zh) * 2018-06-06 2019-06-21 周超强 恒温控制型电吹风
CN110309805A (zh) * 2019-07-08 2019-10-08 业成科技(成都)有限公司 脸部辨识装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5116398B2 (ja) * 2007-08-06 2013-01-09 京セラ株式会社 通信装置、無線通信装置および通信制御方法
CN201332439Y (zh) * 2008-12-05 2009-10-21 康佳集团股份有限公司 一种dvb-s卫星机顶盒
CN101458434B (zh) * 2009-01-08 2010-09-08 浙江大学 精确测量和预测乒乓球轨迹系统
CN103761514B (zh) * 2014-01-26 2017-08-29 公安部第三研究所 基于广角枪机和多球机实现人脸识别的系统及方法
CN105678251B (zh) * 2015-12-31 2019-10-01 Tcl海外电子(惠州)有限公司 人脸图像处理方法及装置
CN105868748A (zh) * 2016-06-27 2016-08-17 张华华 基于云处理的数据服务平台

Also Published As

Publication number Publication date
CN106713960A (zh) 2017-05-24

Similar Documents

Publication Publication Date Title
US11336819B2 (en) Methods and apparatus to capture photographs using mobile devices
CN105894499B (zh) 一种基于双目视觉的空间物体三维信息快速检测方法
WO2017092631A1 (zh) 鱼眼图像的畸变图像校正方法及鱼眼相机的标定方法
US20080314324A1 (en) Arrangement and Method for Determining Positions of the Teats of a Milking Animal
CN107869954B (zh) 一种双目视觉体积重量测量系统及其实现方法
CN108830906B (zh) 一种基于虚拟双目视觉原理的摄像机参数自动标定方法
CN107392157B (zh) 一种基于机器视觉的中国象棋比赛智能虚拟直播方法
CN110087049A (zh) 自动调焦系统、方法以及投影仪
CN106875341B (zh) 畸变图像校正方法及其定位方法
CN109741404B (zh) 一种基于移动设备的光场采集方法
CN109886995B (zh) 一种复杂环境下多目标跟踪方法
CN106713960B (zh) 一种基于人脸识别的智能视频监控系统
CN106524995B (zh) 基于可见光图像实时检测目标物体空间距离的定位方法
CN110210292A (zh) 一种基于深度学习的目标识别方法
JP3631266B2 (ja) 移動物体の計測装置
CN107734223B (zh) 基于图像识别的定位装置
CN107743257B (zh) 人体姿势识别装置
CN106530226A (zh) 获取高分辨率高清晰工业图像的实现方法
CN106686425B (zh) 一种基于图像识别的智能机器人
CN107680619A (zh) 基于指纹识别和动作识别的支付装置
JP2020194454A (ja) 画像処理装置および画像処理方法、プログラム、並びに記憶媒体
CN108419104A (zh) 云计算机装置
Tehrani et al. A practical method for fully automatic intrinsic camera calibration using directionally encoded light
CN115239811A (zh) 一种基于双目视觉检测的定位方法、系统、计算机及存储介质
CN106530774A (zh) Led信号灯

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Lv Yangbo

Inventor after: Chen Zhiping

Inventor after: Hu Rui

Inventor before: Hao Jian

Inventor before: Wei Kun

Inventor before: Wang Hui

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20180327

Address after: Hangzhou City, Zhejiang province 310030 Wensan Road No. 630, room 218

Applicant after: Zhejiang 1one. Cn Technology Corp.

Applicant after: Lv Yangbo

Address before: 510663 Guangdong province Guangzhou high tech Industrial Development Zone scientific city scientific city research Road No. 9 A6, room 8, room 801

Applicant before: Hao Jian

GR01 Patent grant
GR01 Patent grant