CN111200781B - 基于计算机视觉及无线电测向定位的防拍照方法及系统 - Google Patents

基于计算机视觉及无线电测向定位的防拍照方法及系统 Download PDF

Info

Publication number
CN111200781B
CN111200781B CN201811375684.8A CN201811375684A CN111200781B CN 111200781 B CN111200781 B CN 111200781B CN 201811375684 A CN201811375684 A CN 201811375684A CN 111200781 B CN111200781 B CN 111200781B
Authority
CN
China
Prior art keywords
face
positioning
suspicious
eye
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811375684.8A
Other languages
English (en)
Other versions
CN111200781A (zh
Inventor
林桦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yulinian Electronics Nantong Co ltd
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201811375684.8A priority Critical patent/CN111200781B/zh
Publication of CN111200781A publication Critical patent/CN111200781A/zh
Application granted granted Critical
Publication of CN111200781B publication Critical patent/CN111200781B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W64/00—Locating users or terminals or network equipment for network management purposes, e.g. mobility management
    • H04W64/006—Locating users or terminals or network equipment for network management purposes, e.g. mobility management with additional information processing, e.g. for direction or speed determination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及防偷拍设备及方法技术领域，具体来说是一种基于计算机视觉及无线电测向定位的防拍照方法及系统，获取图像信息，识别图像信息中是否存在可疑物体并对可疑物体的位置进行定位；进行人脸的活体检测并计算人眼视线的落点位置，若未检测到活体人脸或计算得到的人眼视线落点不在显示器范围内，则关闭显示器；通过无线电测向定位方法检测是否存在可疑信号并对可疑信号进行定位。本发明同现有技术相比，其优点在于：通过对可疑拍摄设备及其信号的识别，有效实现了防偷拍的技术效果，将本发明应用到生产中能够有效保护信息的安全，同时结合防拍照方法能够监测到非法的拍摄行为，对非法拍照的行为能够进行追溯，从而能够提高信息安全的防控能力。

Description

基于计算机视觉及无线电测向定位的防拍照方法及系统
技术领域
本发明涉及防偷拍设备及方法技术领域，具体来说是一种基于计算机视觉及无线电测向定位的防拍照方法及系统。
背景技术
摄像头已经广泛应用于手机，平板电脑，数字相机，安防摄像头等产品，拍照变得非常方便，但在有些场合这给信息的保密带来一定的困扰。
目前很多单位为了保护商业秘密常用的做法有以下：
1：在一定范围内采用无摄像头的手机，对讲机等来做工作联络。
2：基于人眼的视觉暂留特点，将显示屏幕分块刷新，或是背光强度不断变化，去达到人眼观看效果影响不大，却能干扰拍照设备成像的效果，使得所拍摄的图片明暗交错不清晰从而实现一定的保密效果。
如我国专利公开号CN106407827A公开了一种基于频率差的屏幕防偷拍设备，我国专利公开号CN107644623A公开了一种背光模组，显示装置及防偷拍系统
3：检测拍摄器材的发射出的无线电信号去控制和报警。如专利：CN102663307A设置有防偷拍，防窃听者装置的电脑及办公设备。
以上措施能对文件保密和非法拍摄起到一定的防范作用，但在实际应用中都存在很大的局限性，都不能对偷拍的现场场景进行记录取证。
本发明提出了采用计算机视觉和无线电测向定位技术相结合的防拍照方法和具体的产品应用。
发明内容
本发明的目的在于解决现有技术的不足，提供一种基于计算机视觉及无线电测向定位的防拍照方法及系统，对可疑拍摄设备及其信号进行识别，以对非法拍照的行为进行追溯，并提高信息安全的防控能力。
为了实现上述目的，设计一种基于计算机视觉及无线电测向定位的防拍照方法，用于防止对显示器的偷拍，所述的防拍照方法包括如下步骤：
步骤a.通过图像采集器获取图像信息，通过处理器识别图像信息中是否存在可疑物体并对可疑物体的位置进行定位。
步骤b.通过图像采集器和处理器进行人脸的活体检测并计算人眼视线的落点位置，若未检测到活体人脸或计算得到的人眼视线落点不在显示器范围内，则关闭显示器。
步骤c.通过无线电测向定位方法检测是否存在可疑信号并对可疑信号进行定位。
本发明还具有如下优选的技术方案：
若通过步骤a定位得到的可疑物体的位置及通过步骤c定位得到的可疑信号的位置重叠，则关闭显示器，并对重叠位置的图像信息及时间信息进行记录。
通过两个图像采集器与被测物体在空间形成三角关系，利用被测物体在两图像采集器所构成的平面上的成像点坐标计算被测物体的三维坐标。
所述的计算人眼视线的落点位置的方法具体如下：通过两个图像采集器采集人脸图像，并通过人脸中眼角和嘴角的坐标建立人脸平面坐标系，人脸的朝向即为与人脸平面坐标系相垂直的方向，视线方向即为眼球中心与人脸中心的连接方向，由第一图像采集器采集的图像中人脸特征点坐标包括左眼的内眼角A1LL、右眼的内眼角B1RR、左眼瞳孔C1L、右眼瞳孔C1R、左嘴角D1L、右嘴角D1R，由第二图像采集器采集的图像中人脸特征点坐标包括左眼的内眼角A2LL、右眼的内眼角B2RR、左眼瞳孔C2L、右眼瞳孔C2R、左嘴角D2L、右嘴角D2R，根据双目摄像机模型神经网络，得到世界坐标系下各个特征点的世界坐标包括左眼的内眼角ALL、右眼的内眼角BRR、左眼瞳孔CL、右眼瞳孔CR、左嘴角DL、右嘴角DR，以经过点左眼的内眼角ALL、右眼的内眼角BRR的直线为横坐标轴XF，经过左嘴角DL和右嘴角DR的中心点OD且与直线ALLBRR垂直相交的直线OFOD为纵坐标轴YF，直线ALLBRR与直线OFOD的相交点为原点OF，经过点OF且垂直XFOFYF坐标平面的直线LF为竖坐标轴ZF，进而建立人脸平面坐标系OFXFYFZF，ZF轴方向即人脸朝向的方向；
设左眼的内眼角ALL的世界坐标为(XALL，YALL，ZALL)，右眼的内眼角BRR的世界坐标为(XARR，YARR，ZARR)，嘴角中心点OD的世界坐标为(XOD，YOD，ZOD)，则平面ALLODBRR的方程为：
Figure GDA0003107213480000031
其法向方向即为人脸朝向的方向；
设点OEF为眼球中心OEO在人脸平面坐标系OFXFYFZF的投影，设人眼的中心部位是PE，人眼的中心PE在人脸平面坐标系OFXFYFZF的平面映射是PEF，那么射线OEOPE即为视线的朝向，设眼球中心OEO、人眼的中心PE在人脸平面坐标系OFXFYFZF的投影点分别为OEF(XO，YO，O)、PEF(XF，YF，O)，眼球的半径为R，则眼球中心的坐标为(XO，YO，-R)，人眼中心PE的坐标为
Figure GDA0003107213480000041
则视线方程为：
Figure GDA0003107213480000042
用两已知视线点在人脸平面坐标系下的投影点坐标代进公式2-1就能够求得视线方程，而后需要将它变换成世界坐标系下的视线公式，世界坐标系和人脸平面坐标系的变换关系可用如下公式表示：
Figure GDA0003107213480000043
其中A为3×3的旋转矩阵，T为3×1的平移矩阵；
那么，人脸平面坐标系下的眼球中心OEO和当前人眼的中心PE就可以由式2-2转换为世界坐标系下的坐标，设其分别为OEOW(XOW，YOW，ZOW)、PEW(XPW，YPW，ZPW)，则在世界坐标系下的视线方程为：
Figure GDA0003107213480000044
所述的步骤c包括通过三站交会定位实现对可疑信号的定位：设三个无线电测向站DF1、DF2、DF3的坐标分别为(x1，y1)、(x2，y2)、(x3，y3)，三者对目标辐射源实施测向后得到的示向度值分别为(φ1，φ2，φ3)，则三条示向度线能交会出三个交会点(x12，y12)、(x23，y23)、(x13，y13)，由这三个交会点能通过下式计算目标辐射源所处的地理位置(xT，yT)：
Figure GDA0003107213480000051
解方程组即可得:
Figure GDA0003107213480000052
Figure GDA0003107213480000053
Figure GDA0003107213480000054
Figure GDA0003107213480000055
Figure GDA0003107213480000056
三个交点形成一个三角形，以三角形的重心作为目标辐射源坐标位置的估计值，由此得到目标辐射源坐标位置的计算公式：
Figure GDA0003107213480000057
Figure GDA0003107213480000058
这样就可以得到信号源的空间的位置。
设置带有可旋转的天线的无线电信号检测装置以对可疑信号进行扫描，天线方向越接近可疑信号区域则信号越强，越远离可疑信号区域则信号越弱。
所述的可疑物体的位置进行定位的方法具体包括：摄像机标定；对原始点做去畸变处理；计算每一点对应的极线；立体校正；初始化块状匹配状态；计算视差图；计算视觉深度。
本发明还设计一种用于所述的基于计算机视觉及无线电测向定位的防拍照方法的防拍照系统，所述的系统包括显示器、用于获取图像信息的图像采集器、用于检测是否存在可疑信号并对可疑信号进行定位的无线电测向定位设备、用于识别图像信息中是否存在可疑物体并对可疑物体的位置进行定位、进行人脸的活体检测并计算人眼视线的落点位置并向显示器发出关闭的信号的处理器、用于对重叠区域的图像信息及时间信息进行记录的存储器。
优选地，所述的系统还包括红外光源。
本发明同现有技术相比，其优点在于：设计了一种实现防拍照的全新方法及防拍照系统，通过对可疑拍摄设备及其信号的识别，有效实现了防偷拍的技术效果，将本发明的防拍照显示系统应用到生产中能够有效保护信息的安全，同时结合防拍照方法能够监测到非法的拍摄行为，对非法拍照的行为能够进行追溯，从而能够提高信息安全的防控能力。
附图说明
图1是一实施方式中本发明防拍照系统的结构示意图。
图2是一实施方式中本发明中双目立体视觉测量的示意图。
图3是一实施方式中本发明中视线方向计算的示意图。
图4是一实施方式中本发明三站交会定位示意图。
图5是一实施方式中本发明基于计算机视觉的空间物体定位方法的流程示意图。
图6是一实施方式中本发明人眼视线检测的流程示意图。
图7是一实施方式中本发明无线电信号检测装置的电原理图。
图8是一实施方式中本发明三站交会定位装置的电原理图。
图中：1.显示屏 2.摄像头 3.红外光源 4.无线电信号接收器 5.计算机硬件软件系统 6.旋转天线。
具体实施方式
下面结合附图对本发明作进一步说明，这种装置的结构和原理对本专业的人来说是非常清楚的。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参见图1，在本实施方式中，所述的基于计算机视觉及无线电测向定位的防拍照系统的构成如下，包括显示屏、作为图像采集器的摄像头、必要时用来补充自然光线不足的红外光源、无线电信号接收器、计算机硬件软件系统及旋转天线。计算机硬件软件系统包括处理器和存储器，能通过预先编写的程序根据本发明方法进行相关的图像识别及逻辑判断，并进行现场场景的记录。本实施方式在显示器正面的下侧边缘、左侧边缘和右侧边缘分别设置有无线电信号接收器，在显示器正面的上侧边缘中部设置有摄像头，并在摄像头左右对称设有红外光源，在显示器的顶部设置有旋转天线。当然，在其他实施方式中，各部件也可以按其他的布置位置进行布置。
通过本系统搭载的摄像头获取前景图像信息，并通过计算机硬件软件系统记录场景，主要包括如下步骤：
步骤a.通过图像采集器获取图像信息，如发现此场景中有疑是拍摄器材，则通过计算机视觉原理测量得出该可疑物体在空间的位置。
步骤b.通过计算机视觉原理进行人脸的生物检测并计算人眼视线的落点位置，如检测不到活体人脸，或检测得到的视线落点不在屏幕的区域则表示没有人眼观看显示屏幕，则可直接关闭屏幕显示以保护信息安全。
步骤c.通过几处无线电接收器检测该可疑物体发出的无线电信号并通过计算出无线电信号源所处的空间位置，或是通过天线扫描信号幅度最大的空间区域。
若通过步骤a定位得到的可疑物体的位置及通过步骤c定位得到的可疑信号的位置重叠，则表明该可疑物体就是摄像器材从而关闭显示屏幕，并通过计算机硬件软件系统记录该事件。
值得注意的是，上述的步骤a-c并没有先后顺序的限制，以下实施方式以如下顺序为例进行说明，即首先按步骤a进行拍摄器材的检测，若发现可疑物体，则由处理器按步骤b进行人脸和视线落点的检测，如果没有人脸或视线落点不在显示器，则关闭屏幕；若存在人脸且视线落点处于显示器范围内，则再按步骤c进行可疑信号位置的检测，若通过步骤a定位得到的可疑物体的位置及通过步骤c定位得到的可疑信号的位置重叠，则关闭显示屏幕，并进行记录。
步骤a中，对可疑物体的识别方法属于现有的技术，只需实现输入相关识别特征即可，本发明不多做赘述，而基于计算机视觉对可疑物体在空间的位置的定位可以采用1个摄像头，2个摄像头或多个摄像头来实现，下面以2个摄像头的双目立体视觉来举例说明。
参见图2，双目立体视觉模仿人类双眼获取三维信息，由两个摄像机组成。两个摄像机与被测物体在空间形成三角关系，利用空间点在两摄像机像平面上成像点坐标求取空间点的三维坐标。设Oc1Xc1Yc1Zc1为摄像机1坐标，有效焦距为c1,像平面坐标系为O1x1y1；Oc2Xc2Yc2Zc2为摄像机2坐标，有效焦距为c2，像平面坐标系为O2x2y2,将摄像机1坐标系作为双目视觉传感器坐标系OSXSYSZS。
两摄像机之间的空间位置关系为
Figure GDA0003107213480000091
式中，
Figure GDA0003107213480000092
表示摄像机坐标系2到摄像机坐标系1的旋转矩阵；T＝(t1 t2 t3)T,表示摄像机坐标系2到摄像机坐标系1的平移矩阵。
根据摄像机透视变换模型，在传感器坐标系下表示的空间被测点与两摄像机像面点之间的对应变换关系是：
Figure GDA0003107213480000093
Figure GDA0003107213480000094
式中，c1代表摄像机1的有效焦距，c2代表摄像机2的有效焦距，ρ1代表摄像机1的图像坐标系和世界坐标系之间的关系，ρ2代表摄像机2的图像坐标系和世界坐标系之间的关系。则空间被测点的三维坐标为：
Figure GDA0003107213480000095
该式便是双目立体视觉模型的数学描述，通过两摄像机相面点坐标(x1,y1)和(x2,y2)即可求解空间点的三维坐标(XS,YS,ZS)，这样便可以通过计算机视觉得到图像在空间的坐标。
步骤b中人脸的活体检测属于现有技术，本实施方式不多做赘述。本实施方式中所述的视线追踪就是检测视线是否落在显示屏的区域以内，如果不在该范围内则可以关闭显示屏的显示。以下就基于计算机视觉的人眼视线追踪方法进行说明。
人眼的注意点主要是由头的方位和眼睛的视线来决定。头的位置决定了人眼可能注视的范围，眼睛的视线决定了注意点的精确位置。本发明的基本思想是利用计算机视觉得到眼角和嘴角的坐标建立人脸平面坐标系，人脸的朝向(即人脸的方向)就是与人脸平面垂直的方向。当眼睛转动时，眼球中心相对于这个人脸坐标系是不变的，即只要眼角嘴角确定，人脸坐标系就是确定的，那么眼球中心在人脸坐标系下的坐标就是已知的。视线方向就是眼球中心与人脸中心的连接方向。
根据以上的人脸特征点检算法，假设从摄像机1采集的图像中找到的人脸特征点分别为左眼的内眼角A1LL、右眼的内眼角B1RR、左眼瞳孔C1L、右眼瞳孔C1R、左嘴角D1L、右嘴角D1R，摄像机2采集的图像中找到了对应的特征点A2LL、B2RR、C2L、C2R、D2L、D2R，根据训练好的双目摄像机模型神经网络，可以得到世界坐标系下各个特征点的世界坐标ALL、BRR、CL、CR、DL、DR。特征点可以近似看成在同一个平面上，因此以经过点ALL、BRR的直线为XF坐标，经过左右嘴角的中心点OD且与直线ALLBRR垂直相交(相交点为OF)的直线OFOD为YF坐标，经过点OF且垂直XFOFYF坐标平面的直线LF为ZF坐标轴，建立人脸平面坐标系OFXFYFZF。ZF轴方向即人脸朝向的方向。
设左眼角ALL的世界坐标为(XALL，YALL，ZALL)，右眼角BRR的世界坐标为(XARR，YARR，ZARR)，嘴角中心点OD世界坐标为(XOD，YOD，ZOD)，则平面ALLODBRR的方程：
Figure GDA0003107213480000111
其法向方向即为人脸朝向的方向。
人的眼球能够大致看作是圆，但是视线是把眼球的中心部位作为开始的点，历经瞳孔的中心部位的射线。当位于眼球外表的瞳孔活动的时候，视线的朝向也就随着改变。参见图3,，平面ABCD是人脸位置系XFOFYF平面，图中的点OEF即为眼球中心OEO在平面ABCD上的投影。直线OEOOEF一直是和ZF轴相平行的(点OEO是眼球位置的中心)。设想某时人眼的中心部位是PE，在XFOFYF的平面映射是PEF，那么射线OEOPE也就是这时的视线朝向。
从上面的分析可以知道，要计算视线方向，眼球中心在人脸坐标系中的坐标必须要先求出来。前面已经建立了人脸平面坐标系OFXFYFZF，假设OEO、PE在人脸平面坐标系下的投影点坐标为OEF(XO，YO，O)、PEF(XF，YF，O)，眼球的半径为R，则眼球中心的坐标为(XO，YO，-R)，人眼中心PE的坐标为：
Figure GDA0003107213480000112
则视线方程为：
Figure GDA0003107213480000113
由于XO，YO，R的值是固定的，用两已知视线点在人脸平面坐标系下的投影点坐标，把它代进公式2-1就能够求得视线方程。
Figure GDA0003107213480000121
其中A为3×3的旋转矩阵，T为3×1的平移矩阵。
那么，人脸平面坐标系下的眼球中心OEO和当前人眼中心PE就可以由式2-2转换为世界坐标系下的坐标，设分别为OEOW(XOW，YOW，ZOW)、PEW(XPW，YPW，ZPW),则在世界坐标系下的视线方程为：
Figure GDA0003107213480000122
对于步骤c中通过无线电接收器检测该可疑物体发出的无线电信号并通过计算出无线电信号源所处的空间位置的原理及方法说明如下：
所有的CCD或CMOS图像传感器内部都要有处理器，都需要时钟信号控制逐像素(场时钟)逐行(行时钟)扫描产生图像。行和场的时钟一般都是固定的，行的时钟一般为12M到30M,场的时钟一般为15K-16K。所以这些时钟信号会有固定频率的电磁波辐射出来，无线电信号检测装置就可以检测到这些频段的信号，为了便于计算出无线电信号源所处的空间位置，本实施方式首先采用所处区域的信号发射强度最强的基站诱导拍摄器材发出电磁波辐射，以下以手机作为拍摄器材，进行举例说明，对于其他拍摄器材而言，其原理和方法是同样的。
手机作为拍摄器材的一种，其摄像头的图像传感器同样具备上述特性。同时手机是一种移动通讯终端，它能够和通讯基站进行无线电通信，所以手机内部有无线电发射装置，且其发射的信号要比手机摄像头辐射的信号强很多。
在拍摄器材发出电磁波辐射之后，再进行其信号的定位。根据不同信号接收站点接收信号的交会来测定信号源的位置可以采用单站，2站，3站，以及多站等方法，本实施方式采用3站交会的定位来说明其工作的原理如下：
由不同位置的三个测向站对同一目标辐射源进行测向定位，如果不存在测向误差，则三条示向度线将交会于一点，这就是真实目标辐射源所处的位置，实际测向中误差总是不可避免地存在，所以三条示向度线一般不会交于一点，而是分别两两相交，有三个交会点，由这三个交会点来估计目标辐射源的位置，比双站交会定位的精度会有显著的提高。如图4所示，设三个测向站DF1、DF2、DF3。的地理位置分别为(x1，y1)、(x2，y2)、(x3，y3)，三者对目标辐射源实施测向后得到的示向度值分别为(φ1，φ2，φ3)，则三条示向度线通常可以交会出三个交会点。设三个交会点分别为(x12，y12)、(x23，y23)、(x13，y13)，由这三个交会点可以估计目标辐射源所处的地理位置(xT，yT)。对(xT，yT)的确定，既可以采用三角学的方法计算出来。根据图4，有关系式：
Figure GDA0003107213480000131
解上面的方程组即可得：
Figure GDA0003107213480000132
Figure GDA0003107213480000133
Figure GDA0003107213480000134
Figure GDA0003107213480000135
Figure GDA0003107213480000136
Figure GDA0003107213480000141
三个交点形成一个三角形，通常以三角形的重心作为目标辐射源坐标位置的估计值。求三角形重心可以采用几何作图法，也可以采用数学上的积分求解法，但为了计算上的简便，通常以三角形三条边的质量重心来近似作为三角形的重心，由此得到目标辐射源坐标位置的近似计算公式：
Figure GDA0003107213480000142
Figure GDA0003107213480000143
这样就可以得到信号源的空间的位置。
或者，也可以采用天线旋转扫描寻找信号幅度最强的点，控制系统可以通过控制一个可以旋转的天线向可疑物体的区域扫描，天线方向越接近该区域则信号越强，越远离该区域则信号越弱，符合以上规律则可确定上述区域为信号源区域。则可以对信号源进行确认。若可疑物体区域存在发射信号，则关闭显示器并记录场景。
实施例1
以下为本发明的一个具体的实施例，共有以下三部分内容。
第一部分：通过计算机视觉发现可疑物体，并对物体空间位置定位，并记录场景。
第二部分：通过计算机视觉检测活体人脸和人眼视线落点方向，如检测不到人脸人眼或人眼视线落点不在屏幕区域则关闭显示。
第三部分：通过三站定位或天线扫描可疑物体空间的电讯号特征是否符合手机或其它拍摄器材，判断是否为偷拍器材，并记录场景。
本实施例中采用了OpenCV的相关函数或程序，OpenCV是一个开源的计算机视觉库，覆盖了计算机视觉的许多应用邻域，本发明有关计算机视觉的内容均可以调用OpenCV的相关函数或程序来实现。
参见图5，第一部分基于计算机视觉的空间物体定位包括如下步骤：
第一步：摄像机标定
调用函数：cvStereoCalibrate()来标定图像，得到摄像机矩阵_M,两台摄像机的畸变向量_D,平移向量_T,本征矩阵_E,和基础矩阵_F。
第二步：对原始点做去畸变处理
调用函数：cvUndistortPoints()。
第三步：计算每一点对应的极线
调用函数：cvComputeCorrespondEpilines()。然后计算这些点和线的点积。理想情况下，这些点积都为0。累计的绝对距离形成了误差。
第四步：立体校正
选择Hartley方法，调用函数：cvStereoRectifyUncalibrated()计算校正映射得到基础矩阵，然后调用函数：cvRemap()来计算校正图像。
第五步：初始化块状匹配状态
调用函数：cvCreateBMState()进行内部分配。
第六步：计算视差图
调用函数：cvFindStereoCorrespondenceBM()可以得到视差图。
第七步：计算视觉深度
调用函数：cvPerspectiveTransform()得到一系列点深度信息。
或者调用函数：cvReprojectImageTo3D(),运算整幅图像的深度信息。
至此，就得到了物体在空间的坐标信息。
参见图6，第二部分人眼视线检测的流程如下：
在OpenCV中带有各种训练好的人脸检测器，眼部检测器，嘴部检测器，这些程序以XML格式保存，本实施例直接调用这些程序。其实现过程如下：
第一步：调用快速的LBP人脸检测器程序：lbpcascade_frontalface.xml。
第二步：读取摄像机图像文件并作以下处理：
2.1.图像转换，将RGB彩色图像转换成灰度图像，调用cvtColor()函数。
2.2.将图像按照一定的缩放因子进行缩放，调用resize()函数。
2.3.提升图像的亮度与对比度以利于人脸的检测，调用函数equalizeHist()。
第三步：进行人脸检测
调用函数：detectMultiScale()检测人脸，并通过object.size()判断人脸是否被检测到。
第四步：眼部检测
同样调用OpenCV里面训练好的眼部检测器(分为左眼检测器和右眼检测器)：haarcascad_mcs_lefteye.xml和haarcascad_mcs_righteye.xml得到眼部图像特征。且能根据睁眼和闭眼的状态变化能检测眨眼动作从而证明是活体人脸检测。
第五步：嘴部检测
同样调用OpenCV里面训练好的嘴部检测器：haarcascad_mcs_mouth.xml得到嘴部的图像特征。
第六步：求取眼角，眼球中点，以及嘴角的特征点位置。
通过计算机图形学里的Canny图像轮廓检测得到瞳孔的四周，通过霍夫变换得到眼球的圆心，通过角点的检测得到内眼角位置和左右嘴角。以上这些算法可以方便的调用OpenCV里的函数：cv：：Canny；cv::HoughLines；cv::cornerHarris基本函数实现。
第七步：基于计算机视觉的计算脸部各个特征点的空间位置计算
这一步的方法等同于第一部分的物体空间位置的计算。
第八步：得到这些关键点的坐标后，根据以上原理就可以得到视线的方向。
第三部分的无线电信号的监测定位方法如下：
参见图7，该部分采用可以旋转扫描的天线部分加上无线信号采集通道，以及所处区域的信号发射强度最强的基站信号发生器三部分构成。
其工作原理如下：天线在电机驱动下可以向着计算机视觉定位的物体的空间区域旋转扫描，通过无线电信号采集通道采集的信号输入到计算机软硬件系统计算信号的强度，如果越接近物体信号越强，越远离物体信号越弱则可以判断该物体可能是摄像器材。
一种信号定位方法是采用三站交会定位，确认无线电信号源方位。其电路实现如图8所示。
该具体实现可以用在电脑、平板、电子书、以及液晶电视显示屏，以及投影显示屏，但不限于以上具体应用。
以上实施案例仅用来说明本发明的技术方案而非对其进行限制，在不背离本发明的精神及实质的情况下，熟悉本专业的技术人员可根据本发明做相应的改变和变形，但这些相应的改变和变形都应该属于本发明所附权利要求的保护范围。

Claims (8)

1.一种基于计算机视觉及无线电测向定位的防拍照方法，用于防止对显示器的偷拍，其特征在于所述的防拍照方法包括如下步骤：
步骤a.通过图像采集器获取图像信息，通过处理器识别图像信息中是否存在可疑物体并对可疑物体的位置进行定位；
步骤b.通过图像采集器和处理器进行人脸的活体检测并计算人眼视线的落点位置，若未检测到活体人脸或计算得到的人眼视线落点不在显示器范围内，则关闭显示器；
步骤c.通过无线电测向定位方法检测是否存在可疑信号并对可疑信号进行定位；
若通过步骤a定位得到的可疑物体的位置及通过步骤c定位得到的可疑信号的位置重叠，则关闭显示器，并对重叠位置的图像信息及时间信息进行记录。
2.如权利要求1所述的基于计算机视觉及无线电测向定位的防拍照方法，其特征在于通过两个图像采集器与被测物体在空间形成三角关系，利用被测物体在两图像采集器所构成的平面上的成像点坐标计算被测物体的三维坐标。
3.如权利要求1所述的基于计算机视觉及无线电测向定位的防拍照方法，其特征在于所述的计算人眼视线的落点位置的方法具体如下：通过两个图像采集器采集人脸图像，并通过人脸中眼角和嘴角的坐标建立人脸平面坐标系，人脸的朝向即为与人脸平面坐标系相垂直的方向，视线方向即为眼球中心与人脸中心的连接方向，由第一图像采集器采集的图像中人脸特征点坐标包括左眼的内眼角A1LL、右眼的内眼角B1RR、左眼瞳孔C1L、右眼瞳孔C1R、左嘴角D1L、右嘴角D1R，由第二图像采集器采集的图像中人脸特征点坐标包括左眼的内眼角A2LL、右眼的内眼角B2RR、左眼瞳孔C2L、右眼瞳孔C2R、左嘴角D2L、右嘴角D2R，根据双目摄像机模型神经网络，得到世界坐标系下各个特征点的世界坐标包括左眼的内眼角ALL、右眼的内眼角BRR、左眼瞳孔CL、右眼瞳孔CR、左嘴角DL、右嘴角DR，以经过点左眼的内眼角ALL、右眼的内眼角BRR的直线为横坐标轴XF，经过左嘴角DL和右嘴角DR的中心点OD且与直线ALLBRR垂直相交的直线OFOD为纵坐标轴YF，直线ALLBRR与直线OFOD的相交点为原点OF，经过点OF且垂直XFOFYF坐标平面的直线LF为竖坐标轴ZF，进而建立人脸平面坐标系OFXFYFZF，ZF轴方向即人脸朝向的方向；
设左眼的内眼角ALL的世界坐标为(XALL，YALL，ZALL)，右眼的内眼角BRR的世界坐标为(XARR，YARR，ZARR)，嘴角中心点OD的世界坐标为(XOD，YOD，ZOD)，则平面ALLODBRR的方程为：
Figure 7733DEST_PATH_IMAGE001
其法向方向即为人脸朝向的方向；
设点OEF为眼球中心OEO在人脸平面坐标系OFXFYFZF的投影，设人眼的中心部位是PE，人眼的中心PE在人脸平面坐标系OFXFYFZF的平面映射是PEF，那么射线OEOPE即为视线的朝向，设眼球中心OEO、人眼的中心PE在人脸平面坐标系OFXFYFZF的投影点分别为OEF（XO，YO，O）、PEF（XF，YF，O），眼球的半径为R，则眼球中心的坐标为（XO，YO，-R），人眼中心PE的坐标为
Figure DEST_PATH_IMAGE002
；
则视线方程为：
Figure 908561DEST_PATH_IMAGE003
（式2-1）
用两已知视线点在人脸平面坐标系下的投影点坐标代进公式2-1就能够求得视线方程，而后需要将它变换成世界坐标系下的视线公式，世界坐标系和人脸平面坐标系的变换关系可用如下公式表示：
Figure 278844DEST_PATH_IMAGE004
（式2-2）
其中A为3×3的旋转矩阵，T为3×1的平移矩阵；
那么，人脸平面坐标系下的眼球中心OEO和当前人眼的中心PE就可以由式2-2转换为世界坐标系下的坐标，设其分别为OEOW（XOW，YOW，ZOW）、PEW（XPW，YPW，ZPW），则在世界坐标系下的视线方程为：
Figure 267529DEST_PATH_IMAGE005
（式2-3）。
4.如权利要求1所述的基于计算机视觉及无线电测向定位的防拍照方法，其特征在于所述的步骤c包括通过三站交会定位实现对可疑信号的定位：设三个无线电测向站
Figure 940956DEST_PATH_IMAGE007
、
Figure 91314DEST_PATH_IMAGE009
、
Figure 951823DEST_PATH_IMAGE011
的坐标分别为（
Figure 478619DEST_PATH_IMAGE013
，
Figure 743903DEST_PATH_IMAGE015
）、（
Figure 65163DEST_PATH_IMAGE017
，
Figure 678547DEST_PATH_IMAGE019
）、（
Figure 274613DEST_PATH_IMAGE021
，
Figure 286798DEST_PATH_IMAGE023
），三者对目标辐射源实施测向后得到的示向度值分别为（
Figure 310118DEST_PATH_IMAGE025
，
Figure 145219DEST_PATH_IMAGE027
，
Figure 13818DEST_PATH_IMAGE029
），则三条示向度线能交会出三个交会点（
Figure 985185DEST_PATH_IMAGE031
，
Figure 913827DEST_PATH_IMAGE033
）、（
Figure 239153DEST_PATH_IMAGE035
，
Figure 442601DEST_PATH_IMAGE037
）、（
Figure 268475DEST_PATH_IMAGE039
，
Figure 368018DEST_PATH_IMAGE041
），由这三个交会点能通过下式计算目标辐射源所处的地理位置（
Figure 912132DEST_PATH_IMAGE043
，
Figure 650762DEST_PATH_IMAGE045
）：
Figure DEST_PATH_IMAGE046
解方程组即可得 :
Figure 986934DEST_PATH_IMAGE047
三个交点形成一个三角形，以三角形的重心作为目标辐射源坐标位置的估计值，由此得到目标辐射源坐标位置的计算公式 ：
Figure 522958DEST_PATH_IMAGE048
这样就可以得到信号源的空间的位置。
5.如权利要求1所述的基于计算机视觉及无线电测向定位的防拍照方法，其特征在于设置带有可旋转的天线的无线电信号检测装置以对可疑信号进行扫描，天线方向越接近可疑信号区域则信号越强，越远离可疑信号区域则信号越弱。
6.如权利要求1所述的基于计算机视觉及无线电测向定位的防拍照方法，其特征在于所述的可疑物体的位置进行定位的方法具体包括：
a1.摄像机标定；
a2.对原始点做去畸变处理；
a3.计算每一点对应的极线；
a4.立体校正；
a5.初始化块状匹配状态；
a6.计算视差图；
a7.计算视觉深度。
7.一种用于如权利要求1所述的基于计算机视觉及无线电测向定位的防拍照方法的防拍照系统，其特征在于所述的系统包括显示器、用于获取图像信息的图像采集器、用于检测是否存在可疑信号并对可疑信号进行定位的无线电测向定位设备、用于识别图像信息中是否存在可疑物体并对可疑物体的位置进行定位、进行人脸的活体检测并计算人眼视线的落点位置并向显示器发出关闭的信号的处理器、用于对重叠区域的图像信息及时间信息进行记录的存储器。
8.如权利要求7所述的用于基于计算机视觉及无线电测向定位的防拍照方法的防拍照系统，其特征在于所述的系统还包括红外光源。
CN201811375684.8A 2018-11-19 2018-11-19 基于计算机视觉及无线电测向定位的防拍照方法及系统 Active CN111200781B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811375684.8A CN111200781B (zh) 2018-11-19 2018-11-19 基于计算机视觉及无线电测向定位的防拍照方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811375684.8A CN111200781B (zh) 2018-11-19 2018-11-19 基于计算机视觉及无线电测向定位的防拍照方法及系统

Publications (2)

Publication Number Publication Date
CN111200781A CN111200781A (zh) 2020-05-26
CN111200781B true CN111200781B (zh) 2021-09-14

Family

ID=70747538

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811375684.8A Active CN111200781B (zh) 2018-11-19 2018-11-19 基于计算机视觉及无线电测向定位的防拍照方法及系统

Country Status (1)

Country Link
CN (1) CN111200781B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111985331B (zh) * 2020-07-20 2024-05-10 中电天奥有限公司 预防商业秘密被窃照的检测方法及装置
CN113628579A (zh) * 2021-08-09 2021-11-09 深圳市优聚显示技术有限公司 一种led节能显示方法、led显示屏系统及lcd显示设备
CN113613177A (zh) * 2021-08-26 2021-11-05 三一汽车制造有限公司 终端之间配对连接的方法、装置及作业机械
CN114067441B (zh) * 2022-01-14 2022-04-08 合肥高维数据技术有限公司 摄录行为检测方法及系统
CN115063939B (zh) * 2022-06-20 2023-03-21 北京金石视觉数字科技有限公司 基于称重的防盗报警设备和防盗报警方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101114394A (zh) * 2006-07-24 2008-01-30 日立欧姆龙金融系统有限公司 可疑物或形状变化检测系统
CN201307266Y (zh) * 2008-06-25 2009-09-09 韩旭 双目视线跟踪装置
KR100968023B1 (ko) * 2003-09-18 2010-07-07 엘지전자 주식회사 카메라형 이동 통신 단말기의 사진 촬영 방법
CN106017321A (zh) * 2016-06-16 2016-10-12 沈阳飞机工业（集团）有限公司 一种基于双目视觉的大尺寸几何量测量方法
CN106998422A (zh) * 2016-01-26 2017-08-01 陈征 一种自动识别偷拍镜头的装置和方法
CN107294622A (zh) * 2016-04-01 2017-10-24 北京中密安信息安全技术有限公司 无线窃密检测方法
CN107370770A (zh) * 2017-09-13 2017-11-21 上海中信信息发展股份有限公司 登录方法、装置及系统
CN108055094A (zh) * 2017-12-26 2018-05-18 成都爱科特科技发展有限公司 一种无人机操作手频谱特征识别与定位方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100968023B1 (ko) * 2003-09-18 2010-07-07 엘지전자 주식회사 카메라형 이동 통신 단말기의 사진 촬영 방법
CN101114394A (zh) * 2006-07-24 2008-01-30 日立欧姆龙金融系统有限公司 可疑物或形状变化检测系统
CN201307266Y (zh) * 2008-06-25 2009-09-09 韩旭 双目视线跟踪装置
CN106998422A (zh) * 2016-01-26 2017-08-01 陈征 一种自动识别偷拍镜头的装置和方法
CN107294622A (zh) * 2016-04-01 2017-10-24 北京中密安信息安全技术有限公司 无线窃密检测方法
CN106017321A (zh) * 2016-06-16 2016-10-12 沈阳飞机工业（集团）有限公司 一种基于双目视觉的大尺寸几何量测量方法
CN107370770A (zh) * 2017-09-13 2017-11-21 上海中信信息发展股份有限公司 登录方法、装置及系统
CN108055094A (zh) * 2017-12-26 2018-05-18 成都爱科特科技发展有限公司 一种无人机操作手频谱特征识别与定位方法

Also Published As

Publication number Publication date
CN111200781A (zh) 2020-05-26

Similar Documents

Publication Publication Date Title
CN111200781B (zh) 基于计算机视觉及无线电测向定位的防拍照方法及系统
US6570566B1 (en) Image processing apparatus, image processing method, and program providing medium
US10665021B2 (en) Augmented reality apparatus and system, as well as image processing method and device
US9250510B2 (en) Panoramic stereo catadioptric imaging
US20070106482A1 (en) Fast imaging system calibration
Ruchay et al. Fusion of information from multiple Kinect sensors for 3D object reconstruction
CN108717704B (zh) 基于鱼眼图像的目标跟踪方法、计算机装置及计算机可读存储介质
CN111062234A (zh) 一种监控方法、智能终端及计算机可读存储介质
US9355436B2 (en) Method, system and computer program product for enhancing a depth map
WO2019019819A1 (zh) 一种用于处理任务区域的任务的移动电子设备以及方法
US20190156511A1 (en) Region of interest image generating device
KR20220012375A (ko) 어라운드뷰 제공 장치 및 방법
US11514608B2 (en) Fisheye camera calibration system, method and electronic device
JP2021531601A (ja) ニューラルネットワーク訓練、視線検出方法及び装置並びに電子機器
US10802390B2 (en) Spherical omnipolar imaging
CN110909571B (zh) 一种高精度面部识别空间定位方法
CN110991306A (zh) 自适应的宽视场高分辨率智能传感方法和系统
JP2010217984A (ja) 像検出装置及び像検出方法
CN109240291A (zh) 一种基于远程控制的机器人运动线路规划方法及系统
CN113191976A (zh) 图像拍摄方法、装置、终端及存储介质
CN107592520A (zh) Ar设备的成像装置及成像方法
CN115885314A (zh) 图像的处理方法、装置、设备以及存储介质
US10812691B2 (en) Image capturing apparatus and image capturing method
CN116016878A (zh) 一种人工智能跟随式投影沙盘及其投影方法
CN113723380B (zh) 基于雷达技术的人脸识别方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220727

Address after: 226400 No.268 Fangquan Road, Chengzhong street, Rudong County, Nantong City, Jiangsu Province

Patentee after: Yulinian Electronics Nantong Co.,Ltd.

Address before: 268 Fangquan West Road, juegang Town, Rudong County, Nantong City, Jiangsu Province, 226000

Patentee before: Lin Hua