CN111200781A - 基于计算机视觉及无线电测向定位的防拍照方法及系统 - Google Patents

基于计算机视觉及无线电测向定位的防拍照方法及系统 Download PDF

Info

Publication number
CN111200781A
CN111200781A CN201811375684.8A CN201811375684A CN111200781A CN 111200781 A CN111200781 A CN 111200781A CN 201811375684 A CN201811375684 A CN 201811375684A CN 111200781 A CN111200781 A CN 111200781A
Authority
CN
China
Prior art keywords
positioning
signal
suspicious
coordinate system
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811375684.8A
Other languages
English (en)
Other versions
CN111200781B (zh
Inventor
林桦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yulinian Electronics Nantong Co ltd
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201811375684.8A priority Critical patent/CN111200781B/zh
Publication of CN111200781A publication Critical patent/CN111200781A/zh
Application granted granted Critical
Publication of CN111200781B publication Critical patent/CN111200781B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W64/00—Locating users or terminals or network equipment for network management purposes, e.g. mobility management
    • H04W64/006—Locating users or terminals or network equipment for network management purposes, e.g. mobility management with additional information processing, e.g. for direction or speed determination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及防偷拍设备及方法技术领域，具体来说是一种基于计算机视觉及无线电测向定位的防拍照方法及系统，获取图像信息，识别图像信息中是否存在可疑物体并对可疑物体的位置进行定位；进行人脸的活体检测并计算人眼视线的落点位置，若未检测到活体人脸或计算得到的人眼视线落点不在显示器范围内，则关闭显示器；通过无线电测向定位方法检测是否存在可疑信号并对可疑信号进行定位。本发明同现有技术相比，其优点在于：通过对可疑拍摄设备及其信号的识别，有效实现了防偷拍的技术效果，将本发明应用到生产中能够有效保护信息的安全，同时结合防拍照方法能够监测到非法的拍摄行为，对非法拍照的行为能够进行追溯，从而能够提高信息安全的防控能力。

Description

基于计算机视觉及无线电测向定位的防拍照方法及系统
技术领域
本发明涉及防偷拍设备及方法技术领域，具体来说是一种基于计算机视觉及无线电测向定位的防拍照方法及系统。
背景技术
摄像头已经广泛应用于手机，平板电脑，数字相机，安防摄像头等产品，拍照变得非常方便，但在有些场合这给信息的保密带来一定的困扰。
目前很多单位为了保护商业秘密常用的做法有以下：
1：在一定范围内采用无摄像头的手机，对讲机等来做工作联络。
2：基于人眼的视觉暂留特点，将显示屏幕分块刷新，或是背光强度不断变化，去达到人眼观看效果影响不大，却能干扰拍照设备成像的效果，使得所拍摄的图片明暗交错不清晰从而实现一定的保密效果。
如我国专利公开号CN106407827A公开了一种基于频率差的屏幕防偷拍设备，我国专利公开号CN107644623A公开了一种背光模组，显示装置及防偷拍系统
3：检测拍摄器材的发射出的无线电信号去控制和报警。如专利：CN102663307A设置有防偷拍，防窃听者装置的电脑及办公设备。
以上措施能对文件保密和非法拍摄起到一定的防范作用，但在实际应用中都存在很大的局限性，都不能对偷拍的现场场景进行记录取证。
本发明提出了采用计算机视觉和无线电测向定位技术相结合的防拍照方法和具体的产品应用。
发明内容
本发明的目的在于解决现有技术的不足，提供一种基于计算机视觉及无线电测向定位的防拍照方法及系统，对可疑拍摄设备及其信号进行识别，以对非法拍照的行为进行追溯，并提高信息安全的防控能力。
为了实现上述目的，设计一种基于计算机视觉及无线电测向定位的防拍照方法，用于防止对显示器的偷拍，所述的防拍照方法包括如下步骤：
步骤a.通过图像采集器获取图像信息，通过处理器识别图像信息中是否存在可疑物体并对可疑物体的位置进行定位。
步骤b.通过图像采集器和处理器进行人脸的活体检测并计算人眼视线的落点位置，若未检测到活体人脸或计算得到的人眼视线落点不在显示器范围内，则关闭显示器。
步骤c.通过无线电测向定位方法检测是否存在可疑信号并对可疑信号进行定位。
本发明还具有如下优选的技术方案：
若通过步骤a定位得到的可疑物体的位置及通过步骤c定位得到的可疑信号的位置重叠，则关闭显示器，并对重叠位置的图像信息及时间信息进行记录。
通过两个图像采集器与被测物体在空间形成三角关系，利用被测物体在两图像采集器所构成的平面上的成像点坐标计算被测物体的三维坐标。
所述的计算人眼视线的落点位置的方法具体如下：通过两个图像采集器采集人脸图像，并通过人脸中眼角和嘴角的坐标建立人脸平面坐标系，人脸的朝向即为与人脸平面坐标系相垂直的方向，视线方向即为眼球中心与人脸中心的连接方向，由第一图像采集器采集的图像中人脸特征点坐标包括左眼的内眼角A1LL、右眼的内眼角B1RR、左眼瞳孔C1L、右眼瞳孔C1R、左嘴角D1L、右嘴角D1R，由第二图像采集器采集的图像中人脸特征点坐标包括左眼的内眼角A2LL、右眼的内眼角B2RR、左眼瞳孔C2L、右眼瞳孔C2R、左嘴角D2L、右嘴角D2R，根据双目摄像机模型神经网络，得到世界坐标系下各个特征点的世界坐标包括左眼的内眼角ALL、右眼的内眼角BRR、左眼瞳孔CL、右眼瞳孔CR、左嘴角DL、右嘴角DR，以经过点左眼的内眼角ALL、右眼的内眼角BRR的直线为横坐标轴XF，经过左嘴角DL和右嘴角DR的中心点OD且与直线ALLBRR垂直相交的直线OFOD为纵坐标轴YF，直线ALLBRR与直线OFOD的相交点为原点OF，经过点OF且垂直XFOFYF坐标平面的直线LF为竖坐标轴ZF，进而建立人脸平面坐标系OFXFYFZF，ZF轴方向即人脸朝向的方向；
设左眼的内眼角ALL的世界坐标为(XALL，YALL，ZALL)，右眼的内眼角BRR的世界坐标为(XARR，YARR，ZARR)，嘴角中心点OD的世界坐标为(XOD，YOD，ZOD)，则平面ALLODBRR的方程为：
Figure BDA0001870669590000031
其法向方向即为人脸朝向的方向；
设点OEF为眼球中心OEO在人脸平面坐标系OFXFYFZF的投影，设人眼的中心部位是PE，人眼的中心PE在人脸平面坐标系OFXFYFZF的平面映射是PEF，那么射线OEOPE即为视线的朝向，设眼球中心OEO、人眼的中心PE在人脸平面坐标系OFXFYFZF的投影点分别为OEF(XO，YO，O)、PEF(XF，YF，O)，眼球的半径为R，则眼球中心的坐标为(XO，YO，-R)，人眼中心PE的坐标为
Figure BDA0001870669590000041
则视线方程为：
Figure BDA0001870669590000042
用两已知视线点在人脸平面坐标系下的投影点坐标代进公式2-1就能够求得视线方程，而后需要将它变换成世界坐标系下的视线公式，世界坐标系和人脸平面坐标系的变换关系可用如下公式表示：
Figure BDA0001870669590000043
其中A为3×3的旋转矩阵，T为3×1的平移矩阵；
那么，人脸平面坐标系下的眼球中心OEO和当前人眼的中心PE就可以由式2-2转换为世界坐标系下的坐标，设其分别为OEOW(XOW，YOW，ZOW)、PEW(XPW，YPW，ZPW)，则在世界坐标系下的视线方程为：
Figure BDA0001870669590000044
所述的步骤c包括通过三站交会定位实现对可疑信号的定位：设三个无线电测向站DF1、DF2、DF3的坐标分别为(x1，y1)、(x2，y2)、(x3，y3)，三者对目标辐射源实施测向后得到的示向度值分别为
Figure BDA0001870669590000045
则三条示向度线能交会出三个交会点(x12，y12)、(x23，y23)、(x13，y13)，由这三个交会点能通过下式计算目标辐射源所处的地理位置(xT，yT)：
Figure BDA0001870669590000051
解方程组即可得:
Figure BDA0001870669590000052
Figure BDA0001870669590000053
Figure BDA0001870669590000054
Figure BDA0001870669590000055
Figure BDA0001870669590000056
三个交点形成一个三角形，以三角形的重心作为目标辐射源坐标位置的估计值，由此得到目标辐射源坐标位置的计算公式：
Figure BDA0001870669590000057
Figure BDA0001870669590000058
这样就可以得到信号源的空间的位置。
设置带有可旋转的天线的无线电信号检测装置以对可疑信号进行扫描，天线方向越接近可疑信号区域则信号越强，越远离可疑信号区域则信号越弱。
构建一个基站以作为伪基站，所述的伪基站的信号发射强度高于所述的显示器所处区域内的最强的基站信号，以诱导偷拍设备重新选择通讯基站并主动发射信号与伪基站进行信息交互。
所述的可疑物体的位置进行定位的方法具体包括：摄像机标定；对原始点做去畸变处理；计算每一点对应的极线；立体校正；初始化块状匹配状态；计算视差图；计算视觉深度。
本发明还设计一种用于所述的基于计算机视觉及无线电测向定位的防拍照方法的防拍照系统，所述的系统包括显示器、用于获取图像信息的图像采集器、用于检测是否存在可疑信号并对可疑信号进行定位的无线电测向定位设备、用于识别图像信息中是否存在可疑物体并对可疑物体的位置进行定位、进行人脸的活体检测并计算人眼视线的落点位置并向显示器发出关闭的信号的处理器、用于对重叠区域的图像信息及时间信息进行记录的存储器。
优选地，所述的系统还包括红外光源。
本发明同现有技术相比，其优点在于：设计了一种实现防拍照的全新方法及防拍照系统，通过对可疑拍摄设备及其信号的识别，有效实现了防偷拍的技术效果，将本发明的防拍照显示系统应用到生产中能够有效保护信息的安全，同时结合防拍照方法能够监测到非法的拍摄行为，对非法拍照的行为能够进行追溯，从而能够提高信息安全的防控能力。
附图说明
图1是一实施方式中本发明防拍照系统的结构示意图。
图2是一实施方式中本发明中双目立体视觉测量的示意图。
图3是一实施方式中本发明中视线方向计算的示意图。
图4是一实施方式中本发明三站交会定位示意图。
图5是一实施方式中本发明基于计算机视觉的空间物体定位方法的流程示意图。
图6是一实施方式中本发明人眼视线检测的流程示意图。
图7是一实施方式中本发明无线电信号检测装置的电原理图。
图8是一实施方式中本发明三站交会定位装置的电原理图。
图中：1.显示屏 2.摄像头 3.红外光源 4.无线电信号接收器 5.计算机硬件软件系统 6.旋转天线。
具体实施方式
下面结合附图对本发明作进一步说明，这种装置的结构和原理对本专业的人来说是非常清楚的。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参见图1，在本实施方式中，所述的基于计算机视觉及无线电测向定位的防拍照系统的构成如下，包括显示屏、作为图像采集器的摄像头、必要时用来补充自然光线不足的红外光源、无线电信号接收器、计算机硬件软件系统及旋转天线。计算机硬件软件系统包括处理器和存储器，能通过预先编写的程序根据本发明方法进行相关的图像识别及逻辑判断，并进行现场场景的记录。本实施方式在显示器正面的下侧边缘、左侧边缘和右侧边缘分别设置有无线电信号接收器，在显示器正面的上侧边缘中部设置有摄像头，并在摄像头左右对称设有红外光源，在显示器的顶部设置有旋转天线。当然，在其他实施方式中，各部件也可以按其他的布置位置进行布置。
通过本系统搭载的摄像头获取前景图像信息，并通过计算机硬件软件系统记录场景，主要包括如下步骤：
步骤a.通过图像采集器获取图像信息，如发现此场景中有疑是拍摄器材，则通过计算机视觉原理测量得出该可疑物体在空间的位置。
步骤b.通过计算机视觉原理进行人脸的生物检测并计算人眼视线的落点位置，如检测不到活体人脸，或检测得到的视线落点不在屏幕的区域则表示没有人眼观看显示屏幕，则可直接关闭屏幕显示以保护信息安全。
步骤c.通过几处无线电接收器检测该可疑物体发出的无线电信号并通过计算出无线电信号源所处的空间位置，或是通过天线扫描信号幅度最大的空间区域。
若通过步骤a定位得到的可疑物体的位置及通过步骤c定位得到的可疑信号的位置重叠，则表明该可疑物体就是摄像器材从而关闭显示屏幕，并通过计算机硬件软件系统记录该事件。
值得注意的是，上述的步骤a-c并没有先后顺序的限制，以下实施方式以如下顺序为例进行说明，即首先按步骤a进行拍摄器材的检测，若发现可疑物体，则由处理器按步骤b进行人脸和视线落点的检测，如果没有人脸或视线落点不在显示器，则关闭屏幕；若存在人脸且视线落点处于显示器范围内，则再按步骤c进行可疑信号位置的检测，若通过步骤a定位得到的可疑物体的位置及通过步骤c定位得到的可疑信号的位置重叠，则关闭显示屏幕，并进行记录。
步骤a中，对可疑物体的识别方法属于现有的技术，只需实现输入相关识别特征即可，本发明不多做赘述，而基于计算机视觉对可疑物体在空间的位置的定位可以采用1个摄像头，2个摄像头或多个摄像头来实现，下面以2个摄像头的双目立体视觉来举例说明。
参见图2，双目立体视觉模仿人类双眼获取三维信息，由两个摄像机组成。两个摄像机与被测物体在空间形成三角关系，利用空间点在两摄像机像平面上成像点坐标求取空间点的三维坐标。设Oc1Xc1Yc1Zc1为摄像机1坐标，有效焦距为c1,像平面坐标系为O1x1y1；Oc2Xc2Yc2Zc2为摄像机2坐标，有效焦距为c2，像平面坐标系为O2x2y2,将摄像机1坐标系作为双目视觉传感器坐标系OSXSYSZS。
两摄像机之间的空间位置关系为
Figure BDA0001870669590000091
式中，
Figure BDA0001870669590000092
表示摄像机坐标系2到摄像机坐标系1的旋转矩阵；T＝(t1 t2 t3)T,表示摄像机坐标系2到摄像机坐标系1的平移矩阵。
根据摄像机透视变换模型，在传感器坐标系下表示的空间被测点与两摄像机像面点之间的对应变换关系是：
Figure BDA0001870669590000093
Figure BDA0001870669590000094
式中，c1代表摄像机1的有效焦距，c2代表摄像机2的有效焦距，ρ1代表摄像机1的图像坐标系和世界坐标系之间的关系，ρ2代表摄像机2的图像坐标系和世界坐标系之间的关系。则空间被测点的三维坐标为：
Figure BDA0001870669590000101
该式便是双目立体视觉模型的数学描述，通过两摄像机相面点坐标(x1,y1)和(x2,y2)即可求解空间点的三维坐标(XS,YS,ZS)，这样便可以通过计算机视觉得到图像在空间的坐标。
步骤b中人脸的活体检测属于现有技术，本实施方式不多做赘述。本实施方式中所述的视线追踪就是检测视线是否落在显示屏的区域以内，如果不在该范围内则可以关闭显示屏的显示。以下就基于计算机视觉的人眼视线追踪方法进行说明。
人眼的注意点主要是由头的方位和眼睛的视线来决定。头的位置决定了人眼可能注视的范围，眼睛的视线决定了注意点的精确位置。本发明的基本思想是利用计算机视觉得到眼角和嘴角的坐标建立人脸平面坐标系，人脸的朝向(即人脸的方向)就是与人脸平面垂直的方向。当眼睛转动时，眼球中心相对于这个人脸坐标系是不变的，即只要眼角嘴角确定，人脸坐标系就是确定的，那么眼球中心在人脸坐标系下的坐标就是已知的。视线方向就是眼球中心与人脸中心的连接方向。
根据以上的人脸特征点检算法，假设从摄像机1采集的图像中找到的人脸特征点分别为左眼的内眼角A1LL、右眼的内眼角B1RR、左眼瞳孔C1L、右眼瞳孔C1R、左嘴角D1L、右嘴角D1R，摄像机2采集的图像中找到了对应的特征点A2LL、B2RR、C2L、C2R、D2L、D2R，根据训练好的双目摄像机模型神经网络，可以得到世界坐标系下各个特征点的世界坐标ALL、BRR、CL、CR、DL、DR。特征点可以近似看成在同一个平面上，因此以经过点ALL、BRR的直线为XF坐标，经过左右嘴角的中心点OD且与直线ALLBRR垂直相交(相交点为OF)的直线OFOD为YF坐标，经过点OF且垂直XFOFYF坐标平面的直线LF为ZF坐标轴，建立人脸平面坐标系OFXFYFZF。ZF轴方向即人脸朝向的方向。
设左眼角ALL的世界坐标为(XALL，YALL，ZALL)，右眼角BRR的世界坐标为(XARR，YARR，ZARR)，嘴角中心点OD世界坐标为(XOD，YOD，ZOD)，则平面ALLODBRR的方程：
Figure BDA0001870669590000111
其法向方向即为人脸朝向的方向。
人的眼球能够大致看作是圆，但是视线是把眼球的中心部位作为开始的点，历经瞳孔的中心部位的射线。当位于眼球外表的瞳孔活动的时候，视线的朝向也就随着改变。参见图3,，平面ABCD是人脸位置系XFOFYF平面，图中的点OEF即为眼球中心OEO在平面ABCD上的投影。直线OEOOEF一直是和ZF轴相平行的(点OEO是眼球位置的中心)。设想某时人眼的中心部位是PE，在XFOFYF的平面映射是PEF，那么射线OEOPE也就是这时的视线朝向。
从上面的分析可以知道，要计算视线方向，眼球中心在人脸坐标系中的坐标必须要先求出来。前面已经建立了人脸平面坐标系OFXFYFZF，假设OEO、PE在人脸平面坐标系下的投影点坐标为OEF(XO，YO，O)、PEF(XF，YF，O)，眼球的半径为R，则眼球中心的坐标为(XO，YO，-R)，人眼中心PE的坐标为：
Figure BDA0001870669590000112
则视线方程为：
Figure BDA0001870669590000113
由于XO，YO，R的值是固定的，用两已知视线点在人脸平面坐标系下的投影点坐标，把它代进公式2-1就能够求得视线方程。
Figure BDA0001870669590000121
其中A为3×3的旋转矩阵，T为3×1的平移矩阵。
那么，人脸平面坐标系下的眼球中心OEO和当前人眼中心PE就可以由式2-2转换为世界坐标系下的坐标，设分别为OEOW(XOW，YOW，ZOW)、PEW(XPW，YPW，ZPW),则在世界坐标系下的视线方程为：
Figure BDA0001870669590000122
对于步骤c中通过无线电接收器检测该可疑物体发出的无线电信号并通过计算出无线电信号源所处的空间位置的原理及方法说明如下：
所有的CCD或CMOS图像传感器内部都要有处理器，都需要时钟信号控制逐像素(场时钟)逐行(行时钟)扫描产生图像。行和场的时钟一般都是固定的，行的时钟一般为12M到30M,场的时钟一般为15K-16K。所以这些时钟信号会有固定频率的电磁波辐射出来，无线电信号检测装置就可以检测到这些频段的信号，为了便于计算出无线电信号源所处的空间位置，本实施方式首先采用伪基站方法诱导拍摄器材发出电磁波辐射，以下以手机作为拍摄器材，进行举例说明，对于其他拍摄器材而言，其原理和方法是同样的。
手机作为拍摄器材的一种，其摄像头的图像传感器同样具备上述特性。同时手机是一种移动通讯终端，它能够和通讯基站进行无线电通信，所以手机内部有无线电发射装置，且其发射的信号要比手机摄像头辐射的信号强很多。
但手机并不是不间断往外发射无线电信号的，手机待机时不断监听基站的各种信号，处于接收基站信号的状态，只有在以下几种情况才对外发射信号：开/关机，拨打/接听电话，收发短信，数据服务，小区重选等等。本实施方式所提供的伪基站方法就是通过伪基站诱导手机进行小区重选从而对外发射信号。其原理说明如下：由于通讯基站的发射距离有限，所以每隔一段距离就会有一个通讯基站，手机所处的位置一般都会有数个通讯基站的信号覆盖，每个基站都分配有不同的通讯信道频率段，手机内部的机制自动选择信号强度最强的那个基站进行通信。
伪基站方法就是构建一个基站，使它的信号发射强度高于该区域内现存的最强的基站信号一定幅度以后，手机就会认为发现了一个更高信号强度的基站(伪基站)，于是被诱导重新选择通讯基站，这时手机就会主动发射信号与伪基站交互信息，这是手机就处于信号发射和接受的活动状态。这时候无线电监测电路就可以对手机的发射信号进行检测和定位了。
在诱导拍摄器材发出电磁波辐射之后，再进行其信号的定位。根据不同信号接收站点接收信号的交会来测定信号源的位置可以采用单站，2站，3站，以及多站等方法，本实施方式采用3站交会的定位来说明其工作的原理如下：
由不同位置的三个测向站对同一目标辐射源进行测向定位，如果不存在测向误差，则三条示向度线将交会于一点，这就是真实目标辐射源所处的位置，实际测向中误差总是不可避免地存在，所以三条示向度线一般不会交于一点，而是分别两两相交，有三个交会点，由这三个交会点来估计目标辐射源的位置，比双站交会定位的精度会有显著的提高。如图4所示，设三个测向站DF1、DF2、DF3。的地理位置分别为(x1，y1)、(x2，y2)、(x3，y3)，三者对目标辐射源实施测向后得到的示向度值分别为
Figure BDA0001870669590000131
则三条示向度线通常可以交会出三个交会点。设三个交会点分别为(x12，y12)、(x23，y23)、(x13，y13)，由这三个交会点可以估计目标辐射源所处的地理位置(xT，yT)。对(xT，yT)的确定，既可以采用三角学的方法计算出来。根据图4，有关系式：
Figure BDA0001870669590000141
解上面的方程组即可得：
Figure BDA0001870669590000142
Figure BDA0001870669590000143
Figure BDA0001870669590000144
Figure BDA0001870669590000145
Figure BDA0001870669590000146
Figure BDA0001870669590000147
三个交点形成一个三角形，通常以三角形的重心作为目标辐射源坐标位置的估计值。求三角形重心可以采用几何作图法，也可以采用数学上的积分求解法，但为了计算上的简便，通常以三角形三条边的质量重心来近似作为三角形的重心，由此得到目标辐射源坐标位置的近似计算公式：
Figure BDA0001870669590000148
Figure BDA0001870669590000149
这样就可以得到信号源的空间的位置。
或者，也可以采用天线旋转扫描寻找信号幅度最强的点，控制系统可以通过控制一个可以旋转的天线向可疑物体的区域扫描，天线方向越接近该区域则信号越强，越远离该区域则信号越弱，符合以上规律则可确定上述区域为信号源区域。则可以对信号源进行确认。若可疑物体区域存在发射信号，则关闭显示器并记录场景。
实施例1
以下为本发明的一个具体的实施例，共有以下三部分内容。
第一部分：通过计算机视觉发现可疑物体，并对物体空间位置定位，并记录场景。
第二部分：通过计算机视觉检测活体人脸和人眼视线落点方向，如检测不到人脸人眼或人眼视线落点不在屏幕区域则关闭显示。
第三部分：通过三站定位或天线扫描可疑物体空间的电讯号特征是否符合手机或其它拍摄器材，判断是否为偷拍器材，并记录场景。
本实施例中采用了OpenCV的相关函数或程序，OpenCV是一个开源的计算机视觉库，覆盖了计算机视觉的许多应用邻域，本发明有关计算机视觉的内容均可以调用OpenCV的相关函数或程序来实现。
参见图5，第一部分基于计算机视觉的空间物体定位包括如下步骤：
第一步：摄像机标定
调用函数：cvStereoCalibrate()来标定图像，得到摄像机矩阵_M,两台摄像机的畸变向量_D,平移向量_T,本征矩阵_E,和基础矩阵_F。
第二步：对原始点做去畸变处理
调用函数：cvUndistortPoints()。
第三步：计算每一点对应的极线
调用函数：cvComputeCorrespondEpilines()。然后计算这些点和线的点积。理想情况下，这些点积都为0。累计的绝对距离形成了误差。
第四步：立体校正
选择Hartley方法，调用函数：cvStereoRectifyUncalibrated()计算校正映射得到基础矩阵，然后调用函数：cvRemap()来计算校正图像。
第五步：初始化块状匹配状态
调用函数：cvCreateBMState()进行内部分配。
第六步：计算视差图
调用函数：cvFindStereoCorrespondenceBM()可以得到视差图。
第七步：计算视觉深度
调用函数：cvPerspectiveTransform()得到一系列点深度信息。
或者调用函数：cvReprojectImageTo3D(),运算整幅图像的深度信息。
至此，就得到了物体在空间的坐标信息。
参见图6，第二部分人眼视线检测的流程如下：
在OpenCV中带有各种训练好的人脸检测器，眼部检测器，嘴部检测器，这些程序以XML格式保存，本实施例直接调用这些程序。其实现过程如下：
第一步：调用快速的LBP人脸检测器程序：lbpcascade_frontalface.xml。
第二步：读取摄像机图像文件并作以下处理：
2.1.图像转换，将RGB彩色图像转换成灰度图像，调用cvtColor()函数。
2.2.将图像按照一定的缩放因子进行缩放，调用resize()函数。
2.3.提升图像的亮度与对比度以利于人脸的检测，调用函数equalizeHist()。
第三步：进行人脸检测
调用函数：detectMultiScale()检测人脸，并通过object.size()判断人脸是否被检测到。
第四步：眼部检测
同样调用OpenCV里面训练好的眼部检测器(分为左眼检测器和右眼检测器)：haarcascad_mcs_lefteye.xml和haarcascad_mcs_righteye.xml得到眼部图像特征。且能根据睁眼和闭眼的状态变化能检测眨眼动作从而证明是活体人脸检测。
第五步：嘴部检测
同样调用OpenCV里面训练好的嘴部检测器：haarcascad_mcs_mouth.xml得到嘴部的图像特征。
第六步：求取眼角，眼球中点，以及嘴角的特征点位置。
通过计算机图形学里的Canny图像轮廓检测得到瞳孔的四周，通过霍夫变换得到眼球的圆心，通过角点的检测得到内眼角位置和左右嘴角。以上这些算法可以方便的调用OpenCV里的函数：cv：：Canny；cv::HoughLines；cv::cornerHarris基本函数实现。
第七步：基于计算机视觉的计算脸部各个特征点的空间位置计算
这一步的方法等同于第一部分的物体空间位置的计算。
第八步：得到这些关键点的坐标后，根据以上原理就可以得到视线的方向。
第三部分的无线电信号的监测定位方法如下：
参见图7，该部分采用可以旋转扫描的天线部分加上无线信号采集通道，以及伪基站信号发生器三部分构成。
其工作原理如下：天线在电机驱动下可以向着计算机视觉定位的物体的空间区域旋转扫描，通过无线电信号采集通道采集的信号输入到计算机软硬件系统计算信号的强度，如果越接近物体信号越强，越远离物体信号越弱则可以判断该物体可能是摄像器材。
还可以采用诱发手机发射信号的方法，其工作过程如下：
首先通过天线和无线电信号采集回路可以确定当前环境的GSM基站的信号强度，然后通过伪基站信号发生器发射一个信号强度强10Db以的基站信号。如果是手机那么即可被诱发，于是手机就往外发射信号联络伪基站，这时通过信号的采集通道既可捕捉到手机信号。
另外一种信号定位方法是采用三站交会定位，确认无线电信号源方位。其电路实现如图8所示。
该具体实现可以用在电脑、平板、电子书、以及液晶电视显示屏，以及投影显示屏，但不限于以上具体应用。
以上实施案例仅用来说明本发明的技术方案而非对其进行限制，在不背离本发明的精神及实质的情况下，熟悉本专业的技术人员可根据本发明做相应的改变和变形，但这些相应的改变和变形都应该属于本发明所附权利要求的保护范围。

Claims (10)

1.一种基于计算机视觉及无线电测向定位的防拍照方法，用于防止对显示器的偷拍，其特征在于所述的防拍照方法包括如下步骤：
步骤a.通过图像采集器获取图像信息，通过处理器识别图像信息中是否存在可疑物体并对可疑物体的位置进行定位；
步骤b.通过图像采集器和处理器进行人脸的活体检测并计算人眼视线的落点位置，若未检测到活体人脸或计算得到的人眼视线落点不在显示器范围内，则关闭显示器；
步骤c.通过无线电测向定位方法检测是否存在可疑信号并对可疑信号进行定位。
2.如权利要求1所述的基于计算机视觉及无线电测向定位的防拍照方法，其特征在于若通过步骤a定位得到的可疑物体的位置及通过步骤c定位得到的可疑信号的位置重叠，则关闭显示器，并对重叠位置的图像信息及时间信息进行记录。
3.如权利要求1所述的基于计算机视觉及无线电测向定位的防拍照方法，其特征在于通过两个图像采集器与被测物体在空间形成三角关系，利用被测物体在两图像采集器所构成的平面上的成像点坐标计算被测物体的三维坐标。
4.如权利要求1所述的基于计算机视觉及无线电测向定位的防拍照方法，其特征在于所述的计算人眼视线的落点位置的方法具体如下：通过两个图像采集器采集人脸图像，并通过人脸中眼角和嘴角的坐标建立人脸平面坐标系，人脸的朝向即为与人脸平面坐标系相垂直的方向，视线方向即为眼球中心与人脸中心的连接方向，由第一图像采集器采集的图像中人脸特征点坐标包括左眼的内眼角A1LL、右眼的内眼角B1RR、左眼瞳孔C1L、右眼瞳孔C1R、左嘴角D1L、右嘴角D1R，由第二图像采集器采集的图像中人脸特征点坐标包括左眼的内眼角A2LL、右眼的内眼角B2RR、左眼瞳孔C2L、右眼瞳孔C2R、左嘴角D2L、右嘴角D2R，根据双目摄像机模型神经网络，得到世界坐标系下各个特征点的世界坐标包括左眼的内眼角ALL、右眼的内眼角BRR、左眼瞳孔CL、右眼瞳孔CR、左嘴角DL、右嘴角DR，以经过点左眼的内眼角ALL、右眼的内眼角BRR的直线为横坐标轴XF，经过左嘴角DL和右嘴角DR的中心点OD且与直线ALLBRR垂直相交的直线OFOD为纵坐标轴YF，直线ALLBRR与直线OFOD的相交点为原点OF，经过点OF且垂直XFOFYF坐标平面的直线LF为竖坐标轴ZF，进而建立人脸平面坐标系OFXFYFZF，ZF轴方向即人脸朝向的方向；
设左眼的内眼角ALL的世界坐标为(XALL，YALL，ZALL)，右眼的内眼角BRR的世界坐标为(XARR，YARR，ZARR)，嘴角中心点OD的世界坐标为(XOD，YOD，ZOD)，则平面ALLODBRR的方程为：
Figure FDA0001870669580000021
其法向方向即为人脸朝向的方向；
设点OEF为眼球中心OEO在人脸平面坐标系OFXFYFZF的投影，设人眼的中心部位是PE，人眼的中心PE在人脸平面坐标系OFXFYFZF的平面映射是PEF，那么射线OEOPE即为视线的朝向，设眼球中心OEO、人眼的中心PE在人脸平面坐标系OFXFYFZF的投影点分别为OEF(XO，YO，O)、PEF(XF，YF，O)，眼球的半径为R，则眼球中心的坐标为(XO，YO，-R)，人眼中心PE的坐标为
Figure FDA0001870669580000031
则视线方程为：
Figure FDA0001870669580000032
用两已知视线点在人脸平面坐标系下的投影点坐标代进公式2-1就能够求得视线方程，而后需要将它变换成世界坐标系下的视线公式，世界坐标系和人脸平面坐标系的变换关系可用如下公式表示：
Figure FDA0001870669580000033
其中A为3×3的旋转矩阵，T为3×1的平移矩阵；
那么，人脸平面坐标系下的眼球中心OEO和当前人眼的中心PE就可以由式2-2转换为世界坐标系下的坐标，设其分别为OEOW(XOW，YOW，ZOW)、PEW(XPW，YPW，ZPW)，则在世界坐标系下的视线方程为：
Figure FDA0001870669580000034
5.如权利要求1所述的基于计算机视觉及无线电测向定位的防拍照方法，其特征在于所述的步骤c包括通过三站交会定位实现对可疑信号的定位：设三个无线电测向站DF1、DF2、DF3的坐标分别为(x1，y1)、(x2，y2)、(x3，y3)，三者对目标辐射源实施测向后得到的示向度值分别为
Figure FDA0001870669580000035
则三条示向度线能交会出三个交会点(x12，y12)、(x23，y23)、(x13，y13)，由这三个交会点能通过下式计算目标辐射源所处的地理位置(xT，yT)：
Figure FDA0001870669580000041
解方程组即可得:
Figure FDA0001870669580000042
Figure FDA0001870669580000043
Figure FDA0001870669580000044
Figure FDA0001870669580000045
Figure FDA0001870669580000046
三个交点形成一个三角形，以三角形的重心作为目标辐射源坐标位置的估计值，由此得到目标辐射源坐标位置的计算公式：
Figure FDA0001870669580000047
Figure FDA0001870669580000048
这样就可以得到信号源的空间的位置。
6.如权利要求1所述的基于计算机视觉及无线电测向定位的防拍照方法，其特征在于设置带有可旋转的天线的无线电信号检测装置以对可疑信号进行扫描，天线方向越接近可疑信号区域则信号越强，越远离可疑信号区域则信号越弱。
7.如权利要求5或6所述的基于计算机视觉及无线电测向定位的防拍照方法，其特征在于构建一个基站以作为伪基站，所述的伪基站的信号发射强度高于所述的显示器所处区域内的最强的基站信号，以诱导偷拍设备重新选择通讯基站并主动发射信号与伪基站进行信息交互。
8.如权利要求1所述的基于计算机视觉及无线电测向定位的防拍照方法，其特征在于所述的可疑物体的位置进行定位的方法具体包括：
a1.摄像机标定；
a2.对原始点做去畸变处理；
a3.计算每一点对应的极线；
a4.立体校正；
a5.初始化块状匹配状态；
a6.计算视差图；
a7.计算视觉深度。
9.一种用于如权利要求2所述的基于计算机视觉及无线电测向定位的防拍照方法的防拍照系统，其特征在于所述的系统包括显示器、用于获取图像信息的图像采集器、用于检测是否存在可疑信号并对可疑信号进行定位的无线电测向定位设备、用于识别图像信息中是否存在可疑物体并对可疑物体的位置进行定位、进行人脸的活体检测并计算人眼视线的落点位置并向显示器发出关闭的信号的处理器、用于对重叠区域的图像信息及时间信息进行记录的存储器。
10.如权利要求9所述的用于基于计算机视觉及无线电测向定位的防拍照方法的防拍照系统，其特征在于所述的系统还包括红外光源。
CN201811375684.8A 2018-11-19 2018-11-19 基于计算机视觉及无线电测向定位的防拍照方法及系统 Active CN111200781B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811375684.8A CN111200781B (zh) 2018-11-19 2018-11-19 基于计算机视觉及无线电测向定位的防拍照方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811375684.8A CN111200781B (zh) 2018-11-19 2018-11-19 基于计算机视觉及无线电测向定位的防拍照方法及系统

Publications (2)

Publication Number Publication Date
CN111200781A true CN111200781A (zh) 2020-05-26
CN111200781B CN111200781B (zh) 2021-09-14

Family

ID=70747538

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811375684.8A Active CN111200781B (zh) 2018-11-19 2018-11-19 基于计算机视觉及无线电测向定位的防拍照方法及系统

Country Status (1)

Country Link
CN (1) CN111200781B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111985331A (zh) * 2020-07-20 2020-11-24 中电天奥有限公司 预防商业秘密被窃照的检测方法及装置
CN113613177A (zh) * 2021-08-26 2021-11-05 三一汽车制造有限公司 终端之间配对连接的方法、装置及作业机械
CN113628579A (zh) * 2021-08-09 2021-11-09 深圳市优聚显示技术有限公司 一种led节能显示方法、led显示屏系统及lcd显示设备
CN114067441A (zh) * 2022-01-14 2022-02-18 合肥高维数据技术有限公司 摄录行为检测方法及系统
CN115063939A (zh) * 2022-06-20 2022-09-16 北京金石视觉数字科技有限公司 基于称重的防盗报警设备和防盗报警方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101114394A (zh) * 2006-07-24 2008-01-30 日立欧姆龙金融系统有限公司 可疑物或形状变化检测系统
CN201307266Y (zh) * 2008-06-25 2009-09-09 韩旭 双目视线跟踪装置
KR100968023B1 (ko) * 2003-09-18 2010-07-07 엘지전자 주식회사 카메라형 이동 통신 단말기의 사진 촬영 방법
CN106017321A (zh) * 2016-06-16 2016-10-12 沈阳飞机工业（集团）有限公司 一种基于双目视觉的大尺寸几何量测量方法
CN106998422A (zh) * 2016-01-26 2017-08-01 陈征 一种自动识别偷拍镜头的装置和方法
CN107294622A (zh) * 2016-04-01 2017-10-24 北京中密安信息安全技术有限公司 无线窃密检测方法
CN107370770A (zh) * 2017-09-13 2017-11-21 上海中信信息发展股份有限公司 登录方法、装置及系统
CN108055094A (zh) * 2017-12-26 2018-05-18 成都爱科特科技发展有限公司 一种无人机操作手频谱特征识别与定位方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100968023B1 (ko) * 2003-09-18 2010-07-07 엘지전자 주식회사 카메라형 이동 통신 단말기의 사진 촬영 방법
CN101114394A (zh) * 2006-07-24 2008-01-30 日立欧姆龙金融系统有限公司 可疑物或形状变化检测系统
CN201307266Y (zh) * 2008-06-25 2009-09-09 韩旭 双目视线跟踪装置
CN106998422A (zh) * 2016-01-26 2017-08-01 陈征 一种自动识别偷拍镜头的装置和方法
CN107294622A (zh) * 2016-04-01 2017-10-24 北京中密安信息安全技术有限公司 无线窃密检测方法
CN106017321A (zh) * 2016-06-16 2016-10-12 沈阳飞机工业（集团）有限公司 一种基于双目视觉的大尺寸几何量测量方法
CN107370770A (zh) * 2017-09-13 2017-11-21 上海中信信息发展股份有限公司 登录方法、装置及系统
CN108055094A (zh) * 2017-12-26 2018-05-18 成都爱科特科技发展有限公司 一种无人机操作手频谱特征识别与定位方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111985331A (zh) * 2020-07-20 2020-11-24 中电天奥有限公司 预防商业秘密被窃照的检测方法及装置
CN111985331B (zh) * 2020-07-20 2024-05-10 中电天奥有限公司 预防商业秘密被窃照的检测方法及装置
CN113628579A (zh) * 2021-08-09 2021-11-09 深圳市优聚显示技术有限公司 一种led节能显示方法、led显示屏系统及lcd显示设备
CN113613177A (zh) * 2021-08-26 2021-11-05 三一汽车制造有限公司 终端之间配对连接的方法、装置及作业机械
CN114067441A (zh) * 2022-01-14 2022-02-18 合肥高维数据技术有限公司 摄录行为检测方法及系统
CN115063939A (zh) * 2022-06-20 2022-09-16 北京金石视觉数字科技有限公司 基于称重的防盗报警设备和防盗报警方法

Also Published As

Publication number Publication date
CN111200781B (zh) 2021-09-14

Similar Documents

Publication Publication Date Title
CN111200781B (zh) 基于计算机视觉及无线电测向定位的防拍照方法及系统
CN107852487A (zh) 用于生成360度三维图像的电子设备及用于该电子设备的方法
US20130208083A1 (en) Panoramic stereo catadioptric imaging
CN109948586B (zh) 人脸验证的方法、装置、设备及存储介质
CN104871084A (zh) 自适应投影仪
CN111062234A (zh) 一种监控方法、智能终端及计算机可读存储介质
US9355436B2 (en) Method, system and computer program product for enhancing a depth map
CN110163833A (zh) 确定刀闸的开合状态的方法和装置
CN108717704B (zh) 基于鱼眼图像的目标跟踪方法、计算机装置及计算机可读存储介质
EP3840372B1 (en) 3d image display method and apparatus, and terminal
IL275047B2 (en) Install a complex display in mind
JP2021531601A (ja) ニューラルネットワーク訓練、視線検出方法及び装置並びに電子機器
US11514608B2 (en) Fisheye camera calibration system, method and electronic device
CN107145849A (zh) 一种目标物体状态检测方法、移动终端以及计算机可读存储介质
CN106919246A (zh) 一种应用界面的显示方法和装置
CN110672549A (zh) 成像方法及装置
CN207283618U (zh) 一种手机
CN109544458A (zh) 鱼眼图像校正方法、装置及其存储介质
CN109240291A (zh) 一种基于远程控制的机器人运动线路规划方法及系统
CN110991306A (zh) 自适应的宽视场高分辨率智能传感方法和系统
TWI603225B (zh) 液晶顯示器顯示視角的調整方法和裝置
CN109348140A (zh) 一种监控场景下实时视频的拼接方法
CN108254738A (zh) 避障告警方法、装置及存储介质
CN114460579B (zh) 一种侦控近海船只的方法、系统和存储介质
CN107426522A (zh) 基于虚拟现实设备的视频方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220727

Address after: 226400 No.268 Fangquan Road, Chengzhong street, Rudong County, Nantong City, Jiangsu Province

Patentee after: Yulinian Electronics Nantong Co.,Ltd.

Address before: 268 Fangquan West Road, juegang Town, Rudong County, Nantong City, Jiangsu Province, 226000

Patentee before: Lin Hua

TR01 Transfer of patent right