CN107025647B - 图像篡改取证方法及装置 - Google Patents
图像篡改取证方法及装置 Download PDFInfo
- Publication number
- CN107025647B CN107025647B CN201710137310.1A CN201710137310A CN107025647B CN 107025647 B CN107025647 B CN 107025647B CN 201710137310 A CN201710137310 A CN 201710137310A CN 107025647 B CN107025647 B CN 107025647B
- Authority
- CN
- China
- Prior art keywords
- image
- dimensional
- target object
- detected
- plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 85
- 239000013598 vector Substances 0.000 claims abstract description 129
- 238000009826 distribution Methods 0.000 claims description 78
- 238000004364 calculation method Methods 0.000 claims description 37
- 238000005457 optimization Methods 0.000 claims description 17
- 238000005070 sampling Methods 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000002372 labelling Methods 0.000 claims description 11
- 239000006185 dispersion Substances 0.000 claims description 10
- 238000012847 principal component analysis method Methods 0.000 claims description 10
- 238000005259 measurement Methods 0.000 claims description 9
- 230000008030 elimination Effects 0.000 claims description 8
- 238000003379 elimination reaction Methods 0.000 claims description 8
- 230000002452 interceptive effect Effects 0.000 claims description 8
- 238000007476 Maximum Likelihood Methods 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 34
- 238000010586 diagram Methods 0.000 description 9
- 230000015654 memory Effects 0.000 description 9
- 238000001514 detection method Methods 0.000 description 7
- 239000010985 leather Substances 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000000386 athletic effect Effects 0.000 description 3
- 238000000513 principal component analysis Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种图像篡改取证方法及装置，所述方法包括标注待测图像的观测线索；构建目标物体所属类别物体的三维形变模型；估计支撑平面的三维法向量；估计目标物体的三维姿态；依据目标物体与支撑平面之间，和/或多个目标物体之间的平行度，判断待测图像是否为篡改图像。与现有技术相比，本发明提供的一种图像篡改取证方法及装置，依据目标物体与支撑平面之间，和/或多个目标物体之间平行度的大小判断待测图像是否为篡改图像，能够有效判断低质量图像是否为篡改图像。
Description
技术领域
本发明涉及计算机视觉与图像识别技术领域，具体涉及一种图像篡改取证方法及装置。
背景技术
数字图像盲取证技术作为一种不依赖任何预签名提取或预嵌入信息来鉴别图像真伪和来源的技术,正逐步成为多媒体安全领域新的研究热点,且有着广泛的应用前景。目前，数字图像盲取证技术根据不同的取证线索，如拷贝移动(copy-move)、多次JPEG压缩、图像高频统计特征、光照不一致性和几何不一致性等，包括多种取证方法。其中，基于场景中不一致性线索的取证方法利用计算机视觉方法估计场景中的变量，适用于低质量图片的篡改取证且具有较好的后处理鲁棒性。
但是，基于场景中不一致性线索的取证方法一般仅适用于基于某一种场景的图像篡改取证，因此可能限制其检测结果的准确性。例如，文献“Iuliani,Massimo,GiovanniFabbri,and Alessandro Piva."Image splicing detection based on generalperspective constraints."Information Forensics and Security(WIFS),2015IEEEInternational Workshop on.IEEE,2015”公开了一种基于场景中物体的高度比的图像篡改取证方法，文献“Peng,Bo,et al."Optimized 3D Lighting Environment Estimationfor Image Forgery Detection."IEEE Transactions on Information Forensics andSecurity12.2(2017):479-494”公开了一种基于光照方向不一致的图像篡改取证方法，文献“Farid,Hany."A 3-D photo forensic analysis of the Lee Harvey Oswaldbackyard photo."Hanover,NH(2010).”公开了一种基于人工辅助3D场景重建分析的图像篡改取证方法。
有鉴于此，本发明提出了一种基于新的场景取证线索的图像篡改取证方法，以提高基于场景中不一致性线索的取证方法的检测准确性。
发明内容
为了满足现有技术的需要，本发明提出了一种基于平面接触约束的图像篡改取证方法，该取证方法不仅适用于低质量图片的篡改检测，还提高了基于场景中不一致性线索的取证方法的检测准确性。同时，本发明还提供了一种图像篡改取证装置。
第一方面，本发明中一种图像篡改取证方法的技术方案是：
所述方法包括：
标注待测图像的观测线索；其中，所述待测图像包括具有平面接触关系的目标物体与支撑平面；
构建所述目标物体所属类别物体的三维形变模型；
依据所述观测线索估计所述支撑平面的三维法向量；
依据所述观测线索和三维形变模型估计所述目标物体的三维姿态，进而得到所述目标物体中与支撑平面接触一侧所在平面的平面法向量；
依据所述三维法向量和平面法向量，计算所述目标物体与支撑平面之间，和/或多个所述目标物体之间的平行度，并依据所述平行度判断所述待测图像是否为篡改图像；其中，所述平行度为不同平面的法向量的夹角。
进一步地，本发明提供的一个优选技术方案为：所述标注待测图像的观测线索，具体包括：
标注所述待测图像中目标物体的特征观测点，及标注所述待测图像中平行于支撑平面的两个不同方向上的直线段的端点；
其中，所述特征观测点包括所述目标物体的轮廓点；所述各方向上的直线段包括多个平行的直线段。
进一步地，本发明提供的一个优选技术方案为：
所述标注目标物体的轮廓点，具体包括：采用人工交互式的鼠标拖拽方法标注所述目标物体的各轮廓点；
所述标注各直线段的端点，具体包括：
采用人工交互式的鼠标点选方法标注所述各直线段两端的中心点；
依据所述直线段的边缘点模糊程度设定所述中心点的测量不确定度，并依据所述各测量不确定度标注所述中心点的分散区域。
进一步地，本发明提供的一个优选技术方案为：所述构建目标物体所属类别物体的三维形变模型，具体包括：
获取多个归类于所述目标物体所属类别物体的样本的3D样本模型，并对所述各3D样本模型的各顶点进行语义对应；
依据所有经过语义对应后的3D样本模型，并采用主成分分析法构建所述三维形变模型。
进一步地，本发明提供的一个优选技术方案为：
所述获取多个归类于目标物体所属类别物体的样本的3D样本模型，具体包括：获取预设在制图软件中的3D样本模型，和/或通过3D模型扫描设备获取各样本的3D样本模型。
进一步地，本发明提供的一个优选技术方案为：
所述对各3D样本模型的各顶点进行语义对应，具体包括：采用非刚体配准方法对3D样本模型进行语义对应。
进一步地，本发明提供的一个优选技术方案为：所述构建三维形变模型，具体包括：
依据所述各语义对应后的3D样本模型的三维坐标，构建与各3D样本模型对应的各一维列向量；其中，所述一维列向量的各元素为3D样本模型内各顶点的三维坐标；
将所有3D样本模型的一维列向量逐列拼接，得到3D样本模型矩阵；
采用所述主成分分析法分析所述3D样本模型矩阵，得到所述目标物体所属类别物体的三维形变模型。
进一步地，本发明提供的一个优选技术方案为：所述依据观测线索估计支撑平面的三维法向量，具体包括：
采样标注在待测图像中平行于支撑平面的两个不同方向上的各直线段的端点，并依据采样得到的各端点计算待测图像在所述两个方向的消隐点；
依据所述消隐点的三维齐次坐标，构建所述支撑平面的消隐线方程；其中，所述支撑平面的消隐线为所述消隐点的连接线所在的直线；
依据所述消隐线方程和相机内参数计算所述支撑平面的三维法向量；
其中，对所述端点进行多次采样，进而得到多组三维法向量。
进一步地，本发明提供的一个优选技术方案为：所述采样各直线段的端点，具体包括：
设定所述各端点的中心点的二维坐标为均值，所述各中心点的测量不确定度为标准差，并采用高斯分布采样方法对各直线段的端点进行采样。
进一步地，本发明提供的一个优选技术方案为：
所述计算待测图像在各方向的消隐点，具体包括：采用最大似然估计方法计算各方向的消隐点；
所述构建支撑平面的消隐线方程，具体包括：采用两点式直线方程计算公式构建消隐线方程。
进一步地，本发明提供的一个优选技术方案为：所述三维法向量的计算公式如下式所示：
n＝KTl
其中，所述n为支撑平面在相机坐标系下的三维法向量，所述K为相机内参数的矩阵，所述T为矩阵转置符号，所述l为消隐线方程。
进一步地，本发明提供的一个优选技术方案为：所述依据观测线索和三维形变模型估计目标物体的三维姿态，具体包括：
依据所述待测图像中目标物体的特征观测点和所述三维形变模型构建拟合所述三维形变模型的目标函数，并对所述目标函数进行优化计算，得到优化后的所述目标物体的三维姿态参数和三维形状参数；
其中，对所述目标函数进行多次参数初始化，进而得到多组优化后的三维姿态参数和三维形状参数。
进一步地，本发明提供的一个优选技术方案为：所述目标函数的计算公式如下式所示：
其中，所述N和n分别为所述待测图像中目标物体的特征观测点的总数和序号；所述cn为所述目标物体的第n个特征观测点，所述
为三维形变模型的二维投影的第m个特征观测点；所述为特征观测点cn与特征观测点
之间的欧式距离的平方；所述θp和θs分别为目标物体的三维姿态参数和三维形状参数；所述θc为相机内参数；
所述目标函数的约束条件如下式所示：
|(θs)n|≤kσn
其中，所述(θs)n为第所述目标物体的三维形状参数的第n个分量；所述σn为采用主成分分析法构建三维形变模型时第n个主成分方向的标准差，所述k为预设的常数。
进一步地，本发明提供的一个优选技术方案为：所述对目标函数进行优化计算包括采用迭代最近点算法优化所述目标函数，具体包括：
获取所述三维形变模型的二维投影的特征观测点中与所述待测图像中目标物体的特征观测点距离最近的各最近点，依据所述待测图像中目标物体的各特征观测点与其对应的各最近点的对应关系修正所述三维形变模型与其二维投影的对应关系；
对修正后的三维形变模型进行参数优化，并重新修正所述参数优化后的三维形变模型与其二维投影的对应关系，直至所述目标函数的残差满足收敛条件或达到预设的迭代次数；所述参数包括三维姿态参数和三维形状参数。
进一步地，本发明提供的一个优选技术方案为：所述对目标函数进行多次参数初始化，具体包括：
随机选取以预设参数值为中心的参数分散区域内的多个参数，并将所述的多个参数分别作为对目标函数进行各次优化计算的参数初始值。
进一步地，本发明提供的一个优选技术方案为：所述方法包括按照下式计算目标物体与支撑平面之间，和/或多个目标物体之间的平行度，具体为：
其中，所述为一个目标物体的平面法向量的分布集合，所述
为所述支撑平面的三维法向量的分布集合或另一个目标物体的平面法向量的分布集合；所述
为分布集合
与分布集合
的平均方向的夹角；所述p0为分布集合的加权平均值，所述q0为分布集合
的加权平均值；所述Ang为夹角计算函数；
任一分布集合
的加权平均值g0的计算公式如下式所示：
其中，所述分布集合
为目标物体的平面法向量的分布集合或支撑平面的三维法向量的分布集合；所述ga为分布集合
内第a个法向量，所述A为分布集合
内法向量的总数；
所述ea为第a个法向量ga的残差：当所述分布集合
为目标物体的平面法向量的分布集合时，所述残差ea的取值为对构建三维形变模型的目标函数进行优化计算得到的满足收敛条件的残差；当所述分布集合
为支撑平面的三维法向量的分布集合，所述残差ea的取值为固定的常数。
进一步地，本发明提供的一个优选技术方案为：所述方法还包括依据所述待测图像内真实的目标物体和篡改的目标物体的平行度概率密度分布，计算用于判断待测图像是否为篡改图像的平行度阈值和篡改概率；具体为：
所述篡改概率的计算公式如下式所示：
其中，所述y＝1表示待测图像为篡改图像，y＝0表示待测图像为真实图像；所述D为待测图像内目标物体与支撑平面之间的平行度；所述P(y＝1|D)表示目标物体的平行度为D时待测图像为篡改图像的概率，所述f(D|y＝1)表示待测图像为篡改图像时平行度D的概率密度，所述f(D|y＝0)表示待测图像为真实图像时平行度D的概率密度；所述待测图像为篡改图像和真实图像的先验概率相当；
所述平行度阈值为篡改概率为50％时对应的平行度D50％。
第二方面，本发明中一种图像篡改取证装置的技术方案是：
所述装置包括：
观测线索标注模块，用于标注待测图像的观测线索；其中，所述待测图像包括具有平面接触关系的目标物体与支撑平面；
三维形变模型构建模块，用于构建所述目标物体所属类别物体的三维形变模型；
支撑平面法向量估计模块，用于依据所述观测线索估计所述支撑平面的三维法向量；
目标物体法向量估计模块，用于依据所述观测线索和三维形变模型估计所述目标物体的三维姿态，进而得到所述目标物体中与支撑平面接触一侧所在平面的平面法向量；
判断模块，用于依据所述三维法向量和平面法向量，计算所述目标物体与支撑平面之间，和/或多个所述目标物体之间的平行度，并依据所述平行度判断所述待测图像是否为篡改图像；其中，所述平行度为不同平面的法向量的夹角。
与现有技术相比，上述技术方案至少具有以下有益效果：
1、本发明提供的一种图像篡改取证方法，通过检测待测图像中具有平面接触关系的目标物体与支撑平面之间的平行度，并依据平行度的大小判断待测图像是否为篡改图像，该方法不依赖于待测图像中微小的图像统计特征，能够有效判断低质量图像是否为篡改图像。
2、本发明提供的一种图像篡改取证装置，其支撑平面法向量估计模块可以估计支撑平面的三维法向量，目标物体法向量估计模块可以估计目标物体的平面法向量，判断模块可以依据上述三维法向量和平面法向量计算目标物体与支撑平面之间，和/或多个目标物体之间的平行度，并依据平行度有效判断低质量图像是否为篡改图像。
附图说明
图1是本发明实施例中一种图像篡改取证方法的实施流程图；
图2是本发明实施例中目标物体与支撑平面的接触关系示意图；
图3是本发明实施例中一种图像篡改取证装置的结构示意图；
图4是本发明实施例中鞋子的三维形变模型示意图；
图5是依据目标物体ID1拟合三维形变模型得到的三维姿态示意图；
图6是依据目标物体ID2拟合三维形变模型得到的三维姿态示意图；
图7是法向量分布集合示意图；
图8是经过语义对应后的3D样本模型示意图；
图9是对三维形变模型拟合后得到的三维姿态示意图一；
图10是对三维形变模型拟合后得到的三维姿态示意图二；
图11是对三维形变模型拟合后得到的三维姿态示意图三；
图12是真实的目标物体与篡改的目标物体的平行度概率密度分布；
其中，11：观测线索标注模块；12：三维形变模型构建模块；13：支撑平面法向量估计模块；14：目标物体法向量估计模块；15：判断模块；211：鞋子ID1中左侧鞋子的三维姿态221：鞋子ID1中右侧鞋子的三维姿态；231：鞋子ID2中左侧鞋子的三维姿态；232：鞋子ID2中左侧鞋子的初步三维姿态；233：鞋子ID2中左侧鞋子的中间三维姿态；234：鞋子ID2中左侧鞋子的最终三维姿态；241：鞋子ID2中右侧鞋子的三维姿态；242：鞋子ID2中右侧鞋子的初步三维姿态；243：鞋子ID2中右侧鞋子的中间三维姿态；244：鞋子ID2中右侧鞋子的最终三维姿态；41：皮鞋的3D样本模型；42：经过语义对应后的皮鞋3D样本模型；51：休闲鞋的3D样本模型；52：经过语义对应后的休闲鞋3D样本模型；61：运动鞋的3D样本模型；62：经过语义对应后的运动鞋3D样本模型；71：鞋子ID1的平面法向量分布；72：鞋子ID2的平面法向量分布；73：地面的三维法向量分布。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
平面接触关系指的是物体与支撑该物体的部件之间存在一个接触平面，例如：地面上站立的人，则地面与人的鞋底之间存在平面接触关系；路上的汽车，则路面与汽车的轮胎底面之间存在平面接触关系；桌子上的瓶子，则桌面与瓶底之间存在平面接触关系。由于目标物体与支撑平面之间存在平面接触关系，则目标物体所在的坐标系应当与支撑平面所在的坐标系相平行，且与支撑平面具有相同平面接触关系的不同目标物体之间的坐标系也应当相平行。图2示例性示出了目标物体与支撑平面的接触关系，如图所示，O1z1与Opzp平行，且与O2z2平行。当图像为篡改图像时，例如待测图像为利用PS软件拼接形成的图像，被拼接的物体很难在三维场景中与支撑平面产生实际上的平面接触关系，即图像拼接可能破坏待测图像的平面接触约束。本发明提出的一种图像篡改取证方法，通过检测图像中目标物体与其支撑平面之间平面法向量的夹角大小判断待测图像是否为篡改图像，若夹角为0°则表示目标物体与其支撑平面之间平面法向量完全平行，待测图像为真实图像；若夹角越大则待测图像为篡改图像的可能性越大。
下面结合附图，对本发明实施例提供的一种图像篡改取证方法进行具体说明。
图1示例性示出了一种图像篡改取证方法的实施流程，如图所示，本实施例中可以按照下述步骤判断待测图像是否为篡改图像，具体步骤为：
步骤S101：标注待测图像的观测线索。
本实施例中标注观测线索包括标注目标物体的特征观测点和标注待测图像中平行于支撑平面的两个不同方向上的直线段的端点两个方面。
其中，标注目标物体的特征观测点可以采用人工交互式的鼠标拖拽方法标注目标物体的各轮廓点，形成目标物体的轮廓。
标注直线段的端点可以按照下述步骤实施：
1、采用人工交互式的鼠标点选方法标注各直线段两端的中心点。本实施例中各方向上的直线段应当包括多个平行的直线段，例如每个方向的直线段均可以包括两个平行的直线段，即需要标注四条直线段的八个端点的中心点。同时，还可以选取待测图像中已有的平行于支撑平面的直线段，进行端点标注。
2、由于待测图像的显示效果限制，即使是待测图像中已有的直线段也存在一定的模糊程度，因此还要依据各直线段的边缘点模糊程度设定各中心点的测量不确定度，再依据各测量不确定度标注各中心点的分散区域。综上，本实施例中标注的直线段端点包括中心点及其分散区域，通过标注分散区域可以弥补中心点分布的不确定性。
步骤S102：构建目标物体所属类别物体的三维形变模型。
其中，目标物体所属类别物体是目标物体的上位概念，指的是目标物体所属类型的物体，例如目标物体为运动鞋，可以确定运动鞋的所属类别物体为鞋子，具体可以包括运动鞋、皮鞋或休闲鞋等多种类型的鞋子，而目标物体所属类别物体的三维形变模型指的鞋子的三维形变模型。
本实施例中可以按照下述步骤构建目标物体所属类别物体的三维形变模型，具体包括：
1、获取多个归类于目标物体所属类别物体的样本的3D样本模型，这些样本与目标物体属于同一个类型。本实施例中可以通过获取下载制图软件中已存储的3D样本模型，如CAD软件，也可以采用kinect等3D模型扫描设备对样本的实物直接进行三维扫描，得到各样本的3D样本模型。
2、对步骤(1)得到的所有3D样本模型的各顶点进行语义对应。该步骤属于3D模型的模型配准领域，因此本实施例可以采用non-rigid ICP等非刚体配准方法对各3D样本模型的各顶点进行语义对应。
3、采用主成分分析法(principal component analysis，PCA)分析所有经过语义对应后的3D样本模型，以构建目标物体所属类别物体的三维形变模型。具体为：
(1)将每个3D样本模型表示为一个维列向量。首先获取经过语义对应后的各3D样本模型的三维坐标，将每个3D样本模型的各顶点的三维坐标作为一维列向量的各元素。本实施例中3D样本模型的一维列向量可以如下式(1)所示：
公式(1)中各参数含义为：1≤i≤Ns，i和Ns分别为经过语义对应后的3D样本模型的序号和总数；
为第i个3D样本模型中第j个顶点的三维坐标，1≤j≤Nv，j和Nv分别为一个3D样本模型中顶点的序号和总数。
(2)将Ns个3D样本模型的一个维列向量逐列拼接，构成3D样本模型矩阵。
(3)采用主成分分析法PCA分析步骤(2)得到的3D样本模型矩阵，可以得到目标物体所属类别物体的三维形变模型(S0,Φ)，其中S0为平均形状，Φ为主变化方向矩阵。主变化方向矩阵Φ中每一列代表一个显著的形状变化方向，同时每一列的维度与3D样本模型的一维列向量Si的维度相同。本实施例中依据三维形变模型(S0,Φ)可以将目标物体所属类别物体的一个新的形状表示为如下式(2)所示的线性方程：
S(θs)＝S0+Φθs (2)
其中，θs为三维形状参数。
步骤S103：依据观测线索估计支撑平面的三维法向量，具体步骤为：
1、首先对标注在待测图像中平行于支撑平面的两个不同方向上的各直线段的端点进行一次采样，得到各直线段的端点坐标。本实施例中可以采用高斯分布采样方法对各直线段的端点进行采样，具体地，可以将各端点的中心点的二维坐标设定为高斯分布的均值，将各中心点的测量不确定度设定为高斯分布的标准差。
2、基于不平行于成像平面的平行线会相交于消隐点(vanish point)，可以依据各端点计算待测图像在两个不同方向的消隐点，将这两个消隐点连接即可以得到支撑平面的消隐线。
本实施例中可以采用最大似然估计方法计算各方向的消隐点，使得观测直线段端点的似然概率最大，在得到两个消隐点的坐标后可以采用两点式直线方程计算公式构建消隐线方程。
3、按照下式(3)计算支撑平面的三维法向量，具体为：
n＝KTl (3)
公式(3)中各参数含义为：n为支撑平面在相机坐标系下的三维法向量，K为相机内参数的矩阵，T为矩阵转置符号，l为消隐线方程。本实施例中相机内参数可以采用常规方法获取：一是可以假设相机的相机内参数的矩阵为已知的，其中相机光心位置位于待测图像的中心，相机焦距通过相机的图片头文件获得，如EXIF；二是可以通过待测图像中三组相互垂直的平行直线计算得到。
由前述步骤S101可知，直线段端点包括一定的分散区域，因此本实施例中可以对直线段端点进行多次采样，例如设置采样次数为500，重复执行步骤1-3，从而得到多组支撑平面的三维法向量。
步骤S104：依据观测线索和三维形变模型估计目标物体的三维姿态，进而得到目标物体中与支撑平面接触一侧所在平面的平面法向量。本实施例中以步骤S101中标注目标物体的特征观测点得到的目标物体轮廓为拟合目标，拟合步骤S102中构建的三维形变模型，从而可以得到目标物体三维姿态的三维姿态参数和三维形状参数，最后依据目标物体的三维姿态参数确定平面法向量。具体为：
1、依据待测图像中目标物体的特征观测点和三维形变模型构建拟合三维形变模型的目标函数，其计算公式如下式(4)所示：
公式(4)中各参数含义为：N和n分别为待测图像中目标物体的特征观测点总数和序号；cn为目标物体的第n个特征观测点，
为三维形变模型的二维投影的第m个特征观测点；
为特征观测点cn与特征观测点
之间的欧式距离的平方；θp和θs分别为目标物体的三维姿态参数和三维形状参数；θc为相机内参数。本实施例中目标函数的优化目标为通过优化目标物体的三维姿态参数和三维形状参数，最小化待测图像中目标物体的轮廓与三维形变模型二维投影的轮廓之间的欧式距离。本实施例特征观测点cn为待测图像中目标物体的轮廓点，特征观测点
为三维形变模型的二维投影的轮廓点。
其中，可以按照下式(5)获取特征观测点
其中，目标函数的约束条件可以如下式(6)所示：
|(θs)n|≤kσn (6)
公式(5)和(6)中各参数含义为：表示从三维形变模型二维投影中抽取其轮廓的操作。(θs)n为目标物体的三维形状参数的第n个分量；σn为采用主成分分析法构建三维形变模型时第n个主成分方向的标准差，k为预设的常数。
2、对目标函数进行优化计算，从而得到优化后的目标物体的三维姿态参数和三维形状参数。本实施例中可以采用迭代最近点算法优化所述目标函数，具体包括：
(1)对目标函数进行一次参数初始化。其中，参数包括三维姿态参数和三维形状参数。
(2)获取三维形变模型的二维投影的特征观测点中与待测图像中目标物体的特征观测点距离最近的各最近点，依据待测图像中目标物体的各特征观测点与其对应的各最近点的对应关系修正三维形变模型与其二维投影的对应关系。
(3)对修正后的三维形变模型进行参数优化，并判断目标函数的残差满足收敛条件或达到预设的迭代次数：若不满足收敛条件和/或未达到预设的迭代次数，则返回步骤(1)重新修正参数优化后的三维形变模型与其二维投影的对应关系。其中，本实施例中可以采用最小二乘法进行参数优化。
由于公式(4)所示的目标函数是严重非凸的，其优化结果依赖于参数初始值的选取，因为为了减弱参数初始值导致的优化结果不确定性，本实施例中需要进行多次迭代计算并在每次迭代过程中均对目标函数进行参数初始化，例如设置参数初始化次数为20次，可以得到多组优化后的三维姿态参数和三维形状参数，进而可以得到多组目标物体的平面法向量。其中，可以按照下述步骤对目标函数进行参数初始化，具体为：首先依据给定的预设参数值，设置一个以该预设参数值为中心的参数分散区域，然后随机选取该参数分散区域内的一个参数作为对目标函数进行参数初始化时的参数初始值。
进一步地，本实施例中还提供了一种优化目标函数的优选技术方案，具体是：对共享一组三维形状参数的多个目标物体对应的目标函数，可以同时进行优化计算，以减少参数自由度，提高目标物体的拟合精度。例如，对于站在地面上的人，人的两只鞋子与地面之间存在平面接触关系，且这两只鞋子满足共面约束，又共享一组三维形状参数。因此可以对这两只鞋子对于的目标函数同时进行优化计算。
步骤S105：计算目标物体与支撑平面之间，和/或多个目标物体之间的平行度，并依据平行度判断待测图像是否为篡改图像。本实施例中利用不同平面间的平行度评价待测图像的姿态一致性，不同平面之间的平行度可以用不同平面的法向量的夹角表示。
由前述步骤S103可知在支撑平面的三维法向量估计过程中，得到了多组三维法向量，由前述步骤S104可知在目标物体中与支撑平面接触一侧所在平面的平面法向量估计过程中，得到了多组平面法向量。本实施例中将三维法向量和平面法向量均看作平面上的一个点，即可以用集合
表示一个目标物体的平面法向量的分布集合，用集合
表示支撑平面的三维法向量的分布集合或另一个目标物体的平面法向量的分布集合。具体地，可以按照下式(7)计算目标物体与支撑平面之间，和/或多个目标物体之间的平行度：
公式(7)中各参数含义为：
为分布集合
与分布集合
的平均方向的夹角；p0为分布集合的加权平均值，q0为分布集合
的加权平均值；Ang为夹角计算函数。
其中，分布集合和分布集合
的加权平均值的计算方法相同，因此本实施例设定一个任一分布集合该分布集合
既可以为目标物体的平面法向量的分布集合，也可以为支撑平面的三维法向量的分布集合，以该分布集合
为例介绍加权平均值的计算方法，具体地，可以按照下式(8)计算布集合
的加权平均值g0：
公式(8)中各参数含义为：ga为分布集合
内第a个法向量，A为分布集合
内法向量的总数；ea为第a个法向量ga的残差：当分布集合
为目标物体的平面法向量的分布集合时，残差ea的取值为对构建三维形变模型的目标函数进行优化计算得到的满足收敛条件的残差；当分布集合
为支撑平面的三维法向量的分布集合，残差ea的取值为固定的常数，例如可以为1。
本实施例中通过计算目标物体与支撑平面之间，和/或多个目标物体之间的平行度，以平行度的大小判断待测图像是否为篡改图像：平行度越大，则待测图像为篡改图像的可能性越大。
优选的，本发明还提供了一种在已知待测图像中真实的目标物体和篡改的目标物体的平行度的情况下，计算用于判断待测图像是否为篡改图像的平行度阈值和篡改概率的技术方案。具体地，可以按照下述步骤计算待测图像的篡改概率：
1、获取待测图像内真实的目标物体和篡改的目标物体的平行度概率密度分布。
2、按照下式(9)计算待测图像的篡改概率：
公式(9)中各参数含义为：y＝1表示待测图像为篡改图像，y＝0表示待测图像为真实图像；D为待测图像内目标物体与支撑平面之间的平行度；P(y＝1|D)表示目标物体的平行度为D时待测图像为篡改图像的概率，f(D|y＝1)表示待测图像为篡改图像时平行度D的概率密度，f(D|y＝0)表示待测图像为真实图像时平行度D的概率密度。
本实施例中待测图像为篡改图像和真实图像的先验概率相当，即P(y＝1)＝P(y＝0)，因此公式(9)可以变换为：
本实施例中可以比较多个目标物体与支撑平面之间平行度，并结合公式(10)计算得到的各目标物体的篡改概率，综合判断待测图像是否为篡改图像。例如，地面上站立的两个人，并设定一个人所穿的鞋子为鞋子A，另一个所穿的鞋子为鞋子B，人的两只鞋子为目标物体，地面为支撑平面。其中，鞋子A与地面的平行度为0.59°，篡改概率为15.6％；鞋子B与地面的平行度为16.56°，篡改概率为96.9％；两双鞋子之间的平行度为16.63°，篡改概率为96.9％。综合上述数据，可以判断出鞋子B为篡改后的图像，鞋子A为真实的图像，因此待测图像“穿鞋子B的人”是篡改图像。
3、按照公式(10)计算P(y＝1|D)＝50％时的平行度D50％，并将该平行度D50％作为平行度阈值。当待测图像中目标物体与支撑平面之间的平行度大于平行度阈值时，则认定待测图像为篡改图像；当待测图像中目标物体与支撑平面之间的平行度不大于平行度阈值时，则认定待测图像为真实图像。本实施例中对于上述待测图像“地面上站立的人”，依据公式(10)计算得到平行度D50％＝4.61°，由于0.59＜4.61则鞋子A为真实的图像，16.56＞4.61则鞋子B为篡改的图像，因此待测图像“地面上站立的人”是篡改图像。
本实施例提供的图像篡改取证方法，基于计算机视觉与图像识别技术，通过检测待测图像内具有平面接触关系的目标物体及支撑平面之间平行度，判断待测图像是否为篡改图像，该方法不依赖于对待测图像中微小图像的统计特征，因此能够对低质量图像进行有效的篡改取证。
上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述，但是本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时(并行)执行或以颠倒的次序执行，这些简单的变化都在本发明的保护范围之内。
下面以包含地面、墙壁、天花板、两个站在地面上的人和放置在地面上的水桶的待测图像为例，对本发明提供的图像篡改取证方法进行效果验证，具体为：
1、待测图像包含了多组具有平面接触关系的目标物体和支撑平面，本实施例中选取站在地面上的人的鞋子作为目标物体，地面作为支撑平面，并将待测图像中左侧站立的人的鞋子设定为ID1，右侧站立的人的鞋子设定为ID2，同时水桶和左侧的人为真实的图像，右侧的人为拼接到待测图像的图像。
2、采用人工交互式的拖拽方法标注鞋子ID1和ID2的轮廓点。
3、由于待测图像的天花板上存在多个与地面平行的直线段，本实施例中选取相互垂直的两组直线段，每组直线段包括两个平行的直线段。采用人工交互式的点选方法标注各直线段的各端点。
4、采用网络下载的方式获取CAD软件中已有的鞋子样本的3D样本模型。本发明实施例中鞋子类样本的3D样本模型，主要包括运动鞋的3D样本模型、皮鞋的3D样本模型和休闲鞋的3D样本模型等多种3D样本模型。
5、对所有的3D样本模型进行模型配准，使得各3D样本模型的各顶点语义对应。图8示例性示出了经过语义对应后的3D样本模型，如图所示，第一行为模型配准之前的皮鞋的3D样本模型41、休闲鞋的3D样本模型51和运动鞋的3D样本模型61，第二行为模型配准之后的皮鞋的3D样本模型42、休闲鞋的3D样本模型52和运动鞋的3D样本模型的3D样本模型62。
6、采用主成分分析法对所有经过语义对应的3D样本模型进行分析，得到鞋子类物体的三维形变模型。其中，图4示例性示出了鞋子的三维形变模型示意图。
7、依据步骤2标注的鞋子ID1和ID2的轮廓点，以及步骤6得到的鞋子类物体的三维形变模型，估计鞋子ID1底面的平面法向量的分布集合，和鞋子ID2底面的平面法向量的分布集合。其中，图5示例性示出了依据目标物体ID1拟合三维形变模型得到的三维姿态，如图所示，左侧图像为鞋子ID1中左侧鞋子的三维姿态211，右侧图像为鞋子ID1中右侧鞋子的三维姿态221。图6示例性示出了依据目标物体ID2拟合三维形变模型得到的三维姿态示，如图所示，左侧图像为鞋子ID2中左侧鞋子的三维姿态231，右侧图像为鞋子ID2中右侧鞋子的三维姿态241。图9～11示例性示出了对三维形变模型拟合后得到的三维姿态，如图所示，图9中左侧图像为鞋子ID2中左侧鞋子的初步三维姿态232，右侧图像为鞋子ID2中右侧鞋子的初步三维姿态，图10中左侧图像为鞋子ID2中左侧鞋子的中间三维姿态233，右侧图像为鞋子ID2中右侧鞋子的中间三维姿态243，图11中左侧图像为鞋子ID2中左侧鞋子的最终三维姿态234，右侧图像为鞋子ID2中右侧鞋子的最终三维姿态244。
8、依据步骤3标注的各直线段的端子，估计地面的三维法向量的分布集合。
图7示例性示出了法向量分布集合，如图所示，横纵坐标分别代表法向量的方位角(azimuth)和天顶角(zenith)。鞋子ID1的平面法向量分布71、鞋子ID2的平面法向量分布72和地面的三维法向量分布73均以点集的形式呈现在二维坐标内，各点集内的一个点即代表一个法向量。
9、依据步骤7和步骤8中得到分布集合，并按照公式(7)和(8)计算的各分布集合之间的在平均方向上的夹角，即可以得到鞋子ID1与鞋子ID2之间、鞋子ID1与地面之间，及鞋子ID2与地面之间的平行度。经过实验数据计算可得鞋子ID1与地面的平行度为0.59°，鞋子ID2与地面的平行度为16.56°，两只鞋子之间的平行度为16.63°，由前述可知平行度越大则待测图像或目标物体为篡改图像的可能性越大，因此综合上述数据，可以判断出鞋子ID2为篡改后的图像，鞋子ID1为真实的图像，该判断结果与步骤1给出的已知结果相同，说明该图像篡改取证方法能够有效检测待测图像是否为篡改图像。
10、根据实验数据获取鞋子ID1与鞋子ID2的平行度概率密度分布，并按照公式(9)和(10)计算待测图像的篡改概率，进而得到平行度阈值。图12示例性示出了真实的目标物体与篡改的目标物体的平行度概率密度分布，如图所示，两条曲线的交点为平行度阈值，也就是篡改概率为50％的点。由公式(10)计算得到平行度阈值D50％＝4.61°，通过计算得到待测图像中水桶与地面之间的平行度小于4.61则判断水桶为真实的图像。
本实施例通过对待测图像中已知的真实目标物体和拼接目标物体进行平行度检测和图像判断，判断结果与已知结果相同，证明了本发明提供的图像篡改取证方法能够有效检测待测图像是否为篡改图像。
基于与方法实施例相同的技术构思，本发明实施例还提供一种图像篡改取证装置。下面结合附图对该图像篡改取证装置进行具体说明。
图3示例性示出了本发明实施例中一种图像篡改取证装置的结构，如图所示，本实施例中图像篡改取证装置可以包括观测线索标注模块11、三维形变模型构建模块12、支撑平面法向量估计模块13、目标物体法向量估计模块14和判断模块15。其中，观测线索标注模块11用于标注待测图像的观测线索；三维形变模型构建模块12用于构建目标物体所属类别物体的三维形变模型；支撑平面法向量估计模块13用于依据观测线索估计所述支撑平面的三维法向量；目标物体法向量估计模块14用于依据观测线索和三维形变模型估计目标物体的三维姿态，进而得到目标物体中与支撑平面接触一侧所在平面的平面法向量；判断模块15用于依据三维法向量和平面法向量，计算目标物体与支撑平面之间，和/或多个目标物体之间的平行度，并依据平行度判断所述待测图像是否为篡改图像。
进一步地，本实施例中观测线索标注模块11还可以用于标注待测图像中目标物体的特征观测点的第一标注单元，以及用于标注待测图像中平行于支撑平面的两个不同方向上的直线段的端点的第二标注单元。
进一步地，本实施例中三维形变模型构建模块12还可以包括模型配准单元和模型构建单元。其中，模型配准单元用于获取多个归类于目标物体所属类别物体的样本的3D样本模型，并对各3D样本模型的各顶点进行语义对应；模型构建单元用于依据所有经过语义对应后的3D样本模型，并采用主成分分析法构建三维形变模型。
进一步地，本实施例中支撑平面法向量估计模块13还可以包括消隐点计算单元、消隐线计算单元和三维法向量计算单元。其中，消隐点计算单元用于采样标注在待测图像中平行于支撑平面的两个不同方向上的各直线段的端点，并依据采样得到的各端点计算待测图像在各方向的消隐点；消隐线计算单元用于依据消隐点的三维齐次坐标，构建所述支撑平面的消隐线方程；三维法向量计算单元，用于依据消隐线方程和相机内参数计算支撑平面的三维法向量。
进一步地，本实施例中目标物体法向量估计模块14还可以包括目标函数构建单元、目标函数优化计算单元和平面法向量计算单元。其中，目标函数构建单元，用于依据所述待测图像中目标物体的特征观测点和所述三维形变模型构建拟合所述三维形变模型的目标函数；目标函数优化计算单元，用于对目标函数进行优化计算，得到优化后的目标物体的三维姿态参数和三维形状参数；平面法向量计算单元，用于依据三维姿态参数计算目标物体中与支撑平面接触一侧所在平面的平面法向量。
进一步地，本实施例中判断模块15还可以包括平行度计算单元，其所包含的平行度计算模型如公式(7)和(8)所示。
优选的，本实施例还提供了一种图像篡改取证装置的优选实施方案，具体为本实施例中图像篡改取证装置还包括平行度阈值计算单元和篡改概率计算单元。其中，篡改概率计算单元的计算模型如公式(9)和(10)所示；平行度阈值计算单元，用于计算篡改概率为50％时对应的平行度D50％，并将该平行度D50％作为平行度阈值。
上述图像篡改取证装置实施例可以用于执行上述图像篡改取证方法实施例，其技术原理、所解决的技术问题及产生的技术效果相似，所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的图像篡改取证的具体工作过程及有关说明，可以参考前述图像篡改取证方法实施例中的对应过程，在此不再赘述。
本领域技术人员可以理解，上述图像篡改取证装置还包括一些其他公知结构，例如处理器、控制器、存储器等，其中，存储器包括但不限于随机存储器、闪存、只读存储器、可编程只读存储器、易失性存储器、非易失性存储器、串行存储器、并行存储器或寄存器等，处理器包括但不限于CPLD/FPGA、DSP、ARM处理器、MIPS处理器等，为了不必要地模糊本公开的实施例，这些公知的结构未在图3中示出。
本领域技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的服务器、客户端中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，PC程序和PC程序产品)。这样的实现本发明的程序可以存储在PC可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的PC来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (18)
1.一种图像篡改取证方法，其特征在于，所述方法包括：
标注待测图像的观测线索；其中，所述待测图像包括具有平面接触关系的目标物体与支撑平面；
构建所述目标物体所属类别物体的三维形变模型；
依据所述观测线索估计所述支撑平面的三维法向量；
依据所述观测线索和三维形变模型估计所述目标物体的三维姿态，进而得到所述目标物体中与支撑平面接触一侧所在平面的平面法向量；
依据所述三维法向量和平面法向量，计算所述目标物体与支撑平面之间，和/或多个所述目标物体之间的平行度，并依据所述平行度判断所述待测图像是否为篡改图像；其中，所述平行度为不同平面的法向量的夹角。
2.根据权利要求1所述的图像篡改取证方法，其特征在于，所述标注待测图像的观测线索，具体包括：
标注所述待测图像中目标物体的特征观测点，及标注所述待测图像中平行于支撑平面的两个不同方向上的直线段的端点；
其中，所述特征观测点包括所述目标物体的轮廓点；所述各方向上的直线段包括多个平行的直线段。
3.根据权利要求2所述的一种图像篡改取证方法，其特征在于，
所述标注目标物体的轮廓点，具体包括：采用人工交互式的鼠标拖拽方法标注所述目标物体的各轮廓点；
所述标注各直线段的端点，具体包括：
采用人工交互式的鼠标点选方法标注所述各直线段两端的中心点；
依据所述各直线段的边缘点模糊程度设定所述各中心点的测量不确定度，并依据所述各测量不确定度标注所述各中心点的分散区域。
4.根据权利要求1所述的图像篡改取证方法，其特征在于，所述构建目标物体所属类别物体的三维形变模型，具体包括：
获取多个归类于所述目标物体所属类别物体的样本的3D样本模型，并对所述各3D样本模型的各顶点进行语义对应；
依据所有经过语义对应后的3D样本模型，并采用主成分分析法构建所述三维形变模型。
5.根据权利要求4所述的图像篡改取证方法，其特征在于，所述获取多个归类于目标物体所属类别物体的样本的3D样本模型，具体包括：获取预设在制图软件中的3D样本模型，和/或通过3D模型扫描设备获取各样本的3D样本模型。
6.根据权利要求4所述的图像篡改取证方法，其特征在于，所述对各3D样本模型的各顶点进行语义对应，具体包括：采用非刚体配准方法对3D样本模型进行语义对应。
7.根据权利要求4所述的图像篡改取证方法，其特征在于，所述构建三维形变模型，具体包括：
依据所述各语义对应后的3D样本模型的三维坐标，构建与各3D样本模型对应的各一维列向量；其中，所述一维列向量的各元素为3D样本模型内各顶点的三维坐标；
将所有3D样本模型的一维列向量逐列拼接，得到3D样本模型矩阵；
采用所述主成分分析法分析所述3D样本模型矩阵，得到所述目标物体所属类别物体的三维形变模型。
8.根据权利要求1所述的图像篡改取证方法，其特征在于，所述依据观测线索估计支撑平面的三维法向量，具体包括：
采样标注在待测图像中平行于支撑平面的两个不同方向上的各直线段的端点，并依据采样得到的各端点计算待测图像在所述两个不同方向的消隐点；
依据所述消隐点的三维齐次坐标，构建所述支撑平面的消隐线方程；其中，所述支撑平面的消隐线为所述消隐点的连接线所在的直线；
依据所述消隐线方程和相机内参数计算所述支撑平面的三维法向量；
其中，对所述端点进行多次采样，进而得到多组三维法向量。
9.根据权利要求8所述的图像篡改取证方法，其特征在于，所述采样各直线段的端点，具体包括：
设定所述端点的中心点的二维坐标为均值，所述中心点的测量不确定度为标准差，并采用高斯分布采样方法对各直线段的端点进行采样。
10.根据权利要求8所述的图像篡改取证方法，其特征在于，
所述计算待测图像在各方向的消隐点，具体包括：采用最大似然估计方法计算各方向的消隐点；
所述构建支撑平面的消隐线方程，具体包括：采用两点式直线方程计算公式构建消隐线方程。
11.根据权利要求8所述的图像篡改取证方法，其特征在于，所述三维法向量的计算公式如下式所示：
n＝KTl
其中，所述n为支撑平面在相机坐标系下的三维法向量，所述K为相机内参数的矩阵，所述T为矩阵转置符号，所述l为消隐线方程。
12.根据权利要求1所述的图像篡改取证方法，其特征在于，所述依据观测线索和三维形变模型估计目标物体的三维姿态，具体包括：
依据所述待测图像中目标物体的特征观测点和所述三维形变模型构建拟合所述三维形变模型的目标函数，并对所述目标函数进行优化计算，得到优化后的所述目标物体的三维姿态参数和三维形状参数；
其中，对所述目标函数进行多次参数初始化，进而得到多组优化后的三维姿态参数和三维形状参数。
13.根据权利要求12所述的图像篡改取证方法，其特征在于，所述目标函数的计算公式如下式所示：
其中，所述N和n分别为所述待测图像中目标物体的特征观测点的总数和序号；所述cn为所述目标物体的第n个特征观测点，所述
为三维形变模型的二维投影的第m个特征观测点；所述
为特征观测点cn与特征观测点
之间的欧式距离的平方；所述θp和θs分别为目标物体的三维姿态参数和三维形状参数；所述θc为相机内参数；
所述目标函数的约束条件如下式所示：
|(θs)n|≤kσn
其中，所述(θs)n为所述目标物体的三维形状参数的第n个分量；所述σn为采用主成分分析法构建三维形变模型时第n个主成分方向的标准差，所述k为预设的常数。
14.根据权利要求12所述的图像篡改取证方法，其特征在于，所述对目标函数进行优化计算包括采用迭代最近点算法优化所述目标函数，具体包括：
获取所述三维形变模型的二维投影的特征观测点中与所述待测图像中目标物体的特征观测点距离最近的各最近点，依据所述待测图像中目标物体的各特征观测点与其对应的各最近点的对应关系修正所述三维形变模型与其二维投影的对应关系；
对修正后的三维形变模型进行参数优化，并重新修正所述参数优化后的三维形变模型与其二维投影的对应关系，直至所述目标函数的残差满足收敛条件或达到预设的迭代次数；所述参数包括三维姿态参数和三维形状参数。
15.根据权利要求12所述的图像篡改取证方法，其特征在于，所述对目标函数进行多次参数初始化，具体包括：
随机选取以预设参数值为中心的参数分散区域内的多个参数，并将所述的多个参数分别作为对目标函数进行各次优化计算的参数初始值。
16.根据权利要求1所述的图像篡改取证方法，其特征在于，所述方法包括按照下式计算目标物体与支撑平面之间，和/或多个目标物体之间的平行度，具体为：
其中，所述为一个目标物体的平面法向量的分布集合，所述为所述支撑平面的三维法向量的分布集合或另一个目标物体的平面法向量的分布集合；所述
为分布集合
与分布集合
的平均方向的夹角；所述p0为分布集合
的加权平均值，所述q0为分布集合
的加权平均值；所述Ang为夹角计算函数；
任一分布集合
的加权平均值g0的计算公式如下式所示：
其中，所述分布集合
为目标物体的平面法向量的分布集合或支撑平面的三维法向量的分布集合；所述ga为分布集合
内第a个法向量，所述A为分布集合
内法向量的总数；
所述ea为第a个法向量ga的残差：当所述分布集合为目标物体的平面法向量的分布集合时，所述残差ea的取值为对构建三维形变模型的目标函数进行优化计算得到的满足收敛条件的残差；当所述分布集合为支撑平面的三维法向量的分布集合，所述残差ea的取值为固定的常数。
17.根据权利要求1-16任一项所述的图像篡改取证方法，其特征在于，进一步地，所述方法还包括依据所述待测图像内真实的目标物体和篡改的目标物体的平行度概率密度分布，计算用于判断待测图像是否为篡改图像的平行度阈值和篡改概率；具体为：
所述篡改概率的计算公式如下式所示：
其中，所述y＝1表示待测图像为篡改图像，y＝0表示待测图像为真实图像；所述D为待测图像内目标物体与支撑平面之间的平行度；所述P(y＝1|D)表示目标物体的平行度为D时待测图像为篡改图像的概率，所述f(D|y＝1)表示待测图像为篡改图像时平行度D的概率密度，所述f(D|y＝0)表示待测图像为真实图像时平行度D的概率密度；所述待测图像为篡改图像和真实图像的先验概率相当；
所述平行度阈值为篡改概率为50％时对应的平行度D50％。
18.一种图像篡改取证装置，其特征在于，所述装置包括：
观测线索标注模块，用于标注待测图像的观测线索；其中，所述待测图像包括具有平面接触关系的目标物体与支撑平面；
三维形变模型构建模块，用于构建所述目标物体所属类别物体的三维形变模型；
支撑平面法向量估计模块，用于依据所述观测线索估计所述支撑平面的三维法向量；
目标物体法向量估计模块，用于依据所述观测线索和三维形变模型估计所述目标物体的三维姿态，进而得到所述目标物体中与支撑平面接触一侧所在平面的平面法向量；
判断模块，用于依据所述三维法向量和平面法向量，计算所述目标物体与支撑平面之间，和/或多个所述目标物体之间的平行度，并依据所述平行度判断所述待测图像是否为篡改图像；其中，所述平行度为不同平面的法向量的夹角。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710137310.1A CN107025647B (zh) | 2017-03-09 | 2017-03-09 | 图像篡改取证方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710137310.1A CN107025647B (zh) | 2017-03-09 | 2017-03-09 | 图像篡改取证方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107025647A CN107025647A (zh) | 2017-08-08 |
| CN107025647B true CN107025647B (zh) | 2020-02-28 |
Family
ID=59525633
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710137310.1A Active CN107025647B (zh) | 2017-03-09 | 2017-03-09 | 图像篡改取证方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107025647B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108780568A (zh) * | 2017-10-31 | 2018-11-09 | 深圳市大疆创新科技有限公司 | 一种图像处理方法、装置及飞行器 |
| CN110428006A (zh) * | 2019-08-01 | 2019-11-08 | 中国科学院自动化研究所 | 计算机生成图像的检测方法、系统、装置 |
| EP3961480B1 (en) | 2020-08-28 | 2022-06-29 | Axis AB | Method and device for determining authenticity of a video |
| CN112902905A (zh) * | 2021-01-20 | 2021-06-04 | 西安电子科技大学 | 一种基于高清3d扫描的地物谱测试方法及系统 |
| CN113159112B (zh) * | 2021-03-09 | 2023-04-07 | 西南石油大学 | 一种古生物化石图像自动标注方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101527042A (zh) * | 2009-04-22 | 2009-09-09 | 天津大学 | 基于平面同源性的图片伪造检测方法 |
| CN101661619A (zh) * | 2009-09-25 | 2010-03-03 | 天津大学 | 基于单视图测量的图片伪造检测方法 |
| CN103093195A (zh) * | 2013-01-09 | 2013-05-08 | 天津大学 | 基于边界能量的数字图像区域克隆识别技术 |
| CN103903271A (zh) * | 2014-04-11 | 2014-07-02 | 北京航空航天大学 | 一种针对自然图像和基于dwt压缩篡改图像的图像的取证方法 |
| CN104616297A (zh) * | 2015-01-26 | 2015-05-13 | 山东省计算中心（国家超级计算济南中心） | 一种用于图像篡改取证的改进型sift算法 |
| WO2015077946A1 (zh) * | 2013-11-28 | 2015-06-04 | 中国科学院自动化研究所 | 一种基于dct系数的图像篡改定位方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7778461B2 (en) * | 2006-05-05 | 2010-08-17 | New Jersey Institute Of Technology | System and/or method for image tamper detection |
-
2017
- 2017-03-09 CN CN201710137310.1A patent/CN107025647B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101527042A (zh) * | 2009-04-22 | 2009-09-09 | 天津大学 | 基于平面同源性的图片伪造检测方法 |
| CN101661619A (zh) * | 2009-09-25 | 2010-03-03 | 天津大学 | 基于单视图测量的图片伪造检测方法 |
| CN103093195A (zh) * | 2013-01-09 | 2013-05-08 | 天津大学 | 基于边界能量的数字图像区域克隆识别技术 |
| WO2015077946A1 (zh) * | 2013-11-28 | 2015-06-04 | 中国科学院自动化研究所 | 一种基于dct系数的图像篡改定位方法 |
| CN103903271A (zh) * | 2014-04-11 | 2014-07-02 | 北京航空航天大学 | 一种针对自然图像和基于dwt压缩篡改图像的图像的取证方法 |
| CN104616297A (zh) * | 2015-01-26 | 2015-05-13 | 山东省计算中心（国家超级计算济南中心） | 一种用于图像篡改取证的改进型sift算法 |
Non-Patent Citations (2)
| Title |
|---|
| 合成图像被动取证技术研究进展;王伟 等;《南通大学学报（自然科学版）》;20130930;第12卷(第3期);全文 * |
| 基于Ｋ－ＳＶＤ字典学习的合成图像盲检测;王伟 等;《武汉大学学报（理学版）》;20131031;第59卷(第5期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107025647A (zh) | 2017-08-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Fan et al. | Pothole detection based on disparity transformation and road surface modeling | |
| US11727661B2 (en) | Method and system for determining at least one property related to at least part of a real environment | |
| CN107025647B (zh) | 图像篡改取证方法及装置 | |
| WO2018161298A1 (zh) | 图像篡改取证方法及装置 | |
| Saxena et al. | Depth Estimation Using Monocular and Stereo Cues. | |
| US9303525B2 (en) | Method and arrangement for multi-camera calibration | |
| CN102804231B (zh) | 三维场景的分段平面重建 | |
| Stamos et al. | Integration of range and image sensing for photo-realistic 3D modeling | |
| Micusik et al. | Descriptor free visual indoor localization with line segments | |
| CN106228507A (zh) | 一种基于光场的深度图像处理方法 | |
| AU2013237718A1 (en) | Method, apparatus and system for selecting a frame | |
| WO2005081178A1 (en) | Method and apparatus for matching portions of input images | |
| Konishi et al. | Real-time 6D object pose estimation on CPU | |
| CN109842811A (zh) | 一种在视频中植入推送信息的方法、装置及电子设备 | |
| Zhou et al. | Three-dimensional (3D) reconstruction of structures and landscapes: a new point-and-line fusion method | |
| Morago et al. | An ensemble approach to image matching using contextual features | |
| Potje et al. | Learning geodesic-aware local features from RGB-D images | |
| JP2018195070A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| KR101154436B1 (ko) | 콘텍스트 교차에 근거한 라인 매칭 방법 | |
| Lourakis et al. | Feature transfer and matching in disparate stereo views through the use of plane homographies | |
| Yao et al. | Robust surface registration using N-points approximate congruent sets | |
| Bay et al. | 3D from line segments in two poorly-textured, uncalibrated images | |
| Liu et al. | Detection of façade regions in street view images from split-and-merge of perspective patches | |
| Li et al. | 3D line segment reconstruction in structured scenes via coplanar line segment clustering | |
| WO2017042852A1 (en) | Object recognition appratus, object recognition method and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |