CN112468715A - 一种视频追溯系统及视频追溯方法 - Google Patents

一种视频追溯系统及视频追溯方法 Download PDF

Info

Publication number
CN112468715A
CN112468715A CN202011152703.8A CN202011152703A CN112468715A CN 112468715 A CN112468715 A CN 112468715A CN 202011152703 A CN202011152703 A CN 202011152703A CN 112468715 A CN112468715 A CN 112468715A
Authority
CN
China
Prior art keywords
video
watermark
camera
user
singular value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011152703.8A
Other languages
English (en)
Inventor
张琛馨
赵迪
程凯
范柏翔
常晓润
龚亚强
李梦桃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
State Grid Tianjin Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
State Grid Tianjin Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, State Grid Tianjin Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN202011152703.8A priority Critical patent/CN112468715A/zh
Publication of CN112468715A publication Critical patent/CN112468715A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0876—Network architectures or network communication protocols for network security for authentication of entities based on the identity of the terminal or configuration, e.g. MAC address, hardware or software configuration or device fingerprint
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H04L67/146—Markers for unambiguous identification of a particular session, e.g. session cookie or URL-encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4623—Processing of entitlement messages, e.g. ECM [Entitlement Control Message] or EMM [Entitlement Management Message]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8352—Generation of protective data, e.g. certificates involving content or source identification data, e.g. Unique Material Identifier [UMID]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Power Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种视频追溯系统和视频追溯方法，所述视频追溯方法包括用户注册：用户在使用摄像机前，在用户端APP上注册，将用户账户的用户名、密码、手机号、邮箱及摄像机ID发送到云平台服务器数据库中进行存储；用户登录：用户在所述APP上登录，云平台服务器验证用户身份，验证身份无误后，建立控制APP与摄像机之间的安全的网络连接；数字水印嵌入：在用户发出拍摄指令的同时，通过鲁棒盲水印嵌入方法，将摄像机ID作为水印嵌入到视频帧中；视频溯源：云平台服务器接收待溯源视频，从视频流中提取水印，在数据库中查询摄像机ID绑定的用户信息，实现视频溯源。该方法能在视频中嵌入摄像机ID作为透明水印，有效追溯视频来源。

Description

一种视频追溯系统及视频追溯方法
技术领域
本发明涉及数字图像处理领域，特别是涉及一种视频追溯系统和视频追溯方法。
背景技术
数字水印技术是当前用于对视频图像信息进行保护的最重要技术之一，而要实现视频溯源功能，需要数字水印具有以下两种特性，隐蔽性和鲁棒性。隐蔽性，即水印的存在不会影响作品的视觉效果，在视觉条件下是不可见的；鲁棒性，即水印必须能抵御一般的信号处理和各种几何变换的攻击，难以被移除、破坏和伪造。盲水印技术可以实现在不知晓原图图片的基础上解析提取出水印内容。
数字水印算法主要有两大类实现方法，时空域水印算法和变换域水印算法。相对于时空域水印算法，变换域水印算法隐匿性更强，抗攻击性更高。图像的频率就是图像灰度变化强烈的情况。变换域添加数字水印的方法，是指通过变换方式将图像变换到频率域，水印通过修改频域系数嵌入到图像中，再通过逆变换，将图像转换为空间域。
目前，在实时视频流中添加水印的方法是在已经编码的视频流中加水印，这种方法虽然复杂度较低，但对各种攻击的健壮性较差，不能抵抗各种格式的压缩以及常见的针对视频的攻击。
发明内容
为解决现有技术存在的问题，本发明的一个目的是提供一种视频追溯系统，能够在保证水印透明不影响视频观感的基础上，实现拍摄源追溯，并能抵抗各种格式的压缩以及常见的针对视频的攻击。
本发明的另一目的是提供一种利用上述系统进行视频追溯的方法。
为此，本发明的技术方案如下：
一种视频追溯系统，包括用户端、摄像机和云平台服务器，所述用户端上安装有APP，用于用户登陆注册、向所述摄像机发送开/关机、开启/关闭视频录像指令；完成摄像机视频流和告警信息接收，对所述视频流进行解码播放以及实时观看摄像机拍摄的视频内容；所述云平台服务器用于采集和存储用户端APP上的用户注册信息及摄像机信息、对用户身份进行认证、管理摄像机的使用记录、对视频进行解码、对视频中的水印进行分析和提取并根据提取的水印对摄像机ID进行溯源；所述摄像机用于接收用户端的APP发送的指令、进行视频拍摄、生成水印嵌入码流序列、处理视频流、将水印嵌入视频、完成嵌入水印后视频文件的存储与检索，并将嵌入水印后的视频发送给用户端的控制APP；所述摄像机包括控制模块、摄像头、转换模块、视频处理模块、存储模块和无线通信模块，其中，
所述控制模块用于接收用户端APP发送的操作指令，控制摄像机开关机和摄像头的拍摄，并在摄像头开始拍摄后，将摄像机ID发送到所述视频处理模块；所述摄像头用于接收所述控制模块的拍摄指令，并将采集的光信号发送到所述转换模块；所述转换模块用于将摄像头采集的光信号转换成电信号，并将电信号进一步转换为数字信号，发送到所述视频处理模块；所述视频处理模块用于接收实时视频流和原始水印信息，对水印和视频流进行预处理和完成视频水印嵌入；所述存储模块用接收和存储所述视频处理模块发送的编码压缩后的视频，便于检索；所述无线通信模块用于从所述视频处理模块接收嵌入水印的视频流，并将其发送到用户端APP。
进一步的，所述视频处理模块包括水印生成单元、视频分析单元、水印嵌入单元和视频编码单元，其中：
所述水印生成单元用于从所述控制模块接收摄像机ID原始水印信息，对原始水印信息进行二进制转换，并对得到的二进制序列码流进行扩频操作，以获取水印信息的嵌入码流序列并将水印的嵌入码流序列发送到所述水印嵌入单元；
所述视频分析单元用于从视频获取接口获取摄像头实时拍摄的视频，获取视频流亮度分量，划分为8*8不重叠的宏块，逐行对每个宏块进行离散小波变换，选取每个宏块离散小波变换后的低频子带LL进行奇异值分解，得到奇异值矩阵并将奇异值矩阵发送至所述水印嵌入单元；
所述水印嵌入单元用于从所述水印生成单元获取水印的嵌入码流序列，从所述视频分析单元获取所述奇异值矩阵；将水印的嵌入码流信息嵌入奇异值矩阵中，将修改后的奇异值矩阵进行逆SVD变换和IWT变换，得到嵌入水印的视频流，并将所述嵌入水印的视频流发送到所述视频编码单元；
所述视频编码单元用于从所述水印嵌入单元获取嵌入水印后的视频流进行H.264编码，并将编码后视频分两路，一路发送到所述存储模块，一路发送到所述无线通信模块。
所述转换模块包括图像传感器和数模转换组件；所述存储模块包括相机内部的存取器ROM 和外部扩充存储器；所述无线通信模块还设置有一无线wifi装置。
本发明还提供一种利用上述视频追溯系统进行视频追溯的方法，包括以下步骤：
S1，用户注册：用户在使用摄像机前，在用户端APP上注册，将用户账户的用户名、密码、手机号、邮箱及摄像机ID发送到云平台服务器数据库中进行存储；
S2，用户登录：用户在所述APP上登录，云平台服务器验证用户身份，验证身份无误后，建立控制APP与摄像机之间的安全的网络连接；
S3，数字水印嵌入：在用户发出拍摄指令的同时，通过鲁棒盲水印嵌入方法，将摄像机 ID作为水印嵌入到视频帧中；
S4，视频溯源：云平台服务器接收待溯源视频，从视频流中提取水印，在数据库中查询摄像机ID绑定的用户信息，实现视频溯源，
其中，所述数字水印嵌入具体包括以下步骤：
(1)开启摄像机：在用户端APP按下“开始摄像”按钮，将指令发送给摄像机，控制摄像头采集数据，并将摄像机ID信息发送到水印生成单元；
(2)水印预处理：摄像机将摄像机ID作为原始水印信息，对原始水印信息进行二进制转换，并对得到的二进制序列码流进行扩频操作，以获取水印信息的嵌入码流序列；
(3)视频预处理：摄像机获取摄像头实时拍摄的视频，获取视频流亮度分量，划分为8*8不重叠的宏块，逐行对每个宏块进行离散小波变换，选取每个宏块离散小波变换后的低频子带LL进行奇异值分解(SVD)，得到奇异值矩阵，并将该奇异值矩阵发送至水印嵌入单元；
(4)水印嵌入：水印嵌入单元从所述水印生成单元获取所述水印的嵌入码流序列，从所述视频分析单元获取所述奇异值矩阵，依次将所述水印嵌入码流序列的每一位wi(i＝1,2,…,200)嵌入第i个(i＝1，2，...，200)奇异值矩阵最大奇异值λ1的最低位LSB(λ1)，将修改后的奇异值矩阵进行逆SVD变换和IWT变换，得到嵌入水印的视频流，并将所述嵌入水印的视频流发送到视频编码单元；
(5)视频编码：摄像机对嵌入水印后的视频流进行H.264编码，编码后的视频流即可发送到用户端APP进行播放；
优选的是，步骤(3)中，所述摄像机的帧数设置在10帧-30帧每秒，从起始帧开始，每间隔5帧向视频嵌入一次水印信息。
优选的是，步骤(3)中，对视频帧通过公式Y＝0.299*R+0.587*G+0.114*B进行原始彩色图像到YUV颜色空间转换，获取视频帧的亮度Y分量，并将其划分为8*8不重叠的宏块。
所述视频分析单元逐行对每个宏块进行Haar离散小波变换，包括以下步骤：
A、用一维小波变换对块A[8][8]每一行像素值进行变换，对每一行计算相邻像素对的均值和差值,得到水平变换结果B[8][8]，以L代表低频域，H代表高频域；
B、将水平变换后得到的结果B[8][8]，再做垂直变换，由上至下计算每列相邻像素对的均值和差值，得到一维小波变换结果，4个子带分别为LL、HL、LH、HH；
C、视频分析单元对每个宏块离散小波变换后的低频子带LL进行奇异值分解，并按序将奇异值矩阵发送至水印嵌入单元，其中，矩阵奇异值分解公式为：
LL＝USVT
其中：
U和V是左右奇异向量；
S＝diag(λ1,λ2,…,λr,0,…,0)，为非负对角矩阵，λi是矩阵A的奇异值，并满足λ1≥λ2≥…≥λr>0。
优选的是，步骤(4)中，当水印嵌入码流序列的第i位为0时，宏块i的LL子带的最大奇异值λ1的最低二进制位LSB(λ1)若为0，则不处理；若为LSB(λ1)＝1，则将LSB(λ1) 重新赋值为0；当水印嵌入码流序列的第i位为1时，宏块i的LL子带的最大奇异值λ1的最低二进制位LSB(λ1)若为1，则不处理；若为LSB(λ1)＝0，则将LSB(λ1)重新赋值为1。
步骤(4)中，所述水印嵌入单元使用修改后的奇异值矩阵Sw进行逆SVD变换,得到嵌入水印后的LLw子带：
LLw＝USwVT。
步骤(4)中，所述水印嵌入单元对LLw进行逆DWT变换IDWT，得到嵌入水印后的视频帧。
本发明的视频追溯系统，用户端和摄像机通过云平台服务器建立连接，通过安全身份认证后才能建立直接的视频流和指令传输。
本发明的视频追溯方法能在不影响视频正常观看的情况下，在视频中嵌入摄像机ID作为透明水印，该水印能够抵抗视频攻击和压缩，实现视频版权认证。在发现违法视频流时，能有效追溯视频的拍摄人信息，从而实现对日益猖狂的偷拍发布行为的有效打击。
附图说明
图1是本发明的追溯系统中摄像机的模块组成示意图；
图2是本发明的追溯方法中步骤1的流程图；
图3是本发明的追溯方法中步骤2的流程图；
图4是本发明的追溯方法中步骤3的流程图；
图5是用一维小波变换得到水平变换结果；
图6是将水平变换后得到的结果再做垂直变换得到的一维小波变换结果；
图7是本发明的追溯方法中步骤4的流程图；
图8是对对奇异值矩阵进行提取的顺序图。
具体实施方式
下面结合附图和具体实施例对本发明的视频追溯系统及追溯方法进行详细说明。
本发明的视频追溯系统包括用户端、摄像机以及云平台服务器，三部分间通过网络进行连接。
在所述用户端上安装有控制APP，用于与摄像机和云平台服务器的信息交互，所述APP 具有下述功能：
1)用户登陆注册：用于创建用户账号、收集用户基础信息，并发送给云平台服务器。其中用户基础信息包括用户名、密码、用户手机号、邮箱、绑定摄像机ID等；
2)指令发送：用于将摄像机开关机、开启关闭视频录像等指令发送给摄像机；
3)视频接收：完成摄像机视频流和告警信息接收，对视频流进行解码播放以及实时观看摄像机拍摄的视频内容。其中，告警内容主要包括：摄像机电量、存储使用、设备运行等信息。
所述用户端可以是手机、平板或电脑。
所述摄像机用于接收用户端APP发送的指令、进行视频拍摄、生成水印嵌入码流序列、处理视频流、将水印嵌入、完成嵌入水印后视频文件的存储与检索，并将嵌入水印后的视频发送给用户端APP。
参见图1，所述摄像机包括控制模块2.1、摄像头2.2、转换模块2.3、视频处理模块2.4、存储模块2.5和无线通信模块2.6。其中：
所述控制模块2.1用于接收用户端APP发送的操作指令，进行摄像机开关机、控制摄像头2.2拍摄，并在摄像头2.2开始拍摄后，将摄像机的ID发送到视频处理模块2.3；
所述摄像头2.2用于接收控制模块2.1的拍摄指令，并将采集到的光信号发送到转换模块 2.3；
所述转换模块2.3用于将摄像头采集的光信号转换成电信号，并将电信号进一步转换为数字信号，发送到视频处理模块2.4；
所述视频处理模块2.4用于接收实时视频流和原始水印信息，对水印和视频流进行预处理，完成视频水印嵌入；
所述存储模块2.5接收视频处理模块2.4发送的编码压缩后的视频，用于存储和检索；
所述无线通信模块2.6用于从视频处理模块2.4接收嵌入水印的视频流，并将其发送到用户端APP。
所述视频处理模块2.4还包括水印生成单元2.4.1、视频分析单元2.4.2、水印嵌入单元2.4.3 和视频编码单元2.4.4。其中：
所述水印生成单元2.4.1用于从所述控制模块2.1接收摄像机ID原始水印信息，对原始水印信息进行二进制转换，并对得到的二进制序列码流进行扩频操作，以获取水印信息的嵌入码流序列并将水印的嵌入码流序列发送到水印嵌入单元2.4.3。
所述视频分析单元2.4.2用于从视频获取接口获取摄像头2.2实时拍摄的视频，获取视频流亮度分量，划分为8*8不重叠的宏块，逐行对每个宏块进行离散小波变换。选取每个宏块离散小波变换后的低频子带LL进行奇异值分解，得到奇异值矩阵，并将奇异值矩阵发送至水印嵌入单元2.4.3。
所述水印嵌入单元2.4.3用于从所述水印生成单元2.4.1获取所述水印的嵌入码流序列，从所述视频分析单元2.4.2获取所述奇异值矩阵。将水印的嵌入码流信息嵌入奇异值矩阵中，将修改后的奇异值矩阵进行逆SVD变换和IWT变换，得到嵌入水印的视频流，并将所述嵌入水印的视频流发送到视频编码单元2.4.4。
所述视频编码单元2.4.4用于从所述水印嵌入单元2.4.3获取嵌入水印后的视频流进行 H.264编码，并将编码后视频分两路，一路发送到存储模块2.5，一路发送到无线通信模块2.6。
所述控制模块2.1和视频处理模块2.4集成在芯片上。
所述转换模块2.3包括图像传感器和数模转换组件。图像传感器采用CMOS互补金属氧化物半导体实现。
所述存储模块2.5包括相机内部的存取器ROM和外部扩充存储器，外部扩充存储器采用 CF卡或者SD卡。
所述无线通信模块2.6还设置有一无线wifi装置，用于将摄像机与控制APP通过云平台服务器建立连接。所述摄像机的无线通信模块与控制APP之间还可通过3G、4G、GPRS等通信网络实现远程通信连接。
所述摄像机可由电池或通过与外部电源相连供电。
所述云平台服务器连接系统的各部分，对整个系统进行集中监管。用于支撑用户端控制APP的正常运行，用于用户信息管理、身份认证，建立用户控制APP与摄像机的网络连接，用于水印提取和视频追溯。
其中用户信息主要包括：用户控制app发来的用户账号信息，包括用户名、密码、手机号、邮箱、绑定的摄像机ID和摄像机的配置参数。
所述云平台服务器具有以下功能：
水印分析功能：视频解码，获取视频流亮度分量，划分8*8不重叠宏块，并对每个宏块进行离散小波变换。选取离散小波变换后的低频子带LL进行奇异值分解，得到每个宏块的奇异矩阵；
水印提取功能：根据奇异值矩阵的最大奇异值的二进制最低位LSB(λ1)进行水印提取，还原出水印的嵌入码流序列。将水印的嵌入码流序列进行逆扩频及二进制-十六进制转换，还原出原始水印信息，即摄像机ID码；
溯源功能：根据摄像机ID在数据库中搜索，得到摄像机注册用户信息等，实现视频追溯；
用户信息采集存储功能：采集用户APP1发送来的用于注册的用户信息及摄像机信息；
用户身份认证功能：在数据库中验证用户名、密码，认证成功后为摄像机和用户APP间建立连接；
信息增删功能，用于对增加或下架的设备信息及注销的用户信息进行及时地更新汇总；
用户使用记录管理功能，用于对用户的与摄像机级联连接保持通信的时间等进行记录；
界面展示功能：提供可视化界面，供上传视频及溯源结果展示。
本发明的视频追溯方法包括以下步骤：
S1.用户注册：参见图2，用户在使用摄像机前，在用户端的APP上注册，将用户账户的用户名、密码、手机号、邮箱及绑定的摄像机的ID发送到云平台服务器的数据库中存储。
该步骤通过将摄像机ID与用户信息进行多对一绑定，从而在步骤S4视频追溯时，能够通过摄像机ID溯源到用户信息，实现视频拍摄溯源。
S2.用户登录：参见图3，用户登录所述APP，云平台服务器验证用户身份，验证身份无误后，用户在APP中选择一台已绑定的摄像机，云平台服务器返回许可消息，用户端控制APP 与摄像机之间建立网络连接。
用户端的控制APP每隔5分钟向云平台服务器发送一次心跳，来表示用户端控制APP与摄像机的连接状态，若超过10分钟未收到心跳，默认连接用户APP与摄像机间的连接中断。
S3.数字水印嵌入：在用户发出拍摄指令同时，将摄像机ID作为水印,通过鲁棒盲水印嵌入算法嵌入到视频帧中。参见图4，具体包括以下步骤：
3.1开启摄像机：用户在APP上按下“开始摄像”按钮，将指令发送给摄像机的控制模块2.1，控制摄像头2.2开启，并将摄像机ID信息发送到视频处理模块2.4水印生成单元2.4.1。摄像头2.2采集数据后，将数据发送到转换模块2.4进行信号转换，并将转化后的数字信号发送到视频处理模块2.4视频分析单元2.4.2。
3.2水印预处理：水印生成单元2.4.1从所述摄像机控制模块2.1获得的摄像机ID作为原始水印信息，水印生成单元对原始水印信息进行二进制转换，并对得到二进制序列码流进行扩频操作，以获取水印信息的嵌入码流序列。将水印的嵌入码流序列发送到水印嵌入单元 2.4.3。
其中二进制转换，是将10位十六进制的摄像机ID号，每位用4位二进制替换，将原始水印信息转换为40位二进制码流。
其中扩频操作是指，若水印二进制码流序列第i位为0，则扩频后该位对应嵌入码流序列为00000；若水印二进制码流序列第i位为1，则扩频后该位对应嵌入码流序列为11111. 因此40位水印二进制码流，在扩频操作后转换为200位水印嵌入码流。
通过扩频操作，可以在视频编码和视频收到攻击时，保证水印的稳定。
3.3视频预处理：视频分析单元2.4.2通过视频获取接口获取摄像头2.2实时拍摄视频，提取视频流亮度分量，划分为8*8不重叠的宏块，逐行对每个宏块进行离散小波变换。选取每个宏块离散小波变换后的低频子带LL进行奇异值分解，得到奇异值矩阵，并将奇异值矩阵发送至水印嵌入单元2.4.3。
更进一步，视频分析单元2.4.2获取实时拍摄视频的视频帧。摄像机的帧数设置一般在 10-30帧每秒，为兼顾实时视频播放的流畅性及水印鲁棒性，从起始帧开始，每间隔5帧向视频嵌入一次水印信息。
更进一步，视频分析单元2.4.2提取视频帧的亮度分量并分块，包括：
对视频帧通过公式Y＝0.299*R+0.587*G+0.114*B进行原始彩色图像到YUV颜色空间转换，获取视频帧的亮度Y分量，并将其划分为8*8不重叠的宏块。
图像显示多采用RGB编码。RGB是依据人眼识别的红绿蓝三原色定义出的空间，它将色调、亮度、饱和度三个量混合在一起表示，细节难以进行数字化调整。YUV颜色空间，将亮度和色度分开，常用于图像处理领域。每个颜色有一个亮度信号Y，和两个色度信号U和V。亮度分量Y包含的纹理信息最为丰富，在亮度分量中嵌入水印可以获得较为理想的鲁棒性。
宏块是视频编码的基本单元，一个宏块由一个亮度像素和附加的两个色度像素块组成。视频编码算法以宏块为单位，逐个宏块进行编码，组织成连续的视频流。
更进一步，视频分析单元2.4.2逐行对每个宏块进行Haar离散小波变换。Haar小波变换通过对图像像素的加减运算，将图像从空间域转换到频域。经过离散小波变换DWT后，将一幅图分为4条子带。低频近似子带图像LL，水平细节子带图像HL,垂直细节子带图像LH和斜向细节子带图像HH。其中LL集中了图像的大部分能量。其他子带分别是图像在不同尺度、不同分辨率下的细节信息。
具体步骤如下：
A、用一维小波变换对块A[8][8]每一行像素值进行变换，对每一行计算相邻像素对的均值和差值,得到水平变换结果B[8][8]，其中L代表低频域，H代表高频域，如图5所示；
B、将水平变换后得到的结果B[8][8]，再做垂直变换，由上至下计算每列相邻像素对的均值和差值，得到一维小波变换结果，4个子带LL、HL、LH、HH，如图6所示；
C、视频分析单元2.4.2对每个宏块离散小波变换后的低频子带LL进行奇异值分解SVD。并按序将奇异值矩阵发送至水印嵌入单元2.4.3。
矩阵奇异值分解公式为：
LL＝USVT
奇异值分解是线性代数处理矩阵的一种工具，能够用来获取矩阵的特征值,奇异值下降很快，只取前面几个奇异值，便可基本表达出原矩阵的信息。其中U和V是左右奇异向量， S＝diag(λ1,λ2,…,λr,0,…,0)为非负对角矩阵，λi是矩阵A的奇异值，并满足λ1≥λ2≥…≥λr>0。
奇异值稳定性好，对图像施加轻微攻击，奇异值不会发生明显变化。奇异值体现了图像的内蕴性，对奇异值施加轻微扰动不会影像图像质量。又因为第一个奇异值比其他奇异值大很多，因此在最大奇异值中嵌入水印，可以保证水印的不可见性及鲁棒性。
3.4水印嵌入：水印嵌入单元2.4.3从所述水印生成单元2.4.1获取所述水印的嵌入码流序列，从所述视频分析单元2.4.2获取所述奇异值矩阵。依次将所述水印嵌入码流序列的每一位wi(i＝1,2,…,200)嵌入第i个(i＝1,2,…,200)奇异值矩阵最大奇异值λ1的最低位 LSB(λ1)，将修改后的奇异值矩阵进行逆SVD变换和IWT变换，得到嵌入水印的视频流，并将所述嵌入水印的视频流发送到视频编码单元2.4.4。
具体的，当水印嵌入码流序列的第i位为0时，宏块i的LL子带的最大奇异值λ1的最低二进制位LSB(λ1)若为0，则不处理；若为LSB(λ1)＝1，则将LSB(λ1)重新赋值为0.
当水印嵌入码流序列的第i位为1时，宏块i的LL子带的最大奇异值λ1的最低二进制位 LSB(λ1)若为1，则不处理；若为LSB(λ1)＝0，则将LSB(λ1)重新赋值为1.
更进一步，水印嵌入单元2.4.3使用修改后的奇异值矩阵Sw进行逆SVD变换,得到嵌入水印后的LLw子带。
LLw＝USwVT
更进一步，水印嵌入单元2.4.3对LLw进行逆DWT变换IDWT，得到嵌入水印后的视频帧。
3.5视频编码：视频编码单元2.4.4从所述水印嵌入单元2.3.3获取嵌入水印后的视频流进行H.264编码，并将编码后视频分两路，一路发送到存储模块2.4，一路发送到无线通信模块2.5。
3.6视频播放：摄像机的无线通信模块2.6将接收到的编码视频流发送到用户端控制App1。
4.视频溯源：云平台服务器从视频流中提取水印(摄像机ID)，在数据库中查询摄像机 ID绑定用户信息，从而实现视频溯源。参见图7，具体包括以下步骤：
4.1接收溯源请求：云平台服务器接收待溯源视频，将其发送到水印分析模块；
4.2水印分析：云平台服务器对视频解码、分析、提取水印、还原水印，得到原始水印即摄像机ID码。
该步骤具体包括：
1)云平台服务器对视频解码，获取视频流亮度分量，划分8*8宏块，并对每个宏块进行离散小波变换。选取离散小波变换后的低频子带LL进行奇异值分解，得到每个宏块的奇异矩阵，将每个矩阵的最大奇异值发送至水印提取单元3.1.2。(具体的获取视频流分量、离散小波变换、奇异值分解方法与3.3视频预处理完全相同，可参照3.3视频预处理完成，不再赘述)
2)云平台服务器根据奇异值矩阵的最大奇异值的二进制最低位LSB(λ1)进行水印提取，还原出水印的嵌入码流序列。将水印的嵌入码流序列进行逆扩频及二进制-十六进制转换，还原出原始水印信息，即摄像机ID码。
4.3水印提取：云平台服务器按照图8的顺序对奇异值矩阵的LSB(λ1)进行提取，并将取出的水印每一位按序排列，得到水印的嵌入码流序列。
更进一步，云平台服务器对获取水印嵌入码流序列以5位为一组进行分组，对每组进行逆扩频计算：
具体的，若第i组水印嵌入码流序列的5位中0的位数多于1的位数，则逆扩频后对应的二进制流序列第i位为0.
若第i组水印嵌入码流序列的5位中1的位数多于0的位数，则逆扩频后对应的二进制流序列第i位为1.
更进一步，云平台服务器对获取的水印二进制码流序列进行二进制-十六进制转换，得到原始水印信息(摄像机ID)。
4.4水印查询。云平台服务器根据摄像机ID，在数据库中进行搜索，得到摄像机注册用户信息，实现视频追溯。

Claims (10)

1.一种视频追溯系统，其特征在于：包括用户端、摄像机和云平台服务器，
所述用户端上安装有APP，用于用户登陆注册、向所述摄像机发送开/关机、开启/关闭视频录像指令；完成摄像机视频流和告警信息接收，对所述视频流进行解码播放以及实时观看摄像机拍摄的视频内容；
所述云平台服务器用于采集和存储用户端APP上的用户注册信息及摄像机信息、对用户身份进行认证、管理摄像机的使用记录、对视频进行解码、对视频中的水印进行分析和提取并根据提取的水印对摄像机ID进行溯源；
所述摄像机用于接收用户端的APP发送的指令、进行视频拍摄、生成水印嵌入码流序列、处理视频流、将水印嵌入视频、完成嵌入水印后视频文件的存储与检索，并将嵌入水印后的视频发送给用户端的控制APP；所述摄像机包括控制模块、摄像头、转换模块、视频处理模块、存储模块和无线通信模块，其中，
所述控制模块用于接收用户端APP发送的操作指令，控制摄像机开关机和摄像头的拍摄，并在摄像头开始拍摄后，将摄像机ID发送到所述视频处理模块；
所述摄像头用于接收所述控制模块的拍摄指令，并将采集的光信号发送到所述转换模块；
所述转换模块用于将摄像头采集的光信号转换成电信号，并将电信号进一步转换为数字信号，发送到所述视频处理模块；
所述视频处理模块用于接收实时视频流和原始水印信息，对水印和视频流进行预处理和完成视频水印嵌入；
所述存储模块用接收和存储所述视频处理模块发送的编码压缩后的视频，便于检索；
所述无线通信模块用于从所述视频处理模块接收嵌入水印的视频流，并将其发送到用户端APP。
2.根据权利要求1所述的视频追溯系统，其特征在于：所述视频处理模块包括水印生成单元、视频分析单元、水印嵌入单元和视频编码单元，其中：
所述水印生成单元用于从所述控制模块接收摄像机ID原始水印信息，对原始水印信息进行二进制转换，并对得到的二进制序列码流进行扩频操作，以获取水印信息的嵌入码流序列并将水印的嵌入码流序列发送到所述水印嵌入单元；
所述视频分析单元用于从视频获取接口获取摄像头实时拍摄的视频，获取视频流亮度分量，划分为8*8不重叠的宏块，逐行对每个宏块进行离散小波变换，选取每个宏块离散小波变换后的低频子带LL进行奇异值分解，得到奇异值矩阵并将奇异值矩阵发送至所述水印嵌入单元；
所述水印嵌入单元用于从所述水印生成单元获取水印的嵌入码流序列，从所述视频分析单元获取所述奇异值矩阵；将水印的嵌入码流信息嵌入奇异值矩阵中，将修改后的奇异值矩阵进行逆SVD变换和IWT变换，得到嵌入水印的视频流，并将所述嵌入水印的视频流发送到所述视频编码单元；
所述视频编码单元用于从所述水印嵌入单元获取嵌入水印后的视频流进行H.264编码，并将编码后视频分两路，一路发送到所述存储模块，一路发送到所述无线通信模块。
3.根据权利要求1所述的视频追溯系统，其特征在于：所述转换模块包括图像传感器和数模转换组件；所述存储模块包括相机内部的存取器ROM和外部扩充存储器；所述无线通信模块还设置有一无线wifi装置。
4.一种利用权利要求1-3中任一项所述视频追溯系统进行视频追溯的方法，包括以下步骤：
S1，用户注册：用户在使用摄像机前，在用户端APP上注册，将用户账户的用户名、密码、手机号、邮箱及摄像机ID发送到云平台服务器数据库中进行存储；
S2，用户登录：用户在所述APP上登录，云平台服务器验证用户身份，验证身份无误后，建立控制APP与摄像机之间的安全的网络连接；
S3，数字水印嵌入：在用户发出拍摄指令的同时，通过鲁棒盲水印嵌入方法，将摄像机ID作为水印嵌入到视频帧中；
S4，视频溯源：云平台服务器接收待溯源视频，从视频流中提取水印，在数据库中查询摄像机ID绑定的用户信息，实现视频溯源，
其中，所述数字水印嵌入具体包括以下步骤：
(1)开启摄像机：在用户端APP按下“开始摄像”按钮，将指令发送给摄像机，控制摄像头采集数据，并将摄像机ID信息发送到水印生成单元；
(2)水印预处理：摄像机将摄像机ID作为原始水印信息，对原始水印信息进行二进制转换，并对得到的二进制序列码流进行扩频操作，以获取水印信息的嵌入码流序列；
(3)视频预处理：摄像机获取摄像头实时拍摄的视频，获取视频流亮度分量，划分为8*8不重叠的宏块，逐行对每个宏块进行离散小波变换，选取每个宏块离散小波变换后的低频子带LL进行奇异值分解(SVD)，得到奇异值矩阵，并将该奇异值矩阵发送至水印嵌入单元；
(4)水印嵌入：水印嵌入单元从所述水印生成单元获取所述水印的嵌入码流序列，从所述视频分析单元获取所述奇异值矩阵，依次将所述水印嵌入码流序列的每一位wi(i＝1,2,…,200)嵌入第i个(i＝1，2，...，200)奇异值矩阵最大奇异值λ1的最低位LSB(λ1)，将修改后的奇异值矩阵进行逆SVD变换和IWT变换，得到嵌入水印的视频流，并将所述嵌入水印的视频流发送到视频编码单元；
(5)视频编码：摄像机对嵌入水印后的视频流进行H.264编码，编码后的视频流即可发送到用户端APP进行播放。
5.根据权利要求1所述的方法，其特征在于：步骤(3)中，所述摄像机的帧数设置在10帧-30帧每秒，从起始帧开始，每间隔5帧向视频嵌入一次水印信息。
6.根据权利要求1所述的方法，其特征在于：步骤(3)中，对视频帧通过公式Y＝0.299*R+0.587*G+0.114*B进行原始彩色图像到YUV颜色空间转换，获取视频帧的亮度Y分量，并将其划分为8*8不重叠的宏块。
7.根据权利要求3所述的方法，其特征在于：视频分析单元逐行对每个宏块进行Haar离散小波变换，包括以下步骤：
A、用一维小波变换对块A[8][8]每一行像素值进行变换，对每一行计算相邻像素对的均值和差值,得到水平变换结果B[8][8]，以L代表低频域，H代表高频域；
B、将水平变换后得到的结果B[8][8]，再做垂直变换，由上至下计算每列相邻像素对的均值和差值，得到一维小波变换结果，4个子带分别为LL、HL、LH、HH；
C、视频分析单元对每个宏块离散小波变换后的低频子带LL进行奇异值分解，并按序将奇异值矩阵发送至水印嵌入单元，其中，矩阵奇异值分解公式为：
LL＝USVT
其中：
U和V是左右奇异向量；
S＝diag(λ1,λ2,…,λr,0,…,0)，为非负对角矩阵，λi是矩阵A的奇异值，并满足λ1≥λ2≥…≥λr>0。
8.根据权利要求1所述的方法，其特征在于：步骤(4)中，当水印嵌入码流序列的第i位为0时，宏块i的LL子带的最大奇异值λ1的最低二进制位LSB(λ1)若为0，则不处理；若为LSB(λ1)＝1，则将LSB(λ1)重新赋值为0；当水印嵌入码流序列的第i位为1时，宏块i的LL子带的最大奇异值λ1的最低二进制位LSB(λ1)若为1，则不处理；若为LSB(λ1)＝0，则将LSB(λ1)重新赋值为1。
9.根据权利要求1所述的方法，其特征在于：步骤(4)中，所述水印嵌入单元使用修改后的奇异值矩阵Sw进行逆SVD变换,得到嵌入水印后的LLw子带：
LLw＝USwVT。
10.根据权利要求8所述的视频追溯方法，其特征在于：步骤(4)中，所述水印嵌入单元对LLw进行逆DWT变换IDWT，得到嵌入水印后的视频帧。
CN202011152703.8A 2020-10-26 2020-10-26 一种视频追溯系统及视频追溯方法 Pending CN112468715A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011152703.8A CN112468715A (zh) 2020-10-26 2020-10-26 一种视频追溯系统及视频追溯方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011152703.8A CN112468715A (zh) 2020-10-26 2020-10-26 一种视频追溯系统及视频追溯方法

Publications (1)

Publication Number Publication Date
CN112468715A true CN112468715A (zh) 2021-03-09

Family

ID=74835206

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011152703.8A Pending CN112468715A (zh) 2020-10-26 2020-10-26 一种视频追溯系统及视频追溯方法

Country Status (1)

Country Link
CN (1) CN112468715A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113379582A (zh) * 2021-05-13 2021-09-10 北京元讯通科技有限公司 一种信息添加方法、信息提取方法、装置和电子设备
CN113613073A (zh) * 2021-08-04 2021-11-05 北京林业大学 一种端到端的视频数字水印系统及方法
CN114630130A (zh) * 2022-03-17 2022-06-14 北京影数科技有限公司 一种基于深度学习的换脸视频溯源方法及系统
CN116527314A (zh) * 2023-03-27 2023-08-01 深圳市博通智能技术有限公司 一种图像和视频安全传输方法、装置、介质及设备
CN117196378A (zh) * 2023-08-22 2023-12-08 江苏重华数字科技有限公司 公路工程全周期一体化质量数据传递与追溯处理方法
CN117278762A (zh) * 2023-09-20 2023-12-22 深圳市艾宝科技有限公司 一种安全可溯源视频编解码系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103955878A (zh) * 2014-04-11 2014-07-30 杭州电子科技大学 基于sift的dwt-svd抗几何攻击盲水印方法
CN104424775A (zh) * 2013-08-21 2015-03-18 无锡威莱斯电子有限公司 基于移动终端的Wi-Fi智能监控系统
CN105657349A (zh) * 2015-12-30 2016-06-08 广州励丰文化科技股份有限公司 多摄像头场景下参考触控压力控制监控的方法和系统
CN107027055A (zh) * 2017-04-28 2017-08-08 安徽四创电子股份有限公司 一种基于水印技术的视频溯源及加密方法
CN110086634A (zh) * 2019-05-16 2019-08-02 济南浪潮高新科技投资发展有限公司 一种智能摄像头安全认证和访问的系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104424775A (zh) * 2013-08-21 2015-03-18 无锡威莱斯电子有限公司 基于移动终端的Wi-Fi智能监控系统
CN103955878A (zh) * 2014-04-11 2014-07-30 杭州电子科技大学 基于sift的dwt-svd抗几何攻击盲水印方法
CN105657349A (zh) * 2015-12-30 2016-06-08 广州励丰文化科技股份有限公司 多摄像头场景下参考触控压力控制监控的方法和系统
CN107027055A (zh) * 2017-04-28 2017-08-08 安徽四创电子股份有限公司 一种基于水印技术的视频溯源及加密方法
CN110086634A (zh) * 2019-05-16 2019-08-02 济南浪潮高新科技投资发展有限公司 一种智能摄像头安全认证和访问的系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
胡青 等: "基于DWT-SVD的奇异向量量化水印算法", 《计算机科学》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113379582A (zh) * 2021-05-13 2021-09-10 北京元讯通科技有限公司 一种信息添加方法、信息提取方法、装置和电子设备
CN113613073A (zh) * 2021-08-04 2021-11-05 北京林业大学 一种端到端的视频数字水印系统及方法
CN114630130A (zh) * 2022-03-17 2022-06-14 北京影数科技有限公司 一种基于深度学习的换脸视频溯源方法及系统
CN114630130B (zh) * 2022-03-17 2024-05-03 北京影数科技有限公司 一种基于深度学习的换脸视频溯源方法及系统
CN116527314A (zh) * 2023-03-27 2023-08-01 深圳市博通智能技术有限公司 一种图像和视频安全传输方法、装置、介质及设备
CN117196378A (zh) * 2023-08-22 2023-12-08 江苏重华数字科技有限公司 公路工程全周期一体化质量数据传递与追溯处理方法
CN117278762A (zh) * 2023-09-20 2023-12-22 深圳市艾宝科技有限公司 一种安全可溯源视频编解码系统
CN117278762B (zh) * 2023-09-20 2024-05-24 深圳市艾宝科技有限公司 一种安全可溯源视频编解码系统

Similar Documents

Publication Publication Date Title
CN112468715A (zh) 一种视频追溯系统及视频追溯方法
JP6141295B2 (ja) 知覚的に無損失のおよび知覚的に強調された画像圧縮システムならびに方法
Nadenau et al. Human vision models for perceptually optimized image processing–a review
CN103856829B (zh) 一种视频数字水印的嵌入、提取方法和装置
Qi et al. Generic reversible visible watermarking via regularized graph fourier transform coding
CN116228507B (zh) 一种数字文本水印溯源方法及系统
CN113612898B (zh) 一种抗jpeg图像下采样的鲁棒隐蔽通信装置
Phadikar et al. Quality access control of compressed color images using data hiding
WO2003003276A9 (en) Method and system for watermarking an electrically depicted image
Koya et al. Analysis of application of arithmetic coding on dct and dct-dwt hybrid transforms of images for compression
CN109361926B (zh) H.264/avc视频视觉质量无损可逆信息隐藏方法
CN111325652A (zh) 信息嵌入、提取方法及装置、设备、计算机可读存储介质
Panyavaraporn Multiple video watermarking algorithm based on wavelet transform
Deljavan Amiri et al. HVS-based scalable image watermarking: A novel approach to image copyright protection against scalable compression
Liu et al. Research on covert communication security based on screen content coding
Agilandeeswari et al. A novel block based video in video watermarking algorithm using discrete wavelet transform and singular value decomposition
Midha et al. Analysis of RGB and YCbCr color spaces using wavelet transform
US20220078464A1 (en) Method for concealing data in an image or a video stream inside a compression chain
Kaur et al. Comparative analyses of YCbCr color space and CIELab color space based on DWT and SVD
Jerisha Liby et al. HSV model based data hiding in video for watermark applications
CN113596575A (zh) 一种视频指纹数据的生成方法、比对方法及设备
Verma et al. Robust temporal video watermarking using YCbCr color space in Wavelet domain
Veličković et al. Video protection by color watermark using a modified cyclic insertion scheme
CN114998081B (zh) 一种基于h.265/hevc的视频盲水印嵌入和提取方法
Vahedi et al. On optimal color coordinate selection for wavelet-based color image watermarking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210309

RJ01 Rejection of invention patent application after publication