CN117579904A - 数据采集、水印识别方法、系统及电子设备 - Google Patents

数据采集、水印识别方法、系统及电子设备 Download PDF

Info

Publication number
CN117579904A
CN117579904A CN202311359620.XA CN202311359620A CN117579904A CN 117579904 A CN117579904 A CN 117579904A CN 202311359620 A CN202311359620 A CN 202311359620A CN 117579904 A CN117579904 A CN 117579904A
Authority
CN
China
Prior art keywords
image
watermark
screen display
acquisition
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311359620.XA
Other languages
English (en)
Inventor
侯峰
刘学鹏
房浩
许景涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN202311359620.XA priority Critical patent/CN117579904A/zh
Publication of CN117579904A publication Critical patent/CN117579904A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835Generation of protective data, e.g. certificates
    • H04N21/8358Generation of protective data, e.g. certificates involving watermark
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

本公开提供了一种数据采集、水印识别方法、系统及电子设备,能够在不影响屏幕显示的情况下高清采集屏幕数据,快速提升屏摄数据的采集速度。该方法包括:屏显设备在显示界面显示源图像后,生成水印图像;屏显设备将所述源图像更新显示为水印嵌入图像,所述水印嵌入图像包含所述源图像和所述水印图像的信息;采集设备确定屏显设备更新显示完成时,采集屏显设备当前显示的水印嵌入图像。

Description

数据采集、水印识别方法、系统及电子设备
技术领域
本公开涉及显示数据处理技术领域,特别涉及一种数据采集、水印识别方法、系统及电子设备。
背景技术
如今电子化办公已经占据绝对地位,但是随之而来的信息泄露也越来越多,屏幕数据保护一直是信息安全领域的重要问题之一。在许多应用场景中,如数字取证、知识产权保护、远程协作等,需要对屏幕数据进行高效保护。
通过在屏端嵌入无痕水印,可以在不影响屏幕显示效果的情况下对显示内容进行加密,对于已加密的屏幕,无论是截图、拍摄,都可以通过无痕水印信息解密溯源系统进行解密溯源。
无痕水印信息解密溯源系统利用深度学习强大的学习能力,可以有效的将肉眼不易察觉的水印信息从图像中分离出来。但是深度学习非常依赖数据,需要有足够多的高质量数据才可以训练出效果好的模型,因此针对屏端无痕水印的数据采集就是一个亟待解决的问题。
发明内容
本公开提供一种数据采集、水印识别方法、系统及电子设备,能够在不影响屏幕显示的情况下高清采集屏幕数据,快速提升屏摄数据的采集速度。
第一方面,本公开实施例提供的一种数据采集的方法,该方法包括:
屏显设备在显示界面显示源图像后,生成水印图像;
屏显设备将所述源图像更新显示为水印嵌入图像,所述水印嵌入图像包含所述源图像和所述水印图像的信息;
采集设备确定屏显设备更新显示完成时,采集屏显设备当前显示的水印嵌入图像。
作为一种可选的实施方式,所述屏显设备在显示界面显示源图像后,生成水印图像,包括:
屏显设备在显示界面显示源图像后,在接收到水印生成指令时生成水印图像,所述水印生成指令包括用户在屏显设备上输入的指令或采集设备发送的指令。
作为一种可选的实施方式,所述采集设备通过如下方式确定屏显设备更新显示完成:
采集设备接收到用户发送的第一采集指令时,确定屏显设备更新显示完成;或,
采集设备接收到屏显设备发送的第二采集指令时,确定屏显设备更新显示完成,所述第二采集指令是屏显设备在更新显示后向采集设备发送的指令。
作为一种可选的实施方式,该方法还包括:
采集设备将采集到的图像传输给屏显设备,所述图像包括源图像和/或水印嵌入图像;
屏显设备对所述图像命名后存储,用于从屏显设备存储的图像中获取采集的数据。
作为一种可选的实施方式,该方法还包括:
屏显设备在显示界面显示源图像后,采集设备采集屏显设备当前显示的源图像;
根据所述源图像和所述水印嵌入图像确定采集数据;
所述采集数据用于对分类模型进行训练,所述分类模型用于确定输入图像的图像类别,所述图像类别包括无水印类别和有水印类别。
作为一种可选的实施方式,所述采集数据还包括所述源图像和所述水印嵌入图像的文件名,所述文件名用于标注采集数据的图像类别。
作为一种可选的实施方式,
所述屏显设备的显示界面还包括标识组件,所述标识组件表示显示界面当前显示的图像的图像类别,所述当前显示的图像包括源图像或水印嵌入图像。
作为一种可选的实施方式,该方法还包括:
屏显设备确定采集设备采集完成时,对当前显示的图像进行截屏并存储;
屏显设备比较连续两次截屏的画面中包含的标识组件,若两个标识组件表示的图像类别相同,则提醒用户采集设备连续两次采集的是同类别的图像。
作为一种可选的实施方式,该方法还包括:
屏显设备确定采集设备采集完成时,对当前显示的图像进行截屏并存储,所述当前显示的图像包括源图像或水印嵌入图像;
屏显设备比较连续两次截屏的画面的相似度,若相似度大于相似阈值,则提醒用户采集设备连续两次采集的同一个图像。
作为一种可选的实施方式,该方法还包括:
根据所述水印嵌入图像确定采集数据;
所述采集数据用于对识别模型进行训练,所述识别模型用于对输入的水印嵌入图像包含的水印图像进行识别,输出所述水印图像的编码信息。
作为一种可选的实施方式,所述屏显设备在显示界面显示源图像后,生成水印图像,包括:
屏显设备在显示界面显示源图像后,随机生成编码信息,根据所述编码信息生成水印图像。
作为一种可选的实施方式,所述采集数据还包括所述水印嵌入图像的文件名,所述文件名用于标注所述水印嵌入图像包含的水印图像的编码信息;该方法还包括:
所述屏显设备根据所述水印嵌入图像包含的水印图像的编码信息,生成所述水印嵌入图像的文件名。
第二方面,本公开实施例提供的一种水印识别的方法,该方法包括:
获取待识别图像;
将所述待识别图像输入到水印识别模型,当确定所述待识别图像包含水印图像时,输出所述待识别图像包含的水印图像的信息;其中,所述水印识别模型是利用采集数据进行训练得到的,所述采集数据是利用采集设备对屏显设备显示的图像进行采集得到的,所述采集数据包括源图像和水印嵌入图像,所述屏显设备用于生成水印图像,显示源图像或水印嵌入图像,所述水印嵌入图像包含所述源图像和所述水印图像的信息。
作为一种可选的实施方式,所述水印识别模型包括分类模型和识别模型;所述采集数据包括第一训练集和第二训练集;
所述第一训练集包括标注图像类别的源图像和水印嵌入图像,所述第一训练集用于对所述分类模型进行训练;所述第二训练集包括标注水印图像的编码信息的水印嵌入图像,所述第二训练集用于对所述识别模型进行训练。
作为一种可选的实施方式,所述将所述待识别图像输入到水印识别模型,当确定所述待识别图像包含水印图像时,输出所述待识别图像包含的水印图像的信息,包括:
将所述待识别图像输入到所述分类模型,根据输出的图像类别确定所述待识别图像是否包含水印图像,所述图像类别包括无水印类别和有水印类别;
当确定所述待识别图像包含水印图像时,将所述待识别图像输入到所述识别模型,输出所述待识别图像包含的水印图像的编码信息。
作为一种可选的实施方式,所述当确定所述待识别图像包含水印图像时,该方法还包括:
识别所述待识别图像中目标区域的角点,根据识别的角点对所述待识别图像进行裁剪和仿射变换,得到更新的待识别图像;和/或,对所述待识别图像进行图像增强处理,得到更新的待识别图像;
将所述更新的待识别图像输入到所述识别模型,输出所述待识别图像包含的水印图像的编码信息。
第三方面,本公开实施例还提供一种数据采集的系统,该系统包括屏显设备和采集设备,其中:
屏显设备在显示界面显示源图像后,生成水印图像;
屏显设备将所述源图像更新显示为水印嵌入图像,所述水印嵌入图像包含所述源图像和所述水印图像的信息;
采集设备确定屏显设备更新显示完成时,采集屏显设备当前显示的水印嵌入图像。
作为一种可选的实施方式,所述屏显设备具体用于:
屏显设备在显示界面显示源图像后,在接收到水印生成指令时生成水印图像,所述水印生成指令包括用户在屏显设备上输入的指令或采集设备发送的指令。
作为一种可选的实施方式,所述采集设备具体用于通过如下方式确定屏显设备更新显示完成:
采集设备接收到用户发送的第一采集指令时,确定屏显设备更新显示完成;或,
采集设备接收到屏显设备发送的第二采集指令时,确定屏显设备更新显示完成,所述第二采集指令是屏显设备在更新显示后向采集设备发送的指令。
作为一种可选的实施方式,该系统还用于:
采集设备将采集到的图像传输给屏显设备,所述图像包括源图像和/或水印嵌入图像;
屏显设备对所述图像命名后存储,用于从屏显设备存储的图像中获取采集的数据。
作为一种可选的实施方式,该系统还用于:
屏显设备在显示界面显示源图像后,采集设备采集屏显设备当前显示的源图像;
根据所述源图像和所述水印嵌入图像确定采集数据;
所述采集数据用于对分类模型进行训练,所述分类模型用于确定输入图像的图像类别,所述图像类别包括无水印类别和有水印类别。
作为一种可选的实施方式,所述采集数据还包括所述源图像和所述水印嵌入图像的文件名,所述文件名用于标注采集数据的图像类别。
作为一种可选的实施方式,所述屏显设备的显示界面还包括标识组件,所述标识组件表示显示界面当前显示的图像的图像类别,所述当前显示的图像包括源图像或水印嵌入图像。
作为一种可选的实施方式,所述屏显设备还用于:
屏显设备确定采集设备采集完成时,对当前显示的图像进行截屏并存储;
屏显设备比较连续两次截屏的画面中包含的标识组件,若两个标识组件表示的图像类别相同,则提醒用户采集设备连续两次采集的是同类别的图像。
作为一种可选的实施方式,所述屏显设备还用于:
屏显设备确定采集设备采集完成时,对当前显示的图像进行截屏并存储,所述当前显示的图像包括源图像或水印嵌入图像;
屏显设备比较连续两次截屏的画面的相似度,若相似度大于相似阈值,则提醒用户采集设备连续两次采集的同一个图像。
作为一种可选的实施方式,该系统还用于:
根据所述水印嵌入图像确定采集数据;
所述采集数据用于对识别模型进行训练,所述识别模型用于对输入的水印嵌入图像包含的水印图像进行识别,输出所述水印图像的编码信息。
作为一种可选的实施方式,所述屏显设备具体用于:
屏显设备在显示界面显示源图像后,随机生成编码信息,根据所述编码信息生成水印图像。
作为一种可选的实施方式,所述采集数据还包括所述水印嵌入图像的文件名,所述文件名用于标注所述水印嵌入图像包含的水印图像的编码信息;所述屏显设备还用于:
根据所述水印嵌入图像包含的水印图像的编码信息,生成所述水印嵌入图像的文件名。
第四方面,本公开实施例还提供一种电子设备,包括处理器和存储器,所述存储器用于存储所述处理器可执行的程序,所述处理器用于读取所述存储器中的程序并执行如下步骤:
获取待识别图像;
将所述待识别图像输入到水印识别模型,当确定所述待识别图像包含水印图像时,输出所述待识别图像包含的水印图像的信息;其中,所述水印识别模型是利用采集数据进行训练得到的,所述采集数据是利用采集设备对屏显设备显示的图像进行采集得到的,所述采集数据包括源图像和水印嵌入图像,所述屏显设备用于生成水印图像,显示源图像或水印嵌入图像,所述水印嵌入图像包含所述源图像和所述水印图像的信息。
第五方面,本公开实施例还提供计算机存储介质,其上存储有计算机程序,该程序被处理器执行时用于实现上述第一方面或第二方面所述方法的步骤。
本公开的这些方面或其他方面在以下的实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本公开实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的一种数据采集的方法的具体实施流程图;
图2为本公开实施例提供的一种水印图像生成的示意图;
图3为本公开实施例提供的一种分类模型训练的数据采集流程图;
图4A为本公开实施例提供的一种分类模型的手动采集的系统架构图;
图4B为本公开实施例提供的一种分类模型的手动采集方法实施流程图;
图5A为本公开实施例提供的一种分类模型的自动采集的系统架构图;
图5B为本公开实施例提供的一种分类模型的自动采集方法实施流程图;
图6为本公开实施例提供的一种识别模型训练的数据采集流程图;
图7A为本公开实施例提供的一种手动触发采集图像的系统架构图;
图7B为本公开实施例提供的一种识别模型的数据采集流程图;
图8A为本公开实施例提供的一种自动触发采集图像的系统架构图;
图8B为本公开实施例提供的一种识别模型的数据采集流程图;
图9为本公开实施例提供的一种采集数据的处理流程图;
图10为本公开实施例提供的一种水印识别的方法的实施流程图;
图11为本公开实施例提供的一种数据采集的系统示意图;
图12为本公开实施例提供的一种电子设备的示意图。
具体实施方式
为了使本公开的目的、技术方案和优点更加清楚,下面将结合附图对本公开作进一步地详细描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。基于本公开中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本公开保护的范围。
本公开实施例中术语“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本公开实施例描述的应用场景是为了更加清楚的说明本公开实施例的技术方案,并不构成对于本公开实施例提供的技术方案的限定,本领域普通技术人员可知,随着新应用场景的出现,本公开实施例提供的技术方案对于类似的技术问题,同样适用。其中,在本公开的描述中,除非另有说明,“多个”的含义是两个或两个以上。
如今电子化办公已经占据绝对地位,但是随之而来的信息泄露也越来越多,屏幕数据保护一直是信息安全领域的重要问题之一。在许多应用场景中,如数字取证、知识产权保护、远程协作等,需要对屏幕数据进行高效保护。通过在屏端嵌入无痕水印,可以在不影响屏幕显示效果的情况下对显示内容进行加密,对于已加密的屏幕,无论是截图、拍摄,都可以通过无痕水印信息解密溯源系统进行解密溯源。无痕水印信息解密溯源系统利用深度学习强大的学习能力,可以有效的将肉眼不易察觉的水印信息从图像中分离出来。但是深度学习非常依赖数据,需要有足够多的高质量数据才可以训练出效果好的模型,因此针对屏端无痕水印的数据采集就是一个亟待解决的问题。
本公开提供一种数据采集的方法,能够在不影响屏幕显示的情况下高清采集屏幕数据,还可以构建出屏幕采集图像与水印信息之间一一对应的关系,从而保证了数据的安全性和唯一识别性。
如图1所示,本实施例提供的一种数据采集的方法的具体实施流程如下所示:
步骤100、屏显设备在显示界面显示源图像后,生成水印图像;
实施中,本公开中的屏显设备用于显示图像并进行水印图像的生成和添加,本实施例中的源图像表示不含水印信息的图像,本实施例中的水印图像表示仅含有水印信息的图像。
可选的,在屏显设备生成水印图像时,可以基于屏显设备的设备号和当前时间生成编码信息,将该编码信息转换为水印图像。实施中,信息编码指的是将需要编码的信息(例如设备号和当前时间)转变成固定位数的二进制码的过程,此时用到屏显设备的编码模块,编码模块可以将需要编码的信息经过编码然后加密,生成一个固定位数的二进制编码。例如编码信息位数是48位,编码信息包含当前时间和设备号。当前时间是2023年5月20日8点30分,设备号是1024,可以将以上信息经过信息编码模块编码成100101000101101100100110100101000101101100100110。需要说明的是,本实施例中的设备号可以是基于设备属性信息如硬件号、网卡、MAC地址等信息生成的一个设备号,实施中,可以通过将设备注册到平台的方式,将该设备在注册时输入的设备属性信息生成一个序号作为该设备号。
可选的,本实施例中的屏显设备还包括水印生成模块,水印生成模块用于将编码模块生成的二进制码转变成一张水印图像。如图2所示,根据编码的位数(长度)将屏幕编码区域分成48个块,每个块可以有两种不同的颜色,其中黑色表示1,白色表示0。同时遍历二进制码和图像块,遇到二进制码为1的时候,就将图像块变成黑色,遇到二进制码为0的时候就将图像块变成白色,由此可以将二进制码转变成水印图像。
可选的,本实施例生成的编码信息包括但不限于二进制码、四进制码、ASCII码等,本实施例对编码的类型不作过多限定。在将编码信息转换为水印图像时,根据编码信息的码字位数(长度)确定将屏显设备的显示界面划分的图像块的数量,根据对应位置的码字确定该图像块的颜色(像素值),其中不同的码字对应的颜色不同,从而将编码信息转换为水印图像。其中,本实施例对图像块的数量不作过多限定,对图像块的颜色也不作过多限定。
步骤101、屏显设备将所述源图像更新显示为水印嵌入图像,所述水印嵌入图像包含所述源图像和所述水印图像的信息;
实施中,水印嵌入图像是指在不影响用户操作或屏幕显示效果的前提下,将生成的水印图像嵌入到屏幕中,结合源图像显示为水印嵌入图像。
可选的,本实施例中的水印嵌入图像的生成包括如下任意一种方式:
方式a、将水印图像和源图像进行融合,将融合的图像作为水印嵌入图像进行显示,其中融合是指将源图像的像素值和水印图像的像素值进行不同比例的混合后一起显示,例如设置将源图像RGB值以90%的比例,水印图像RGB值以10%的比例进行融合,生成水印嵌入图像后在屏显设备进行显示。
方式b、将水印图像设置为高于阈值的透明度(阈值设置为不影响源图像显示的透明度),然后利用屏显设备的渲染功能将水印图像作为一个图层覆盖在当前源图像的显示界面上进行显示。
需要说明的是,以上两种方式都可以实现水印嵌入显示的效果,但是方式a需要实时将显示的源图像与水印图像进行融合操作,对于算力要求比较高,因此适用于算力资源比较强的屏显设备,方式b显示的源图像与水印图像没有直接关联,因此可以适用一般的屏显设备。本实施例对水印图像的图像类型不作过多限定,对源图像的图像类型不作过多限定。图像类型包括但不限于RGB图像、灰度图像、二值图像等,本实施例对此不作过多限定。
步骤102、采集设备确定屏显设备更新显示完成时,采集屏显设备当前显示的水印嵌入图像。
实施中,屏摄图像的水印信息提取的源头是屏摄图像,因此屏摄图像的质量对于水印信息提取模型的效果起到了至关重要的作用。为了保障训练数据的丰富性,需要实现拍摄设备多样性、被拍屏幕多样性、拍摄内容多样性、拍摄环境多样性、拍摄手法多样性等。
可选的,本实施例中的采集设备包括但不限于单反相机、工业相机、高端安卓手机、低端安卓手机、苹果手机等拍摄屏幕的设备,用于获取屏摄图像。但是信息泄露手段不止是屏幕被偷拍,还有可能是被截屏、录屏等,因此本实施例中的采集设备还包括屏显设备本身的截屏/录屏程序等。在实际的实施过程中,窃密人员可能会利用任意的设备对屏幕进行拍摄或截图,因此需要在数据采集阶段就考虑到这种情况,使用不同类型的设备对数据进行采集。可选的,针对屏显信息被盗摄的情况,盗摄设备在盗摄过程中,屏显设备可能会在不同的环境下使用,由于不同的环境,例如周围背景、环境光亮度、色温等都会影响盗摄到的屏幕图像,因此考虑到此情况,在数据采集时拍摄屏显设备图像的时候,需要在实验室、工位、低照度室内、室外等不同的环境下进行拍摄。可选的,本实施例对采集的角度、距离等不作限定,在实际使用过程中,窃密人员可能在不同的角度,不同的位置对屏显设备进行偷拍,因此需要在数据采集过程中充分采用不同的角度,不同的距离,不同的旋转位置来对屏幕进行拍摄。在拍摄过程中,还需要注意避免拍摄时手抖或摄像头晃动等现象,以保证拍摄画面的清晰度和稳定性。
可选的,本实施例中的屏显设备包括但不限于安卓平板、ipad、笔记本电脑、24寸显示器、65寸电视、65寸会议一体机等。由于不同屏幕的尺寸,分辨率,显示效果都不尽相同,同样的显示画面在不同屏幕下显示的结果会有区别,因此需要在不同的设备采集数据。
实施中,本实施例对源图像的内容不作过多限定,在实际使用过程中,屏幕显示内容可以是任意的,因此在采集数据的时候要充分保证显示画面内容的多样性。需要准备足够数据量的显示内容,例如PPT、电子word文档、网页截图、视频截图、动漫图像、风景图、人像图像等。
本实施例通过上述采集设备、屏显设备、采集环境、拍摄或截图手法等的多样性,可以采集到大量的图像数据,用于后续进行模型的训练。
在一些实施例中,屏显设备在生成水印图像时,通过如下方式触发生成水印图像:
屏显设备在显示界面显示源图像后,在接收到水印生成指令时生成水印图像,所述水印生成指令包括用户在屏显设备上输入的指令或采集设备发送的指令。
实施中,在触发生成水印图像行为时可以通过用户手动触发,也可以通过屏显设备显示源图像后主动触发,还可以通过接收采集设备发送的指令后触发生成水印图像,本实施例对此不作过多限定。
在一些实施例中,所述采集设备通过如下任一方式确定屏显设备更新显示完成:
方式1a、采集设备接收到用户发送的第一采集指令时,确定屏显设备更新显示完成;
实施中,采集设备可以通过手动控制是否进行屏显设备的显示界面的图像采集,采集时机可以由用户定义。
方式1b、采集设备接收到屏显设备发送的第二采集指令时,确定屏显设备更新显示完成,所述第二采集指令是屏显设备在更新显示后向采集设备发送的指令。
实施中,可以在屏显设备发送第二采集指令时自动采集屏显设备的显示界面显示的图像,当屏显设备更新显示水印嵌入图像后向采集设备发送第二采集指令,触发采集设备进行拍摄或截图。
在一些实施例中,本实施例还可以将采集设备采集的图像回传给屏显设备进行保存,便于后续进行模型训练,具体实施步骤如下:
采集设备将采集到的图像传输给屏显设备,所述图像包括源图像和/或水印嵌入图像;
屏显设备对所述图像命名后存储,用于从屏显设备存储的图像中获取采集的数据。
实施中,采集设备可以对屏显设备显示的当前图像进行拍摄或截图,当屏显设备每进行一次更新显示,采集设备便采集一次当前显示的图像,从而能自动采集到屏显设备显示的各个图像,并回传给屏显设备进行保存。
可选的,屏显设备在对采集的图像进行命名时,可以基于该图像的图像类型或所包含的水印信息进行命名,便于对采集的图像进行标注,避免人工标注采集的数据进行模型训练,节省人力成本。
在一些实施例中,本实施例可以采集用于进行分类模型训练的数据,如图3所示,具体的实施流程如下所示:
步骤300、屏显设备在显示界面显示源图像后,采集设备采集屏显设备当前显示的源图像;
可选的,采集设备采集源图像的方式包括但不限于拍摄屏显设备的屏幕从而获取当前显示的源图像的拍摄画面,或者对屏显设备当前显示的源图像进行截屏/截图处理获取源图像的截屏画面。
在一些实施例中,所述采集设备通过如下任一方式采集屏显设备当前显示的源图像:
方式2a、采集设备接收到用户发送的第三采集指令,采集屏显设备当前显示的源图像;
实施中,可以手动触发采集源图像,例如用户向采集设备发送第三采集指令,触发采集设备拍摄或截图当前显示的源图像。
方式2b、采集设备接收到屏显设备发送的第四采集指令,采集屏显设备当前显示的源图像,所述第四采集指令是屏显设备在显示源图像后向采集设备发送的指令。
实施中,可以自动触发采集源图像,例如当屏显设备显示源图像后向采集设备发送第四采集指令,触发采集设备采集屏显设备当前显示的源图像。
可选的,根据述源图像和所述水印嵌入图像确定采集数据;所述采集数据用于对分类模型进行训练,所述分类模型用于确定输入图像的图像类别,所述图像类别包括无水印类别和有水印类别。
可选的,所述采集数据还包括所述源图像和所述水印嵌入图像的文件名,所述文件名用于标注采集数据的图像类别。
可选的,通过如下方式生成图像的文件名:
所述屏显设备根据所述源图像采集的时间戳和第一预设字段,生成所述源图像的文件名;
所述屏显设备根据所述水印嵌入图像采集的时间戳和第二预设字段,生成所述水印嵌入图像的文件名。
步骤301、屏显设备确定采集设备采集完成后,生成水印图像;
实施中,屏显设备在接收到水印生成指令时确定采集设备采集完成,此时生成水印图像,所述水印生成指令包括用户在屏显设备上输入的指令或采集设备发送的指令。
在一些实施例中,所述屏显设备在显示界面显示源图像后,通过如下方式生成水印图像:
采集设备采集源图像后,向屏显设备发送水印生成指令,屏显设备接收到所述水印生成指令,生成水印图像;或,
响应于用户在屏显设备上输入的水印生成指令,屏显设备生成水印图像。
实施中,屏显设备可以通过手动方式生成水印图像,例如当用户确定采集设备采集完当前显示的源图像后,向屏显设备输入指令触发屏显设备生成水印图像并进行更新显示;屏显设备也可以通过自动方式生成水印图像,例如当采集设备采集完当前显示的源图像后,向屏显设备发送指令,指示屏显设备生成水印图像并进行更新显示。
步骤302、屏显设备将所述源图像更新显示为水印嵌入图像,所述水印嵌入图像包含所述源图像和所述水印图像的信息;
步骤303、采集设备确定屏显设备更新显示完成时,采集屏显设备当前显示的水印嵌入图像。
可选的,采集设备通过如下方式确定屏显设备更新显示完成:
采集设备接收到用户发送的第一采集指令时,确定屏显设备更新显示完成;或,采集设备接收到屏显设备发送的第二采集指令时,确定屏显设备更新显示完成,所述第二采集指令是屏显设备在更新显示后向采集设备发送的指令。
在一些实施例中,所述屏显设备的显示界面还包括标识组件,所述标识组件表示显示界面当前显示的图像的图像类别,所述当前显示的图像包括源图像或水印嵌入图像。
实施中,在数据采集过程中可能会出现两个问题:第一,采集了不同显示画面的图像对;第二,接连采集了两张无水印的图像或两张有水印的图像,这会导致后续的采集都出现错误。基于此,本公开通过如下方式来规避以上问题:
方式3a、屏显设备确定采集设备采集完成时,对当前显示的图像进行截屏并存储;屏显设备比较连续两次截屏的画面中包含的标识组件,若两个标识组件表示的图像类别相同,则提醒用户采集设备连续两次采集的是同类别的图像。
实施中,例如标识组件包括不同颜色的按钮,对连续两次采集的图像进行截屏并临时存储。对两次采集的图像的按钮颜色进行比对,如果两次采集的图像的按钮颜色不同,则说明两次采集的图像分别是源图像和水印嵌入图像,否则提醒用户对采集的时机进行纠正,避免了连续两次采集到同样的包含水印图像或不包含水印图像的情况。
方式3b、屏显设备确定采集设备采集完成时,对当前显示的图像进行截屏并存储,所述当前显示的图像包括源图像或水印嵌入图像;屏显设备比较连续两次截屏的画面的相似度,若相似度大于相似阈值,则提醒用户采集设备连续两次采集的同一个图像。
实施中,对连续两次采集的图像进行截屏并临时存储。通过比较连续两次采集的图像相似度,对两次截屏图像进行匹配,如果匹配度(相似度)高于阈值则说明两次截图的是同一幅画面的图像,如果匹配度低于阈值,则发送提示消息,提醒用户对采集的时机进行纠正。
实施中,该数据采集的过程可以是全自动,也可以通过用户触发进行数据采集和水印图像的生成,针对分类模型的数据采集,为了使得最终训练的分类模型能够对输入图像中是否包含水印图像进行判断,可以用深度学习中的二分类模型进行识别,也可以采用机器学习的分类模型或其他任意分类模型,本实施例对此不做过多限定。在模型训练过程中,由于屏端显示的水印图像很浅,因此有水印的屏摄图像(即水印嵌入图像)和无水印的屏摄图像(即源图像)区别很小,为了有效区分是否包含水印,需要拍摄或截图同一张图像在有水印和无水印时候的屏摄图像,因此,本实施例构建了如下两种数据采集流程,用于采集无水印的屏摄图像(即源图像)和有水印的屏摄图像(即水印嵌入图像)。
第一种、手动触发采集图像。
如图4A所示,本实施例还提供一种分类模型手动采集的系统架构,包括一套屏显设备和一套采集设备,该套屏显设备包括但不限于至少一个相同或不同的型号、类型的屏显设备,每个屏显设备中包含一个屏端水印生成与显示程序,用于生成水印并嵌入到屏幕进行显示;该套采集设备包括但不限于一个或多个相同或不同型号、类型的采集设备,不同采集设备的拍摄角度可以不同、拍摄环境可以不同。每个采集设备中包含一个终端屏摄图像采集程序,用于拍摄或截图屏显设备当前显示的图像,采集屏显设备当前显示的屏幕画面。
具体采集过程如图4B所示,本实施例提供的一种分类模型的手动数据采集方法,具体的实施流程如下所示:
步骤400、启动屏显设备,同时启动屏显设备的屏端水印生成与显示程序;
步骤401、屏显设备显示源图像,同时屏端水印生成与显示程序生成蓝色按钮显示在屏幕的左下角;
需要说明的是,左下角按钮是为了用于触发手动切换指令,但是它的宗旨是不能影响到分类模型或者识别模型对于画面内容的识别,所以左下角按钮越小越好,只要能保证人眼能看到且能点击到即可。另外,无水印的图像和有水印的图像左下角的按钮应该有颜色区分,用于提示用户当前显示的图像是否包含水印图像。
实施中,屏显设备在屏幕切换一幅画面,同时在左下角显示一个很小的蓝色按钮,此按钮是由屏端水印生成程序生成的;
步骤402、手动触发采集设备采集屏显设备当前显示的源图像,并将采集的源图像回传给屏显设备,屏显设备对源图像命名后保存;
实施中,使用事先安装好的采集设备,启动终端屏摄图像采集程序调用摄像头对当前无水印屏幕画面(源图像)进行拍摄或截图并将拍摄或截图的源图像回传到屏显设备,屏显设备将当前的源图像的原始文件名作为文件名前缀,将“src”作为文件名后缀对源图像进行命名保存。
步骤403、响应于用户对蓝色按钮的点击操作,屏端水印生成与显示程序随机生成一张水印图像,将源图像更新显示为水印嵌入图像,并将蓝色按钮更新为红色按钮;
步骤404、手动触发采集设备采集屏显设备当前显示的水印嵌入图像,并将采集的水印嵌入图像回传给屏显设备,屏显设备对水印嵌入图像命名后保存;
实施中,使用事先安装好的采集设备,启动终端屏摄图像采集程序调用摄像头对当前有水印屏幕画面(水印嵌入图像)进行拍摄或截图并将拍摄或截图的水印嵌入图像回传到屏显设备,屏显设备将当前的源图像的原始文件名作为文件名前缀,将“watermark”作为文件名后缀对水印嵌入图像进行命名保存。
需要说明的是,为了保证采集设备采集到的无水印图像(源图像)和有水印图像(水印嵌入图像)来源于同一幅源图像,本实施例以源图像的原始文件名作为文件名前缀,通过不同的后缀字段区分是否包含水印图像,通过设置同一幅源图像对应的无水印图像和有水印图像的文件名前缀相同,文件名后缀不同的方式,来确定两者是否来自同一幅源图像。
重复上述步骤401-404,循环采集多组图像,每组图像包括源图像和水印嵌入图像。
如图5A所示,本实施例还提供一种分类模型自动采集的系统架构,包括一套屏显设备和一套采集设备,该套屏显设备包括但不限于至少一个相同或不同的型号、类型的屏显设备,每个屏显设备中包含一个屏端水印生成与显示程序,用于生成水印并嵌入到屏幕进行显示;该套采集设备包括但不限于一个或多个相同或不同型号、类型的采集设备,不同采集设备的拍摄角度可以不同、拍摄环境可以不同。每个采集设备中包含一个终端屏摄图像采集程序,用于拍摄或截图屏显设备当前显示的图像,采集屏显设备当前显示的屏幕画面。
如图5B所示,本实施例还提供一种分类模型的自动数据采集方法,具体的实施流程如下所示:
步骤500、启动屏显设备,同时启动屏显设备的屏端水印生成与显示程序;
步骤501、屏显设备显示源图像,触发采集设备采集屏显设备当前显示的源图像,将采集的源图像回传给屏显设备,并向屏显设备发送添加水印指令;
实施中,使用事先安装好的采集设备,启动终端屏摄图像采集程序对当前无水印屏幕画面(源图像)进行拍摄或截图并将拍摄或截图的源图像回传到屏显设备。
步骤502、屏显设备对源图像命名后保存,根据收到的添加水印指令触发屏端水印生成与显示程序随机生成一张水印图像,将源图像更新显示为水印嵌入图像;
实施中,屏显设备将当前的源图像的原始文件名作为文件名前缀,将“src”作为文件名后缀对源图像进行命名保存后,触发生成水印图像。
步骤503、采集设备采集屏显设备当前显示的水印嵌入图像,将采集的水印嵌入图像回传给屏显设备,并向屏显设备发送切换指令;
实施中,使用事先安装好的采集设备,当检测到屏显设备进行画面切换显示/更新显示时,启动终端屏摄图像采集程序对当前有水印屏幕画面(水印嵌入图像)进行拍摄或截图并将拍摄或截图的水印嵌入图像回传到屏显设备,屏显设备将当前的源图像的原始文件名作为文件名前缀,将“watermark”作为文件名后缀对水印嵌入图像进行命名保存。
步骤504、屏显设备对水印嵌入图像命名后保存,根据收到的切换指令对当前显示的图像进行更新显示。
在一些实施例中,本实施例可以采集用于进行识别模型训练的数据,如图6所示,具体的实施流程如下所示:
步骤600、屏显设备在显示界面显示源图像后,生成水印图像;
实施中,屏显设备在接收到水印生成指令时确定采集设备采集完成,此时生成水印图像,所述水印生成指令包括用户在屏显设备上输入的指令或采集设备发送的指令。
在一些实施例中,所述屏显设备在显示界面显示源图像后,通过如下方式生成水印图像:
屏显设备在显示界面显示源图像后,自动生成水印图像;或,
响应于用户在屏显设备上输入的水印生成指令,屏显设备生成水印图像。
实施中,屏显设备可以通过手动方式生成水印图像,例如当用户确定屏显设备显示源图像后,向屏显设备输入指令触发屏显设备生成水印图像并进行更新显示;屏显设备也可以通过自动方式生成水印图像,例如当屏显设备显示源图像后,触发生成水印图像并进行更新显示。
在一些实施例中,所述屏显设备在显示界面显示源图像后,还可以通过如下方式生成水印图像:
屏显设备在显示界面显示源图像后,随机生成编码信息,根据所述编码信息生成水印图像。
实施中,屏显设备在显示界面显示源图像后,自动触发生成编码信息,并根据编码信息生成水印图像。其中,为了使得生成的水印图像的类型更多样性,提高识别模型训练的泛化性能,这里使用随机生成编码信息的方式,得到水印图像。
可选的,屏显设备在显示界面显示源图像后,响应于用户在显示界面输入的第一指令,生成编码信息;响应于用户在显示界面输入的第二指令,将所述编码信息转换为水印图像。
实施中,显示源图像的同时,还可以在显示界面显示触控按钮,用户点击该触控按钮,触发生成编码信息,并显示编码信息;用户点击该编码信息后,触发将该编码信息转换为水印图像。
步骤601、屏显设备将所述源图像更新显示为水印嵌入图像,所述水印嵌入图像包含所述源图像和所述水印图像的信息;
步骤602、采集设备确定屏显设备更新显示完成时,采集屏显设备当前显示的水印嵌入图像。
可选的,采集设备采集水印嵌入图像的方式包括但不限于拍摄屏显设备的屏幕从而获取当前显示的水印嵌入图像的拍摄画面,或者对屏显设备当前显示的水印嵌入图像进行截屏处理从而获取水印嵌入图像的截屏画面。
可选的,采集设备通过如下方式确定屏显设备更新显示完成:
采集设备接收到用户发送的第一采集指令时,确定屏显设备更新显示完成;或,采集设备接收到屏显设备发送的第二采集指令时,确定屏显设备更新显示完成,所述第二采集指令是屏显设备在更新显示后向采集设备发送的指令。
在一些实施例中,根据所述水印嵌入图像确定采集数据;所述采集数据用于对识别模型进行训练,所述识别模型用于对输入的水印嵌入图像包含的水印图像进行识别,输出所述水印图像的编码信息。
在一些实施例中,所述采集数据还包括所述水印嵌入图像的文件名,所述文件名用于标注所述水印嵌入图像包含的水印图像的编码信息。
可选的,所述屏显设备根据所述水印嵌入图像包含的水印图像的编码信息,生成所述水印嵌入图像的文件名,并保存所述水印嵌入图像。通过文件名标注水印嵌入图像的编码信息,用于后续识别模型的训练。
本公开采用深度学习中的监督学习方法来训练识别模型。监督学习需要构建数据对,一幅图像与一个标签就构成了一个数据对。在本公开中,识别模型的输入图像是拍摄到的带有无痕水印的屏幕图像(即水印嵌入图像),水印嵌入图像的标签为该图像中无痕水印对应的编码信息。
可选的,本实施例对编码信息的具体形式不作过多限定,可以二进制码或四进制码等多种类型的编码。
在实际使用过程中,屏端显示的无痕水印随着时间实时变化,而且无痕水印肉眼不易察觉,因此通过拍摄实时显示的无痕水印的水印嵌入图像,无法从中直接得到水印的编码信息。在实际的数据采集过程中,每一张拍摄或者截图到的带有无痕水印的屏幕图像需要与生成无痕水印的编码信息一一对应起来,因此本实施例提供一种识别模型的数据采集系统,用于在数据采集的过程中构建水印嵌入图像-编码信息的数据对。
实施中,该数据采集的过程可以是全自动,也可以通过用户触发进行数据采集和水印图像的生成,针对识别模型的数据采集,本实施例构建了如下两种数据采集流程,用于采集有水印的屏摄图像(即水印嵌入图像)。
第一种、手动触发采集图像。
如图7A所示,本实施例提供一种手动触发采集图像的系统架构。包括一套屏显设备和一套采集设备,该套屏显设备包括但不限于至少一个相同或不同的型号、类型的屏显设备,每个屏显设备中包含一个屏端水印生成与显示程序,用于生成水印并嵌入到屏幕进行显示;该套采集设备包括但不限于一个或多个相同或不同型号、类型的采集设备,不同采集设备的拍摄角度可以不同、拍摄环境可以不同。每个采集设备中包含一个终端屏摄图像采集程序,用于拍摄或截图屏显设备当前显示的图像,采集屏显设备当前显示的屏幕画面。
实施中,屏显设备在显示源图像的同时,在显示界面左下角显示触控按钮,用户点击触控按钮后,触发屏显设备生成编码信息进行显示,用户点击编码信息后,生成水印图像,将源图像更新显示为水印嵌入图像,此时水印嵌入图像的左下角仍显示触控按钮,用户可以通过点击触控按钮对屏显设备当前显示的图像进行切换/更新,在显示水印嵌入图像后,用户触发采集设备采集当前显示的水印嵌入图像,并将采集的水印嵌入图像回传给屏显设备进行命名保存,其中可以将文件名命名为二进制编码信息对应的十六进制编码信息。
如图7B所示,本实施例提供的一种识别模型的数据采集流程,具体的实施流程如下所示,
步骤700、启动屏显设备,同时启动屏显设备的屏端水印生成与显示程序;
实施中,启动屏显设备以后,屏显设备在屏幕显示源图像,同时在左下角显示一个很小的触控按钮(如蓝色),此按钮是由屏端水印生成与显示程序生成的。
步骤701、屏显设备显示源图像,同时屏端水印生成与显示程序生成触控按钮显示在屏幕的左下角;
步骤702、用户点击左下角触控按钮,屏端水印生成与显示程序随机生成一个固定长度的二进制码,并将此二进制码在屏幕中显示出来;
步骤703、用户点击二进制码,屏端水印生成与显示程序根据二进制码生成水印图像,将源图像更新显示为水印嵌入图像,并将二进制码转换为十六进制编码。
步骤704、手动触发采集设备采集屏显设备当前显示的水印嵌入图像,并将采集的水印嵌入图像回传给屏显设备,屏显设备对水印嵌入图像命名后保存;
步骤705、用户点击左下角触控按钮,屏显设备切换显示下一幅源图像。
实施中,使用事先安装好的采集设备,启动终端屏摄图像采集程序调用摄像头对当前有水印屏幕画面(水印嵌入图像)进行拍摄或截图并将拍摄或截图的水印嵌入图像回传到屏显设备,屏显设备将转换的十六进制编码作为水印嵌入图像的文件名,对水印嵌入图像进行命名保存。
重复上述步骤701-705,循环采集多个水印嵌入图像作为采集数据进行识别模型的训练。
第二种、自动触发采集图像。
如图8A所示,本实施例提供一种自动触发采集图像的系统架构。包括一套屏显设备和一套采集设备,该套屏显设备包括但不限于至少一个相同或不同的型号、类型的屏显设备,每个屏显设备中包含一个屏端水印生成与显示程序,用于生成水印并嵌入到屏幕进行显示;该套采集设备包括但不限于一个或多个相同或不同型号、类型的采集设备,不同采集设备的拍摄角度可以不同、拍摄环境可以不同。每个采集设备中包含一个终端屏摄图像采集程序,用于拍摄或截图屏显设备当前显示的图像,采集屏显设备当前显示的屏幕画面。
实施中,屏显设备在显示源图像后,自动随机生成编码信息进行显示,根据编码信息生成水印图像,将源图像更新显示为水印嵌入图像,此时屏显设备向采集设备发送采集指令,采集设备接收到采集指令后触发调用摄像头采集当前显示的水印嵌入图像,并将采集的水印嵌入图像回传给屏显设备进行命名保存,同时,向屏显设备发送切换指令,触发屏显设备进行图像的更新显示。
通过建立屏显设备和采集设备之间的通信连接,采用信号交互来实现自动采集数据,自动更新显示屏显设备的画面,极大提升了数据采集的效率。通过上述数据采集系统,采集到的屏摄图像(水印嵌入图像)和屏幕显示的无痕水印的编码信息建立了一一对应的关系,在后续的识别模型训练过程中即可作为一个数据对进行使用。
如图8B所示,本实施例提供的一种识别模型的数据采集流程,具体的实施流程如下所示,
步骤800、启动屏显设备,同时启动屏显设备的屏端水印生成与显示程序;
步骤801、屏显设备显示源图像,随机生成一个固定长度的二进制码,并将二进制码转换为十六进制码;
步骤802、屏显设备根据二进制码生成水印图像,将源图像更新显示为水印嵌入图像,并向采集设备发送采集指令;
步骤803、采集设备接收到采集指令,采集屏显设备当前显示的水印嵌入图像,并将采集的水印嵌入图像回传给屏显设备,向屏显设备发送切换指令;
步骤804、屏显设备对水印嵌入图像命名后保存,并更新显示当前图像。
在一些实施例中,通过上述方式采集数据后,本实施例还可以对采集数据进行数据处理,便于提高训练样本的质量,提高模型训练的准确性。如图9所示,具体通过如下任一或任多种方式对采集的数据进行处理,其中采集数据包括待识别图像:
方式a、裁图处理;
实施中,识别待识别图像中目标区域的角点,根据识别的角点对待识别图像进行裁剪和仿射变换,得到更新的待识别图像。
由于拍摄或截图的屏摄图像中,屏幕区域只占屏摄图像的其中一部分,在屏幕区域之外的图像区域是不包含水印信息的,对水印信息提取没有作用,反而会造成干扰,因此需要将其去除。
可选的,本实施例中的目标区域为屏显设备的屏幕所在的区域,本实施例可以人工识别出目标区域的四个角点,也可以通过算法模型自动识别,例如在算法模型中输入一张屏摄图像(待识别图像),自动识别并输出屏摄图像中的屏幕区域的四个角点,如果角点识别有偏差,可以手动调整角点位置。然后根据四个角点的位置将屏幕区域进行裁切并仿射变换成矩形,得到更新的待识别图像。
方式b、图像增强处理;
对待识别图像进行图像增强处理,得到更新的待识别图像。
实施中,由于拍摄设备、屏幕类型、环境等的多样性,实拍或截图的图像会呈现各种各样的显示效果,使用数据增强可以对同一幅屏摄图像生成更多的色温、饱和度、锐度的图像,有益于后续识别模型的训练。
需要说明的是,屏端无痕水印具有广泛的应用前景和商业价值。研究人员可以通过本公开所提出的方法和系统,获取并分析网络攻击的目标机器的屏幕数据,从而了解攻击的方式和手段,并为攻击的溯源提供依据和证据;知识产权保护机构可以通过本公开实现知识产权的监管和保护,防止知识产权被盗用或篡改;教师和学生可以通过本公开实现远程协作,在不同地点的学生共享课程内容、讨论问题和做出决策等。屏端无痕水印信息泄露溯源技术核心是信息解析准确率,信息解析准确率直接依赖信息解析模型的解析效果。对于信息解析模型而言,屏摄数据的质量是重中之重。屏摄数据的采集需要在不同场景下调用不同设备的摄像头,因此数据采集速度和数量都很难有效提高,本公开设计的一套数据采集流程可以快速提升屏摄数据采集速度,能够对现有的信息安全领域带来巨大的推动和创新,对社会和经济发展也具有重要意义。
基于相同的发明构思,本公开实施例还提供了一种水印识别的方法,如图10所示,该方法执行的流程如下所示:
步骤1000、获取待识别图像;
步骤1001、将所述待识别图像输入到水印识别模型,当确定所述待识别图像包含水印图像时,输出所述待识别图像包含的水印图像的信息;
其中,所述水印识别模型是利用采集数据进行训练得到的,所述采集数据是利用采集设备对屏显设备显示的图像进行采集得到的,所述采集数据包括源图像和水印嵌入图像,所述屏显设备用于生成水印图像,显示源图像或水印嵌入图像,所述水印嵌入图像包含所述源图像和所述水印图像的信息。
作为一种可选的实施方式,所述水印识别模型包括分类模型和识别模型;所述采集数据包括第一训练集和第二训练集;
所述第一训练集包括标注图像类别的源图像和水印嵌入图像,所述第一训练集用于对所述分类模型进行训练;所述第二训练集包括标注水印图像的编码信息的水印嵌入图像,所述第二训练集用于对所述识别模型进行训练。
作为一种可选的实施方式,所述将所述待识别图像输入到水印识别模型,当确定所述待识别图像包含水印图像时,输出所述待识别图像包含的水印图像的信息,包括:
将所述待识别图像输入到所述分类模型,根据输出的图像类别确定所述待识别图像是否包含水印图像,所述图像类别包括无水印类别和有水印类别;
当确定所述待识别图像包含水印图像时,将所述待识别图像输入到所述识别模型,输出所述待识别图像包含的水印图像的编码信息。
作为一种可选的实施方式,所述当确定所述待识别图像包含水印图像时,该方法还包括:
识别所述待识别图像中目标区域的角点,根据识别的角点对所述待识别图像进行裁剪和仿射变换,得到更新的待识别图像;和/或,对所述待识别图像进行图像增强处理,得到更新的待识别图像;
将所述更新的待识别图像输入到所述识别模型,输出所述待识别图像包含的水印图像的编码信息。
基于相同的发明构思,本公开实施例还提供了一种数据采集的系统,由于该系统即是本公开实施例中的方法中的系统,并且该系统解决问题的原理与该方法相似,因此该系统的实施可以参见方法的实施,重复之处不再赘述。
如图11所示,该系统包括屏显设备1100和采集设备1101,其中:
屏显设备在显示界面显示源图像后,生成水印图像;
屏显设备将所述源图像更新显示为水印嵌入图像,所述水印嵌入图像包含所述源图像和所述水印图像的信息;
采集设备确定屏显设备更新显示完成时,采集屏显设备当前显示的水印嵌入图像。
作为一种可选的实施方式,所述屏显设备1100具体用于:
屏显设备在显示界面显示源图像后,在接收到水印生成指令时生成水印图像,所述水印生成指令包括用户在屏显设备上输入的指令或采集设备发送的指令。
作为一种可选的实施方式,所述采集设备1101具体用于通过如下方式确定屏显设备更新显示完成:
采集设备接收到用户发送的第一采集指令时,确定屏显设备更新显示完成;或,
采集设备接收到屏显设备发送的第二采集指令时,确定屏显设备更新显示完成,所述第二采集指令是屏显设备在更新显示后向采集设备发送的指令。
作为一种可选的实施方式,该系统还用于:
采集设备将采集到的图像传输给屏显设备,所述图像包括源图像和/或水印嵌入图像;
屏显设备对所述图像命名后存储,用于从屏显设备存储的图像中获取采集的数据。
作为一种可选的实施方式,该系统还用于:
屏显设备在显示界面显示源图像后,采集设备采集屏显设备当前显示的源图像;
根据所述源图像和所述水印嵌入图像确定采集数据;
所述采集数据用于对分类模型进行训练,所述分类模型用于确定输入图像的图像类别,所述图像类别包括无水印类别和有水印类别。
作为一种可选的实施方式,所述采集数据还包括所述源图像和所述水印嵌入图像的文件名,所述文件名用于标注采集数据的图像类别。
作为一种可选的实施方式,所述屏显设备1100的显示界面还包括标识组件,所述标识组件表示显示界面当前显示的图像的图像类别,所述当前显示的图像包括源图像或水印嵌入图像。
作为一种可选的实施方式,所述屏显设备1100还用于:
屏显设备确定采集设备采集完成时,对当前显示的图像进行截屏并存储;
屏显设备比较连续两次截屏的画面中包含的标识组件,若两个标识组件表示的图像类别相同,则提醒用户采集设备连续两次采集的是同类别的图像。
作为一种可选的实施方式,所述屏显设备1100还用于:
屏显设备确定采集设备采集完成时,对当前显示的图像进行截屏并存储,所述当前显示的图像包括源图像或水印嵌入图像;
屏显设备比较连续两次截屏的画面的相似度,若相似度大于相似阈值,则提醒用户采集设备连续两次采集的同一个图像。
作为一种可选的实施方式,该系统还用于:
根据所述水印嵌入图像确定采集数据;
所述采集数据用于对识别模型进行训练,所述识别模型用于对输入的水印嵌入图像包含的水印图像进行识别,输出所述水印图像的编码信息。
作为一种可选的实施方式,所述屏显设备1100具体用于:
屏显设备在显示界面显示源图像后,随机生成编码信息,根据所述编码信息生成水印图像。
作为一种可选的实施方式,所述采集数据还包括所述水印嵌入图像的文件名,所述文件名用于标注所述水印嵌入图像包含的水印图像的编码信息;所述屏显设备1100具体还用于:
根据所述水印嵌入图像包含的水印图像的编码信息,生成所述水印嵌入图像的文件名。
基于相同的发明构思,本公开实施例还提供了一种电子设备,由于该电子设备即是本公开实施例中的方法中的电子设备,并且该电子设备解决问题的原理与该方法相似,因此该电子设备的实施可以参见方法的实施,重复之处不再赘述。
如图12所示,该电子设备包括处理器1200和存储器1201,所述存储器1201用于存储所述处理器1200可执行的程序,所述处理器1200用于读取所述存储器1201中的程序并执行如下步骤:
获取待识别图像;
将所述待识别图像输入到水印识别模型,当确定所述待识别图像包含水印图像时,输出所述待识别图像包含的水印图像的信息;其中,所述水印识别模型是利用采集数据进行训练得到的,所述采集数据是利用采集设备对屏显设备显示的图像进行采集得到的,所述采集数据包括源图像和水印嵌入图像,所述屏显设备用于生成水印图像,显示源图像或水印嵌入图像,所述水印嵌入图像包含所述源图像和所述水印图像的信息。
作为一种可选的实施方式,所述水印识别模型包括分类模型和识别模型;所述采集数据包括第一训练集和第二训练集;
所述第一训练集包括标注图像类别的源图像和水印嵌入图像,所述第一训练集用于对所述分类模型进行训练;所述第二训练集包括标注水印图像的编码信息的水印嵌入图像,所述第二训练集用于对所述识别模型进行训练。
作为一种可选的实施方式,所述处理器1200具体用于:
将所述待识别图像输入到所述分类模型,根据输出的图像类别确定所述待识别图像是否包含水印图像,所述图像类别包括无水印类别和有水印类别;
当确定所述待识别图像包含水印图像时,将所述待识别图像输入到所述识别模型,输出所述待识别图像包含的水印图像的编码信息。
作为一种可选的实施方式,所述当确定所述待识别图像包含水印图像时,所述处理器1200具体还用于:
识别所述待识别图像中目标区域的角点,根据识别的角点对所述待识别图像进行裁剪和仿射变换,得到更新的待识别图像;和/或,对所述待识别图像进行图像增强处理,得到更新的待识别图像;
将所述更新的待识别图像输入到所述识别模型,输出所述待识别图像包含的水印图像的编码信息。
基于同一发明构思,本公开实施例提供一种计算机存储介质,计算机存储介质包括:计算机程序代码,当计算机程序代码在计算机上运行时,使得计算机执行如前文论述任一的数据采集或水印识别的方法。由于上述计算机存储介质解决问题的原理与数据采集或水印识别的方法相似,因此上述计算机存储介质的实施可以参见方法的实施,重复之处不再赘述。
在具体的实施过程中,计算机存储介质可以包括:通用串行总线闪存盘(USB,Universal Serial Bus Flash Drive)、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的存储介质。
基于同一发明构思,本公开实施例还提供了一种计算机程序产品,该计算机程序产品包括:计算机程序代码,当该计算机程序代码在计算机上运行时,使得计算机执行如前文论述任一的数据采集或水印识别的方法。由于上述计算机程序产品解决问题的原理与数据采集或水印识别的方法相似,因此上述计算机程序产品的实施可以参见方法的实施,重复之处不再赘述。
计算机程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本领域内的技术人员应明白,本公开的实施例可提供为方法、系统、或计算机程序产品。因此,本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的设备。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令设备的制造品,该指令设备实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本公开进行各种改动和变型而不脱离本公开的精神和范围。这样,倘若本公开的这些修改和变型属于本公开权利要求及其等同技术的范围之内,则本公开也意图包含这些改动和变型在内。

Claims (19)

1.一种数据采集的方法,其中,该方法包括:
屏显设备在显示界面显示源图像后,生成水印图像;
屏显设备将所述源图像更新显示为水印嵌入图像,所述水印嵌入图像包含所述源图像和所述水印图像的信息;
采集设备确定屏显设备更新显示完成时,采集屏显设备当前显示的水印嵌入图像。
2.根据权利要求1所述的方法,其中,所述屏显设备在显示界面显示源图像后,生成水印图像,包括:
屏显设备在显示界面显示源图像后,在接收到水印生成指令时生成水印图像,所述水印生成指令包括用户在屏显设备上输入的指令或采集设备发送的指令。
3.根据权利要求1所述的方法,其中,所述采集设备通过如下方式确定屏显设备更新显示完成:
采集设备接收到用户发送的第一采集指令时,确定屏显设备更新显示完成;或,
采集设备接收到屏显设备发送的第二采集指令时,确定屏显设备更新显示完成,所述第二采集指令是屏显设备在更新显示后向采集设备发送的指令。
4.根据权利要求1所述的方法,其中,该方法还包括:
采集设备将采集到的图像传输给屏显设备,所述图像包括源图像和/或水印嵌入图像;
屏显设备对所述图像命名后存储,用于从屏显设备存储的图像中获取采集的数据。
5.根据权利要求1~4任一所述的方法,其中,该方法还包括:
屏显设备在显示界面显示源图像后,采集设备采集屏显设备当前显示的源图像;
根据所述源图像和所述水印嵌入图像确定采集数据;
所述采集数据用于对分类模型进行训练,所述分类模型用于确定输入图像的图像类别,所述图像类别包括无水印类别和有水印类别。
6.根据权利要求5所述的方法,其中,所述采集数据还包括所述源图像和所述水印嵌入图像的文件名,所述文件名用于标注采集数据的图像类别。
7.根据权利要求5所述的方法,其中,
所述屏显设备的显示界面还包括标识组件,所述标识组件表示显示界面当前显示的图像的图像类别,所述当前显示的图像包括源图像或水印嵌入图像。
8.根据权利要求7所述的方法,其中,该方法还包括:
屏显设备确定采集设备采集完成时,对当前显示的图像进行截屏并存储;
屏显设备比较连续两次截屏的画面中包含的标识组件,若两个标识组件表示的图像类别相同,则提醒用户采集设备连续两次采集的是同类别的图像。
9.根据权利要求5所述的方法,其中,该方法还包括:
屏显设备确定采集设备采集完成时,对当前显示的图像进行截屏并存储,所述当前显示的图像包括源图像或水印嵌入图像;
屏显设备比较连续两次截屏的画面的相似度,若相似度大于相似阈值,则提醒用户采集设备连续两次采集的同一个图像。
10.根据权利要求1~4任一所述的方法,其中,该方法还包括:
根据所述水印嵌入图像确定采集数据;
所述采集数据用于对识别模型进行训练,所述识别模型用于对输入的水印嵌入图像包含的水印图像进行识别,输出所述水印图像的编码信息。
11.根据权利要求10所述的方法,其中,所述屏显设备在显示界面显示源图像后,生成水印图像,包括:
屏显设备在显示界面显示源图像后,随机生成编码信息,根据所述编码信息生成水印图像。
12.根据权利要求10所述的方法,其中,所述采集数据还包括所述水印嵌入图像的文件名,所述文件名用于标注所述水印嵌入图像包含的水印图像的编码信息;该方法还包括:
所述屏显设备根据所述水印嵌入图像包含的水印图像的编码信息,生成所述水印嵌入图像的文件名。
13.一种水印识别的方法,其中,该方法包括:
获取待识别图像;
将所述待识别图像输入到水印识别模型,当确定所述待识别图像包含水印图像时,输出所述待识别图像包含的水印图像的信息;其中,所述水印识别模型是利用采集数据进行训练得到的,所述采集数据是利用采集设备对屏显设备显示的图像进行采集得到的,所述采集数据包括源图像和水印嵌入图像,所述屏显设备用于生成水印图像,显示源图像或水印嵌入图像,所述水印嵌入图像包含所述源图像和所述水印图像的信息。
14.根据权利要求13所述的方法,其中,所述水印识别模型包括分类模型和识别模型;所述采集数据包括第一训练集和第二训练集;
所述第一训练集包括标注图像类别的源图像和水印嵌入图像,所述第一训练集用于对所述分类模型进行训练;所述第二训练集包括标注水印图像的编码信息的水印嵌入图像,所述第二训练集用于对所述识别模型进行训练。
15.根据权利要求14所述的方法,其中,所述将所述待识别图像输入到水印识别模型,当确定所述待识别图像包含水印图像时,输出所述待识别图像包含的水印图像的信息,包括:
将所述待识别图像输入到所述分类模型,根据输出的图像类别确定所述待识别图像是否包含水印图像,所述图像类别包括无水印类别和有水印类别;
当确定所述待识别图像包含水印图像时,将所述待识别图像输入到所述识别模型,输出所述待识别图像包含的水印图像的编码信息。
16.根据权利要求15所述的方法,其中,所述当确定所述待识别图像包含水印图像时,该方法还包括:
识别所述待识别图像中目标区域的角点,根据识别的角点对所述待识别图像进行裁剪和仿射变换,得到更新的待识别图像;和/或,对所述待识别图像进行图像增强处理,得到更新的待识别图像;
将所述更新的待识别图像输入到所述识别模型,输出所述待识别图像包含的水印图像的编码信息。
17.一种数据采集的系统,其中,包括屏显设备和采集设备,其中:
屏显设备在显示界面显示源图像后,生成水印图像;
屏显设备将所述源图像更新显示为水印嵌入图像,所述水印嵌入图像包含所述源图像和所述水印图像的信息;
采集设备确定屏显设备更新显示完成时,采集屏显设备当前显示的水印嵌入图像。
18.一种电子设备,其中,该设备包括处理器和存储器,所述存储器用于存储所述处理器可执行的程序,所述处理器用于读取所述存储器中的程序并执行权利要求13~16任一所述方法的步骤。
19.一种计算机存储介质,其上存储有计算机程序,其中,该程序被处理器执行时实现如权利要求1~16任一所述方法的步骤。
CN202311359620.XA 2023-10-19 2023-10-19 数据采集、水印识别方法、系统及电子设备 Pending CN117579904A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311359620.XA CN117579904A (zh) 2023-10-19 2023-10-19 数据采集、水印识别方法、系统及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311359620.XA CN117579904A (zh) 2023-10-19 2023-10-19 数据采集、水印识别方法、系统及电子设备

Publications (1)

Publication Number Publication Date
CN117579904A true CN117579904A (zh) 2024-02-20

Family

ID=89863262

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311359620.XA Pending CN117579904A (zh) 2023-10-19 2023-10-19 数据采集、水印识别方法、系统及电子设备

Country Status (1)

Country Link
CN (1) CN117579904A (zh)

Similar Documents

Publication Publication Date Title
US9524418B2 (en) Systems and methods for detecting, identifying and tracking objects and events over time
US10129385B2 (en) Method and apparatus for generating and playing animated message
CN108933935B (zh) 视频通信系统的检测方法、装置、存储介质和计算机设备
US20090257730A1 (en) Video server, video client device and video processing method thereof
CN107357585B (zh) 视频获取方法、装置、视频设备及存储介质
CN113206971B (zh) 一种图像处理方法及显示设备
CN111818295B (zh) 一种图像获取方法及装置
CN113840049A (zh) 图像处理方法、视频流场景切换方法、装置、设备及介质
CN112633313B (zh) 一种网络终端的不良信息识别方法及局域网终端设备
CN102147684B (zh) 一种触摸屏屏幕扫描方法及其系统
CN104363400A (zh) 一种扫描本地二维码的方法及装置
CN109788359B (zh) 一种视频数据处理方法和相关装置
CN111583348B (zh) 图像数据编码方法及装置、显示方法及装置、电子设备
CN113421312A (zh) 一种对黑白视频的着色方法、装置、存储介质及终端
CN112163993A (zh) 图像处理方法、装置、设备及存储介质
CN115379125A (zh) 交互信息发送方法、装置、服务器和介质
CN113469869B (zh) 一种图像管理方法和装置
EP3007098A1 (en) Method, device and system for realizing visual identification
CN111294543A (zh) 一种针对视频监控拍照防护的系统和方法
CN113722541A (zh) 视频指纹的生成方法及装置、电子设备和存储介质
CN110415318B (zh) 图像处理方法和装置
CN117579904A (zh) 数据采集、水印识别方法、系统及电子设备
CN115761567A (zh) 视频处理方法、装置、电子设备及计算机可读存储介质
CN112422907A (zh) 图像处理方法、装置及系统
CN112561809A (zh) 图像处理方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination