CN116823598A - 基于图片隐写及模糊比对的操作记录可回溯方法 - Google Patents
基于图片隐写及模糊比对的操作记录可回溯方法 Download PDFInfo
- Publication number
- CN116823598A CN116823598A CN202311091571.6A CN202311091571A CN116823598A CN 116823598 A CN116823598 A CN 116823598A CN 202311091571 A CN202311091571 A CN 202311091571A CN 116823598 A CN116823598 A CN 116823598A
- Authority
- CN
- China
- Prior art keywords
- picture
- information
- user
- retrospective
- traceable
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000006399 behavior Effects 0.000 claims description 64
- 238000013139 quantization Methods 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 10
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 claims description 3
- 102100029469 WD repeat and HMG-box DNA-binding protein 1 Human genes 0.000 claims description 3
- 101710097421 WD repeat and HMG-box DNA-binding protein 1 Proteins 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 11
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computer Security & Cryptography (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
本发明公开基于图片隐写及模糊比对的操作记录可回溯方法,涉及图像隐写操作的回溯技术领域,首先记录用户在客户端的一个操作行为和相关附加信息,并进行符号化描述。然后在操作完成后对客户端界面进行截图。将对应的符号化描述使用信息隐写的方式嵌入到抓拍页面图片中,得到可回溯图片。依次完成各个操作的记录,直至所有流程结束,生成该流程中所有可回溯图片的图片组。图片组中的每一张可回溯图片,包含了用户的一个操作行为及其该行为对应的结果。在可回溯判断时,将可回溯图片组中的图片依次进行操作信息提取,将生成该页面的操作结果与该可回溯图片基于图像模糊比对方法进行内容比对以证明所记录的操作的真实性。
Description
技术领域
本发明涉及图像隐写操作的回溯技术领域,尤其是涉及基于图片隐写及模糊比对的操作记录可回溯方法。
背景技术
随着数字媒体技术的进步和成本的下降,各行各业都开始广泛应用数字媒体。特别是随着各行各业的远程和线上业务的大量增加,用户可以通过客户端来完成越来越多的任务和操作。然而,对于用户的操作行为如何进行记录以及如何防止用户的抵赖成为一项越来越具有挑战性的问题。针对这一问题,业界正在不断探索和研究解决方案。
为了避免用户的抵赖,往往使用口令、密码、人脸等技术进行身份确认。这些技术很大程度上避免了身份被冒用的风险,但是对于用户的操作行为缺少有效的记录。现有的用户操作行为记录或者屏幕录制方式存在不少的限制。例如,单纯依靠文本记录客户端操作行为的方式无法记录操作结果产生的图像信息;录制视频则往往需要较大的存储空间,不仅不方便操作也不利于数据的结构化和客户行为异常分析。为了便于记录用户的各种行为和行为异常分析,客户在客户端的操作行为的记录需要一种更加轻量、可视化、结构化的技术来对用户操作过程进行可回溯式的管理。
发明内容
为了解决上述技术问题,本发明提供基于图片隐写及模糊比对的操作记录可回溯方法。采用如下的技术方案:
基于图片隐写及模糊比对的操作记录可回溯方法,包括以下步骤:
步骤1,获取用户在客户端的操作行为;
步骤2,判断用户是否有操作动作,并记录用户操作使用编码信息和附加信息;
步骤3,截取第一结果页面图片,在用户完成操作动作后,截图抓拍操作动作后页面的图片,得到第一结果页面图片;
步骤4,生成可回溯图片,将步骤3中的第一结果页面图片存储为JPEG图片,并将步骤2中的用户操作使用编码信息和附加信息嵌入到JPEG图片中,得到可回溯图片;
步骤5,判断用户是否结束所有操作,若判断是,则结束得到可回溯图片组,否则回到步骤1继续;
步骤6,判断操作记录是否回溯,对可回溯图片组和第二结果页面图片进行模糊比对,若比对成功,则输出操作行为可回溯,反之则输出操作行为不可回溯;
所述第二结果页面图片是提取出用户操作使用编码信息后对界面的截图。
通过采用上述技术方案,采用了操作行为的符号化描述和信息隐写等方式来记录和存储客户端操作行为,并将操作结果图片信息与操作结果所对应的页面进行截图,将操作结果与操作行为进行关联,从而提高了操作结果的可验证性和操作流程可回溯性。这种基于隐写技术的方式不仅可以有效地记录客户端的操作行为和结果,记录两者之间的关联性,而且不需要耗费大量的存储空间,可增强数据的结构化和分析效率,从而进一步提高客户端安全记录的质量,判断用户的操作记录是否可回溯主要基于模糊比对来比较可回溯图片组和抓取的第二结果页面图片,可以对客户的操作记录高效地做出是否可回溯的判断。
可选的,步骤2中,所述附加信息是时间信息、地点信息和人脸照片信息,若判断没有操作,则返回步骤1。
通过采用上述技术方案,当用户存在操作行为时,记录与之相关的时间、地点、人脸照片等附加信息,附加信息也可以作为隐写内容隐写入可回溯图片,进一步提升可回溯图片与操作行为的关联性。
可选的,用户操作使用编码信息包括操作记录编码和对应的16进制编码。
通过采用上述技术方案,采用编码的方式来对记录操作行为,大大减少了记录操作行为的数据量。
可选的,将步骤2中的用户操作使用编码信息和附加信息嵌入到该JPEG图片中的方法是:
步骤41,将JPEG图片的亮度分量的每个DCT量化矩阵块阴影位置的交流系数的最低有效位LSB嵌入1比特秘密信息,一个DCT量化系数块嵌入1个字节的信息;
步骤42,将JPEG图片所对应的操作行为嵌入后,剩余DCT量化矩阵块的最低有效位全部嵌入比特0,最终得到含隐写了操作行为信息的JPEG图片,即可回溯图片。
通过采用上述技术方案,将JPEG图片的亮度分量的每个DCT量化矩阵块的如下阴影位置的交流系数的最低有效位(LSB)嵌入1比特秘密信息,因此一个DCT量化系数块可以嵌入1个字节的信息,将该图所对应的操作行为嵌入后,剩余DCT块的最低有效位全部嵌入比特0。最终得到含隐写了操作行为信息的JPEG图片,即可回溯图片。该隐写操作可以在不改变图像内容的情况下,实现图像与操作信息的绑定,避免了图像和信息分开存储可能导致的对应混乱问题。
可选的,将步骤2中的用户操作使用编码信息和部分附加信息嵌入到该JPEG图片中,部分附加信息是指时间信息、地点信息或人脸照片信息其中的若干种信息组合。
通过采用上述技术方案,该附加信息可以有效记录用户操作之外的其他关联信息,便于回溯操作人、操作地点、操作时间等相关有价值的回溯信息。
可选的,所有的可回溯图片组成可回溯图片组。
通过采用上述技术方案,可回溯图片组可以作为后续回溯方法的重要佐证。
步骤6中,判断操作记录是否回溯包括以下子步骤:
步骤a,进入用户客户端的初始界面;
步骤b,将可回溯图片组按时间进行排序,取时间最早的可回溯图片作为待回溯图片;
步骤c,将待回溯图片进行隐写信息的提取,得到待回溯图片中包含的用户操作使用编码信息;
步骤d,执行步骤c中的提取出的用户操作使用编码信息后对界面截图,得到第二结果页面图片;
步骤e,将待回溯图片与第二结果页面图片做内容比对,判断两张图片中的客户端页面填写的信息是否一致,若内容一致,则继续步骤f,反之判断待回溯图片无效,结束整个回溯流程,并判定用户的操作行为不可回溯;
步骤f,判断可回溯图片组中是否都已完成回溯,若是,则判定用户所有操作均得到回溯成功,整个用户的操作行为可回溯。
通过采用上述技术方案,可回溯图片组中的每一张可回溯图片,包含了用户的一个操作行为及其该行为对应的结果。在回溯时,将可回溯图片组中的图片按照时间顺序依次进行操作信息提取,并通过计算机重现操作流程,将生成该页面的操作结果与该可回溯图片进行内容比对以证明所记录的操作的真实性。
步骤e中将待回溯图片与第二结果页面图片做内容比对的方法是:
步骤81,先比较两张图像分辨率,不同则判定图像不同,并返回,若相同则继续后续步骤;
步骤82,将两张图片全部转为RGB图像,获取两张图像各个颜色分量的像素矩阵;
步骤83,分别取一张图像一个颜色分量中一个像素P1以及另一张图像中对应分量相同位置的像素P2进行-1,0,+1数值量化并比较是否相等:当像素在[0,95]区间内时,量化为数值-1,当像素值在[96,159]区间时,量化为数值0,当像素值在[160,255]区间时,量化为数值+1,+1与+1、+1与0视作相等,-1与-1、-1与0视作相等;
步骤84,所有像素对均相等,判定两个图像内容相同,否则判定两个图像内容不同。
通过采用上述技术方案,基于像素区间值的模糊判断,实现在两幅图像经过有损压缩以及隐写算法对像素的扰动情况下依然可以判定两幅图像原始内容是否相同。
综上所述,本发明包括以下至少有益技术效果:
本发明能提供基于图片隐写及模糊比对的操作记录可回溯方法,首先记录用户在客户端的一个操作行为和相关附加信息,并进行符号化描述。然后在操作完成后对客户端界面进行截图,即得到结果页面图片。将对应的符号化描述使用信息隐写的方式嵌入到抓拍页面图片中,得到可回溯图片。按照这样的步骤,依次完成各个操作的记录,直至所有流程结束,生成该流程中所有可回溯图片的图片组。图片组中的每一张可回溯图片,包含了用户的一个操作行为及其该行为对应的结果;
在可回溯判断时,将可回溯图片组中的图片按照时间顺序依次进行操作信息提取,并通过计算机重现操作流程,将生成该页面的操作结果与该可回溯图片进行内容比对以证明所记录的操作的真实性;
图像内容比对主要基于像素区间值的模糊判断,实现在两幅图像经过有损压缩以及隐写算法对像素的扰动情况下依然可以判定两幅图像原始内容是否相同。
附图说明
图1是本发明基于图片隐写及模糊比对的操作记录可回溯方法的流程示意图;
图2是本发明基于图片隐写及模糊比对的操作记录可回溯方法的可回溯判断子步骤流程示意图;
图3是本发明步骤e中待回溯图片与第二结果页面图片内容比对方法的流程示意图;
图4是具体实施例1的第1张可回溯图片与结果页面图片比对示意图;
图5是具体实施例1的第2张可回溯图片与结果页面图片比对示意图;
图6是具体实施例1的第3张可回溯图片与结果页面图片比对示意图;
图7是具体实施例2的第1张可回溯图片与结果页面图片比对示意图;
图8是具体实施例2的第2张可回溯图片与结果页面图片比对示意图;
图9是具体实施例3的第1张可回溯图片与结果页面图片比对示意图;
图10是具体实施例3的第2张可回溯图片与结果页面图片比对示意图;
图11是具体实施例3的第3张可回溯图片与结果页面图片比对示意图。
实施方式
以下结合附图对本发明作进一步详细说明。
本发明实施例公开基于图片隐写及模糊比对的操作记录可回溯方法。
参照图1-图11,基于图片隐写及模糊比对的操作记录可回溯方法,包括以下步骤:
包括以下步骤:
步骤1,获取用户在客户端的操作行为;
步骤2,判断用户是否有操作动作,并记录用户操作使用编码信息和附加信息;
步骤3,截取第一结果页面图片,在用户完成操作动作后,截图抓拍操作动作后页面的图片,得到第一结果页面图片;
步骤4,生成可回溯图片,将步骤3中的第一结果页面图片存储为JPEG图片,并将步骤2中的用户操作使用编码信息和附加信息嵌入到JPEG图片中,得到可回溯图片;
步骤5,判断用户是否结束所有操作,若判断是,则结束得到可回溯图片组,否则回到步骤1继续;
步骤6,判断操作记录是否回溯,对可回溯图片组和第二结果页面图片进行模糊比对,若比对成功,则输出操作行为可回溯,反之则输出操作行为不可回溯。
采用了操作行为的符号化描述和信息隐写等方式来记录和存储客户端操作行为,并将操作结果图片信息与操作结果所对应的页面进行截图,将操作结果与操作行为进行关联,从而提高了操作结果的可验证性和操作流程可回溯性。这种基于隐写技术的方式不仅可以有效地记录客户端的操作行为和结果,记录两者之间的关联性,而且不需要耗费大量的存储空间,可增强数据的结构化和分析效率,从而进一步提高客户端安全记录的质量,判断用户的操作记录是否可回溯主要基于模糊比对来比较可回溯图片组和抓取的第二结果页面图片,可以对客户的操作记录高效地做出是否可回溯的判断。
步骤2中,附加信息是时间信息、地点信息和人脸照片信息,若判断没有操作,则返回步骤1。
当用户存在操作行为时,记录与之相关的时间、地点、人脸照片等附加信息,附加信息也可以作为隐写内容隐写入可回溯图片,进一步提升可回溯图片与操作行为的关联性。
用户操作使用编码信息包括操作记录编码和对应的16进制编码。
采用编码的方式来记录操作行为,大大减少了记录操作行为的数据量。
将步骤2中的用户操作使用编码信息和附加信息嵌入到该JPEG图片中的方法是:
步骤41,将JPEG图片的亮度分量的每个DCT量化矩阵块阴影位置的交流系数的最低有效位LSB嵌入1比特秘密信息,一个DCT量化系数块嵌入1个字节的信息;
步骤42,将JPEG图片所对应的操作行为嵌入后,剩余DCT量化矩阵块的最低有效位全部嵌入比特0,最终得到含隐写了操作行为信息的JPEG图片,即可回溯图片。
将JPEG图片的亮度分量的每个DCT量化矩阵块的如下阴影位置的交流系数的最低有效位(LSB)嵌入1比特秘密信息,因此一个DCT量化系数块可以嵌入1个字节的信息,将该图所对应的操作行为嵌入后,剩余DCT块的最低有效位全部嵌入比特0。最终得到含隐写了操作行为信息的JPEG图片,即可回溯图片。该隐写操作可以在不改变图像内容的情况下,实现图像与操作信息的绑定,避免了图像和信息分开存储可能导致的对应混乱问题。
将步骤2中的用户操作使用编码信息和部分附加信息嵌入到该JPEG图片中,部分附加信息是指时间信息、地点信息或人脸照片信息其中的若干种信息组合。
该附加信息可以有效记录用户操作之外的其他关联信息,便于回溯操作人、操作地点、操作时间等相关有价值的回溯信息。
所有的可回溯图片组成可回溯图片组。
可回溯图片组可以作为后续回溯方法的重要佐证。
步骤6中,判断操作记录是否回溯包括以下子步骤:
步骤a,进入用户客户端的初始界面;
步骤b,将可回溯图片组按时间进行排序,取时间最早的可回溯图片作为待回溯图片;
步骤c,将待回溯图片进行隐写信息的提取,得到待回溯图片中包含的用户操作使用编码信息;
步骤d,执行步骤c中的提取出的用户操作使用编码信息后对界面截图,得到第二结果页面图片;
步骤e,将待回溯图片与第二结果页面图片做内容比对,判断两张图片中的客户端页面填写的信息是否一致,若内容一致,则继续步骤f,反之判断待回溯图片无效,结束整个回溯流程,并判定用户的操作行为不可回溯;
步骤f,判断可回溯图片组中是否都已完成回溯,若是,则判定用户所有操作均得到回溯成功,整个用户的操作行为可回溯。
可回溯图片组中的每一张可回溯图片,包含了用户的一个操作行为及其该行为对应的结果。在回溯时,将可回溯图片组中的图片按照时间顺序依次进行操作信息提取,并通过计算机重现操作流程,将生成该页面的操作结果与该可回溯图片进行内容比对以证明所记录的操作的真实性。
步骤e中将待回溯图片与第二结果页面图片做内容比对的方法是:
步骤81,先比较两张图像分辨率,不同则判定图像不同,并返回,若相同则继续后续步骤;
步骤82,将两张图片全部转为RGB图像,获取两张图像各个颜色分量的像素矩阵;
步骤83,分别取一张图像一个颜色分量中一个像素P1以及另一张图像中对应分量相同位置的像素P2进行-1,0,+1数值量化并比较是否相等:当像素在[0,95]区间内时,量化为数值-1,当像素值在[96,159]区间时,量化为数值0,当像素值在[160,255]区间时,量化为数值+1,+1与+1、+1与0视作相等,-1与-1、-1与0视作相等;
步骤84,所有像素对均相等,判定两个图像内容相同,否则判定两个图像内容不同。
基于像素区间值的模糊判断,实现在两幅图像经过有损压缩以及隐写算法对像素的扰动情况下依然可以判定两幅图像原始内容是否相同。
图像内容比对的方法还可以是下述方法:先比较两张图像分辨率,不同则判定图像不同,并返回,否则继续后续步骤;再将两张图片全部转为RGB图像,获取两张图像各个颜色分量的像素矩阵;最后分别取一张图像一个颜色分量中一个像素P1以及另一张图像中对应分量相同位置的像素P2进行差值计算并比较是否相等:当|P1-P2|<64时,判定两个像素相同,否则判定不同;所有像素对均相等,判定两个图像相同,否则判定两个图像不同。
具体实施例1,用户填写个人信息。
这里以手机客户端操作为例进行说明,用户总共做了三个操作,分别为填写姓名“张三”,选择性别“男”,点击“保存”按钮。下面为该过程的可回溯记录以及回溯过程的实施方式。
1.获取用户在客户端的操作行为;
2.用户是否有操作动作;得到用户第1个操作,即在控件1中填写姓名“张三”,该操作表示如下:
操作记录:“#1 张三”
16进制:23 31 20 E5 BC A0 E4 B8 89 0D
3.截取结果页面图;
4.生成可回溯图片:
将操作行为信息嵌入到以上的截图JPEG图片中。这里以第一个字节0x23嵌入到JPEG图片为例,其被嵌入到DCT量化系数块的最低有效位中。后续的字节嵌入方式与之类似,嵌入前的DCT量化系数矩阵如下表:
0x23对应的二进制为00100011,因此嵌入0x23后的量化系数矩阵为:
5.用户是否结束所有操作:
后续的31 20 E5 BC A0 E4 B8 89 0D数据依次嵌入到其他DCT分块矩阵中,最终得到含有隐写信息的截图,截图外观上没有可察觉的失真。
获取到用户的第2个操作,即在控件3中选择姓名“男”,该操作可表示为:
操作记录:“#3 1”
16进制:23 33 20 31 0D;
得到的可回溯图片;
获取到用户的第3个操作,其点击了控件4,即“保存”按钮。该操作记录和对应的16进制编码为:
操作记录:“#4 1”
16进制:23 34 20 31 0D
第3个操作完成后,得到的可回溯图片也是最终的可回溯图片;
用户行为回溯过程如下:
1.进入用户客户端的初始界面;
2.按照时间顺序,取一张可回溯图片;
3.提取可回溯图片中的记录的用户操作信息,提取其中的隐写信息为23 31 20E5 BC A0 E4 B8 89 0D,即“#1 张三”其表示在1号控件中填写字符串“张三”;
4.截取结果页面图片,执行该操作后并截图得到结果页面图片;
5.将可回溯图片与结果页面图片做内容比对,见图4; 图4左侧为可回溯图片,右侧为结果页面图片;
6.比对内容是否一致;
经过比对,发现内容一致;
7.可回溯图片组中是否已完成回溯;
继续后续两张可回溯图片的回溯;
取第2张可回溯图片,提取其中的隐写信息为23 33 20 31 0D,即操作记录“#31”,按照该操作继续执行,得到回溯图片,其与原隐写的可回溯图片内容比对相同,对比示意见图5;
取第3张可回溯图片。提取其中的隐写信息为23 34 20 31 0D,即操作记录“#41”,按照该操作继续执行,得到回溯图片,其与原隐写的可回溯图片内容比对相同,对比示意见图6;
后续没有图片,所有可回溯的图片均完成回溯的验证,因此可以确认该用户操作记录真实性。
具体实施例2,这里以手机客户端操作为例进行说明,用户总共做了2个点击按钮的操作,分别为点击“账户余额”、“最近交易记录”按钮。下面为可回溯记录以及回溯过程的实施方式。
1.获取用户在客户端的操作行为
2.用户是否有操作动作
得到用户第1个操作,即在点击“账户余额查询”按钮,该操作表示如下:
操作记录:“#1”“#5 您的余额:1234.00元”
附加信息:“T20230707-170022”
“#1”表示用户点击了1号控件,即按钮“账户余额查询”。
“#5 您的余额:1234.00元”表示查询结果在5号控件中进行了显示,显示的结果为您的余额:1234.00元。
附加信息“T20230701-170022”表示该操作的发生的时间为2023年7月1日17:00:22;
3.截取结果页面图,截取该操作后的操作结果图片:
4.生成可回溯图片:
类似具体实施例1,将上述的操作信息和附加信息转为16进制:
23 31 0A 23 35 E6 82 A8 E7 9A 84 E4 BD 99 E9 A2 9D 3A 31 32 33 34 2E30 30 E5 85 83 0A 54 32 30 32 33 30 37 30 37 2D 31 37 30 30 32 32
将上述的信息嵌入到JPEG图片中,得到可回溯图片;
5.用户是否结束所有操作:
最终得到含有隐写信息的截图,截图外观上没有可察觉的失真;
获取到用户的第2个操作,即在控件3中选择姓名“男”,该操作可表示为:操作记录与附加信息:“#4”“#5 本月没有交易记录”“T20230701-170025”
其中“#4”表示点击了按钮“最近交易记录查询”,“#5 本月没有交易记录”表示控件5中显示的查询结果为“最近交易记录查询”;“T20230701-170025”表示该操作发生的时间为2023年7月1日17:00:25;
16进制:
23 34 0A 23 35 E6 9C AC E6 9C 88 E6 B2 A1 E6 9C 89 E4 BA A4 E6 98 93E8 AE B0 E5 BD 95 0A 54 32 30 32 33 30 37 30 31 2D 31 37 30 30 32 35;
嵌入后得到的可回溯图片;
用户行为回溯过程如下:
1.进入用户客户端的初始界面;
2.按照时间顺序,取一张可回溯图片;
3.提取可回溯图片中的记录的用户操作:
提取其中的隐写信息为:
23 31 0A 23 35 E6 82 A8 E7 9A 84 E4 BD 99 E9 A2 9D 3A 31 32 33 34 2E30 30 E5 85 83 0A 54 32 30 32 33 30 37 30 37 2D 31 37 30 30 32 32
即“#1” “#5 您的余额:1234.00元”“T20230707-170022”;
4.截取结果页面图片,执行该操作后并截图得到结果页面图片;
5.将可回溯图片与结果页面图片做内容比对,比对示意见图7,图7左侧为可回溯图片,右侧为结果页面图片;
6.内容是否一致:
经过比对,发现内容一致;
7.可回溯图片组中是否已完成回溯
继续后续两张可回溯图片的回溯。
取第2张可回溯图片,其与原隐写的可回溯图片内容比对相同,比对示意见图8;
后续没有图片,所有可回溯的图片均回溯通过,可以确认该用户操作记录真实性。
具体实施例3:在线购物;
这里以手机客户端操作购买日用品为例进行说明,用户分别选择了1条毛巾和2双拖鞋。
1.获取用户在客户端的操作行为
2.用户是否有操作动作
得到用户第1个操作,即在2中点击一次+号,选择了一条毛巾
操作记录与附加信息:
“#2 +” “ID18812345678”
分别表示该用户的操作,以及该用户的名称;
16进制:
23 32 20 2B 0A 49 44 31 38 38 31 32 33 34 35 36 37 38
3.截取结果页面图;
4.生成可回溯图片;
5.用户是否结束所有操作
获取到用户的第2个操作,即在控件3中点击了一次+号,选择了一双拖鞋:
操作记录与附加信息:“#3 +” “ID18812345678”
分别表示该用户的操作,以及该用户的名称(也可以是电话、人脸照片、商品照片等);
16进制:
23 33 20 2B 0A 49 44 31 38 38 31 32 33 34 35 36 37 38
第2个操作的结果图片和对应的可回溯图片;
获取到用户的第3个操作,再次在控件3中点击了一次+号,又添加了一双拖鞋;
操作记录与附加信息:“#3 +”“ID18812345678”
分别表示该用户的操作,以及该用户的名称(也可以是电话、人脸照片、商品照片等);
16进制:23 33 20 2B 0A 49 44 31 38 38 31 32 33 34 35 36 37 38;
该操作步骤与第2个操作步骤完全相同,嵌入图片的数据也完全一样;
第3个操作完成后,得到的可回溯图片也是最终的可回溯图片;
用户行为回溯过程如下:
1.进入用户客户端的初始界面;
2.将可回溯图片与结果页面图片做内容比对,比对示意见图9;
提取操作行为,回溯操作过程,比对操作结果与现有的可回溯图片内容进行比对;
3.内容是否一致;
经过比对,发现内容一致。
4.可回溯图片组中是否已完成回溯
继续后续两张可回溯图片的回溯。
取第2张可回溯图片,完成回溯操作后,其与原隐写的可回溯图片内容比对相同,比对示意见图10;
取第3张可回溯图片,完成回溯操作后,其与原隐写的可回溯图片内容比对相同:比对示意见图11;
后续没有图片,所有可回溯的图片均回溯完成,因此可以确认该用户操作记录真实性。
以上均为本发明的较佳实施例,并非以此限制本发明的保护范围,故:凡依本发明的结构、形状、原理所做的等效变化,均应涵盖于本发明的保护范围之内。
Claims (7)
1.基于图片隐写及模糊比对的操作记录可回溯方法,其特征在于,包括以下步骤:
步骤1,获取用户在客户端的操作行为;
步骤2,判断用户是否有操作动作,并记录用户操作使用编码信息和附加信息;
步骤3,截取第一结果页面图片,在用户完成操作动作后,截图抓拍操作动作后页面的图片,得到第一结果页面图片;
步骤4,生成可回溯图片,将步骤3中的第一结果页面图片存储为JPEG图片,并将步骤2中的用户操作使用编码信息和附加信息嵌入到JPEG图片中,得到可回溯图片;
步骤5,判断用户是否结束所有操作,若判断是,则结束得到可回溯图片组,否则回到步骤1继续;
步骤6,判断操作记录是否回溯,对可回溯图片组和第二结果页面图片进行模糊比对,若比对成功,则输出操作行为可回溯,反之则输出操作行为不可回溯;
所述第二结果页面图片是提取出用户操作使用编码信息后对界面的截图;
将步骤2中的用户操作使用编码信息和附加信息嵌入到该JPEG图片中的方法是:
步骤41,将JPEG图片的亮度分量的每个DCT量化矩阵块阴影位置的交流系数的最低有效位LSB嵌入1比特秘密信息,一个DCT量化系数块嵌入1个字节的信息;
步骤42,将JPEG图片所对应的操作行为嵌入后,剩余DCT量化矩阵块的最低有效位全部嵌入比特0,最终得到含隐写了操作行为信息的JPEG图片,即可回溯图片。
2.根据权利要求1所述的基于图片隐写及模糊比对的操作记录可回溯方法,其特征在于:步骤2中,所述附加信息是时间信息、地点信息和人脸照片信息,若判断没有操作,则返回步骤1。
3.根据权利要求1所述的基于图片隐写及模糊比对的操作记录可回溯方法,其特征在于:用户操作使用编码信息包括操作记录编码和对应的16进制编码。
4.根据权利要求1所述的基于图片隐写及模糊比对的操作记录可回溯方法,其特征在于:将步骤2中的用户操作使用编码信息和部分附加信息嵌入到该JPEG图片中,部分附加信息是指时间信息、地点信息或人脸照片信息其中的一种或两种信息组合。
5.根据权利要求1所述的基于图片隐写及模糊比对的操作记录可回溯方法,其特征在于:所有的可回溯图片组成可回溯图片组。
6.根据权利要求5所述的基于图片隐写及模糊比对的操作记录可回溯方法,其特征在于,步骤6中,判断操作记录是否回溯包括以下子步骤:
步骤a,进入用户客户端的初始界面;
步骤b,将可回溯图片组按时间进行排序,取时间最早的可回溯图片作为待回溯图片;
步骤c,将待回溯图片进行隐写信息的提取,得到待回溯图片中包含的用户操作使用编码信息;
步骤d,执行步骤c中的提取出的用户操作使用编码信息后对界面截图,得到第二结果页面图片;
步骤e,将待回溯图片与第二结果页面图片做内容比对,判断两张图片中的客户端页面填写的信息是否一致,若内容一致,则继续步骤f,反之判断待回溯图片无效,结束整个回溯流程,并判定用户的操作行为不可回溯;
步骤f,判断可回溯图片组中是否都已完成回溯,若是,则判定用户所有操作均得到回溯成功,整个用户的操作行为可回溯。
7.根据权利要求6所述的基于图片隐写及模糊比对的操作记录可回溯方法,其特征在于,步骤e中将待回溯图片与第二结果页面图片做内容比对的方法是:
步骤81,先比较两张图像分辨率,不同则判定图像不同,并返回,若相同则继续后续步骤;
步骤82,将两张图片全部转为RGB图像,获取两张图像各个颜色分量的像素矩阵;
步骤83,分别取一张图像一个颜色分量中一个像素P1以及另一张图像中对应分量相同位置的像素P2进行-1,0,+1数值量化并比较是否相等:当像素在[0,95]区间内时,量化为数值-1,当像素值在[96,159]区间时,量化为数值0,当像素值在[160,255]区间时,量化为数值+1,+1与+1、+1与0视作相等,-1与-1、-1与0视作相等;
步骤84,所有像素对均相等,判定两个图像内容相同,否则判定两个图像内容不同。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311091571.6A CN116823598B (zh) | 2023-08-29 | 2023-08-29 | 基于图片隐写及模糊比对的操作记录可回溯方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311091571.6A CN116823598B (zh) | 2023-08-29 | 2023-08-29 | 基于图片隐写及模糊比对的操作记录可回溯方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116823598A true CN116823598A (zh) | 2023-09-29 |
CN116823598B CN116823598B (zh) | 2023-11-17 |
Family
ID=88116980
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311091571.6A Active CN116823598B (zh) | 2023-08-29 | 2023-08-29 | 基于图片隐写及模糊比对的操作记录可回溯方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116823598B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190087691A1 (en) * | 2017-09-15 | 2019-03-21 | M37 Inc. | Machine learning system and method for determining or inferring user action and intent based on screen image analysis |
US20190373020A1 (en) * | 2016-12-15 | 2019-12-05 | Interwise Ltd. | Deception using screen capture |
CN110688286A (zh) * | 2018-07-05 | 2020-01-14 | 北京三快在线科技有限公司 | 应用程序运行信息传送方法及装置、存储介质、电子设备 |
CN113095992A (zh) * | 2021-04-19 | 2021-07-09 | 潘瑞哲 | 一种新型的条码截图隐写溯源组合算法 |
US11132285B1 (en) * | 2020-03-30 | 2021-09-28 | Atlassian Pty Ltd. | Issue reporting context session identifier for issue tracking systems |
CN114037591A (zh) * | 2021-09-29 | 2022-02-11 | 郑州大学 | 基于web端信息隐写的泄密溯源方法及系统 |
CN115344835A (zh) * | 2022-08-03 | 2022-11-15 | 阿里巴巴(中国)有限公司 | 图片处理方法、存储介质以及计算机终端 |
CN116228507A (zh) * | 2023-03-14 | 2023-06-06 | 上海阅文信息技术有限公司 | 一种数字文本水印溯源方法及系统 |
CN116312552A (zh) * | 2023-05-19 | 2023-06-23 | 湖北微模式科技发展有限公司 | 一种视频说话人日志方法及系统 |
-
2023
- 2023-08-29 CN CN202311091571.6A patent/CN116823598B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190373020A1 (en) * | 2016-12-15 | 2019-12-05 | Interwise Ltd. | Deception using screen capture |
US20190087691A1 (en) * | 2017-09-15 | 2019-03-21 | M37 Inc. | Machine learning system and method for determining or inferring user action and intent based on screen image analysis |
CN110688286A (zh) * | 2018-07-05 | 2020-01-14 | 北京三快在线科技有限公司 | 应用程序运行信息传送方法及装置、存储介质、电子设备 |
US11132285B1 (en) * | 2020-03-30 | 2021-09-28 | Atlassian Pty Ltd. | Issue reporting context session identifier for issue tracking systems |
CN113095992A (zh) * | 2021-04-19 | 2021-07-09 | 潘瑞哲 | 一种新型的条码截图隐写溯源组合算法 |
CN114037591A (zh) * | 2021-09-29 | 2022-02-11 | 郑州大学 | 基于web端信息隐写的泄密溯源方法及系统 |
CN115344835A (zh) * | 2022-08-03 | 2022-11-15 | 阿里巴巴(中国)有限公司 | 图片处理方法、存储介质以及计算机终端 |
CN116228507A (zh) * | 2023-03-14 | 2023-06-06 | 上海阅文信息技术有限公司 | 一种数字文本水印溯源方法及系统 |
CN116312552A (zh) * | 2023-05-19 | 2023-06-23 | 湖北微模式科技发展有限公司 | 一种视频说话人日志方法及系统 |
Non-Patent Citations (1)
Title |
---|
朱光,丰米宁: "基于量化调制水印的图博档视频资源版权保护策略研究", 《现代图书情报技术》, pages 105 - 111 * |
Also Published As
Publication number | Publication date |
---|---|
CN116823598B (zh) | 2023-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5057560B2 (ja) | プログラム、情報記憶媒体、2次元コード、印刷物、2次元コード画像、2次元コード画像の表示制御方法、2次元コード生成システム | |
US8355525B2 (en) | Parallel processing of digital watermarking operations | |
JP6562461B2 (ja) | 動的手書き検証、手書きに基づくユーザ認証、手書きデータ生成、及び手書きデータ保存 | |
CN116823599B (zh) | 一种基于图片隐写的操作记录可回溯方法 | |
JP2006505862A (ja) | 移動クライアント装置から画像処理を行う方法及びシステム | |
JP2002218254A (ja) | 画像圧縮方法及び画像圧縮システム | |
CN112785660A (zh) | 用于图像数据的隐写处理和压缩的方法和设备 | |
US20160283824A1 (en) | Image processing device, image processing method, program, and recording medium | |
US20220156873A1 (en) | Image synthesis device and method for embedding watermark | |
CN111222611B (zh) | 一种基于颜色的堆叠式三维码编码方法、编码装置、解码方法、解码装置以及存储介质 | |
US7477790B2 (en) | Decoding of a digital image encoded at a plurality of resolution levels | |
CN110472128B (zh) | 基于图像识别的网页取证方法、装置、存储介质及服务器 | |
CN102054150B (zh) | 使用安全防护功能的图像处理的设备和方法 | |
US8332646B1 (en) | On-demand watermarking of content | |
CN113628116B (zh) | 图像处理网络的训练方法、装置、计算机设备和存储介质 | |
CN111402117A (zh) | 图片处理方法、装置、存储介质及客户端设备 | |
Reed et al. | Closed form non-iterative watermark embedding | |
CN116823598B (zh) | 基于图片隐写及模糊比对的操作记录可回溯方法 | |
CN101123663B (zh) | 图像处理设备和方法 | |
US20090251597A1 (en) | Content conversion device | |
CN111246249A (zh) | 一种图像编码方法、编码装置、解码方法、解码装置及存储介质 | |
CN111325652A (zh) | 信息嵌入、提取方法及装置、设备、计算机可读存储介质 | |
WO2001082164A1 (en) | Method of sales and advertisement using voice and image of famous persons, and system thereof | |
CN111353965B (zh) | 图像修复方法、装置、终端及存储介质 | |
JP2003110844A (ja) | 画像処理装置及びその制御方法並びにコンピュータプログラム及び記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |