CN117633083A - 一种大数据服务器的冗余闲时整理系统 - Google Patents
一种大数据服务器的冗余闲时整理系统 Download PDFInfo
- Publication number
- CN117633083A CN117633083A CN202311648210.7A CN202311648210A CN117633083A CN 117633083 A CN117633083 A CN 117633083A CN 202311648210 A CN202311648210 A CN 202311648210A CN 117633083 A CN117633083 A CN 117633083A
- Authority
- CN
- China
- Prior art keywords
- data
- image
- module
- text
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 claims abstract description 28
- 238000000576 coating method Methods 0.000 claims abstract description 26
- 238000007405 data analysis Methods 0.000 claims abstract description 18
- 238000006243 chemical reaction Methods 0.000 claims abstract description 16
- 230000005540 biological transmission Effects 0.000 claims abstract description 6
- 238000000034 method Methods 0.000 claims description 23
- 239000011248 coating agent Substances 0.000 claims description 20
- 238000013135 deep learning Methods 0.000 claims description 9
- 238000012217 deletion Methods 0.000 claims description 5
- 230000037430 deletion Effects 0.000 claims description 5
- 238000011084 recovery Methods 0.000 claims description 5
- 238000012795 verification Methods 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 230000003370 grooming effect Effects 0.000 claims 4
- 230000000694 effects Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 7
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
Landscapes
- Editing Of Facsimile Originals (AREA)
- Image Processing (AREA)
Abstract
本发明涉及大数据服务器数据整理的技术领域，特别是涉及一种大数据服务器的冗余闲时整理系统，其通过将文字数据转为图像数据的方式，方便对所有数据一同处理，并且对处理的图像数据增加水印和涂层，并进行编码、拆分和打乱，再进行储存，调出时再对数据进行还原，减少储存的文字数据泄露或被恶意篡改，提高对个人信息进行保护效果，从而提高对数据整理的便捷性和对数据的保护效果；包括：数据上传模块、数据标识模块、大数据服务器、数据传输模块、数据备份模块、文图转换模块、数据分析模块、安全模块和管理模块。
Description
技术领域
本发明涉及大数据服务器数据整理的技术领域，特别是涉及一种大数据服务器的冗余闲时整理系统。
背景技术
大数据服务器是为处理大数据而配置的专用服务器，并且大数据服务器由多个储存单元组成，由于大数据服务器内的数据较多，并且种类繁杂，所以在大数据服务器中的储存单元闲时，需要对储存单元中的数据进行整理。
一般的整理系统如公开号为CN107967331A的发明专利中公开的匹配于高性能计算机结构的数据整理方法和共公开号为CN108021644A的发明专利中公开的一种云数据整理方法等，对数据进行整理。
但是由于大数据服务器中的数据繁杂，存在图像数据和文字数据较多，在整理过程还需要通过不同类型的处理系统对图片和文字数据进行分开整理，并且其中储存的文字数据容易泄露或被恶意篡改，不方便对个人信息进行保护，导致实用性较差，因此亟需一种大数据服务器的冗余闲时整理系统对上述问题进行改善。
发明内容
为解决上述技术问题，本发明提供一种通过将文字数据转为图像数据的方式，方便对所有数据一同处理，并且对处理的图像数据增加水印和涂层，并进行编码、拆分和打乱，再进行储存，调出时再对数据进行还原，减少储存的文字数据泄露或被恶意篡改，提高对个人信息进行保护效果，从而提高对数据整理的便捷性和对数据的保护效果的一种大数据服务器的冗余闲时整理系统。
本发明的一种大数据服务器的冗余闲时整理系统，包括：
数据上传模块：将数据上传至大数据服务器中；
数据标识模块：数据进入大数据服务器之前，对数据进行标记，将文字数据与图像数据进行区分；
大数据服务器：内部由多个储存单元组成，对大量的数据进行储存，方便将数据存入或调出；
数据传输模块：大数据服务器中的部分存储单元空闲时，将空闲服务器中的数据调出，传输至备份模块中；
数据备份模块：对数据进行备份，防止数据整理过程中数据丢失情况的出现，并根据数据中的标记对文字数据和图像数据进行快速区分，再将文字数据传输至文图转换模块中，将图像数据传输至数据分析模块中；
文图转换模块：将文字数据转换为图像数据，并将图像数据传输至数据分析模块中；
数据分析模块：将文字转换为图像的数据与备份中的数据进行对比，确保文字转换为图像的数据与原数据内容相同，对图像数据进行分析，对相同的数据、不完整的数据和违法数据进行处理；
安全模块：对图像增加水印，对个人信息图像增加涂层，遮挡重要信息，之后对图像进行拆分，使一张图像分为多份，并对拆分的图像进行编码，将若干拆分后的图像打乱后重新存回大数据服务器中，数据调出时，根据编码将拆分的图像重新组合，将涂层和水印去除，并将文字数据转换为图像的数据重新转换为文字，再将数据调出；
管理模块：对登录人员进行身份核实，对登录人员的操作过程进行记录，发现违规登录人员和违规操作时，向管理人员发出警报，提醒管理人员及时处理。
优选的，所述数据标识模块包括：
图文识别模块：对图像和文字进行识别并进行区分；
图文标记模块：对图像和文字进行标记，方便后续数据处理中对图像和文字进行快速区分。
优选的，所述数据备份模块：
储存模块：对接收的数据进行储存备份；
删除模块：数据整理完成后，将储存备份的数据删除，减少多余数据对储存模块的占用；
限期恢复模块：对设定的期限内对误删的数据进行删除。
优选的，所述数据分析模块包括：
数据对比模块：将文字数据转换为图像的数据与备份模块中备份的数据进行对比，判断将文字数据转换为图像的数据与原数据是否相同；
深度学习处理模块：对图像数据进行分析分出处理，将重复、缺失和违法的数据调出，将合格的图像数据传输至安全模块中。
优选的，所述安全模块包括：
图像处理模块：对合格的图像数据增加水印，并对个人信息数据增加涂层，之后对图像进行拆分和编码，并打乱所有拆分的图像的位置，再将处理后的图像传回至大数据服务器中；
图像还原模块：将大数据服务器中的图像调出时，对处理的图像进行还原；
图文转换模块：对还原的文字数据转换为图像的数据重新转换为文字。
优选的，所述图像处理模块包括：
涂层增加模块：对图像增添水印，对个人信息的图像增加水印后，再增加遮挡涂层；
图像拆分模块：将增加水印和涂层后的图像拆分为多个图像；
图像编码模块：对拆分的后的图像进行编码，方便调出时对拆分的图像进行还原。
优选的，所述管理模块包括：
登录人员管理模块：对登录人员的身份进行识别和记录；
操作流程记录模块：对登录人员的操作流程进行记录。
优选的，所述深度学习处理模块采用PyTorch框架，并采用卷积神经网络。
优选的，所述涂层增加模块定期对水印样式进行更换。
优选的，包括：
S1、通过数据上传模块将数据上传至大数据服务器中，并且通过数据标识模块在数据进入大数据服务器之前，通过图文识别模块对图像和文字进行识别并进行区分，通过图文标记模块对图像和文字进行标记，方便后续数据处理中对图像和文字进行快速区分；
S2、通过大数据服务器对大量的数据进行储存，方便将数据存入或调出；
S3、通过数据传输模块在大数据服务器中的部分存储单元空闲时，将空闲服务器中的数据调出，传输至备份模块中；
S4、通过储存模块对接收的数据进行储存备份，防止数据整理过程中数据丢失情况的出现，并根据数据中的标记对文字数据和图像数据进行快速区分，再将文字数据传输至文图转换模块中，将图像数据传输至数据分析模块中，数据整理完成后，通过删除模块将储存备份的数据删除，减少多余数据对储存模块的占用，在对设定的期限内可通过限期恢复模块对误删的数据进行删除；
S5、通过文图转换模块将文字数据转换为图像数据，并将图像数据传输至数据分析模块中；
S6、通过数据对比模块将文字数据转换为图像的数据与备份模块中备份的数据进行对比，判断将文字数据转换为图像的数据与原数据是否相同，确保文字转换为图像的数据与原数据内容相同，通过深度学习处理模块对图像数据进行分析分出处理，将重复、缺失和违法的数据调出，将合格的图像数据传输至安全模块中；
S7、通过图像处理模块对合格的图像数据增加水印，并对个人信息数据增加涂层，之后对图像进行拆分和编码，并打乱所有拆分的图像的位置，再将处理后的图像传回至大数据服务器中，通过图像还原模块将大数据服务器中的图像调出时，对处理的图像进行还原，通过图文转换模块对还原的文字数据转换为图像的数据重新转换为文字；
S8、日常管理过程中，管理模块：对登录人员进行身份核实，对登录人员的操作过程进行记录，发现违规登录人员和违规操作时，向管理人员发出警报，提醒管理人员及时处理。
与现有技术相比本发明的有益效果为：
1、通过在大数据服务器中的部分存储单元空闲时，对空闲的储存单元中的数据进行整理，减少对大数据服务器正常运行的影响；
2、通过将文字数据转换为图片，再通过深度学习处理器对所有图片进行整理，提高数据整理的便捷性；
3、通过对图像增加水印和涂层，并对图像进行拆分和打乱，减少储存的文字数据泄露或被恶意篡改，提高对个人信息进行保护效果。
附图说明
图1是本发明大数据服务器的冗余闲时整理系统的结构示意图；
图2是本发明数据标识模块结构示意图；
图3是本发明数据备份模块的结构示意图；
图4是本发明管理模块的结构示意图；
图5是本发明数据分析模块的结构示意图；
图6是本发明安全模块的结构示意图；
图7是本发明图像处理模块的结构示意图。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
实施例
如图1至图7所示，包括：
数据上传模块：将数据上传至大数据服务器中；
数据标识模块：数据进入大数据服务器之前，对数据进行标记，将文字数据与图像数据进行区分；
大数据服务器：内部由多个储存单元组成，对大量的数据进行储存，方便将数据存入或调出；
数据传输模块：大数据服务器中的部分存储单元空闲时，将空闲服务器中的数据调出，传输至备份模块中；
数据备份模块：对数据进行备份，防止数据整理过程中数据丢失情况的出现，并根据数据中的标记对文字数据和图像数据进行快速区分，再将文字数据传输至文图转换模块中，将图像数据传输至数据分析模块中；
文图转换模块：将文字数据转换为图像数据，并将图像数据传输至数据分析模块中；
数据分析模块：将文字转换为图像的数据与备份中的数据进行对比，确保文字转换为图像的数据与原数据内容相同，对图像数据进行分析，对相同的数据、不完整的数据和违法数据进行处理；
安全模块：对图像增加水印，对个人信息图像增加涂层，遮挡重要信息，之后对图像进行拆分，使一张图像分为多份，并对拆分的图像进行编码，将若干拆分后的图像打乱后重新存回大数据服务器中，数据调出时，根据编码将拆分的图像重新组合，将涂层和水印去除，并将文字数据转换为图像的数据重新转换为文字，再将数据调出；
管理模块：对登录人员进行身份核实，对登录人员的操作过程进行记录，发现违规登录人员和违规操作时，向管理人员发出警报，提醒管理人员及时处理；
所述数据标识模块包括：
图文识别模块：对图像和文字进行识别并进行区分；
图文标记模块：对图像和文字进行标记，方便后续数据处理中对图像和文字进行快速区分；
所述数据备份模块：
储存模块：对接收的数据进行储存备份；
删除模块：数据整理完成后，将储存备份的数据删除，减少多余数据对储存模块的占用；
限期恢复模块：对设定的期限内对误删的数据进行删除；
所述数据分析模块包括：
数据对比模块：将文字数据转换为图像的数据与备份模块中备份的数据进行对比，判断将文字数据转换为图像的数据与原数据是否相同；
深度学习处理模块：对图像数据进行分析分出处理，将重复、缺失和违法的数据调出，将合格的图像数据传输至安全模块中；
所述安全模块包括：
图像处理模块：对合格的图像数据增加水印，并对个人信息数据增加涂层，之后对图像进行拆分和编码，并打乱所有拆分的图像的位置，再将处理后的图像传回至大数据服务器中；
图像还原模块：将大数据服务器中的图像调出时，对处理的图像进行还原；
图文转换模块：对还原的文字数据转换为图像的数据重新转换为文字；
所述图像处理模块包括：
涂层增加模块：对图像增添水印，对个人信息的图像增加水印后，再增加遮挡涂层；
图像拆分模块：将增加水印和涂层后的图像拆分为多个图像；
图像编码模块：对拆分的后的图像进行编码，方便调出时对拆分的图像进行还原；
所述管理模块包括：
登录人员管理模块：对登录人员的身份进行识别和记录；
操作流程记录模块：对登录人员的操作流程进行记录；
所述深度学习处理模块采用PyTorch框架，并采用卷积神经网络；
所述涂层增加模块定期对水印样式进行更换。
本行业内技术人员只需按照其附带的使用说明书进行操作即可，而无需本领域的技术人员付出创造性劳动。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。
Claims (10)
1.一种大数据服务器的冗余闲时整理系统，其特征在于，包括：
数据上传模块：将数据上传至大数据服务器中；
数据标识模块：数据进入大数据服务器之前，对数据进行标记，将文字数据与图像数据进行区分；
大数据服务器：内部由多个储存单元组成，对大量的数据进行储存，方便将数据存入或调出；
数据传输模块：大数据服务器中的部分存储单元空闲时，将空闲服务器中的数据调出，传输至备份模块中；
数据备份模块：对数据进行备份，防止数据整理过程中数据丢失情况的出现，并根据数据中的标记对文字数据和图像数据进行快速区分，再将文字数据传输至文图转换模块中，将图像数据传输至数据分析模块中；
文图转换模块：将文字数据转换为图像数据，并将图像数据传输至数据分析模块中；
数据分析模块：将文字转换为图像的数据与备份中的数据进行对比，确保文字转换为图像的数据与原数据内容相同，对图像数据进行分析，对相同的数据、不完整的数据和违法数据进行处理；
安全模块：对图像增加水印，对个人信息图像增加涂层，遮挡重要信息，之后对图像进行拆分，使一张图像分为多份，并对拆分的图像进行编码，将若干拆分后的图像打乱后重新存回大数据服务器中，数据调出时，根据编码将拆分的图像重新组合，将涂层和水印去除，并将文字数据转换为图像的数据重新转换为文字，再将数据调出；
管理模块：对登录人员进行身份核实，对登录人员的操作过程进行记录，发现违规登录人员和违规操作时，向管理人员发出警报，提醒管理人员及时处理。
2.如权利要求1所述的一种大数据服务器的冗余闲时整理系统，其特征在于，所述数据标识模块包括：
图文识别模块：对图像和文字进行识别并进行区分；
图文标记模块：对图像和文字进行标记，方便后续数据处理中对图像和文字进行快速区分。
3.如权利要求1所述的一种大数据服务器的冗余闲时整理系统，其特征在于，所述数据备份模块：
储存模块：对接收的数据进行储存备份；
删除模块：数据整理完成后，将储存备份的数据删除，减少多余数据对储存模块的占用；
限期恢复模块：对设定的期限内对误删的数据进行删除。
4.如权利要求1所述的一种大数据服务器的冗余闲时整理系统，其特征在于，所述数据分析模块包括：
数据对比模块：将文字数据转换为图像的数据与备份模块中备份的数据进行对比，判断将文字数据转换为图像的数据与原数据是否相同；
深度学习处理模块：对图像数据进行分析分出处理，将重复、缺失和违法的数据调出，将合格的图像数据传输至安全模块中。
5.如权利要求1所述的一种大数据服务器的冗余闲时整理系统，其特征在于，所述安全模块包括：
图像处理模块：对合格的图像数据增加水印，并对个人信息数据增加涂层，之后对图像进行拆分和编码，并打乱所有拆分的图像的位置，再将处理后的图像传回至大数据服务器中；
图像还原模块：将大数据服务器中的图像调出时，对处理的图像进行还原；
图文转换模块：对还原的文字数据转换为图像的数据重新转换为文字。
6.如权利要求5所述的一种大数据服务器的冗余闲时整理系统，其特征在于，所述图像处理模块包括：
涂层增加模块：对图像增添水印，对个人信息的图像增加水印后，再增加遮挡涂层；
图像拆分模块：将增加水印和涂层后的图像拆分为多个图像；
图像编码模块：对拆分的后的图像进行编码，方便调出时对拆分的图像进行还原。
7.如权利要求1所述的一种大数据服务器的冗余闲时整理系统，其特征在于，所述管理模块包括：
登录人员管理模块：对登录人员的身份进行识别和记录；
操作流程记录模块：对登录人员的操作流程进行记录。
8.如权利要求4所述的一种大数据服务器的冗余闲时整理系统，其特征在于，所述深度学习处理模块采用PyTorch框架，并采用卷积神经网络。
9.如权利要求6所述的一种大数据服务器的冗余闲时整理系统，其特征在于，所述涂层增加模块定期对水印样式进行更换。
10.一种使用权利要求1-9任一项所述的大数据服务器的冗余闲时整理系统的整理方法，其特征在于，包括：
S1、通过数据上传模块将数据上传至大数据服务器中，并且通过数据标识模块在数据进入大数据服务器之前，通过图文识别模块对图像和文字进行识别并进行区分，通过图文标记模块对图像和文字进行标记，方便后续数据处理中对图像和文字进行快速区分；
S2、通过大数据服务器对大量的数据进行储存，方便将数据存入或调出；
S3、通过数据传输模块在大数据服务器中的部分存储单元空闲时，将空闲服务器中的数据调出，传输至备份模块中；
S4、通过储存模块对接收的数据进行储存备份，防止数据整理过程中数据丢失情况的出现，并根据数据中的标记对文字数据和图像数据进行快速区分，再将文字数据传输至文图转换模块中，将图像数据传输至数据分析模块中，数据整理完成后，通过删除模块将储存备份的数据删除，减少多余数据对储存模块的占用，在对设定的期限内可通过限期恢复模块对误删的数据进行删除；
S5、通过文图转换模块将文字数据转换为图像数据，并将图像数据传输至数据分析模块中；
S6、通过数据对比模块将文字数据转换为图像的数据与备份模块中备份的数据进行对比，判断将文字数据转换为图像的数据与原数据是否相同，确保文字转换为图像的数据与原数据内容相同，通过深度学习处理模块对图像数据进行分析分出处理，将重复、缺失和违法的数据调出，将合格的图像数据传输至安全模块中；
S7、通过图像处理模块对合格的图像数据增加水印，并对个人信息数据增加涂层，之后对图像进行拆分和编码，并打乱所有拆分的图像的位置，再将处理后的图像传回至大数据服务器中，通过图像还原模块将大数据服务器中的图像调出时，对处理的图像进行还原，通过图文转换模块对还原的文字数据转换为图像的数据重新转换为文字；
S8、日常管理过程中，管理模块：对登录人员进行身份核实，对登录人员的操作过程进行记录，发现违规登录人员和违规操作时，向管理人员发出警报，提醒管理人员及时处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311648210.7A CN117633083A (zh) | 2023-12-04 | 2023-12-04 | 一种大数据服务器的冗余闲时整理系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311648210.7A CN117633083A (zh) | 2023-12-04 | 2023-12-04 | 一种大数据服务器的冗余闲时整理系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117633083A true CN117633083A (zh) | 2024-03-01 |
Family
ID=90035375
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311648210.7A Pending CN117633083A (zh) | 2023-12-04 | 2023-12-04 | 一种大数据服务器的冗余闲时整理系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117633083A (zh) |
-
2023
- 2023-12-04 CN CN202311648210.7A patent/CN117633083A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11373265B2 (en) | Digital identification document | |
| US20190364038A1 (en) | Digital Identification Document | |
| Swaminathan et al. | Robust and secure image hashing | |
| US10957005B2 (en) | System and method for digital watermarking | |
| CN112307520B (zh) | 电子印章添加和验证方法及系统 | |
| CN108805787A (zh) | 一种纸质文档篡改鉴真的方法和装置 | |
| CN108881230B (zh) | 一种政务大数据的安全传输方法及装置 | |
| CN115238286A (zh) | 一种数据防护方法、装置、计算机设备及存储介质 | |
| EP4181106A1 (en) | Data management system | |
| CN112085643B (zh) | 图像脱敏处理方法、验证方法及装置、设备及介质 | |
| CN108446543B (zh) | 一种邮件处理方法、系统及邮件代理网关 | |
| CN112100634A (zh) | 一种数据信息安全保护方法 | |
| CN107346528B (zh) | 一种基于双图可逆脆弱水印的图像篡改检测方法 | |
| CN110991246A (zh) | 一种视频检测方法及系统 | |
| CN114218599B (zh) | 一种业务数据处理方法及装置、存储介质及电子设备 | |
| CN112257007B (zh) | 一种企业财务信息管理系统 | |
| Alsaadi et al. | Text steganography in font color of MS excel sheet | |
| CN117633083A (zh) | 一种大数据服务器的冗余闲时整理系统 | |
| CN110516425B (zh) | 一种秘密共享方法及系统 | |
| JP5353147B2 (ja) | 顔照合システム | |
| US10007844B2 (en) | System and method for digitally watermarking digital facial portraits | |
| CN111611459B (zh) | 一种基于区块链的档案数据保护方法 | |
| CN109271811B (zh) | 一种基于群签名的电子物证防篡改存储方法 | |
| CN116842562B (zh) | 基于隐私计算技术的大数据安全平台 | |
| CN115964685A (zh) | 云桌面水印生成方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |