CN115510488A - 医学图像敏感信息处理方法、装置、计算机设备和介质 - Google Patents

医学图像敏感信息处理方法、装置、计算机设备和介质 Download PDF

Info

Publication number
CN115510488A
CN115510488A CN202211207841.0A CN202211207841A CN115510488A CN 115510488 A CN115510488 A CN 115510488A CN 202211207841 A CN202211207841 A CN 202211207841A CN 115510488 A CN115510488 A CN 115510488A
Authority
CN
China
Prior art keywords
image
characters
character area
desensitized
character
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211207841.0A
Other languages
English (en)
Inventor
李肯立
王航
刘楚波
彭锋锋
肖国庆
段明星
唐卓
谭光华
李胜利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University
Original Assignee
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University filed Critical Hunan University
Priority to CN202211207841.0A priority Critical patent/CN115510488A/zh
Publication of CN115510488A publication Critical patent/CN115510488A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/15—Cutting or merging image elements, e.g. region growing, watershed or clustering-based techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19147—Obtaining sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/1918—Fusion techniques, i.e. combining data from various sources, e.g. sensor fusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Bioethics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种医学图像敏感信息处理方法、装置、计算机设备、存储介质和计算机程序产品。该方法获取待处理的医学图像；对医学图像进行文字检测，得到文字区域图像；基于条件生成对抗网络，根据文字区域图像相邻区域图像的像素填充文字区域图像，得到脱敏图像；将文字区域图像中的文字进行加密、并嵌入脱敏图像中，得到目标图像。整个方案首先获取医学图像的文字区域，基于条件生成对抗网络，填充医学图像的文字区域，去除文字后的图像更加真实合理，能够保留更多的原始图像特征，再将文字进行加密并嵌入脱敏图像中，合法用户可以根据需求查看包含文字的目标图像，在保证医学图像中文字信息的安全的同时，还可以合法获取医学图像中包含的信息。

Description

医学图像敏感信息处理方法、装置、计算机设备和介质
技术领域
本申请涉及医学图像处理技术领域，特别是涉及一种图像敏感信息处理方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
随着医疗技术的发展，临床医学越来越依赖于医学成像对患者的身体数据进行诊断或者测量。同时，由于深度学习的发展，医学图像处理技术也不断进步，推动则辅助诊断的发展，在此过程中也产生了大量的医学图像数据。
然而，这些医学图像形成后，通常会携带大量的检测对象个人信息以及疾病诊断信息等敏感信息。这些敏感信息容易被获取，造成隐私泄露等风险。
目前的医学图像处理方法可以直接把图像中的文字抹去，但是抹去后的图像无法复原。因此，目前的医学图像处理方法无法兼顾信息的安全以及合法获取图像中的文字内容。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高信息安全性以及合法获取文字信息的图像敏感信息处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种医学图像敏感信息处理方法。该方法包括：
获取待处理的医学图像；
对医学图像进行文字检测，得到文字区域图像；
基于条件生成对抗网络，根据文字区域图像相邻区域图像的像素填充文字区域图像，得到脱敏图像；
将文字区域图像中的文字进行加密、并嵌入脱敏图像中，得到目标图像。
在其中一个实施例中，对医学图像进行文字检测，得到文字区域图像包括：对医学图像进行特征提取，得到特征图；对特征图进行特征融合，得到融合特征图；根据融合特征图进行文字检测，得到文字区域图像。
在其中一个实施例中，对特征图进行特征融合，得到融合特征图包括：基于特征金字塔，对特征图进行特征增强，得到增强特征图；对增强特征图进行特征融合以及降维，得到融合特征图。
在其中一个实施例中，根据融合特征图进行文字检测，得到文字区域图像包括：对融合特征图进行后处理，得到后处理后的融合特征图；对后处理后的融合特征图进行文字检测，得到文字区域图像。
在其中一个实施例中，基于条件生成对抗网络，根据文字区域图像相邻区域图像的像素填充文字区域图像，得到脱敏图像包括：基于条件生成对抗网络，提取文字区域图像相邻区域图像的像素；根据文字区域图像相邻区域图像的像素填充文字区域图像，得到脱敏图像。
在其中一个实施例中，将文字区域图像中的文字进行加密、并嵌入脱敏图像中，得到目标图像包括：对脱敏图像进行离散小波变换以及离散余弦变化，得到变换后的脱敏图像；将文字区域图像中的文字进行加密、并嵌入变换后的脱敏图像，得到带文字的脱敏图像；对带文字的脱敏图像进行离散小波逆变换以及离散余弦逆变换，得到目标图像。
在其中一个实施例中，上述方法还包括：对目标图像进行文字提取，得到加密后的文字区域图像中的文字；对加密后的文字区域图像中的文字进行解密，得到带文字的脱敏图像。
第二方面，本申请还提供了一种医学图像敏感信息处理装置。该装置包括：
获取模块，用于获取待处理的医学图像；
文字检测模块，用于对医学图像进行文字检测，得到文字区域图像；
脱敏模块，用于基于条件生成对抗网络，根据文字区域图像相邻区域图像的像素填充文字区域图像，得到脱敏图像；
目标图像生成模块，用于将文字区域图像中的文字进行加密、并嵌入脱敏图像中，得到目标图像。
第三方面，本申请还提供了一种计算机设备。该计算机设备包括存储器和处理器，该存储器存储有计算机程序，该处理器执行该计算机程序时实现以下步骤：
获取待处理的医学图像；
对医学图像进行文字检测，得到文字区域图像；
基于条件生成对抗网络，根据文字区域图像相邻区域图像的像素填充文字区域图像，得到脱敏图像；
将文字区域图像中的文字进行加密、并嵌入脱敏图像中，得到目标图像。
第四方面，本申请还提供了一种计算机可读存储介质。该计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取待处理的医学图像；
对医学图像进行文字检测，得到文字区域图像；
基于条件生成对抗网络，根据文字区域图像相邻区域图像的像素填充文字区域图像，得到脱敏图像；
将文字区域图像中的文字进行加密、并嵌入脱敏图像中，得到目标图像。
第五方面，本申请还提供了一种计算机程序产品。该计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取待处理的医学图像；
对医学图像进行文字检测，得到文字区域图像；
基于条件生成对抗网络，根据文字区域图像相邻区域图像的像素填充文字区域图像，得到脱敏图像；
将文字区域图像中的文字进行加密、并嵌入脱敏图像中，得到目标图像。
上述医学图像敏感信息处理方法、装置、计算机设备、存储介质和计算机程序产品，获取待处理的医学图像；对医学图像进行文字检测，得到文字区域图像；基于条件生成对抗网络，根据文字区域图像相邻区域图像的像素填充文字区域图像，得到脱敏图像；将文字区域图像中的文字进行加密、并嵌入脱敏图像中，得到目标图像。整个方案首先获取医学图像的文字区域，之后，基于条件生成对抗网络，填充医学图像的文字区域，相比传统的文字去除方法，本申请中去除文字后的图像更加真实合理，能够保留更多的原始图像特征，之后，再将文字进行加密并嵌入脱敏图像中，合法用户可以根据需求查看包含文字的目标图像，在保证医学图像中文字信息的安全的同时，还可以合法获取医学图像中包含的信息。
附图说明
图1为一个实施例中医学图像敏感信息处理方法的应用环境图；
图2为一个实施例中医学图像敏感信息处理方法的流程示意图；
图3为一个实施例中条件生成对抗网络的结构示意图；
图4为一个实施例中特征金字塔增强模块的结构示意图；
图5为一个实施例中医学图像敏感信息处理装置的结构框图；
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
目前，临床方面的医学成像种类主要有X-射线、核磁共振、PET、和超声四类，医生使用以上成像方法观察感兴趣的区域，从而进行精准的诊断或测量。由于深度学习的发展，医学图像处理获得了很多机构和科研人员的关注与研究，推动着辅助诊断的发展，在此过程中也产生了大量的医学图像数据。超声产检由于其无辐射，价格相对低，较为安全，能测量胎儿妊娠过程中的生长参数，检查胎儿是否有畸形，在临床当中非常常用。每个孕妇在妊娠过程中都会进行多次超声产检。
然而，这些超声图像在检查的过程当中，会携带着病人或检查者的名字，或是相关的参数，包含大量的个人、隐私或敏感信息，包括姓名、胎儿所患有的疾病，孕妇和胎儿的年龄等，这些信息经常暴露在图像中。这些私人信息很容易被获取，假如这些数据被从事欺诈、营销或其他非法活动的人利用或是泄露会产生较大的影响。目前，对数据进行保护的方式主要是通过和合作方签订保密协议，加强人员管理，加强网络安全等。
而对于医护人员来说，这些敏感信息在某些情况下是需要的，因此需要将敏感信息在不影响显示的情况下嵌入图像，再对脱敏且嵌入了敏感信息的图像进行复原，方便医护人员获得病例信息。
本申请实施例提供的医学图像敏感信息处理方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信，条件生成对抗网络在服务器上进行训练得到。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。终端102获取待处理的医学图像；对医学图像进行文字检测，得到文字区域图像；终端基于服务器训练好的条件生成对抗网络，根据文字区域图像相邻区域图像的像素填充文字区域图像，得到脱敏图像；将文字区域图像中的文字进行加密、并嵌入脱敏图像中，得到目标图像。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种医学图像敏感信息处理方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：
步骤202，获取待处理的医学图像。
其中，待处理的医学图像指的是带文字的医学图像。医学图像包括但不限于是医学扫描设备对被扫描对象进行扫描得到的。医学扫描设备扫描后，根据实际需求可以实时或定期发送给计算机设备。
具体地，终端与医学扫描设备通过网络进行连接，医学扫描设备对被扫描对象进行扫描，获得待处理的医学图像，医学扫描设备将待处理的医学图像发送至终端。终端接收医学扫描设备发送的待处理的医学图像。
待处理的医学图像也可以由用户在终端显示界面上传，终端侦听并响应用户的图片上传操作，获取待处理的医学图像。
步骤204，对医学图像进行文字检测，得到文字区域图像。
具体地，终端基于文字分割的文本检测网络，检测医学图像的文字位置，得到医学图像中的文字区域，将文字区域的图像作为文字区域图像。
步骤206，基于条件生成对抗网络，根据文字区域图像相邻区域图像的像素填充文字区域图像，得到脱敏图像。
具体地，终端基于条件生成对抗网络的生成器，获取文字区域图像相邻区域图像的像素，根据文字区域图像相邻区域图像的像素填充文字区域，生成去除文字区域的医学图像，终端基于条件生成对抗网络的判别器，将医学图像与去除文字区域的医学图像分割为预设数量的图像块，对分割得到的图像块的像素求平均值，得到判别器的输出，当判别器鉴别生成器生成的去除文字的医学图像为真时，得到脱敏图像。
步骤208，将文字区域图像中的文字进行加密、并嵌入脱敏图像中，得到目标图像。
具体地，终端提取文字区域图像中的文字，根据密钥对文字区域图像中的文字进行加密，并将加密后的文字嵌入脱敏图像中，得到需要解密才能提取文字信息的目标图像。有权限的医护人员可根据密钥复原带文字的医学图像，以满足医学工作需要。
上述医学图像敏感信息处理方法中，获取待处理的医学图像；对医学图像进行文字检测，得到文字区域图像；基于条件生成对抗网络，根据文字区域图像相邻区域图像的像素填充文字区域图像，得到脱敏图像；将文字区域图像中的文字进行加密、并嵌入脱敏图像中，得到目标图像。整个方案首先获取医学图像的文字区域，之后，基于条件生成对抗网络，填充医学图像的文字区域，相比传统的文字去除方法，本申请中去除文字后的图像更加真实合理，能够保留更多的原始图像特征，之后，再将文字进行加密并嵌入脱敏图像中，合法用户可以根据需求查看包含文字的目标图像，在保证医学图像中文字信息的安全的同时，还可以合法获取医学图像中包含的信息。
在一个可选的实施例中，对医学图像进行文字检测，得到文字区域图像包括：对医学图像进行特征提取，得到特征图；对特征图进行特征融合，得到融合特征图；根据融合特征图进行文字检测，得到文字区域图像。
具体地，如图3所示，终端将医学图像输入文字分割的文本检测网络，基于resnet50网络的多个层对医学图像进行特征提取，得到多个对应的具有不同分辨率的特征图。之后，基于各特征图进行特征融合，得到每个特征图对应的融合特征图。
其中，多个层为resnet50网络的多个特征提取层，特征提取层包括卷积层和池化层，或者特征提取层可以只包括卷积层。若特征提取层包括卷积层和池化层，即在卷积层对医学图像进行卷积操作提取到对应的特征图之后，通过池化层对该特征图进行池化后再输出。特征提取层中包括四层特征提取层，则能够获取到四张特征图。
在一个可选的实施例中，对特征图进行特征融合，得到融合特征图包括：基于特征金字塔，对特征图进行特征增强，得到增强特征图；对增强特征图进行特征融合以及降维，得到融合特征图。
具体地，如图3所示，终端基于三层的FPEM(Feature Pyramid Enhance Module，特征金字塔增强模块)融合特征图高尺度和低尺度的特征，前一层的输出作为下一层的输入，经过三次特征增强，得到增强特征图。FPEM的网络结构如图4所示，每一层FPEM的输入和输出层数相同，基于各特征图的分辨率，从低到高依次进行特征相加，得到各特征图对应的第一增强特征图，再基于各特征图的分辨率，从高到低依次进行特征相加，得到各特征图对应的第二增强特征图，将第一增强特征图和第二增强特征图进行特征合并，得到增强图。合并可以理解为图像通道的合并。
之后，终端基于FFM(Feature Fusion Module，特征融合模块)，将三层FPEM的输出相加，得到第一融合特征图、第二融合特征图、第三融合特征图以及第四融合特征图，对第二融合特征图、第三融合特征图以及第四融合特征图进行上采样，得到三个与第一融合特征图尺寸相同的采样特征图，将四个采样特征图进行特征融合，得到融合特征图。
本实施例中，通过特征金字塔增强模块以及特征融合模块对特征图进行特征增强，能够融合低分辨率语义信息较强的特征图和高分辨率语义信息较弱但空间信息丰富的特征图。
在一个可选的实施例中，根据融合特征图进行文字检测，得到文字区域图像包括：对融合特征图进行后处理，得到后处理后的融合特征图；对后处理后的融合特征图进行文字检测，得到文字区域图像。
其中，后处理指的是对融合特征图进行卷积，得到特征矩阵，从特征矩阵中提取文字区域，得到文字区域图像。
具体地，终端对融合特征图分别使用三个卷积，得到文字区域矩阵、内核区域矩阵以及相似度矩阵。文字区域矩阵为T(1*W*H)，内核区域矩阵为K(1*W*H)，相似度向量S(4*W*H)，S代表W*H个像素中的某一个像素。T代表W*H个像素当中，像素是否是文字区域，K代表W*H个像素当中，像素是否是内核，文本区域经常重叠，使用内核来区分文本实例。文本实例是图像中一个完整的文字区域，内核是文字区域经过缩放后得到的区域，用于区分不同的文本块。
在训练网络时，同一文本实例的内核和实例内像素的距离计算损失值，使得距离变小，再计算不同内核之间的距离使不同实例的内核距离大。文本分割和真实值之间计算dice loss。相似度向量代表四个通道，W*H个像素当中，用来计算像素与上下左右邻接点的相似性度。
在预测时，首先挑选出连通域，每个连通域都作为一个内核，求内核的相似度平均特征值，然后对每个内核周边的且存在于文字区域且该像素与平均相似向的距离小于d的像素与内核合并。重复上面的操作，直到内核无法合并周边的像素。然后求出各个区域的上下左右的最大值，得到包含敏感信息的文字区域图像。
在一个可选的实施例中，基于条件生成对抗网络，根据文字区域图像相邻区域图像的像素填充文字区域图像，得到脱敏图像包括：基于条件生成对抗网络，提取文字区域图像相邻区域图像的像素；根据文字区域图像相邻区域图像的像素填充文字区域图像，得到脱敏图像。
具体地，终端基于Pix2pix条件生成对抗网络，获取文字区域图像相邻区域图像的像素，基于Pix2pix条件生成对抗网络的生成器，采用Unet结构根据文字区域图像相邻区域图像的像素填充文字区域，生成去除文字区域的医学图像。终端基于patchGAN判别器，将医学图像与去除文字区域的医学图像分割为预设数量的图像块，预设数量可以为70*70，对分割得到的图像块的像素求平均值，得到判别器的输出，当判别器鉴别生成器生成的去除文字的医学图像为真时，得到脱敏图像。
在Pix2pix条件生成对抗网络的训练过程中，为了保证输入有文字的图像和输出无文字图像，除了文字部分的不同，其他部分要相同，引入L1损失函数来减小误差。对于所选图像中的文本，目标是擦除文本区域，然后用视觉上合理的背景填充它，以保持擦除文本区域及其周围纹理的一致性。标注过的去掉文字的超声图像，按照4:1比例，将样本分为训练集和测试集，然后对Pix2pix条件生成对抗网络进行训练，经过测试，以及对loss的分析，在第50epoch时取得最好的效果。
本实施例中，采用Unet结构有利于生成图像的细节部分，不同尺度都能得到真实的结果。用文字区域相邻的像素填充文字部分，可以保留更多的原始图像特征。
在一个可选的实施例中，将文字区域图像中的文字进行加密、并嵌入脱敏图像中，得到目标图像包括：对脱敏图像进行离散小波变换以及离散余弦变化，得到变换后的脱敏图像；将文字区域图像中的文字进行加密、并嵌入变换后的脱敏图像，得到带文字的脱敏图像；对带文字的脱敏图像进行离散小波逆变换以及离散余弦逆变换，得到目标图像。
具体地，终端首先将脱敏图像从RGB(Red green blue，红黄蓝)颜色空间转换为YUV(Luminance Chrominance，亮度色度)颜色空间，然后对亮度分量Y进行一层离散小波变换，利用离散余弦变换将低频分块，对每个块进行SVD(Singular Value Decomposition，奇异值分解)。之后，对文字区域图像中的文字进行加密，并嵌入分解后的脱敏图像中，得到带文字的脱敏图像；对带文字的脱敏图像进行离散小波逆变换以及离散余弦逆变换，得到RGB格式的目标图像。
进一步地，终端首先将文字区域图像(即原始待处理的医学图像)进行二值化，得到二值化的文字区域图像。接着，根据密钥对二值化的文字区域图像进行加密，将加密后的文字区域图像矩阵展平为序列，根据密钥对序列进行排序，将排序后的序列还原至原来的矩阵尺寸，得到加密图像。如，文字区域图像为80*100，将块展开，得到8000的一个数组，每个块有一个索引，使用密钥作为随机种子，按照索引以固定的顺序打乱。
然后，终端对脱敏图像从RGB格式转换为YUV格式。生成随机序列，选择亮度分量Y并应用离散小波变换(DWT)将Y细分为四个维度，DWT级数设置为2级。将脱敏图像分成预设大小(即N*N)的像素块，然后对各像素块逐一进行离散余弦变化(DCT)变换。之后，对变换后的每个块进行奇异值分解，得到U、S、V向量。根据嵌入表达式U1S1V1＝USV+k*W，将加密图像嵌入到S向量中，得到嵌入图，k为嵌入强度。最后，对嵌入图U1S1V1进行反离散余弦变换(idct)以及反离散小波变换，得到Y'，再将转换后的嵌入图转换为为rgb格式，得到目标图像。
本实施例中，通过对文字区域图像进行二值化，可以压缩空间，以提高嵌入计算效率，提高目标图像的获取效率以及准确率。
在一个可选的实施例中，上述方法还包括：对目标图像进行文字提取，得到加密后的文字区域图像中的文字；对加密后的文字区域图像中的文字进行解密，得到带文字的脱敏图像。
具体地，根据目标图像，输入密钥作为随机种子，得到携带加密文字的目标图像，将携带加密文字的目标图像转换为YUV格式，对转换后的亮度分量Y进行离散小波变换并分块，得到四个子带LL、LH、HL、HH。L就是low，H是High，即L表示低频，H表示高频。一般来说，小波变换后，将图像分解到了低低频，低高频，高高频。低频反应图像概貌，高频反应图像细节。
对转换后的携带加密文字的目标图像的各个像素进行解码，对LL进行dct变换。然后进行svd，得到U1S1V1，根据还原表达式W＝(U1S1V1-S1)/k进行求解，得到加密图像。由于在嵌入过程当中没有用到正交矩阵U和V，因此可以用此还原表达式得到携带文字的医学图像。根据随机种子对W像素索引进行排序，得到包含文字的文字区域图像，然后文字区域图像还原到脱敏图像上，得到带文字的脱敏图像，及原始医学图像。
本实施例中，将包含文字的图片和图片位置，嵌入脱敏图像当中，且不影响图像的显示，没有密钥的情况下无法从中提取。需要用到时再使用固定的密钥从图像当中提取包含文字的图片和位置，恢复敏感信息。
为了易于理解本申请实施例提供的技术方案，以完整的医学图像敏感信息处理过程对本申请实施例提供的医学图像敏感信息处理方法进行简要说明：
(1)获取待处理的医学图像。
(2)对医学图像进行特征提取，得到特征图。
(3)基于特征金字塔，对特征图进行特征增强，得到增强特征图。
(4)对增强特征图进行特征融合以及降维，得到融合特征图。
(5)对融合特征图进行后处理，得到后处理后的融合特征图.
(6)对后处理后的融合特征图进行文字检测，得到文字区域图像。
(7)基于条件生成对抗网络，提取文字区域图像相邻区域图像的像素.
(8)根据文字区域图像相邻区域图像的像素填充文字区域图像，得到脱敏图像。
(9)对脱敏图像进行离散小波变换以及离散余弦变化，得到变换后的脱敏图像。
(10)将文字区域图像中的文字进行加密、并嵌入变换后的脱敏图像，得到带文字的脱敏图像。
(11)对带文字的脱敏图像进行离散小波逆变换以及离散余弦逆变换，得到目标图像。
(12)对目标图像进行文字提取，得到加密后的文字区域图像中的文字；对加密后的文字区域图像中的文字进行解密，得到带文字的脱敏图像。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的医学图像敏感信息处理方法的医学图像敏感信息处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个医学图像敏感信息处理装置实施例中的具体限定可以参见上文中对于医学图像敏感信息处理方法的限定，在此不再赘述。
在一个实施例中，如图5所示，提供了一种医学图像敏感信息处理装置，包括：获取模块502、文字检测模块504、脱敏模块506和目标图像生成模块508，其中：
获取模块502，用于获取待处理的医学图像；
文字检测模块504，用于对医学图像进行文字检测，得到文字区域图像；
脱敏模块506，用于基于条件生成对抗网络，根据文字区域图像相邻区域图像的像素填充文字区域图像，得到脱敏图像；
目标图像生成模块508，用于将文字区域图像中的文字进行加密、并嵌入脱敏图像中，得到目标图像。
在一个实施例中，文字检测模块504还用于对医学图像进行特征提取，得到特征图；对特征图进行特征融合，得到融合特征图；根据融合特征图进行文字检测，得到文字区域图像。
在一个实施例中，文字检测模块504还用于基于特征金字塔，对特征图进行特征增强，得到增强特征图；对增强特征图进行特征融合以及降维，得到融合特征图。
在一个实施例中，文字检测模块504还用于对融合特征图进行后处理，得到后处理后的融合特征图；对后处理后的融合特征图进行文字检测，得到文字区域图像。
在一个实施例中，脱敏模块506用于基于条件生成对抗网络，提取文字区域图像相邻区域图像的像素；根据文字区域图像相邻区域图像的像素填充文字区域图像，得到脱敏图像。
在一个实施例中，目标图像生成模块508还用于对脱敏图像进行离散小波变换以及离散余弦变化，得到变换后的脱敏图像；将文字区域图像中的文字进行加密、并嵌入变换后的脱敏图像，得到带文字的脱敏图像；对带文字的脱敏图像进行离散小波逆变换以及离散余弦逆变换，得到目标图像。
在一个实施例中，医学图像敏感信息处理装置还包括还原模块，用于对目标图像进行文字提取，得到加密后的文字区域图像中的文字；对加密后的文字区域图像中的文字进行解密，得到带文字的脱敏图像。
上述医学图像敏感信息处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种医学图像敏感信息处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取待处理的医学图像；
对医学图像进行文字检测，得到文字区域图像；
基于条件生成对抗网络，根据文字区域图像相邻区域图像的像素填充文字区域图像，得到脱敏图像；
将文字区域图像中的文字进行加密、并嵌入脱敏图像中，得到目标图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：对医学图像进行文字检测，得到文字区域图像包括：对医学图像进行特征提取，得到特征图；对特征图进行特征融合，得到融合特征图；根据融合特征图进行文字检测，得到文字区域图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：对特征图进行特征融合，得到融合特征图包括：基于特征金字塔，对特征图进行特征增强，得到增强特征图；对增强特征图进行特征融合以及降维，得到融合特征图。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据融合特征图进行文字检测，得到文字区域图像包括：对融合特征图进行后处理，得到后处理后的融合特征图；对后处理后的融合特征图进行文字检测，得到文字区域图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：基于条件生成对抗网络，根据文字区域图像相邻区域图像的像素填充文字区域图像，得到脱敏图像包括：基于条件生成对抗网络，提取文字区域图像相邻区域图像的像素；根据文字区域图像相邻区域图像的像素填充文字区域图像，得到脱敏图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将文字区域图像中的文字进行加密、并嵌入脱敏图像中，得到目标图像包括：对脱敏图像进行离散小波变换以及离散余弦变化，得到变换后的脱敏图像；将文字区域图像中的文字进行加密、并嵌入变换后的脱敏图像，得到带文字的脱敏图像；对带文字的脱敏图像进行离散小波逆变换以及离散余弦逆变换，得到目标图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：对目标图像进行文字提取，得到加密后的文字区域图像中的文字；对加密后的文字区域图像中的文字进行解密，得到带文字的脱敏图像。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取待处理的医学图像；
对医学图像进行文字检测，得到文字区域图像；
基于条件生成对抗网络，根据文字区域图像相邻区域图像的像素填充文字区域图像，得到脱敏图像；
将文字区域图像中的文字进行加密、并嵌入脱敏图像中，得到目标图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对医学图像进行文字检测，得到文字区域图像包括：对医学图像进行特征提取，得到特征图；对特征图进行特征融合，得到融合特征图；根据融合特征图进行文字检测，得到文字区域图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对特征图进行特征融合，得到融合特征图包括：基于特征金字塔，对特征图进行特征增强，得到增强特征图；对增强特征图进行特征融合以及降维，得到融合特征图。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据融合特征图进行文字检测，得到文字区域图像包括：对融合特征图进行后处理，得到后处理后的融合特征图；对后处理后的融合特征图进行文字检测，得到文字区域图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：基于条件生成对抗网络，根据文字区域图像相邻区域图像的像素填充文字区域图像，得到脱敏图像包括：基于条件生成对抗网络，提取文字区域图像相邻区域图像的像素；根据文字区域图像相邻区域图像的像素填充文字区域图像，得到脱敏图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将文字区域图像中的文字进行加密、并嵌入脱敏图像中，得到目标图像包括：对脱敏图像进行离散小波变换以及离散余弦变化，得到变换后的脱敏图像；将文字区域图像中的文字进行加密、并嵌入变换后的脱敏图像，得到带文字的脱敏图像；对带文字的脱敏图像进行离散小波逆变换以及离散余弦逆变换，得到目标图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对目标图像进行文字提取，得到加密后的文字区域图像中的文字；对加密后的文字区域图像中的文字进行解密，得到带文字的脱敏图像。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取待处理的医学图像；
对医学图像进行文字检测，得到文字区域图像；
基于条件生成对抗网络，根据文字区域图像相邻区域图像的像素填充文字区域图像，得到脱敏图像；
将文字区域图像中的文字进行加密、并嵌入脱敏图像中，得到目标图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对医学图像进行文字检测，得到文字区域图像包括：对医学图像进行特征提取，得到特征图；对特征图进行特征融合，得到融合特征图；根据融合特征图进行文字检测，得到文字区域图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对特征图进行特征融合，得到融合特征图包括：基于特征金字塔，对特征图进行特征增强，得到增强特征图；对增强特征图进行特征融合以及降维，得到融合特征图。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据融合特征图进行文字检测，得到文字区域图像包括：对融合特征图进行后处理，得到后处理后的融合特征图；对后处理后的融合特征图进行文字检测，得到文字区域图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：基于条件生成对抗网络，根据文字区域图像相邻区域图像的像素填充文字区域图像，得到脱敏图像包括：基于条件生成对抗网络，提取文字区域图像相邻区域图像的像素；根据文字区域图像相邻区域图像的像素填充文字区域图像，得到脱敏图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将文字区域图像中的文字进行加密、并嵌入脱敏图像中，得到目标图像包括：对脱敏图像进行离散小波变换以及离散余弦变化，得到变换后的脱敏图像；将文字区域图像中的文字进行加密、并嵌入变换后的脱敏图像，得到带文字的脱敏图像；对带文字的脱敏图像进行离散小波逆变换以及离散余弦逆变换，得到目标图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对目标图像进行文字提取，得到加密后的文字区域图像中的文字；对加密后的文字区域图像中的文字进行解密，得到带文字的脱敏图像。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种医学图像敏感信息处理方法，其特征在于，所述方法包括：
获取待处理的医学图像；
对所述医学图像进行文字检测，得到文字区域图像；
基于条件生成对抗网络，根据所述文字区域图像相邻区域图像的像素填充所述文字区域图像，得到脱敏图像；
将所述文字区域图像中的文字进行加密、并嵌入所述脱敏图像中，得到目标图像。
2.根据权利要求1所述的方法，其特征在于，所述对所述医学图像进行文字检测，得到文字区域图像包括：
对所述医学图像进行特征提取，得到特征图；
对所述特征图进行特征融合，得到融合特征图；
根据所述融合特征图进行文字检测，得到文字区域图像。
3.根据权利要求2所述的方法，其特征在于，所述对所述特征图进行特征融合，得到融合特征图包括：
基于特征金字塔，对所述特征图进行特征增强，得到增强特征图；
对所述增强特征图进行特征融合以及降维，得到融合特征图。
4.根据权利要求2所述的方法，其特征在于，所述根据所述融合特征图进行文字检测，得到文字区域图像包括：
对所述融合特征图进行后处理，得到后处理后的融合特征图；
对所述后处理后的融合特征图进行文字检测，得到文字区域图像。
5.根据权利要求1所述的方法，其特征在于，所述基于条件生成对抗网络，根据所述文字区域图像相邻区域图像的像素填充所述文字区域图像，得到脱敏图像包括：
基于条件生成对抗网络，提取所述文字区域图像相邻区域图像的像素；
根据所述文字区域图像相邻区域图像的像素填充所述文字区域图像，得到脱敏图像。
6.根据权利要求1所述的方法，其特征在于，所述将所述文字区域图像中的文字进行加密、并嵌入所述脱敏图像中，得到目标图像包括：
对所述脱敏图像进行离散小波变换以及离散余弦变化，得到变换后的脱敏图像；
将所述文字区域图像中的文字进行加密、并嵌入所述变换后的脱敏图像，得到带文字的脱敏图像；
对所述带文字的脱敏图像进行离散小波逆变换以及离散余弦逆变换，得到目标图像。
7.根据权利要求6所述的方法，其特征在于，还包括：
对所述目标图像进行文字提取，得到加密后的文字区域图像中的文字；
对所述加密后的文字区域图像中的文字进行解密，得到带文字的脱敏图像。
8.一种医学图像敏感信息处理装置，其特征在于，所述装置包括：
获取模块，用于获取待处理的医学图像；
文字检测模块，用于对所述医学图像进行文字检测，得到文字区域图像；
脱敏模块，用于基于条件生成对抗网络，根据所述文字区域图像相邻区域图像的像素填充所述文字区域图像，得到脱敏图像；
目标图像生成模块，用于将所述文字区域图像中的文字进行加密、并嵌入所述脱敏图像中，得到目标图像。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202211207841.0A 2022-09-30 2022-09-30 医学图像敏感信息处理方法、装置、计算机设备和介质 Pending CN115510488A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211207841.0A CN115510488A (zh) 2022-09-30 2022-09-30 医学图像敏感信息处理方法、装置、计算机设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211207841.0A CN115510488A (zh) 2022-09-30 2022-09-30 医学图像敏感信息处理方法、装置、计算机设备和介质

Publications (1)

Publication Number Publication Date
CN115510488A true CN115510488A (zh) 2022-12-23

Family

ID=84508347

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211207841.0A Pending CN115510488A (zh) 2022-09-30 2022-09-30 医学图像敏感信息处理方法、装置、计算机设备和介质

Country Status (1)

Country Link
CN (1) CN115510488A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115688151A (zh) * 2023-01-05 2023-02-03 恒丰银行股份有限公司 一种针对敏感信息的脱敏复敏方法、系统及终端机
CN117240982A (zh) * 2023-11-09 2023-12-15 沐城测绘(北京)有限公司 一种基于隐私保护的视频脱敏方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115688151A (zh) * 2023-01-05 2023-02-03 恒丰银行股份有限公司 一种针对敏感信息的脱敏复敏方法、系统及终端机
CN115688151B (zh) * 2023-01-05 2023-04-07 恒丰银行股份有限公司 一种针对敏感信息的脱敏复敏方法、系统及终端机
CN117240982A (zh) * 2023-11-09 2023-12-15 沐城测绘(北京)有限公司 一种基于隐私保护的视频脱敏方法
CN117240982B (zh) * 2023-11-09 2024-01-26 沐城测绘(北京)有限公司 一种基于隐私保护的视频脱敏方法

Similar Documents

Publication Publication Date Title
CN110148192B (zh) 医学影像成像方法、装置、计算机设备和存储介质
CN115510488A (zh) 医学图像敏感信息处理方法、装置、计算机设备和介质
Chaudhari et al. Prospective deployment of deep learning in MRI: a framework for important considerations, challenges, and recommendations for best practices
Hassan et al. An imperceptible medical image watermarking framework for automated diagnosis of retinal pathologies in an eHealth arrangement
CN111091521B (zh) 图像处理方法及装置、电子设备和计算机可读存储介质
Nambakhsh et al. A contextual based double watermarking of PET images by patient ID and ECG signal
Rai et al. SVM based robust watermarking for enhanced medical image security
US20230036359A1 (en) Image reconstruction method, device,equipment, system, and computer-readable storage medium
Das et al. Effective management of medical information through a novel blind watermarking technique
CN107004042B (zh) 图像指纹识别
Usman et al. CryptoDL: Predicting dyslexia biomarkers from encrypted neuroimaging dataset using energy-efficient residue number system and deep convolutional neural network
Huang et al. Attention-VGG16-UNet: a novel deep learning approach for automatic segmentation of the median nerve in ultrasound images
CN109767382B (zh) 图像重建方法、装置、计算机设备和存储介质
Trujillo-Toledo et al. Real-time medical image encryption for H-IoT applications using improved sequences from chaotic maps
Yanling et al. Segmenting vitiligo on clinical face images using CNN trained on synthetic and internet images
CN116227277A (zh) 电极布局方案的生成方法、装置、设备、介质和程序产品
Huang et al. Robust zero-watermarking scheme based on a depthwise overparameterized VGG network in healthcare information security
CN111157935A (zh) 磁共振成像方法、装置、存储介质及计算机设备
CN116563189B (zh) 一种基于深度学习的医学图像跨对比度合成方法及系统
WO2021253732A1 (zh) 医学图像的处理方法、装置、计算机设备和存储介质
Rizzi et al. Digital watermarking for healthcare: a survey of ECG watermarking methods in telemedicine
CN115861248A (zh) 医学图像分割方法、医学模型训练方法、装置和存储介质
CN107977580B (zh) 医学图像的加密、解密方法和装置及医学图像的处理系统
CN114723723A (zh) 医学影像处理方法、计算机设备和存储介质
CN112712015B (zh) 一种人体关键点识别方法、装置、智能终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination