CN113887311B - 一种保护眼科患者隐私的方法、装置及存储介质 - Google Patents

一种保护眼科患者隐私的方法、装置及存储介质 Download PDF

Info

Publication number
CN113887311B
CN113887311B CN202111031513.5A CN202111031513A CN113887311B CN 113887311 B CN113887311 B CN 113887311B CN 202111031513 A CN202111031513 A CN 202111031513A CN 113887311 B CN113887311 B CN 113887311B
Authority
CN
China
Prior art keywords
image
dimensional reconstruction
region
frame
reconstructed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111031513.5A
Other languages
English (en)
Other versions
CN113887311A (zh
Inventor
林浩添
徐枫
杨雅涵
汪瑞昕
吕军锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Zhongshan Ophthalmic Center
Original Assignee
Tsinghua University
Zhongshan Ophthalmic Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University, Zhongshan Ophthalmic Center filed Critical Tsinghua University
Priority to CN202111031513.5A priority Critical patent/CN113887311B/zh
Priority to JP2021196269A priority patent/JP7164693B1/ja
Priority to US17/548,486 priority patent/US20230076853A1/en
Publication of CN113887311A publication Critical patent/CN113887311A/zh
Application granted granted Critical
Publication of CN113887311B publication Critical patent/CN113887311B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Bioethics (AREA)
  • Computer Graphics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Quality & Reliability (AREA)
  • Computer Hardware Design (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Pathology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种保护眼科患者隐私的方法、装置及存储介质，其中方法包括：采集眼科患者的检查视频；提取检查视频中每一帧图像的图像特征，根据图像特征中的器官位置信息对每一帧图像进行区域划分，并根据区域划分结果得到待精密重建区域和待弱化重建区域；对待精密重建区域和待弱化重建区域进行三维重建，得到每一帧图像对应的三维重建数据；将所有三维重建数据渲染成三维重建视频。本发明根据该位置信息将每一帧图像都划分为多个图像区域，在图像区域中得到待精密重建区域和待弱化重建区域已进行三维重建，能够在保留眼科患者大部分病例特征的同时，掩盖眼科患者的大部分身份特征，从而能够在不影响医生诊断的前提下保护眼科患者的隐私。

Description

一种保护眼科患者隐私的方法、装置及存储介质
技术领域
本发明涉及计算机图形学技术领域，尤其是涉及一种保护眼科患者隐私的方法、装置及存储介质。
背景技术
随着数字化的盛行，数字医疗逐渐进入人们的视野。数字医疗指的是将信息技术应用于整个医疗过程的一种新型的现代化医疗方式。然而，在数字医疗推行的过程中，也面临着一些风险和挑战。其中，如何更好地保护患者隐私成为了数字医疗亟待解决的问题。面部信息数字化的记录了疾病体征，并不可避免的保留了敏感的生物识别信息，如何从技术上精确分离二者，是目前人脸隐私保护的重大技术难点。
现有的保护眼科患者隐私的方法主要为通过遮盖的处理方式来处理含有身份信息的影像，但是现有的保护眼科患者隐私的方法无法去除非遮盖区域的身份信息，且很可能会遗失遮盖区域包含的病例特征信息，导致难以在不影响医生诊断的前提下保护眼科患者的隐私。
发明内容
本发明提供了一种保护眼科患者隐私的方法、装置及存储介质，以解决现有的保护眼科患者隐私的方法无法去除非遮盖区域的身份信息，且很可能会遗失遮盖区域包含的病例特征信息，导致难以在不影响医生诊断的前提下保护眼科患者的隐私的技术问题。
本发明的第一实施例一种保护眼科患者隐私的方法，包括：
采集眼科患者的检查视频；
提取所述检查视频中每一帧图像的图像特征，根据所述图像特征中的器官位置信息对每一帧所述图像进行区域划分，并根据区域划分结果得到待精密重建区域和待弱化重建区域；
对所述待精密重建区域和所述待弱化重建区域进行三维重建，得到每一帧所述图像对应的三维重建数据；
将所有所述三维重建数据渲染成三维重建视频。
进一步的，所述采集眼科患者的检查视频，包括：
在预设检查距离处采集斜视患者的交替遮盖试验视频和二方位检查视频；
采集甲状腺相关性眼病患者的九方位检查视频；
根据眼球震颤患者的年龄段选择相应的检查距离，根据所述检查距离采集所述眼球震颤患者的注视过程视频；
采集上睑下垂患者的肌力检查视频。
进一步的，所述对所述待精密重建区域和所述待弱化重建区域进行三维重建，得到每一帧所述图像对应的三维重建数据，具体为：
根据所述图像特征中的离散特征构建离散约束项，以及根据所述图像特征中的连续特征构建连续约束项，结合所述离线约束项和所述连续约束项组成一个非线性优化问题；
通过求解所述非线性优化问题确定三维重建模型的参数；
在所述参数中求解出用于重建所述待精密重建区域的第一参数，在所述参数中求解出用于重建所述待弱化重建区域的第二参数；
根据所述三维重建模型的基、所述第一参数和所述第二参数进行矩阵向量运算，得到每一帧所述图像对应的三维重建数据。
进一步的，所述对所述待精密重建区域和所述待弱化重建区域进行三维重建，得到每一帧所述图像对应的三维重建数据，还包括:
采用预先训练好的神经网络对所述检查视频中的每一帧图像进行遮挡检测，得到每一帧所述图像的遮挡检测结果；
在所述遮挡检测结果为双侧遮挡时，将上一帧的三维重建数据作为当前帧的三维重建数据。
进一步的，所述对所述待精密重建区域和所述待弱化重建区域进行三维重建，得到每一帧所述图像对应的三维重建数据，还包括：
采用变形转移技术将眉毛区域的变形状态从面部模型中转移到所述三维重建数据中。
进一步的，所述将所述三维重建数据渲染成三维重建视频，具体为：
在预设条件下，将每一帧图像的三维重建数据渲染为对应的二维图像，将所述二维图像进行图像合成处理得到三维重建视频。
进一步的，所述预设条件包括预先设置的虚拟相机和光照环境。
本发明的第二实施例提供了一种眼科患者的隐私保护装置，包括：
视频采集模块，用于采集眼科患者的检查视频；
区域划分模块，用于提取所述检查视频中每一帧图像的图像特征，根据所述图像特征中的器官位置信息对每一帧所述图像进行区域划分，并根据区域划分结果得到待精密重建区域和待弱化重建区域；
区域重建模块，用于对所述待精密重建区域和所述待弱化重建区域进行三维重建，得到每一帧所述图像对应的三维重建数据；
数据渲染模块，用于将所有所述三维重建数据渲染成三维重建视频。
本发明的第三实施例提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述的保护眼科患者隐私的方法。
本发明实施例根据该位置信息将每一帧图像都划分为多个图像区域，再结合眼科患者所患疾病所需的病例特征，在图像区域中得到待精密重建区域和待弱化重建区域，以使得后续根据待精密重建区域和待弱化重建区域进行不同精度的三维人脸重建时，能够在保留眼科患者大部分病例特征的同时，掩盖眼科患者的大部分身份特征，从而能够在不影响医生诊断的前提下保护眼科患者的隐私。
附图说明
图1是本发明实施例提供的一种保护眼科患者隐私的方法的流程示意图；
图2是本发明实施例提供的一种保护眼科患者隐私的装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。
请参阅图1，在本发明的第一实施例中，提供了一种保护眼科患者隐私的方法，包括：
S1、采集眼科患者的检查视频；
在本发明实施例中，眼科患者包括斜视患者、甲状腺相关性眼病患者、眼球震颤患者和上睑下垂患者等。检查视频可以在通过摄像装置在对患者进行病理特征的采集时获得，其中检查视频通常为彩色视频，且该检查视频包含了病理特征以及人脸非病理特征。
S2、提取检查视频中每一帧图像的图像特征，根据图像特征中的器官位置信息对每一帧图像进行区域划分，并根据区域划分结果得到待精密重建区域和待弱化重建区域；
在本发明实施例中通过预先训练好的神经网络自动提取每一帧图像中的图像特征，该图像特征中包含了人脸各个器官的位置信息，比如眼睛的位置信息、眉毛的位置信息、鼻子的位置信息和嘴巴的位置信息等。本发明实施例根据该位置信息将每一帧图像都划分为多个图像区域，再结合眼科患者所患疾病所需的病例特征，在图像区域中得到待精密重建区域和待弱化重建区域，需要说明的是，待重建区域包含了诊断眼科疾病的主要病理特征，主要为包含了眼球与眼皮的形态及运动特征。而待弱化重建区域包含的则是与眼科疾病不相关的特征以及与眼科疾病相关性不大的身份特征，例如鼻子和嘴巴。本发明实施例根据区域划分结果得到待精密重建区域和待弱化重建区域，以使得后续根据待精密重建区域和待弱化重建区域进行不同精度的三维人脸重建时，能够在保留眼科患者大部分病例特征的同时，掩盖眼科患者的大部分身份特征，从而能够在不影响医生诊断的前提下保护眼科患者的隐私。
S3、对待精密重建区域和待弱化重建区域进行三维重建，得到每一帧图像对应的三维重建数据；
在本发明实施例中，在三维重建时，对于待精密重建区域，求解较高精度的三维重建模型的参数；对待弱化重建区域，求解较低精度的三维重建模型的参数；将三维形变模型的基与求解得到的参数进行矩阵向量运算，输出每一帧图像的三维重建数据。
S4、将所有三维重建数据渲染成三维重建视频。
在本发明实施例中，可通过渲染器将三维重建数据渲染成三维重建视频以供医生做诊断。在整个视频重建过程中，医生并不能看到该检查视频，只能看到渲染得到的三维重建视频，即在此过程中患者的与大部分人脸特征以及姓名信息等均不会被医生看到，从而能够有效保护眼科患者的隐私。
在一个实施例中，采集眼科患者的检查视频，包括：
在预设检查距离处采集斜视患者的交替遮盖试验视频和二方位检查视频；
采集甲状腺相关性眼病患者的九方位检查视频；
根据眼球震颤患者的年龄段选择相应的检查距离，根据检查距离采集眼球震颤患者的注视过程视频；
采集上睑下垂患者的肌力检查视频。
在本发明实施例中，采集检查视频的设备可以为照相机、摄像机和移动终端的至少一种，且采集的检查视频均为彩色视频，以提高特征提取的准确性。
在一个实施例中，对待精密重建区域和待弱化重建区域进行三维重建，得到每一帧图像对应的三维重建数据，具体为：
根据图像特征中的离散特征构建离散约束项，以及根据图像特征中的连续特征构建连续约束项，结合离线约束项和连续约束项组成一个非线性优化问题；
通过求解非线性优化问题确定三维重建模型的参数；该参数具体包括一组形状参数和一组运动参数。
在参数中求解出用于重建待精密重建区域的第一参数，在参数中求解出用于重建待弱化重建区域的第二参数；
在本发明实施例中，第一参数为精度相对较高的参数，第二参数为精度相对较低的参数。第一参数用于对待精密重建区域进行精密重建，第二参数用于对待弱化重建区域进行弱化重建。
根据三维重建模型的基、第一参数和第二参数进行矩阵向量运算，得到每一帧图像对应的三维重建数据。
在一个实施例中，对待精密重建区域和待弱化重建区域进行三维重建，得到每一帧图像对应的三维重建数据，还包括:
采用预先训练好的神经网络对检查视频中的每一帧图像进行遮挡检测，得到每一帧图像的遮挡检测结果；
在一种具体的实施方式中，遮挡检测结果包括四类，分别为：左侧遮挡、右侧遮挡、双侧遮挡和无遮挡。
在遮挡检测结果为双侧遮挡时，将上一帧的三维重建数据作为当前帧的三维重建数据。
当检测到图像存在双侧遮挡的情况时，为避免不可靠的图像特征造成的错误重建，将上一帧的三维重建数据作为当前帧的三维重建数据，例如，在斜视的交替遮盖试验中，双侧遮挡的情况下眼部区域会被遮挡住，然而被遮挡区域的图像特征是不可靠的。
在一个实施例中，对待精密重建区域和待弱化重建区域进行三维重建，得到每一帧图像对应的三维重建数据，还包括：
采用变形转移技术将眉毛区域的变形状态从面部模型中转移到三维重建数据中。
当眼科患者患有甲状腺相关眼病时，在甲状腺相关眼病的九方位检查中，眉毛的运动有利于甲状腺相关眼病的诊断，本发明实施例采用变形转移技术将眉毛区域的变形状态从面部模型中转移到最终的三维重建数据中，能够有效保留甲状腺相关眼病的病例特征，能够在保护患者的隐私同时不影响医生的诊断。
在一个实施例中，将三维重建数据渲染成三维重建视频，具体为：
在预设条件下，将每一帧图像的三维重建数据渲染为对应的二维图像，将二维图像进行图像合成处理得到三维重建视频。
在一个实施例中，预设条件包括预先设置的虚拟相机和光照环境。
实施本发明实施例，具有以下有益效果：
优点1：本发明实施例能够在保留大部分的病理特征的同时，只保留极少部分的身份特征，从而在不影响医生的诊断的同时，有效地保护了眼科患者的隐私。通过临床医生测试，本发明实施例在四种常见涉及眼外观的眼科疾病中表现良好，可以满足日常诊断需求，包括上睑下垂、眼球震颤、斜视、甲状腺相关性眼病；区别于传统照片遮盖、裁剪的方式，本发明实施例最终得到的三维重建视频无法被患者亲友识别出患者的个人身份，同时也无法通过本发明实施例最终得到的三维重建视频重新还原原始面部影像，进一步保护了患者的隐私；
优点2：本发明实施例对设备要求简单，只需要用输入单视角的彩色视频，不需要深度相机或是多视角彩色相机阵列；
优点3：区别于传统二维平面图像处理，本发明实施例的三维重建视频能够保留更多的疾病特征；
优点4：经过统计学分析显示本发明实施例能有效提高患者配合收集眼部外观影像信息的意愿，从而利于医疗档案完善，实现病情长期跟踪随访；
优点5：医疗面部影像信息既往为非结构化数据，经过本发明实施例数字化处理后得到的三维重建视频，利于医疗信息的标准化和结构化统一，利于临床研究及新型医学人工智能系统的开发。
请参阅图2，本发明的一个实施例提供了一种眼科患者的隐私保护装置，包括：
视频采集模块10，用于采集眼科患者的检查视频；
区域划分模块20，用于提取检查视频中每一帧图像的图像特征，根据图像特征中的器官位置信息对每一帧图像进行区域划分，并根据区域划分结果得到待精密重建区域和待弱化重建区域；
三维重建模块30，用于对待精密重建区域和待弱化重建区域进行三维重建，得到每一帧图像对应的三维重建数据；
数据渲染模块40，用于将所有三维重建数据渲染成三维重建视频。
进一步的，视频采集模块10，具体用于：
在预设检查距离处采集斜视患者的交替遮盖试验视频和二方位检查视频；
采集甲状腺相关性眼病患者的九方位检查视频；
根据眼球震颤患者的年龄段选择相应的检查距离，根据检查距离采集眼球震颤患者的注视过程视频；
采集上睑下垂患者的肌力检查视频。
进一步的，三维重建模块30，具体用于：
根据图像特征中的离散特征构建离散约束项，以及根据图像特征中的连续特征构建连续约束项，结合离线约束项和连续约束项组成一个非线性优化问题；
通过求解非线性优化问题确定三维重建模型的参数；
在参数中求解出用于重建待精密重建区域的第一参数，在参数中求解出用于重建待弱化重建区域的第二参数；
根据三维重建模型的基、第一参数和第二参数进行矩阵向量运算，得到每一帧图像对应的三维重建数据。
进一步的，三维重建模块30，还用于:
采用预先训练好的神经网络对检查视频中的每一帧图像进行遮挡检测，得到每一帧图像的遮挡检测结果；
在遮挡检测结果为双侧遮挡时，将上一帧的三维重建数据作为当前帧的三维重建数据。
进一步的，三维重建模块30，还用于：
采用变形转移技术将眉毛区域的变形状态从面部模型中转移到三维重建数据中。
进一步的，数据渲染模块40，具体用于：
在预设条件下，将每一帧图像的三维重建数据渲染为对应的二维图像，将二维图像进行图像合成处理得到三维重建视频。
进一步的，预设条件包括预先设置的虚拟相机和光照环境。
本发明的一个实施例提供了一种计算机可读存储介质，计算机可读存储介质包括存储的计算机程序，其中，在计算机程序运行时控制计算机可读存储介质所在设备执行如上述的保护眼科患者隐私的方法。
以上是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (9)

1.一种保护眼科患者隐私的方法，其特征在于，包括：
采集眼科患者的检查视频；
提取所述检查视频中每一帧图像的图像特征，根据所述图像特征中的器官位置信息对每一帧所述图像进行区域划分，并根据区域划分结果得到待精密重建区域和待弱化重建区域；所述根据所述图像特征中的器官位置信息对每一帧所述图像进行区域划分，并根据区域划分结果得到待精密重建区域和待弱化重建区域包括：根据所述图像特征中的器官位置信息将每一帧图像划分为多个图像区域，结合眼科患者所患疾病所需的病例特征，在所述图像区域中得到待精密重建区域和待弱化重建区域；
对所述待精密重建区域和所述待弱化重建区域进行三维重建，得到每一帧所述图像对应的三维重建数据；
将所有所述三维重建数据渲染成三维重建视频。
2.如权利要求1所述的保护眼科患者隐私的方法，其特征在于，所述采集眼科患者的检查视频，包括：
在预设检查距离处采集斜视患者的交替遮盖试验视频和二方位检查视频；
采集甲状腺相关性眼病患者的九方位检查视频；
根据眼球震颤患者的年龄段选择相应的检查距离，根据所述检查距离采集所述眼球震颤患者的注视过程视频；
采集上睑下垂患者的肌力检查视频。
3.如权利要求1所述的保护眼科患者隐私的方法，其特征在于，所述对所述待精密重建区域和所述待弱化重建区域进行三维重建，得到每一帧所述图像对应的三维重建数据，具体为：
根据所述图像特征中的离散特征构建离散约束项，以及根据所述图像特征中的连续特征构建连续约束项，结合所述离散约束项和所述连续约束项组成一个非线性优化问题；
通过求解所述非线性优化问题确定三维重建模型的参数；
在所述参数中求解出用于重建所述待精密重建区域的第一参数，在所述参数中求解出用于重建所述待弱化重建区域的第二参数；
根据所述三维重建模型的基、所述第一参数和所述第二参数进行矩阵向量运算，得到每一帧所述图像对应的三维重建数据。
4.如权利要求1所述的保护眼科患者隐私的方法，其特征在于，所述对所述待精密重建区域和所述待弱化重建区域进行三维重建，得到每一帧所述图像对应的三维重建数据，还包括:
采用预先训练好的神经网络对所述检查视频中的每一帧图像进行遮挡检测，得到每一帧所述图像的遮挡检测结果；
在所述遮挡检测结果为双侧遮挡时，将上一帧的三维重建数据作为当前帧的三维重建数据。
5.如权利要求1所述的保护眼科患者隐私的方法，其特征在于，所述对所述待精密重建区域和所述待弱化重建区域进行三维重建，得到每一帧所述图像对应的三维重建数据，还包括：
采用变形转移技术将眉毛区域的变形状态从面部模型中转移到所述三维重建数据中。
6.如权利要求1所述的保护眼科患者隐私的方法，其特征在于，所述将所有所述三维重建数据渲染成三维重建视频，具体为：
在预设条件下，将每一帧图像的三维重建数据渲染为对应的二维图像，将所述二维图像进行图像合成处理得到三维重建视频。
7.如权利要求6所述的保护眼科患者隐私的方法，其特征在于，所述预设条件包括预先设置的虚拟相机和光照环境。
8.一种眼科患者的隐私保护装置，其特征在于，包括：
视频采集模块，用于采集眼科患者的检查视频；
区域划分模块，用于提取所述检查视频中每一帧图像的图像特征，根据所述图像特征中的器官位置信息对每一帧所述图像进行区域划分，并根据区域划分结果得到待精密重建区域和待弱化重建区域；具体用于：根据所述图像特征中的器官位置信息将每一帧图像划分为多个图像区域，结合眼科患者所患疾病所需的病例特征，在所述图像区域中得到待精密重建区域和待弱化重建区域；
区域重建模块，用于对所述待精密重建区域和所述待弱化重建区域进行三维重建，得到每一帧所述图像对应的三维重建数据；
数据渲染模块，用于将所有所述三维重建数据渲染成三维重建视频。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至7中任意一项所述的保护眼科患者隐私的方法。
CN202111031513.5A 2021-09-03 2021-09-03 一种保护眼科患者隐私的方法、装置及存储介质 Active CN113887311B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202111031513.5A CN113887311B (zh) 2021-09-03 2021-09-03 一种保护眼科患者隐私的方法、装置及存储介质
JP2021196269A JP7164693B1 (ja) 2021-09-03 2021-12-02 眼科患者のプライバシーを保護する方法、装置及び記憶媒体
US17/548,486 US20230076853A1 (en) 2021-09-03 2021-12-10 Method and apparatus for protecting privacy of ophthalmic patient and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111031513.5A CN113887311B (zh) 2021-09-03 2021-09-03 一种保护眼科患者隐私的方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN113887311A CN113887311A (zh) 2022-01-04
CN113887311B true CN113887311B (zh) 2023-05-02

Family

ID=79012197

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111031513.5A Active CN113887311B (zh) 2021-09-03 2021-09-03 一种保护眼科患者隐私的方法、装置及存储介质

Country Status (3)

Country Link
US (1) US20230076853A1 (zh)
JP (1) JP7164693B1 (zh)
CN (1) CN113887311B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203154060U (zh) * 2013-02-04 2013-08-28 中山大学中山眼科中心 一种泪道探查及治疗装置
CN108806779A (zh) * 2018-08-09 2018-11-13 南通大学 基于区块链的混合式数字眼底图像记录与分享系统

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112015006003A2 (pt) * 2012-09-21 2017-07-04 Koninklijke Philips Nv dispositivo e método de processamento de dados deriváveis de radiação eletromagnética detectada remotamente, e, programa de computador
MA41117A (fr) * 2014-12-05 2017-10-10 Myfiziq Ltd Imagerie d'un corps
US20210335483A1 (en) * 2015-03-17 2021-10-28 Raytrx, Llc Surgery visualization theatre
US10149958B1 (en) * 2015-07-17 2018-12-11 Bao Tran Systems and methods for computer assisted operation
ITUB20152522A1 (it) * 2015-07-27 2017-01-27 Linkverse S R L Apparato e metodo per la rilevazione, quantificazione e classificazione di lesioni epidermiche
JP6211125B2 (ja) * 2016-03-31 2017-10-11 株式会社Ｍｅｄｉ Ｐｌｕｓ 画像処理システム
US10217275B2 (en) * 2016-07-07 2019-02-26 Disney Enterprises, Inc. Methods and systems of performing eye reconstruction using a parametric model
EP3520083A4 (en) * 2016-09-30 2020-05-06 University Hospitals Cleveland Medical Center APPARATUS AND METHOD FOR CONSTRUCTING A VIRTUAL 3D MODEL FROM 2D ULTRASOUND VIDEO
KR102564479B1 (ko) * 2016-11-22 2023-08-07 삼성전자주식회사 사용자의 눈을 위한 3d 렌더링 방법 및 장치
US20180360655A1 (en) * 2017-06-16 2018-12-20 Michael S. Berlin Methods and systems for oct guided glaucoma surgery
US10679740B2 (en) * 2018-06-12 2020-06-09 The Chinese University Of Hong Kong System and method for patient privacy protection in medical images
WO2020210728A1 (en) * 2019-04-12 2020-10-15 California Institute Of Technology Systems, methods, and apparatuses for ocular measurements
US11217345B2 (en) * 2019-05-22 2022-01-04 Mocxa Health Private Limited Anonymization of audio-visual medical data
US10929669B2 (en) * 2019-06-04 2021-02-23 Magentiq Eye Ltd Systems and methods for processing colon images and videos
CN110910514A (zh) * 2019-11-27 2020-03-24 苏州六莲科技有限公司 一种保护患者隐私的方法、装置及存储介质
CN111159751A (zh) * 2019-12-03 2020-05-15 深圳博脑医疗科技有限公司 三维影像的去隐私化处理方法、装置和终端设备
CN111179157B (zh) * 2019-12-30 2023-09-05 东软集团股份有限公司 医学影像中面部区域的处理方法、装置及相关产品
CN111899879A (zh) * 2020-07-31 2020-11-06 罗雄彪 一种眼表疾病自动筛查方法与系统、区块链
CN112043383B (zh) * 2020-09-30 2022-07-15 复旦大学附属眼耳鼻喉科医院 一种眼科手术导航系统及电子设备
US10956735B1 (en) * 2020-10-20 2021-03-23 Vrishab Krishna System and method for determining a refractive error from red reflex images of eyes
US20230419629A1 (en) * 2020-12-10 2023-12-28 Intel Corporation Method and system of image processing with increased subjective quality 3d reconstruction

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203154060U (zh) * 2013-02-04 2013-08-28 中山大学中山眼科中心 一种泪道探查及治疗装置
CN108806779A (zh) * 2018-08-09 2018-11-13 南通大学 基于区块链的混合式数字眼底图像记录与分享系统

Also Published As

Publication number Publication date
JP2023037550A (ja) 2023-03-15
CN113887311A (zh) 2022-01-04
JP7164693B1 (ja) 2022-11-01
US20230076853A1 (en) 2023-03-09

Similar Documents

Publication Publication Date Title
Garbin et al. Openeds: Open eye dataset
EP3373798B1 (en) Method and system for classifying optic nerve head
Li et al. Automatic cataract diagnosis by image-based interpretability
CN111310851A (zh) 一种人工智能超声辅助系统及其应用
US11699529B2 (en) Systems and methods for diagnosing a stroke condition
CN106530295A (zh) 一种视网膜病变的眼底图像分类方法和装置
CN113962311A (zh) 知识数据和人工智能驱动的眼科多病种识别系统
CN112017185B (zh) 病灶分割方法、装置及存储介质
KR101953752B1 (ko) 심층 신경망을 이용하여 영상의 분류 및 국소화를 수행하는 방법 및 이를 이용한 장치
CN111785363A (zh) 一种基于ai引导的慢性病辅助诊断系统
CN110246109A (zh) 融合ct影像和个性化信息的分析系统、方法、装置及介质
CN109658400A (zh) 一种基于头颅ct影像的评分方法及系统
KR102222509B1 (ko) 의료 영상에 관한 판단을 보조하는 방법 및 이를 이용한 장치
CN111445575B (zh) 威利斯环的图像重建方法、装置、电子设备、存储介质
KR20190112493A (ko) 안저 촬영기를 제어하는 방법 및 이를 이용한 장치
Giancardo Automated fundus images analysis techniques to screen retinal diseases in diabetic patients
CN111938567B (zh) 基于深度学习的眼科参数测量方法、系统及设备
CN116665281B (zh) 一种基于医患交互的关键情绪提取方法
CN113887311B (zh) 一种保护眼科患者隐私的方法、装置及存储介质
WO2020203015A1 (ja) 重症化推定システム
Zhou Design of intelligent diagnosis and treatment system for ophthalmic diseases based on deep neural network model
CN112885435A (zh) 图像目标区域的确定方法、装置和系统
Pawar et al. Analysis of Ocular Disease Using Multiple Information Domains
Ghorbani et al. Toward Keratoconus Diagnosis: Dataset Creation and AI Network Examination
CN117522770A (zh) 基于图像的特征性眼睛移动的检测

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant