JP2023037550A - 眼科患者のプライバシーを保護する方法、装置及び記憶媒体 - Google Patents
眼科患者のプライバシーを保護する方法、装置及び記憶媒体 Download PDFInfo
- Publication number
- JP2023037550A JP2023037550A JP2021196269A JP2021196269A JP2023037550A JP 2023037550 A JP2023037550 A JP 2023037550A JP 2021196269 A JP2021196269 A JP 2021196269A JP 2021196269 A JP2021196269 A JP 2021196269A JP 2023037550 A JP2023037550 A JP 2023037550A
- Authority
- JP
- Japan
- Prior art keywords
- reconstruction
- image
- frame
- video
- target area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000009877 rendering Methods 0.000 claims abstract description 15
- 210000000056 organ Anatomy 0.000 claims abstract description 8
- 238000012360 testing method Methods 0.000 claims description 19
- 230000011218 segmentation Effects 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 13
- 238000007689 inspection Methods 0.000 claims description 11
- 206010029864 nystagmus Diseases 0.000 claims description 10
- 210000001685 thyroid gland Anatomy 0.000 claims description 10
- 230000002146 bilateral effect Effects 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 8
- 210000004709 eyebrow Anatomy 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 238000012546 transfer Methods 0.000 claims description 7
- 206010015995 Eyelid ptosis Diseases 0.000 claims description 6
- 208000004350 Strabismus Diseases 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 201000003004 ptosis Diseases 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 5
- 210000003205 muscle Anatomy 0.000 claims description 4
- 230000001575 pathological effect Effects 0.000 abstract description 13
- 238000003745 diagnosis Methods 0.000 abstract description 7
- 230000000694 effects Effects 0.000 abstract 1
- 230000000875 corresponding effect Effects 0.000 description 19
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 8
- 201000010099 disease Diseases 0.000 description 7
- 230000001815 facial effect Effects 0.000 description 5
- 239000003814 drug Substances 0.000 description 4
- 210000001508 eye Anatomy 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 208000004130 Blepharoptosis Diseases 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000000968 medical method and process Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 208000030533 eye disease Diseases 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Primary Health Care (AREA)
- Data Mining & Analysis (AREA)
- Epidemiology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Bioethics (AREA)
- Databases & Information Systems (AREA)
- Computer Graphics (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Geometry (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Eye Examination Apparatus (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
【課題】眼科患者のプライバシーを保護する方法、装置及び記憶媒体を提供する。【解決手段】眼科患者の検査ビデオを収集することと、検査ビデオ中の各フレームの画像の画像特徴を抽出して、画像特徴における器官位置情報に基づいて、各フレームの画像に対して領域分割を行い、領域分割の結果に基づいて精密再構成対象領域とぼかし再構成対象領域を得ることと、精密再構成対象領域とぼかし再構成対象領域に対して３次元再構成を行い、各フレームの画像に対応する３次元再構成データを得ることと、全ての３次元再構成データを３次元再構成ビデオにレンダリングすることとを含む。【効果】眼科患者の大部分の病理学的特徴を保留しながら、眼科患者の大部分のアイデンティティ特徴を遮蔽することができ、医師による診断に影響せずに眼科患者のプライバシーを保護することができる。【選択図】図１
Description
本発明は、コンピュータグラフィックスの技術分野に関し、特に、眼科患者のプライバシーを保護する方法、装置及び記憶媒体に関する。
デジタル化が盛んになるにつれ、デジタル医療が人々の視野に入りつつある。デジタル医療とは、情報技術を医療プロセス全体に適用する新しい現代的な医療方法を指す。しかし、デジタル医療が推進される中で、いくつかのリスクや課題にも直面している。その中で、どのように患者のプライバシーをよく保護するかはデジタル医療の早急に解決すべき問題となっている。顔情報は、疾患の徴候をデジタル的に記録すると同時に、敏感な生体識別情報を保留することは避けられず、どのように技術的に両者を正確に分離するかは、現在、顔のプライバシー保護の重大な技術的な難点である。
従来の眼科患者のプライバシーを保護する方法は、主に遮蔽処理のような手段によってアイデンティティ情報を含む画像を処理するが、この方法は、非遮蔽領域のアイデンティティ情報を除去することができず、しかも遮蔽領域に含まれる病理学的特徴情報を失う可能性が高く、そのため、医師による診断に影響せずに眼科患者のプライバシーを保護することが困難になる。
本発明は、従来の眼科患者のプライバシーを保護する方法では、非遮蔽領域におけるアイデンティティ情報を除去できず、しかも遮蔽領域に含まれる病理学的特徴情報を失い、医師による診断に影響せずに眼科患者のプライバシーを保護できないという技術的課題を解決するために、眼科患者のプライバシーを保護する方法、装置及び記憶媒体を提供する。
本発明の第１の実施例は、
眼科患者の検査ビデオを収集することと、
前記検査ビデオ中の各フレームの画像の画像特徴を抽出して、前記画像特徴における器官位置情報に基づいて各フレームの前記画像に対して領域分割を行い、領域分割の結果に基づいて精密再構成対象領域とぼかし再構成対象領域を得ることと、
前記精密再構成対象領域と前記ぼかし再構成対象領域に対して３次元再構成を行い、各フレームの前記画像に対応する３次元再構成データを得ることと、
全ての前記３次元再構成データを３次元再構成ビデオにレンダリングすることと、を含む眼科患者のプライバシーを保護する方法である。
眼科患者の検査ビデオを収集することと、
前記検査ビデオ中の各フレームの画像の画像特徴を抽出して、前記画像特徴における器官位置情報に基づいて各フレームの前記画像に対して領域分割を行い、領域分割の結果に基づいて精密再構成対象領域とぼかし再構成対象領域を得ることと、
前記精密再構成対象領域と前記ぼかし再構成対象領域に対して３次元再構成を行い、各フレームの前記画像に対応する３次元再構成データを得ることと、
全ての前記３次元再構成データを３次元再構成ビデオにレンダリングすることと、を含む眼科患者のプライバシーを保護する方法である。
さらに、前記眼科患者の検査ビデオを収集することとは、
予め設定された検査距離で斜視患者の交互遮蔽試験ビデオと二方位検査ビデオを収集することと、
甲状腺関連眼症患者の９方位検査ビデオを収集することと、
眼振患者の年齢範囲に応じて選択された対応する検査距離に基づいて前記眼振患者の注視過程ビデオを収集することと、
上眼瞼下垂患者の筋力検査ビデオを収集することと、を含む。
予め設定された検査距離で斜視患者の交互遮蔽試験ビデオと二方位検査ビデオを収集することと、
甲状腺関連眼症患者の９方位検査ビデオを収集することと、
眼振患者の年齢範囲に応じて選択された対応する検査距離に基づいて前記眼振患者の注視過程ビデオを収集することと、
上眼瞼下垂患者の筋力検査ビデオを収集することと、を含む。
さらに、前記精密再構成対象領域と前記ぼかし再構成対象領域に対して３次元再構成を行い、各フレームの前記画像に対応する３次元再構成データを得ることとは、具体的には、
前記画像特徴における離散特徴に基づいて離散制約項を構成するとともに、前記画像特徴における連続特徴に基づいて連続制約項を構成し、前記離散制約項と前記連続制約項とを合わせて非線形最適化問題を構成し、
前記非線形最適化問題の解を求めることによって３次元再構成モデルのパラメータを確定し、
前記パラメータのうち、前記精密再構成対象領域を再構成するための第１のパラメータを求め、前記パラメータのうち、前記ぼかし再構成対象領域を再構成するための第２のパラメータを求め、
前記３次元再構成モデルのベース、前記第１のパラメータ及び記第２のパラメータに基づいて行列とベクトルの演算を行い、各フレームの前記画像に対応する３次元再構成データを得ることである。
前記画像特徴における離散特徴に基づいて離散制約項を構成するとともに、前記画像特徴における連続特徴に基づいて連続制約項を構成し、前記離散制約項と前記連続制約項とを合わせて非線形最適化問題を構成し、
前記非線形最適化問題の解を求めることによって３次元再構成モデルのパラメータを確定し、
前記パラメータのうち、前記精密再構成対象領域を再構成するための第１のパラメータを求め、前記パラメータのうち、前記ぼかし再構成対象領域を再構成するための第２のパラメータを求め、
前記３次元再構成モデルのベース、前記第１のパラメータ及び記第２のパラメータに基づいて行列とベクトルの演算を行い、各フレームの前記画像に対応する３次元再構成データを得ることである。
さらに、前記精密再構成対象領域と前記ぼかし再構成対象領域に対して３次元再構成を行い、各フレームの前記画像に対応する３次元再構成データを得ることとは、さらに、
事前訓練済みのニューラルネットワークを用いて前記検査ビデオ中の各フレームの画像に対して遮蔽検出を行い、各フレームの前記画像の遮蔽検出結果を得ることと、
前記遮蔽検出結果が両側遮蔽である場合、前のフレームの３次元再構成データを現在のフレームの３次元再構成データとすることと、を含む。
事前訓練済みのニューラルネットワークを用いて前記検査ビデオ中の各フレームの画像に対して遮蔽検出を行い、各フレームの前記画像の遮蔽検出結果を得ることと、
前記遮蔽検出結果が両側遮蔽である場合、前のフレームの３次元再構成データを現在のフレームの３次元再構成データとすることと、を含む。
さらに、前記精密再構成対象領域と前記ぼかし再構成対象領域に対して３次元再構成を行い、各フレームの前記画像に対応する３次元再構成データを得る前記こととは、
変形転移技術を用いて眉領域の変形状態を顔モデルから前記３次元再構成データに転移することをさらに含む。
変形転移技術を用いて眉領域の変形状態を顔モデルから前記３次元再構成データに転移することをさらに含む。
さらに、前記３次元再構成データを３次元再構成ビデオにレンダリングする前記こととは、具体的には
予め設定された条件で、各フレームの画像の３次元再構成データを対応する２次元画像レンダリングし、前記２次元画像に対して画像合成処理を行って３次元再構成ビデオを得ることである。
予め設定された条件で、各フレームの画像の３次元再構成データを対応する２次元画像レンダリングし、前記２次元画像に対して画像合成処理を行って３次元再構成ビデオを得ることである。
さらに、前記予め設定された条件は、予め設定された仮想カメラ及び光照射環境を含む。
本発明の第２の実施例は、
眼科患者の検査ビデオを収集するビデオ収集モジュールと、
前記検査ビデオ中の各フレームの画像の画像特徴を抽出して、前記画像特徴における器官位置情報に基づいて各フレームの前記画像に対して領域分割を行い、領域分割の結果に基づいて精密再構成対象領域とぼかし再構成対象領域を得る領域分割モジュールと、
前記精密再構成対象領域と前記ぼかし再構成対象領域に対して３次元再構成を行い、各フレームの前記画像に対応する３次元再構成データを得る３次元再構成モジュールと、
全ての前記３次元再構成データを３次元再構成ビデオにレンダリングするデータレンダリングモジュールとを含む、眼科患者のプライバシー保護装置を提供する。
眼科患者の検査ビデオを収集するビデオ収集モジュールと、
前記検査ビデオ中の各フレームの画像の画像特徴を抽出して、前記画像特徴における器官位置情報に基づいて各フレームの前記画像に対して領域分割を行い、領域分割の結果に基づいて精密再構成対象領域とぼかし再構成対象領域を得る領域分割モジュールと、
前記精密再構成対象領域と前記ぼかし再構成対象領域に対して３次元再構成を行い、各フレームの前記画像に対応する３次元再構成データを得る３次元再構成モジュールと、
全ての前記３次元再構成データを３次元再構成ビデオにレンダリングするデータレンダリングモジュールとを含む、眼科患者のプライバシー保護装置を提供する。
本発明の第３の実施例は、記憶されたコンピュータプログラムを含み、前記コンピュータプログラムの実行際に、前記コンピュータ読み取り可能な記憶媒体が位置する機器を上述の眼科患者のプライバシーを保護する方法を実行するように制御するコンピュータ読み取り可能な記憶媒体を提供する。
本発明の実施例では、上記位置情報に基づいて各フレームの画像を複数の画像領域に分割し、さらに眼科患者が罹患した疾患に必要な病理学的特徴と組み合わせて、画像領域のうち精密再構成対象領域とぼかし再構成対象領域を得て、これにより、後で精密再構成対象領域とぼかし再構成対象領域に基づいて様々な精度の３Ｄ顔再構成を行うにあたり、眼科患者の大部分の病理学的特徴を保留しながら、眼科患者の大部分のアイデンティティ特徴を遮蔽することができ、医師による診断に影響せずに眼科患者のプライバシーを保護することができる。
以下、本出願の実施例における図面を参照しながら、本出願の実施例の技術的解決手段を明確かつ完全に説明するが、説明する実施例は本出願の実施例の一部に過ぎず、全ての実施例ではない。当業者が本出願の実施例に基づいて創造的な努力をせずに得る他の全ての実施例は、いずれも本出願の特許範囲に属する。
なお、本出願の説明において、「第１」、「第２」などの用語は説明するためのものに過ぎず、相対的な重要性を指示又は示唆するか、又はかかる技術的特徴の数を暗示的に示すものとして理解することはできない。そのため、「第１の」、「第２の」で限定される特徴は、１つ又は複数の該特徴を明示的又は暗示的に含めてもよい。本出願の説明において、特に断らない限り、「複数」とは、２つ又は２つ以上を意味する。
なお、本出願の説明において、特に明確な規定や限定がない限り、「取り付ける」、「連結」、「接続」などの用語は広義に理解すべきであり、例えば、固定的に接続されてもよいし、取り外し可能に接続されてもよく、一体的に接続されてもよい。機械的に接続されてもよいし、電気的に接続されてもよい。直接連結してもよいし、中間媒体を介して連結してもよく、２つの構成部品の内部が連通してもよい。当業者であれば、具体的な状況に応じて上述用語の本出願での具体的な意味を理解できる。
図１を参照すると、本発明の第１の実施例では、ステップＳ１～Ｓ４を含む眼科患者のプライバシーを保護する方法を提供する。
Ｓ１．眼科患者の検査ビデオを収集する。
本発明の実施例では、眼科患者は、斜視患者、甲状腺関連眼症患者、眼振患者や上眼瞼下垂患者などを含む。検査ビデオは、撮影装置により患者の病理学的特徴を収集する際に得られてもよく、ここで、検査ビデオは、通常カラービデオであり、且つ病理学的特徴及び顔の非病理学的特徴を含む。
本発明の実施例では、眼科患者は、斜視患者、甲状腺関連眼症患者、眼振患者や上眼瞼下垂患者などを含む。検査ビデオは、撮影装置により患者の病理学的特徴を収集する際に得られてもよく、ここで、検査ビデオは、通常カラービデオであり、且つ病理学的特徴及び顔の非病理学的特徴を含む。
Ｓ２．検査ビデオ中の各フレームの画像の画像特徴を抽出して、画像特徴における器官位置情報に基づいて、各フレームの画像に対して領域分割を行い、かつ、領域分割の結果に基づいて精密再構成対象領域とぼかし再構成対象領域を得る。
本発明の実施例では、事前訓練済みのニューラルネットワークによって各フレームの画像における、眼の位置情報、眉の位置情報、鼻の位置情報及び口の位置情報などのような顔における各器官の位置情報を含む画像特徴を自動的に抽出する。本発明の実施例では、上記位置情報に基づいて各フレームの画像を複数の画像領域に分割して、さらに眼科患者が罹患した疾患に必要な病理学的特徴と組み合わせて、画像領域のうち精密再構成対象領域とぼかし再構成対象領域を得る。なお、精密再構成対象領域は、眼科疾患を診断するための主要な病理学的特徴を含み、主に眼球とまぶたの形態及び動きの特徴を含む。一方、ぼかし再構成対象領域は、鼻や口などの眼科疾患に関連しない特徴及び眼科疾患との相関性が低いアイデンティティ特徴を含む。本発明の実施例では、領域分割の結果に基づいて精密再構成対象領域とぼかし再構成対象領域を得ることで、後で精密再構成対象領域とぼかし再構成対象領域に基づいて様々な精度の３Ｄ顔再構成を行うにあたり、眼科患者の大部分の病理学的特徴を保留しながら、眼科患者の大部分のアイデンティティ特徴を遮蔽することができ、これにより、医師による診断に影響せずに眼科患者のプライバシーを保護することができる。
本発明の実施例では、事前訓練済みのニューラルネットワークによって各フレームの画像における、眼の位置情報、眉の位置情報、鼻の位置情報及び口の位置情報などのような顔における各器官の位置情報を含む画像特徴を自動的に抽出する。本発明の実施例では、上記位置情報に基づいて各フレームの画像を複数の画像領域に分割して、さらに眼科患者が罹患した疾患に必要な病理学的特徴と組み合わせて、画像領域のうち精密再構成対象領域とぼかし再構成対象領域を得る。なお、精密再構成対象領域は、眼科疾患を診断するための主要な病理学的特徴を含み、主に眼球とまぶたの形態及び動きの特徴を含む。一方、ぼかし再構成対象領域は、鼻や口などの眼科疾患に関連しない特徴及び眼科疾患との相関性が低いアイデンティティ特徴を含む。本発明の実施例では、領域分割の結果に基づいて精密再構成対象領域とぼかし再構成対象領域を得ることで、後で精密再構成対象領域とぼかし再構成対象領域に基づいて様々な精度の３Ｄ顔再構成を行うにあたり、眼科患者の大部分の病理学的特徴を保留しながら、眼科患者の大部分のアイデンティティ特徴を遮蔽することができ、これにより、医師による診断に影響せずに眼科患者のプライバシーを保護することができる。
Ｓ３．精密再構成対象領域とぼかし再構成対象領域に対して３次元再構成を行い、各フレームの画像に対応する３次元再構成データを得る。
本発明の実施例では、３次元再構成に際して、精密再構成対象領域に対して、比較的高い精度の３次元再構成モデルのパラメータを求め、ぼかし再構成対象領域に対して、比較的低い精度の３次元再構成モデルのパラメータを求め、３次元再構成モデルのベース及び求められたパラメータに対して行列とベクトルの演算を行い、各フレームの画像の３次元再構成データを出力する。上記３次元再構成モデルのベースは、異なるセマンティクスを有するが、同じトポロジーを有する３次元再構成モデルのテンプレートであってもよく、互いの間の線形結合により様々な３次元再構成データを構成することができ、上記行列とベクトルの演算は行列とベクトルの乗算演算であってもよい。
本発明の実施例では、３次元再構成に際して、精密再構成対象領域に対して、比較的高い精度の３次元再構成モデルのパラメータを求め、ぼかし再構成対象領域に対して、比較的低い精度の３次元再構成モデルのパラメータを求め、３次元再構成モデルのベース及び求められたパラメータに対して行列とベクトルの演算を行い、各フレームの画像の３次元再構成データを出力する。上記３次元再構成モデルのベースは、異なるセマンティクスを有するが、同じトポロジーを有する３次元再構成モデルのテンプレートであってもよく、互いの間の線形結合により様々な３次元再構成データを構成することができ、上記行列とベクトルの演算は行列とベクトルの乗算演算であってもよい。
Ｓ４．全ての３次元再構成データを３次元再構成ビデオにレンダリングする。
本発明の実施例では、医師による診断のために、レンダラーにより３次元再構成データを３次元再構成ビデオにレンダリングしてもよい。ビデオ再構成過程にわたって、医師はこの検査ビデオを見えず、レンダリングによる３次元再構成ビデオだけを見ることができ、即ち、この過程において、患者の大部分の顔特徴及び名前の情報などは医師により見られず、このように、眼科患者のプライバシーを効果的に保護することができる。
一実施例では、眼科患者の検査ビデオを収集することとは、
予め設定された検査距離（一般的には、３３ｃｍである）で斜視患者の交互遮蔽試験ビデオと二方位検査ビデオを収集することと、
医師のニーズに応じて決定された、予め設定された検査距離で甲状腺関連眼症患者の９方位検査ビデオを収集することと、
眼振患者の年齢範囲に応じて対応する検査距離（一般的には、５５ｃｍである）を選択し、検査距離に基づいて眼振患者の注視過程ビデオを収集することと、
医師のニーズに応じて決定された、予め設定された検査距離で上眼瞼下垂患者の筋力検査ビデオを収集することとを含む。
予め設定された検査距離（一般的には、３３ｃｍである）で斜視患者の交互遮蔽試験ビデオと二方位検査ビデオを収集することと、
医師のニーズに応じて決定された、予め設定された検査距離で甲状腺関連眼症患者の９方位検査ビデオを収集することと、
眼振患者の年齢範囲に応じて対応する検査距離（一般的には、５５ｃｍである）を選択し、検査距離に基づいて眼振患者の注視過程ビデオを収集することと、
医師のニーズに応じて決定された、予め設定された検査距離で上眼瞼下垂患者の筋力検査ビデオを収集することとを含む。
本発明の実施例では、検査ビデオを収集する機器は、カメラ、ビデオカメラ及びモバイル端末のうちの少なくとも１つであってもよく、しかも、収集した検査ビデオは、特徴抽出の正確性を高めるために、全てカラービデオである。
一実施例では、精密再構成対象領域とぼかし再構成対象領域に対して３次元再構成を行い、各フレームの画像に対応する３次元再構成データを得ることとは、具体的には、
画像特徴における離散特徴に基づいて離散制約項を構成するとともに、画像特徴における連続特徴に基づいて連続制約項を構成し、離散制約項と連続制約項を合わせて非線形最適化問題を構成し、
非線形最適化問題の解を求めることによって３次元再構成モデルのパラメータを確定し、該パラメータは、具体的には、１組の形状パラメータと１組の動きパラメータを含み、
パラメータのうち、精密再構成対象領域を再構成するための第１のパラメータを求め、パラメータのうち、ぼかし再構成対象領域を再構成するための第２のパラメータを求め、
本発明の実施例では、第１のパラメータは、精度が相対的に高いパラメータであり、第２のパラメータは、精度が相対的に低いパラメータであり、第１のパラメータは、精密再構成対象領域を精密再構成するためのものであり、第２のパラメータは、ぼかし再構成対象領域をぼかし再構成するためのものであり、
３次元再構成モデルのベース、第１のパラメータ、及び第２のパラメータに基づいて行列とベクトルの演算を行い、各フレームの画像に対応する３次元再構成データを得ることである。
画像特徴における離散特徴に基づいて離散制約項を構成するとともに、画像特徴における連続特徴に基づいて連続制約項を構成し、離散制約項と連続制約項を合わせて非線形最適化問題を構成し、
非線形最適化問題の解を求めることによって３次元再構成モデルのパラメータを確定し、該パラメータは、具体的には、１組の形状パラメータと１組の動きパラメータを含み、
パラメータのうち、精密再構成対象領域を再構成するための第１のパラメータを求め、パラメータのうち、ぼかし再構成対象領域を再構成するための第２のパラメータを求め、
本発明の実施例では、第１のパラメータは、精度が相対的に高いパラメータであり、第２のパラメータは、精度が相対的に低いパラメータであり、第１のパラメータは、精密再構成対象領域を精密再構成するためのものであり、第２のパラメータは、ぼかし再構成対象領域をぼかし再構成するためのものであり、
３次元再構成モデルのベース、第１のパラメータ、及び第２のパラメータに基づいて行列とベクトルの演算を行い、各フレームの画像に対応する３次元再構成データを得ることである。
一実施例では、精密再構成対象領域とぼかし再構成対象領域に対して３次元再構成を行い、各フレームの画像に対応する３次元再構成データを得ることとは、さらに、
事前訓練済みのニューラルネットワークを用いて検査ビデオ中の各フレームの画像に対して遮蔽検出を行い、各フレームの画像の遮蔽検出結果を得ることを含み、
具体的な一実施形態では、遮蔽検出結果は左側遮蔽、右側遮蔽、両側遮蔽及び遮蔽なしという４種類の結果を含む。
事前訓練済みのニューラルネットワークを用いて検査ビデオ中の各フレームの画像に対して遮蔽検出を行い、各フレームの画像の遮蔽検出結果を得ることを含み、
具体的な一実施形態では、遮蔽検出結果は左側遮蔽、右側遮蔽、両側遮蔽及び遮蔽なしという４種類の結果を含む。
遮蔽検出結果が両側遮蔽である場合、前のフレームの３次元再構成データを現在のフレームの３次元再構成データとする。
画像に両側遮蔽が存在すると検出した場合、確実ではない画像特徴による誤再構成を回避するために、前のフレームの３次元再構成データを現在のフレームの３次元再構成データとし、例えば、斜視に対する交互遮蔽試験では、両側遮蔽の場合、眼の領域が遮蔽されるが、遮蔽された領域の画像特徴が確実ではない。
一実施例では、精密再構成対象領域とぼかし再構成対象領域に対して３次元再構成を行い、各フレームの画像に対応する３次元再構成データを得ることとは、さらに、
ラプラス変形技術（Laplacian Deformation）及び三角形メッシュ変形転移技術（Deformation Transfer for Triangle Meshes）を含む変形転移技術を用いて眉領域の変形状態を顔モデルから３次元再構成データに転移することを含む。
ラプラス変形技術（Laplacian Deformation）及び三角形メッシュ変形転移技術（Deformation Transfer for Triangle Meshes）を含む変形転移技術を用いて眉領域の変形状態を顔モデルから３次元再構成データに転移することを含む。
眼科患者が甲状腺関連眼症に罹患している場合、甲状腺関連眼症の９方位検査では、眉の動きは甲状腺関連眼症の診断に有利である。本発明の実施例では、変形転移技術を用いて眉領域の変形状態を顔モデルから最終の３次元再構成データに転移することによって、甲状腺関連眼症の病理学的特徴を効果的に保留することができ、そして、医師による診断に影響せずに患者のプライバシーを保護することができる。
一実施例では、３次元再構成データを３次元再構成ビデオにレンダリングすることとは、具体的には、
予め設定された条件で、各フレームの画像の３次元再構成データを対応する２次元画像にレンダリングし、２次元画像に対して画像合成処理を行って３次元再構成ビデオを得ることである。
予め設定された条件で、各フレームの画像の３次元再構成データを対応する２次元画像にレンダリングし、２次元画像に対して画像合成処理を行って３次元再構成ビデオを得ることである。
一実施例では、予め設定された条件は、予め設定された仮想カメラ及び光照射環境を含む。
本発明の実施例を実施すると、以下の有益な効果がある。
利点１：本発明の実施例は、病理学的特徴の大部分を保留しながら、アイデンティティ特徴のごく一部のみを保留することができ、これにより、医師による診断に影響せずに眼科患者のプライバシーを効果的に保護することができる。臨床医の試験から、本発明の実施例は、上瞼下垂、眼振、斜視、甲状腺関連性眼疾患という４種類の一般的な眼の外観に関する眼科疾患において良好なパフォーマンスを示し、日常的な診断ニーズを満たすことができる。従来の写真遮蔽、切り抜きの方法とは異なり、本発明の実施例では、最終的に得られる３次元再構成ビデオによれば、患者の親戚や友人によって患者の個人アイデンティティを識別することができず、また、本発明の実施例で最終的に得られる３次元再構成ビデオによって元の顔画像を再び復元することもできず、患者のプライバシーをさらに保護する。
利点２：本発明の実施例は、機器への要求が低く、単一視点のカラービデオを入力するだけでよく、深度カメラ又は多視点カラーカメラアレイを必要としない。
利点３：本発明の実施例の３次元再構成ビデオは、従来の２次元平面画像処理とは異なり、より多くの疾患の特徴を保留することができる。
利点４：統計学的分析により、本発明の実施例では、患者が眼部外観画像情報の収集に協力する意欲を効果的に高めることができ、それにより、医療ファイルの完備に有利であり、病状の長期追跡フォローアップを実現できることを示した。
利点５：従来の医療顔画像情報は非構造化データであり、本発明の実施例におけるデジタル化処理を経て得られた３次元再構成ビデオは、医療情報の標準化と構造化の統一に有利であり、臨床研究及び新型医学人工知能システムの開発に有利である。
利点１：本発明の実施例は、病理学的特徴の大部分を保留しながら、アイデンティティ特徴のごく一部のみを保留することができ、これにより、医師による診断に影響せずに眼科患者のプライバシーを効果的に保護することができる。臨床医の試験から、本発明の実施例は、上瞼下垂、眼振、斜視、甲状腺関連性眼疾患という４種類の一般的な眼の外観に関する眼科疾患において良好なパフォーマンスを示し、日常的な診断ニーズを満たすことができる。従来の写真遮蔽、切り抜きの方法とは異なり、本発明の実施例では、最終的に得られる３次元再構成ビデオによれば、患者の親戚や友人によって患者の個人アイデンティティを識別することができず、また、本発明の実施例で最終的に得られる３次元再構成ビデオによって元の顔画像を再び復元することもできず、患者のプライバシーをさらに保護する。
利点２：本発明の実施例は、機器への要求が低く、単一視点のカラービデオを入力するだけでよく、深度カメラ又は多視点カラーカメラアレイを必要としない。
利点３：本発明の実施例の３次元再構成ビデオは、従来の２次元平面画像処理とは異なり、より多くの疾患の特徴を保留することができる。
利点４：統計学的分析により、本発明の実施例では、患者が眼部外観画像情報の収集に協力する意欲を効果的に高めることができ、それにより、医療ファイルの完備に有利であり、病状の長期追跡フォローアップを実現できることを示した。
利点５：従来の医療顔画像情報は非構造化データであり、本発明の実施例におけるデジタル化処理を経て得られた３次元再構成ビデオは、医療情報の標準化と構造化の統一に有利であり、臨床研究及び新型医学人工知能システムの開発に有利である。
図２を参照すると、本発明の一実施例は、
眼科患者の検査ビデオを収集するビデオ収集モジュール１０と、
検査ビデオ中の各フレームの画像の画像特徴を抽出して、画像特徴における器官位置情報に基づいて、各フレームの画像に対して領域分割を行い、領域分割の結果に基づいて精密再構成対象領域とぼかし再構成対象領域を得る領域分割モジュール２０と、
精密再構成対象領域とぼかし再構成対象領域に対して３次元再構成を行い、各フレームの画像に対応する３次元再構成データを得る３次元再構成モジュール３０と、
全ての３次元再構成データを３次元再構成ビデオにレンダリングするデータレンダリングモジュール４０とを含む眼科患者のプライバシー保護装置を提供する。
眼科患者の検査ビデオを収集するビデオ収集モジュール１０と、
検査ビデオ中の各フレームの画像の画像特徴を抽出して、画像特徴における器官位置情報に基づいて、各フレームの画像に対して領域分割を行い、領域分割の結果に基づいて精密再構成対象領域とぼかし再構成対象領域を得る領域分割モジュール２０と、
精密再構成対象領域とぼかし再構成対象領域に対して３次元再構成を行い、各フレームの画像に対応する３次元再構成データを得る３次元再構成モジュール３０と、
全ての３次元再構成データを３次元再構成ビデオにレンダリングするデータレンダリングモジュール４０とを含む眼科患者のプライバシー保護装置を提供する。
さらに、ビデオ収集モジュール１０は、具体的には、
予め設定された検査距離で斜視患者の交互遮蔽試験ビデオと二方位検査ビデオを収集することと、
甲状腺関連眼症患者の９方位検査ビデオを収集することと、
眼振患者の年齢範囲に応じて選択された対応する検査距離に基づいて眼振患者の注視過程ビデオを収集することと、
上眼瞼下垂患者の筋力検査ビデオを収集することに用いられる。
予め設定された検査距離で斜視患者の交互遮蔽試験ビデオと二方位検査ビデオを収集することと、
甲状腺関連眼症患者の９方位検査ビデオを収集することと、
眼振患者の年齢範囲に応じて選択された対応する検査距離に基づいて眼振患者の注視過程ビデオを収集することと、
上眼瞼下垂患者の筋力検査ビデオを収集することに用いられる。
さらに、３次元再構成モジュール３０は、具体的には、
画像特徴における離散特徴に基づいて離散制約項を構成するとともに、画像特徴における連続特徴に基づいて連続制約項を構成し、離散制約項と連続制約項を合わせて非線形最適化問題を構成し、
非線形最適化問題の解を求めることによって３次元再構成モデルのパラメータを確定し、
パラメータのうち、精密再構成対象領域を再構成するための第１のパラメータを求め、パラメータのうちぼかし再構成対象領域を再構成するための第２のパラメータを求め、
３次元再構成モデルのベース、第１のパラメータ、及び第２のパラメータに基づいて行列とベクトルの演算を行い、各フレームの画像に対応する３次元再構成データを得ることに用いられる。
画像特徴における離散特徴に基づいて離散制約項を構成するとともに、画像特徴における連続特徴に基づいて連続制約項を構成し、離散制約項と連続制約項を合わせて非線形最適化問題を構成し、
非線形最適化問題の解を求めることによって３次元再構成モデルのパラメータを確定し、
パラメータのうち、精密再構成対象領域を再構成するための第１のパラメータを求め、パラメータのうちぼかし再構成対象領域を再構成するための第２のパラメータを求め、
３次元再構成モデルのベース、第１のパラメータ、及び第２のパラメータに基づいて行列とベクトルの演算を行い、各フレームの画像に対応する３次元再構成データを得ることに用いられる。
さらに、３次元再構成モジュール３０は、
事前訓練済みのニューラルネットワークを用いて検査ビデオ中の各フレームの画像遮蔽検出を行い、各フレームの画像の遮蔽検出結果を得て、
遮蔽検出結果が両側遮蔽である場合、前のフレームの３次元再構成データを現在のフレームの３次元再構成データとすることに用いられる。
事前訓練済みのニューラルネットワークを用いて検査ビデオ中の各フレームの画像遮蔽検出を行い、各フレームの画像の遮蔽検出結果を得て、
遮蔽検出結果が両側遮蔽である場合、前のフレームの３次元再構成データを現在のフレームの３次元再構成データとすることに用いられる。
さらに、３次元再構成モジュール３０は、
変形転移技術を用いて眉領域の変形状態を顔モデルから３次元再構成データに転移することに用いられる。
変形転移技術を用いて眉領域の変形状態を顔モデルから３次元再構成データに転移することに用いられる。
さらに、データレンダリングモジュール４０は、具体的には、
予め設定された条件で、各フレームの画像の３次元再構成データを対応する２次元画像にレンダリングし、２次元画像に対して画像合成処理を行って３次元再構成ビデオを得ることに用いられる。
予め設定された条件で、各フレームの画像の３次元再構成データを対応する２次元画像にレンダリングし、２次元画像に対して画像合成処理を行って３次元再構成ビデオを得ることに用いられる。
さらに、予め設定された条件は予め設定された仮想カメラ及び光照射環境を含む。
本発明の一実施例は、コンピュータ読み取り可能な記憶媒体を提供し、コンピュータ読み取り可能な記憶媒体は、記憶されたコンピュータプログラムを含み、コンピュータプログラムが運行されると、コンピュータ読み取り可能な記憶媒体が位置する機器を、上述のような眼科患者のプライバシーを保護する方法を実行するように制御する。
なお、以上は本発明の好適な実施形態であり、当業者であれば、本発明の原理を逸脱することなく、複数の改良や修飾を行うことができ、これらの改良や修飾も本発明の保護範囲とみなすべきである。
Claims (9)
- 眼科患者のプライバシーを保護する方法であって、
眼科患者の検査ビデオを収集することと、
前記検査ビデオ中の各フレームの画像の画像特徴を抽出して、前記画像特徴における器官位置情報に基づいて各フレームの前記画像に対して領域分割を行い、領域分割の結果に基づいて精密再構成対象領域とぼかし再構成対象領域を得ることと、
前記精密再構成対象領域と前記ぼかし再構成対象領域に対して３次元再構成を行い、各フレームの前記画像に対応する３次元再構成データを得ることと、
全ての前記３次元再構成データを３次元再構成ビデオにレンダリングすることとを含む、ことを特徴とする眼科患者のプライバシーを保護する方法。 - 前記眼科患者の検査ビデオを収集することとは、
予め設定された検査距離で斜視患者の交互遮蔽試験ビデオと二方位検査ビデオを収集することと、
甲状腺関連眼症患者の９方位検査ビデオを収集することと、
眼振患者の年齢範囲に応じて選択された対応する検査距離に基づいて、前記眼振患者の注視過程ビデオを収集することと、
上眼瞼下垂患者の筋力検査ビデオを収集することとを含む、ことを特徴とする請求項１に記載の眼科患者のプライバシーを保護する方法。 - 前記精密再構成対象領域と前記ぼかし再構成対象領域に対して３次元再構成を行い、各フレームの前記画像に対応する３次元再構成データを得ることとは、
前記画像特徴における離散特徴に基づいて離散制約項を構成するとともに、前記画像特徴における連続特徴に基づいて連続制約項を構成し、前記離散制約項と前記連続制約項を合わせて非線形最適化問題を構成し、
前記非線形最適化問題の解を求めることによって３次元再構成モデルのパラメータを確定し、
前記パラメータのうち、前記精密再構成対象領域を再構成するための第１のパラメータを求め、前記パラメータのうち、前記ぼかし再構成対象領域を再構成するための第２のパラメータを求め、
前記３次元再構成モデルのベース、前記第１のパラメータ、及び前記第２のパラメータに基づいて行列とベクトルの演算を行い、各フレームの前記画像に対応する３次元再構成データを得ることである、ことを特徴とする請求項１に記載の眼科患者のプライバシーを保護する方法。 - 前記精密再構成対象領域と前記ぼかし再構成対象領域に対して３次元再構成を行い、各フレームの前記画像に対応する３次元再構成データを得ることとは、さらに、
事前訓練済みのニューラルネットワークを用いて前記検査ビデオ中の各フレームの画像に対して遮蔽検出を行い、各フレームの前記画像の遮蔽検出結果を得ることと、
前記遮蔽検出結果が両側遮蔽である場合、前のフレームの３次元再構成データを現在のフレームの３次元再構成データとすることとを含む、ことを特徴とする請求項１に記載の眼科患者のプライバシーを保護する方法。 - 前記精密再構成対象領域と前記ぼかし再構成対象領域に対して３次元再構成を行い、各フレームの前記画像に対応する３次元再構成データを得ることとは、さらに、
変形転移技術を用いて眉領域の変形状態を顔モデルから前記３次元再構成データに転移することを含む、ことを特徴とする請求項１に記載の眼科患者のプライバシーを保護する方法。 - 前記３次元再構成データを３次元再構成ビデオにレンダリングすることとは、予め設定された条件で、各フレームの画像の３次元再構成データを対応する２次元画像にレンダリングし、前記２次元画像に対して画像合成処理を行って３次元再構成ビデオを得ることである、ことを特徴とする請求項１に記載の眼科患者のプライバシーを保護する方法。
- 前記予め設定された条件は、予め設定された仮想カメラ及び光照射環境を含む、ことを特徴とする請求項６に記載の眼科患者のプライバシーを保護する方法。
- 眼科患者のプライバシー保護装置であって、
眼科患者の検査ビデオを収集するビデオ収集モジュールと、
前記検査ビデオ中の各フレームの画像の画像特徴を抽出して、前記画像特徴における器官位置情報に基づいて各フレームの前記画像に対して領域分割を行い、領域分割の結果に基づいて精密再構成対象領域とぼかし再構成対象領域を得る領域分割モジュールと、
前記精密再構成対象領域と前記ぼかし再構成対象領域に対して３次元再構成を行い、各フレームの前記画像に対応する３次元再構成データを得る３次元再構成モジュールと、
全ての前記３次元再構成データを３次元再構成ビデオにレンダリングするデータレンダリングモジュールとを含む、ことを特徴とする眼科患者のプライバシー保護装置。 - コンピュータ読み取り可能な記憶媒体であって、
記憶されたコンピュータプログラムを含み、
前記コンピュータプログラムの実行際に、前記コンピュータ読み取り可能な記憶媒体が位置する機器を請求項１～７のいずれか１項に記載の眼科患者のプライバシーを保護する方法を実行するように制御する、ことを特徴とするコンピュータ読み取り可能な記憶媒体。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111031513.5A CN113887311B (zh) | 2021-09-03 | 2021-09-03 | 一种保护眼科患者隐私的方法、装置及存储介质 |
| CN202111031513.5 | 2021-09-03 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP7164693B1 JP7164693B1 (ja) | 2022-11-01 |
| JP2023037550A true JP2023037550A (ja) | 2023-03-15 |
Family
ID=79012197
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021196269A Active JP7164693B1 (ja) | 2021-09-03 | 2021-12-02 | 眼科患者のプライバシーを保護する方法、装置及び記憶媒体 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP7164693B1 (ja) |
| CN (1) | CN113887311B (ja) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015535183A (ja) * | 2012-09-21 | 2015-12-10 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | 遠隔的に検出された電磁放射線から導出可能なデータを処理する装置及び方法 |
| JP2017184120A (ja) * | 2016-03-31 | 2017-10-05 | 株式会社Ｍｅｄｉ Ｐｌｕｓ | 画像処理システム |
| JP2018504663A (ja) * | 2014-12-05 | 2018-02-15 | マイフィジーク リミテッド | ボディの画像化 |
| US20200373002A1 (en) * | 2019-05-22 | 2020-11-26 | Mocxa Health Private Limited | Anonymization of audio-visual medical data |
| US10956735B1 (en) * | 2020-10-20 | 2021-03-23 | Vrishab Krishna | System and method for determining a refractive error from red reflex images of eyes |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN203154060U (zh) * | 2013-02-04 | 2013-08-28 | 中山大学中山眼科中心 | 一种泪道探查及治疗装置 |
| ITUB20152522A1 (it) * | 2015-07-27 | 2017-01-27 | Linkverse S R L | Apparato e metodo per la rilevazione, quantificazione e classificazione di lesioni epidermiche |
| US10970921B2 (en) * | 2016-09-30 | 2021-04-06 | University Hospitals Cleveland Medical Center | Apparatus and method for constructing a virtual 3D model from a 2D ultrasound video |
| KR102564479B1 (ko) * | 2016-11-22 | 2023-08-07 | 삼성전자주식회사 | 사용자의 눈을 위한 3d 렌더링 방법 및 장치 |
| US10679740B2 (en) * | 2018-06-12 | 2020-06-09 | The Chinese University Of Hong Kong | System and method for patient privacy protection in medical images |
| CN108806779A (zh) * | 2018-08-09 | 2018-11-13 | 南通大学 | 基于区块链的混合式数字眼底图像记录与分享系统 |
| WO2020210728A1 (en) * | 2019-04-12 | 2020-10-15 | California Institute Of Technology | Systems, methods, and apparatuses for ocular measurements |
| CN110910514A (zh) * | 2019-11-27 | 2020-03-24 | 苏州六莲科技有限公司 | 一种保护患者隐私的方法、装置及存储介质 |
| CN111159751A (zh) * | 2019-12-03 | 2020-05-15 | 深圳博脑医疗科技有限公司 | 三维影像的去隐私化处理方法、装置和终端设备 |
| CN111179157B (zh) * | 2019-12-30 | 2023-09-05 | 东软集团股份有限公司 | 医学影像中面部区域的处理方法、装置及相关产品 |
| CN111899879A (zh) * | 2020-07-31 | 2020-11-06 | 罗雄彪 | 一种眼表疾病自动筛查方法与系统、区块链 |
| CN112043383B (zh) * | 2020-09-30 | 2022-07-15 | 复旦大学附属眼耳鼻喉科医院 | 一种眼科手术导航系统及电子设备 |
-
2021
- 2021-09-03 CN CN202111031513.5A patent/CN113887311B/zh active Active
- 2021-12-02 JP JP2021196269A patent/JP7164693B1/ja active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015535183A (ja) * | 2012-09-21 | 2015-12-10 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | 遠隔的に検出された電磁放射線から導出可能なデータを処理する装置及び方法 |
| JP2018504663A (ja) * | 2014-12-05 | 2018-02-15 | マイフィジーク リミテッド | ボディの画像化 |
| JP2017184120A (ja) * | 2016-03-31 | 2017-10-05 | 株式会社Ｍｅｄｉ Ｐｌｕｓ | 画像処理システム |
| US20200373002A1 (en) * | 2019-05-22 | 2020-11-26 | Mocxa Health Private Limited | Anonymization of audio-visual medical data |
| US10956735B1 (en) * | 2020-10-20 | 2021-03-23 | Vrishab Krishna | System and method for determining a refractive error from red reflex images of eyes |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7164693B1 (ja) | 2022-11-01 |
| US20230076853A1 (en) | 2023-03-09 |
| CN113887311B (zh) | 2023-05-02 |
| CN113887311A (zh) | 2022-01-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021031815A1 (zh) | 医学影像分割方法、装置、计算机设备及可读存储介质 | |
| US9445713B2 (en) | Apparatuses and methods for mobile imaging and analysis | |
| CN111368849B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN108765392B (zh) | 一种基于滑动窗口的消化道内镜病变检测和识别方法 | |
| US11954860B2 (en) | Image matching method and device, and storage medium | |
| KR102220109B1 (ko) | 심층 신경망을 이용하여 영상을 분류하는 방법 및 이를 이용한 장치 | |
| CN110246109B (zh) | 融合ct影像和个性化信息的分析系统、方法、装置及介质 | |
| CN113962311A (zh) | 知识数据和人工智能驱动的眼科多病种识别系统 | |
| CN113349810B (zh) | 脑出血病灶识别及血肿扩大预测系统及装置 | |
| KR102222509B1 (ko) | 의료 영상에 관한 판단을 보조하는 방법 및 이를 이용한 장치 | |
| CN111445575B (zh) | 威利斯环的图像重建方法、装置、电子设备、存储介质 | |
| KR20190112493A (ko) | 안저 촬영기를 제어하는 방법 및 이를 이용한 장치 | |
| JP7164693B1 (ja) | 眼科患者のプライバシーを保護する方法、装置及び記憶媒体 | |
| Lange et al. | Computer-aided-diagnosis (CAD) for colposcopy | |
| US12026263B2 (en) | Method and apparatus for protecting privacy of ophthalmic patient and storage medium | |
| CN113344942B (zh) | 人体按摩区域分割方法、装置、系统及计算机存储介质 | |
| CN114841996A (zh) | 一种图像分析系统及方法 | |
| CN112950774A (zh) | 一种三维建模装置、手术规划系统及教学系统 | |
| CN113269711A (zh) | 脑图像的处理方法及装置、电子设备和存储介质 | |
| Amara et al. | Augmented reality for medical practice: a comparative study of deep learning models for ct-scan segmentation | |
| Uplaonkar et al. | A Survey on Automated CAD System of Liver Tumor using US Images | |
| KR102498785B1 (ko) | 활동성 갑상선 눈병증 진료를 위한 내원 안내 방법 및 이를 수행하는 시스템 | |
| KR100291861B1 (ko) | 뇌 이미지에서 백질과 회백질의 분리 및 체적 산출방법 | |
| JP2004261377A (ja) | 中空臓器血管抽出方法、中空臓器血管抽出処理プログラムおよび画像処理装置 | |
| CN116012477A (zh) | 一种基于对称引导的乳腺癌患者正常乳腺组织影像重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211202 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220927 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221020 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7164693 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |