CN111417951A - 包括隐私保护模糊照相机图像的健康监控系统 - Google Patents

包括隐私保护模糊照相机图像的健康监控系统 Download PDF

Info

Publication number
CN111417951A
CN111417951A CN201880052588.1A CN201880052588A CN111417951A CN 111417951 A CN111417951 A CN 111417951A CN 201880052588 A CN201880052588 A CN 201880052588A CN 111417951 A CN111417951 A CN 111417951A
Authority
CN
China
Prior art keywords
camera
user
health monitoring
monitoring system
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880052588.1A
Other languages
English (en)
Inventor
大卫·R·霍尔
丹·艾伦
康拉德·罗森布罗克
本·斯文森
丹尼尔·亨德里克斯
安德鲁·阮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN111417951A publication Critical patent/CN111417951A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G06F21/6254—Protecting personal data, e.g. for financial or medical purposes by anonymising data, e.g. decorrelating personal data from the owner's identification
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/227—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for ears, i.e. otoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/24—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/24—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth
    • A61B1/247—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth with means for viewing areas outside the direct line of sight, e.g. dentists' mirrors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/303—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the vagina, i.e. vaginoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/307—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the urinary organs, e.g. urethroscopes, cystoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/117—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for examining the anterior chamber or the anterior chamber angle, e.g. gonioscopes
    • A61B3/1173—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for examining the anterior chamber or the anterior chamber angle, e.g. gonioscopes for examining the eye lens
    • A61B3/1176—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for examining the anterior chamber or the anterior chamber angle, e.g. gonioscopes for examining the eye lens for determining lens opacity, e.g. cataract
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A61B5/0013—Medical image data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A61B5/0064—Body surface scanning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A61B5/015—By temperature mapping of body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A61B5/02055—Simultaneously evaluating both cardiovascular condition and temperature
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1032—Determining colour for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1077—Measuring of profiles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/41—Detecting, measuring or recording for evaluating the immune or lymphatic systems
    • A61B5/414—Evaluating particular organs or parts of the immune or lymphatic systems
    • A61B5/418—Evaluating particular organs or parts of the immune or lymphatic systems lymph vessels, ducts or nodes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/444—Evaluating skin marks, e.g. mole, nevi, tumour, scar
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/448—Hair evaluation, e.g. for hair disorder diagnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A61B5/4561—Evaluating static posture, e.g. undesirable back curvature
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4869—Determining body composition
    • A61B5/4875—Hydration status, fluid retention of the body
    • A61B5/4878—Evaluating oedema
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/82—Protecting input, output or interconnection devices
    • G06F21/83—Protecting input, output or interconnection devices input devices, e.g. keyboards, mice or controllers thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/06—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols the encryption apparatus using shift registers or memories for block-wise or stream coding, e.g. DES systems or RC4; Hash functions; Pseudorandom sequence generators
    • H04L9/0643—Hash functions, e.g. MD5, SHA, HMAC or f9 MAC
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149—Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32267—Methods relating to embedding, encoding, decoding, detection or retrieval operations combined with processing of the image
    • H04N1/32283—Hashing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/44—Secrecy systems
    • H04N1/448—Rendering the image unintelligible, e.g. scrambling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A61B5/02427—Details of sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816—Measuring devices for examining respiratory frequency
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2209/00—Additional information or applications relating to cryptographic mechanisms or cryptographic arrangements for secret or secure communication H04L9/00
    • H04L2209/16—Obfuscation or hiding, e.g. involving white box
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/50—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols using hash chains, e.g. blockchains or hash trees
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0084—Digital still camera

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Bioethics (AREA)
  • Software Systems (AREA)
  • Physiology (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Ophthalmology & Optometry (AREA)
  • Cardiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Vascular Medicine (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Dermatology (AREA)
  • Pulmonology (AREA)

Abstract

不引人注目的健康监控装置包括照相机、控制器、数据传输端口，以及可选地，执行非线性变换算法的图形处理单元(GPU)。照相机可以不显眼地设置在房间的固定装置内。照相机收集图形数据，该图形数据可以包括用户的静止图像或视频，或者两者都包括。GPU可以执行非线性变换算法，该算法可以将图形数据变换成人类无法识别的格式。然而，这些格式保留了可由机器学习方法解析并用于健康跟踪目的的特征。人类无法解析这些格式，也无法通过数学反演或可用的计算方法将其转换回原始图像或视频。用户隐私因此得到保护。图形数据可以被传输到远程处理器。远程处理器可以执行创建健康状态分析的算法。

Description

包括隐私保护模糊照相机图像的健康监控系统
发明领域
本公开涉及用于通过分析收集的数据来评估用户健康状态的装置。
发明背景
行为和身体运动是精神和身体健康的关键指标。个人的图像可能揭示肤色和异常色素沉着区域的改变，身体成分的改变，个人步态和行为模式的改变。可以通过评估患者的颜色来识别的状况的示例包括发绀(cyanosis)、贫血(anemia)、黄疸(jaundice)、皮疹(rashes)、皮肤损伤和皮肤癌。影响移动和行为的状况包括抑郁(depression)、中风(stroke)、颤抖(tremors)、关节损伤(joint damage)、疲劳(fatigue)、焦虑(anxiety)及更多。理论上，对在个人家中或护理中心收集的视频和静止照片进行分析，可以为许多状况的早期诊断提供可能性。然而，通过静止照片和视频在家中对患者进行健康跟踪和监控会带来安全和隐私问题，尤其是在将数据传输给远程健康护理提供商时。
可以使用远程医疗技术来分析静止照片和视频。远程医疗的一个目标是为用户提供持续的、不引人注目的监控，以及健康状况进展的早期警报、检测和监控。机器学习算法可以从静止图像和视频中识别用户，并对行为、移动、形态、颜色和其他观察进行分类。然而，许多用户可能会对在家庭、工作或护理中心环境中连续被视频观察感到不舒服。此外，收集这样的数据可能代表一种安全担忧。此外，用户的视频图像如果被拦截，可能会对安全构成威胁。在一个示例中，某人在家用电脑上输入密码的视频可能会导致盗窃。需要一种健康监控系统，该系统在确保用户的隐私、安全性(safety)和可靠性(security)的同时，收集用户自然环境中的视觉数据。
发明简要概述
我们公开了一种健康监控装置，其离散且不引人注目地收集图形数据。图形数据可用于评估用户的健康状态。装置可以包括照相机，该照相机可以被定位成收集用户的图形数据。装置可以包括具有存储器和通信端口的控制器。照相机可以与控制器有线或无线电子通信。控制器内的存储器可以存储用于将图形数据传输到远程数据库(例如，云数据库)的指令。远程数据库可以存储非暂时性计算机可读介质，该介质包括用于将算法(在一些实施例中为机器学习算法)应用于图形数据的指令。算法可以创建图形数据的分析和用户健康状态的评估。在一些实施例中，算法还准备描述用户健康状态的报告，并将其传输给用户或用户的健康护理提供者。
装置可以包括光源，光源可以将光导向照相机的视角。更具体地，当照相机收集包括用户的图像和视频的图形数据时，光源可以将光导向用户。根据要进行的健康评估的类型，光可以包括限定波长范围和图案的光。光的波长范围和图案的示例包括但不限于可见光、高色温光、红外光、结构化光和调制光。
装置中可以包括多种类型的照相机。装置可以包括一个以上的照相机和一种类型以上的照相机。装置中可以包括的照相机类型的示例包括但不限于3D飞行时间(time offlight)照相机、立体照相机、红外热成像照相机、摄像机、结构化光3D扫描仪和静止图像照相机。这些不同的照相机可以收集不同的图形数据，不同的图形数据可能具有不同的诊断用途。例如，装置可以使用不同的照相机和不同类型的光来评估：用户移动的速度、用户移动模式、用户姿势、用户眼睛下方的肿胀、肿胀的淋巴腺(swollen lymphatic glands)、视觉光电容积描记术(visual photoplethysmography)、心率、痣(moles)、皮肤生长、身体形状、皮肤颜色、巩膜(sclera)颜色、脱发、呼吸速率、在照相机前面的时间以及身体形状。
除了固定装置，照相机还可以设置在各种诊断工具中。这些可以包括耳镜(otoscope)、检眼镜(ophthalmoscope)、内窥镜(endoscope)、腹腔镜(laparoscope)、喉镜(laryngoscope)、阴道镜(colposcope)、宫腔镜(hysteroscope)、支气管镜(bronchoscope)、咽镜(pharyngoscope)、腹腔镜(laparoscope)和牙科工具。
在一些实施例中，装置包括辅助传感器，辅助传感器检测用户的存在并启动照相机、光源或两者来收集与用户相关的图形数据。在一些实施例中，辅助传感器是运动检测器。在一些实施例中，辅助传感器是压力传感器。在一些实施例中，压力传感器是地秤(floor scale)，当用户接近照相机时，用户可以站在地秤上。
在一些实施例中，控制器包括图形处理单元，该图形处理单元包括用于对照相机收集的图形数据执行多个非线性变换的指令。这些变换将图形数据转换成模糊图形数据，模糊图形数据表示人类观察无法将其识别为最初由照相机收集的图像或视频的模糊图像。然而，模糊图形数据保留了机器学习算法能够识别的至少一个特征。存储在远程数据库上的非暂时性计算机可读介质可以包括用于在不重建原始图像或视频的情况下将机器学习算法应用于变换后的图形数据的指令。机器学习算法可以创建对模糊图形数据的分析和对用户健康状态的评估。
可用于将照相机收集的图形数据变换成模糊图形数据的技术的示例包括深度卷积、使用截断稀疏基扩展的压缩感测模糊以及基于区块链(block-chain)的模糊。在基于区块链的模糊技术中，通过区块链确保帧之间的差异散列(difference hashing)。
通过将数据作为模糊图形数据传输到远程服务器，用户的隐私得到了保护。此外，相对于传输未变换的图形数据，传输的图形数据的安全性和可靠性得到了增强。
附图简述
参考以下附图描述了本公开的非限制性和非详尽的实现，其中，除非以其它方式说明，在所有各个视图中相似的参考数字指相似的部分。本公开的优点将关于以下描述和随附附图变得更好理解，其中：
图1示出了所公开装置的实施例，该装置包括在部分镀银的镜子后面的照相机和运动传感器。
图2示出了所公开装置的另一个实施例，其中照相机被设置在天花板灯固定装置内。
图3示出了所公开装置的实施例，该装置包括在部分镀银的浴室镜子后面的照相机和地秤。
图4A示出了猫的静止图像，该图像可以由作为所公开装置的实施例的一部分的照相机收集。
图4B示出了图4A的图像，该图像已经被变换以模糊根据本公开实施例的猫图像。
图4C示出了试图从图4B的模糊图形数据重建图4A的图像的结果。
图5A示出了可以由照相机收集的标签(#)的图像，该照相机是所公开装置的实施例的一部分。
图5B示出了图5A的图像，该图像已经被变换以模糊根据所公开装置的实施例的标签(#)图像。
图5C示出了试图从图5B的模糊图形数据重建图5A的图像的结果。
图6A示出了一个女士的静止图像，该图像可以由作为所公开装置的实施例的一部分的照相机收集。
图6B示出了图6A的图像，该图像已经被变换以模糊根据所公开装置的实施例的图像。
图7示出了流程图，该流程图示出了使用所公开装置的实施例可以采取的步骤。
发明的详细描述
定义
除非另有规定，以下术语和短语具有以下暗示的含义。本公开可以使用本文没有明确定义的其他术语和短语。这些其他术语和短语将具有在本公开的上下文中对本领域普通技术人员所具有的含义。在一些实例中，术语或短语可以被定义为单数或复数。在这种实例中，应当理解，任何单数术语都可以包括其复数对应物，反之亦然，除非明确指出相反的情况。
如本文所使用的，除非上下文另有明确规定，单数形式“一(a)”、“一(an)”和“该(the)”包括复数引用。例如，对“取代基(substituent)”的引用包括单个取代基以及两个或多个取代基等。
如本文所使用的，“例如(for example)”、“例如(for instance)”、“如(such as)”或“包括(including)”意在引入进一步阐明更一般主题的示例。除非另有明确指示，否则这些示例仅作为用于理解本公开中示出的实施例的辅助，并不意味着以任何方式进行限制。这些短语也不表示对所公开的实施例的任何种类的偏好。
如本文所使用的，“安全的(safe)”意味着可以被具有恶意意图的行动者合理利用的数据被阻止被这些行动者或他们的代理访问。
如本文所使用的，“可靠的(secure)”意味着只有授权方接收数据。
如本文所使用的，“私有(private)”意味着数据被专门保存在用户已经订阅的健康监控系统中。
如本文所使用的，“用户(user)”是指所公开的系统从其收集图形数据的个人。
如本文所使用的，“电子(electronic)”意味着有线或无线。例如，短语“电子通信(in electronic communication)”是指两个设备之间的有线通信，也可以是指设备之间的无线通信，如WiFi。
虽然本发明允许许多不同形式的实施例，但是在附图中示出了几个具体的实施例，这些实施例将在本文中详细描述，应当理解，本公开将被认为是本发明原理的范例，并且不旨在将本发明限制于图示的实施例。
我们公开了一种使用视频、静止照片或两者进行离散和不引人注目的健康监控的系统。该系统可用于家庭、护理机构或临床环境。该系统可以包括一个或更多个照相机和控制器。控制器可以包括存储器，并与照相机电子通信。电子通信可以是有线或无线的。一个或更多个照相机可以收集图形数据并将图形数据传输到控制器。
控制器可以包括可容纳非暂时性计算机可读介质的存储器。非暂时性计算机可读介质可以包括用于应用算法(在一些实施例中是机器学习算法)来创建图形数据的分析的指令。算法还可以将图形数据的分析转换成用户健康状态的评估。替代地，单独的算法可以执行直接分析图形数据并创建对用户健康的评估的任务。算法还可以创建用户健康评估的报告，并将该报告传输给用户或用户的健康护理提供者。
控制器也可以包括与控制器有线或无线电子通信的通信端口。控制器可以包括非暂时性计算机可读介质，该介质包括用于通过通信端口传输图形数据的指令。通信端口可以将图形数据传输到远程服务器，例如，云计算资源。图形数据可以存储在远程服务器上。远程服务器可以存储和实现非暂时性计算机可读介质，该介质包括用于应用一个或更多个机器学习算法来创建图形数据的分析并创建用户健康状态的评估的指令。在一些实施例中，远程服务器是可靠的、安全的、私有的或其组合。
一些实施例可以包括光源和光源调制器。光源调制器可以将光导向照相机的视角。光源提供的光可以使照相机能够收集更容易分析的、更好质量的静止或视频图像。调制器可以选择光源提供的光的波长或光的其他特性。例如，光源可以提供一种或更多种以下类型的光：可见光、高色温光、红外光、结构化光和调制光。在一个示例中，可见光可用于照射对象以记录移动和行为。受控波长照射可以允许一定程度的深度剖析(depthprofiling)。红外照射可以揭示皮肤更深层的血管结构。高色温(蓝色)光可能有助于检测皮肤表面的特征。红外照射可以用来记录用户在原本不亮的环境中的运动。立体视觉(Stereoscopy)、飞行时间或结构化照明可用于收集关于用户的3D信息。
照相机可以是单个照相机。替代地，系统可以包括多个照相机。每个照相机可以包括但不限于以下类型的照相机中的一种或更多种：3D飞行时间照相机、立体照相机、红外热成像照相机、摄像机、结构化光3D扫描仪和静止图像照相机。
在一些示例中，照相机设置在耳镜、检眼镜、内窥镜、腹腔镜、喉镜、阴道镜、宫腔镜、支气管镜、咽镜、腹腔镜和牙科工具内。在一些示例中，这些设备中的照相机是透视照相机。
在一些实施例中，照相机可以设置在房间内的固定装置(fixture)内。通过将照相机设置在固定装置内，照相机对用户来说是不引人注目的，因此，当照相机收集图形数据时，不太可能导致用户由于自我意识而改变他或她的行为。在一个示例中，固定装置可以放置在浴室、厨房、走廊、入口通道、办公室或客厅中。
在一个示例中，固定装置包括部分镀银的镜子。镜子可以设置在用户和照相机的镜头之间(在照相机镜头的前面)。当照相机从用户收集图形数据时，用户可以用传统的方式在镜子中观察自己。对于用户来说，镜子与传统的镜子没有什么不同。这一特性可以防止用户因为该用户正在关注照相机正在收集图形数据的事实而表现不同。在另一个示例中，小窗口设置在固定装置中并且在照相机镜头上方，使得照相机可以在固定装置的另一侧收集图形数据。
除了一个或更多个照相机，系统还可以包括一个或更多个辅助传感器，每个辅助传感器可以与控制器电子通信。控制器上的非暂时性计算机可读介质可以包括在控制器从辅助传感器接收到信号时启动健康监控装置的指令。在一个示例中，辅助传感器可以是压力传感器。在更具体的示例中，压力传感器可以放置在围绕一个或更多个照相机的环境中的地板上或地板内。在一些实施例中，压力传感器可以是地秤或压敏地垫(pressuresensitive floor mat)。当用户进入环境并跨越压力传感器时，压力传感器可以检测用户的质量并向控制器发送信号。在另一个示例中，辅助传感器可以是运动检测器，该运动检测器在检测到用户在环境中的存在时，向控制器发送信号。在包括辅助传感器的实施例中，用户不需要有意识地启动系统。因此，系统的存在可能不太引人注意。相应地，用户可能不太可能因对被照相机记录的自我意识而修改他或她的行为。
在一些实施例中，系统可以包括针对用户的交互式显示器。在包括镜子的实施例中，显示器可以出现在镜子上。显示器可以向用户提供实时测量的健康数据(如从地秤测量的重量)，以及由系统执行的分析结果的健康数据。显示器也可以包括图像何时被捕获以及过程何时已经完成的指示器。显示器也可以连接到其他信息源，如智能家庭系统，并且可以用于显示非健康相关的数据，如天气、日程或新闻。
一个或更多个照相机可以记录多个临床相关的观察。这些可以包括行为和移动，例如，用户移动的速度、用户移动的模式、用户的姿势、用户一天中出现在照相机前面的时间、非惯用手的非典型使用(uncharacteristic use of the non-dominant hand)以及用户在照相机前花费的时间。与行为和移动相关的观察可能有助于诊断心理(psychological)、神经(neurological)、骨骼(skeletal)和运动异常(motoraberrations)。
一个或更多个照相机也可以记录用户的生理改变，包括但不限于水肿(包括用户眼睛下方的肿胀)、肿胀的淋巴腺、视觉光电容积描记术、心率、痣、皮肤生长、皮肤颜色、巩膜颜色、粘膜(mucous membrane)颜色、耳道(ear canal)颜色、脱发、呼吸速率和身体形状。
在一个示例中，照相机可以设置在耳镜内，并收集可用于识别外耳道内炎症的图形数据。
在另一个示例中，照相机可以收集可用于评估用户眼睛的晶状体(lens)的透明度的图形数据。如果晶状体相对不透明，用户健康状态的评估可以指示可能患有白内障(cataract)。用户眼睛上的划痕和擦伤也可以被检测到。在这样的实施例中，照相机可以设置在检眼镜内或镜子后面。在照相机设置在镜子后面的示例中，镜子可以是浴室镜子，用户在执行洗漱任务(例如，梳头和刷牙)时花时间直接站在镜子前面并面对镜子。因此，当用户直视镜子时，照相机能够收集用户眼睛的图像。
在照相机被设置在固定装置内的示例中，例如，在镜子后面，照相机可以检测用户皮肤的颜色。黄色可以指示黄疸，蓝色可以指示发绀。苍白的颜色可以指示脸色苍白，这是情绪紧张、贫血(anemia)和其他疾病的症状。照相机可以测量痣的颜色和形状，或者导致皮肤病学诊断的皮肤生长。照相机可以记录用户胸部的移动，该移动可用于计算用户的呼吸速率。
在一些实施例中，控制器还包括图形处理单元(以下称为“GPU”)。GPU可以包括非暂时性计算机可读介质，该介质包括用于执行算法的指令，该算法对照相机收集的图形数据进行变换和模糊。算法可以对图形数据执行多次卷积或非线性变换，卷积或非线性变换将图形数据转换成人类观察者不可识别的形式，但是该形式又保留机器学习算法可识别的特征。图形数据可以通过几种不同的变换被变换成几种类型的变换数据，每种变换都保留了机器学习或计算机分类算法可识别或有用的特征。图形数据现在是模糊的图形数据。除了不可被人类识别，模糊的图形数据还不能通过数学反演或可用的计算方法转换回原始图形数据。可用于变换图形数据的技术的示例包括深度卷积、使用稀疏基扩展并丢弃基函数的压缩感测模糊；以及基于区块链的模糊。在区块链模糊技术中，通过区块链确保帧之间的差异散列。
模糊可用于保证安全性、可靠性和用户隐私。在图形数据被变换之后，它可以被传输到远程处理器，该远程处理器可以应用算法来评估用户的健康状态。因为图形数据已经如本文所描述的那样被变换，所以系统维护了用户的隐私，并且相对于没有被变换的图形数据，数据的安全性和可靠性被增强。
模糊非线性变换的一个示例是具有非线性池化(pooling)层的多层卷积网络。可以使用卷积将一系列2D核应用于视频或静止图像集合的每个2D帧，可以改变填充(padding)大小和步长。这可以为每个图像产生卷积图像的集合(每个核一个)。此时，反卷积(inverse convolution)仍有可能重建原始图像。然而，池化层然后被应用，由此通过取邻域内所有像素的平均或最大绝对值来减小每个卷积图像的大小；例如，一组4个像素可以被具有任何原始4个像素的最大值的单个像素代替。这个步骤是非线性的，并且无法确切地反转。典型的实现可以具有2D卷积和池化层的交替连续，以产生被展平为单个向量的最终的卷积图像集合。这个向量可以编码对机器学习算法有用的信息，但是对于人类观察者来说，它看起来是随机噪声。
模糊视频流的另一种方法涉及使用稀疏表示(例如，小波或离散余弦)用算法来扩展每个视频帧，算法可以包括压缩感测技术。这些稀疏回归算法惩罚解以具有最小范数(norm)，最小范数优先选择稀疏解。然后，机器学习算法可以被允许访问变换空间中的数据进行训练。仅选择那些与机器学习模型相关的基函数，允许丢弃大量的基函数。基函数的丢失使得图像无法识别。
模糊由所公开系统内的照相机收集的图形数据的另一种方式是使用基于区块链的系统。在本示例中，用户和服务器交换公钥(public key)。通过将用户的公钥给服务器，用户授权服务器访问模糊的视频流。计算视频中每一帧相对于其相邻帧的差异散列。然后，该散列与用户的私钥和服务器公钥相结合，以生成区块链分类账(ledger)中的事务(transaction)。捕获并被发送到服务器的每个帧都可以追溯到用户批准服务器使用的事务。只有用户或服务器拥有用来解密视频帧中的差异散列的密钥。
现在参考附图，图1示出了包括部分镀银的镜子110的所公开系统的实施例。镜子110具有结合在其中的运动检测器115。运动检测器115检测接近镜子110的用户的存在，并将信号传输到设置在镜子110后面的照相机120。照相机120通过镜子110收集静止照片、视频或两者形式的图形数据。图形数据可以表示与出现在镜子110前面的用户相关联的移动模式、形态、损伤和颜色。照相机120可以收集镜子110另一侧的人和物体的图形数据，因为镜子110仅部分镀银。照相机110通过导线130将图形数据传输到控制器140。在其他实施例中，照相机110可以通过无线技术传输图形数据。控制器140包括存储器，存储器存储用于对图形数据进行变换的指令，使得图形数据如本文所公开的那样被模糊。控制器140通过无线信号150将模糊图形数据传输到远程数据库160。远程数据库160上的存储器存储使用机器学习算法来分析模糊图形数据以评估用户健康状态的指令。这些指令也包括创建描述用户健康状态的报告的步骤。无线信号170然后将报告传输给用户或用户的健康护理专业人员。
图2示出了所公开系统的另一个实施例，其示出了天花板灯固定装置210的横截面。照相机220设置在天花板灯固定装置210内，并包括镜头，镜头通常向下指向可以在下面整个房间的用户。照相机220收集图形数据，该图形数据包括用户在天花板灯固定装置210下面的房间中的静止和视频图像。照相机220通过导线130将图形数据传输到控制器140。控制器140包括存储器，存储器存储用于对图形数据进行变换的指令，使得图形数据如本文所公开的那样被模糊。控制器140通过无线信号150将模糊图形数据传输到远程数据库160。在一些实施例中，在计算机140将图形数据传输到远程数据库160之前，可以不对图形数据进行变换。远程数据库160内的存储器存储用于使用机器学习算法来分析模糊图形数据以评估用户健康状态的指令。这些指令还包括创建描述用户健康状态的报告的步骤。无线信号170然后将报告传输给用户或用户的健康护理专业人员。
图3示出了包括浴室镜子310的所公开系统的又一实施例。浴室镜子310被部分镀银，使得设置在浴室镜子310后面的照相机可以收集站在浴室镜子310前面的用户的图形数据。光源330a、330b和330c各自向站在浴室镜子310前面的用户发射限定波长范围和图案的光。在一个示例中，每个光源330a-c可以发射不同波长范围的光。
在一个示例中，光的波长范围可以在红外范围或可见光范围内。用户可以接近浴室镜子310，并踏上地秤350，地秤350然后发送信号以启动浴室镜子310后面的照相机和光源330a-c。用户可以使用盥洗室340进行典型的活动，例如，清洗和刷牙，同时照相机收集用户的图形数据。图形数据可以包括静止照片、视频或两者。照相机通过导线130将图形数据传输到控制器140。控制器140包括存储器，该存储器存储用于对图形数据进行变换的指令，使得图形数据如本文所公开的那样被模糊。控制器140通过无线信号150将模糊图形数据传输到远程数据库160。在一些实施例中，在计算机140将图形数据传输到远程数据库160之前，可以不对图形数据进行变换。远程数据库160上的存储器存储使用机器学习算法来分析模糊图形数据以评估用户健康状态的指令。这些指令还包括创建描述用户健康状态的报告的步骤。无线信号170然后将报告传输给用户或用户的健康护理专业人员。
图4A示出了猫的图像，该图像可被人类用户识别，并且可以使用根据所公开系统的照相机来创建。图4B示出了图4A的图像在使用本文所公开的技术对图形数据进行变换之后可能出现的样子。图4C示出了图4A图像的最佳重建的样子。在图4C中，人类观察者看不到如图4A所示的猫。关于机器学习模型的信息对于重建图4A中的图像是必需的。
机器学习模型预测的每个量都需要单独的变换，并且每一个机器学习模型都会发现与其预测相关的图像的不同部分。因此，图4A所示的图像几乎不可能从图4B所示的图像中重建出来。为了使机器学习模型有效，必须对最少量的相关数据进行编码才能做出决策。虽然非线性变换不是确切可逆的，但是它们近似可逆，如图4C所示。
图5A-5C示出了在离散余弦基上通过压缩感测进行模糊的示例。图5A示出了符号(&)。图5B示出了图5A中图像的一部分，该部分可以被选择为对图5C中的基重建是必需的。虽然图5C有足够的信息内容供深层网络识别符号(&)，但人类观察者无法识别图像中的原始符号(&)。
图6A和6B示出了通过加密的差异散列进行模糊的示例。图6A示出了一个女士的原始图像。图6B示出了图6A中的图像在被模糊之后对于没有相关密钥的用户来说看起来是怎样的示例。无法访问在区块链中针对该帧生成事务的服务器或用户密钥的人类观察者将无法恢复原始图像。
如果图6A中的图像被包括在所公开系统中的照相机收集，将会有与特定目标(远程服务器)共享的帧的不可变公共记录。然而，一旦与图6A中的图像相关联的图形数据已经如本文所述那样被变换(模糊)，记录的内容只能由用户或服务器解密。一旦散列被解密，视频流中的改变可以被重建。注意，根据本公开，图6A所示的原始图像从未上传到服务器。机器学习算法只关注帧与帧之间的差异，并在时间上进行比较以创建预测模型。
图7是流程图，其示出了使用所公开系统的实施例来评估用户健康状态可以采取的步骤。在步骤710中，用户接近包括根据本公开的照相机的固定装置。系统内的运动检测器检测用户的存在(步骤720)，并启动照相机和光源(步骤730)。在步骤740，光源将限定波长范围的光导向用户。在一个示例中，光可以是红外光或者可以在可见光范围内。照相机然后收集包括用户图像的图形数据(步骤750)。图形数据可以包括视频、静止照片或两者。照相机然后可以将图形数据传输到本地控制器(步骤760)。在该实施例中，控制器包括存储器，存储器存储用于执行算法的指令，该算法对图形数据进行变换以模糊图形数据(步骤770)。在步骤780，控制器然后将模糊图形数据传输到远程数据库，例如，云数据库。远程数据库存储执行算法的指令，该算法使用模糊图形数据来评估用户的健康状态(790)。然后，指令创建用户健康状态的报告，并将其传输给用户或用户的健康护理专业人员(步骤795)。
虽然以上已经示出并描述了具体实施例，但是应理解的是，所提供的公开不限于所公开的精确配置、步骤和部件。有了本公开的辅助，可以对所公开方法和系统的布置、操作和细节进行对于本领域中的这些技术人员来说明显的各种修改、改变和变化。
无需进一步阐述，相信本领域技术人员可以使用前面的描述来最大程度地利用本公开。本文公开的示例和实施例应该被解释为仅仅是说明性和示例性的，而不是以任何方式限制本公开的范围。对本领域的技术人员将明显的是，在不脱离本公开的基本原理的情况下，可以对上述实施例的细节进行许多改变。

Claims (20)

1.一种健康监控系统，包括：
至少一个照相机，其被定位成从用户捕获图形数据；
控制器；所述控制器包括存储器，其中所述控制器与所述至少一个照相机电子通信，其中所述控制器从所述至少一个照相机接收所述图形数据；
通信端口，其中所述通信端口与所述控制器电子通信，并且其中所述控制器包括通过所述通信端口传输所述图形数据的指令；以及
非暂时性计算机可读介质，其包括指令，以用于应用算法以将所述图形数据变换成模糊图形数据、创建所述模糊图形数据的分析以及创建用户健康状态的评估。
2.根据权利要求1所述的健康监控系统，还包括光源，其中所述光源将光导向所述至少一个照相机的视角。
3.根据权利要求2所述的健康监控系统，其中，所述光源提供由以下类型的光中的一种或更多种组成的光：可见光、高色温光、红外光、结构化光和调制光。
4.根据权利要求1所述的健康监控系统，其中，所述至少一个照相机包括3D飞行时间照相机、立体照相机、红外热成像照相机、摄像机、结构化光3D扫描仪和静止图像照相机中的一个或更多个。
5.根据权利要求1所述的健康监控系统，其中，所述至少一个照相机设置在诊断工具内，其中，所述诊断工具由以下一个或更多个组成：耳镜、检眼镜、内窥镜、腹腔镜、喉镜、阴道镜、宫腔镜、支气管镜、咽镜、腹腔镜和牙科工具。
6.根据权利要求1所述的健康监控系统，其中，所述至少一个照相机被设置在固定装置内。
7.根据权利要求6所述的健康监控系统，其中，所述固定装置包括部分镀银的镜子，其中，所述镜子设置在所述至少一个照相机的镜头前面。
8.根据权利要求1所述的健康监控系统，还包括一个或更多个辅助传感器，其中所述一个或更多个辅助传感器与所述控制器电子通信，并且其中所述控制器包括指令，用于响应于所述控制器从所述一个或更多个辅助传感器接收的信号来启动健康监控装置。
9.根据权利要求1所述的健康监控系统，其中，用户健康状态的评估包括对以下临床观察列表中至少一项的分析：用户移动的速度、用户移动模式、用户姿势、用户眼睛下方的肿胀、肿胀的淋巴腺、视觉光电容积描记术、心率、痣、皮肤生长、身体形状、皮肤颜色、巩膜颜色、用户眼睛中晶状体的透明度、脱发、呼吸速率、在所述至少一个照相机前面的时间、以及身体形状。
10.根据权利要求1所述的健康监控系统，其中，所述控制器还包括图形处理单元，其中所述图形处理单元包括用于对所述图形数据执行多个非线性变换，从而将所述图形数据转换成模糊图形数据的指令，所述模糊图形数据不可被人类观察者识别，并且保持所述算法可识别的特征，并且其中所述非暂时性计算机可读介质包括用于应用算法来创建所述模糊图形数据的分析和用户健康状态的评估的指令。
11.根据权利要求10所述的健康监控系统，其中，所述模糊图形数据是使用一种或更多种以下技术创建的：
深度卷积；
使用稀疏基扩展并丢弃基函数的压缩感测模糊；以及
基于区块链的模糊，其中通过区块链确保帧之间的差异散列。
12.根据权利要求10所述的健康监控系统，还包括光源，其中所述光源将光导向所述至少一个照相机的视角。
13.根据权利要求12所述的健康监控系统，其中，所述光源提供由以下类型的光中的一种或更多种组成的光：可见光、高色温光、红外光、结构化光和调制光。
14.根据权利要求10所述的健康监控系统，其中，所述至少一个照相机包括3D飞行时间照相机、立体照相机、红外热成像照相机、摄像机、结构化光3D扫描仪和静止图像照相机中的至少一个。
15.根据权利要求10所述的健康监控系统，其中，所述一个或更多个照相机设置在诊断工具内，其中，所述诊断工具包括耳镜、检眼镜、内窥镜、腹腔镜、喉镜、阴道镜、宫腔镜、支气管镜、咽镜、腹腔镜和牙科工具中的一个或更多个。
16.根据权利要求10所述的健康监控系统，其中，所述至少一个照相机被设置在固定装置内。
17.根据权利要求16所述的健康监控系统，其中，所述固定装置包括部分镀银的镜子，其中，所述镜子设置在所述至少一个照相机的镜头前面。
18.根据权利要求10所述的健康监控系统，还包括一个或更多个辅助传感器。
19.根据权利要求18所述的健康监控系统，其中，所述一个或更多个辅助传感器与所述控制器电子通信，并且其中所述控制器包括指令，用于响应于所述控制器从所述一个或更多个辅助传感器接收的信号来启动健康监控装置。
20.根据权利要求10所述的健康监控系统，其中，用户健康状态的评估包括对以下临床观察列表中至少一项的分析：用户移动的速度、用户移动模式、用户姿势、用户眼睛下方的肿胀、肿胀的淋巴腺、视觉光电容积描记术、心率、痣、皮肤生长、身体形状、皮肤颜色、巩膜颜色、脱发、呼吸速率、在照相机前面的时间以及身体形状。
CN201880052588.1A 2018-01-16 2018-01-16 包括隐私保护模糊照相机图像的健康监控系统 Pending CN111417951A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2018/013836 WO2019143318A1 (en) 2018-01-16 2018-01-16 Health monitoring system including privacy-ensuring obfuscated camera images

Publications (1)

Publication Number Publication Date
CN111417951A true CN111417951A (zh) 2020-07-14

Family

ID=67301142

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880052588.1A Pending CN111417951A (zh) 2018-01-16 2018-01-16 包括隐私保护模糊照相机图像的健康监控系统

Country Status (4)

Country Link
US (1) US20200358925A1 (zh)
EP (1) EP3593280A4 (zh)
CN (1) CN111417951A (zh)
WO (1) WO2019143318A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111820865A (zh) * 2020-07-24 2020-10-27 安徽猫头鹰科技有限公司 一种眼部视觉数据采集在线监控系统
CN114246561A (zh) * 2020-09-23 2022-03-29 科勒公司 健康感测镜和马桶座圈
CN114881177A (zh) * 2022-06-30 2022-08-09 深圳市前海高新国际医疗管理有限公司 基于物联网技术的营养健康数据采集系统

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3876211A1 (en) * 2020-03-06 2021-09-08 Signify Holding B.V. Selecting a light source for activation based on a type and/or probability of human presence
US20220309855A1 (en) * 2021-03-25 2022-09-29 International Business Machines Corporation Robotic protection barrier
CN113509156B (zh) * 2021-05-28 2023-12-15 郑州轻工业大学 基于老龄用户行为特征的自适应信息处理方法、系统及存储介质
US20230084870A1 (en) * 2021-09-14 2023-03-16 Aaron Johnson Smart Mirror-Displayed Video Camera

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050111762A1 (en) * 2003-11-26 2005-05-26 Mathew Prakash P. Image-based patient data obfuscation system and method
US20070134615A1 (en) * 2005-12-08 2007-06-14 Lovely Peter S Infrared dental imaging
US20150173715A1 (en) * 2013-12-20 2015-06-25 Raghu Raghavan Apparatus and method for distributed ultrasound diagnostics
US20170319148A1 (en) * 2016-05-04 2017-11-09 Mimitec Limited Smart mirror and platform
CN107405080A (zh) * 2015-03-09 2017-11-28 皇家飞利浦有限公司 利用可穿戴设备远程地监测用户的健康的系统、设备和方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8038615B2 (en) * 2007-05-22 2011-10-18 Eastman Kodak Company Inferring wellness from physiological conditions data
US20080294012A1 (en) * 2007-05-22 2008-11-27 Kurtz Andrew F Monitoring physiological conditions
WO2013066601A1 (en) * 2011-10-17 2013-05-10 Kimmel Zebadiah M Method and apparatus for monitoring individuals while protecting their privacy
US10117309B1 (en) * 2012-08-17 2018-10-30 Kuna Systems Corporation Internet protocol security camera with behavior detection
ES2572689T3 (es) * 2013-01-16 2016-06-01 Van De Velde Nv Espejo de probador
KR20140108417A (ko) * 2013-02-27 2014-09-11 김민준 영상정보를 이용한 건강 진단 시스템
US20170041540A1 (en) * 2015-08-04 2017-02-09 Ronald B Foster Energy-efficient secure vision processing applying object detection algorithms
JP2017092898A (ja) * 2015-11-17 2017-05-25 ソニー株式会社 撮像装置、撮像方法、およびプログラム
JP2017175004A (ja) * 2016-03-24 2017-09-28 ソニー株式会社 チップサイズパッケージ、製造方法、電子機器、および内視鏡
US10719744B2 (en) * 2017-12-28 2020-07-21 Intel Corporation Automated semantic inference of visual features and scenes
KR102199020B1 (ko) * 2020-05-08 2021-01-06 성균관대학교산학협력단 천장형 인공지능 건강 모니터링 장치 및 이를 이용한 원격 의료 진단 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050111762A1 (en) * 2003-11-26 2005-05-26 Mathew Prakash P. Image-based patient data obfuscation system and method
US20070134615A1 (en) * 2005-12-08 2007-06-14 Lovely Peter S Infrared dental imaging
US20150173715A1 (en) * 2013-12-20 2015-06-25 Raghu Raghavan Apparatus and method for distributed ultrasound diagnostics
CN107405080A (zh) * 2015-03-09 2017-11-28 皇家飞利浦有限公司 利用可穿戴设备远程地监测用户的健康的系统、设备和方法
US20170319148A1 (en) * 2016-05-04 2017-11-09 Mimitec Limited Smart mirror and platform

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111820865A (zh) * 2020-07-24 2020-10-27 安徽猫头鹰科技有限公司 一种眼部视觉数据采集在线监控系统
CN111820865B (zh) * 2020-07-24 2024-05-17 安徽猫头鹰科技有限公司 一种眼部视觉数据采集在线监控系统
CN114246561A (zh) * 2020-09-23 2022-03-29 科勒公司 健康感测镜和马桶座圈
CN114881177A (zh) * 2022-06-30 2022-08-09 深圳市前海高新国际医疗管理有限公司 基于物联网技术的营养健康数据采集系统
CN114881177B (zh) * 2022-06-30 2022-10-11 深圳市前海高新国际医疗管理有限公司 基于物联网技术的营养健康数据采集系统

Also Published As

Publication number Publication date
WO2019143318A1 (en) 2019-07-25
EP3593280A1 (en) 2020-01-15
US20200358925A1 (en) 2020-11-12
EP3593280A4 (en) 2021-03-17

Similar Documents

Publication Publication Date Title
CN111417951A (zh) 包括隐私保护模糊照相机图像的健康监控系统
Chen et al. Video-based heart rate measurement: Recent advances and future prospects
Thevenot et al. A survey on computer vision for assistive medical diagnosis from faces
US9839375B2 (en) Device and method for processing data derivable from remotely detected electromagnetic radiation
JP2024054367A (ja) 生体情報検出装置
JP6253311B2 (ja) 画像処理装置、画像処理方法
McDuff et al. Pulse and vital sign measurement in mixed reality using a HoloLens
CN211834370U (zh) 头戴式显示器、用于头戴式显示器的面部界面和显示系统
CN109982616B (zh) 用于支持至少一个用户执行个人护理活动的装置和方法
US20170000392A1 (en) Micro-Camera Based Health Monitor
JP2007125151A (ja) 診断システム及び診断装置
WO2006064635A1 (ja) 診断システム
JP7178614B2 (ja) 情報処理方法、情報処理装置、および情報処理システム
Nie et al. SPIDERS: Low-cost wireless glasses for continuous in-situ bio-signal acquisition and emotion recognition
Colantonio et al. Computer vision for ambient assisted living: Monitoring systems for personalized healthcare and wellness that are robust in the real world and accepted by users, carers, and society
CN111195115A (zh) 用于确定受试者位置和生命体征的系统和方法
CN108960144B (zh) 心率检测方法及装置、存储介质和电子设备
Mazurek et al. Acquisition and preprocessing of data from infrared depth sensors to be applied for patients monitoring
Nie et al. SPIDERS+: A light-weight, wireless, and low-cost glasses-based wearable platform for emotion sensing and bio-signal acquisition
JP2021530319A (ja) 身体部位のサーマル画像データを取得するシステムおよび方法とサーマルイメージャ
JP2023002822A (ja) 情報処理方法、情報処理装置、および情報処理システム
Mitsuhashi et al. Noncontact pulse wave detection by two-band infrared video-based measurement on face without visible lighting
Ciftci et al. Heart rate based face synthesis for pulse estimation
Nowara Towards robust imaging photoplethysmography in unconstrained settings
Malasinghe et al. Remote heart rate extraction using microsoft kinecttm V2. 0

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200714