CN111031897A - 用于分析皮肤状况的系统和方法 - Google Patents

用于分析皮肤状况的系统和方法 Download PDF

Info

Publication number
CN111031897A
CN111031897A CN201880052957.7A CN201880052957A CN111031897A CN 111031897 A CN111031897 A CN 111031897A CN 201880052957 A CN201880052957 A CN 201880052957A CN 111031897 A CN111031897 A CN 111031897A
Authority
CN
China
Prior art keywords
image
computing device
skin condition
point clouds
image capture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880052957.7A
Other languages
English (en)
Other versions
CN111031897B (zh
Inventor
捷尔米·马克·梅西
辛·亥宏·艾兰
保罗·劳伦斯·比利阿尔第
梅·比利阿尔第-漆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
3d Medical Image Analysis Co
Original Assignee
3d Medical Image Analysis Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 3d Medical Image Analysis Co filed Critical 3d Medical Image Analysis Co
Publication of CN111031897A publication Critical patent/CN111031897A/zh
Application granted granted Critical
Publication of CN111031897B publication Critical patent/CN111031897B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A61B5/0064—Body surface scanning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/444—Evaluating skin marks, e.g. mole, nevi, tumour, scar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/442—Evaluating skin mechanical properties, e.g. elasticity, hardness, texture, wrinkle assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Dermatology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Image Generation (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

以下公开讨论了检测及分析皮肤状况的系统及方法。根据一个实施例，使用图像捕捉设备捕捉该皮肤状况的2D图像及与该2D图像相关联的一组3D点云。该2D图像及该组3D点云被发送至计算设备。该计算设备根据该组3D点云生成3D表面。随后，该计算设备从另一计算设备接收基于该3D表面的用于该2D图像的深度图，使得该深度图包括用于该2D图像中的每个像素的深度数据。该皮肤状况可接着使用该计算设备基于该深度图来被测量和分析。

Description

用于分析皮肤状况的系统和方法
技术领域
本发明涉及连同三维(3D)数据处理二维(2D)图像，且更具体而言，涉及用于分析皮肤状况以供诊断及治疗的系统和方法。
背景技术
在本章节中描述的办法可被采用，但不一定是先前已被设想或采用的办法。因此，除非本文中另外指出，否则本章节中描述的办法并非本申请中的权利要求的现有技术，且不因包括于本章节中而被承认为现有技术。
在皮肤学应用中，用于一种或多种皮肤状况的记录和诊断的最常见方法是拍摄该状况的相片且比例尺在相片中可见(典型地，通过在标尺旁边拍摄状况的相片)。这使得图像采集过程缓慢且繁琐。此外，因为在该相片中仅存在单个测量参考，所以表面不规律及相机角度变化会导致低的测量准确度。
一些系统能够用2D及3D成像设备捕捉受试者的皮肤的完整图，但此类设备通常是大的、昂贵的，且具有有限的测量选项。此类设备通常严重依赖于完形(gestalt)感知，且仍然需要临床医生或皮肤病学家进行仔细检查。
发明内容
本文中描述的各实施例包括一种用于生成驱动器评分的方法。应当领会，这些实施例可以按众多方式来实现，诸如过程、装置、系统、设备或方法。以下描述若干实施例。
在一个实施例中，描述了一种分析皮肤状况的方法。该方法可包括使用计算设备来接收该皮肤状况的二维(2D)图像及与该2D图像相关联的一组三维(3D)点云的操作。该方法可进一步包括使用该计算设备根据该组3D点云来生成3D表面的操作。该方法还可包括使用该计算设备来接收基于该3D表面的用于该2D图像的深度图而使得该深度图包括用于该2D图像的每个像素的深度值的操作。该方法可包括使用该计算设备基于该2D图像及该深度图来分析该皮肤状况的操作。在一实施例中，该组3D点云中的每个3D点云中的每个3D点对应于该2D图像的至少一个像素。
在一实施例中，该深度图是使用第二计算设备来生成的。在一实施例中，该方法可进一步包括将该深度图储存在通信地耦合至该第二计算设备的存储器设备中的操作。在一实施例中，该深度图可通过使用该第二计算设备根据该2D图像及该3D表面实现射线-投射(ray-casting)算法来被计算。替代地，该深度图可通过使用该第二计算设备根据该2D图像及该3D表面实现射线-跟踪(ray-tracing)算法来被计算。
在一实施例中，该2D图像及该组3D点云系使用图像捕捉设备来捕捉。在一实施例中，该方法可进一步包括沿着围绕具有皮肤状况的受试者的至少一个轴线转动该图像捕捉设备以捕捉一组2D图像及3D点云的相关联集合的操作。在另一实施例中，该方法可包括将该2D图像及该组3D点云储存在通信地耦合至该图像捕捉设备的存储器设备中的操作。
在一实施例中，该图像捕捉设备可包括二维(2D)相机。该方法可包括使用该计算设备基于每个像素的深度值、该2D相机的水平视野的角度及该2D相机的垂直视野的角度来生成针对该2D图像的每个像素的一组像素尺寸的操作。在一实施例中，该2D相机可捕捉该皮肤状况的彩色2D图像。替代地，该2D相机可捕捉该皮肤状况的单色2D图像。在一实施例中，该2D相机可具有至少8兆像素的分辨率。
在一实施例中，该图像捕捉设备可包括三维(3D)设备。在一实施例中，该3D设备可以是3D扫描仪。替代地，该3D设备可以是3D相机，使得该3D相机捕捉对应于该2D图像的该组3D点云。
在一实施例中，该3D表面可以是内插的3D表面网格。在一实施例中，该3D表面可描绘该皮肤状况的轮廓。在一实施例中，该3D表面可通过使用该计算设备过滤出该组3D点云中的至少一个3D点云中的一组像差来被生成。在一实施例中，该3D表面可通过使用该计算设备使用至少一种内插算法来生成。
在一实施例中，分析该皮肤状况可进一步包括使用该计算设备来测量该皮肤状况的大小的操作。
在一实施例中，分析该皮肤状况可进一步包括使用该计算设备来确定该皮肤状况的该大小中的方差(variance)的操作。
在一实施例中，分析该皮肤状况可进一步包括使用该第二计算设备根据该皮肤状况的该大小中的方差来自动诊断该皮肤状况的操作。
在一实施例中，公开了一种用于分析皮肤状况的系统。该系统可包括图像捕捉设备，其捕捉该皮肤状况的二维(2D)图像及与该2D图像相关联的一组三维(3D)点云。该系统可进一步包括通信地耦合至该图像捕捉设备的计算设备以及第二计算设备，使得该计算设备可从该图像捕捉设备接收该2D图像及该组3D点云。该计算设备还可根据该组3D点云生成3D表面。该计算设备可进一步从该第二计算设备接收基于该3D表面的用于该2D图像的深度图，使得该深度图包括用于该2D图像的每个像素的深度数据。该计算设备可基于该深度图分析该皮肤状况。
在一实施例中，该图像捕捉设备可进一步包括2D相机，使得该2D相机捕捉该2D图像。在一实施例中，图像捕捉设备可进一步包括3D设备，使得该3D设备捕捉该组3D点云。在一实施例中，该图像捕捉设备可进一步包括电池，使得该电池对该图像捕捉设备供电。类似地，该图像捕捉设备还可包括闪光灯装置，使得该闪光灯装置包括至少一个发光二极管。该图像捕捉设备可进一步包括触摸屏显示器。
在一实施例中，该系统可包括至少一个存储设备，其与该第二计算设备及该计算设备中的至少一者通信耦合，使得该存储设备储存该深度图。在一实施例中，至少一个存储设备包括由以下各项组成的群组中的至少一者：内部硬盘驱动器、外部硬盘驱动器、通用串行总线(USB)驱动器、固态驱动器、以及网络附连的存储设备。
在一实施例中，该计算设备及第二计算设备可包括由以下各项组成的群组中的至少一者：微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、以及高级精简指令集计算机器(ARM)。
在一实施例中，该计算设备经由至少一种网络连接被通信耦合至该图像捕捉设备及该第二计算设备。在一实施例中，该网络连接可以是Wi-Fi、蓝牙、以太网、光纤连接、红外、近场通信或同轴电缆连接。
在一实施例中，公开了一种用于自动检测皮肤状况的系统。该系统可包括图像捕捉设备，其自动捕捉受试者的一组二维(2D)图像及与该组2D图像中的每个2D图像相关联的一组三维(3D)点云。该系统还可包括通信地耦合至该图像捕捉设备的计算设备以及第二计算设备，使得该计算设备自动接收该受试者的该组2D图像及用于每个2D图像的该组3D点云。该计算设备还可基于该组3D点云自动生成该受试者的3D再现(rendition)。另外，该计算设备可从该第二计算设备接收用于该组2D图像中的每个2D图像的深度图，使得该深度图包括用于每个2D图像的每个像素的深度数据。该系统可包括通信地耦合至该计算设备的存储设备，使得该存储设备自动储存该深度图。
在一实施例中，该客户端服务器可进一步包括分析模块，使得该分析模块可基于该深度图及该2D图像自动生成该皮肤状况的测量结果。该计算设备还可基于将这些测量结果状况与该皮肤状况的先前储存的测量结果进行比较来自动确定该皮肤状况中的方差。该计算设备可根据这些皮肤状况中的该方差自动生成诊断推荐。
附图说明
在附图中：
图1解说了根据本发明的一实施例的用于分析皮肤状况的示例性系统；
图2解说了根据本发明的一实施例的示例性图像捕捉设备；
图3解说了根据本发明的一实施例的示例性计算机系统；
图4解说了根据本发明的一实施例的用于分析皮肤状况的示例性方法；
图5A、5B及5C解说了根据本发明的一实施例的用于生成每像素深度数据的示例性步骤的自顶向下视图；
图6A、6B、6C、6D、6E及6F解说了根据本发明的一实施例的用于过滤一组点云中的数据噪声的示例性步骤；
图7A、7B及7C解说了根据本发明的一实施例的用于生成2D图像的像素的设备-空间位置的示例性步骤；
图8A、8B及8C解说了根据本发明的一实施例的用于生成2D图像的像素的像素尺寸的示例性步骤；
图9A、9B及9C解说了根据本发明的一实施例的用于测量2D图像的子像素区域的示例性步骤；
图10解说了根据本发明的一实施例的用于分析皮肤状况的输出2D图像的示例性视图。
具体实施方式
尽管本公开的概念易受各种修改及替代形式影响，但这些概念的特定实施例已在附图中通过示例示出且将在本文中加以详细描述。然而，应理解，不存在将本公开的概念限于所公开的特定形式的意图，而是正相反，意图是要涵盖与本公开及所附权利要求一致的所有修改、等效内容及替代内容。
在以下描述中，出于解释的目的，阐述了众多特定细节，以便提供本发明的透彻理解。然而，将显而易见，可在无此类特定细节的情况下实践本发明。在其他实例中，以框图形式示出公知的结构及设备以便避免不必要地混淆本发明。
本发明的各实施例涉及集成电路。这些集成电路可以是任何合适类型的集成电路，诸如，微处理器、专用集成电路、数字信号处理器、存储器电路或其他集成电路。在期望的情况下，这些集成电路可以是包含可编程逻辑电路系统的可编程集成电路。在以下描述中，术语“电路系统(circuitry)”与“电路(circuit)”可互换地使用。
在附图中，为了易于描述，可示出示意性要素(诸如，表示设备、模块、指令框及数据元素的要素)的特定布置或排序。然而，本领域技术人员应理解，附图中的示意性要素的特定排序或布置并不意指暗示处理的特定次序或顺序或者过程的分开是必要的。另外，示意性要素在附图中的包括并不意指暗示在所有实施例中皆需要这样的要素，或在一些实施例中由这样的要素表示的特征可不被包括或与其他要素组合。
另外，在这些附图中，在诸如实或虚线或箭头之类的连接元件被用来说明在两个或更多个其他示意性元件之间或当中的连接、关系或关联的情况下，任何此类连接元件的不存在并不意指暗示无连接、关系或关联可存在。换言之，元件之间的一些连接、关系或关联可能未在附图中示出，以便不混淆本公开。此外，为了易于说明，可使用单个连接元件表示在元件之间的多个连接、关系或关联。例如，在连接元件表示信号、数据或指令的通信的情况下，本领域技术人员应理解，这样的元件可在可能被需要的情况下表示一个或多个信号路径(例如，总线)，以影响通信。
下文描述可各自彼此独立地使用或与其他特征的任何组合一起使用的若干特征。然而，任何个体特征可能不解决以上讨论的问题中的任一个，或可能仅解决以上讨论的问题中的一者。以上讨论的问题中的一些可能未通过本文中描述的特征中的任一者充分解决。虽然提供了标题，但与特定标题有关但未在具有该标题的章节中找到的信息还可在说明书中的别处被找到。
下面的公开讨论了用于检测及分析皮肤状况的系统及方法。在一个实施例中，描述了一种分析皮肤状况的方法。皮肤状况的2D图像及与该2D图像相关联的一组3D点云使用图像捕捉设备来捕捉。该2D图像及该组3D点云被发送至计算设备。该计算设备根据该组3D点云生成3D表面。该3D表面被发送至第二计算设备。随后，该第二计算设备基于该3D表面计算该2D图像的深度图，使得该深度图包括用于该2D图像的每个像素的深度数据。该皮肤状况可接着基于该深度图来被测量及分析。
如本文中所使用，“皮肤状况”或“皮肤特征”指影响表皮系统的任何医疗或美容状况或响应(诸如，过敏测试或暴露响应)，表皮系统亦即围绕身体且包括以下各项的器官系统：皮肤、毛发、指甲、黏膜及有关肌肉、脂肪、腺体及腺体活动(诸如，汗水及皮脂)及状况(诸如，干性皮肤、油性皮肤、皮肤温度及症状，诸如，斑点、丘疹、节结、囊泡、泡壳、脓包、脓肿、感染、发炎、荨麻疹、痂、脱皮、糜烂、溃烂、萎缩、肥大、皮肤异色病、苔藓样变、痣(包括黑色素瘤及皮肤癌)、对测试的反应(诸如，过敏测试、诊断或试验)或与该医疗或美容状况相关联的其他暴露)。人类表皮系统的状况构成广泛范围的疾病(又称为皮肤病)，以及许多非病理性状态。临床上，任一特定皮肤状况的诊断是通过收集关于呈现出的(诸)皮肤损伤的相关信息来做出的，该信息包括位置(诸如，臂、头、腿)、症状(搔痒病、疼痛)、持续时间(急性或慢性)、布置(孤立性、一般化、环形、线性)、形态(斑点、丘疹、囊泡)及颜色(红、蓝、棕、黑、白、黄)。
在以下公开中，术语“立体像素(voxel)”、“体积像素(volumetric pixel)”与“3D像素(3D pixel)”可互换使用。如本文中所使用“立体像素”或“体积像素”指在三维空间中的规则网格上的值。如同位图图中的像素，立体像素自身通常不具有其与其值一起被显式地编码的位置，即，其坐标。取而代之的，立体像素的位置是基于其相对于其他立体像素的位置(其为立体像素在数据结构中组成单个体积空间的位置)来被推断的。在一实施例中，这些立体像素可基于不同模型，例如，网格化的立体像素模型、稀疏立体像素模型或八叉树立体像素模型。
图1解说了根据本发明的一实施例的用于分析皮肤状况的示例性系统。现在参考图1，计算设备106从图像捕捉设备104接收使受试者102受到影响的皮肤状况103的2D图像及相关的3D点云，并且从处理服务器108接收附加数据。
在一实施例中，受试者102为受皮肤病症影响(例如，黑色素瘤)的人类，该皮肤病症自身按皮肤状况103(例如，癌性痣或损伤)的形式呈现。在一实施例中，受试者102可以是动物、植物或其他生命标本。在再一实施例中，受试者102可以是人体模型、尸体(人类或其他)或可用于测试目的的任一其他对象。在一实施例中，皮肤状况103可以是痣、损伤、切口、擦伤、疖子或影响受试者的一层或多层皮肤、毛发或指甲的某一其他状况。在一实施例中，受试者102俯卧于一平台上。在另一实施例中，受试者102站立于一平台上。该平台可以是检验台、金属平台、轮床、床、或能够支撑受试者102的重量的具各种形状及大小且由不同材料制造的任一其他结构。在一实施例中，该平台可以是机械化或机动化的，即，该平台可被调整以更改(距平台正搁置于其上的地面或楼层的)高度、定向、(相对于平台正搁置于其上的地面或楼层的)倾斜角。该机动化的平台还可能够旋转。
在一实施例中，图像捕捉设备104围绕受试者102转动以捕捉皮肤状况103的一个或多个2D图像及相关的3D点云。在一实施例中，图像捕捉设备104被连接至经安装于被附连至平台的轨道上的台车，且图像捕捉设备104沿着固定路径围绕受试者102转动。类似地，图像捕捉设备104可通过经手动围绕受试者102转动来捕捉皮肤状况103的2D图像及3D点。在一实施例中，图像捕捉设备104通过用户所控制的机器人围绕受试者102转动。在一实施例中，机器人可被远程控制。在另一实施例中，该机器人可由计算设备106自动控制及操纵以减少捕捉一组2D图像及相关联的3D点云的时间。在一实施例中，图像捕捉设备104可经由Wi-Fi、蓝牙、近场通信(NFC)、以太网络电缆、光纤电缆或某一其他传输数据的方式被通信耦合至计算设备106。
在一实施例中，计算设备106类似于以下关于图3描述的计算机系统300。在一实施例中，计算设备106可通信地耦合至第二计算设备。该第二计算设备可执行一些计算密集型任务，且将结果传送至计算设备106。在一实施例中，这两个计算设备可被配置为客户端和服务器系统，使得该计算设备106为客户端设备，且另一计算设备为处理服务器108。在一实施例中，处理服务器108类似于以下关于图3描述的计算机系统300。在一实施例中，处理服务器108可以是基于云的服务器以供处理图像及相关的3D点云或3D表面或其他与2D图像有关的数据。在一实施例中，计算设备106及处理服务器108可以是实现本文中描述的技术的一个或多个专用计算设备。专用计算设备可经硬连线以执行这些技术，或可包括数字电子设备，诸如，一个或多个专用集成电路(ASIC)、现场可编程门阵列(FPGA)或经持久编程以执行这些技术的其他可编程逻辑器件(PLD)，或者可包括经编程以依据固件、存储器、其他存储或一组合中的程序指令执行这些技术的一个或多个通用硬件处理器。此类专用计算设备还可将定制的硬连线逻辑、ASIC或FPGA与定制的编程相组合以实现这些技术。这些专用计算设备可以是桌上型计算机系统、便携式计算机系统、手持式设备、联网设备或合并有硬连线和/或程序逻辑以实施这些技术的任一其他设备。
图2解说了根据本发明的一实施例的示例性图像捕捉设备。现在参考图2，图像捕捉设备104可合并有2D相机204，其通信地耦合至3D设备206。2D相机204及3D设备206可共享闪光灯装置210。图像捕捉设备104可由电池212供电且由片上系统208控制或操作。
在一实施例中，2D相机204是高分辨率2D彩色相机。在一实施例中，2D相机204以是数字相机。例如，2D相机204可以是紧凑型相机、智能电话相机、无反光镜相机、数字单镜头反射相机、电子取景器、可互换镜头相机或中画幅相机。在一实施例中，2D相机204可具有在八百万像素与两千万像素之间的分辨率。在一实施例中，2D相机204可具有不止一个镜头。例如，2D相机204可具有一个用于捕捉彩色图片的镜头及一个用于捕捉单色图片的镜头，两种图片由片上系统208拼接在一起。在另一实施例中，2D相机204可以是模拟相机。例如，2D相机204可以是胶片相机或大画幅相机。
在一实施例中，2D相机204通信地耦合至3D设备206。3D设备206可以是利用用于3D点云生成的红外投影的结构化光深度相机。3D设备206可以是非接触式3D扫描仪。例如，3D设备206可以是飞行时间3D激光扫描仪、基于三角测量的3D扫描仪、调制光3D扫描仪或体积3D扫描仪。
在一实施例中，2D相机204及3D设备206通信地耦合至片上系统208。片上系统208可以是如上所述的一个或多个专用计算设备。在一实施例中，片上系统208可包括微控制器、微处理器、系统控制器、图形处理器、存储器、数字信号处理器及其他集成电路组件。在一实施例中，片上系统208可类似于以下关于图3描述的计算机系统300。在一实施例中，片上系统208被用于实时处理由图像捕捉设备104捕捉的图像及数据。在一实施例中，片上系统208实现操作环境及用户接口以处理并响应从图像捕捉设备104的用户接收到的反馈。
在一实施例中，电池212对图像捕捉设备104供电。电池212可以是二次电池或可再充电电池。例如，电池212为锂离子电池、锂聚合物电池或镍-镉电池。在一实施例中，电池212为原电池或非可再充电电池。例如，电池212可以是碱性电池，或锌碳电池。电池212允许用户无线捕捉该组2D图像及该组3D点云。
在一实施例中，闪光灯装置210被用来照射皮肤状况103。在一实施例中，闪光灯装置210是连接至图像捕捉设备104上的片上系统208的LED灯阵列。在另一实施例中，闪光灯装置210通信地耦合至图像捕捉设备104，但与图像捕捉设备104截然不同。例如，闪光灯装置210可包括一个或多个闪光灯泡、电子闪光灯装置、高速闪光灯设备或气隙闪光灯设备。在一实施例中，闪光灯装置210还被用来在3D点云的采集期间照射皮肤状况103。在一实施例中，图像捕捉设备104还可包括触摸屏显示器，其可被用于用户控制、输入及反馈。该触摸屏显示器可以是电容性触摸屏或电阻性触摸屏。在一实施例中，图像捕捉设备104包括存储器存储设备，以用于储存与皮肤状况103有关的2D图像及3D点云。存储器存储设备可以是闪存存储设备或非易失性存储设备，例如，安全数字(SD)卡。
图3解说了可在其上实现本发明的一实施例的计算机系统300。计算机系统300包括总线302或用于传达信息的其他通信机构、以及用于处理信息的与总线302耦合的硬件处理器304。硬件处理器304可以是例如通用微处理器。
计算机系统300还包括主存储器306(诸如，随机存取存储器(RAM)或其他动态存储设备)，其耦合至总线302以用于储存信息及要由处理器304执行的指令。主存储器306还可被用于在执行要由处理器304执行的指令期间储存临时变量或其他中间信息。此类指令当被储存在处理器304可访问的非瞬态存储介质中时，致使计算机系统300成为经定制以执行在指令中指定的操作的专用机器。
计算机系统300可包括总线302或用于传达信息的其他通信机构、以及用于处理信息的与总线302耦合的硬件处理器304。硬件处理器304可以是例如通用微处理器。
计算机系统300还包括主存储器306(诸如，随机存取存储器(RAM)或其他动态存储设备)，其耦合至总线302以用于储存信息及要由处理器304执行的指令。主存储器306还可被用于在执行要由处理器304执行的指令期间储存临时变量或其他中间信息。此类指令当被储存在处理器304可访问的非瞬态存储介质中时，致使计算机系统300成为经定制以执行在指令中指定的操作的专用机器。
计算机系统300进一步包括只读存储器(ROM)308或耦合至总线302以用于储存给处理器304的静态信息及指令的其他静态存储设备。存储设备310(诸如磁盘、光盘或固态驱动器)被提供且耦合至总线302以用于储存信息及指令。
计算机系统300可经由总线302被耦合至显示器312，诸如，阴极射线管(CRT)、液晶显示器(LCD)、等离子体显示器、发光二极管(LED)显示器或有机发光二极管(OLED)显示器，以用于对计算机用户显示信息。输入设备314(包括字母数字及其他键)被耦合至总线302，以用于将信息及命令选择传达至处理器304。另一类型的用户输入设备是光标控制器316(诸如，鼠标、轨迹球、启用触摸的显示器或光标方向键)，以用于将方向信息及命令选择传达至处理器304且用于控制显示器312上的光标移动。此输入设备典型地在两个轴线(第一轴(例如，x)及第二轴(例如，y))中具有两个自由度，这允许设备指定平面中的位置。
根据一个实施例，本文中的这些技术由计算机系统300响应于处理器304执行主存储器306中所包含的一个或多个指令的一个或多个序列而执行。此类指令可以从另一存储介质(诸如存储设备310)被读取至主存储器306内。主存储器306中所包含的指令序列的执行致使处理器304执行本文中描述的过程步骤。在替代实施例中，硬连线电路系统可用来代替软件指令或与软件指令结合使用。
如本文中所使用的术语“存储介质(storage media)”指储存致使机器以特定方式操作的数据和/或指令的任何非瞬态介质。此类存储介质可包括非易失性介质和/或易失性介质。非易失性介质包括例如光盘、磁盘或固态驱动器(诸如，存储设备310)。易失性介质包括动态存储器，诸如，主存储器306。存储介质的常见形式包括例如软盘(floppy disk)、柔性盘(flexible disk)、硬盘、固态驱动器、磁带或任何其他磁性数据存储介质、CD-ROM、任何其他光学数据存储介质、具有孔的图案的任何物理介质、RAM、PROM及EPROM、FLASH-EPROM(闪存-EPROM)、NV-RAM(非易失性RAM)、或任一其他存储器芯片或盒带。
存储介质截然不同于传输介质但可与传输介质一起使用。传输介质参与在存储介质之间传递信息。例如，传输介质包括同轴电缆、铜线及光纤，包括包含总线302的导线。传输介质还可采取声波或光波的形式，诸如，在无线电波及红外数据通信期间生成的那些波。
在将一个或多个指令的一个或多个序列携带至处理器304以供执行时可涉及各种形式的介质。例如，指令最初可被携带于远程计算机的磁盘或固态驱动器上。远程计算机可将指令加载到其动态存储器内，且使用调制解调器在电话线上发送指令。在计算机系统300本地的调制解调器可接收电话线上的数据，且使用红外发射机将数据转换为红外信号。红外检测器可接收红外信号中所携带的数据且合适的电路系统可将数据放置于总线302上。总线302将数据携带至主存储器306，处理器304从该主存储器撷取且执行这些指令。由主存储器306接收的指令可任选地在由处理器304执行之前或之后被储存在存储设备310上。
计算机系统300还包括耦合至总线302的通信接口318。通信接口318提供耦合至网络链路320的双向数据通信，网络链路320连接至本地网络322。例如，通信接口318可以是集成服务数字网络(ISDN)卡、电缆调制解调器、卫星调制解调器、或提供到对应类型的电话线的数据通信连接的调制解调器。作为另一示例，通信接口318可以是局域网(LAN)卡以提供到兼容LAN的数据通信连接。无线链路也可被实现。在任一这样的实现中，通信接口318发送且接收携带表示各种类型的信息的数字数据流的电信号、电磁信号或光信号。例如，可通过使用如WiFi、蓝牙、红外、以及近场通信(NFC)等联网技术来实现无线链路。
网络链路320典型地通过一个或多个网络将数据通信提供至其他数据设备。例如，网络链路320可通过本地网络322提供到主机计算机324或到由互联网服务提供商(ISP)326操作的数据装备的连接。ISP326进而经由全球分组数据通信网络(现在通常被称作“互联网”328)来提供数据通信服务。本地网络322及互联网328两者皆使用携带数字数据流的电信号、电磁信号或光信号。经由各种网络的信号及在网络链路320上且经由通信接口318(其携带去往及来自计算机系统300的数字数据)的信号是传输介质的示例形式。
计算机系统300可通过(诸)网络、网络链路320及通信接口318发送消息及接收数据(包括程序代码)。在互联网示例中，服务器330可通过互联网328、ISP326、本地网络322及通信接口318传送用于应用程序的所请求的程序代码。
处理器304可在代码被接收到时执行所接收到的代码，和/或将其储存在存储设备310或其他非易失性储存中以供稍后执行。
图4解说了根据本发明的一实施例的用于分析皮肤状况的示例性方法。出于解说清晰示例的目的，将关于图1、图2及图3讨论图4。
现在参考图4，在框402处，计算设备106接收皮肤状况103的2D图像及与该2D图像相关联的一组3D点云。在一实施例中，该2D图像及该组3D点云由图像捕捉设备104捕捉。在一实施例中，该组3D点云中的每个3D点云中的每个3D点对应于2D图像的至少一个像素。在一实施例中，当捕捉由图像捕捉设备104触发时，2D相机捕捉在图像捕捉设备104上的2D彩色图像，且使用片上系统208储存该2D彩色图像。
在一实施例中，3D设备206在捕捉事件期间捕捉多个3D点云且予以储存在图像捕捉设备104上。理想地，每个点云可由正如在对应2D图像中存在的像素一样多的点构成。然而，在实践中，归因于由传感器分辨率约束、投影仪分辨率限制及光学器件造成的深度成像方法中的限制，仅对应于某些像素的点被捕捉。在一实施例中，3D设备206获取每个个体捕捉事件的多个点云，以通过比较多个点云中的差异来消除数据中的噪声。在一实施例中，3D设备206的操作频率由片上系统208确定。例如，3D设备206可按六十赫兹的标称频率操作以捕捉具有最小时间间隔的数个点云，以最小化在数据采集过程期间由图像捕捉设备104的移动所引起的潜在失准，同时仍然提供足够的数据以供噪声过滤。
在一实施例中，图像捕捉设备104将该组2D图像及该组3D点云发送至计算设备106。在一实施例中，2D图像及3D点云通过高速有线或无线网络连接(例如，Wi-Fi、以太网络或光纤连接)发送。在一实施例中，图像捕捉设备104加密该组2D图像及该组3D点云，且通过安全通信信道将经加密的该组2D图像及该组3D点云传送至计算设备106。例如，图像捕捉设备104可使用加密哈希函数加密该组2D图像及该组3D点云。在一实施例中，图像捕捉设备104可在将该组的2D图像及该组3D点云发送至计算设备106之前予以压缩。经压缩的该组2D图像及该组3D点云可减少用于将数据传送至计算设备106的资源(例如，时间、带宽及处理周期)。图像捕捉设备104可使用有损或无损数据压缩技术及压缩标准，例如，移动图片专家组(MPEG)1、2、4或高效视频编码(HEVC)H.261、H.262、H.264、H.265、联合图像专家组(JPEG)、便携式网络图形(PNG)、多图像网络图形(MNG)或加标签的图像文件格式(TIFF)。
在步骤404，计算设备106从该组3D点云生成3D表面。在一实施例中，计算设备106在生成3D表面前执行3D点云过滤。以下关于图6A-6F进一步讨论点云过滤过程。在一实施例中，该3D表面是包括一组三角形的高分辨率三角测定的3D网格，该组三角形由它们的自经过滤的3D点云数据推导出的公共边缘或拐角连接。在一实施例中，该3D表面是经内插的3D网格。
在步骤406，计算设备106接收基于该3D表面的用于该2D图像的深度图，使得该深度图包括用于2D图像的每个像素的深度数据。在一实施例中，计算设备106生成深度图。在一实施例中，在步骤404中生成的经内插的3D网格被接着用于射线-投射以针对该2D图像的每个像素产生每像素深度数据。如本文中所使用，“射线-投射(ray-casting)”指使用射线跟踪的几何算法的计算机图形算法。射线投射背后的理念是跟踪来自相机的射线，每个像素一条射线，及发现阻挡此射线的路径的最靠近的表面。在一实施例中，每像素深度数据还计及图像捕捉设备104或2D相机204的分辨率及已知相机属性。在另一实施例中，计算设备106将深度图的生成分担至处理服务器108，且经由以上关于图3描述的通信接口318及网络链路320从处理服务器108接收深度图。在一实施例中，在步骤404处生成的3D表面被传送至处理服务器108。处理服务器108接着实现射线-投射算法以针对2D图像的每个像素生成每像素深度数据。每像素数据接着被传送至计算设备106。在一实施例中，处理服务器108针对在每个捕捉事件期间所捕捉的每个2D图像生成每像素深度数据。
在步骤408，皮肤状况103由计算设备106基于深度图来分析。在另一实施例中，皮肤状况103还可由处理服务器108分析。在一实施例中，皮肤状况103的当前测量结果可以与由计算设备106或处理服务器108储存的皮肤状况103的较旧的测量结果进行比较以用于诊断目的。例如，如果皮肤状况103是较早测量为两厘米宽且当前测量为四厘米宽的损伤，则临床医生可怀疑受试者102身上存在的皮肤状况103正在扩散且可能需要进一步诊断调查。在一实施例中，计算设备106或处理服务器108基于对皮肤状况103的当前与先前储存的测量结果进行比较而自动生成建议。在一实施例中，计算设备106或处理服务器可将深度图储存在类似于以上关于图3描述的存储设备310的存储设备中。
在一实施例中，处理服务器108可组合针对每个捕捉事件的每个2D图像所生成的3D表面，以生成描绘受试者102的身体的某一部分的3D表面。在一实施例中，处理服务器108可被校准以自动检测某些皮肤状况。例如，处理服务器108可自动检测大于五毫米的大小的痣，且基于提供干净板以用于图像分析的相机及表面角度校正2D图像中包含所检测到的痣的图像区域。
在一实施例中，处理服务器108可基于预先编程准则针对每个皮肤状况生成一恶性评分。例如，预先编程准则中的一些可包括：皮肤状况103相对于特定轴线的不对称性、可指示皮肤状况103的不规则生长、数目、种类及色彩中的变异的皮肤状况103的边界、皮肤状况103的直径、皮肤状况103在上皮表面上方的高度、及皮肤状况103随时间的演变。本领域技术人员将领会，预先编程准则的列表可基于关于皮肤状况及恶性指示符的演进医学理解来被扩大或进一步定义。
在一实施例中，处理服务器108基于针对各种皮肤状况的恶性评分生成针对受试者102的组合恶性评分。在一实施例中，各种恶性评分及组合恶性评分由处理服务器108传送至计算设备106，以用于由临床医生进一步分析。在一实施例中，处理服务器108将当前各种恶性评分及组合恶性评分与先前储存的各种恶性评分及组合恶性评分进行比较。
图5A、5B及5C解说了根据本发明的一实施例的用于生成每像素深度数据的示例性步骤的自顶向下视图。出于解说清晰示例的目的，将结合图1-4讨论图5A、5B及5C。
现在参考图5A，在一实施例中，图像捕捉设备104捕捉及储存受皮肤状况103影响的受试者102的2D图像连同相关的3D点云。在一实施例中，2D图像由2D像素504构成，且3D点云由3D点502构成。在一实施例中，图像捕捉设备104储存与2D图像相关联的一组3D点云，随后将其提交至计算设备106以供在稍后阶段处理。
现在参考图5B，在一实施例中，计算设备106利用3D点云的3D点502来生成3D表面506。在一实施例中，3D表面506是受试者102的经内插的3D表面网格。在一实施例中，在生成3D表面506前，计算设备106过滤由3D点502构成的该组点云，如在以下图6A、6B、6C、6D及6E中所描述。在一实施例中，计算设备106利用多种内插技术来产生对应于受试者102的表面几何形状的平滑表面几何形状。
例如，计算设备106可通过拟合最小曲率表面与3D点502、通过估计网格单元值来利用样条(spline)方法内插3D表面506。类似地，用于内插3D表面的距离倒数加权(IDW)方法通过平均化附近3D点502的值来估计单元值。3D点越靠近正被估计的单元的中心，越大的权重便被给予该3D点。可由计算设备106利用的另一内插技术是自然邻域(naturalneighbor)技术。此技术使用相邻3D点的加权平均并创建不超过3D点云中的最小或最大值的3D表面506。又一内插技术是克利金(kriging)技术。克利金技术涉及从周围测量的值形成权重以预测在未测量的位置处的值。本领域技术人员应领会，可结合用于内插3D表面506的广泛多种技术实现所公开的发明。
现在参考图5C，在一实施例中，计算设备106计算如从图像捕捉设备104的视角所观测的对应于2D图像的像素504中的每个像素的在3D表面506上的点的距离。在一实施例中，计算设备106将3D表面506传送至处理服务器108，且处理服务器108利用各种技术计算如从图像捕捉设备104的视角所观测的对应于2D图像的像素504中的每个像素的在3D表面506上的点的距离。在一实施例中，计算设备106或处理服务器108利用射线-投射技术来计算像素502的距离。
在一实施例中，计算设备106跟踪2D图像的每个像素的射线，使得射线源自经模拟的图像捕捉设备且穿过该像素。该射线可接着与3D表面506相交且生成用于该像素的深度测量。在一实施例中，计算设备106利用射线-跟踪算法生成2D图像的每个像素的深度数据。本领域技术人员应领会，以上描述的计算深度数据的方法并非限制性。可使用其他表面相交及距离测量技术。在一实施例中，由计算设备106通过应用射线-投射技术所生成的每像素深度数据可被储存在数据结构中。例如，该数据结构可以是阵列或列表。本领域技术人员将领会，每像素深度数据对应于实际距离值。实际距离值基于测量单位(例如，米或英寸)，因此0.63728的值将对应于0.63728米或63.728cm。实际距离值不需要进一步解码或内插。在一实施例中，每像素深度数据可由计算设备106或处理服务器108用于皮肤状况的进一步测量、检测及分析。
图6A、6B、6C、6D、6E及6F解说了根据本发明的一实施例的过滤一组点云中的数据噪声的示例性方法。出于阐明清晰示例的目的，将参考图1-5讨论图6A、6B、6C、6D、6E及6F。
图6A、6B及6C描绘可由图像捕捉设备104的3D设备206捕捉的3D点云的输入集合602。在一实施例中，该组云中的每个点云与一个捕捉事件及由2D相机204捕捉的2D图像的一或多个像素有关。
在一实施例中，3D点云的输入集合602接着经受噪声移除机制，其利用基于立体像素的邻域检查(类似于自然邻域技术)及点位置平均化(类似于如上关于图5A-5C描述的IDW)。
现在参考图6D，在一实施例中，计算设备106组合点云的输入集合602以生成复合3D点云604。在一实施例中，复合3D点云604是基于以下来生成的：使用跨点云的输入集合602的界限的基于立体像素的云划分比较跨点云的输入集合602的区域的变化。
现在参考图6E及6F，在一实施例中，计算设备106通过利用立体像素-邻域定位606技术生成经过滤的3D点云608。例如，对于每个立体像素，在将立体像素中的点确定为是有效的且将它们的位置的平均值用于此区域之前，需要从最小数目个点云呈现一点。这消除了可被考虑为数据噪声的3D点，因为噪声典型地仅存在于个别云中，且概率上不太可能持续跨点云的输入集合602中的所有点云。在一实施例中，计算设备106可对经过滤的3D点云608执行附加过滤以移除离群值区段、在多帧噪声移除中未移除的平滑小噪声，且按更适合于三角测量的方式结构化3D点数据。例如，用于执行附加过滤的一些技术可包括平面拟合点法线估计、简化及双侧过滤。
图7A、7B及7C解说了根据本发明的一实施例的用于生成2D图像的像素的设备-空间位置的示例性步骤。出于解说清晰示例的目的，将关于图1-4讨论图7A-7C。如本文所使用，“设备-空间(device-space)”指在坐标系中相对于设备的3D位置，使得该设备具有在原点(0,0,0)处的位置及定向。例如，对于图7A-图7C，图像捕捉设备104处于原点。
现在参考图7A-7C，在一实施例中，由计算设备106或处理服务器108在如关于图4描述的步骤406中生成的每像素深度数据或深度图可由计算设备106或处理服务器108利用以计算2D图像中的给定像素的尺寸。捕捉皮肤状况103的像素的像素尺寸可有用于分析皮肤状况103。
在一实施例中，可根据一给定像素及四个相邻像素的深度值来计算该给定像素的尺寸。在一实施例中，这四个相邻像素的深度值帮助确立像素的四个拐角的实际或现实世界位置。例如，参考图7A，像素p的尺寸可基于这四个相邻像素p1 N、p2 N、p3 N及p4 N的深度值来计算。
为了计算像素p、p1 N、p2 N、p3 N及p4 N的设备空间位置，我们首先将二维坐标指派至这些像素。例如，参考图7B，像素p、p1 N、p2 N、p3 N及p4 N分别被指派坐标(1,1)、(0,2)、(2,2)、(0,0)及(2,0)。其他实施例可使用其他坐标。任何任意坐标可被使用，只要同一坐标方案被用于2D图像中的所有像素。
参考图7C，在一实施例中，用于计算给定像素p的尺寸的方法可进一步利用2D相机204的已知水平视野ΘH及垂直视野ΘV来计算每个像素在3维中的相机-空间位置。在一实施例中，计算设备106或处理服务器108基于以上参数确定像素p、p1 N、p2 N、p3 N及p4 N的设备-空间位置。在一实施例中，这些像素p、p1 N、p2 N、p3 N及p4 N的设备-空间位置根据以下公式来计算：
Figure BDA0002384242530000181
在以上公式中，D表示给定像素的深度，C表示如上关于图7B讨论的像素的坐标，其中Ch及Cv分别表示水平及垂直坐标值，且R表示总图像的分辨率，其Rh及Rv分别表示水平及垂直分辨率。ΘH及ΘV表示水平及垂直2D相机204视野角度。因而由计算设备106针对像素p、p1 N、p2 N、p3 N及p4 N所计算的设备-空间位置虑及基于期望的面积或路径测量来做出对像素p的进一步测量。本领域技术人员应领会，利用每像素评估虑及准确的表面特征测量，而与轮廓及相机或设备角度无关。此外，当计算涵盖多个像素的区域的尺寸(例如，皮肤状况103的尺寸)时，跨所有相关像素使用同一过程，其中每个像素的结果的总和表示正被测量的该区域的结果。
图8A、8B及8C解说了根据本发明的一实施例的用于生成2D图像的像素的像素尺寸的示例性步骤。出于解说清晰示例的目的，将关于图7A-7C讨论图8A-C。
现在参考图8A-8C，在一实施例中，计算设备106或处理服务器108基于图7A-7C中的一给定像素及其相邻像素的先前确定的设备-空间位置来计算该给定像素的像素尺寸。继续来自上文的示例，在确定像素p、p1 N、p2 N、p3 N及p4 N的相机-空间位置之后，计算设备106或处理服务器108可使用向量减法生成像素-空间拐角向量。如本文中所使用，“像素-空间(pixel-space)”指相对于参考像素的对应3D位置的3D位置，使得参考像素的3D位置在原点(0，0，0)处。
此外，“拐角向量(corner vector)”指在像素-空间中的给定像素的每个拐角的3D位置。参考图8A，Pos及
Figure BDA0002384242530000194
分别指像素p及
Figure BDA0002384242530000195
的位置向量。参考图8B，V1-4指给定像素p的拐角向量。根据以下公式计算拐角向量：
Figure BDA0002384242530000191
因而，如果Pos＝x0，y0，z0且
Figure BDA0002384242530000192
则：
Figure BDA0002384242530000193
V1＝(x1，y1，z1-x0，y0，z0)/2
V1＝(x1-x0)/2，(y1-y0)/2，(z1-z0)/2
现在参考图8C，在一实施例中，计算设备106或处理服务器108可利用拐角向量来计算像素的水平及垂直尺寸。在一实施例中，根据以下公式计算这些尺寸：
Figure BDA0002384242530000201
Figure BDA0002384242530000202
Figure BDA0002384242530000203
Figure BDA0002384242530000204
Figure BDA0002384242530000205
Figure BDA0002384242530000206
Figure BDA0002384242530000207
Figure BDA0002384242530000208
针对水平及垂直尺寸成对地计算拐角向量，其中ht表示顶部水平尺寸，hb表示底部水平尺寸，vl表示左垂直尺寸且vr表示右垂直尺寸。x0,y0,z0表示给定像素的位置向量。在一实施例中，需要四个尺寸中的仅两个用于皮肤状况103的进一步测量或分析。例如，可仅需要经聚集的像素宽度及经聚集的像素高度以用于计算皮肤状况103的表面积，且计算设备106或处理服务器108可利用对应边缘的平均值以提供单个像素宽度/高度值组合。
图9A、9B及9C解说了根据本发明的一实施例的用于测量2D图像的子像素区域的示例性步骤。为了解说清晰示例，将参考先前讨论过的图来讨论图9A-9C。如上面关于图8A-8C描述的由计算设备106或处理服务器108生成的一或多个像素的像素尺寸可以被计算设备106或处理服务器108用来测量2D图像中的给定像素的子像素区域。2D图像的诸区域的子像素测量结果可有用于分析皮肤状况103，其中皮肤状况103未由完整数目的像素描绘，即皮肤状况103被包括在某些像素的诸部分中。
现在参考图9A至图9C，在一实施例中，像素-空间测量栏位可表示子像素区域(例如，如图9A中所描绘的线)，或局部像素范围(例如，图9B及图9C)。在一实施例中，标准化的像素边缘交叉点被用来经由以上关于图8A-8C讨论过的拐角向量的线性内插来推导新相机-空间向量。在一实施例中，通过计算在一对相交点向量之间的距离来计算长度。例如，在图9A中，使用两个相交点向量I1及I2来确定图9A中所示出的线的长度。
类似地，当需要局部范围时，像素的“内部(interior)”被确定并且三个三角形点向量使用相关边缘相交及三角函数的相反数来计算，以计算三角形属性。例如，在图9B中，使用由相交向I2、
Figure BDA0002384242530000216
及I1形成的三角形计算局部像素范围。在相交三角形不表示完整像素“内部”的情况下，使用矩形来计算其余范围尺寸(如果需要的话)。例如，在图9C中，使用由相交向量I2、
Figure BDA0002384242530000211
V3及V4形成的矩形来计算由相交向量界定的子像素区域的范围。
在一实施例中，使用以下给出的标准2D无限线相交公式来计算边缘交叉点，其中出现在标准化的像素空间外的所得交叉点被丢弃。
Figure BDA0002384242530000212
Figure BDA0002384242530000213
Figure BDA0002384242530000214
Δ＝al·b2-a2·b1
Figure BDA0002384242530000215
在以上公式中，Ls 1表示线1开始坐标，Le 1表示线1结束坐标。类似地，Ls 2表示线2开始坐标，Le 2表示线2结束坐标。在一实施例中，在图5A-5C、图6A-6F、图7A-7C、图8A-8C及图9A-9C中所描述的计算由计算设备106或处理服务器108的专用计算及分析模块执行。
图10解说了根据本发明的一实施例的用于分析皮肤状况的输出2D图像的示例性视图。出于解说清晰示例的目的，将关于图1-4来讨论图10。
在图10中，受试者102及至少一个皮肤状况103通过图形用户接口(GUI)而可看见。在一实施例中，GUI由在计算设备106或处理服务器108上执行的自立应用来实现。在一实施例中，GUI是在图像捕捉设备104上实现的用户接口的扩展，其可由图像捕捉设备104的用户经由如上所述的触摸屏操纵。在一实施例中，GUI可允许用户通过使用如关于图3的计算机系统300所描述的输入设备314与受试者102的最终2D图像连同用于2D图像的每个像素的嵌入式深度数据一起交互。在一实施例中，用户可能能够操纵受试者102的最终2D图像以用于皮肤状况103的测量及分析。例如，用户可能能够旋转、放大或缩小、改变视角、屏幕截图、测量对皮肤状况103的改变。在一实施例中，用户能够在GUI中发起最终2D图像及由处理服务器108储存的先前最终2D图像的并排(side-by-side)比较。在一实施例中，GUI允许用户以不同放大率查看皮肤状况103，这也有用于检测不同大小的其他皮肤状况。
在前文说明书中，已参考可在各实施例之间变化的众多特定细节描述了本发明的各实施例。因此，说明书和附图应被认为是说明性的而不是限制性的。本发明范围的唯一且排他性的指示、以及申请人意图作为本发明的范围的是从本申请提出的权利要求的集合的字面意义和等效范围，该权利要求以此类权利要求提出的特定形式包括任何后续更正。本文中针对此类权利要求中包含的术语明确阐述的任何定义应控管如在权利要求中使用的此类术语的意义。

Claims (37)

1.一种分析皮肤状况的方法，包括：
使用计算设备接收所述皮肤状况的二维(2D)图像及与所述2D图像相关联的一组三维(3D)点云；
使用所述计算设备根据所述一组3D点云生成3D表面；
使用所述计算设备接收基于所述3D表面的用于所述2D图像的深度图，其中所述深度图包括用于所述2D图像的每个像素的深度值；以及
使用所述计算设备基于所述2D图像及所述深度图分析所述皮肤状况。
2.如权利要求1所述的方法，其特征在于，所述一组3D点云中的每个3D点云中的每个3D点对应于所述2D图像的至少一个像素。
3.如权利要求1所述的方法，其特征在于，所述深度图是使用第二计算设备来生成的。
4.如权利要求3所述的方法，其特征在于，进一步包括：
将所述深度图储存在通信地耦合至所述第二计算设备的存储器设备中。
5.如权利要求3所述的方法，其特征在于，所述深度图通过使用所述第二计算设备根据所述2D图像及所述3D表面实现射线-投射算法来被计算。
6.如权利要求3所述的方法，其特征在于，所述深度图通过使用所述第二计算设备根据所述2D图像及所述3D表面实现射线-跟踪算法来被计算。
7.如权利要求1所述的方法，其特征在于，所述2D图像及所述一组3D点云使用图像捕捉设备来捕捉。
8.如权利要求7所述的方法，其特征在于，进一步包括：
沿着围绕具有所述皮肤状况的受试者的至少一个轴线转动所述图像捕捉设备，以捕捉一组2D图像及3D点云的相关联集合。
9.如权利要求7所述的方法，其特征在于，进一步包括将所述2D图像及所述一组3D点云储存在通信地耦合至所述图像捕捉设备的存储器设备中。
10.如权利要求7所述的方法，其特征在于，所述图像捕捉设备包括二维(2D)相机。
11.如权利要求10所述的方法，其特征在于，进一步包括：
使用所述计算设备基于每个像素的所述深度值、所述2D相机的水平视野的角度及所述2D相机的垂直视野的角度来生成针对所述2D图像的所述每个像素的一组像素尺寸。
12.如权利要求10所述的方法，其特征在于，所述2D相机捕捉所述皮肤状况的彩色2D图像。
13.如权利要求10所述的方法，其特征在于，所述2D相机捕捉所述皮肤状况的单色2D图像。
14.如权利要求10、11、12或13所述的方法，其特征在于，所述2D相机具有至少8百万像素的分辨率。
15.如权利要求7所述的方法，其特征在于，所述图像捕捉设备包括三维(3D)设备。
16.如权利要求15所述的方法，其特征在于，所述3D设备是3D扫描仪。
17.如权利要求15所述的方法，其特征在于，所述3D设备是3D相机，并且其中所述3D相机捕捉对应于所述2D图像的所述一组3D点云。
18.如权利要求1所述的方法，其特征在于，所述3D表面是经内插的3D表面网格。
19.如权利要求1所述的方法，其特征在于，所述3D表面描绘所述皮肤状况的轮廓。
20.如权利要求1所述的方法，其特征在于，所述3D表面通过使用所述计算设备过滤出所述一组3D点云的至少一个3D点云中的一组像差来被生成。
21.如权利要求1所述的方法，其特征在于，所述3D表面通过使用所述计算设备使用至少一种内插算法来生成。
22.如权利要求1所述的方法，其特征在于，分析所述皮肤状况进一步包括使用所述计算设备测量所述皮肤状况的大小。
23.如权利要求22所述的方法，其特征在于，分析所述皮肤状况进一步包括使用所述计算设备确定所述皮肤状况的所述大小中的方差。
24.如权利要求23所述的方法，其特征在于，分析进一步包括使用所述第二计算设备根据所述皮肤状况的所述大小中的所述方差来自动诊断所述皮肤状况。
25.一种用于分析皮肤状况的系统，包括：
图像捕捉设备，所述图像捕捉设备捕捉所述皮肤状况的二维(2D)图像及与所述2D图像相关联的一组三维(3D)点云；
计算设备，所述计算设备通信地耦合至所述图像捕捉设备及第二计算设备，其中所述计算设备：
从所述图像捕捉设备接收所述2D图像及所述一组3D点云；
根据所述一组3D点云生成3D表面；
从所述第二计算设备接收基于所述3D表面的用于所述2D图像的深度图，其中所述深度图包括用于所述2D图像的每个像素的深度数据；以及
基于所述深度图分析所述皮肤状况。
26.如权利要求25所述的系统，其特征在于，所述图像捕捉设备进一步包括2D相机，其中所述2D相机捕捉所述2D图像。
27.如权利要求25所述的系统，其特征在于，所述图像捕捉设备进一步包括3D设备，其中所述3D设备捕捉所述一组3D点云。
28.如权利要求25所述的系统，其特征在于，所述图像捕捉设备进一步包括电池，其中所述电池对所述图像捕捉设备供电。
29.如权利要求25所述的系统，其特征在于，所述图像捕捉设备进一步包括闪光灯装置，其中所述闪光灯装置包括至少一个发光二极管。
30.如权利要求25所述的系统，其特征在于，所述图像捕捉设备进一步包括触摸屏显示器。
31.如权利要求25所述的系统，其特征在于，进一步包括与所述第二计算设备的至少一者通信地耦合的至少一个存储设备，其中所述存储设备储存所述深度图。
32.如权利要求31所述的系统，其特征在于，所述至少一个存储设备包括由以下各项组成的群组中的至少一者：内部硬盘驱动器、外部硬盘驱动器、通用串行总线(USB)驱动器、固态驱动器、以及网络附连的存储设备。
33.如权利要求25所述的系统，其特征在于，所述计算设备及所述第二计算设备包括由以下各项组成的群组中的至少一者：微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)及高级精简指令集计算机器(ARM)。
34.如权利要求25所述的系统，其特征在于，所述计算设备经由至少一种网络连接被通信地耦合至所述图像捕捉设备及所述第二计算设备。
35.如权利要求34所述的系统，其特征在于，所述至少一种联网技术包括由以下各项组成的群组中的至少一者：Wi-Fi、蓝牙、以太网络、光纤连接、红外、近场通信或同轴电缆连接。
36.一种用于自动检测皮肤状况的系统，包括：
图像捕捉设备，所述图像捕捉设备自动捕捉受试者的一组二维(2D)图像及与所述一组2D图像中的每个2D图像相关联的一组三维(3D)点云；
计算设备，所述计算设备通信地耦合至所述图像捕捉设备及第二计算设备，其中所述计算设备：
自动接收所述受试者的所述一组2D图像及用于所述每个2D图像的所述一组3D点云；
基于所述一组3D点云自动生成所述受试者的3D再现；
从所述第二计算设备自动接收用于所述一组2D图像中的所述每个2D图像的深度图，其中所述深度图包括用于所述每个2D图像的每个像素的深度数据；以及
存储设备，所述存储设备通信地耦合至所述计算设备，其中所述存储设备自动储存所述深度图。
37.如权利要求36所述的系统，其特征在于，用户端服务器进一步包括分析模块，并且其中所述分析模块：
基于所述深度图及所述2D图像自动生成所述皮肤状况的测量结果；
基于对所述皮肤状况的所述测量结果与所述皮肤状况的先前储存的测量结果进行比较来自动确定所述皮肤状况中的方差；以及
根据所述皮肤状况中的所述方差自动生成评估及诊断输出。
CN201880052957.7A 2017-08-17 2018-08-15 用于分析皮肤状况的系统和方法 Active CN111031897B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
SG10201706752X 2017-08-17
SG10201706752XA SG10201706752XA (en) 2017-08-17 2017-08-17 Systems and methods for analyzing cutaneous conditions
PCT/SG2018/050414 WO2019035768A1 (en) 2017-08-17 2018-08-15 SYSTEMS AND METHODS FOR THE ANALYSIS OF SKIN DISORDERS

Publications (2)

Publication Number Publication Date
CN111031897A true CN111031897A (zh) 2020-04-17
CN111031897B CN111031897B (zh) 2023-09-29

Family

ID=65362686

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880052957.7A Active CN111031897B (zh) 2017-08-17 2018-08-15 用于分析皮肤状况的系统和方法

Country Status (12)

Country Link
US (1) US11504055B2 (zh)
EP (1) EP3668387B1 (zh)
KR (1) KR102635541B1 (zh)
CN (1) CN111031897B (zh)
AU (1) AU2018316381A1 (zh)
BR (1) BR112020003278A2 (zh)
CA (1) CA3073259A1 (zh)
ES (1) ES2950643T3 (zh)
NZ (1) NZ761745A (zh)
SG (1) SG10201706752XA (zh)
TW (1) TWI804506B (zh)
WO (1) WO2019035768A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11087523B2 (en) * 2018-10-26 2021-08-10 Autodesk, Inc. Production ray tracing of feature lines
CN112085846A (zh) * 2019-06-14 2020-12-15 通用电气精准医疗有限责任公司 用于在成像系统中生成对象3d点云的方法和系统
CN111461980B (zh) * 2020-03-30 2023-08-29 北京百度网讯科技有限公司 点云拼接算法的性能估计方法和装置
US10853955B1 (en) 2020-05-29 2020-12-01 Illuscio, Inc. Systems and methods for point cloud encryption
WO2022108067A1 (en) * 2020-11-19 2022-05-27 Samsung Electronics Co., Ltd. Method for rendering relighted 3d portrait of person and computing device for the same
US11823327B2 (en) 2020-11-19 2023-11-21 Samsung Electronics Co., Ltd. Method for rendering relighted 3D portrait of person and computing device for the same
KR102492692B1 (ko) * 2020-12-01 2023-01-27 (주)와이즈콘 머신러닝을 이용한 피부 이미지 분석 시스템 및 방법과 이를 위한 컴퓨터 프로그램
TWI775229B (zh) * 2020-12-02 2022-08-21 碁曄科技股份有限公司 美膚檢測系統及其方法
KR102472583B1 (ko) 2021-01-28 2022-11-30 한림대학교 산학협력단 찰과상에 대한 진단 정보를 제공하는 인공지능 모델 기반의 전자 장치, 제어 방법, 및 컴퓨터 프로그램
US11386235B1 (en) 2021-11-12 2022-07-12 Illuscio, Inc. Systems and methods for dynamic checksum generation and validation with customizable levels of integrity verification
WO2023199357A1 (en) * 2022-04-13 2023-10-19 Garg Dr Suruchi A system of identifying plurality of parameters of a subject's skin and a method thereof
US11527017B1 (en) 2022-05-03 2022-12-13 Illuscio, Inc. Systems and methods for dynamic decimation of point clouds and data points in a three-dimensional space
US11468583B1 (en) 2022-05-26 2022-10-11 Illuscio, Inc. Systems and methods for detecting and correcting data density during point cloud generation
CN116320199B (zh) * 2023-05-19 2023-10-31 科大乾延科技有限公司 一种元宇宙全息显示信息智能管理系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6278460B1 (en) * 1998-12-15 2001-08-21 Point Cloud, Inc. Creating a three-dimensional model from two-dimensional images
EP1321893A2 (en) * 2001-11-27 2003-06-25 Samsung Electronics Co., Ltd. Node structure for representing 3-dimensional objects using depth image
US20130235233A1 (en) * 2012-03-09 2013-09-12 Research In Motion Limited Methods and devices for capturing images
US20160058288A1 (en) * 2014-08-28 2016-03-03 Mela Sciences, Inc. Three dimensional tissue imaging system and method
CN106164929A (zh) * 2013-12-03 2016-11-23 儿童国家医疗中心 用于创面评估与管理的方法和系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0209080D0 (en) * 2002-04-20 2002-05-29 Virtual Mirrors Ltd Methods of generating body models from scanned data
US7546156B2 (en) * 2003-05-09 2009-06-09 University Of Rochester Medical Center Method of indexing biological imaging data using a three-dimensional body representation
US20090118600A1 (en) * 2007-11-02 2009-05-07 Ortiz Joseph L Method and apparatus for skin documentation and analysis
US20110218428A1 (en) * 2010-03-04 2011-09-08 Medical Scan Technologies, Inc. System and Method for Three Dimensional Medical Imaging with Structured Light
CN101966083B (zh) * 2010-04-08 2013-02-13 太阳系美容事业有限公司 异常皮肤面积计算系统及其计算方法
SG10201405182WA (en) * 2014-08-25 2016-03-30 Univ Singapore Technology & Design Method and system
US10455134B2 (en) * 2014-10-26 2019-10-22 Galileo Group, Inc. Temporal processes for aggregating multi dimensional data from discrete and distributed collectors to provide enhanced space-time perspective
KR101718868B1 (ko) * 2015-09-21 2017-03-22 한국과학기술연구원 자동 의료영상 분할에 의한 3차원 악안면 모델 형성 방법, 이를 수행하는 자동 영상 분할과 모델 형성 서버 및 이를 저장하는 기록매체
US10007971B2 (en) * 2016-03-14 2018-06-26 Sensors Unlimited, Inc. Systems and methods for user machine interaction for image-based metrology
TWI573100B (zh) * 2016-06-02 2017-03-01 Zong Jing Investment Inc 自動臉部化妝方法
WO2018185560A2 (en) * 2017-04-04 2018-10-11 Aranz Healthcare Limited Anatomical surface assessment methods, devices and systems
CN110305140B (zh) * 2019-07-30 2020-08-04 上海勋和医药科技有限公司 二氢吡咯并嘧啶类选择性jak2抑制剂

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6278460B1 (en) * 1998-12-15 2001-08-21 Point Cloud, Inc. Creating a three-dimensional model from two-dimensional images
EP1321893A2 (en) * 2001-11-27 2003-06-25 Samsung Electronics Co., Ltd. Node structure for representing 3-dimensional objects using depth image
US20130235233A1 (en) * 2012-03-09 2013-09-12 Research In Motion Limited Methods and devices for capturing images
CN106164929A (zh) * 2013-12-03 2016-11-23 儿童国家医疗中心 用于创面评估与管理的方法和系统
US20160058288A1 (en) * 2014-08-28 2016-03-03 Mela Sciences, Inc. Three dimensional tissue imaging system and method

Also Published As

Publication number Publication date
EP3668387A1 (en) 2020-06-24
TW201922163A (zh) 2019-06-16
ES2950643T3 (es) 2023-10-11
SG10201706752XA (en) 2019-03-28
AU2018316381A1 (en) 2020-03-12
KR20200042509A (ko) 2020-04-23
CN111031897B (zh) 2023-09-29
BR112020003278A2 (pt) 2020-09-01
TWI804506B (zh) 2023-06-11
WO2019035768A1 (en) 2019-02-21
KR102635541B1 (ko) 2024-02-08
US20200205723A1 (en) 2020-07-02
EP3668387A4 (en) 2021-05-12
NZ761745A (en) 2022-07-01
CA3073259A1 (en) 2019-02-21
EP3668387B1 (en) 2023-05-24
US11504055B2 (en) 2022-11-22

Similar Documents

Publication Publication Date Title
CN111031897B (zh) 用于分析皮肤状况的系统和方法
CN109564690B (zh) 使用多向相机评估封闭空间的尺寸
US9886774B2 (en) Photogrammetric methods and devices related thereto
US8988317B1 (en) Depth determination for light field images
EP2976748B1 (en) Image-based 3d panorama
JP4986679B2 (ja) 非静止物体の三次元画像計測装置、三次元画像計測方法および三次元画像計測プログラム
JP2017010327A (ja) 情報処理装置、情報処理方法及びプログラム
US20140043444A1 (en) Stereo camera device and computer-readable recording medium
CN111192321B (zh) 目标物三维定位方法与装置
WO2022078442A1 (zh) 一种基于光扫描和智能视觉融合的3d信息采集方法
WO2022078440A1 (zh) 一种包含运动物体的空间占用率采集判断设备及方法
CN113345084B (zh) 三维建模系统及三维建模方法
JP7006810B2 (ja) ３次元計測装置、移動ロボット、手押し車型移動装置および３次元計測処理方法
US11937967B2 (en) Automating a medical environment
JP2004170277A (ja) ３次元計測方法、３次元計測システム、画像処理装置、及びコンピュータプログラム
JP5409451B2 (ja) ３次元変化検出装置
US20240164758A1 (en) Systems and methods for generating patient models based on ultrasound images
US12002152B2 (en) Three-dimensional model generation method and three-dimensional model generation device
US20220114785A1 (en) Three-dimensional model generation method and three-dimensional model generation device
CN112489745A (zh) 用于医疗设施的感测装置及实施方法
JP2014102756A (ja) 画像処理方法、装置、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant