CN115810039A - 可携式电子装置及伤口尺寸测量方法 - Google Patents

可携式电子装置及伤口尺寸测量方法 Download PDF

Info

Publication number
CN115810039A
CN115810039A CN202111254232.6A CN202111254232A CN115810039A CN 115810039 A CN115810039 A CN 115810039A CN 202111254232 A CN202111254232 A CN 202111254232A CN 115810039 A CN115810039 A CN 115810039A
Authority
CN
China
Prior art keywords
wound
reference object
image
actual
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111254232.6A
Other languages
English (en)
Inventor
胡文芯
杨继仪
林哲渝
谢惠琪
林英期
黄启伦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wistron Corp
Original Assignee
Wistron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wistron Corp filed Critical Wistron Corp
Publication of CN115810039A publication Critical patent/CN115810039A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1072—Measuring physical dimensions, e.g. size of the entire body or parts thereof measuring distances on the body, e.g. measuring length, height or thickness
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1075—Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions by non-invasive methods, e.g. for determining thickness of tissue layer
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/445—Evaluating skin irritation or skin trauma, e.g. rash, eczema, wound, bed sore
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Geometry (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Databases & Information Systems (AREA)
  • Dermatology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)

Abstract

一种伤口尺寸测量方法，包括：利用可携式电子装置的相机装置获得一输入影像；利用卷积类神经网络模型对输入影像进行辨识，并选择具有为伤口的最高几率的部分该输入影像作为输出伤口影像；以及依据作业系统所回报的镜头焦距参数、可携式电子装置的水平俯仰角度所对应的多个参考校正参数、以及输出伤口影像的像素高度比例及像素宽度比例以计算输出伤口影像中的伤口区域的实际高度及实际宽度。

Description

可携式电子装置及伤口尺寸测量方法
技术领域
本发明的实施例是有关于影像处理，特别是有关于一种可携式电子装置及伤口尺寸测量方法。
背景技术
现今的医院在病患的伤口照护上容易遇到许多问题。举例来说，伤口类型多元，且传统上会使用临床人员分工专业，导致现今医院伤口记录及数据库零散，市面上缺乏符合需求的整合照护平台。此外，伤口拍照的尺寸记录繁杂，传统的方须仰赖人工以尺测量或搭配外接式硬件设备，不利于应用或碍于成本考量，难以推广。再者，病人伤口照护过程需连续，但社区长照据点与病人返家后情形难以追踪及判断，缺乏具伤口专业经验的专家持续性照护。
发明内容
有鉴于此，本发明的实施例是提供一种可携式电子装置及伤口尺寸测量方法以解决上述问题。
本发明的实施例是提供一种可携式电子装置，包括：一显示面板、一惯性测量单元、一相机装置、一存储装置及一运算单元。惯性测量单元用以检测该可携式电子装置的一水平俯仰角度。相机装置用以获得一输入影像。存储装置用以存储一作业系统、一伤口测量程序、一区域候选网络模型及一卷积类神经网络模型。运算单元，用以执行该伤口测量程序以执行下列步骤：利用该卷积类神经网络模型对该输入影像进行辨识，并选择具有为伤口的最高几率的部分该输入影像作为输出伤口影像；以及依据该作业系统所回报的镜头焦距参数、该水平俯仰角度所对应的多个参考校正参数、以及该输出伤口影像的像素高度比例及像素宽度比例以计算该输出伤口影像的实际高度及实际宽度。
在一些实施例中，所述参考校正参数包括：参考物件实际高度、参考物件实际宽度、参考物件像素高度比例及参考物件对焦距离。在该伤口测量程序的水平校正过程中，该可携式电子装置是以水平俯仰角度为0度对一参考物件进行拍照以得到一第一参考物件影像，并从该操作系统的一应用程序编程接口取得一第一参考对象对焦距离，且该参考物件具有该参考物件实际高度及该参考物件实际宽度。在该伤口测量程序的垂直校正过程中，该可携式电子装置是以水平俯仰角度为90度对该参考物件进行拍照以得到一第二参考物件影像，并从该操作系统的该应用程序编程接口取得一第二参考对象对焦距离。该运算单元将在该可携式电子装置的显示面板上显示的该第一参考物件影像或该第二参考物件影像的第一像素高度除以该显示面板的第二像素高度以得到第一参考物件像素高度比例或第二参考物件像素高度比例。
在一些实施例中，因应于该水平俯仰角度介于0至45度，该运算单元是使用该第一参考物件对焦距离以作为该参考物件对焦距离，并使用该第一参考物件像素高度比例作为该参考物件像素高度比例。因应于该水平俯仰角度介于45至90度，该运算单元是使用该第二参考物件对焦距离以作为该参考物件对焦距离，并使用该第二参考物件像素高度比例作为该参考物件像素高度比例。
在一些实施例中，该运算单元是计算式(1)及式(2)以得到该输出伤口影像的该实际高度及该实际宽度：
Figure BDA0003323495950000021
Figure BDA0003323495950000022
其中，hc为该参考物件实际高度；gc为该参考物件对焦距离；pc为该参考物件像素高度比例；hm为该输出伤口影像的该实际高度；gm为该镜头焦距参数；pm为该像素高度比例；wm为该输出伤口影像的该实际宽度；wc为该参考物件实际宽度。
在一些实施例中，该运算单元更执行一机器学习分群演算法以将该输出伤口影像分为一伤口区域及一正常皮肤区域。该运算单元更计算在该输出伤口影像中的第一像素数量及该伤口区域中的第二像素数量，并将该第二像素数量除以该第一像素数量以得到一伤口区域像素比例。该运算单元更将该输出伤口影像的该实际高度乘上该实际宽度以得到该输出伤口影像的实际面积，并将该实际面积乘上该伤口区域像素比例以得到该伤口区域的实际面积。
在一些实施例中，该运算单元更计算在该伤口区域中的各像素的红色、绿色及蓝色子像素的一第一红色平均值、一第一绿色平均值及一第一蓝色平均值，并计算在该正常皮肤区域中的各像素的红色、绿色及蓝色子像素的一第二红色平均值、一第二绿色平均值及一第二蓝色平均值，并依据该第一红色平均值、该第一绿色平均值、该第一蓝色平均值、该第二红色平均值、该第二绿色平均值及该第二蓝色平均值以计算该伤口区域及该正常皮肤区域之间的欧氏距离以表示该伤口区域的严重程度。
在一些实施例中，因应于该运算单元判断该输出伤口影像的该实际面积比一前次输出伤口影像的实际面积大于一第一预定比例，该运算单元是通知一服务器以将该可携式电子装置的使用者名称加入一关怀清单，以供医护人员进行相关检视。在另一些实施例中，因应于该运算单元判断该输出伤口影像的该严重程度比一前次输出伤口影像的严重程度大于一第二预定比例，该运算单元是通知一服务器以将该可携式电子装置的使用者名称加入一关怀清单，以供医护人员进行相关检视。
在一些实施例中，在该运算单元利用该卷积类神经网络模型对该输入影像进行辨识之前，该运算单元利用该区域候选网络模型以使用该输入影像产生多个第一定界框，并从所述第一定界框中过滤出含有伤口几率大于预定值的多个第二定界框。该卷积类神经网络模型是选择具有为伤口的最高几率的该第二定界框作为输出伤口影像。
本发明的实施例更提供一种伤口尺寸测量方法，用于一可携式电子装置，该可携式电子装置包括一显示面板及一相机装置，该方法包括：利用该相机装置获得一输入影像；利用一卷积类神经网络模型对该输入影像进行辨识，并选择具有为伤口的最高几率的部分该输入影像作为输出伤口影像；以及依据该作业系统所回报的镜头焦距参数、该可携式电子装置的水平俯仰角度所对应的多个参考校正参数、以及该输出伤口影像的像素高度比例及像素宽度比例以计算该输出伤口影像中的伤口区域的实际高度及实际宽度。
附图说明
图1为依据本发明一实施例中的可携式电子装置的方框图。
图2A为依据本发明一实施例中的卷积类神经网络模型的模型训练过程的示意图。
图2B为依据本发明一实施例中的区域候选网络模型的架构的示意图。
图2C为依据本发明一实施例中使用卷积类神经网络模型及区域候选网络模型进行伤口辨识的流程图。
图2D为依据本发明图2C实施例中利用区域候选网络模型将输入影像分割为多个第一定界框的示意图。
图2E为依据本发明图2C实施例中从多个第一定界框中决定多个第二定界框的示意图。
图2F为依据本发明图2C实施例中利用卷积类神经网络模型以判断各第二定界框为伤口的几率的示意图。
图2G为依据本发明图2C实施例中的输出伤口影像的示意图。
图3A为依据本发明一实施例中的可携式电子装置在水平俯仰角度为0度的示意图。
图3B为依据本发明一实施例中的可携式电子装置的水平校正过程的示意图。
图3C为依据本发明一实施例中的可携式电子装置在水平俯仰角度为90度的示意图。
图3D为依据本发明一实施例中的可携式电子装置的垂直校正过程的示意图。
图4A及图4B为依据本发明一实施例的相机装置在不同距离的成像的示意图。
图5A～图5C为依据本发明一实施例中将输出伤口影像进行分群的示意图。
图6为依据本发明一实施例中的伤口照护系统的方框图。
图7A及图7B为依据本发明一实施例中的伤口区域的不同严重程度及面积的示意图。
图8为依据本发明一实施例中的伤口尺寸测量方法的流程图。
其中，附图标记说明如下：
100：可携式电子装置
101：前表面
102：后表面
105：相机装置
110：相机模块
111：镜头
112：彩色滤光片阵列
113：影像感测器
115：控制器
116：自动对焦模块
120：运算单元
130：存储器单元
140：存储装置
141：作业系统
142：伤口测量程序
143：卷积类神经网络模型
144：区域候选网络模型
145：数据库
150：通信接口
160：显示面板
170：惯性测量单元
171：陀螺仪
172：加速度计
173：磁力计
1430：输入影像
1431：特征地图
1432：网络层
1433：输出伤口影像
1441：滑动窗
1442：定位框
1443：中间层
1444：分类层
1445：回归层
210：输入影像
211：第一定界框
212：第二定界框
230：方框
240：输出伤口影像
310：水平线
320：参考物件
330：参考物件影像
510：输出伤口影像
511、521：伤口区域
512、522：正常皮肤区域
520：分群影像
600：伤口照护系统
610：服务器
615：病患数据库
620：网络
710、720：输出伤口影像
711、721：伤口区域
712、722：正常皮肤区域
S810-S830：步骤
fd：预定距离
h：实际高度
d：待测物距离
fp：焦点
Pm：成像高度
h1：高度
w1：宽度
h2、H：像素高度
w2、W：像素宽度
具体实施方式
为使本发明的上述目的、特征和优点能更明显易懂，下文特举一较佳实施例，并配合所附图式，作详细说明如下。
必须了解的是，使用于本说明书中的"包含"、"包括"等词，是用以表示存在特定的技术特征、数值、方法步骤、作业处理、元件以及/或组件，但并不排除可加上更多的技术特征、数值、方法步骤、作业处理、元件、组件，或以上的任意组合。
图1为依据本发明一实施例中的可携式电子装置的方框图。可携式电子装置100例如是一智能手机、一平板电脑、一笔记本电脑等等，但本发明的实施例并不限于此。如图1所示，可携式电子装置100包括一相机装置105、一运算单元120、一存储器单元130、一存储装置140、一通信接口150、一显示面板160、及一惯性测量单元170。相机模块110是用于拍摄一物件影像。举例来说，相机装置105是包括至少一相机模块110、一控制器115、及一自动对焦模块116。
相机模块110包括一镜头111、一彩色滤光片阵列112、一影像感测器113。彩色滤光片阵列112是包括多个红色滤光片、绿色滤光片、及蓝色滤光片，且红色滤光片、绿色滤光片、及蓝色滤光片是以一预定图样排列，例如是拜耳图样(Bayer pattern)或其他类型的图样。影像感测器113为一彩色影像感测器，例如可由电荷耦合装置(charge coupleddevice，CCD)感测器或互补式金属氧化物半导体(complementary metal-oxidesemiconductor，CMOS)感测器所实现。控制器115例如可为一微控制器(microcontroller)，但本发明的实施例并不限于此。
来自目标物件的场景的入射光是穿过镜头111及彩色滤光片阵列112并在影像感测器113上成像，使得影像感测器113中的各个像素的光电元件将所感测到的光线转换为电信号，并传送电信号至控制器115。控制器115则可将所撷取的影像的各像素传送至运算单元120。自动对焦模块116例如包括一步进马达(step motor)，用以依据来自控制器115的一控制信号以调整镜头111或整个相机模块110的焦距(focal length)。
控制器115例如可对影像感测器113所撷取的影像执行一被动自动对焦(passiveAF)演算法(例如对比检测或相位检测自动对焦演算法)、或是可由显示面板160接收一对焦触控信号，借以控制自动对焦模块116微调镜头111或整个相机模块110的位置，使得影像感测器113可准确地对焦于目标物件以撷取其物件影像。此外，控制器115传送相机模块110的对焦信息至运算单元120，其中对焦信息例如可为焦距、步进马达的阶数等信息，但本发明的实施例并不限于此。
在一些实施例中，可携式电子装置100是包括两个或以上的相机模块110，其中不同的相机模块110的镜头111例如具有不同的焦距范围，且控制器115可利用不同的相机模块110所拍摄的影像进行自动对焦，并控制自动对焦模块116微调具有相应的焦距范围的镜头111或其相机模块110，使得上述相机模块110中的影像感测器113可以正确地对焦在目标物件。控制器115亦可传送自动对焦所选择的相机模块110的对焦信息至运算单元120，其中对焦信息例如可为焦距、步进马达的阶数等信息，但本发明的实施例并不限于此。
运算单元120是电性连接至相机装置105，运算单元120可使用多种方式实施，例如专用硬件电路或通用硬件实现(例如，单一处理器、具平行处理能力的多处理器或其他具运算能力的处理器)、上述实现方式例如可为一中央处理器(central processing unit)、一通用处理器(general-purpose processor)、或一微控制器(microcontroller)，但本发明的实施例并不限于此。
存储装置140例如为一非易失性存储器，例如为一硬盘机(hard disk drive)、一固态硬盘(solid-state disk)、或一只读存储器(read-only memory)等等，但本发明的实施例并不限于此。存储装置140是用以存储可携式电子装置100用以进行运行的作业系统141(例如是Android或iOS作业系统等等)、伤口测量程序142、卷积类神经网络(CNN，convolutional neural network)模型143及区域候选网络(RPN，region proposalnetwork)模型144。
假定CNN模型143及RPN模型均已经过模型训练过程，则RPN模型144可将相机装置105所拍摄的物件影像(例如为输入影像)分割为多个区域(bounding box)，并从中找出几率较大的一或多个候选区域以输入至CNN模型143。CNN模型143则可对各候选区域进行影像辨识以得到具有最高几率(信心度)为伤口影像的候选区域以作为输出伤口影像。伤口测量程序142是用于依据相机装置105的视角(Field of view，FOV)以及由作业系统141所回报的一镜头焦距参数以估计输出伤口影像的维度(dimension)信息，其中维度信息例如可为目标物件的宽度及高度。
存储器单元130例如为一易失性存储器，例如是静态随机存取存储器(staticrandom access memory，SRAM)或动态随机存取存储器(dynamic random access memory，DRAM)，但本发明的实施例并不限于此。存储器单元130可作为作业系统141的执行空间以及伤口测量程序142所产生的暂存数据的存储空间、以及影像缓冲器。举例来说，运算单元120可将存储于存储装置140中的作业系统141及伤口测量程序142读取至存储器单元130并执行。通信接口150例如包括有线/无线的传输接口，用以将可携式电子装置100连接至其他电子装置或服务器等等。
显示面板160例如可为一液晶(liquid crystal)显示面板、发光二极管(light-emitting diode)显示面板、有机发光二极管(organic light-emitting diode)显示面板、电子墨水(e-Ink)等等，但本发明的实施例并不限于此。在一些实施例中，显示面板160例如可整合一触控装置(未绘示)以进行触控操作，例如是电容式或电阻式的触控装置，且显示面板160例如可称为一触控面板，但本发明的实施例并不限于此。
惯性测量单元(inertial measurement unit)170包括一陀螺仪(gyroscope)171、一加速度计(accelerometer)172、及一磁力计(magnetometer)173。陀螺仪171是用以测量可携式电子装置100的方向(orientation)及角速度(angular speed)，加速度计172是用以测量可携式电子装置100的加速度，磁力计173是用以测量在可携式电子装置100的磁场强度及方向，其中陀螺仪171、加速度计172、及磁力计173所测量到的数据均属于惯性信息。举例来说，惯性测量单元170中的加速度计172及磁力计173可检测出可携式电子装置100的水平俯仰角度(pitch)。
在一实施例中，可携式电子装置100所使用的作业系统141例如为Android作业系统，则经过自动对焦后，作业系统141的Android Camera2应用程序接口(API)所回报的镜头焦距参数例如可为LENS_FOCUS_DISTANCE或是LENS_INFO_FOCUS_DISTANCE_CALIBRATION。上述镜头焦距参数例如为经过作业系统141的应用程序接口(API)所校正过的数值，其单位为屈光度(diopter)＝1/米。数值0表示镜头111所能对焦的最远距离，但最远距离不表示为无限远。举例来说，当目标物件与镜头111的距离处于特定焦距范围中(例如约为10～25公分)且可携式电子装置100的倾斜角度处于一特定角度(例如0度或90度)时，镜头111所使用的焦距f例如可由式(1)计算而得：
Figure BDA0003323495950000101
需注意的是，作业系统141所回报的镜头焦距参数LENS_FOCUS_DISTANCE或LENS_INFO_FOCUS_DISTANCE_CALIBRATION的数值亦会随着可携式电子装置100的水平俯仰角度不同而改变。
在另一实施例中，若可携式电子装置100为iPhone 4S或以上的型号，且作业系统141为iOS 8或以上的版本，则作业系统141所回报的镜头焦距参数例如为lensPosition。其中，镜头焦距参数lensPosition例如为介于0至1之间的数值，且数值0表示镜头111所能对焦的最近距离，数值1表示镜头111所能对焦的最远距离，但最远距离不表示为无限远。需注意的是，镜头焦距参数lensPosition并未直接表示镜头111的焦距数值，而是一个经过作业系统141所转换过的数值，且并不等于(固定常数/焦距)。此外，作业系统141所回报的镜头焦距参数lensPosition的数值亦会随着可携式电子装置100的水平俯仰角度(pitch)不同而改变。
图2A为依据本发明一实施例中的卷积类神经网络模型的模型训练过程的示意图。
在一实施例中，在模型训练过程中，专业医疗人员可先在各训练影像标示出伤口影像(意即伤口影像的面积是小于或等于各训练影像)，且各伤口影像是汇整为特征数据集。CNN模型143及RPN模型144的模型训练过程例如可使用相同的特征数据集以同时训练CNN模型143及RPN模型144。在一些实施例中，CNN模型143及RPN模型144例如可使用Unet、Faster R-CNN或Mask R-CNN模型所实现，但本发明的实施例并不限于此。
上述特征数据集可包括病人的慢性伤口或急性伤口的伤口影像。慢性伤口可包含糖尿病足溃疡、褥疮或压疮、静脉溃疡等等。急性伤口可包含慢性愈合不良压疮、血管瘤、溃疡、烧烫伤、糖尿病足及脚趾感染坏死等等，但本发明的实施例不限于此。需注意的是，因为使用相同的特征数据集进行模型训练，故CNN模型143及RPN模型144可使用共同的特征地图(feature map)。
举例来说，在模型训练过程中，由专业医疗人员所标记的伤口影像(例如仅包含伤口部位)是作为CNN模型143的输入影像1430。CNN模型143亦可称为伤口辨识模型，其包括特征地图1431及网络层1432，其中特征地图1431例如可由多组卷积层(convolutionallayer，简称为Conv)及池化层(max pooling，简称为MaxPool)所实现。举例来说，卷积层可对输入影像1430进行卷积运算并提取特征，且池化层可放大提取的特征。使用池化层的好处是当输入影像有数个像素的平移的话，对于CNN模型143的判断结果不会造成影响，且具有良好的抗噪声功能。最后，CNN模型143将特征提取结果进行平坦化以输入至网络层1432。网络层1432例如包括至少二个全连接层(full connection layer，简称FC)。平坦化后的特征提取结果经过网络层1432后即得到输出伤口影像1433及其相应的信心度。
在一些实施例中，为了减少CNN模型143的过度训练(over fitting)的问题，在模型训练过程中可随机不断更新CNN模型143中的某些层(例如全连接层或卷积层)的权重。此外，在模型训练过程中亦可加入数据增强(data augmentation)的功能以使训练数据量大幅增加。举例来说，运算单元120可执行一训练数据增强程序(未绘示)以将在特征数据集中的各伤口影像进行镜像(mirror)、旋转0/90/180/270度、影像随机缩放、调整对比度及曝光度等等以得到不同的增强训练数据，且模型训练过程则使用上述增强训练数据以对CNN模型143进行训练，待CNN模型143训练至收敛(converge)时即表示训练完成。
图2B为依据本发明一实施例中的区域候选网络模型的架构的示意图。
RPN模型144亦可称为伤口定位模型，其模型架构如图2B所示。在一实施例中，RPN模型144的输入为CNN模型143的特征地图(简称为conv feature map)1431。在另一实施例中，RPN模型144可包括个别的特征地图(未绘示)，其与CNN模型143的特征地图1431不同。此外，在RPN模型144的模型训练过程中，RPN模型144的特征地图的输入为未裁切但已先经过人工标记伤口位置的影像，意即为训练数据集中已标记的各训练影像。
为了便于说明，图2B中的RPN模型144的输入为CNN模型143的特征地图1431。举例来说，RPN模型144是在特征地图1431上取滑动窗(sliding window)1441(例如为3x3的卷积层)，再用各像素对应的k个不同的定位框(anchor box)1442以计算各定位框包含物体的几率，例如可计算出具有256维度的中间层(intermediate layer)1443，并得到各滑动窗1441相应的分类层(classification layer)1444及回归层(regression layer)1445，其中分类层1444具有2k个分数，且回归层1445具有4k个座标位置。RPN模型144可依据各滑动窗1441相应的分数以得到最有可能包含物体的定界框(bounding box)。
图2C为依据本发明一实施例中使用卷积类神经网络模型及区域候选网络模型进行伤口辨识的流程图。图2D为依据本发明图2C实施例中利用区域候选网络模型将输入影像分割为多个第一定界框的示意图。图2E为依据本发明图2C实施例中从多个第一定界框中决定多个第二定界框的示意图。图2F为依据本发明图2C实施例中利用卷积类神经网络模型以判断各第二定界框为伤口的几率的示意图。图2G为依据本发明图2C实施例中的输出伤口影像的示意图。
请同时参考图2C～图2G。在影像辨识阶段中，输入影像210是经过CNN模型143的特征提取以得到特征地图1431，且RPN模型144则可依据特征地图1431将输入影像210分割为多个第一定界框211，如图2D所示，由上而下的第一定界框211含有伤口的几率分别为32％、21％、72％及90％。
RPN模型144并从所述第一定界框211中过滤出含有伤口几率较大的多个第二定界框212。举例来说，RPN模型144可设定一阈值几率，若第一定界框211含有伤口的几率大于上述阈值几率，则RPN模型144是将第一定界框211放入候选区(proposals)，其中在候选区中的第一定界框211即为第二定界框212，如图2E所示。
RPN模型144并将各第二定界框212输入至CNN模型143的网络层1432中即可得到各第二定界框212的影像是否为伤口的几率，如图2F所示，由左而右的第二定界框212为伤口的几率分别为95％及62％。最后，在方框230，CNN模型143是采用为伤口的最高几率(例如95％，亦可称为信心度)的第二定界框212作为输出伤口影像240，并且可将输出伤口影像240显示于显示面板160，如图2G所示。详细而言，因为RPN模型144可从输入影像中先找出含有伤口几率最高的多个第二定界框212且CNN模型143可判断各第二定界框为伤口的几率，故CNN模型143搭配RPN模型144可增加可携式电子装置100判断输入影像是否为伤口影像的运算速度及增加伤口辨识的准确度。
图4A及图4B为依据本发明一实施例的相机装置在不同距离的成像的示意图。
在一实施例中，伤口测量程序142可依据式(2)以计算出待测物距离d：
Figure BDA0003323495950000131
其中，h为物体实际高度；f为相机装置105所使用的焦距；pw为影像高度的像素数量；pm为目标物件在影像高边中所占的像素数量；s为感光元件长度。因为目前市面上的可携式电子装置的镜头111大多为定焦镜头，所以焦距f、影像高度pw及感光元件长度s可视为固定值，且此三个参数可简化为一镜头参数p，如式(3)所示：
Figure BDA0003323495950000132
然而，当运算单元120所执行的伤口测量程序142在计算输出伤口影像中的伤口尺寸时，待测物距离d(即相机装置105至伤口的距离)与待测对象的实际高度h均为未知数值，故伤口测量程序142是利用作业系统141所回报的镜头焦距参数g以计算待测物距离d。举例来说，镜头焦距参数g与待测物距离d呈倒数关系，但镜头焦距参数g经过倒数换算后的数值并不等同于待测物距离d，且镜头焦距参数g的倒数需乘上偏移量w以得到待测物距离d，如式(4)所示：
Figure BDA0003323495950000141
如图4A所示，假定待测物件(例如伤口)实际高度固定为h且待测物距离为d，待测物件的反射光通过焦点fp在可携式电子装置100的显示面板160上的显示画面的成像高度为pm。如图4B所示，若待测物距离增加为2d，则待测物件的反射光通过焦点fp在可携式电子装置100的显示面板160上的成像高度为
Figure BDA0003323495950000142
因此，依据式(2)及式(3)可得到式(5)的比例关系式：
Figure BDA0003323495950000143
类似地，依据式(5)，当待测物距离d固定，若待测物高度分别为2h及h，则显示画面的成像高度为2pm及pm。此外，依据式(5)，当待测物高度固定为h且待测物距离分别为d及2d时，则显示画面的成像高度为pm及
Figure BDA0003323495950000144
当运算单元120第一次执行伤口测量程序142时，伤口测量程序可进入校正模式。在校正模式中，运算单元120可开启相机装置105以对焦于已知尺寸的一参考物件并进行拍照，且使用者可在显示面板160上框选参考物件的范围，故运算单元120可得到对焦距离参考值及参考物件高度。接着，依据式(4)，并结合已知的参考物件的比例关系，可得到式(6)：
Figure BDA0003323495950000145
其中，hc为参考物件实际高度；gc为参考物件对焦距离；pc为参考物件像素高度比例；hm为待测物件实际高度；gm为待测物件对焦距离；pm为待测物件像素高度比例。在一些实施例中，参考物件例如可为健保卡或身份证、或是具有固定已知尺寸的其他物件。
将式(6)简化后可得到式(7)以得到待测物件实际高度hm：
Figure BDA0003323495950000151
举例来说，健保卡的尺寸为53.5mm(宽度)*85.5mm(高度)，因此，在式(7)中的参考物件实际高度hc为已知数值。此外，可携式电子装置100进行对焦是通过自动对焦模块116的步进马达以调整镜头111的位置，然而，步进马达会受到地球重力的影响，故可携式电子装置100在水平俯仰角度为0度及90度时，作业系统141所回报的镜头焦距参数会不同。需注意的是式(7)是用于计算待测物件实际高度hm。若式(7)要用于计算待测物件实际宽度wm，则可将式(7)中的待测物件实际高度hm及参考物件实际高度hc分别替换为待测物件实际宽度wm及参考物件实际宽度wc，如式(8)所示：
Figure BDA0003323495950000152
参考物件像素宽度比例及待测物件像素宽度比例则类似于参考物件像素高度比例pc及待测物件像素高度比例pm，故在式(8)中可直接使用参考物件像素高度比例pc及待测物件像素高度比例pm。在一些实施例中，运算单元120则可另外计算参考物件像素宽度比例rc及待测物件像素宽度比例rm以分别取代式(8)中的参考物件像素高度比例pc及待测物件像素高度比例pm。
举例来说，当可携式电子装置100的前表面101及后表面102与水平线310完全水平时，则惯性测量单元170可检测到可携式电子装置100的水平俯仰角度为0度，如图3A所示。
可携式电子装置100的水平校正过程如图3B所示。使用者可利用可携式电子装置100以水平俯仰角度0度并以一预定距离(例如介于10～15公分)fd对参考物件320进行拍摄以得到参考物件影像330，其中参考物件320的高度及宽度分别为h1及w1，其是分别对应参考物件实际高度hc及参考物件实际宽度wc。使用者可通过显示面板160观察所拍摄的参考物件影像是否清晰，并且可按下拍照按钮以拍摄参考物件影像330。使用者亦可在显示面板160上调整方框以标示参考物件影像330的尺寸范围，并且存储校正参数。
举例来说，显示面板160的解析度为W(像素宽度)*H(像素高度)，且在显示面板160中所呈现的参考物件影像330则具有像素高度h2及像素宽度w2。若参考物件影像330的像素高度h2为1344个像素，且显示面板160的像素高度为1920个像素，则运算单元120可计算出参考物件像素高度比例pc＝0.70。此时，若上述预定距离约为13公分，作业系统141的应用程序接口所回报的镜头焦距参数LENS_FOCUS_DISTANCE例如为7.59，故运算单元120可将参考物件对焦距离gc设定为7.59。因此，在水平校正过程中可得到多个参考校正参数，例如参考物件实际高度hc、参考物件像素高度比例pc及参考物件对焦距离gc。
当可携式电子装置100的前表面101及后表面102与水平线310垂直时，则惯性测量单元170可检测到可携式电子装置100的水平俯仰角度为90度，如图3C所示。
可携式电子装置100的垂直校正过程如图3D所示。使用者可利用可携式电子装置100以水平俯仰角度90度并以一预定距离(例如介于10～15公分)fd对参考物件320进行拍摄以得到参考物件影像330，其中参考物件320的高度及宽度分别为h1及w1，其是分别对应参考物件实际高度hc及参考物件实际宽度wc。此外，显示面板160的解析度为W(像素宽度)*H(像素高度)，且在显示面板160中所呈现的参考物件影像330则具有像素高度h2及像素宽度w2。
举例来说，若参考物件影像330的像素高度h2为1382个像素，且显示面板160的像素高度为1920个像素，则运算单元120可计算出参考物件像素高度比例pc＝0.72。此时，若上述预定距离约为13公分，作业系统141的应用程序接口所回报的镜头焦距参数LENS_FOCUS_DISTANCE例如为8.65，因此，运算单元120可将参考物件对焦距离gc设定为8.65。因此，在垂直校正过程中同样可得到多个参考校正参数，例如参考物件实际高度hc、参考物件像素高度比例pc及参考物件对焦距离gc。
需注意的是，水平校正过程及垂直校正过程中所得到的参考物件对焦距离gc是不同的参考校正参数。举例来说，当可携式电子装置100的水平俯仰角度在0度到小于45度之间时，伤口测量程序142是使用水平校正过程所得到的上述参考校正参数以代入式(7)及式(8)进行计算以得到待测物件实际高度hm及待测物件实际宽度wm(例如以公分表示)。当可携式电子装置100的水平俯仰角度在大于或等于45度到90度之间时，伤口测量程序142是使用垂直校正过程所得到的上述参考校正参数以代入式(7)及式(8)进行计算以得到待测物件实际高度hm及待测物件实际宽度wm(例如以公分表示)。
图5A～图5C为依据本发明一实施例中将输出伤口影像进行分群的示意图。
图5A所示为CNN模型143及RPN模型144所产生的输出伤口影像510，其例如为RGB影像，意即在输出伤口影像的各像素均是由亮度0至255之间的红色、绿色、蓝色子像素所组成。伤口测量程序142可采用机器学习分群演算法对输出伤口影像510的各像素进行分群，例如可分为伤口群及正常皮肤群。上述机器学习分群演算法例如可为K-Means分群法、阶层式分群法或是本发明领域中的其他分群演算法，但本发明的实施例并不限于此。举例来说，在图5A的输出伤口影像510经过影像分群处理后可得到如图5B所示的分群影像520，其可分为伤口区域521及正常皮肤区域522。
当伤口测量程序142从分群影像520得到伤口区域521及正常皮肤区域522后，即可计算在分群影像520的伤口区域521的面积。举例来说，在前述实施例中，伤口测量程序142可计算出输出伤口影像的待测物件实际高度及待测物件实际宽度。假定待测物件实际高度及待测物件实际宽度分别为3公分及4公分，则输出伤口影像510所对应的实际面积为12平方公分。若输出伤口影像510具有5万个像素且伤口测量程序142计算出在伤口区域521的像素数量为4万5千个像素，则伤口测量程序142可计算伤口区域像素比例为45000/50000＝0.9。因此，伤口测量程序142可计算出伤口区域521所对应的实际面积为12*(45000/50000)＝10.8平方公分。
在一实施例中，当伤口测量程序142得到伤口区域521及正常皮肤区域522后，即可将输出伤口影像510分割为伤口区域511及正常皮肤区域512，并且可得知伤口区域511及正常皮肤区域512中的各像素的红色、绿色及蓝色子像素的数值，如图5C所示。伤口测量程序142并计算在伤口区域521中的各像素的红色、绿色及蓝色子像素的平均值，例如可分别用W_Ravg、W_Gavg及W_Bavg表示。伤口测量程序142并计算在正常皮肤区域522中的各像素的红色、绿色及蓝色子像素的平均值，例如可分别用N_Ravg、N_Gavg及N_Bavg表示。
接着，伤口测量程序142可采用欧氏距离公式以计算伤口区域521的严重程度(severity)，如式(9)所示：
Figure BDA0003323495950000181
其中，N_Ravg表示在正常皮肤区域522中的所有红色子像素的平均值；N_Gavg表示在正常皮肤区域522中的所有绿色子像素的平均值；N_Bavg在正常皮肤区域522中的所有蓝色子像素的平均值；W_Ravg表示在伤口区域521中的所有红色子像素的平均值；W_Gavg表示在伤口区域521中的所有绿色子像素的平均值；W_Bavg表示在伤口区域521中的所有蓝色子像素的平均值。
以欧氏距离而言，其严重程度为介于0至255的浮点数。若严重程度愈接近255，表示伤口区域521与正常皮肤区域522相比的严重程度愈高(即相似度愈低)。若严重程度愈接近0，则表示伤口区域521与正常皮肤区域522相比的严重程度愈低(即相似度愈高)。
图6为依据本发明一实施例中的伤口照护系统的方框图。请同时参考图1及图6。
在一实施例中，伤口照护系统600包括一或多台可携式电子装置100及服务器610，其中各可携式电子装置100可通过网络620以连接至服务器610。病患或是医护人员可定时利用相应的可携式电子装置100对病患的伤口部位进行拍照以得到输入影像。各可携式电子装置100所执行的伤口测量程序142可利用CNN模型143及RPN模型144对输入影像进行辨识以得到输出伤口影像(注：从输入影像裁切而得有最高几率为伤口的定界框)。
每当病患或是医护人员利用可携式电子装置100对病患的伤口部位进行拍照，伤口测量程序142可将CNN模型143及RPN模型144所产生的输出伤口影像及对应的时间信息(例如输入影像的拍摄时间)及尺寸信息(包含高度、宽度及面积)、以及输出伤口影像中的伤口区域与正常皮肤区域相比的严重程度存储于数据库145，以供后续照护流程使用。
在一些实施例中，各可携式电子装置100更可将各自的数据库145的内容同步至服务器610，其中服务器610亦包括一病患数据库615以记录来自各可携式电子装置100的使用者名称、伤口部位及输出伤口影像及其时间信息、尺寸信息及严重程度的历史档案。此外，服务器610更可依据在病患数据库615中的上述信息以对不同病患的使用者名称进行排序以建立一关怀清单，以便于医疗人员在服务器610上进行检视。
举例来说，若某病患在最近拍摄的输出伤口影像的面积相对较大且严重程度较高(欧氏距离较长，即相似度较低)，服务器610则可将此病患在关怀清单中进行优先排序。如图7A所示，假定在输出伤口影像710中的伤口区域711的红色、绿色及蓝色子像素的平均值(W_Ravg,W_Gavg,W_Bavg)为(230,172,148)，且在输出伤口影像710中的正常皮肤区域712的红色、绿色及蓝色子像素的平均值(N_Ravg,N_Gavg,N_Bavg)为(160,106,92)，伤口测量程序142可依据式(9)计算出伤口区域711的严重程度
Figure BDA0003323495950000191
Figure BDA0003323495950000192
若上述严重程度大于一预定阈值(例如70，非限定)，则伤口测量程序142可判断伤口区域711属于较严重的伤口区域。
若某病患在最近拍摄的输出伤口影像的面积相对较小且严重程度较低(欧氏距离较短，即相似度较高)，服务器610则可将此病患在关怀清单中排在较后的位置。如图7B所示，假定在输出伤口影像720中的伤口区域721的红色、绿色及蓝色子像素的平均值(W_Ravg,W_Gavg,W_Bavg)为(169,114,121)，且在输出伤口影像720中的正常皮肤区域722的红色、绿色及蓝色子像素的平均值(N_Ravg,N_Gavg,N_Bavg)为(176,143,119)，伤口测量程序142可依据式(9)计算出伤口区域711的严重程度
Figure BDA0003323495950000193
Figure BDA0003323495950000194
若上述严重程度小于预定阈值(例如70，非限定)，则伤口测量程序142可判断伤口区域721属于较不严重的伤口区域。
举例来说，伤口测量程序142可比较目前输出伤口影像及前一或多次拍照得到的前次输出伤口影像的尺寸信息或严重程度。在一实施例中，当某个可携式电子装置100的目前输出伤口影像的面积比前次输出伤口影像的面积大于一预定比例(例如5％，非限定)时，伤口测量程序142是判断该可携式电子装置100的使用者的伤口有扩大的迹象产生，故伤口测量程序142会通知服务器710以将该可携式电子装置100的使用者名称(例如张三)加入关怀清单，并在关怀清单中设置警示通知以图示呈现「面积」以供医护人员进行相关检视。
此外，当该可携式电子装置100的目前输出伤口影像的严重程度比前次输出伤口影像的严重程度大于一预定比例(例如10％，非限定)时，伤口测量程序142是判断该可携式电子装置100的使用者的伤口有恶化的迹象产生，故伤口测量程序142会通知服务器710以将该可携式电子装置100的使用者名称(例如张三)加入关怀清单，并在关怀清单中设置警示通知以图示呈现「严重」以供医护人员进行相关检视。
图8为依据本发明一实施例中的伤口尺寸测量方法的流程图。
在步骤S810，利用可携式电子装置100的相机装置105获得一输入影像。举例来说，相机装置105是以一第一水平俯仰角度对焦于一使用者的伤口部位拍照以得到一输入影像。举例来说，当利用可携式电子装置100进行拍照时，电子装置100的水平俯仰角度(pitch)例如可由0度变化至90度，且惯性测量单元170可检测到可携式电子装置100的水平俯仰角度的变化。
在步骤S820，运算单元120利用CNN模型143对该输入影像进行辨识，并选择具有为伤口的最高几率的部分该输入影像作为输出伤口影像。运算单元120利用RPN模型144将该输入影像切割为多个第一定界框，并从所述第一定界框中过滤出含有伤口几率大于预定值的多个第二定界框。举例来说，如图2D所示，在影像辨识阶段中，输入影像210是经过CNN模型143的特征提取以得到特征地图1431，且RPN模型144则可依据特征地图1431将输入影像210分割为多个第一定界框211。此外，RPN模型144可设定一阈值几率，若第一定界框211含有伤口的几率大于上述阈值几率，则RPN模型144是将第一定界框211放入候选区(proposals)，其中在候选区中的第一定界框211即为第二定界框212，如图2E所示。
在步骤S830，运算单元120利用该可携式电子装置100所运行的作业系统141所回报的镜头焦距参数、可携式电子装置100的水平俯仰角度所对应的多个参考校正参数、以及该输出伤口影像的像素高度比例及像素宽度比例(例如显示于显示面板160)以计算该输出伤口影像的实际高度及实际宽度。举例来说，当可携式电子装置100的水平俯仰角度在0度到小于45度之间时，伤口测量程序142是使用水平校正过程所得到的上述参考校正参数以代入式(7)及式(8)进行计算以得到待测物件实际高度hm及待测物件实际宽度wm(例如以公分表示)。当可携式电子装置100的水平俯仰角度在大于或等于45度到90度之间时，伤口测量程序142是使用垂直校正过程所得到的上述参考校正参数以代入式(7)及式(8)进行计算以得到待测物件实际高度hm及待测物件实际宽度wm(例如以公分表示)。
综上所述，本发明的实施例是提供一种可携式电子装置及伤口尺寸测量方法，其可依据该作业系统所回报的镜头焦距参数、该第一水平俯仰角度所对应的多个参考校正参数、以及该输出伤口影像的像素高度比例及像素宽度比例以计算该输出伤口影像的实际高度及实际宽度。可携式电子装置经过水平校正过程及垂直校正过程即可得到上述参考校正参数。
本发明的实施例中的可携式电子装置及伤口尺寸测量方法可用客观的方式准确地计算出输入影像中的伤口区域的实际高度、实际宽度及面积，并可计算出伤口区域的严重程度。此外，本发明的实施例中的可携式电子装置及伤口尺寸测量方法更可将目前的输出伤口影像与先前拍摄的前次输出伤口影像的面积或严重程度进行比较，借以判定伤口区域是否有扩大或恶化的迹象，进而将警示通知传送至服务器以供医护人员进行相关检视，故可让此类病患得到照护。
于权利要求中使用如“第一”、“第二”、“第三”等词是用来修饰权利要求中的元件，并非用来表示之间具有优先权顺序，先行关系，或者是一个元件先于另一个元件，或者是执行方法步骤时的时间先后顺序，仅用来区别具有相同名字的元件。
本发明的实施例虽以较佳实施例公开如上，然其并非用以限定本发明的范围，任何所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可做些许的更动与润饰，因此本发明的保护范围当视后附的权利要求所界定者为准。

Claims (20)

1.一种可携式电子装置，包括：
一惯性测量单元，用以检测该可携式电子装置的一水平俯仰角度；
一相机装置，用以获得一输入影像；
一存储装置，用以存储一作业系统、一伤口测量程序、一区域候选网络模型及一卷积类神经网络模型；以及
一运算单元，用以执行该伤口测量程序以执行下列步骤：
利用该卷积类神经网络模型对该输入影像进行辨识，并选择具有为伤口的最高几率的部分该输入影像作为输出伤口影像；以及
依据该作业系统所回报的镜头焦距参数、该水平俯仰角度所对应的多个参考校正参数、以及该输出伤口影像的像素高度比例及像素宽度比例以计算该输出伤口影像的实际高度及实际宽度。
2.如权利要求1所述的可携式电子装置，其中所述参考校正参数包括：参考物件实际高度、参考物件实际宽度、参考物件像素高度比例及参考物件对焦距离。
3.如权利要求2所述的可携式电子装置，其中在该伤口测量程序的水平校正过程中，该可携式电子装置是以该水平俯仰角度为0度对一参考物件进行拍照以得到一第一参考物件影像，并从该操作系统的一应用程序编程接口取得一第一参考对象对焦距离，且该参考物件具有该参考物件实际高度及该参考物件实际宽度；
其中在该伤口测量程序的垂直校正过程中，该可携式电子装置是以水平俯仰角度为90度对该参考物件进行拍照以得到一第二参考物件影像，并从该操作系统的该应用程序编程接口取得一第二参考对象对焦距离；
其中，该运算单元将在該可攜式電子裝置的显示面板上显示的该第一参考物件影像或该第二参考物件影像的第一像素高度除以该显示面板的第二像素高度以得到第一参考物件像素高度比例或第二参考物件像素高度比例。
4.如权利要求3所述的可携式电子装置，其中因应于该水平俯仰角度介于0至45度，该运算单元是使用该第一参考物件对焦距离以作为该参考物件对焦距离，并使用该第一参考物件像素高度比例作为该参考物件像素高度比例；
其中，因应于该水平俯仰角度介于45至90度，该运算单元是使用该第二参考物件对焦距离以作为该参考物件对焦距离，并使用该第二参考物件像素高度比例作为该参考物件像素高度比例。
5.如权利要求4所述的可携式电子装置，其中该运算单元是计算式(1)及式(2)以得到该输出伤口影像的该实际高度及该实际宽度：
Figure FDA0003323495940000021
Figure FDA0003323495940000022
其中，hc为该参考物件实际高度；gc为该参考物件对焦距离；pc为该参考物件像素高度比例；hm为该输出伤口影像的该实际高度；gm为该镜头焦距参数；pm为该像素高度比例；wm为该输出伤口影像的该实际宽度；wc为该参考物件实际宽度。
6.如权利要求1所述的可携式电子装置，其中该运算单元更执行一机器学习分群演算法以将该输出伤口影像分为一伤口区域及一正常皮肤区域；
其中该运算单元还计算在该输出伤口影像中的第一像素数量及该伤口区域中的第二像素数量，并将该第二像素数量除以该第一像素数量以得到一伤口区域像素比例；
其中该运算单元更将该输出伤口影像的该实际高度乘上该实际宽度以得到该输出伤口影像的实际面积，并将该实际面积乘上该伤口区域像素比例以得到该伤口区域的实际面积。
7.如权利要求6所述的可携式电子装置，其中该运算单元还计算在该伤口区域中的各像素的红色、绿色及蓝色子像素的一第一红色平均值、一第一绿色平均值及一第一蓝色平均值，并计算在该正常皮肤区域中的各像素的红色、绿色及蓝色子像素的一第二红色平均值、一第二绿色平均值及一第二蓝色平均值，并依据该第一红色平均值、该第一绿色平均值、该第一蓝色平均值、该第二红色平均值、该第二绿色平均值及该第二蓝色平均值以计算该伤口区域及该正常皮肤区域之间的欧氏距离以表示该伤口区域的严重程度。
8.如权利要求7所述的可携式电子装置，其中因应于该运算单元判断该输出伤口影像的该实际面积比一前次输出伤口影像的实际面积大于一第一预定比例，该运算单元是通知一服务器以将该可携式电子装置的使用者名称加入一关怀清单，以供医护人员进行相关检视。
9.如权利要求7所述的可携式电子装置，其中因应于该运算单元判断该输出伤口影像的该严重程度比一前次输出伤口影像的严重程度大于一第二预定比例，该运算单元是通知一服务器以将该可携式电子装置的使用者名称加入一关怀清单，以供医护人员进行相关检视。
10.如权利要求1所述的可携式电子装置，其中在该运算单元利用该卷积类神经网络模型对该输入影像进行辨识之前，该运算单元利用该区域候选网络模型以使用该输入影像产生多个第一定界框，并从所述第一定界框中过滤出含有伤口几率大于预定值的多个第二定界框；
其中，该卷积类神经网络模型是选择具有为伤口的最高几率的该第二定界框作为输出伤口影像。
11.一种伤口尺寸测量方法，用于一可携式电子装置，该可携式电子装置包括一显示面板及一相机装置，该方法包括：
利用该相机装置获得一输入影像；
利用一卷积类神经网络模型对该输入影像进行辨识，并选择具有为伤口的最高几率的部分该输入影像作为输出伤口影像；以及
依据作业系统所回报的镜头焦距参数、该可携式电子装置的水平俯仰角度所对应的多个参考校正参数、以及该输出伤口影像的像素高度比例及像素宽度比例以计算该输出伤口影像中的伤口区域的实际高度及实际宽度。
12.如权利要求11所述的伤口尺寸测量方法，其中所述参考校正参数包括：参考物件实际高度、参考物件实际宽度、参考物件像素高度比例及参考物件对焦距离。
13.如权利要求12所述的伤口尺寸测量方法，其中在该伤口测量程序的水平校正过程中，该可携式电子装置是以该水平俯仰角度为0度对一参考物件进行拍照以得到一第一参考物件影像，并从该操作系统的一应用程序编程接口取得一第一参考对象对焦距离，且该参考物件具有该参考物件实际高度及该参考物件实际宽度；
其中在该伤口测量程序的垂直校正过程中，该可携式电子装置是以该水平俯仰角度为90度对该参考物件进行拍照以得到一第二参考物件影像，并从该操作系统的该应用程序编程接口取得一第二参考对象对焦距离；
其中，该运算单元将在显示面板上显示的该第一参考物件影像或该第二参考物件影像的第一像素高度除以该显示面板的第二像素高度以得到第一参考物件像素高度比例或第二参考物件像素高度比例。
14.如权利要求13所述的伤口尺寸测量方法，其中因应于该水平俯仰角度介于0至45度，该运算单元是使用该第一参考物件对焦距离以作为该参考物件对焦距离，并使用该第一参考物件像素高度比例作为该参考物件像素高度比例；
其中，因应于该水平俯仰角度介于45至90度，该运算单元是使用该第二参考物件对焦距离以作为该参考物件对焦距离，并使用该第二参考物件像素高度比例作为该参考物件像素高度比例。
15.如权利要求14所述的伤口尺寸测量方法，还包括：
计算式(1)及式(2)以得到该输出伤口影像的该实际高度及该实际宽度：
Figure FDA0003323495940000041
Figure FDA0003323495940000042
其中，hc为该参考物件实际高度；gc为该参考物件对焦距离；pc为该参考物件像素高度比例；hm为该输出伤口影像的该实际高度；gm为该镜头焦距参数；pm为该像素高度比例；wm为该输出伤口影像的该实际宽度；wc为该参考物件实际宽度。
16.如权利要求11所述的伤口尺寸测量方法，还包括：
执行一机器学习分群演算法以将该输出伤口影像分为一伤口区域及一正常皮肤区域；
计算在该输出伤口影像中的第一像素数量及该伤口区域中的第二像素数量，并将该第二像素数量除以该第一像素数量以得到一伤口区域像素比例；以及
将该输出伤口影像的该实际高度乘上该实际宽度以得到该输出伤口影像的实际面积，并将该实际面积乘上该伤口区域像素比例以得到该伤口区域的实际面积。
17.如权利要求16所述的伤口尺寸测量方法，还包括：
计算在该伤口区域中的各像素的红色、绿色及蓝色子像素的一第一红色平均值、一第一绿色平均值及一第一蓝色平均值；
计算在该正常皮肤区域中的各像素的红色、绿色及蓝色子像素的一第二红色平均值、一第二绿色平均值及一第二蓝色平均值；以及
依据该第一红色平均值、该第一绿色平均值、该第一蓝色平均值、该第二红色平均值、该第二绿色平均值及该第二蓝色平均值以计算该伤口区域及该正常皮肤区域之间的欧氏距离以表示该伤口区域的严重程度。
18.如权利要求17所述的伤口尺寸测量方法，还包括：因应于判断该输出伤口影像的该实际面积比一前次输出伤口影像的实际面积大于一第一预定比例，通知一服务器以将该可携式电子装置的使用者名称加入一关怀清单，以供医护人员进行相关检视。
19.如权利要求17所述的伤口尺寸测量方法，还包括：
因应于判断该输出伤口影像的该严重程度比一前次输出伤口影像的严重程度大于一第二预定比例，通知一服务器以将该可携式电子装置的使用者名称加入一关怀清单，以供医护人员进行相关检视。
20.如权利要求11所述的伤口尺寸测量方法，其中在利用该卷积类神经网络模型对该输入影像进行辨识之前，该方法还包括：
利用该区域候选网络模型以使用该输入影像产生多个第一定界框，并从所述第一定界框中过滤出含有伤口几率大于预定值的多个第二定界框；以及
利用该卷积类神经网络模型选择具有为伤口的最高几率的该第二定界框作为输出伤口影像。
CN202111254232.6A 2021-08-18 2021-10-27 可携式电子装置及伤口尺寸测量方法 Pending CN115810039A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW110130445A TWI783636B (zh) 2021-08-18 2021-08-18 可攜式電子裝置及傷口尺寸量測方法
TW110130445 2021-08-18

Publications (1)

Publication Number Publication Date
CN115810039A true CN115810039A (zh) 2023-03-17

Family

ID=80001394

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111254232.6A Pending CN115810039A (zh) 2021-08-18 2021-10-27 可携式电子装置及伤口尺寸测量方法

Country Status (4)

Country Link
US (1) US20230058754A1 (zh)
EP (1) EP4138033A1 (zh)
CN (1) CN115810039A (zh)
TW (1) TWI783636B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117442190B (zh) * 2023-12-21 2024-04-02 山东第一医科大学附属省立医院(山东省立医院) 一种基于目标检测的创面自动测量方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104161522B (zh) * 2014-08-12 2017-07-21 北京工业大学 伤口面积测量系统辅助测距装置
US9990472B2 (en) * 2015-03-23 2018-06-05 Ohio State Innovation Foundation System and method for segmentation and automated measurement of chronic wound images
US11116407B2 (en) * 2016-11-17 2021-09-14 Aranz Healthcare Limited Anatomical surface assessment methods, devices and systems
TWI617281B (zh) * 2017-01-12 2018-03-11 財團法人工業技術研究院 傷口狀態分析方法與系統
US20210093227A1 (en) * 2019-09-26 2021-04-01 Canon Kabushiki Kaisha Image processing system and control method thereof
CN111067531A (zh) * 2019-12-11 2020-04-28 中南大学湘雅医院 一种伤口测量的方法及装置、存储介质

Also Published As

Publication number Publication date
TWI783636B (zh) 2022-11-11
TW202309923A (zh) 2023-03-01
EP4138033A1 (en) 2023-02-22
US20230058754A1 (en) 2023-02-23

Similar Documents

Publication Publication Date Title
US8059870B2 (en) Time-of-flight sensor-assisted iris capture system and method
KR101533686B1 (ko) 시선 추적 장치 및 방법, 이를 수행하기 위한 기록매체
US11600003B2 (en) Image processing apparatus and control method for an image processing apparatus that extract a region of interest based on a calculated confidence of unit regions and a modified reference value
JP2020507836A (ja) 重複撮像を予測した手術アイテムの追跡
BR102012020775B1 (pt) aparelho de captura de imagem, aparelho de processamento de imagem e método para processamento de imagem para geração de informação auxiliar para a imagem capturada
KR20170133269A (ko) 영상 처리장치, 영상 처리방법 및 프로그램
JP2013504114A (ja) 目状態検出装置及び方法
JP7322097B2 (ja) 撮像装置、撮像装置の制御方法、プログラムおよび記録媒体
WO2021164678A1 (zh) 虹膜自动捕捉方法、装置、计算机可读存储介质及计算机设备
CN110213491B (zh) 一种对焦方法、装置及存储介质
CN105180802B (zh) 一种物体尺寸信息识别方法和装置
WO2016184152A1 (zh) 一种测量方法、装置、移动终端及存储介质
TWI783636B (zh) 可攜式電子裝置及傷口尺寸量測方法
WO2019230724A1 (ja) 画像処理システム、撮像装置、画像処理装置、電子機器、これらの制御方法、および、これらの制御方法を記憶した記憶媒体
US11599993B2 (en) Image processing apparatus, method of processing image, and program
CN115423804B (zh) 影像标定方法及装置、影像处理方法
CN115880643B (zh) 一种基于目标检测算法的社交距离监测方法和装置
JP2012027617A (ja) パターン識別装置、パターン識別方法及びプログラム
US20210401327A1 (en) Imaging apparatus, information processing apparatus, image processing system, and control method
TWI797635B (zh) 姿勢評估裝置、方法及系統
KR102505705B1 (ko) 이미지 분석 서버, 이미지 분석 서버를 이용한 객체 카운팅 방법 및 객체 카운팅 시스템
US11475571B2 (en) Apparatus, image processing apparatus, and control method
JP7200002B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および記憶媒体
CN115862089B (zh) 基于人脸识别的安防监控方法、装置、设备及介质
KR20230078439A (ko) 영상 기반 진단 시스템 및 이의 제어 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination