CN111698401B - 设备、图像处理设备和控制方法 - Google Patents

设备、图像处理设备和控制方法 Download PDF

Info

Publication number
CN111698401B
CN111698401B CN202010172159.7A CN202010172159A CN111698401B CN 111698401 B CN111698401 B CN 111698401B CN 202010172159 A CN202010172159 A CN 202010172159A CN 111698401 B CN111698401 B CN 111698401B
Authority
CN
China
Prior art keywords
image
affected part
area
size
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010172159.7A
Other languages
English (en)
Other versions
CN111698401A (zh
Inventor
黑田友树
川合良和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2020023378A external-priority patent/JP2020156082A/ja
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN111698401A publication Critical patent/CN111698401A/zh
Application granted granted Critical
Publication of CN111698401B publication Critical patent/CN111698401B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0037—Performing a preliminary scan, e.g. a prescan for identifying a region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1072—Measuring physical dimensions, e.g. size of the entire body or parts thereof measuring distances on the body, e.g. measuring length, height or thickness
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1075—Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions by non-invasive methods, e.g. for determining thickness of tissue layer
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/445—Evaluating skin irritation or skin trauma, e.g. rash, eczema, wound, bed sore
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/447—Skin evaluation, e.g. for skin disorder diagnosis specially adapted for aiding the prevention of ulcer or pressure sore development, i.e. before the ulcer or sore has developed
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric

Abstract

本发明提供了设备、图像处理设备和控制方法。该设备包括：传感器，其被配置为拍摄患部的图像；处理器，其被配置为获得拍摄图像中的与患部的大小有关的信息，并且基于与患部的大小有关的信息来控制用以拍摄患部的图像的定时或者控制用以提示用户进行摄像操作的定时。

Description

设备、图像处理设备和控制方法
技术领域
实施例的方面涉及设备、图像处理设备和控制方法。
背景技术
处于躺卧姿势的人和动物因为由于体重而导致身体的一部分压迫在与身体接触的支撑面上，因此可能出现褥疮或压疮。可能期望向出现褥疮的患者提供诸如身体压力分散护理和皮肤护理等的褥疮治疗，以及褥疮的定期评价和管理。
在根据照林社的《褥疮的预防和管理指南JSPU(第四版)》(由日本褥疮学会所编，国际标准书号(ISBN)-13 978-4796523608)的第23页的《褥疮指南(第二版)》中，讨论了DESIGN-R(注册商标)(由日本褥疮学会学术教育委员会开发的褥疮状态评定量表)作为褥疮评价工具。DESIGN-R是用于评价包括褥疮的创口的治愈过程的工具。该量表以观察项的首字母缩写命名，观察项包括深度(Depth)、渗出液(Exudate)、大小(Size)、炎症/感染(Inflammation/infection)、肉芽组织(Granulation)和坏死组织(Necrotic tissue)。
存在两种类型DESIGN-R量表，一种用于旨在日常简单评价的严重程度(severity)分类，并且一种用于详细地表示治愈过程的进程的监视。用于严重程度分类的DESIGN-R包括六个评价项，各项包括两个分类：轻度和重度。分类“轻度”由小写字母表示，并且“重度”由大写字母表示。
在初步治疗中，通过使用用于严重程度分类的DESIGN-R做出评价，可以掌握褥疮的粗略状态。由于通过评价可以了解问题与哪个或哪些项有关，因此可以容易地确定治疗进程。
为监视目的，还开发了一种除监视之外还能够进行患者之间的严重程度比较的DESIGN-R。“R”代表评级(评价、评分)。项被给予分别不同的权重，并且除了深度之外的六个项的总评分(0-66点)表示褥疮的严重程度。在开始治疗之后，能够详细地并以客观方式评价治疗进程，这使得不仅能够个体监视，还能够进行患者之间的严重程度的比较。
根据DESIGN-R，通过测量皮肤创口区域的长轴(major axis)和短轴(minor axis)(与长轴垂直的最长直径)(以cm为单位)，来评价大小。大小(作为通过将长轴和短轴的测量值相乘所获得的数值)被分类为七个等级。七个等级包括如下：s0：无；s3：小于4cm2；s6：4cm2以上但小于16cm2；s8：16cm2以上但小于36cm2；s9：36cm2以上但小于64cm2；s12：64cm2以上但小于100cm2；以及s15：100cm2以上。
如上述《褥疮指南》中所讨论的，为了褥疮的治愈过程的评价和适当的护理选择，推荐每周或每两周评定一次DESIGN-R评分。针对褥疮，可能期望定期的状态评定和管理。为了观察褥疮状态的变化，需要高评价精度。
在这种情况下，经常基于通过将测量尺放在患部上手动测量的值来评价褥疮的大小。具体地，皮肤创口区域中的两点之间的最长直线距离被测量为长轴。与长轴垂直的长度被测量为短轴。将长轴和短轴的测量值相乘，以确定褥疮的大小。
在拍摄褥疮的图像时，卧床的患者被半抬起，并且摄影师采用不自然的姿势来拍摄背部图像。由此可能无法拍摄到适当的图像。由于褥疮的形状和面积根据患者的姿势而变化，因此每次拍摄图像，褥疮可能表现为不同。因此，难以使用拍摄的褥疮的图像进行褥疮的发展的精确比较。这样的问题不限于褥疮，还适用于烧伤和撕裂伤的摄像。
发明内容
实施例的方面旨在适当地拍摄患部的图像。
根据实施例的方面，一种设备，包括：传感器，其被配置为拍摄患部的图像；以及处理器，其被配置为获得拍摄图像中的与所述患部的大小有关的信息，并且基于与所述患部的大小有关的信息来控制用以拍摄所述患部的图像的定时或者控制用以提示用户进行摄像操作的定时。
一种设备，包括：传感器，其被配置为拍摄患部的图像；以及处理器，其被配置为在所述设备正对包括所述患部的被摄体的情况下，进行控制使得拍摄所述患部的图像或者进行控制使得提示用户进行摄像操作。
一种图像处理设备，包括：通信电路，其被配置为从摄像设备接收包括患部的图像；以及处理器，其被配置为基于接收到的图像来计算所述患部的大小，并且为了基于与所述患部的大小有关的信息来控制用以通过所述摄像设备拍摄所述患部的图像的定时或者控制用以提示用户进行摄像操作的定时，经由所述通信电路将与所述患部的大小有关的信息发送至所述摄像设备。
一种方法，包括：通过传感器来拍摄患部的图像；获得拍摄图像中的与所述患部的大小有关的信息；以及基于与所述患部的大小有关的信息来控制用以拍摄所述患部的图像的定时或者控制用以提示用户进行摄像操作的定时。
一种方法，包括：判断包括患部的被摄体是否正对设备；以及在包括所述患部的被摄体正对所述设备的情况下，进行控制使得通过传感器拍摄所述患部的图像或者进行控制使得提示用户进行摄像操作。
一种方法，包括：从设备接收包括患部的图像；基于所接收到的图像来计算所述患部的大小；以及为了基于与所述患部的大小有关的信息来控制用以拍摄所述患部的图像的定时或者控制用以提示用户进行摄像操作的定时，将与所述患部的大小有关的信息发送至所述设备。
通过以下参考附图对典型实施例的描述，本发明的其它特征将变得明显。
附图说明
图1是示出图像处理系统的概要的图。
图2是示出摄像设备的硬件结构的图。
图3是示出图像处理设备的硬件结构的图。
图4A和图4B是示出图像处理系统的处理的流程图。
图5是示出计算患部区域的面积的方法的图。
图6A和图6B是示出用于将信息叠加在与患部有关的图像数据上的方法的图。
图7A、图7B和图7C是示出用于将信息叠加在与患部有关的图像数据上的方法的图。
图8A和图8B是示出图像处理系统的处理的流程图。
具体实施方式
以下将参考附图描述本发明的典型实施例。
图1是示出根据第一典型实施例的图像处理系统的概要的示例的图。
图像处理系统1包括作为手持式便携装置的摄像设备200以及图像处理设备300。在本典型实施例中，作为被摄体101的患部102的情况的示例，将描述臀部上发生的褥疮。
在图像处理系统1中，摄像设备200拍摄被摄体101的患部102的实时取景图像，并且将与拍摄的实时取景图像有关的图像数据发送至图像处理设备300。图像处理设备300从接收到的图像数据中提取包括患部102的患部区域，计算患部区域的面积，并且将与所计算出的区域有关的信息发送至摄像设备200。如果接收到的患部区域的面积大于或等于阈值，则摄像设备200自动地拍摄患部102的图像。尽管通过使用患部102是褥疮的情况作为示例来描述本典型实施例，但是患部102不限于褥疮，并且可以是烧伤或撕裂伤。
图2是示出摄像设备200的硬件结构的示例的图。
摄像设备200可以是标准单镜头照相机、紧凑型数字照相机、或者包括具有自动调焦功能的照相机的智能手机或平板终端。
摄像单元211包括透镜组212、快门213和图像传感器214。可以通过改变透镜组212中包括的多个透镜的位置来改变调焦位置和变焦倍率。透镜组212还包括用于调整曝光量的光圈。
图像传感器214包括用于将光学图像转换为图像数据的电荷累积型的固态图像传感器。固态图像传感器的示例包括电荷耦合器件(CCD)传感器和互补型金属氧化物半导体(CMOS)传感器。通过了透镜组212和快门213的来自被摄体101的反射光在图像传感器214上形成图像。图像传感器214基于被摄体图像生成电信号，并且输出基于生成的电信号的图像数据。
快门213通过打开和关闭挡板构件来使图像传感器214暴露和遮蔽，以控制图像传感器214的曝光时间。快门213可以是通过驱动图像传感器214来控制曝光时间的电子快门。为了实现CMOS传感器上的电子快门，逐个像素或者以各自包括多个像素的区域为单位(例如，逐行)，进行用于将像素中累积的电荷的量重置为零的重置扫描。每次在从重置扫描起经过了预定时间之后，逐个像素或者逐个区域进行用于读取基于累积电荷量的信号的扫描。
变焦控制电路215控制用于驱动透镜组212中包括的变焦透镜的马达，以控制透镜组212的光学倍率。
测距系统216计算与到被摄体101的距离有关的距离信息。测距系统216可以使用单镜头反射式照相机中包括的典型相位差测距传感器或者飞行时间(TOF)传感器。TOF传感器是用于基于照射波的发送定时和作为从被摄体反射的照射波的反射波的接收定时之间的时间差(或相位差)来测量到被摄体的距离的传感器。测距系统216可以使用位置敏感装置(PSD)被用作光接收元件的PSD系统。
图像传感器214可以被配置为在各像素中包括多个光电转换区域，以使得各像素位置或区域位置的距离信息可以根据相应光电变换区域所获得的图像之间的相位差来确定。
测距系统216可以被配置为确定图像中的一个或多个预定测距区域中的距离信息。测距系统216可以被配置为确定表示与图像中的大量像素或区域有关的距离信息的分布的距离图。
测距系统216可以进行提取并积分图像数据的高频分量以确定积分值最大的调焦透镜的位置的电视自动调焦(TV-AF)或对比度AF。测距系统216可以基于调焦透镜的位置来获得距离信息。
图像处理电路217对从图像传感器214输出的图像数据应用预定图像处理。图像处理电路217对从摄像单元211输出的图像数据或内部存储器221中存储的图像数据进行诸如白平衡调整、伽玛校正、颜色插值或去马赛克、以及滤波等的各种类型的图像处理。图像处理电路217还对图像处理后的图像数据进行符合联合影像专家组(JPEG)标准的压缩处理。
AF控制电路218基于测距系统216获得的距离信息来确定透镜组212中包括的调焦透镜的位置，并且控制用于驱动调焦透镜的马达。
通信单元219是用于经由无线网络与诸如图像处理设备300等的外部设备通信的通信接口。网络的具体示例包括基于Wi-Fi(注册商标)标准的网络。基于Wi-Fi的通信可以经由路由器来执行。通信单元219可以通过诸如通用串行总线(USB)接口和局域网(LAN)等的有线通信接口来实现。
系统控制电路220包括中央处理单元(CPU)，并且通过执行内部存储器221中存储的程序来控制整个摄像设备200。系统控制电路220还控制摄像单元211、变焦控制电路215、测距系统216、图像处理电路217和AF控制电路218。系统控制电路220不限于包括CPU，并且可以使用现场可编程门阵列(FPGA)或专用集成电路(ASIC)。如果满足预定摄像条件，则系统控制电路220基于摄像条件来生成与当用户经由操作单元224发出摄像指示时相同的内部信号。
诸如闪速存储器和同步动态随机存取存储器(SDRAM)等的可再写式存储器可以被用作内部存储器221。内部存储器221暂时存储各种类型的设置信息，诸如摄像设备200的操作所使用的与摄像期间的调焦位置有关的信息、摄像单元211拍摄的图像数据、以及图像处理电路217图像处理后的图像数据等。内部存储器221可以暂时存储通信单元219通过与图像处理设备300的通信所接收到的诸如与被摄体的大小有关的信息等的分析数据和图像数据。
外部存储器222是可安装在摄像设备200上或内置在摄像设备200中的非易失性记录介质。外部存储器222的示例包括安全数字(SD)卡和紧凑闪存(CompactFlash，CF)卡。外部存储器222记录图像处理电路217图像处理后的图像数据以及通信单元219通过与图像处理设备300的通信所接收到的图像数据和分析数据。在回放期间，所记录的图像数据可以从外部存储器222中读取，并且被输出至摄像设备200的外部。
显示单元223的示例包括薄膜晶体管(TFT)液晶显示器、有机电致发光(EL)显示器和电子取景器(EVF)。显示单元223显示内部存储器221中暂时存储的图像数据、外部存储器222中记录的图像数据和摄像设备200的设置画面。
操作单元224包括布置在摄像设备200上的按钮、开关、键和/或模式拨盘、或者还用作显示单元223的触摸面板。诸如模式设置命令和摄像指示等的用户命令经由操作单元224通知给系统控制电路220。
公共总线225包括用于在摄像设备200的组件之间发送和接收信号的信号线。
图3是示出图像处理设备300的硬件结构的示例的图。
图像处理设备300包括CPU 310、存储单元312、通信单元313、输出单元314和辅助运算单元317。
CPU 310包括运算单元311。CPU 310通过执行存储单元312中存储的程序来控制整个图像处理设备300。
存储单元312包括主存储单元315(诸如只读存储器(ROM)和随机存取存储器(RAM)等)和辅助存储单元316(诸如磁盘驱动器和固态驱动器(SSD)等)。
通信单元313是用于经由无线网络与诸如摄像设备200等的外部设备通信的无线通信模块。
输出单元314将运算单元311处理的数据和存储单元312中存储的数据输出至连接至图像处理设备300的显示器、打印机或外部网络。
辅助运算单元317是用于在CPU 310的控制下操作的辅助操作的集成电路(IC)。图形处理单元(GPU)可以用作辅助运算单元317。GPU(最初用于图像处理的处理器)包括多个乘法累加器并擅长矩阵计算，因而也可以用作用于信号学习处理的处理器。因此，GPU通常被用于包括深度学习的处理。例如，NVIDIA公司制造的Jetson TX2模块可以被用作辅助运算单元317。可选地，FPGA或ASIC可以被用作辅助运算单元317。辅助运算单元317进行用于从图像数据中提取患部区域的处理。
图像处理设备300可以包括一个或多个CPU 310以及一个或多个存储单元312。换言之，当连接至少一个或多个CPU以及至少一个或多个存储单元并且至少一个或多个CPU执行至少一个或多个存储单元中存储的程序时，图像处理设备300实现以下所述的功能。图像处理设备300不限于CPU 310，并且可以使用FPGA或ASIC。
图4A和图4B是示出图像处理系统1的处理的示例的流程图。
在图4A和图4B中，步骤S401至步骤S420表示摄像设备200的处理。步骤S431至步骤S456表示图像处理设备300的处理。图4A和图4B的流程图由连接至符合作为无线LAN标准的Wi-Fi标准的网络的摄像设备200和图像处理设备300两者开始。
在步骤S431中，图像处理设备300进行用于搜索要连接的摄像设备200的搜索处理。
在步骤S401中，摄像设备200进行响应于图像处理设备300的搜索处理的响应处理。这里，通用即插即用(Universal Plug and Play，UPnP)被用作遍布网络搜索装置的技术。在UPnP中，通过通用唯一标识符(UUID)来识别每一个体装置。
在步骤S402中，可通信连接至图像处理设备300的摄像设备200开始实时取景处理。具体地，摄像单元211生成图像数据，并且图像处理电路217对生成的图像数据进行用于生成实时取景显示所用的图像数据的显像处理。摄像单元211和图像处理电路217重复该处理，由此实时取景图像以预定帧频显示在显示单元223上。
在步骤S403中，测距系统216确定与到被摄体101的距离有关的距离信息，并且AF控制电路218开始用于控制透镜组212的驱动以使被摄体101被聚焦的AF处理。如果测距系统216通过TV-AF或对比度AF来调整焦点位置，则测距系统216基于处于聚焦状态的调焦透镜的位置来确定聚焦图像中的与到被摄体101的距离有关的距离信息。要被聚焦的对象可以是图像数据的中央的被摄体或最接近于摄像设备200的被摄体。如果测距系统216获得了与被摄体101有关的距离图，则测距系统216可以根据距离图来推定关注区域，并且使所推定区域被聚焦。如果图像处理设备300已经识别了实时取景图像中的患部区域的位置，则测距系统216可以使所识别的位置被聚焦。摄像设备200重复实时取景图像的显示和AF处理，直到在以下描述的步骤S413中发出释放信号为止。
在步骤S404中，图像处理电路217对与实时取景图像有关的一个图像数据进行显像和压缩处理，以生成例如符合JPEG标准的图像数据。图像处理电路217对压缩图像数据进行缩放处理，以缩小图像数据的大小。
在步骤S405中，通信单元219获得缩放图像数据和测距系统216所确定的距离信息。通信单元219还视情况获得与变焦倍率和缩放图像数据的大小(像素数量)有关的信息。
在步骤S406中，通信单元219通过无线通信将所获得的图像数据和包括距离信息的一个或多个信息发送至图像处理设备300。这里要发送的图像数据的大小越大，无线通信花费的时间越长。由此，系统控制电路220基于可允许的通信时间，来确定在步骤S404中图像处理电路217将图像数据缩放成的大小。如果图像数据的大小太小，则可能影响以下描述的在步骤S442中图像处理设备300提取患部区域的提取处理的精度。因此，系统控制电路220除通信时间之外还基于患部区域的提取处理的精度，来确定图像数据的大小。可以逐个帧地或者一次几个帧地进行步骤S404至步骤S406的处理。
然后，处理前进到图像处理设备300的处理。
在步骤S441中，图像处理设备300的通信单元313接收从摄像设备200的通信单元219发送的图像数据和包括距离信息的一个或多个信息。
在步骤S442中，图像处理设备300的CPU 310和辅助运算单元317从接收到的图像数据中提取患部区域。
作为提取患部区域的技术，进行基于深度学习的语义分割(Semanticsegmentation)。具体地，用于训练的高性能计算机通过使用实际褥疮的患部区域的多个图像作为教导数据对神经网络模型进行训练，来生成训练模型。辅助运算单元317从高性能计算机中获得训练模型，并且基于训练模型，从图像数据推定褥疮区域或患部区域。作为神经网络模型的示例，可以应用作为基于深度学习的分割模型的完全卷积网络(FCN)。由擅长并行执行积和运算的辅助运算单元317处理基于深度学习的推定。然而，基于深度学习的推定可以由FPGA或ASIC进行。其它深度学习模型可以用于分割。分割技术不限于深度学习。例如，可以使用图形剪切分割、区域生长、边缘检测或分治分割。辅助运算单元317可以使用褥疮的患部区域的图像作为教导数据，来内部训练神经网络模型。
在步骤S443中，CPU 310的运算单元311计算患部区域的面积，作为与提取的患部区域的大小有关的信息。
图5是示出用于计算患部区域的面积的方法的图。
如果摄像设备200是标准照相机，则如图5所述，摄像设备200可以作为小孔模型来处理。入射光501通过透镜212a的主点并由图像传感器214的摄像面接收。如果透镜组212由没有厚度的单个透镜212a近似，则两个主点(即，前主点和后主点)可以被认为彼此一致。摄像设备200可以通过调整透镜212a的焦点位置以使图像形成在图像传感器214的平面上，来使被摄体504被聚焦。改变作为摄像面和透镜主点之间的距离F的焦距502改变了视角θ503，从而改变变焦倍率。根据摄像设备200的视角θ503和被摄体距离505之间的关系来几何地确定聚焦面上的被摄体504的宽度506。使用三角函数来计算被摄体504的宽度506。具体地，通过随焦距502而变化的视角θ503和被摄体距离505之间的关系来确定被摄体504的宽度506。通过将被摄体504的宽度506除以图像数据的行上的像素数量来获得聚焦面上与图像数据的一个像素相对应的长度。
运算单元311将患部区域的面积计算为从步骤S442中提取的患部区域中获得的像素数量和根据聚焦面上与图像数据的一个像素相对应的长度所确定的每个像素的面积的乘积。可以针对焦距502和被摄体距离505的各种组合，预先确定聚焦面上与图像数据的一个像素相对应的长度，并且所得到的长度可以被提供作为表数据。与各种摄像设备200相对应的表数据可以被预先存储在图像处理设备300中。
运算单元311正确确定患部区域的面积的前提是被摄体504是平面并且该平面垂直于光轴。
在步骤S444中，运算单元311通过将表示患部区域的提取结果的信息以及与患部区域的大小有关的信息叠加在提取出患部区域的图像数据上来生成图像数据(叠加处理)。
图6A和图6B是示出用于将表示患部区域的提取结果的信息以及与患部区域的大小有关的信息叠加在图像数据上的方法的图。
图6A示出作为叠加处理前显示的图像数据的示例的图像601。图像601包括被摄体101和患部102。图6B示出作为叠加处理后显示的图像数据的示例的图像602。
标签611被叠加在图6B所示的图像602的左上角。标签611以黑色背景白色字体显示表示患部区域的面积的字符串612。与患部区域的大小有关的信息参考字符串612并且表示运算单元311计算出的患部区域的面积。标签611的背景颜色和字符串612的颜色不限于黑色和白色，只要易于观看即可。可以使用α混和来设置透明度，使得用户可以观察重叠了标签611的图像。
表示步骤S442中提取的患部区域的推定区域的指标613也叠加在图像602上。表示推定区域的指标613和图像601的原始图像数据被α混和，使得用户可以检查推定区域是否适合计算患部区域的面积。表示推定区域的指标613的颜色期望与被摄体101的颜色不同。α混和透明度的范围可以使得推定区域可以与原始患部102区分开。只要以叠加方式显示表示患部区域的推定区域的指标613，由于用户可以在没有标签611的情况下检查推定区域是否合适，因此可以省略步骤S443。
在步骤S445中，图像处理设备300的通信单元313通过无线通信将表示患部区域的提取结果的信息以及与患部区域的大小有关的信息发送至摄像设备200。在本典型实施例中，通信单元313将在步骤S444中生成的图像数据和患部区域的面积(即，与患部区域的大小有关的信息)发送至摄像设备200。
接着，处理返回到摄像设备200的处理。
在步骤S407中，摄像设备200的通信单元219在如果存在从图像处理设备300发送的数据的情况下接收该数据。
在步骤S408中，系统控制电路220判断是否接收到图像数据以及作为与患部区域的大小有关的信息的患部区域的面积。如果接收到图像数据和患部区域的面积(在步骤S408中为“是”)，则处理前进到步骤S409。否则(在步骤S408中为“否”)，处理前进到步骤S410。
在步骤S409中，显示单元223将接收到的图像数据显示预定时间。这里，显示单元223显示图6B中所示的图像602。在进行用于记录目的的图像拍摄之前，在实时取景图像上叠加显示表示患部区域的提取结果的信息使得用户(在下文中也称为摄影师)能够检查患部区域的面积和推定区域是否合适。虽然在本典型实施例中，描述了要显示表示患部区域的推定区域的指标613和显示患部区域的面积的标签611，但是显示单元223可以显示指标613和标签611中的任何一个。显示单元223可以被配置为既不显示指标613也不显示标签611(可以省略步骤S409)。
在步骤S410中，系统控制电路220基于是否满足摄像条件来控制拍摄图像的定时。步骤S410包括步骤S411和步骤S412。如果患部区域相对于摄像设备200倾斜，则不能正确计算患部区域的面积。如果在每次拍摄图像时患部区域相对于摄像设备200的倾斜度变化，则当以后比较拍摄图像时不能正确判断大小如何改变。每次在相同位置支撑卧床患者是困难的，并且摄影师难以保持摄像设备200以正对患部。在步骤S411和S412中，由此，摄像设备200进行用于推定摄像设备200是否正对患部区域的处理。
在步骤S411中，系统控制电路220将接收到的患部区域的面积与预定阈值进行比较，并且判断该面积是否大于或等于该阈值。阈值被预先记录在外部存储器222中作为初始值。摄像设备200的系统控制电路220在启动时从外部存储器222中读取阈值。例如，将与患部区域可被识别为褥疮的大小相对应的面积设置为阈值。以后，用户可以自由改变并设置阈值。由此，可以针对要拍摄图像的各被摄体改变并设置阈值。在步骤S411中，如果面积不大于或等于阈值(在步骤S411中为“否”)，则处理返回到步骤S404。摄像设备200然后进行如上所述的步骤S404和随后步骤的处理。
在步骤S411中，如果面积被判断为大于或等于阈值(在步骤S411中为“是”)，则处理前进到步骤S412。在步骤S412中，系统控制电路220判断最后接收到的面积和紧接着最后之前接收到的面积之间的比或差。在摄影师正移动摄像设备200以使摄像设备200处于正好与患部区域相对的位置时，最后接收到的面积和紧接着最后之前接收到的面积极大不同。具体地，随着处于相对于患部区域倾斜的状态的摄像设备200向着正对患部区域的状态靠近，患部区域的面积增大。另一方面，随着处于正对患部区域的状态的摄像设备200向着相对于患部区域倾斜的状态靠近，患部区域的面积减小。如果摄像设备200处于接近于正对患部区域的状态，则患部区域的面积的变化减小。在步骤S412中，系统控制电路220判断最后接收到的面积和紧接着最后之前接收到的面积之间的比或差是否落入预定范围内。如果最后接收到的面积和紧接着最后之前接收到的面积之间的比或差落入预定范围内，则系统控制电路220因此推定出摄像设备200正对患部区域(在步骤S412中为“是”)并且处理前进到步骤S413。在步骤S412中，如果比或差未落入预定范围内(在步骤S412中为“否”)，则处理返回到步骤S404。摄像设备200然后进行步骤S404和随后步骤的前述处理。
在步骤S413中，系统控制电路220发出释放信号。释放信号是相当于在用户按下包括在摄像设备200的操作单元224中的释放按钮以发出摄像指示时发出的信号的信号。发出释放信号来模拟用户按下释放按钮的情况。换言之，系统控制电路220可以在当摄影师正移动摄像设备200以使摄像设备200处于正好与患部区域相对的位置期间摄像设备200进入接近于正对患部区域的状态的定时，发出释放信号。
在步骤S414中，测距系统216判断与到被摄体101的距离有关的距离信息。AF控制电路218进行用于控制透镜组212的驱动以使得被摄体101被聚焦的AF处理。该处理与步骤S403的处理相同。由于在步骤S403中进行了AF处理，因此这里可以省略步骤S414的处理。
在步骤S415中，摄像单元211在释放信号的发出的定时拍摄用于记录的静止图像，并且生成图像数据。
在步骤S416中，图像处理电路217对生成的图像数据进行显像和压缩处理，以生成例如符合JPEG标准的图像数据。图像处理电路217对压缩图像数据进行缩放处理，以缩小图像数据的大小。为了在测量患部区域中使精度优先，这里缩放的图像数据的大小期望大于或等于在步骤S404中缩放的图像数据的大小。例如，包括1440×1080像素的缩放的4位红-绿-蓝(RGB)彩色图像数据具有大约4.45兆字节的大小。然而，缩放图像数据的大小不限于此。
在步骤S417中，通信单元219获得缩放图像数据以及在步骤S414中由测距系统216获得的距离信息。通信单元219还视情况获得与变焦倍率有关的信息以及与缩放图像数据的大小(像素数量)有关的信息。
在步骤S418中，通信单元219通过无线通信将获得的图像数据以及包括距离信息的一个或多个信息发送至图像处理设备300。
接着，将描述图像处理设备300的处理。
在步骤S451中，图像处理设备300的通信单元313接收从摄像设备200的通信单元219发送的图像数据以及包括距离信息的一个或多个信息。
在步骤S452中，图像处理设备300的CPU 310和辅助运算单元317从接收到的图像数据中提取患部区域。该处理的详情与步骤S442的处理相同。由此将省略对其的描述。
在步骤S453中，CPU 310的运算单元311计算患部区域的面积，作为与提取的患部区域的大小有关的信息。该处理的详情与步骤S443的处理相同。由此将省略对其的描述。
在步骤S454中，运算单元311进行图像分析。具体地，运算单元311基于在步骤S453中获得的聚焦面上与图像数据的一个像素相对应的长度，来计算所提取的患部区域的长轴和短轴的长度以及外接患部区域的矩形的面积。褥疮评价指标DESIGN-R定义了褥疮大小被测量为长轴和短轴的长度的乘积的值。通过分析长轴和短轴，根据本典型实施例的图像处理系统1可以确保与根据DESIGN-R测量的数据的兼容性。由于DESIGN-R不包括用于数学上计算长轴和短轴的方法的定义，因此可以存在根据DESIGN-R的多个可能的方法。
作为用于计算长轴和短轴的方法的第一示例，运算单元311计算外接患部区域的矩形之中的具有最小面积的矩形(最小外接矩形)。运算单元311然后计算该矩形的长边和短边的长度分别作为长轴和短轴。运算单元311基于在步骤S453中获得的聚焦面上与图像数据的一个像素相对应的长度，来计算该矩形的面积。
作为用于计算长轴和短轴的方法的第二示例，运算单元311选择作为最大卡尺直径的最大Feret直径(费雷直径)作为长轴，并且选择最小Feret直径作为短轴。运算单元311可以选择作为最大卡尺直径的最大Feret直径作为长轴，并且选择在与最大Feret直径的轴垂直的方向上测量的长度作为短轴。
可以基于与传统测量结果的兼容性来选择计算长轴和短轴的任何方法。
不对在步骤S441中接收到的图像数据进行用于计算患部区域的长轴和短轴的长度以及矩形的面积的处理。实时取景旨在使得用户能够检查患部区域的提取结果。由此省略对在步骤S441中接收到的图像数据进行与步骤S454相对应的图像分析处理，以缩短处理时间。
在步骤S455中，运算单元311通过将表示患部区域的提取结果的信息以及与患部区域的大小有关的信息叠加在提取出患部区域的图像数据上，来生成图像数据。
图7A至图7C是示出用于将表示患部区域的提取结果的信息以及包括患部区域的长轴和短轴的与患部区域的大小有关的信息叠加在图像数据上的方法的图。由于可以假设与患部区域的大小有关的多个类型的信息，因此将参考图7A至图7C描述各个方法。
图7A示出通过使用最小外接矩形作为计算长轴和短轴的方法所生成的图像701。与图6B一样，以黑色背景白色字体显示表示患部区域的面积的字符串612的标签611叠加在图像701的左上角上，作为与患部区域的大小有关的信息。
显示基于最小外接矩形所计算的长轴和短轴的标签712叠加在图像701的右上角上，作为与患部区域的大小有关的信息。标签712包括字符串713和714。字符串713表示长轴的长度(以cm为单位)。字符串714表示短轴的长度(以cm为单位)。表示最小外接矩形的矩形框715叠加在图像701中的患部区域上。矩形框715连同长轴和短轴的长度的叠加，使得用户能够检查图像701中的测量了长度的测量位置。
比例尺条716叠加在图像701的右下角上。比例尺条716旨在测量患部102的大小。比例尺条716相对于图像数据的大小基于距离信息而变化。具体地，比例尺条716是基于在步骤S453中获得的聚焦面上与图像数据的一个像素相对应的长度，以1cm为单位的直到5cm的刻度条，并且与摄像设备200的聚焦面(即，被摄体101)上的大小相对应。用户可以通过参考比例尺条716来算出被摄体101或患部102的大小。
根据前述DESIGN-R的大小评价指标717叠加在图像701的左下角上。如上所述，基于通过测量皮肤创口区域的长轴和短轴(垂直于长轴的最大直径)(以cm为单位)并且将测量值相乘所获得的数值，存在根据DESIGN-R的大小评价指标717的七个分类等级。在本典型实施例中，叠加了通过将长轴和短轴替换为通过相应计算方法输出的值所获得的大小评价指标717。
图7B示出通过使用最大Feret直径作为长轴并且最小Feret直径作为短轴所生成的图像702。显示表示长轴长度的字符串723和表示短轴长度的字符串724的标签722叠加在图像702的右上角上。在图像702中的患部区域中显示表示最大Feret直径的测量位置的辅助线725和表示最小Feret直径的测量位置的辅助线726。辅助线725和726连同表示长轴长度和短轴长度的字符串723和724的叠加使得用户能够算出图像702中的测量了长度的测量位置。
图7C示出长轴与图7B中示出的图像702相同并且短轴不是通过测量最小Feret直径来获得而是与最大Feret直径的轴垂直的方向上的长度的图像703。显示表示长轴长度的字符串723以及表示短轴长度的字符串734的标签732叠加在图像703的右上角上。在图像703中的患部区域中，显示与最大Feret直径的测量位置相对应的辅助线725以及与同最大Feret直径的轴垂直的方向上测量的长度相对应的辅助线736。
与图7A至图7C中示出的图像数据有关的各种类型的信息中的各信息可以单独叠加，或者多个类型的信息可以组合地叠加。用户可以能够选择要显示的信息。图6A和图6B以及图7A至图7C示出的图像仅仅是示例。可以基于各种条件来改变与患部102和患部区域的大小有关的信息的显示模式、显示位置、大小、字体、字体大小、字体颜色以及位置关系。
在步骤S456中，图像处理设备300的通信单元313将表示患部区域的提取结果的信息以及与患部区域的大小有关的信息发送至摄像设备200。在本典型实施例中，通信单元313将在步骤S455中生成的图像数据发送至摄像设备200。
然后，处理前进到摄像设备200的处理。
在步骤S419中，摄像设备200的通信单元219接收从图像处理设备300发送的图像数据。
在步骤S420中，显示单元223将接收到的图像数据显示预定时间。这里，显示单元223显示图7A至图7C中所示的图像701至703其中之一。在经过预定时间之后，处理返回到步骤S402。
如上所述，根据本典型实施例，系统控制电路220基于获得的与患部区域的大小有关的信息，控制拍摄患部102的图像的定时。由于系统控制电路220可以进行控制使得在摄像设备200位于使患部区域的大小适当的位置时自动执行对患部的摄像，因此即使在拍摄图像时用户位于不自然的姿势，也可以适当地拍摄患部102的图像。
具体地，系统控制电路220在新接收到的患部区域的面积大于或等于阈值并且新接收到的患部区域的面积和紧接着之前接收到的患部区域的面积之间的变化落入预定范围内的情况下，通过发出释放信号来控制自动执行对患部102的摄像。换言之，如果患部区域的面积大于或等于阈值，则摄像设备200可以被假设为处于拍摄患部102的图像的适当位置。如果患部区域的面积的变化落入预定范围内，则摄像设备200可以被假设为处于接近于正对患部区域的状态。由于系统控制电路220在满足这样的条件的情况下控制自动执行对患部的摄像，因此用户可以适当地拍摄患部102的图像。可选地，摄像设备200可以被配置为通过仅判断患部区域的面积的变化是否落入预定范围内而不判断患部区域的面积是否大于或等于阈值，来判断摄像设备200是否处于拍摄患部102的图像的适当位置。
如果用户手动给出摄像指示，则进行前述步骤S409中的显示图像数据的处理。如果系统控制电路220发出释放信号，则可以省略步骤S409。同样地，可以省略步骤S444中的生成叠加图像数据的处理。在步骤S445中，可以在不发送图像数据的情况下发送与患部区域的大小有关的信息。
在根据本典型实施例的图像处理系统1中，通过用户使用摄像设备200拍摄患部102的图像，将与患部区域的大小有关的信息显示在摄像设备200的显示单元223上。这可以在评价褥疮的患部区域的大小时减轻医务人员的负担和要评价的患者的负担。由于基于计算机程序计算患部区域的大小，因而与医务人员手动地测量大小的情况相比，可以缩小个体差异并且可以提高对褥疮的大小评价的精度。此外，可以计算并显示用作用于更精确地表示褥疮的规模的指标的患部区域的面积。用户在实时取景显示期间检查患部区域的推定区域是否合适所用的功能是非必需的，并且可以省略步骤S441至步骤S445。
图像处理设备300可以将表示患部区域的提取结果的信息、与患部区域的大小有关的信息以及叠加有这些信息的图像数据存储在存储单元312中。在这种情况下，输出单元314可以将存储单元312中存储的任意一个或多个信息或者图像数据输出至所连接的诸如显示器等的输出装置。显示器上的图像显示使得除了拍摄患部102的图像的用户之外的用户实时获得(或者获得过去获得的)与患部102有关的图像数据以及与大小有关的信息。图像处理设备300的运算单元311可以具有用于显示用于自由改变从输出单元314发送至显示器的图像数据的位置和角度的比例尺条的功能。显示这样的比例尺条使得用户能够观看显示器，以测量患部区域的期望位置的长度。基于在步骤S451中接收到的距离信息、与变焦倍率有关的信息以及与缩放图像数据的大小(像素数量)有关的信息来自动调整比例尺条的刻度。
图像处理设备300可以是具有恒定电源的固定装置。恒定电源使得图像处理设备300能够在任何定时接收与患部有关的图像数据和与大小有关的信息，并且可以防止电池用尽。由于固定装置通常具有大的存储容量，因此固定型图像处理设备300可以存储大量图像数据。
(第一变型例)
在上述图4A和图4B的流程图中，如果在步骤S411中判断为面积不大于或等于阈值，则处理不前进到步骤S412，并且重复步骤S404以及随后步骤的处理。然而，患部区域不一定具有特定以上的大小。因此，如果在图4B的流程图的步骤S411中判断为“否”，则系统控制电路220可以判断在面积不大于或等于阈值的状态下是否经过了一定时间段。如果未经过一定时间段，则处理返回到步骤S404。如果经过了一定时间段，则系统控制电路220推定为患部区域的大小较小，并且处理前进到步骤S412。例如，可以基于诸如5秒和10秒等的时间段来定义该一定时间段。可以基于在步骤S408中数据接收的次数来定义该一定时间段。通过当经过了一定时间段时发出释放信号，即使患部区域不具有特定以上的大小，摄像设备200也可以拍摄患部102的图像。
(第二变型例)
在上述图4A和图4B的流程图中，将步骤S410的处理描述为基于是否满足摄像条件来控制摄像定时。然而，处理可以基于是否满足摄像条件来控制提示用户进行摄像操作的定时。具体地，如果处理从步骤S412前进至步骤S413，则系统控制电路220可以发出提示用户进行摄像操作的通知。例如，系统控制电路220通过发出语音或警报的通知或者在显示单元223上显示通知，来提示用户按下操作单元224中包括的释放按钮。根据该变型例，在步骤S413之后，系统控制电路220判断操作单元224中包括的释放按钮是否被用户实际按下。如果释放按钮被按下，则处理前进到步骤S414。
下面将描述第二典型实施例。在第一典型实施例中，将要与患部区域的面积进行比较的阈值描述为预先确定。本典型实施例描述了历史信息被用作阈值的情况。在下面描述中，与第一典型实施例的组件相同的组件被指定相同的附图标记。将省略对其的详细描述。
具体地，在步骤S411中，系统控制电路220将接收到的患部区域的面积与预定阈值进行比较。如果面积大于或等于阈值，则处理前进到步骤S412。在步骤S412中，如果面积的变化落入预定范围内，则处理前进到步骤S413。在步骤S413中，系统控制电路220发出释放信号，并且将接收到的面积记录在外部存储器222中。如果在下次拍摄患部102的图像时图4A和4B的流程图的处理前进到步骤S411，则系统控制电路220读取外部存储器222中记录的面积作为阈值。系统控制电路220可以通过为读取的阈值设置余量来确定阈值。例如，系统控制电路220可以通过从读取的阈值中减去特定余量来确定阈值。与先前摄像的间隔越长，可以从读取阈值中减去越大的余量。
在记录面积时，系统控制电路220可以将要记录的面积和患者信息彼此相关联地记录。例如，摄像设备200或图像处理设备300可以通过用户向摄像设备200或图像处理设备300输入患者信息以及/或者在摄像设备200或图像处理设备300上选择患者信息，来获得患者信息。如果图像处理设备300获得患者信息，则在步骤S445中，图像处理设备300将患者信息与面积相关联地发送至摄像设备200。这使得摄像设备200能够将面积和患者信息彼此相关联地记录。
如果使用患者信息，则在步骤S411中系统控制电路220读取与患者信息相关联的面积作为阈值，并且将该阈值与接收到的面积进行比较。如果面积大于或等于阈值(在步骤S411中为“是”)，则处理前进到步骤S412。在步骤S412中，如果面积的变化落入预定范围内(在步骤S412中为“是”)，则处理前进到步骤S413。在步骤S413中，系统控制电路220发出释放信号，将接收到的面积与患者信息相关联，并且记录接收到的面积用于更新。如果不存在与患者信息相关联的面积，则系统控制电路220将预定阈值(初始值)与接收到的面积进行比较或者在显示单元223上显示用于提示用户手动拍摄图像的通知。
图像处理设备300可以将面积与患者信息相关联地记录。例如，假定摄像设备200在拍摄患部102之前拍摄包括与患者有关的患者信息的条型码标签。摄像设备200在上述步骤S406中的发送期间将与条型码标签有关的图像数据发送至图像处理设备300。图像处理设备300从与条型码标签有关的图像数据中获得患者信息，读取与患者信息相关联的面积作为阈值，并且在上述步骤S445中的发送期间将阈值发送至摄像设备200。摄像设备200的系统控制电路220可以因此通过基于接收到的阈值控制摄像定时，来设置与患者相对应的阈值。图像处理设备300的CPU 310还可以用在步骤S453中计算的患部区域的面积来更新与患者信息相关联地记录的面积。
如上所述，根据本典型实施例，基于过去拍摄的患部区域的面积来设置阈值，并且将阈值与接收到的面积进行比较。由于褥疮的大小通常随时间变化，因此摄像设备200可以通过基于过去拍摄的患部区域的面积设置阈值，来在适当的条件下拍摄患部的图像。摄像设备200还可以通过基于过去拍摄的同一患者的患部区域的面积设置阈值，来在与患者相对应的最佳条件下拍摄患部的图像。由于阈值的精度提高，因此摄像设备200可以被配置为使得如果在步骤S411中患部区域的面积大于或等于阈值，则处理跳过步骤S412并前进到步骤S413以发出释放信号。
下面将描述第三典型实施例。在第一典型实施例中，如果患部区域的面积的变化在预定范围内，则摄像设备200被判断为正对患部区域。本典型实施例描述了通过使用距离信息来判断摄像设备200是否正对包括患部的被摄体的情况。如果摄像设备200正对被摄体，则发出释放信号。在下面描述中，与第一典型实施例的组件相同的组件被指定相同的附图标记。将省略对其的详细描述。
图8A和图8B是示出图像处理系统1的处理的示例的流程图。与图4A和图4B的处理相同的处理被指定相同的步骤编号，并且根据需要省略对其的描述。具体地，通过将图4B的流程图中的步骤S410替换为步骤S810来获得图8A和图8B的流程图。
步骤S810表示系统控制电路220基于摄像设备200相对于被摄体的取向来控制拍摄图像的定时的处理。步骤S810包括步骤S811。
在步骤S811中，系统控制电路220判断摄像设备200是否正对包括患部的被摄体。如上所述，摄像设备200的测距系统216可以计算与到被摄体的距离有关的距离信息或者表示距离信息的分布的距离图(距离图信息)。可以通过使用与三个以上的点有关的距离信息或距离图信息来获得与平面有关的信息。如果与各个点有关的各距离信息彼此一致或者小于预定差，则被摄体和摄像设备200可以被判断为正对彼此。
系统控制电路220可以由此基于测距系统216计算出的距离信息或距离图信息来判断摄像设备200是否正对被摄体。如果摄像设备200被判断为正对被摄体(在步骤S811中为“是”)，则处理前进到步骤S413。在步骤S413中，系统控制电路220发出释放信号。如果摄像设备200被判断为不是正对被摄体(在步骤S811中为“否”)，则处理回到步骤S404。
如上所述，根据本典型实施例，基于设备200相对于被摄体的取向来控制拍摄图像的定时。由于可以在摄像设备200正对被摄体时发出释放信号，因此可以适当地拍摄患部的图像。
以上描述了本发明的各种典型实施例和变型例。然而，本发明不限于上述典型实施例和变型例，并且在不脱离本发明的范围的情况下可以作出各种变型。可以根据需要将先前的典型实施例和变型例相结合。
例如，第一典型实施例可以与第三典型实施例相结合。具体地，系统控制电路220可以基于距离信息来判断摄像设备200是否正对被摄体，并且如果摄像设备200被判断为正对被摄体，则将接收到的面积与阈值进行比较。如果面积大于或等于阈值，则系统控制电路220可以发出释放信号。可选地，系统控制电路220可以判断接收到的面积是否大于或等于阈值，并且如果面积大于或等于阈值，则基于距离信息来判断摄像设备200是否正对被摄体。如果摄像设备200正对被摄体，则系统控制电路220可以发出释放信号。
在前述典型实施例中，与患部区域的大小有关的信息被描述为患部区域的面积。然而，这不是限制性的，并且与患部区域的大小有关的信息可以是以下项中的任意一个：患部区域的面积、患部区域的长轴的长度、以及患部区域的短轴的长度。如果患部区域的长轴的长度或者患部区域的短轴的长度被用作与患部区域的大小有关的信息，则系统控制电路220在步骤S408中获得患部区域的长轴的长度或者患部区域的短轴的长度。在步骤S411中，系统控制电路220可以判断患部区域的长轴的长度或者患部区域的短轴的长度是否大于或等于预定阈值。
在上述典型实施例中，将摄像设备200描述为包括系统控制电路220。然而，这不是限制性的。摄像设备200可以不包括系统控制电路220，在这种情况下，通过各种硬件电路来执行系统控制电路220要进行的处理。
其它实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附的权利要求书的范围符合最宽的解释，以包含所有这些修改以及等同结构和功能。

Claims (11)

1.一种手持式设备，包括：
图像传感器，其被配置为拍摄被摄体的患部；
图像处理电路，其根据使用所述图像传感器所生成的图像数据来生成实时取景图像；以及
处理器，其被配置为获取与从所述实时取景图像所包括的图像数据中提取的患者的所述患部的大小有关的信息，
其中，在所述处理器判断为所述实时取景图像中满足预定条件的情况下，所述处理器进行控制使得拍摄静止图像，以及
其中，所述预定条件包括最后接收到的所述患部的面积与在最后之前接收到的所述患部的面积之间的比率或差落入预定范围内。
2.根据权利要求1所述的手持式设备，其中，所述预定条件还包括所述患部的大小大于或等于阈值。
3.根据权利要求2所述的手持式设备，其中，所述阈值是基于之前已经拍摄的同一患者的所述患部的大小的值。
4.根据权利要求2所述的手持式设备，其中，在所述实时取景图像中不满足所述预定条件的情况下，所述处理器进行控制使得不拍摄静止图像。
5.根据权利要求2所述的手持式设备，其中，所述处理器被配置为在所述患部的大小不大于或等于所述阈值并且经过了预定时间段的情况下，控制拍摄所述静止图像。
6.根据权利要求1所述的手持式设备，其中，所述处理器被配置为经由通信电路将所述实时取景图像所包括的所述图像数据发送至外部，并且响应于向外部发送所述实时取景图像所包括的所述图像数据，经由所述通信电路从外部接收与所述患部的大小有关的信息。
7.根据权利要求6所述的手持式设备，其中，所述处理器被配置为每当经由所述通信电路将所述实时取景图像所包括的所述图像数据发送至外部时，经由所述通信电路接收与所述患部的大小有关的信息。
8.根据权利要求1所述的手持式设备，
其中，所述患部是褥疮，以及
其中，所述患部的大小是以下项中的至少任一个：患部区域的面积、患部区域的长轴的长度和患部区域的短轴的长度。
9.一种控制方法，包括：
根据使用图像传感器所生成的图像数据来生成实时取景图像；
获取与从所述实时取景图像所包括的图像数据中提取的患者的患部的大小有关的信息；以及
在判断为所述实时取景图像中满足预定条件的情况下，进行控制使得拍摄静止图像，
其中，所述预定条件包括最后接收到的所述患部的面积与在最后之前接收到的所述患部的面积之间的比率或差落入预定范围内。
10.根据权利要求9所述的控制方法，所述预定条件还包括所述患部的大小大于或等于阈值。
11.根据权利要求9所述的控制方法，还包括：
经由通信电路将所述实时取景图像所包括的所述图像数据发送到外部；以及
响应于将所述实时取景图像所包括的所述图像数据发送到外部，经由所述通信电路从外部接收与所述患部的大小有关的信息。
CN202010172159.7A 2019-03-13 2020-03-12 设备、图像处理设备和控制方法 Active CN111698401B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2019045955 2019-03-13
JP2019-045955 2019-03-13
JP2020023378A JP2020156082A (ja) 2019-03-13 2020-02-14 撮像装置、画像処理装置および制御方法
JP2020-023378 2020-02-14

Publications (2)

Publication Number Publication Date
CN111698401A CN111698401A (zh) 2020-09-22
CN111698401B true CN111698401B (zh) 2022-08-30

Family

ID=72422837

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010172159.7A Active CN111698401B (zh) 2019-03-13 2020-03-12 设备、图像处理设备和控制方法

Country Status (2)

Country Link
US (1) US11475571B2 (zh)
CN (1) CN111698401B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11908154B2 (en) * 2021-02-04 2024-02-20 Fibonacci Phyllotaxis Inc. System and method for evaluating tumor stability

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108606782A (zh) * 2018-04-28 2018-10-02 泰州市榕兴医疗用品股份有限公司 一种创面成像系统
CN109223303A (zh) * 2018-10-18 2019-01-18 杭州市余杭区第五人民医院 全自动伤口拍摄评估防护眼罩及测量方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6575904B2 (en) * 2000-05-09 2003-06-10 Matsushita Electric Industrial Co., Ltd. Biodata interfacing system
JP3800197B2 (ja) * 2003-04-25 2006-07-26 コニカミノルタフォトイメージング株式会社 撮像装置
JP5225065B2 (ja) * 2008-12-27 2013-07-03 キヤノン株式会社 撮像装置及び撮像方法
US20110087088A1 (en) * 2009-10-13 2011-04-14 Cell Genetics, Llc Computer-assisted identification and treatment of affected organ tissue
KR101594298B1 (ko) * 2009-11-17 2016-02-16 삼성전자주식회사 디지털 영상 처리기에서 포커스 조정 장치 및 방법
EP2574039B1 (en) * 2010-05-21 2018-05-02 Panasonic Intellectual Property Corporation of America Image pickup device, image processing device, image processing method, and image processing program
US9104909B2 (en) * 2010-12-15 2015-08-11 Canon Kabushiki Kaisha Image processing apparatus and method of processing image
JP6351323B2 (ja) * 2014-03-20 2018-07-04 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
EP3156763B1 (en) * 2014-06-13 2019-02-06 Nikon Corporation Shape measurement device
JP6490417B2 (ja) * 2014-12-18 2019-03-27 株式会社東芝 動体追跡治療装置及び動体追跡治療プログラム
US11684260B2 (en) 2015-03-23 2023-06-27 Tracpatch Health, Inc. System and methods with user interfaces for monitoring physical therapy and rehabilitation
JP6635690B2 (ja) * 2015-06-23 2020-01-29 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP6667231B2 (ja) 2015-08-31 2020-03-18 キヤノン株式会社 情報処理装置、画像処理装置、情報処理システム、情報処理方法、及びプログラム。
CN108737631B (zh) 2017-04-25 2021-08-03 北京小米移动软件有限公司 快速采集图像的方法及装置
CN108875648A (zh) 2018-06-22 2018-11-23 深源恒际科技有限公司 一种基于手机视频流的实时车辆损伤和部件检测的方法
CN108742671A (zh) 2018-07-09 2018-11-06 傅君芬 具有摄像模块和屏蔽x射线功能的手骨龄成像设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108606782A (zh) * 2018-04-28 2018-10-02 泰州市榕兴医疗用品股份有限公司 一种创面成像系统
CN109223303A (zh) * 2018-10-18 2019-01-18 杭州市余杭区第五人民医院 全自动伤口拍摄评估防护眼罩及测量方法

Also Published As

Publication number Publication date
CN111698401A (zh) 2020-09-22
US11475571B2 (en) 2022-10-18
US20200294236A1 (en) 2020-09-17

Similar Documents

Publication Publication Date Title
US7764880B2 (en) Pickup apparatus
TWI425828B (zh) 攝影裝置、圖像區域之判定方法以及電腦可讀取之記錄媒體
JP4751776B2 (ja) 電子撮像装置及び個人特定システム
JP7322097B2 (ja) 撮像装置、撮像装置の制御方法、プログラムおよび記録媒体
JP5171468B2 (ja) 撮像装置及び撮像装置の制御方法
US20080100721A1 (en) Method of detecting specific object region and digital camera
JP2021051573A (ja) 画像処理装置、および画像処理装置の制御方法
JP4866317B2 (ja) 撮像装置及び撮像装置の制御方法
WO2019230724A1 (ja) 画像処理システム、撮像装置、画像処理装置、電子機器、これらの制御方法、および、これらの制御方法を記憶した記憶媒体
CN111698401B (zh) 设备、图像处理设备和控制方法
US11599993B2 (en) Image processing apparatus, method of processing image, and program
JP2006208443A (ja) オートフォーカス装置
US20210401327A1 (en) Imaging apparatus, information processing apparatus, image processing system, and control method
JP2003289468A (ja) 撮像装置
JP2008172732A (ja) 撮像装置及びその制御方法、プログラム、
JP2020156082A (ja) 撮像装置、画像処理装置および制御方法
JP5499796B2 (ja) 電子機器
US20240000307A1 (en) Photography support device, image-capturing device, and control method of image-capturing device
JP2020151461A (ja) 撮像装置、情報処理装置および情報処理システム
JP2010171841A (ja) 撮像装置
KR102494696B1 (ko) 영상을 생성하는 방법 및 디바이스.
JP2022147595A (ja) 画像処理装置、画像処理方法、及びプログラム
JP5379885B2 (ja) 撮像装置及び制御方法
JP2009017134A (ja) 撮像装置、撮像方法
JP2012100193A (ja) 撮像装置及びその制御方法、プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant