CN116189263A - 图像采集方法、装置、电子设备及存储介质 - Google Patents

图像采集方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116189263A
CN116189263A CN202310140399.2A CN202310140399A CN116189263A CN 116189263 A CN116189263 A CN 116189263A CN 202310140399 A CN202310140399 A CN 202310140399A CN 116189263 A CN116189263 A CN 116189263A
Authority
CN
China
Prior art keywords
image
attribute
face
standard
actual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310140399.2A
Other languages
English (en)
Inventor
李康
周宸
吴振宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202310140399.2A priority Critical patent/CN116189263A/zh
Publication of CN116189263A publication Critical patent/CN116189263A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776Validation; Performance evaluation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/90ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to alternative medicines, e.g. homeopathy or oriental medicines
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Primary Health Care (AREA)
  • Artificial Intelligence (AREA)
  • Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Alternative & Traditional Medicine (AREA)
  • Pharmacology & Pharmacy (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本申请提供了一种图像采集方法、装置、电子设备及存储介质。图像采集方法包括:响应于进行中医面诊图像采集的指令,采集待识别图像;对待识别图像进行人脸区域检测,得到人脸区域图像;针对人脸区域图像的多个实际属性,依次检测每个实际属性与标准属性是否匹配;实际属性是对待识别图像的人脸区域检测得到的图像属性,标准属性是满足中医面诊的图像质量标准的图像属性;若每个实际属性均与标准属性相匹配,则将待识别图像作为进行中医面诊的采集图像。本申请能够使得进行中医面诊图像采集时,所采集的图像满足中医面诊质量要求。

Description

图像采集方法、装置、电子设备及存储介质
技术领域
本申请涉及智慧医疗技术领域,具体涉及一种图像采集方法、装置、电子设备及存储介质。
背景技术
智慧医疗领域中,中医面诊需要采集人脸图像。目前在采集图像时,主要是通过前置摄像头采集图像。通过前置摄像头采集图像容易受到各种因素的影响,导致采集的图像质量差,达不到中医面诊的数据质量要求,进而会影响中医面诊的效果。
发明内容
本申请的一个目的在于提出一种图像采集方法、装置、电子设备及存储介质,能够使得进行中医面诊图像采集时,所采集的图像满足中医面诊质量要求。
根据本申请实施例的一方面,提供了一种图像采集方法,包括:
响应于进行中医面诊图像采集的指令,采集待识别图像;所述待识别图像是需要识别是否满足中医面诊质量标准的图像;
对所述待识别图像进行人脸区域检测,得到人脸区域图像;所述人脸区域图像是由人脸区域对应的图像区域构成的图像;
针对所述人脸区域图像的多个实际属性,依次检测每个所述实际属性与标准属性是否匹配;所述实际属性是对待识别图像的人脸区域检测得到的图像属性,所述标准属性是满足中医面诊的图像质量标准的图像属性;
若每个所述实际属性均与所述标准属性相匹配,则将所述待识别图像作为进行中医面诊的采集图像。
根据本申请实施例的一方面,提供了一种图像采集装置,包括:
采集模块,用于响应于进行中医面诊图像采集的指令,采集待识别图像;所述待识别图像是需要识别是否满足中医面诊质量标准的图像;
人脸区域检测模块,用于对所述待识别图像进行人脸区域检测,得到人脸区域图像;所述人脸区域图像是由人脸区域对应的图像区域构成的图像;
质量检测模块,用于针对所述人脸区域图像的多个实际属性,依次检测每个所述实际属性与标准属性是否匹配;所述实际属性是对待识别图像的人脸区域检测得到的图像属性,所述标准属性是满足中医面诊的图像质量标准的图像属性;
面诊图像获取模块,用于若每个所述实际属性均与所述标准属性相匹配,则将所述待识别图像作为进行中医面诊的采集图像。
在本申请的一些实施例中,基于以上技术方案,图像采集装置配置为:
检测第一实际属性与所述标准属性是否匹配;所述第一实际属性包括人脸位置属性和人脸姿态属性中的至少一个,所述人脸位置属性是人脸距离图像采集设备的距离和偏移量的属性,所述人脸姿态属性是人脸相对图像采集设备的姿态朝向的属性;
若所述第一实际属性与所述标准属性相匹配,则检测第二实际属性与所述标准属性是否匹配;所述第二实际属性包括人脸分区亮度属性、人脸图像模糊度属性以及人脸图像色偏属性中的至少一个,所述人脸分区亮度属性是人脸子区域的亮度的属性,所述人脸图像模糊度属性是人脸区域图像的模糊程度的属性,所述人脸图像色偏属性是所述人脸区域图像的色彩偏移程度的属性,所述实际属性包括所述第一实际属性和所述第二实际属性。
在本申请的一些实施例中,基于以上技术方案,图像采集装置配置为:
对所述人脸区域图像进行区域划分,得到分别位于人脸不同部位的多个子区域;
分别获取每个所述子区域的亮度;
若各个所述子区域的亮度均处于对应的标准亮度区间,则获取每两个子区域的亮度之间的差值;所述标准亮度区间是满足中医面诊质量标准的子区域的亮度区间;
若各所述差值均处于标准差值区间,则所述人脸分区亮度属性与所述标准属性匹配;所述标准差值区间是满足中医面诊质量标准的人脸不同部位之间的亮度差值的区间。
在本申请的一些实施例中,基于以上技术方案,图像采集装置配置为:
对所述人脸区域图像的大小进行缩小,得到缩小图像;所述缩小图像是所述人脸区域图像缩小后的图像;
对所述人脸区域图像和所述缩小图像进行归一化处理,得到处理后的数据;
将处理后的数据拟合成广义高斯分布,从所述广义高斯分布中提取第一特征;所述第一特征是从广义高斯分布提取的特征;
针对每个预设方向,将所述预设方向拟合成非对称广义高斯分布,得到第二特征;所述第二特征是从非对称广义高斯分布提取的特征;
对所述第一特征与所述第二特征进行组合,得到目标特征;所述目标特征是所述第一特征和第二特征组合后的特征;
对所述目标特征进行模糊度分类,得到模糊度分类结果;
根据所述模糊度分类结果,检测所述人脸图像模糊度属性与所述标准属性是否匹配。
在本申请的一些实施例中,基于以上技术方案,图像采集装置配置为:
将所述人脸区域图像的色彩模式转换为lab模式,得到lab数据;
对所述lab数据在a通道的数值求均值,得到第一均值;所述第一均值是所述lab数据在a通道的均值;
对所述lab数据在b通道上的数值求均值,得到第二均值;所述第二均值是所述lab数据在b通道的均值;
根据所述第一均值是否大于第一标准阈值,以及所述第二均值是否大于第二标准阈值,检测所述人脸图像色偏属性与所述标准属性是否匹配;所述第一标准阈值是满足中医面诊质量标准的a通道色彩阈值,所述第二标准阈值是满足中医面诊质量标准的b通道色彩阈值。
在本申请的一些实施例中,基于以上技术方案,图像采集装置配置为:
获取所述人脸区域图像的检测框;
获取所述检测框的第一尺寸,以及所述待识别图像的第二尺寸;所述第一尺寸是所述检测框的尺寸,所述第二尺寸是所述待识别图像的尺寸;
对所述第一尺寸与所述第二尺寸求比值,得到目标比值;所述目标比值是所述第一尺寸与所述第二尺寸之间的比值;
若所述目标比值位于标准比值区间,则根据获取检测框的第一位置和所述待识别图像的第二位置;所述标准比值区间是满足中医面诊质量标准的人脸区域图像与整体图像的尺寸比例区间,所述第一位置是所述检测框的位置,所述第二位置是所述待识别图像的位置;
根据所述第一位置与所述第二位置之间的偏移量,得到人脸偏移量;所述人脸偏移量是人脸相对于图像采集设备的偏移量;
若所述人脸偏移量位于标准偏移区间,则获取所述人脸区域图像的人脸二维关键点;所述人脸二维关键点是所述人脸图像区域中提取的具有两个维度位置信息的关键点,所述标准偏移区间是满足中医面诊质量标准的人脸相对图像采集设备的偏移区间;
对预设三维关键点对应的所述二维关键点,与所述预设三维关键点之间的透视变化关系进行提取,得到旋转矩阵;所述预设三维关键点是从预设三维人脸模型中提取具有三个维度位置信息的关键点;
对所述旋转矩阵进行转换,得到俯仰角、偏航角和翻滚角;
根据所述俯仰角、偏航角和翻滚角和标准角度阈值,检测所述人脸姿态属性与所述标准属性是否匹配;所述标准角度阈值是满足中医面诊质量标准的姿态角度阈值。
在本申请的一些实施例中,基于以上技术方案,图像采集装置配置为:
在进行依次检测的过程中,若检测到存在任一所述实际属性与所述标准属性不匹配,则停止检测;
输出调整采集环境的提示信息;
重新采集所述待识别图像;
对重新采集的待识别图像进行重新检测。
根据本申请实施例的一方面,提供了一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述电子设备实现上述各种可选实现方式中提供的方法。
根据本申请实施例的一方面,提供了一种计算机程序介质,其上存储有计算机可读指令,当所述计算机可读指令被计算机的处理器执行时,使计算机执行上述各种可选实现方式中提供的方法。
根据本申请实施例的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各种可选实现方式中提供的方法。
在本申请实施例提供的技术方案中,通过在中医面诊图像采集过程中,基于对待识别图像的人脸区域的多个实际属性依次检测,在各实际属性均与标准数据相匹配时,表明人脸区域图像满足中医面诊的图像质量标准,则将待识别图像作为进行中医面诊的采集图像,使得所采集图像达到中医面诊质量要求。
本申请的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本申请的实践而习得。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本申请。
附图说明
通过参考附图详细描述其示例实施例,本申请的上述和其它目标、特征及优点将变得更加显而易见。
图1示出了根据本申请实施例一的图像采集方法的流程示意图。
图2示出了根据本申请实施例二的图像采集方法的流程示意图。
图3示出了根据本申请实施例二涉及的一具体场景中进行图像采集的流程示意图。
图4示出了根据本申请实施例三的图像采集方法的流程示意图。
图5示出了根据本申请实施例四的图像采集装置的结构示意图。
图6示出了根据本申请实施例五的电子设备的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些示例实施方式使得本申请的描述将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。附图仅为本申请的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多示例实施方式中。在下面的描述中,提供许多具体细节从而给出对本申请的示例实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本申请的技术方案而省略特定细节中的一个或更多,或者可以采用其它的方法、组元、步骤等。在其它情况下,不详细示出或描述公知结构、方法、实现或者操作以避免喧宾夺主而使得本申请的各方面变得模糊。
附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
图1示出了根据本申请实施例一的图像采集方法的流程示意图。图像采集方法包括:
步骤S101:响应于进行中医面诊图像采集的指令,采集待识别图像。
待识别图像是需要识别是否满足中医面诊质量标准的图像;
本实施例中,该方法可以应用于各种具有图像采集单元的电子设备中,常见的比如智能手机、平板电脑、笔记本电脑等。
进行中医面诊图像采集的指令可以是屏幕上触控交互控件的指令,也可以是语音指令、或者通过键盘、鼠标等输入设备输入的指令,在此不对指令的形式做出限定。该指令的作用是指示进行中医面诊图像的采集。
作为一种可选的实施方式,中医面诊质量标准包括:人脸位置标准、人脸姿态标准、人脸分区亮度标准、人脸模糊度标准以及人脸色偏标准中的多个。
人脸位置标准指示了人脸需要处于图像中的特定位置区域,比如处于中心区域。人脸姿态标准指示了人脸需要朝向的方向,比如,人脸姿态应该是朝向正前方,即朝向摄像头的姿态。
人脸分区亮度标准指示了人人脸不同区域的亮度均处于一定亮度范围内,且不同区域之间的亮度差也处于一定范围内。比如,鼻子、脸颊、嘴巴的亮度均处于一定范围内,且脸颊与鼻子之间的亮度差值处于一定范围内,嘴巴与鼻子的亮度差值处于一定范围内。
人脸模糊度标准指示了人脸区域的图像分辨率的模糊程度处于一定范围内。人脸色偏标准指示了人脸的色彩偏移程度处于一定范围内。
在一具体场景中,用户手持智能手机进行中医面诊图像采集。在用户点击开始采集屏幕上中医面诊图像的按钮后,智能手机开始录制视频,并从录制的视频中获取图像帧,将获取的图像帧作为待识别图像进行后续检测。
步骤S102:对待识别图像进行人脸区域检测,得到人脸区域图像。
人脸区域图像是由人脸区域对应的图像区域构成的图像;
对人脸区域进行检测主要是将待识别图像中感兴趣的人脸区域从整体图像中识别出来,以便于后续对人脸区域进行质量控制。其中,人可以通过检测人脸区域并得到对应的检测框,基于检测框确定人脸区域图像。
步骤S103:针对人脸区域图像的多个实际属性,依次检测每个实际属性与标准属性是否匹配。
实际属性是对待识别图像的人脸区域检测得到的图像属性,标准属性是满足中医面诊的图像质量标准的图像属性。
多个实际属性包括人脸位置属性、人脸姿态属性、人脸分区亮度属性、人脸图像模糊度属性以及人脸图像色偏属性中的至少两个。
作为一种可选的实施方式,对多个实际属性依次进行检测,并只有在前一个实际属性与标准属性匹配的情况下,才检测下一个实际属性,直至所有实际属性均与标准属性匹配,则将待识别图像作为进行中医面诊的采集图像。
作为一种可选的实施方式,多个实际属性包括人脸位置属性。检测人脸位置属性与标准属性是否匹配,包括:获取人脸区域图像的检测框;获取检测框的第一尺寸,以及待识别图像的第二尺寸;第一尺寸是检测框的尺寸,第二尺寸是待识别图像的尺寸;对第一尺寸与第二尺寸求比值,得到目标比值;目标比值是第一尺寸与第二尺寸之间的比值;若目标比值位于标准比值区间,则根据获取检测框的第一位置和待识别图像的第二位置;标准比值区间是满足中医面诊质量标准的人脸区域图像与整体图像的尺寸比例区间,第一位置是检测框的位置,第二位置是待识别图像的位置;根据第一位置与第二位置之间的偏移量,得到人脸偏移量;人脸偏移量是人脸相对于图像采集设备的偏移量;若人脸偏移量位于标准偏移区间,则人脸位置属性与标准属性匹配,若人脸偏移量不位于标准偏移区间,则人脸位置属性与标准属性不匹配。
要求人脸位置属性与标准属性匹配的目的在于,要求图像中的人脸距离图像采集设备不会过远或者过近,以及不会偏向四周。
作为一种可选的实施方式,多个实际属性包括人脸姿态属性。检测人脸姿态属性与标准属性是否匹配包括:获取人脸区域图像的人脸二维关键点;人脸二维关键点是人脸图像区域中提取的具有两个维度位置信息的关键点,标准偏移区间是满足中医面诊质量标准的人脸相对图像采集设备的偏移区间;对预设三维关键点对应的二维关键点,与预设三维关键点之间的透视变化关系进行提取,得到旋转矩阵;预设三维关键点是从预设三维人脸模型中提取具有三个维度位置信息的关键点;对旋转矩阵进行转换,得到俯仰角、偏航角和翻滚角;根据俯仰角、偏航角和翻滚角和标准角度阈值,检测人脸姿态属性与标准属性是否匹配;标准角度阈值是满足中医面诊质量标准的姿态角度阈值。
要求人脸姿态属性与标准属性,目的在于控制采集到的图像中人脸处于正常良好的姿态,比如是正对图像采集单元的姿态。
作为一种可选的实施方式,多个实际属性包括人脸分区亮度属性。检测人脸分区亮度属性与标准属性是否匹配,包括:对人脸区域图像进行区域划分,得到分别位于人脸不同部位的多个子区域;分别获取每个子区域的亮度;若各个子区域的亮度均处于对应的标准亮度区间,则获取每两个子区域的亮度之间的差值;标准亮度区间是满足中医面诊质量标准的子区域的亮度区间;若各差值均处于标准差值区间,则人脸分区亮度属性与标准属性匹配;标准差值区间是满足中医面诊质量标准的人脸不同部位之间的亮度差值的区间。
要求人脸分区亮度属性与标准属性匹配,目的在于控制人脸区域的亮度不会过高或者过低,同时各区域的亮度较为均匀。
作为一种可选的实施方式,多个实际属性包括人脸图像模糊度属性。检测人脸图像模糊度属性与标准属性是否匹配,包括:对人脸区域图像的大小进行缩小,得到缩小图像;缩小图像是人脸区域图像缩小后的图像;对人脸区域图像和缩小图像进行归一化处理,得到处理后的数据;将处理后的数据拟合成广义高斯分布,从广义高斯分布中提取第一特征;第一特征是从广义高斯分布提取的特征;针对每个预设方向,将预设方向拟合成非对称广义高斯分布,得到第二特征;第二特征是从非对称广义高斯分布提取的特征;对第一特征与第二特征进行组合,得到目标特征;目标特征是第一特征和第二特征组合后的特征;对目标特征进行模糊度分类,得到模糊度分类结果;根据模糊度分类结果,检测人脸图像模糊度属性与标准属性是否匹配。
预设方向是相对于某像素的方向,比如:预设方向包括参考像素与下方、右方、主对角线、次对角线4个方向。参考像素是作为参照对象选定方向的像素。
要求人脸图像模糊度属性与标准属性匹配,目的在于避免图像失真所引起的中医面诊效果差的问题。
作为一种可选的实施方式,多个实际属性包括人脸图像色偏属性。检测人脸图像色偏属性与标准属性是否匹配,包括:将人脸区域图像的色彩模式转换为lab模式,得到lab数据;对lab数据在a通道的数值求均值,得到第一均值;第一均值是lab数据在a通道的均值;对lab数据在b通道上的数值求均值,得到第二均值;第二均值是lab数据在b通道的均值;根据第一均值是否大于第一标准阈值,以及第二均值是否大于第二标准阈值,检测人脸图像色偏属性与标准属性是否匹配;第一标准阈值是满足中医面诊质量标准的a通道色彩阈值,第二标准阈值是满足中医面诊质量标准的b通道色彩阈值。
要求人脸图像色偏属性与标准属性匹配,目的在于使得采集到的图像的色彩分布在一定的合理范围内,避免影响后续的中医面色形状的诊断。
步骤S104:若每个实际属性均与标准属性相匹配,则将待识别图像作为进行中医面诊的采集图像。
各个实际属性均与标准属性匹配,表明待识别图像满足中医质量标准,从而将待识别图像作为中医面诊的采集图像。
在将待识别图像作为进行中医面诊的采集图像后,可以通过电子设备对采集图像进行中医面诊特征的提取,并根据提取的特征分析是否存在相应的疾病证型,从而基于满足中医面诊质量要求提高中医面诊的质量。
在本实施例中,通过在中医面诊图像采集过程中,基于对待识别图像的人脸区域的多个实际属性依次检测,在各实际属性均与标准数据相匹配时,表明人脸区域图像满足中医面诊的图像质量标准,则将待识别图像作为进行中医面诊的采集图像,使得所采集图像达到中医面诊质量要求。
在一实施例中,若存在任一个实际属性与标准属性不匹配,则重新采集待识别图像。
图2示出了根据本申请实施例二的图像采集方法的流程示意图。图像采集方法包括:
步骤S201:响应于进行中医面诊图像采集的指令,采集待识别图像。
待识别图像是需要识别是否满足中医面诊质量标准的图像。
在本实施例中,为了使得对检测实际属性与标准属性的过程效率更高,更适于实际进行检测,先对第一实际属性进行检测,再对第二实际属性进行检测。只有在第一实际属性与标准属性匹配的情况下,才检测第二实际属性,若第一实际属性与标准属性不匹配,则直接视作待识别图像的质量不满足中医面诊质量的图像标准。
第一实际属性包括人脸位置属性和人脸姿态属性中的至少一个。第二实际属性包括人脸分区亮度属性、人脸图像模糊度属性以及人脸图像色偏属性中的至少一个。只有在第一实际属性与标准属性匹配的情况下,第二属性与标准属性匹配的概率较大,否则匹配的概率较小,因此,先检测第一实际属性,再检测第二实际属性更符合实际应用中的检测过程,效率更高,效果最佳。
作为一种可选的实施方式,第一实际属性包括人脸位置属性和人脸姿态属性。检测第一实际属性与标准属性是否匹配,包括:先检测人脸位置属性与标准属性是否匹配,若不匹配,则待识别图像不满足中医面诊质量标准,若匹配,再检测人脸姿态属性与标准属性是否匹配。人脸位置属性符合中医面诊质量标准的情况下,人脸姿态属性才有相对较高的可能性符合中医面诊质量标准,若人脸位置属性不匹配,则人脸姿态属性不匹配的概率较大,考虑检测的效率,先检测人脸位置属性更加适合于实际应用中进行代码的部署。
作为一种可选的实施方式,第二实际属性包括人脸分区亮度属性、人脸图像模糊度属性以及人脸图像色偏属性。对包括人脸分区亮度属性、人脸图像模糊度属性以及人脸图像色偏属性进行检测,可以不区分先后顺序,但是需要三者都满足中医面诊的质量要求。
步骤S202:对待识别图像进行人脸区域检测,得到人脸区域图像。
人脸区域图像是由人脸区域对应的图像区域构成的图像。
步骤S203:检测第一实际属性与标准属性是否匹配。
第一实际属性包括人脸位置属性和人脸姿态属性中的至少一个,人脸位置属性是人脸距离图像采集设备的距离和偏移量的属性,人脸姿态属性是人脸相对图像采集设备的姿态朝向的属性。
在一实施例中,检测第一实际属性与标准属性是否匹配,包括:获取人脸区域图像的检测框;获取检测框的第一尺寸,以及待识别图像的第二尺寸;第一尺寸是检测框的尺寸,第二尺寸是待识别图像的尺寸;对第一尺寸与第二尺寸求比值,得到目标比值;目标比值是第一尺寸与第二尺寸之间的比值;若目标比值位于标准比值区间,则根据获取检测框的第一位置和待识别图像的第二位置;标准比值区间是满足中医面诊质量标准的人脸区域图像与整体图像的尺寸比例区间,第一位置是检测框的位置,第二位置是待识别图像的位置;根据第一位置与第二位置之间的偏移量,得到人脸偏移量;人脸偏移量是人脸相对于图像采集设备的偏移量;若人脸偏移量位于标准偏移区间,则获取人脸区域图像的人脸二维关键点;人脸二维关键点是人脸图像区域中提取的具有两个维度位置信息的关键点,标准偏移区间是满足中医面诊质量标准的人脸相对图像采集设备的偏移区间;对预设三维关键点对应的二维关键点,与预设三维关键点之间的透视变化关系进行提取,得到旋转矩阵;预设三维关键点是从预设三维人脸模型中提取具有三个维度位置信息的关键点;对旋转矩阵进行转换,得到俯仰角、偏航角和翻滚角;根据俯仰角、偏航角和翻滚角和标准角度阈值,检测人脸姿态属性与标准属性是否匹配;标准角度阈值是满足中医面诊质量标准的姿态角度阈值。
若第一实际属性与标准属性相匹配,则执行步骤S204。
步骤S204:检测第二实际属性与标准属性是否匹配。
第二实际属性包括人脸分区亮度属性、人脸图像模糊度属性以及人脸图像色偏属性中的至少一个,人脸分区亮度属性是人脸子区域的亮度的属性,人脸图像模糊度属性是人脸区域图像的模糊程度的属性,人脸图像色偏属性是人脸区域图像的色彩偏移程度的属性,实际属性包括第一实际属性和第二实际属性。
在一实施例中,检测第二实际属性与标准属性是否匹配,包括:对人脸区域图像进行区域划分,得到分别位于人脸不同部位的多个子区域;分别获取每个子区域的亮度;若各个子区域的亮度均处于对应的标准亮度区间,则获取每两个子区域的亮度之间的差值;标准亮度区间是满足中医面诊质量标准的子区域的亮度区间;若各差值均处于标准差值区间,则人脸分区亮度属性与标准属性匹配;标准差值区间是满足中医面诊质量标准的人脸不同部位之间的亮度差值的区间。
在一实施例中,检测第二实际属性与标准属性是否匹配,包括:对人脸区域图像的大小进行缩小,得到缩小图像;缩小图像是人脸区域图像缩小后的图像;对人脸区域图像和缩小图像进行归一化处理,得到处理后的数据;将处理后的数据拟合成广义高斯分布,从广义高斯分布中提取第一特征;第一特征是从广义高斯分布提取的特征;针对每个预设方向,将预设方向拟合成非对称广义高斯分布,得到第二特征;第二特征是从非对称广义高斯分布提取的特征;对第一特征与第二特征进行组合,得到目标特征;目标特征是第一特征和第二特征组合后的特征;对目标特征进行模糊度分类,得到模糊度分类结果;根据模糊度分类结果,检测人脸图像模糊度属性与标准属性是否匹配。
在一实施例中,检测第二实际属性与标准属性是否匹配,包括:将人脸区域图像的色彩模式转换为lab模式,得到lab数据;对lab数据在a通道的数值求均值,得到第一均值;第一均值是lab数据在a通道的均值;对lab数据在b通道上的数值求均值,得到第二均值;第二均值是lab数据在b通道的均值;根据第一均值是否大于第一标准阈值,以及第二均值是否大于第二标准阈值,检测人脸图像色偏属性与标准属性是否匹配;第一标准阈值是满足中医面诊质量标准的a通道色彩阈值,第二标准阈值是满足中医面诊质量标准的b通道色彩阈值。
步骤S205:若每个实际属性均与标准属性相匹配,则将待识别图像作为进行中医面诊的采集图像。
参照图3所示,在一具体场景中,在人脸图像数据采集过程中增加一系列的质量控制策略来保证最终采集到的人脸图像是满足后续的中医诊断要求的。质量控制策略包括人脸检测、人脸关键点检测、人脸位置控制、人脸姿态检测、面部分区亮度控制、人脸模糊度控制、图像色偏控制。
此外,上述多个检测过程具有图3所示的先后顺序,通过该顺序进行质量控制,只有顺序在前的检测通过,后面的才有较大可能检测通过,若顺序在前的检测不通过,则顺序在后的检测不通过的概率极大,因此,为了在实际应用过程中,得到效率最佳、效果最好、最适合于实际使用的检测,可以按照图3所示的检测顺序进行依次检测。图3所示的具体手段仅仅是本实施例提供的一种可选实施方式,在实际应用过程中也可以选用其它的具体技术手段,本实施例不对具体采用的技术手段做限定。
如图3所示,采集质量合格的图像,包括如下过程:
人脸检测。可以基于BlazeFace的轻量级人脸检测模型,实现其tensorflowjs版本,在移动端实现摄像头采集视频帧图像中面部感兴趣区域的检测。检测得到的人脸感兴趣区域的检测框用于后续的人脸关键点检测以及人脸位置判断模块。
人脸关键点检测。人脸关键点检测是指对摄像头采集得到的视频帧图像中的人脸面部区域进行468个关键点检测。基于mediapipe的人脸关键点检测模型,实现其tensorflowjs版本,在移动端实现对人脸检测模型检测得到的面部感兴趣区域进行468个关键点检测。得到的468个关键点用于后续的人脸姿态检测控制以及人脸面部分区亮度计算控制实现。
人脸位置控制。人脸位置控制的目的是使得在拍摄过程中面部感兴趣区域处在图像合适范围内,不会过于偏远偏近或偏向四周。通过使用人脸检测得到的人脸检测框信息和图像的尺寸大小来实现控制。通过计算人脸检测框的宽与图像的宽的比值来判断图像中的人脸区域是否过于偏远偏近。即设定一定的阈值,如果计算得到的比值大于该阈值,则认为人脸区域离摄像头距离较近;如果计算得到的比值小于该阈值,则认为人脸区域离摄像头距离较远。人脸区域是否偏向四周是指人脸区域距离图像中心区域是否处于一定的合适的范围之内。
人脸位置控制的具体实现过程可以是先根据人脸检测框确定检测得到的人脸区域的中心点坐标信息,然后根据图像的尺寸确定图像的中心点坐标信息;根据人脸中心点坐标和图像中心点坐标来判断人脸区域是否偏上偏下偏远偏近。
人脸姿态控制。人脸姿态控制是通过进行人脸姿态估计即获取图像中脸部朝向的角度信息,来控制最终采集得到的图像中人脸处于正常良好的姿态,避免因姿态不佳影响后续中医面诊性状的识别效果。该部分是使用欧拉角(俯仰角pitch、偏航角yaw、翻滚角roll)来表示人脸姿态信息的。
人脸姿态控制的主要步骤如下:定义一个具有四个关键点的3D脸部模型,即左眼角、右眼角、鼻尖、左嘴角;根据面部关键点检测得到上述3D脸部对应的2D人脸关键点;利用对应的关键点信息得到旋转矩阵,即当作N个点的透视变化问题进行处理获取3维世界坐标系中4个点的坐标和2维图像坐标系中的点集之间的变换关系;将上述得到的旋转向量转换成三个欧拉角,通过对三个欧拉角设置一定的阈值进行判断来实现对人脸姿态的控制。
人脸面部分区亮度控制。人脸面部分区亮度控制是先对人脸面部区域划分各个子区域,分别对每个子区域进行亮度计算,然后通过设置亮度上下限阈值来判断各个子区域的亮度是否在合适的范围之内,再然后通过亮度差距阈值来判断各个子区域之间的亮度差距是否在合适的范围之内,最后得到一张亮度在合适范围内且分布均匀的图像。
可以将人脸面部区域划分为左右脸颊区域、鼻子区域、嘴部区域等四个区域。在进行子区域之间亮度差距判断时通过比较鼻子区域和嘴部区域之间的亮度差距来控制图像纵向方向上的亮度均匀,通过比较左右脸颊区域和鼻子区域之间的亮度差距来控制图像横向方向上的亮度均匀。
人脸图像模糊度控制。人脸图像模糊属于图像失真的范畴。在自然场景下,采集的自然图像有着一定的统计特征,而图像失真会使这些统计特征发生改变,因此利用图像的一些统计特征作为图像特征,可以完成图像的无参考评价。由此,提取图像的统计特征作为图像模糊与否的判断依据,是有一定的可行之处的。采用提取图像特征结合SVM分类器的机器学习的方法对人脸图像模糊度进行判断。
先对rgb图像进行MSCN归一化处理,然后对处理后的数据拟合成广义高斯分布提取得到两个特征;加入相连像素间的关联信息,选取4个方向计算MSCN即当前像素与下方、右方、主对角线、次对角线4个方向分别进行计算,然后分别将每个方向拟合成非对称广义高斯分布得到4个特征即得到16个特征;将两部分特征进行组合得到18个特征;对原始图像数据和0.5倍原图大小的图像分别进行上述操作,最终提取得到36个特征;将这36个特征输入到svm中做分类,判断当前图像是模糊还是清晰的。
人脸图像色偏控制。人脸图像色偏控制的目的在于保证采集得到的图像的色彩分布在一定的合理范围之内,以避免影响后续的中医面色性状的诊断。人脸图像色偏控制过程包括:将RGB图像数据转化成Lab数据;分别计算a通道和b通道上的均值;设定相关的阈值分别对a通道上的均值和b通道上的均值进行比较判断从而判断该图像是否色偏。值得注意的是,为了避免背景中一些异常色彩的影响,比如较为鲜艳的衣服等,这里处理的图像是根据人脸检测框对原始图像数据剪裁后得到的人脸区域图像。
人脸位置控制可以保证面部区域处于图像中合适的范围之内;人脸姿态控制可以保证人脸正对摄像头,不会出现异常姿态;人脸面部分区亮度控制可以保证拍摄得到的面部区域的亮度在合适的范围内且分布均匀;人脸图像模糊度控制可以保证采集得到的图像中面部清晰,基于特征提取的方法结合svm分类的方式对模糊度的判断更鲁棒;人脸图像色偏控制可以保证采集得到的图像中面部区域色彩处于合理的范围之内,避免因为环境因素影响后续面诊对面色唇色等性状的识别。
经过上述一系列的操作,可以保证最终采集得到的人脸图像的质量满足后续中医性状识别的要求。
图4示出了根据本申请实施例三的图像采集方法的流程示意图。图像采集方法包括:
步骤S301:响应于进行中医面诊图像采集的指令,采集待识别图像。
待识别图像是需要识别是否满足中医面诊质量标准的图像。
步骤S302:对待识别图像进行人脸区域检测,得到人脸区域图像。
人脸区域图像是由人脸区域对应的图像区域构成的图像。
步骤S303:针对人脸区域图像的多个实际属性,依次检测每个实际属性与标准属性是否匹配。
实际属性是对待识别图像的人脸区域检测得到的图像属性,标准属性是满足中医面诊的图像质量标准的图像属性。
步骤S304:若每个实际属性均与标准属性相匹配,则将待识别图像作为进行中医面诊的采集图像。
步骤S305:在进行依次检测的过程中,若检测到存在任一实际属性与标准属性不匹配,则停止检测。
在本实施例中,通过依次检测实际属性与标准属性是否匹配,从而可以在实际属性与标准属性不匹配时,待识别图像已经不符合中医面诊的质量要求,通过及时停止检测,避免进行后续检测造成资源浪费的问题。
步骤S306:输出调整采集环境的提示信息。
提示信息用于指示用户调整采集图像的环境。提示信息可以包括界面资源信息或者声音资源信息。
作为一种可选的实施方式,先获取不匹配的实际属性,再获取不匹配的实际属性所关联的提示信息,不同实际属性所关联的提示信息不同。以便于使得用户根据特定实际属性的提示信息进行采集环境的调整。
比如,若检测到人脸位置属性与标准属性不匹配,则通过提示信息指示用户改变位置,靠近或者远离图像采集设备,向四周某个方向移动头部,调整相对四周的位置。若检测到人脸姿态属性与标准属性不匹配,则通过提示信息指示用户抬头或者低头等。若检测到人脸分区亮度属性与标准属性不匹配,则通过提示信息指示用户改善周围环境的亮度。
步骤S307:重新采集待识别图像。
在输出提示信息后,重新采集待识别图像。
在一具体场景中,开始采集图像后,电子设备一直拍摄视频,并根据视频中的图像帧实时检测图像是否符合中医面诊质量要求,如果不符合则持续检测,直至检测总时长超时,如果符合则将符合要求的图像作为进行中医面诊的图像。
步骤S308:对重新采集的待识别图像进行重新检测。
对重新采集的待识别图像进行重新检测的过程与步骤S302至步骤S306大致相同。在此不做赘述。
为了避免持续重新检测,导致用户等待时间过长,在重新检测的次数超过一定次数,或者检测的时间超时的情况下,结束检测,并告知用户检测失败。检测失败的情况下,用户可以换个环境或者换个图像采集设备重新采集用于进行中医面诊的图像。
在本实施例中,通过在任一实际属性与标准属性不匹配时,输出提示信息,指示用户调整采集环境,并重新采集待识别图像进行重新检测,从而能够及时地在待识别图像不符合中医面诊质量要求时,令用户调整环境,从而较高的效率获取到符合中医面诊质量要求的图像。
图5示出了根据本申请实施例四的图像采集装置的结构示意图,图像采集装置包括:
采集模块401,用于响应于进行中医面诊图像采集的指令,采集待识别图像;待识别图像是需要识别是否满足中医面诊质量标准的图像;
人脸区域检测模块402,用于对待识别图像进行人脸区域检测,得到人脸区域图像;人脸区域图像是由人脸区域对应的图像区域构成的图像;
质量检测模块403,用于针对人脸区域图像的多个实际属性,依次检测每个实际属性与标准属性是否匹配;实际属性是对待识别图像的人脸区域检测得到的图像属性,标准属性是满足中医面诊的图像质量标准的图像属性;
面诊图像获取模块404,用于若每个实际属性均与标准属性相匹配,则将待识别图像作为进行中医面诊的采集图像。
在本申请的一示例性实施例中,图像采集装置配置为:
检测第一实际属性与标准属性是否匹配;第一实际属性包括人脸位置属性和人脸姿态属性中的至少一个,人脸位置属性是人脸距离图像采集设备的距离和偏移量的属性,人脸姿态属性是人脸相对图像采集设备的姿态朝向的属性;
若第一实际属性与标准属性相匹配,则检测第二实际属性与标准属性是否匹配;第二实际属性包括人脸分区亮度属性、人脸图像模糊度属性以及人脸图像色偏属性中的至少一个,人脸分区亮度属性是人脸子区域的亮度的属性,人脸图像模糊度属性是人脸区域图像的模糊程度的属性,人脸图像色偏属性是人脸区域图像的色彩偏移程度的属性,实际属性包括第一实际属性和第二实际属性。
在本申请的一示例性实施例中,图像采集装置配置为:
对人脸区域图像进行区域划分,得到分别位于人脸不同部位的多个子区域;
分别获取每个子区域的亮度;
若各个子区域的亮度均处于对应的标准亮度区间,则获取每两个子区域的亮度之间的差值;标准亮度区间是满足中医面诊质量标准的子区域的亮度区间;
若各差值均处于标准差值区间,则人脸分区亮度属性与标准属性匹配;标准差值区间是满足中医面诊质量标准的人脸不同部位之间的亮度差值的区间。
在本申请的一示例性实施例中,图像采集装置配置为:
对人脸区域图像的大小进行缩小,得到缩小图像;缩小图像是人脸区域图像缩小后的图像;
对人脸区域图像和缩小图像进行归一化处理,得到处理后的数据;
将处理后的数据拟合成广义高斯分布,从广义高斯分布中提取第一特征;第一特征是从广义高斯分布提取的特征;
针对每个预设方向,将预设方向拟合成非对称广义高斯分布,得到第二特征;第二特征是从非对称广义高斯分布提取的特征;
对第一特征与第二特征进行组合,得到目标特征;目标特征是第一特征和第二特征组合后的特征;
对目标特征进行模糊度分类,得到模糊度分类结果;
根据模糊度分类结果,检测人脸图像模糊度属性与标准属性是否匹配。
在本申请的一示例性实施例中,图像采集装置配置为:
将人脸区域图像的色彩模式转换为lab模式,得到lab数据;
对lab数据在a通道的数值求均值,得到第一均值;第一均值是lab数据在a通道的均值;
对lab数据在b通道上的数值求均值,得到第二均值;第二均值是lab数据在b通道的均值;
根据第一均值是否大于第一标准阈值,以及第二均值是否大于第二标准阈值,检测人脸图像色偏属性与标准属性是否匹配;第一标准阈值是满足中医面诊质量标准的a通道色彩阈值,第二标准阈值是满足中医面诊质量标准的b通道色彩阈值。
在本申请的一示例性实施例中,图像采集装置配置为:
获取人脸区域图像的检测框;
获取检测框的第一尺寸,以及待识别图像的第二尺寸;第一尺寸是检测框的尺寸,第二尺寸是待识别图像的尺寸;
对第一尺寸与第二尺寸求比值,得到目标比值;目标比值是第一尺寸与第二尺寸之间的比值;
若目标比值位于标准比值区间,则根据获取检测框的第一位置和待识别图像的第二位置;标准比值区间是满足中医面诊质量标准的人脸区域图像与整体图像的尺寸比例区间,第一位置是检测框的位置,第二位置是待识别图像的位置;
根据第一位置与第二位置之间的偏移量,得到人脸偏移量;人脸偏移量是人脸相对于图像采集设备的偏移量;
若人脸偏移量位于标准偏移区间,则获取人脸区域图像的人脸二维关键点;人脸二维关键点是人脸图像区域中提取的具有两个维度位置信息的关键点,标准偏移区间是满足中医面诊质量标准的人脸相对图像采集设备的偏移区间;
对预设三维关键点对应的二维关键点,与预设三维关键点之间的透视变化关系进行提取,得到旋转矩阵;预设三维关键点是从预设三维人脸模型中提取具有三个维度位置信息的关键点;
对旋转矩阵进行转换,得到俯仰角、偏航角和翻滚角;
根据俯仰角、偏航角和翻滚角和标准角度阈值,检测人脸姿态属性与标准属性是否匹配;标准角度阈值是满足中医面诊质量标准的姿态角度阈值。
在本申请的一示例性实施例中,图像采集装置配置为:
在进行依次检测的过程中,若检测到存在任一实际属性与标准属性不匹配,则停止检测;
输出调整采集环境的提示信息;
重新采集待识别图像;
对重新采集的待识别图像进行重新检测。
下面参考图6来描述根据本申请实施例五的电子设备50的结构示意图。图6显示的电子设备50仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示,电子设备50以通用计算设备的形式表现。电子设备50的组件可以包括但不限于:上述至少一个处理单元510、上述至少一个存储单元520、连接不同系统组件(包括存储单元520和处理单元510)的总线530。
其中,存储单元存储有程序代码,程序代码可以被处理单元510执行,使得处理单元510执行本说明书上述示例性方法的描述部分中描述的根据本申请各种示例性实施方式的步骤。例如,处理单元510可以执行如图1中所示的各个步骤。
存储单元520可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)5201和/或高速缓存存储单元5202,还可以进一步包括只读存储单元(ROM)5203。
存储单元520还可以包括具有一组(至少一个)程序模块5205的程序/实用工具5204,这样的程序模块5205包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线530可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备50也可以与一个或多个外部设备600(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备50交互的设备通信,和/或与使得该电子设备50能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口550进行。输入/输出(I/O)接口550与显示单元540相连。并且,电子设备50还可以通过网络适配器560与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器560通过总线530与电子设备50的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备50使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本申请实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本申请实施方式的方法。
在本申请的示例性实施例中,还提供了一种计算机可读存储介质,其上存储有计算机可读指令,当计算机可读指令被计算机的处理器执行时,使计算机执行上述方法实施例部分描述的方法。
根据本申请的一个实施例,还提供了一种用于实现上述方法实施例中的方法的程序产品,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本申请的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码,程序设计语言包括面向对象的程序设计语言—诸如JAVA、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本申请的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外,尽管在附图中以特定顺序描述了本申请中方法的各个步骤,但是,这并非要求或者暗示必须按照该特定顺序来执行这些步骤,或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的,可以省略某些步骤,将多个步骤合并为一个步骤执行,以及/或者将一个步骤分解为多个步骤执行等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本申请实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本申请实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由所附的权利要求指出。

Claims (10)

1.一种图像采集方法,其特征在于,包括:
响应于进行中医面诊图像采集的指令,采集待识别图像;所述待识别图像是需要识别是否满足中医面诊质量标准的图像;
对所述待识别图像进行人脸区域检测,得到人脸区域图像;所述人脸区域图像是由人脸区域对应的图像区域构成的图像;
针对所述人脸区域图像的多个实际属性,依次检测每个所述实际属性与标准属性是否匹配;所述实际属性是对待识别图像的人脸区域检测得到的图像属性,所述标准属性是满足中医面诊的图像质量标准的图像属性;
若每个所述实际属性均与所述标准属性相匹配,则将所述待识别图像作为进行中医面诊的采集图像。
2.根据权利要求1所述的方法,其特征在于,针对所述人脸区域图像的多个实际属性,依次检测每个所述实际属性与标准属性是否匹配,包括:
检测第一实际属性与所述标准属性是否匹配;所述第一实际属性包括人脸位置属性和人脸姿态属性中的至少一个,所述人脸位置属性是人脸距离图像采集设备的距离和偏移量的属性,所述人脸姿态属性是人脸相对图像采集设备的姿态朝向的属性;
若所述第一实际属性与所述标准属性相匹配,则检测第二实际属性与所述标准属性是否匹配;所述第二实际属性包括人脸分区亮度属性、人脸图像模糊度属性以及人脸图像色偏属性中的至少一个,所述人脸分区亮度属性是人脸子区域的亮度的属性,所述人脸图像模糊度属性是人脸区域图像的模糊程度的属性,所述人脸图像色偏属性是所述人脸区域图像的色彩偏移程度的属性,所述实际属性包括所述第一实际属性和所述第二实际属性。
3.根据权利要求2所述的方法,其特征在于,检测第二实际属性与所述标准属性是否匹配,包括:
对所述人脸区域图像进行区域划分,得到分别位于人脸不同部位的多个子区域;
分别获取每个所述子区域的亮度;
若各个所述子区域的亮度均处于对应的标准亮度区间,则获取每两个子区域的亮度之间的差值;所述标准亮度区间是满足中医面诊质量标准的子区域的亮度区间;
若各所述差值均处于标准差值区间,则所述人脸分区亮度属性与所述标准属性匹配;所述标准差值区间是满足中医面诊质量标准的人脸不同部位之间的亮度差值的区间。
4.根据权利要求2所述的方法,其特征在于,检测第二实际属性与所述标准属性是否匹配,包括:
对所述人脸区域图像的大小进行缩小,得到缩小图像;所述缩小图像是所述人脸区域图像缩小后的图像;
对所述人脸区域图像和所述缩小图像进行归一化处理,得到处理后的数据;
将处理后的数据拟合成广义高斯分布,从所述广义高斯分布中提取第一特征;所述第一特征是从广义高斯分布提取的特征;
针对每个预设方向,将所述预设方向拟合成非对称广义高斯分布,得到第二特征;所述第二特征是从非对称广义高斯分布提取的特征;
对所述第一特征与所述第二特征进行组合,得到目标特征;所述目标特征是所述第一特征和第二特征组合后的特征;
对所述目标特征进行模糊度分类,得到模糊度分类结果;
根据所述模糊度分类结果,检测所述人脸图像模糊度属性与所述标准属性是否匹配。
5.根据权利要求2所述的方法,其特征在于,检测第二实际属性与所述标准属性是否匹配,包括:
将所述人脸区域图像的色彩模式转换为lab模式,得到lab数据;
对所述lab数据在a通道的数值求均值,得到第一均值;所述第一均值是所述lab数据在a通道的均值;
对所述lab数据在b通道上的数值求均值,得到第二均值;所述第二均值是所述lab数据在b通道的均值;
根据所述第一均值是否大于第一标准阈值,以及所述第二均值是否大于第二标准阈值,检测所述人脸图像色偏属性与所述标准属性是否匹配;所述第一标准阈值是满足中医面诊质量标准的a通道色彩阈值,所述第二标准阈值是满足中医面诊质量标准的b通道色彩阈值。
6.根据权利要求2所述的方法,其特征在于,检测第一实际属性与所述标准属性是否匹配,包括:
获取所述人脸区域图像的检测框;
获取所述检测框的第一尺寸,以及所述待识别图像的第二尺寸;所述第一尺寸是所述检测框的尺寸,所述第二尺寸是所述待识别图像的尺寸;
对所述第一尺寸与所述第二尺寸求比值,得到目标比值;所述目标比值是所述第一尺寸与所述第二尺寸之间的比值;
若所述目标比值位于标准比值区间,则根据获取检测框的第一位置和所述待识别图像的第二位置;所述标准比值区间是满足中医面诊质量标准的人脸区域图像与整体图像的尺寸比例区间,所述第一位置是所述检测框的位置,所述第二位置是所述待识别图像的位置;
根据所述第一位置与所述第二位置之间的偏移量,得到人脸偏移量;所述人脸偏移量是人脸相对于图像采集设备的偏移量;
若所述人脸偏移量位于标准偏移区间,则获取所述人脸区域图像的人脸二维关键点;所述人脸二维关键点是所述人脸图像区域中提取的具有两个维度位置信息的关键点,所述标准偏移区间是满足中医面诊质量标准的人脸相对图像采集设备的偏移区间;
对预设三维关键点对应的所述二维关键点,与所述预设三维关键点之间的透视变化关系进行提取,得到旋转矩阵;所述预设三维关键点是从预设三维人脸模型中提取具有三个维度位置信息的关键点;
对所述旋转矩阵进行转换,得到俯仰角、偏航角和翻滚角;
根据所述俯仰角、偏航角和翻滚角和标准角度阈值,检测所述人脸姿态属性与所述标准属性是否匹配;所述标准角度阈值是满足中医面诊质量标准的姿态角度阈值。
7.根据权利要求1所述的方法,其特征在于,依次检测每个所述实际属性与标准属性是否匹配之后,所述方法还包括:
在进行依次检测的过程中,若检测到存在任一所述实际属性与所述标准属性不匹配,则停止检测;
输出调整采集环境的提示信息;
重新采集所述待识别图像;
对重新采集的待识别图像进行重新检测。
8.一种图像采集装置,其特征在于,包括:
采集模块,用于响应于进行中医面诊图像采集的指令,采集待识别图像;所述待识别图像是需要识别是否满足中医面诊质量标准的图像;
人脸区域检测模块,用于对所述待识别图像进行人脸区域检测,得到人脸区域图像;所述人脸区域图像是由人脸区域对应的图像区域构成的图像;
质量检测模块,用于针对所述人脸区域图像的多个实际属性,依次检测每个所述实际属性与标准属性是否匹配;所述实际属性是对待识别图像的人脸区域检测得到的图像属性,所述标准属性是满足中医面诊的图像质量标准的图像属性;
面诊图像获取模块,用于若每个所述实际属性均与所述标准属性相匹配,则将所述待识别图像作为进行中医面诊的采集图像。
9.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述电子设备实现如权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,其上存储有计算机可读指令,当所述计算机可读指令被计算机的处理器执行时,使计算机执行权利要求1至7中任一项所述的方法。
CN202310140399.2A 2023-02-14 2023-02-14 图像采集方法、装置、电子设备及存储介质 Pending CN116189263A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310140399.2A CN116189263A (zh) 2023-02-14 2023-02-14 图像采集方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310140399.2A CN116189263A (zh) 2023-02-14 2023-02-14 图像采集方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN116189263A true CN116189263A (zh) 2023-05-30

Family

ID=86440045

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310140399.2A Pending CN116189263A (zh) 2023-02-14 2023-02-14 图像采集方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116189263A (zh)

Similar Documents

Publication Publication Date Title
WO2018177379A1 (zh) 手势识别、控制及神经网络训练方法、装置及电子设备
US20210334524A1 (en) Gesture recognition method and terminal device and computer readable storage medium using the same
KR20220006657A (ko) 깊이를 사용한 비디오 배경 제거
US8442269B2 (en) Method and apparatus for tracking target object
US11600008B2 (en) Human-tracking methods, systems, and storage media
US10891473B2 (en) Method and device for use in hand gesture recognition
CN110189336B (zh) 图像生成方法、系统、服务器及存储介质
US9478037B2 (en) Techniques for efficient stereo block matching for gesture recognition
US11361587B2 (en) Age recognition method, storage medium and electronic device
EP4033458A2 (en) Method and apparatus of face anti-spoofing, device, storage medium, and computer program product
US20200020089A1 (en) Image processing method, apparatus, terminal, and storage medium
CN110619656B (zh) 基于双目摄像头的人脸检测跟踪方法、装置及电子设备
CN114648756B (zh) 一种基于指向向量的书本文字识别指读方法和系统
JP7297989B2 (ja) 顔生体検出方法、装置、電子機器及び記憶媒体
CN112396050B (zh) 图像的处理方法、设备以及存储介质
CN110390295B (zh) 一种图像信息识别方法、装置及存储介质
WO2022111461A1 (zh) 识别方法、装置及电子设备
US20210295016A1 (en) Living body recognition detection method, medium and electronic device
US20220207917A1 (en) Facial expression image processing method and apparatus, and electronic device
US11074676B2 (en) Correction of misaligned eyes in images
CN116189263A (zh) 图像采集方法、装置、电子设备及存储介质
JP3578321B2 (ja) 画像正規化装置
CN113835590A (zh) 显示方法、信息发送方法和电子设备
TWI444909B (zh) 採用奇異值分解進行光線補償處理之手勢影像辨識方法及其系統
CN110377145B (zh) 电子设备确定方法、系统、计算机系统和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination