CN110335266B - 一种智能中医目诊图像处理方法及装置 - Google Patents
一种智能中医目诊图像处理方法及装置 Download PDFInfo
- Publication number
- CN110335266B CN110335266B CN201910601456.6A CN201910601456A CN110335266B CN 110335266 B CN110335266 B CN 110335266B CN 201910601456 A CN201910601456 A CN 201910601456A CN 110335266 B CN110335266 B CN 110335266B
- Authority
- CN
- China
- Prior art keywords
- eye
- image
- region
- following
- diagnosis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 239000003814 drug Substances 0.000 title claims abstract description 32
- 238000003672 processing method Methods 0.000 title claims abstract description 21
- 238000011179 visual inspection Methods 0.000 title claims abstract description 9
- 238000003745 diagnosis Methods 0.000 claims abstract description 55
- 238000000034 method Methods 0.000 claims abstract description 31
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 27
- 201000010099 disease Diseases 0.000 claims abstract description 26
- 208000024891 symptom Diseases 0.000 claims abstract description 16
- 230000003287 optical effect Effects 0.000 claims abstract description 14
- 238000001914 filtration Methods 0.000 claims abstract description 13
- 230000006996 mental state Effects 0.000 claims abstract description 7
- 230000009466 transformation Effects 0.000 claims abstract description 7
- 210000001508 eye Anatomy 0.000 claims description 331
- 210000005252 bulbus oculi Anatomy 0.000 claims description 49
- 210000000744 eyelid Anatomy 0.000 claims description 31
- 238000006073 displacement reaction Methods 0.000 claims description 24
- 230000004438 eyesight Effects 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 15
- 239000013598 vector Substances 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 12
- 210000001747 pupil Anatomy 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 9
- 239000003086 colorant Substances 0.000 claims description 6
- 210000004709 eyebrow Anatomy 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 4
- 230000004424 eye movement Effects 0.000 claims 1
- 238000005259 measurement Methods 0.000 abstract description 5
- 238000012706 support-vector machine Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 9
- 230000000007 visual effect Effects 0.000 description 9
- 210000004087 cornea Anatomy 0.000 description 7
- 230000006872 improvement Effects 0.000 description 7
- 238000012549 training Methods 0.000 description 6
- 210000004204 blood vessel Anatomy 0.000 description 5
- 210000000795 conjunctiva Anatomy 0.000 description 5
- 206010060891 General symptom Diseases 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 4
- 210000001835 viscera Anatomy 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006806 disease prevention Effects 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 230000002969 morbid Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/168—Segmentation; Edge detection involving transform domain methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20061—Hough transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Computer Graphics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- General Health & Medical Sciences (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种智能中医目诊图像处理方法及装置。该方法包括：获取眼部视频图像；按照预设的采集周期从眼部视频图像中采集眼部区域图像并建立眼部三维模型；利用DLIB库提取每帧眼部区域图像的眼部关键点并采用HOUGH变换算法定位和分割出其眼部五轮区域以确定目色特征；采用LK光流法和卡尔曼滤波算法检测和提取每帧眼部图像中的眼部特征点以确定神态特征；将目色特征和神态特征送入预设的SVM分类器以进行目诊病症状态分类并输出至预设的目诊数据库。采用本发明的方法及装置能为病情诊断提供定量的参考数据，使诊测更全面和准确。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种智能中医目诊图像处理方法及装置。
背景技术
中医学在诊断与疾病防治中的重要思想是把人体看作是一个有机整体，强调内脏与体表组织器官在结构和机能上的协调性、完整性，在生理上的密切联系以及病理上的相互影响。眼是五脏六腑精气上注的器官，而“望、闻、问、切”中的望目可测知内脏精气及经络功能的盛衰，对脏腑疾病的诊断有重要意义，对于一些疾病的早期诊断可以起到见微知著的作用。所以，通过目诊对眼部的神、色、形、态等进行观察，能够直接反应出脏腑及经络功能的重要信息。
然而，由于传统的目诊主要是依靠中医师目测进行判断，其判断方式建立在医生理论学习和医疗实践的积累之上，主观性较强，共识性较差，在一定程度上限制了中医诊断技术的传承、发展和应用。
近年来，智能中医诊断随着各种科学技术的进步有着极大的发展，如望诊的舌象信息科学化工程化取得了不少成果，但目诊的客观化数字化研发目前还是罕见。因此，为了更好的推广中医目诊，利用人工智能技术量化两眼的目色、神态的异常改变，以便为目诊提供定量的参考数据，以克服因经验不足或判断差异而产生的问题，具有广泛应用研究意义。
发明内容
针对上述问题，本发明的一种智能中医目诊图像处理方法及装置本，能够对目诊图像进行定量分析，为病情诊断提供准确的定量参考数据，提升诊测的全面性和准确性。
为解决上述技术问题，本发明的一种智能中医目诊图像处理方法，包括：
获取使用者的眼部视频图像，其中，使用者的眼部视线在眼部视频图像的获取过程中跟随显示界面上预设小球图形移动；
按照预设的采集周期从所述眼部视频图像中采集眼部区域图像以构建眼部三维模型；
利用DLIB库提取每帧所述眼部区域图像的眼部关键点，以采用HOUGH变换算法定位和分割出其眼部五轮区域，并提取所述眼部五轮区域的五色特征并转换为目色特征；所述五色特征用于指示中医学定义的人体体表病色中青、红、黄、白、黑中的一种，所述目色特征用于指示所述眼部五轮区域所呈现出的病症等级；
采用LK光流法和卡尔曼滤波算法对所述眼部视频图像中的连续两帧眼部图像进行跟踪，以检测和提取所述眼部视频图像中每帧眼部图像的眼睑特征点、眼角特征点和眼球特征点；
根据所述眼部视频图像中每帧眼部图像的眼睑特征点、眼角特征点和眼球特征点，确定每个采集周期内使用者的眼睛平均闭眼速度、跟随角速度误差和眼球移动幅度并送入预设的第一SVM多分类器确定神态特征；所述跟随角速度误差用于指示眼球跟随预设小球图形时产生的角速度误差，所述神态特征用于指示眼睛平均闭眼速度、跟随角速度误差和眼球移动幅度所呈现出的病症等级；
将所述目色特征和所述神态特征送入预设的第二SVM分类器以进行目诊病症状态分类并输出至预设的目诊数据库。
作为上述方案的改进，获取使用者的眼部视频图像包括如下步骤：
通过高分辨率摄像机组成的双目相机获取使用者的眼部视频图像；
获取使用者的眼部区域图像包括如下步骤：
对所述眼部视频图像进行预处理，所述预处理包括图像增强处理和图像滤波处理；
采用HAAR特征及ADABOOST算法对预处理后的眼部视频图像进行眼部检测，以得到眼部区域图像。
作为上述方案的改进，所述眼部三维模型通过如下步骤建立：
采用相机标定法计算所述高分辨率摄像机组成的双目相机内参数和外参数；
根据所述内参数、所述外参数和世界坐标系中的定标点建立所述双目相机对应的双目模型相机之间的位置关系，得到所述双目模型相机的投影矩阵；
对每帧所述眼部区域图像进行特征点提取并进行特征匹配，以建立眼部区域图像匹配点对集；
根据所述投影矩阵和所述眼部区域图像匹配点对集进行三维重建，得到眼部三维模型。
作为上述方案的改进，所述眼部关键点包括眉毛关键点、上下眼睑关键点和内外眼角关键点，通过如下步骤确定所述眼部五轮区域：
根据每帧所述眼部区域图像的眉毛关键点、上下眼睑关键点和内外眼角关键点定位所述眼部区域图像中的眼角区域、眼睑区域、眼仁区域、眼白区域和瞳孔区域；
采用HOUGH变换分割出所述眼部区域图像中的眼仁区域、眼白区域和瞳孔区域，以形成眼部五轮区域。
作为上述方案的改进，通过如下步骤提取所述眼部五轮区域的五色特征：
根据所述眼部五轮区域中每个区域各个像素的R分量、G分量、B分量计算各个像素的RGB平均值；
根据所述各个像素的RGB平均值计算所述每个区域中的红色比例、青色比例、黄色比例、白色比例和黑色比例，以确定比例最大的颜色为所述每个区域的五色特征。
作为上述方案的改进，所述眼睑特征点包括位移向量，所述眼睑特征点包括上眼睑特征点；所述每个采集周期内使用者的眼睛平均闭眼速度通过如下步骤确定：
根据所述每个采集周期内每帧眼部图像中上眼睑特征点的位移向量计算位移；
根据所述每个采集周期内全部帧眼部图像的位移与采集周期的比值计算平均闭眼速度。
作为上述方案的改进，所述每个采集周期内使用者的跟随角速度误差通过如下步骤确定：
当所述每个采集周期结束时，获取结束帧眼部图像的眼球特征点；
根据所述结束帧眼部图像的眼球特征点和所述眼部三维模型确定其眼睛视线信息，所述眼睛视线信息用于指示所述结束帧眼部图像的眼部特征点在所述眼部三维模型中与预设小球图像之间的位置信息；
根据所述眼睛视线信息计算眼睛跟随所述预设小球图形的眼睛跟随角速度，所述眼睛跟随角速度用于指示眼睛视线与所述预设小球图像之间夹角与跟随时间的比值；
根据所述眼睛视线信息的初始值与所述预设小球图形当前位置之间的夹角和所述跟随时间，计算平均跟随角速度；
计算所述眼睛跟随角速度与所述平均跟随角速度之间的差值，得到当前采集周期内使用者的跟随角速度误差。
作为上述方案的改进，所述每个采集周期内使用者的眼球移动幅度通过如下步骤确定：
根据每个采集周期内每帧眼部图像的眼角特征点和眼球特征点计算两者之间的距离，得到对应的眼球移动幅度；
计算所述每个采集周期内全部帧眼部图像中眼球移动幅度的平均值，得到眼球移动幅度。
本发明还提供一种智能中医目诊图像处理装置，所述装置存储有计算机程序，所述计算机程序适于被执行以实现上述任一种所述的智能中医目诊图像处理方法。
本发明还提供一种智能中医目诊图像处理装置，该装置包括处理器、与所述处理器连接的存储器，所述存储器存储有计算机程序，所述计算机程序适于被执行以实现上述任一种所述的智能中医目诊图像处理方法。
与现有技术相比，实施本发明的方法及装置，具有如下有益效果：通过眼部视频图像建立眼部三维模型，利用DLIB库和HOUGH变换定位和分割出眼部视频图像中眼部五轮区域，进而提取眼部五轮区域的五色特征并转换为目色特征，并且通过LK光流法和卡尔曼滤波算法跟踪眼部视频图像中的眼部图像并提取每帧图像中的眼部特征点构成眼睛平均闭眼速度、跟随角速度误差和眼球移动幅度样本数据集，从而利用SVM分类器确定神态特征，如此，运用人工智能的机器学习算法对来自图像源的4类样本数据进行使用者的病症状态分类，为病情诊断提供定量的参考数据，能够克服因经验不足或判断差异而产生的问题，使得诊测更加全面和准确。
附图说明
图1是本发明实施例提供的一种智能中医目诊图像处理方法的流程示意图。
图2是本发明实施例提供的一种智能中医目诊图像处理装置的结构示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于此描述的其他方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
下面结合具体实施例和附图对本发明的技术方案进行清楚、完整的描述。
请参见图1，是本发明实施例提供的一种智能中医目诊图像处理方法的流程示意图。
如图1所示，该智能中医目诊图像处理方法包括：
S1、获取使用者的眼部视频图像，其中，使用者的眼部视线在眼部视频图像的获取过程中跟随显示界面上预设小球图形移动；
在步骤S1中，通过高分辨率摄像机组成的双目相机采集使用者的眼部视频图像。
S2、按照预设的采集周期从所述眼部视频图像中采集眼部区域图像以构建眼部三维模型；
在步骤S2中，眼部区域图像通过如下步骤得到：
S201、对所述眼部视频图像进行预处理，所述预处理包括图像增强处理和图像滤波处理；
S201、采用HAAR特征及ADABOOST算法对所述的眼部视频图像进行眼部检测，以得到眼部区域图像。
其中，在步骤S201中，ADABOOST算法是一种迭代算法，其核心思想是针对训练集训练不同的分类器(即，弱分类器)，然后采用这些不同的分类器构建成一个强分类器，以提高眼部区域图像识别的准确度。。
在步骤S2中，眼部三维模型通过如下步骤建立：
S211、采用相机标定法计算所述双目相机的内参数和外参数；
其中，在步骤S211中，相机标定法首先将双目相机模型简化为线性模型，再利用透视矩阵变换法求解其内参数和外参数。
S212、根据所述内参数、所述外参数和世界坐标系中的定标点建立所述双目相机对应的双目模型相机之间的位置关系，得到所述双目模型相机的投影矩阵；
S213、对所述每帧眼部区域图像进行特征点提取并进行特征匹配，以建立眼部区域图像匹配点对集；
S214、根据所述投影矩阵和所述眼部区域图像匹配点对集进行三维重建，得到眼部三维模型。
具体地，在步骤S214中根据透视投影的关系和最小二乘法，则可以由摄像机投影矩阵和眼部区域图像匹配点对集将眼部区域图像在空间坐标系的三维坐标进行恢复，进而重建出眼部图像的三维模型。
S3、利用DLIB库提取每帧眼部区域图像的眼部关键点，以采用HOUGH变换算法定位和分割出其眼部五轮区域，并提取所述眼部五轮区域的五色特征并转换为目色特征；所述五色特征用于指示中医学定义的人体体表病色中青、红、黄、白、黑中的一种；
在步骤S3中，眼部关键点包括4个位于眉毛的关键点、2个位于眼睑的关键点(即上眼睑和下眼睑各1个)、2个位于眼角的关键点(即内眼角和外眼角各1个)。
在步骤S3中，通过如下步骤确定所述眼部五轮区域：
S31、采用所述眼部关键点中的眉毛关键点、上下眼睑关键点和内外眼角关键点定位所述眼部区域图像中的眼角区域、眼睑区域、眼仁区域、眼白区域和瞳孔区域；
S32、采用HOUGH变换分割出所述眼部区域图像中的眼仁区域、眼白区域和瞳孔区域，以形成眼部五轮区域，所述眼部五轮区域用于指示中医五轮学说中的眼部区域。
在中医色诊理论中五色指青、红、黄、白、黑五种颜色，因而步骤S3通过识别眼部五轮区域中的五色来为后续目诊提供判断依据。具体地，在步骤S3中，通过如下步骤提取所述眼部五轮区域的五色特征：
S33、根据所述眼部五轮区域中每个区域各个像素的R分量、G分量、B分量计算各个像素的RGB平均值；
其中，由于眼部五轮区域中每个区域的图像在计算机内是通过像素来表达，每个像素的颜色是由红色分量(R)、绿色分量(G)、蓝色分量(B)三个值来表示，且每个颜色分量都有256(0～255)级灰度，因而通过计算各个像素的RGB平均至可以精确的描述各种颜色。
S34、根据所述各个像素的RGB平均值计算所述每个区域中的红色比例、青色比例、黄色比例、白色比例和黑色比例，以确定比例最大的颜色为所述每个区域的五色特征。
在步骤S34中，通过如下方式计算每个区域图像中红色比例、青色比例、黄色比例、白色比例和黑色比例：红色像素数量/像素总数、青色像素数量/像素总数、黄色像素数量/像素总数、白色像素数量/像素总数、黑色像素数量/像素总数，最后设定比例值最大的颜色为区域图像的五色特征。例如，当确定一张五轮角膜区域图像中青色比例最大时，则青色为该张五轮角膜区域图像的眼部五色特征。
为此，根据中医病色交错理论，通过依据如下表1所示转换五色特征为目色特征：
表1病色交错表
也是说，假定眼部和各五轮区域呈现如下对应：
角膜区域呈现青色，泪阜、内外眦及附近血管区域呈现红色，上下眼睑区域呈现黄色，球结膜及浅表巩膜区域呈现白色，瞳孔、虹膜后组织区域呈现黑色，其体表特征为病症呈现；
角膜区域呈现黑色，泪阜、内外眦及附近血管区域呈现青色，上下眼睑区域呈现红色，球结膜及浅表巩膜区域呈现黄色，瞳孔、虹膜后组织区域呈现白色，其体表特征为病症一般；
角膜区域呈现红色，泪阜、内外眦及附近血管区域呈现黄色，上下眼睑区域呈现白色，球结膜及浅表巩膜区域呈现黑色，瞳孔、虹膜后组织区域呈现青色，其体表特征为病症加深；
角膜区域呈现黄色，泪阜、内外眦及附近血管区域呈现白色，上下眼睑区域呈现黑色，球结膜及浅表巩膜区域呈现青色，瞳孔、虹膜后组织区域呈现红色，其体表特征为病症严重；
角膜区域呈现白色，泪阜、内外眦及附近血管区域呈现黑色，上下眼睑区域呈现青色，球结膜及浅表巩膜区域呈现红色，瞳孔、虹膜后组织区域呈现黄色，其体表特征为病症非常严重；
因此，目色特征为：病症呈现、病症一般、病症加深、病症严重、病症非常严重。
S4、采用LK光流法和卡尔曼滤波算法对所述眼部视频图像中的连续两帧眼部图像进行跟踪，以检测和提取每帧眼部图像中的眼部特征点，所述眼部特征点包括眼睑特征点、眼角特征点和眼球特征点；
具体地，步骤S4包括：
S41、采用LK光流法计算连续两帧眼部图像之间跟踪特征点的光流；其中，跟踪特征点为连续两帧眼部图像的第一帧眼部图像中位于预设的空心矩形内的多个像素点；
在对连续两帧眼部图像进行跟踪之前，需通过一次眼部检测来确定相关的眼部区域，以从眼部区域中提取跟踪特征点，其步骤包括：
S411、当获取初始的眼部图像时，对初始的眼部图像依次进行灰度化处理、高通滤波、差分运算和中值滤波，得到预处理后的眼部图像；
S412、采用基于Adaboost算法的Haar分类器对预处理后的眼部图像进行眼部检测，以标出眼部相关区域；
S413、将检测到的眼部区域设为跟踪目标Orect，并设定一个空心矩阵Hrect；其中，Orect∈Hrect，该空心矩形Hrect的内框比跟踪目标Orect小20％，该空心矩形Hrect的外框比跟踪目标Orect大20％；
S414、将空心矩阵Hrect中的像素点作为初始的跟踪特征点。
接下来，对步骤S411进行详细说明。
眼部图像采用高分辨率摄像机采集，且其具有较高采集频率，因而跟踪特征点满足LK光流法的三种假设，即跟踪特征点在连续两帧眼部图像之间亮度恒定、小运动且空间一致，下面以跟踪特征点中则跟踪特征点的亮度I(x,y,t)满足：
根据亮度恒定条件，I(x,y,t)＝I(x+Δx,y+Δy,t+Δt)；
根据小运动条件，
即，
其中，vx和vy是跟踪特征点的光流；
根据空间一致条件，假设空心矩阵Hrect内有一个大小为e×e的小窗，其内的跟踪特征点i运动是一致的，则得到超定方程组：
其中，
是跟踪特征点i在x方向上的偏导数，
数是跟踪特征点i在y方向上的偏导数，
是跟踪特征点i的时偏导数；其中i＝1，2，3，…e，e≥2且为整数，则采用最小二乘法求解，可解得连续两帧眼部图像之间跟踪特征点的光流vx、vy。
S42、通过光流预测跟踪特征点在连续两帧眼部图像的第二帧眼部图像中的位置；
S43、根据跟踪特征点在所述第一帧眼部图像中的位置以及预测在第二帧眼部图像中的位置，计算跟踪特征点的位移；
S44、将位移按照从小到大的顺次进行排序，得到位移中值；
S45、当位移满足预设条件时，从第二帧眼部图像中提取眼部特征点；其中，预设条件为位移的位移量小于位移中值，且位移的数量大于或等于跟踪特征点数量的50％。
在步骤S45中，当位移满足预设条件时，则对第二帧眼部图像跟踪成功，确定位移量小于位移中值所对应的跟踪特征点为下一轮跟踪的跟踪特征点，实现跟踪特征点的动态更新。
在步骤S45中，当位移满足预设条件时，采用角点特征检测算法从第二帧眼部图像中提取眼部特征点。
根据位置坐标从高速摄像机采集的眼部图像中搜索眼部图像，以提取并跟踪眼部图像的眼部特征点；
具体地，步骤S4采用卡尔曼滤波算法实现眼部图像的眼部特征点的跟踪，步骤包括如下步骤：
根据眼部特征点的位置坐标确定观测特征点；该观测特征点用于指示所续两帧眼部图像中第一帧眼部图像的眼部特征点；
其中，在步骤S41中，由于眼部图像中的眼部特征点通过LK光流法跟踪以及采用角点检测算法获取，因而该眼部特征点可用位置和速度表示，即设定该眼部特征点提取的时间t＝k，则可确定该眼部特征点的位置坐标为(xk,yk)，该眼部特征点在x轴和y轴上移动的速度分别为uk、vk，进而根据该眼部特征点的位置坐标(xk,yk)在第一帧眼部图像中搜索观测点，设定观测特征点在t时刻的状态向量为Xk＝[xk,yk,uk,uk]。
首先，根据位置坐标和速度信息构建第一帧眼部图像的状态向量方程；
具体地，由于在第一帧眼部图像之前无输入，则构建的状态向量方程为：Xk+1＝AkXk+Wk，其中，由于高速摄像机的采集频率高，连续两帧图像的时间间隔较短，因而观测特征点可看作是匀速线性，则Ak可表示为
Wk为状态向量的过程噪声；
然后，根据状态向量和预设的观测矩阵确定观测模型为：Zk＝HXk+Vk，其中，
Vk为观测噪声，并根据状态向量和观测模型确定连续两帧眼部图像中第二帧眼部图像的搜索范围；
最后，当在搜索范围内搜索到观测特征点时，将搜索到的观测点设定为第二帧眼部图像的眼部特征点，实现对眼部图像的眼部特征点提取。
当在搜索范围内未搜索到观测特征点时，就出现目标丢失，此时需利用高速摄像机采集的眼部图像重新确定眼部图像的眼部特征点，进而重新确定观测特征点。
S5、根据所述眼部视频图像中每帧眼部图像的眼睑特征点、眼角特征点和眼球特征点，确定每个采集周期内使用者的眼睛平均闭眼速度、跟随角速度误差和眼球移动幅度，并送入预设的第一SVM多分类器确定神态特征；所述跟随角速度误差用于指示眼球跟随预设小球图形时产生的角速度误差，所述神态特征用于指示眼睛平均闭眼速度、跟随角速度误差和眼球移动幅度所呈现出的病症等级；
具体地，眼睑特征点包括位移向量，在步骤S5中，所述每个采集周期内使用者的眼睛平均闭眼速度通过如下确定：
根据每个采集周期内每帧眼部图像中上眼睑特征点的位移向量计算位移；根据每个采集周期内全部帧眼部图像的位移与采集周期的比值计算平均闭眼速度。
据统计，正常人平均闭眼速度要大于100°/ms。而，闭眼速度小于或等于100°/ms及大于60°/ms，其体表特征为病症呈现；闭眼速度小于或等于60°/ms及大于30°/ms，其体表特征为病症一般；闭眼速度小于或等于30°/ms及大于10°/ms，其体表特征为病症加深；闭眼速度小于或等于10°/ms及大于5°/ms，其体表特征为病症严重；闭眼速度小于或等于5°/ms，其体表特征为病症非常严重。
进一步地，在步骤S5中，所述每个采集周期内使用者的跟随角速度误差通过如下步骤确定：
S511、当所述每个采集周期结束时，获取结束帧眼部图像的眼球特征点；
S512、根据所述结束帧眼部图像的眼球特征点和所述眼部三维模型确定其眼睛视线信息，所述眼睛视线信息用于指示所述结束帧图像的眼部特征点在所述眼部三维模型中与所述预设小球图像之间的位置信息；
S513、根据所述眼睛视线信息计算眼睛跟随所述预设小球图形的眼睛跟随角速度，所述眼睛跟随角速度用于指示眼睛视线与所述预设小球图像之间夹角与跟随时间的比值；
S514、根据所述眼睛视线信息的初始值与所述预设小球图形当前位置之间的夹角和所述跟随时间，计算平均跟随角速度；
S515、计算所述眼睛跟随角速度与所述平均跟随角速度之间的差值，得到当前采集周期内使用者的跟随角速度误差。
在步骤S515中，当跟随角度误差为0时，则不呈病症；当跟随角速度误差大于或等于1°/ms及小于3°/ms，则表示体表特征为病症呈现；当跟随角速度误差大于或等于3°/ms及小于6°/ms，则表示体表特征为病症一般；当跟随角速度误差大于或等于6°/ms及小于8°/ms，则表示体表特征为病症加深；当跟随角速度误差大于或等于8°/ms及小于10°/ms，则表示体表特征为病症严重；当跟随角速度误差大于或等于10°/ms，其体表特征为病症非常严重。
具体地，在步骤S5中，所述每个采集周期内使用者的眼球移动幅度通过如下步骤确定：
S521、根据每个采集周期内每帧眼部图像的眼角特征点和眼球特征点计算两者之间的距离，得到对应的眼球移动幅度；
S522、计算所述每个采集周期内全部帧眼部图像中眼球移动幅度的平均值，得到眼球移动幅度。
在步骤S522中，当眼球移动幅度接近为0时，则表示病症状态非常严重；当眼球移动幅度小于或等于12°及大于8°，则表示体表特征为病症呈现；当眼球移动幅度小于或等于8°及大于6°，则表示体表特征为病症一般；当眼球移动幅度小于或等于6°及大于3°，则表示体表特征为病症加深；当眼球移动幅度小于或等于3°及大于1°，则表示体表特征为病症严重；当眼球移动幅度小于或等于1°，其体表特征为病症非常严重。
S6、将所述目色特征和所述神态特征送入预设的第二SVM分类器以进行目诊病症状态分类并输出至预设的目诊数据库。
具体地，在步骤S6中，通过如下步骤在预定的采集周期内进行目诊神态状态分类确定神态特征：
利用眼睛平均闭眼速度、跟随角速度误差和眼球移动幅度作为样本数据构建SVM多分类器，具体如下：
S61、在预定的采集周期内分别收集N个眼睛平均闭合速度、N个跟随角速度误差和N个眼球移动幅度作为样本数据，并对该样本数据进行归一化得到样本集P；其中，N＝60，
a1,n表示归一化后的N个眼睛平均闭合速度，作为样本集P中的第一子样本；
a2,n表示归一化后的N个跟随角速度误差，作为样本集P中的第二子样本；
a3,n表示归一化后的N个眼球移动幅度，作为样本集P中的第三子样本；
其中，n＝1,2,3,…，N。
S62、通过主成分分析对每个子样本进行降维，使得样本集P中的样本数据减少一半，得到样本集P1；
S63、从降维后的样本集P1中选取70％的样本数据作为SVM多分类器的训练集D，其余30％的样本数据作为测试集T；
S64、设定的训练集D＝{(x1,l1)，(x2,l2)，…，(xm,lm)}，其中，D∈P1li∈{-1,1}xi是样本数据，li是样本标记；
S65、假设该训练集可被一个超平面ωTx+b＝0线性划分，其中，ω是决定超平面的法向量，b是原点与超平面距离的位置，则问题转化为最优化超平面问题：
其中，ξi是0/1损失函数，c为惩罚参数；
S66、对于非线性可分情况，选用RBF径向基核函数
则SVM多分类器的优化问题最终转化为参数(C，δ)的选择问题；其中，δ≥0为径向基核函数的宽度参数，用于控制径向基核函数的径向作用范围。
具体地，在步骤S66中，通过如下步骤构建训练分类模型：
S661、以2-10≤c≤27和2-10≤δ≤23为范围、步距为0.1构建取值范围内的所有c和δ组成的参数对；
S662、依次取参数对(C，δ)作为基于RBF径向基核函数的SVM分类器参数的初始值，利用交叉验证K-CV方法得到每组参数对(C，δ)下训练集D验证分类准确率；
S663、选取最高分类准确率所对应的参数对(Co，δo)作为最佳参数，得到所求SVM分类模型的模型参数。
进一步地，在步骤S66中通过如下步骤进行模型预测：
采用上述步骤得到的模型参数(Co，δo)对测试集T进行SVM分类预测，得到使用者目诊神态特征，即病症呈现、一般、加深、严重、非常严重。
进一步地，在步骤S6中，将上述步骤S5得到的神态特征和步骤S2得到目色特征送入预设的第二SVM分类器以进行目诊病症状态分类并输出至预设的目诊数据库。所述目诊病症状态是使用者病症呈现、病症一般、病症加深、病症严重、病症非常严重状态中的一种。
本发明实施例还提供一种智能中医目诊图像处理装置，所述装置存储有计算机程序，所述计算机程序适于被执行以实现上述任一种所述的智能中医目诊图像处理方法。
如图2所示，本发明实施例还提供另一种智能中医目诊图像处理装置，该装置包括处理器1、与所述处理器1连接的存储器2，所述存储器2存储有计算机程序，所述计算机程序适于被执行以实现上述任一种所述的智能中医目诊图像处理方法。
与现有技术相比，本发明的方法及装置具有以下有益效果：
(1)通过眼部视频图像建立眼部三维模型，利用DLIB库和HOUGH变换定位和分割出眼部视频图像中眼部五轮区域，进而提取眼部五轮区域的五色特征并转换为目色特征，并且通过LK光流法和卡尔曼滤波算法跟踪眼部视频图像中的眼部图像并提取每帧图像中的眼部特征点构成眼睛平均闭眼速度、跟随角速度误差和眼球移动幅度样本数据集，从而利用SVM分类器确定神态特征，如此，运用人工智能的机器学习算法对来自图像源的4类样本数据进行使用者的病症状态分类，为病情诊断提供定量的参考数据，能够克服因经验不足或判断差异而产生的问题，使得诊测更加全面和准确。
(2)本发明采用LK光流法与卡尔曼滤波算法实现对连续两帧眼部图像跟踪以及眼部特征点的快速检测与提取，减少计算量，提升诊测速度。
(3)由于双目相机采用具有较高的采集速度的高分辨率摄像机组成，，能有效避免标准摄像机采样次数不足的局限性，提高检测准确度。
以上所述，仅是本发明的较佳实施例而已，并非对本发明做任何形式上的限制，故凡未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。
Claims (9)
1.一种智能中医目诊图像处理方法，其特征在于，包括：
获取使用者的眼部视频图像，其中，使用者的眼部视线在眼部视频图像的获取过程中跟随显示界面上预设小球图形移动；
按照预设的采集周期从所述眼部视频图像中采集眼部区域图像以构建眼部三维模型；
利用DLIB库提取每帧所述眼部区域图像的眼部关键点，以采用HOUGH变换算法定位和分割出其眼部五轮区域，并提取所述眼部五轮区域的五色特征并转换为目色特征；所述五色特征用于指示中医学定义的人体体表病色中青、红、黄、白、黑中的一种，所述目色特征用于指示所述眼部五轮区域所呈现出的病症等级；
采用LK光流法和卡尔曼滤波算法对所述眼部视频图像中的连续两帧眼部图像进行跟踪，以检测和提取所述眼部视频图像中每帧眼部图像的眼睑特征点、眼角特征点和眼球特征点；
根据所述眼部视频图像中每帧眼部图像的眼睑特征点、眼角特征点和眼球特征点，确定每个采集周期内使用者的眼睛平均闭眼速度、跟随角速度误差和眼球移动幅度并送入预设的第一SVM多分类器确定神态特征；所述跟随角速度误差用于指示眼球跟随预设小球图形时产生的角速度误差，所述神态特征用于指示眼睛平均闭眼速度、跟随角速度误差和眼球移动幅度所呈现出的病症等级；
将所述目色特征和所述神态特征送入预设的第二SVM分类器以进行目诊病症状态分类并输出至预设的目诊数据库；
所述每个采集周期内使用者的跟随角速度误差通过如下步骤确定：
当所述每个采集周期结束时，获取结束帧眼部图像的眼球特征点；
根据所述结束帧眼部图像的眼球特征点和所述眼部三维模型确定其眼睛视线信息，所述眼睛视线信息用于指示所述结束帧眼部图像的眼部特征点在所述眼部三维模型中与预设小球图像之间的位置信息；
根据所述眼睛视线信息计算眼睛跟随所述预设小球图形的眼睛跟随角速度，所述眼睛跟随角速度用于指示眼睛视线与所述预设小球图像之间夹角与跟随时间的比值；
根据所述眼睛视线信息的初始值与所述预设小球图形当前位置之间的夹角和所述跟随时间，计算平均跟随角速度；
计算所述眼睛跟随角速度与所述平均跟随角速度之间的差值，得到当前采集周期内使用者的跟随角速度误差。
2.如权利要求1所述的智能中医目诊图像处理方法，其特征在于，获取使用者的眼部视频图像包括如下步骤：
通过高分辨率摄像机组成的双目相机获取使用者的眼部视频图像；
获取使用者的眼部区域图像包括如下步骤：
对所述眼部视频图像进行预处理，所述预处理包括图像增强处理和图像滤波处理；
采用HAAR特征及ADABOOST算法对预处理后的眼部视频图像进行眼部检测，以得到眼部区域图像。
3.如权利要求2所述的智能中医目诊图像处理方法，其特征在于，所述眼部三维模型通过如下步骤建立：
采用相机标定法计算所述高分辨率摄像机组成的双目相机内参数和外参数；
根据所述内参数、所述外参数和世界坐标系中的定标点建立所述双目相机对应的双目模型相机之间的位置关系，得到所述双目模型相机的投影矩阵；
对每帧所述眼部区域图像进行特征点提取并进行特征匹配，以建立眼部区域图像匹配点对集；
根据所述投影矩阵和所述眼部区域图像匹配点对集进行三维重建，得到眼部三维模型。
4.如权利要求1所述的智能中医目诊图像处理方法，其特征在于，所述眼部关键点包括眉毛关键点、上下眼睑关键点和内外眼角关键点，通过如下步骤确定所述眼部五轮区域：
根据每帧所述眼部区域图像的眉毛关键点、上下眼睑关键点和内外眼角关键点定位所述眼部区域图像中的眼角区域、眼睑区域、眼仁区域、眼白区域和瞳孔区域；
采用HOUGH变换分割出所述眼部区域图像中的眼仁区域、眼白区域和瞳孔区域，以形成眼部五轮区域。
5.如权利要求4所述的智能中医目诊图像处理方法，其特征在于，通过如下步骤提取所述眼部五轮区域的五色特征：
根据所述眼部五轮区域中每个区域各个像素的R分量、G分量、B分量计算各个像素的RGB平均值；
根据所述各个像素的RGB平均值计算所述每个区域中的红色比例、青色比例、黄色比例、白色比例和黑色比例，以确定比例最大的颜色为所述每个区域的五色特征。
6.如权利要求1所述的智能中医目诊图像处理方法，其特征在于，所述眼睑特征点包括位移向量，所述眼睑特征点包括上眼睑特征点；所述每个采集周期内使用者的眼睛平均闭眼速度通过如下步骤确定：
根据所述每个采集周期内每帧眼部图像中上眼睑特征点的位移向量计算位移；
根据所述每个采集周期内全部帧眼部图像的位移与采集周期的比值计算平均闭眼速度。
7.如权利要求1所述的智能中医目诊图像处理方法，其特征在于，所述每个采集周期内使用者的眼球移动幅度通过如下步骤确定：
根据每个采集周期内每帧眼部图像的眼角特征点和眼球特征点计算两者之间的距离，得到对应的眼球移动幅度；
计算所述每个采集周期内全部帧眼部图像中眼球移动幅度的平均值，得到眼球移动幅度。
8.一种智能中医目诊图像处理装置，其特征在于，所述装置存储有计算机程序，所述计算机程序适于被执行以实现如权利要求1～7中任一项所述的智能中医目诊图像处理方法。
9.一种智能中医目诊图像处理装置，其特征在于，包括处理器、与所述处理器连接的存储器，所述存储器存储有计算机程序，所述计算机程序适于被执行以实现如权利要求1～7中任一项所述的图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910601456.6A CN110335266B (zh) | 2019-07-04 | 2019-07-04 | 一种智能中医目诊图像处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910601456.6A CN110335266B (zh) | 2019-07-04 | 2019-07-04 | 一种智能中医目诊图像处理方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110335266A CN110335266A (zh) | 2019-10-15 |
| CN110335266B true CN110335266B (zh) | 2023-04-07 |
Family
ID=68143165
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910601456.6A Expired - Fee Related CN110335266B (zh) | 2019-07-04 | 2019-07-04 | 一种智能中医目诊图像处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110335266B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111080676B (zh) * | 2019-12-20 | 2022-03-25 | 电子科技大学 | 一种通过在线分类跟踪内窥镜图像序列特征点的方法 |
| CN111667905B (zh) * | 2020-05-31 | 2023-12-26 | 上海中医药大学附属曙光医院 | 用于中医目诊的检查装置和信息处理方法 |
| JP7363675B2 (ja) * | 2020-06-15 | 2023-10-18 | 株式会社島津製作所 | イメージング質量分析装置、及びイメージング質量分析方法 |
| CN112818957B (zh) * | 2021-03-22 | 2024-04-23 | 东南大学 | 基于运动能量识别眼睑痉挛的方法 |
| CN113240657B (zh) * | 2021-05-25 | 2023-12-22 | 郑州新益华信息科技有限公司 | 一种基于医疗大数据的眼睑炎图像处理及预警系统 |
| CN115886717B (zh) * | 2022-08-18 | 2023-09-29 | 上海佰翊医疗科技有限公司 | 一种眼裂宽度的测量方法、装置和存储介质 |
| CN116030042B (zh) * | 2023-02-24 | 2023-06-16 | 智慧眼科技股份有限公司 | 一种针对医生目诊的诊断装置、方法、设备及存储介质 |
| CN116110574B (zh) | 2023-04-14 | 2023-06-20 | 武汉大学人民医院（湖北省人民医院） | 一种基于神经网络实现的眼科智能问诊方法和装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005100366A (ja) * | 2003-08-18 | 2005-04-14 | Yamaguchi Univ | 眼球運動を用いた視線入力コミュニケーション方法 |
| CN102830793A (zh) * | 2011-06-16 | 2012-12-19 | 北京三星通信技术研究有限公司 | 视线跟踪方法和设备 |
| CN104573723A (zh) * | 2015-01-08 | 2015-04-29 | 上海中医药大学 | 一种基于中医望诊的“神”的特征提取与分类方法及系统 |
-
2019
- 2019-07-04 CN CN201910601456.6A patent/CN110335266B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005100366A (ja) * | 2003-08-18 | 2005-04-14 | Yamaguchi Univ | 眼球運動を用いた視線入力コミュニケーション方法 |
| CN102830793A (zh) * | 2011-06-16 | 2012-12-19 | 北京三星通信技术研究有限公司 | 视线跟踪方法和设备 |
| CN104573723A (zh) * | 2015-01-08 | 2015-04-29 | 上海中医药大学 | 一种基于中医望诊的“神”的特征提取与分类方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 《黄帝内经》目诊理论探析;马蕾;《浙江中医药大学学报》;20180630;第42卷(第6期);第505-508页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110335266A (zh) | 2019-10-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110335266B (zh) | 一种智能中医目诊图像处理方法及装置 | |
| de San Roman et al. | Saliency driven object recognition in egocentric videos with deep CNN: toward application in assistance to neuroprostheses | |
| CN108985210A (zh) | 一种基于人眼几何特征的视线追踪方法及系统 | |
| CN110349140B (zh) | 一种中医耳诊图像处理方法及装置 | |
| Loureiro et al. | Using a skeleton gait energy image for pathological gait classification | |
| CN111461218B (zh) | 糖网病眼底图像的样本数据标注系统 | |
| CN102567734B (zh) | 基于比值的视网膜细小血管分割方法 | |
| CN110334649A (zh) | 一种人工视觉智能中医面诊五脏状态诊测方法及装置 | |
| CN105095840A (zh) | 基于眼震影像的多方向上眼震信号提取方法 | |
| WO2024045350A1 (zh) | 一种基于深度学习的眼动活体检测方法和系统 | |
| CN111128369A (zh) | 一种用于评估患者的帕金森病情的方法和装置 | |
| He et al. | Automatic venous segmentation in venipuncture robot using deep learning | |
| CN108665474A (zh) | 一种基于b-cosfire的眼底图像视网膜血管分割方法 | |
| CN113947805A (zh) | 一种基于视频图像的眼震类型分类方法 | |
| Kolte et al. | Advancing Diabetic Retinopathy Detection: Leveraging Deep Learning for Accurate Classification and Early Diagnosis | |
| Dittmar et al. | A feedback estimation approach for therapeutic facial training | |
| Fedullo et al. | A machine learning approach for a vision-based van-herick measurement system | |
| Fu et al. | Automatic Evaluation of Facial Paralysis with Transfer Learning and Improved ResNet34 Neural Network | |
| Joseph et al. | MODCN: Fine-Tuned Deep Convolutional Neural Network with GAN Deployed to Forecast Diabetic Eye Damage in Fundus Retinal Images | |
| CN117373075B (zh) | 基于眼部特征点和眼部区域分割结果的情感识别数据集 | |
| Ahmedt Aristizabal | Multi-modal analysis for the automatic evaluation of epilepsy | |
| CN113011286B (zh) | 基于视频的深度神经网络回归模型的斜视判别方法及系统 | |
| Brueggemann et al. | Hidden Markov Modeling of eye movements with image information leads to better discovery of regions of interest | |
| Xu et al. | Automatic diagnosis for glaucoma fusing multi-feature and multi-classifier | |
| Liu et al. | Real-time and efficient eyes and mouth state detection: an artificial intelligence application based on embedded systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20230407 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |