CN111695573B - 一种基于显著目标深度动态调节的视疲劳缓解系统及方法 - Google Patents

一种基于显著目标深度动态调节的视疲劳缓解系统及方法 Download PDF

Info

Publication number
CN111695573B
CN111695573B CN202010413257.5A CN202010413257A CN111695573B CN 111695573 B CN111695573 B CN 111695573B CN 202010413257 A CN202010413257 A CN 202010413257A CN 111695573 B CN111695573 B CN 111695573B
Authority
CN
China
Prior art keywords
eye image
depth
left eye
target
right eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010413257.5A
Other languages
English (en)
Other versions
CN111695573A (zh
Inventor
李庆武
周亚琴
马云鹏
储露露
徐畅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN202010413257.5A priority Critical patent/CN111695573B/zh
Publication of CN111695573A publication Critical patent/CN111695573A/zh
Application granted granted Critical
Publication of CN111695573B publication Critical patent/CN111695573B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H5/00—Exercisers for the eyes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Ophthalmology & Optometry (AREA)
  • Epidemiology (AREA)
  • Pain & Pain Management (AREA)
  • Databases & Information Systems (AREA)
  • Rehabilitation Therapy (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Analysis (AREA)
  • Rehabilitation Tools (AREA)

Abstract

本发明公开了一种基于显著目标深度动态调节的视疲劳缓解系统及方法，包括眼镜框架，两个凸透镜分别设置于眼镜框架靠近左、右眼位置的内侧；显示屏安置在双目相机与凸透镜之间，显示屏与内设处理器连接；双目相机由两个参数一致的相机组成，并平行安置在眼镜框架最外侧，双目相机与内设处理器连接，由双目相机不断拍摄场景图像，并传输至内设处理器进行处理，对场景中人眼注视目标进行预测与分割，并通过网格形变不断调节目标深度，再将完成处理后的图像信息传输至显示屏中进行显示，使目标物的视觉感知距离随时间逐渐变近或变远，达到目标深度动态调节的效果，引导佩戴者双眼的睫状肌进行调节，在长时间近距离用眼过程中达到缓解视疲劳的效果。

Description

一种基于显著目标深度动态调节的视疲劳缓解系统及方法
技术领域
本发明涉及一种基于显著目标深度动态调节的视疲劳缓解系统及方法，属于数字图像处理、人眼视疲劳缓解领域。
背景技术
据调查，我国近视总人数已超4.5亿，人口近视发生率为33％，是世界平均水平的1.5倍，其中，青少年近视患病率已位居世界第一位，我国近视防控刻不容缓。
众所周知，人眼近距离视物时，睫状肌收缩，长时间近距离用眼会导致眼部肌肉紧张、血液循环阻碍，出现视疲劳症状。当眼睛长期、持续性处于视疲劳状态时，将导致眼内调节肌肉麻痹，丧失调节功能，进而导致近视的发生与加重。
而在现实生活中，学生课内外负担繁重，需要长期伏案阅读书本，上班族大多数离不开电脑和各种类目的文件，加上电子产品的盛行，使得长期近距离用眼成为生活常态。现有的视疲劳缓解方法有闭目休息、远眺放松、以及使用眼部按摩等放松设备，这意味着要放下手上工作进入休息状态，对于学生群体和上班族群体难以有效执行。因此，在不影响正常学习与工作的情况下，缓解近距离用眼导致的视疲劳，是有效预防或改善视力的有效手段。
发明内容
本发明所要解决的技术问题是：对长期时间注视的显著目标进行智能预测与深度动态调节，在不影响学习工作情况下，缓解人眼视疲劳。
为解决上述技术问题，本发明提出一种基于显著目标深度动态调节的视疲劳缓解系统。
一种基于显著目标深度动态调节的视疲劳缓解系统，硬件包括：
眼镜框架1；
两个凸透镜2分别设置于眼镜框架靠近左、右眼位置的内侧；
显示屏3安置在双目相机与凸透镜之间，显示屏与内设处理器5连接；
双目相机4由两个参数一致的相机组成，并平行安置在眼镜框架最外侧，双目相机与内设处理器5连接；
所述内设处理器运行各程序模块，对场景深度信息进行快速捕获，预测人眼注视目标区域，对目标区域进行智能化深度调节。
本发明的视疲劳缓解系统启动后，由已知参数的双目相机不断拍摄场景图像，并通过USB接口实时传输至内设处理器，由内设处理器内的目标智能深度调节软件算法进行处理，再将完成处理后的图像信息通过HDMI接口传输至显示屏中进行显示，直至系统停止运作。
所述内设处理器的各程序模块包括：
1)初始分割程序模块：分别提取左目图像和右目图像的轮廓信息，并根据轮廓信息强度，对左目图像和右目图像进行初始分割；
2)视差计算程序模块：通过SURF(Speeded Up Robust Features)算法对校正后的左右目图像进行特征点匹配，并计算每组匹配点对应的视差值；
3)深度显著图程序模块：根据左目图像的初始分割结果，根据每个区域中匹配特征点视差值分布情况对左目图像每个区域进行深度赋值，获取深度显著图；4)预测目标程序模块：提取左目图像中目标深度值最大的显著目标作为人眼注视预测目标；
5)区域确定程序模块：根据左目图像中提取目标区域的特征信息，通过特征匹配确定右目图像中的对应区域；
6)二次精细分割程序模块：通过Grabcut算法分别对左目图像和右目图像中的目标区域进行二次精细分割；
7)网格构建程序模块：利用图像边缘与特征点信息分别构建左目图像、右目图像的Delaunay网格；
8)网格形变参数程序模块：根据场景内深度分布信息确定左目图像、右目图像的深度调节参数，并转换为网格形变参数；
9)深度调整程序模块：根据网格形变参数，分别调整左目图像、右目图像的网格分布，实现左右目图像内预测目标的深度调整。
在系统运行过程中，所有程序模块按上述顺序不断重复工作，调整预测目标的深度信息，使目标物的视觉感知距离随时间推移循环地逐渐变近变远，达到目标深度动态调节的效果。
一种基于显著目标深度动态调节的视疲劳缓解方法，包括以下步骤：
1)将两个凸透镜2分别设置于眼镜框架靠近左、右眼位置的内侧；
将显示屏3安置在双目相机与凸透镜之间，显示屏与内设处理器5连接；
将双目相机4平行安置在眼镜框架最外侧，双目相机与内设处理器5连接；
内设处理器按以下步骤进行数据处理：
2)分别提取左目图像和右目图像的轮廓信息，并根据轮廓信息强度，对左目图像和右目图像进行初始分割；
3)通过SURF(Speeded Up Robust Features)算法对校正后的左右目图像进行特征点匹配，并计算每组匹配点对应的视差值；
4)根据左目图像的初始分割结果，根据每个区域中匹配特征点视差值分布情况对左目图像每个区域进行深度赋值，获取深度显著图；
5)提取左目图像中目标深度值最大的显著目标作为人眼注视预测目标；
6)根据左目图像中提取目标区域的特征信息，通过特征匹配确定右目图像中的对应区域；
7)通过Grabcut算法分别对左目图像和右目图像中的目标区域进行二次精细分割；
8)利用图像边缘与特征点信息分别构建左目图像、右目图像的Delaunay网格；9)根据场景内深度分布信息确定左目图像、右目图像的深度调节参数，并转换为网格形变参数；
10)根据网格形变参数，分别调整左目图像、右目图像的网格分布，实现左右目图像内预测目标的深度调整。
不断重复(1)-(10)步骤，调整预测目标的深度信息，使目标物的视觉感知距离随时间推移循环地逐渐变近变远，达到目标深度动态调节的效果，引导佩戴者双眼的睫状肌进行调节，在长时间近距离用眼过程中达到缓解视疲劳的效果。
与现有技术相比，本发明的有益效果是，本发明的视疲劳缓解系统利用智能立体视觉信息处理方式对场景深度信息进行快速捕获，并能有效预测人眼注视目标区域，通过对目标区域的智能化深度调节，在近距离用眼过程中，引导人眼睫状肌的调节，缓解甚至避免视疲劳的发生。相较于其他眼部放松方法，本发明系统能在不影响正常学习工作的情况下发挥作用，适用场景不受限制，使用更方便。
附图说明
图1为基于显著目标深度动态调节的视疲劳缓解系统硬件结构示意图；
图2为基于显著目标深度动态调节的视疲劳缓解系统软件流程图；
图3为预测目标的检测与分割效果示意图；
图4为网格顶点与Delaunay网格生成示意图；
图5为基于网格形变的显著目标深度动态调节示意图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
实施例1
如图1和图2所示，本发明提出的基于显著目标深度动态调节的视疲劳缓解系统由双目实景感知硬件与目标智能深度调节软件两部分组成。
本发明的基于显著目标深度动态调节的视疲劳缓解系统，双目实景感知硬件包括：
眼镜框架1；
两个凸透镜2分别设置于眼镜框架靠近左、右眼位置的内侧；
显示屏3安置在双目相机与凸透镜之间，显示屏与内设处理器5连接；
双目相机4由两个参数一致的相机组成，并平行安置在眼镜框架最外侧，双目相机与内设处理器5连接。
基于显著目标深度动态调节的视疲劳缓解系统启动后，由已知参数的双目相机不断拍摄场景图像，并通过USB接口实时传输至内设处理器，由目标智能深度调节软件算法进行处理，再将完成处理后的图像信息通过HDMI接口传输至显示屏中进行显示，直至系统停止运作。
所述内设处理器运行以下程序模块：
1.校正程序模块：利用双目相机标定参数对采双目图像进行校正，得到校正后的左目图像Il和右目图像Ir，如图3中的(a)所示；
2.初始分割程序模块：分别提取左目图像和右目图像的轮廓信息，并根据轮廓信息强度，对左目图像和右目图像进行初始分割；
对于左目图像，具体分割步骤如下：
(21)利用结构化随机森林边缘检测算法检测左目图像的边缘强度图，记为Pl 1；
(22)利用SLIC(Simple Linear Iterative Clustering)算法对左目图像进行超像素分割，得到N个超像素区域；
(23)检测每两个超像素之间的相邻边，获取所述相邻边所有像素点对应的边缘强度值并相加，最后除以所述相邻边含有的像素点数量，获取边缘强度均值Pn，作为所述相邻边所有像素点新的边缘强度值；对每两个超像素区域的相邻边进行上述操作，非邻域区域的边缘强度值置为0，得到新的边缘强度概率图Pl 2；
(24)设定阈值
Figure GDA0003717664610000051
其中，Np为所有相邻边的像素点个数，Pl 2(ip)为第ip个像素点的边缘概率强度值；对所有相邻超像素区域进行检测，若每两个超像素之间相邻边的边缘强度概率值小于阈值Tp，则将两个超像素进行合并，最终生成左目图像的初始分割图
Figure GDA0003717664610000052
如图3中的(b)所示；
(25)对右目图像也分别进行以上(1)-(4)步骤的处理，得到右目图像的初始分割图
Figure GDA0003717664610000053
如图3中的(b)所示。
3.视差计算程序模块：通过SURF(Speeded Up Robust Features)算法对校正后的左、右目图像进行特征点匹配，并获取对应匹配点对之间的视差。
(31)利用SURF算法分别获取左目图像和右目图像中的特征点坐标集合和描述子集合，坐标集合分别记为Fpl和Fpr，描述子集合分别记为Dsl和Dsr；利用描述子之间的欧式距离对特征点进行匹配，并提取左、右目匹配点集合
Figure GDA0003717664610000054
其中，
Figure GDA0003717664610000055
为匹配点对中左目图像对应的特征点坐标集合，
Figure GDA0003717664610000056
为匹配点对中右目图像对应的特征点的集合；
(32)根据特征点匹配结果，计算每组匹配点对应的视差值，第if组特征点对的视差值为
Figure GDA0003717664610000061
其中，if为特征点对的标号，
Figure GDA0003717664610000062
表示左目特征点的横坐标，
Figure GDA0003717664610000063
表示右目特征点的横坐标。
4.深度显著图程序模块：根据左目图像的初始分割结果，根据每个区域中匹配特征点视差值分布情况对左目图像每个区域进行深度赋值，获取深度显著图。统计初始分割图中每个区域内的匹配点对视差值，取其中值作为该区域所有像素点的深度值，获取左目图像深度显著图Sa。
5.预测目标程序模块：提取左目图像中目标深度值最大的显著目标作为人眼注视预测目标；
统计左目图像初始分割各个区域的像素点数量nl(inl)，每个区域内的深度值为Sa(inl)，其中，inl∈[1,Nsl]，Nsl为左目图像初始区域分割图中的分割区域总个数，则以分割区域的尺寸对深度显著图进行加权，赋予每个区域新的深度显著值Sa2(inl)＝nl(inl)·Sa(inl)，再提取左目图像中目标深度值最大的区域作为人眼注视预测目标区域
Figure GDA0003717664610000064
如图3中的(c)所示。
6.区域确定程序模块：根据左目图像中提取目标区域的特征信息，通过特征匹配确定右目图像中的对应区域。
(61)统计左目图像预测目标区域
Figure GDA0003717664610000065
内所有像素点个数为nFob，并计算该区域内所有像素点的RGB三通道的颜色均值Fobl；
(62)分别统计左目图像初始分割各个区域的像素点数量nr(inr)，并计算右目图像初始分割所有区域像素点的RGB三通道颜色均值，记为Fobr(inr)，其中，inr∈[1,Nsr]，Nsr为右目图像初始分割区域的总个数；
(63)分别计算右目图像每个区域与左目图像预测区域的相似度Sc(inr)，Sc(inr)＝1/[nr(inr)-nFob|·|Fobr(inr)-Fobl|+ε]，其中，|·|表示取绝对值，ε＝10-5，为一个极小的常数值，用于避免计算失效；
(64)选取相似度最高的右目图像区域作为左目预测目标区域
Figure GDA0003717664610000066
的匹配区域，即右目图像中的预测目标区域
Figure GDA0003717664610000067
如图3中的(c)所示。
7.二次精细分割程序模块：通过Grabcut算法分别对左目图像和右目图像中的目标区域进行二次精细分割。
(71)构建左目预测目标区域
Figure GDA0003717664610000068
的最小外接矩形，并以该矩形为中心，设置一个长与宽均为其Nrec倍的矩形Tsl作为待二次分割区域，本发明中Nrec＝1.5；
(72)设左目预测目标区域
Figure GDA0003717664610000071
内的像素点为前景像素点，矩形Tsl之外的像素点为背景区域，
Figure GDA0003717664610000072
区域与矩形Ts之间的像素为可能的前景区域，再利用Grabcut算法对左目预测目标区域
Figure GDA0003717664610000073
进行精细化二次分割，获取分割结果
Figure GDA0003717664610000074
如图3中(d)所示；
(73)再对右目图像中的预测目标区域
Figure GDA0003717664610000075
执行上述(71)、(72)步骤，获取右目图像预测目标精细化分割结果
Figure GDA0003717664610000076
如图3中的(d)所示。
8.网格构建程序模块：利用图像边缘与特征点信息分别构建左目图像、右目图像的Delaunay网格，如图4所示。
(81)获取左目图像边缘像素点、左目预测目标
Figure GDA0003717664610000077
所有边缘像素点、以及左目图像特征匹配点
Figure GDA0003717664610000078
为网格顶点，其中，图像边缘像素点由左目图像四条边上每条边的5个均分点组成；
(82)采用逐点插入算法，根据网格顶点构建左目图像Delaunay网格，将左目图像Ndl个三角形区域；
(83)依次对右目图像执行上述步骤(81)和步骤(82)，构建右目图像Delaunay网格，将右目图像分为Ndr个三角形区域。
9.网格形变参数程序模块：根据场景内深度分布信息确定左、右目图像的深度调节参数，并转换为网格形变参数，设定目标尺寸变化倍数为Cob。
(91)对于左目图像，当目标拉远时，目标尺寸变小，目标位置右移，目标拉近，目标尺寸变大，目标位置左移。本发明根据该特性，则将左目预测目标区域
Figure GDA0003717664610000079
内的所有网格顶点做如下变换：设网格顶点坐标为PDl(xdl,ydl)，则变换后的网格顶点坐标为
Figure GDA00037176646100000710
Figure GDA00037176646100000711
Figure GDA00037176646100000712
其中devy为该网格y轴坐标点的偏移量，H与W分别为图像的行数与列数，其余网格顶点位置不变；
(92)对于右目图像，当目标拉远时，目标尺寸变小，目标位置左移，目标拉近，目标尺寸变大，目标位置右移。本发明根据该特性，则将右目预测目标区域
Figure GDA0003717664610000081
内的所有网格顶点做如下变换：
设网格顶点坐标为PDr(xdr,ydr)，则变换后的网格顶点坐标为
Figure GDA0003717664610000082
Figure GDA0003717664610000083
其余网格顶点位置不变。
10.深度调整程序模块：根据网格形变参数，分别调整左目图像、右目图像的网格分布，实现左右目图像内预测目标的深度调整。
(101)提取左目图像网格内某一个三角形区域的三个顶点原始坐标，再根据步骤9中网格顶点变化结果，获取对应三角形三个顶点的变化始坐标，根据三个点的坐标变化，计算该三角形区域的仿射变换矩阵，利用所述仿射变换矩阵对该三角形区域内的其他像素点位置进行变换，并将变换后的像素点填充至对应位置，依次对所有三角形区域进行变换与对应位置填充，得到深度调整变换左目图像
Figure GDA0003717664610000086
(102)对右目图像执行如上操作，得到深度调整变换右目图像
Figure GDA0003717664610000085
如图5所示，在系统运行过程中，将不断重复上述1-10程序模块工作，调整预测目标的深度信息，使目标物的视觉感知距离随时间推移循环地变近变远，达到目标深度动态调节的效果，引导佩戴者双眼的睫状肌进行调节，在长时间近距离用眼过程中达到缓解视疲劳的效果。
其中，目标物的尺寸变化倍数Cob将随着时间的变化而调整，本发明的通过统计帧数的变化来完成。从系统开启时算起，假设目前设备采集图像的帧数为fi。每0至4000帧图像为一个单位，将目标物的尺寸变化倍数Cob从1减小至0.6；每4000至8000帧图像为一个单位，将目标物的尺寸变化倍数Cob从0.6增大至1，即
Figure GDA0003717664610000084
当帧数fi累计到8000时，则置零，进入新的循环。
一种基于显著目标深度动态调节的视疲劳缓解方法，包括以下步骤：
将两个凸透镜2分别设置于眼镜框架靠近左、右眼位置的内侧；
将显示屏3安置在双目相机与凸透镜之间，显示屏与内设处理器5连接；将双目相机4平行安置在眼镜框架最外侧，双目相机与内设处理器5连接；内设处理器按以下步骤进行数据处理：
1.利用双目相机标定参数对采双目图像进行校正，得到校正后的左目图像Il和右目图像Ir，如图3中的(a)所示；
2.分别提取左目图像和右目图像的轮廓信息，并根据轮廓信息强度，对左目图像和右目图像进行初始分割；
对于左目图像，具体分割步骤如下：
(21)利用结构化随机森林边缘检测算法检测左目图像的边缘强度图，记为Pl 1；
(22)利用SLIC(Simple Linear Iterative Clustering)算法对左目图像进行超像素分割，得到N个超像素区域；
(23)检测每两个超像素之间的相邻边，获取所述相邻边所有像素点对应的边缘强度值并相加，最后除以所述相邻边含有的像素点数量，获取边缘强度均值Pn，作为所述相邻边所有像素点新的边缘强度值；对每两个超像素区域的相邻边进行上述操作，非邻域区域的边缘强度值置为0，得到新的边缘强度概率图Pl 2；
(24)设定阈值
Figure GDA0003717664610000091
其中，Np为所有相邻边的像素点个数，Pl 2(ip)为第ip个像素点的边缘概率强度值；对所有相邻超像素区域进行检测，若每两个超像素之间相邻边的边缘强度概率值小于阈值Tp，则将两个超像素进行合并，最终生成左目图像的初始分割图
Figure GDA0003717664610000092
如图3中的(b)所示；
(25)对右目图像也分别进行以上(1)-(4)步骤的处理，得到右目图像的初始分割图
Figure GDA0003717664610000093
如图3中的(b)所示。
3.通过SURF(Speeded Up Robust Features)算法对校正后的左、右目图像进行特征点匹配，并获取对应匹配点对之间的视差。
(31)利用SURF算法分别获取左目图像和右目图像中的特征点坐标集合和描述子集合，坐标集合分别记为Fpl和Fpr，描述子集合分别记为Dsl和Dsr；利用描述子之间的欧式距离对特征点进行匹配，并提取左、右目匹配点集合
Figure GDA0003717664610000101
其中，
Figure GDA0003717664610000102
为匹配点对中左目图像对应的特征点坐标集合，
Figure GDA0003717664610000103
为匹配点对中右目图像对应的特征点的集合；
(32)根据特征点匹配结果，计算每组匹配点对应的视差值，第if组特征点对的视差值为
Figure GDA0003717664610000104
其中，if为特征点对的标号，
Figure GDA0003717664610000105
表示左目特征点的横坐标，
Figure GDA0003717664610000106
表示右目特征点的横坐标。
4.根据左目图像的初始分割结果，根据每个区域中匹配特征点视差值分布情况对左目图像每个区域进行深度赋值，获取深度显著图。统计初始分割图中每个区域内的匹配点对视差值，取其中值作为该区域所有像素点的深度值，获取左目图像深度显著图Sa。
5.提取左目图像中目标深度值最大的显著目标作为人眼注视预测目标；
统计左目图像初始分割各个区域的像素点数量nl(inl)，每个区域内的深度值为Sa(inl)，其中，inl∈[1,Nsl]，Nsl为左目图像初始区域分割图中的分割区域总个数，则以分割区域的尺寸对深度显著图进行加权，赋予每个区域新的深度显著值Sa2(inl)＝nl(inl)·Sa(inl)，再提取左目图像中目标深度值最大的区域作为人眼注视预测目标区域
Figure GDA0003717664610000107
如图3中的(c)所示。
6.根据左目图像中提取目标区域的特征信息，通过特征匹配确定右目图像中的对应区域。
(61)统计左目图像预测目标区域
Figure GDA0003717664610000108
内所有像素点个数为nFob，并计算该区域内所有像素点的RGB三通道的颜色均值Fobl；
(62)分别统计左目图像初始分割各个区域的像素点数量nr(inr)，并计算右目图像初始分割所有区域像素点的RGB三通道颜色均值，记为Fobr(inr)，其中，inr∈[1,Nsr]，Nsr为右目图像初始分割区域的总个数；
(63)分别计算右目图像每个区域与左目图像预测区域的相似度Sc(inr)，Sc(inr)＝1/[|nr(inr)-nFob|·|Fobr(inr)-Fobl|+ε]，其中，|·|表示取绝对值，ε＝10-5，为一个极小的常数值，用于避免计算失效；
(64)选取相似度最高的右目图像区域作为左目预测目标区域
Figure GDA0003717664610000109
的匹配区域，即右目图像中的预测目标区域
Figure GDA00037176646100001010
如图3中的(c)所示。
7.通过Grabcut算法分别对左目图像和右目图像中的目标区域进行二次精细分割。
(71)构建左目预测目标区域
Figure GDA0003717664610000111
的最小外接矩形，并以该矩形为中心，设置一个长与宽均为其Nrec倍的矩形Tsl作为待二次分割区域，本发明中Nrec＝1.5；
(72)设左目预测目标区域
Figure GDA0003717664610000112
内的像素点为前景像素点，矩形Tsl之外的像素点为背景区域，
Figure GDA0003717664610000113
区域与矩形Ts之间的像素为可能的前景区域，再利用Grabcut算法对左目预测目标区域
Figure GDA0003717664610000114
进行精细化二次分割，获取分割结果
Figure GDA0003717664610000115
如图3中的(d)所示；
(73)再对右目图像中的预测目标区域
Figure GDA0003717664610000116
执行上述(71)、(72)步骤，获取右目图像预测目标精细化分割结果
Figure GDA0003717664610000117
如图3中的(d)所示。
8.利用图像边缘与特征点信息分别构建左目图像、右目图像的Delaunay网格，如图4所示。
(81)获取左目图像边缘像素点、左目预测目标
Figure GDA0003717664610000118
所有边缘像素点、以及左目图像特征匹配点
Figure GDA0003717664610000119
为网格顶点，其中，图像边缘像素点由左目图像四条边上每条边的5个均分点组成；
(82)采用逐点插入算法，根据网格顶点构建左目图像Delaunay网格，将左目图像分为Ndl个三角形区域；
(83)依次对右目图像执行上述步骤(81)和步骤(82)，构建右目图像Delaunay网格，将右目图像分为Ndr个三角形区域。
9.根据场景内深度分布信息确定左、右目图像的深度调节参数，并转换为网格形变参数，设定目标尺寸变化倍数为Cob。
(91)对于左目图像，当目标拉远时，目标尺寸变小，目标位置右移，目标拉近，目标尺寸变大，目标位置左移。本发明根据该特性，则将左目预测目标区域
Figure GDA00037176646100001110
内的所有网格顶点做如下变换：设网格顶点坐标为PDl(xdl,ydl)，则变换后的网格顶点坐标为
Figure GDA00037176646100001111
Figure GDA00037176646100001112
Figure GDA00037176646100001113
其中devy为该网格y轴坐标点的偏移量，H与W分别为图像的行数与列数，其余网格顶点位置不变；
(92)对于右目图像，当目标拉远时，目标尺寸变小，目标位置左移，目标拉近，目标尺寸变大，目标位置右移。本发明根据该特性，则将右目预测目标区域
Figure GDA0003717664610000121
内的所有网格顶点做如下变换：
设网格顶点坐标为PDr(xdr,ydr)，则变换后的网格顶点坐标为
Figure GDA0003717664610000122
Figure GDA0003717664610000123
其余网格顶点位置不变。
10.根据网格形变参数，分别调整左目图像、右目图像的网格分布，实现左右目图像内预测目标的深度调整。
(101)提取左目图像网格内某一个三角形区域的三个顶点原始坐标，再根据步骤9中网格顶点变化结果，获取对应三角形三个顶点的变化始坐标，根据三个点的坐标变化，计算该三角形区域的仿射变换矩阵，利用所述仿射变换矩阵对该三角形区域内的其他像素点位置进行变换，并将变换后的像素点填充至对应位置，依次对所有三角形区域进行变换与对应位置填充，得到深度调整变换左目图像
Figure GDA0003717664610000124
(102)对右目图像执行如上操作，得到深度调整变换右目图像
Figure GDA0003717664610000125
如图5所示，在系统运行过程中，将不断重复上述步骤1-10，调整预测目标的深度信息，使目标物的视觉感知距离随时间推移循环地变近变远，达到目标深度动态调节的效果，引导佩戴者双眼的睫状肌进行调节，在长时间近距离用眼过程中达到缓解视疲劳的效果。
以上已以较佳实施例公开了本发明，然其并非用以限制本发明，凡采用等同替换或者等效变换方式所获得的技术方案，均落在本发明的保护范围之内。

Claims (12)

1.一种基于显著目标深度动态调节的视疲劳缓解系统，其特征在于，包括：
眼镜框架；
两个凸透镜分别设置于眼镜框架靠近左、右眼位置的内侧；
显示屏安置在双目相机与凸透镜之间，显示屏与内设处理器连接；
双目相机由两个参数一致的相机组成，并平行安置在眼镜框架最外侧，双目相机与内设处理器连接；
所述内设处理器运行各程序模块，对场景深度信息进行快速捕获，预测人眼注视目标区域，对目标区域进行智能化深度调节；
所述内设处理器的各程序模块包括：
1)初始分割程序模块：分别提取左目图像和右目图像的轮廓信息，并根据轮廓信息强度，对左目图像和右目图像进行初始分割；
2)视差计算程序模块：通过SURF算法对校正后的左右目图像进行特征点匹配，并计算每组匹配点对应的视差值；
3)深度显著图程序模块：根据左目图像的初始分割结果，根据每个区域中匹配特征点视差值分布情况对左目图像每个区域进行深度赋值，获取深度显著图；
4)预测目标程序模块：提取左目图像中目标深度值最大的显著目标作为人眼注视预测目标；
5)区域确定程序模块：根据左目图像中提取目标区域的特征信息，通过特征匹配确定右目图像中的对应区域；
6)二次精细分割程序模块：通过Grabcut算法分别对左目图像和右目图像中的目标区域进行二次精细分割；
7)网格构建程序模块：利用图像边缘与特征点信息分别构建左目图像、右目图像的Delaunay网格；
8)网格形变参数程序模块：根据场景内深度分布信息确定左目图像、右目图像的深度调节参数，并转换为网格形变参数；
9)深度调整程序模块：根据网格形变参数，分别调整左目图像、右目图像的网格分布，实现左右目图像内预测目标的深度调整。
2.根据权利要求1所述的基于显著目标深度动态调节的视疲劳缓解系统，其特征在于：所有程序模块按顺序不断重复工作，调整预测目标的深度信息，使目标物的视觉感知距离随时间推移循环地逐渐变近变远，达到目标深度动态调节的效果。
3.根据权利要求1所述的基于显著目标深度动态调节的视疲劳缓解系统，其特征在于：在初始分割程序模块中，对于左目图像，具体分割步骤如下：
(21)利用结构化随机森林边缘检测算法检测左目图像的边缘强度图，记为Pl 1；
(22)利用SLIC算法对左目图像进行超像素分割，得到N个超像素区域；
(23)检测每两个超像素之间的相邻边，获取所述相邻边所有像素点对应的边缘强度值并相加，最后除以所述相邻边含有的像素点数量，获取边缘强度均值Pn，作为所述相邻边所有像素点新的边缘强度值；对每两个超像素区域的相邻边进行步骤(21)-(22)操作，非邻域区域的边缘强度值置为0，得到新的边缘强度概率图Pl 2；
(24)设定阈值
Figure FDA0003739176560000021
其中，Np为所有相邻边的像素点个数，Pl 2(ip)为第ip个像素点的边缘概率强度值；对所有相邻超像素区域进行检测，若每两个超像素之间相邻边的边缘强度概率值小于阈值Tp，则将两个超像素进行合并，最终生成左目图像的初始分割图
Figure FDA0003739176560000022
(25)对右目图像也分别进行以上步骤(21)-(24)的处理，得到右目图像的初始分割图
Figure FDA0003739176560000023
4.根据权利要求1所述的基于显著目标深度动态调节的视疲劳缓解系统，其特征在于：在视差计算程序模块中，获取对应匹配点对之间的视差具体步骤为：
(31)利用SURF算法分别获取左目图像和右目图像中的特征点坐标集合和描述子集合，坐标集合分别记为Fpl和Fpr，描述子集合分别记为Dsl和Dsr；利用描述子之间的欧式距离对特征点进行匹配，并提取左、右目匹配点集合
Figure FDA0003739176560000024
其中，
Figure FDA0003739176560000025
为匹配点对中左目图像对应的特征点坐标集合，
Figure FDA0003739176560000026
为匹配点对中右目图像对应的特征点的集合；
(32)根据特征点匹配结果，计算每组匹配点对应的视差值，第if组特征点对的视差值为
Figure FDA0003739176560000031
其中，if为特征点对的标号，
Figure FDA0003739176560000032
表示左目特征点的横坐标，
Figure FDA0003739176560000033
表示右目特征点的横坐标。
5.根据权利要求1所述的基于显著目标深度动态调节的视疲劳缓解系统，其特征在于：在深度显著图程序模块中，统计初始分割图中每个区域内的匹配点对视差值，取其中值作为该区域所有像素点的深度值，获取左目图像深度显著图Sa。
6.根据权利要求1所述的基于显著目标深度动态调节的视疲劳缓解系统，其特征在于：在预测目标程序模块中，
统计左目图像初始分割各个区域的像素点数量nl(inl)，每个区域内的深度值为Sa(inl)，其中，inl∈[1,Nsl]，Nsl为左目图像初始区域分割图中的分割区域总个数，则以分割区域的尺寸对深度显著图进行加权，赋予每个区域新的深度显著值Sa2(inl)＝nl(inl)·Sa(inl)，再提取左目图像中目标深度值最大的区域作为人眼注视预测目标区域
Figure FDA0003739176560000034
7.根据权利要求1所述的基于显著目标深度动态调节的视疲劳缓解系统，其特征在于：在区域确定程序模块中，
(61)统计左目图像预测目标区域
Figure FDA0003739176560000035
内所有像素点个数为nFob，并计算该区域内所有像素点的RGB三通道的颜色均值Fobl；
(62)分别统计左目图像初始分割各个区域的像素点数量nr(inr)，并计算右目图像初始分割所有区域像素点的RGB三通道颜色均值，记为Fobr(inr)，其中，inr∈[1,Nsr]，Nsr为右目图像初始分割区域的总个数；
(63)分别计算右目图像每个区域与左目图像预测区域的相似度Sc(inr)，Sc(inr)＝1/[|nr(inr)-nFob|·|Fobr(inr)-Fobl|+ε]，其中，|·|表示取绝对值，ε为一个极小的常数值，用于避免计算失效；
(64)选取相似度最高的右目图像区域作为左目预测目标区域
Figure FDA0003739176560000036
的匹配区域，即右目图像中的预测目标区域
Figure FDA0003739176560000037
8.根据权利要求1所述的基于显著目标深度动态调节的视疲劳缓解系统，其特征在于：在二次精细分割程序模块中，包括以下步骤：
(71)构建左目预测目标区域
Figure FDA0003739176560000041
的最小外接矩形，并以该矩形为中心，设置一个长与宽均为其Nrec倍的矩形Tsl作为待二次分割区域；
(72)设左目预测目标区域
Figure FDA0003739176560000042
内的像素点为前景像素点，矩形Tsl之外的像素点为背景区域，
Figure FDA0003739176560000043
区域与矩形Ts之间的像素为可能的前景区域，再利用Grabcut算法对左目预测目标区域
Figure FDA0003739176560000044
进行精细化二次分割，获取分割结果
Figure FDA0003739176560000045
(73)再对右目图像中的预测目标区域
Figure FDA0003739176560000046
执行上述步骤(71)、步骤(72)，获取右目图像预测目标精细化分割结果
Figure FDA0003739176560000047
9.根据权利要求1所述的基于显著目标深度动态调节的视疲劳缓解系统，其特征在于：在网格构建程序模块中，包括以下步骤：
(81)获取左目图像边缘像素点、左目预测目标
Figure FDA0003739176560000048
所有边缘像素点、以及左目图像特征匹配点
Figure FDA0003739176560000049
为网格顶点，其中，图像边缘像素点由左目图像四条边上每条边的5个均分点组成；
(82)采用逐点插入算法，根据网格顶点构建左目图像Delaunay网格，将左目图像Ndl个三角形区域；
(83)依次对右目图像执行上述步骤(81)和步骤(82)，构建右目图像Delaunay网格，将右目图像分为Ndr个三角形区域。
10.根据权利要求1所述的基于显著目标深度动态调节的视疲劳缓解系统，其特征在于：在网格形变参数程序模块中，
(91)则将左目预测目标区域
Figure FDA00037391765600000410
内的所有网格顶点做如下变换：设网格顶点坐标为PDl(xdl,ydl)，则变换后的网格顶点坐标为
Figure FDA00037391765600000411
Figure FDA00037391765600000412
Figure FDA00037391765600000413
其中devy为该网格y轴坐标点的偏移量，H与W分别为图像的行数与列数，
其余网格顶点位置不变；
(92)则将右目预测目标区域
Figure FDA0003739176560000051
内的所有网格顶点做如下变换：
设网格顶点坐标为PDr(xdr,ydr)，则变换后的网格顶点坐标为
Figure FDA0003739176560000052
Figure FDA0003739176560000053
其余网格顶点位置不变。
11.根据权利要求1所述的基于显著目标深度动态调节的视疲劳缓解系统，其特征在于：在深度调整程序模块中，
(101)提取左目图像网格内某一个三角形区域的三个顶点原始坐标，再根据步骤9中网格顶点变化结果，获取对应三角形三个顶点的变化始坐标，根据三个点的坐标变化，计算该三角形区域的仿射变换矩阵，利用所述仿射变换矩阵对该三角形区域内的其他像素点位置进行变换，并将变换后的像素点填充至对应位置，依次对所有三角形区域进行变换与对应位置填充，得到深度调整变换左目图像
Figure FDA0003739176560000054
(102)对右目图像执行如上操作，得到深度调整变换右目图像
Figure FDA0003739176560000055
12.一种基于显著目标深度动态调节的视疲劳缓解方法，包括以下步骤：
1)将两个凸透镜分别设置于眼镜框架靠近左、右眼位置的内侧；
将显示屏安置在双目相机与凸透镜之间，显示屏与内设处理器连接；
将双目相机平行安置在眼镜框架最外侧，双目相机与内设处理器连接；
内设处理器按以下步骤进行数据处理：
2)分别提取左目图像和右目图像的轮廓信息，并根据轮廓信息强度，对左目图像和右目图像进行初始分割；
3)通过SURF算法对校正后的左右目图像进行特征点匹配，并计算每组匹配点对应的视差值；
4)根据左目图像的初始分割结果，根据每个区域中匹配特征点视差值分布情况对左目图像每个区域进行深度赋值，获取深度显著图；
5)提取左目图像中目标深度值最大的显著目标作为人眼注视预测目标；
6)根据左目图像中提取目标区域的特征信息，通过特征匹配确定右目图像中的对应区域；
7)通过Grabcut算法分别对左目图像和右目图像中的目标区域进行二次精细分割；
8)利用图像边缘与特征点信息分别构建左目图像、右目图像的Delaunay网格；
9)根据场景内深度分布信息确定左目图像、右目图像的深度调节参数，并转换为网格形变参数；
10)根据网格形变参数，分别调整左目图像、右目图像的网格分布，实现左右目图像内预测目标的深度调整。
CN202010413257.5A 2020-05-15 2020-05-15 一种基于显著目标深度动态调节的视疲劳缓解系统及方法 Active CN111695573B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010413257.5A CN111695573B (zh) 2020-05-15 2020-05-15 一种基于显著目标深度动态调节的视疲劳缓解系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010413257.5A CN111695573B (zh) 2020-05-15 2020-05-15 一种基于显著目标深度动态调节的视疲劳缓解系统及方法

Publications (2)

Publication Number Publication Date
CN111695573A CN111695573A (zh) 2020-09-22
CN111695573B true CN111695573B (zh) 2022-09-13

Family

ID=72477866

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010413257.5A Active CN111695573B (zh) 2020-05-15 2020-05-15 一种基于显著目标深度动态调节的视疲劳缓解系统及方法

Country Status (1)

Country Link
CN (1) CN111695573B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9678345B1 (en) * 2014-08-15 2017-06-13 Rockwell Collins, Inc. Dynamic vergence correction in binocular displays
CN110794590A (zh) * 2019-12-12 2020-02-14 中国科学技术大学 虚拟现实显示系统及其显示方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9678345B1 (en) * 2014-08-15 2017-06-13 Rockwell Collins, Inc. Dynamic vergence correction in binocular displays
CN110794590A (zh) * 2019-12-12 2020-02-14 中国科学技术大学 虚拟现实显示系统及其显示方法

Also Published As

Publication number Publication date
CN111695573A (zh) 2020-09-22

Similar Documents

Publication Publication Date Title
EP3989111A1 (en) Video classification method and apparatus, model training method and apparatus, device and storage medium
US11107232B2 (en) Method and apparatus for determining object posture in image, device, and storage medium
EP3916627A1 (en) Living body detection method based on facial recognition, and electronic device and storage medium
CN110222787B (zh) 多尺度目标检测方法、装置、计算机设备及存储介质
WO2021159767A1 (zh) 一种医学图像处理的方法、图像处理的方法及装置
CN101272511B (zh) 图像深度信息和图像像素信息的获取方法及装置
US11908241B2 (en) Method for correction of the eyes image using machine learning and method for machine learning
JP2023548921A (ja) 画像の視線補正方法、装置、電子機器、コンピュータ可読記憶媒体及びコンピュータプログラム
CN110189294B (zh) 基于深度可信度分析的rgb-d图像显著性检测方法
CN114998320B (zh) 视觉显著性检测的方法、系统、电子装置和存储介质
DE112019002368T5 (de) Dynamische "foveated pipeline"
JP2023545190A (ja) 画像の視線補正方法、装置、電子機器、及びコンピュータプログラム
CN113763296A (zh) 图像处理方法、设备以及介质
KR20110014067A (ko) 스테레오 컨텐트의 변환 방법 및 시스템
CN112818938B (zh) 一种自适应光照干扰环境的人脸识别算法及人脸识别装置
CN112233173A (zh) 一种视力障碍人士室内物品寻找与定位的方法
CN111882516B (zh) 一种基于视觉显著性和深度神经网络的图像质量评价方法
CN111641822B (zh) 一种重定位立体图像质量评价方法
CN109462748B (zh) 一种基于单应性矩阵的立体视频颜色校正算法
CN111369478A (zh) 人脸图像增强方法、装置、计算机设备和存储介质
CN111695573B (zh) 一种基于显著目标深度动态调节的视疲劳缓解系统及方法
CN113706439A (zh) 一种图像检测方法、装置、存储介质及计算机设备
CN108830804B (zh) 基于线扩展函数标准差的虚实融合模糊一致性处理方法
CN114648800A (zh) 人脸图像检测模型训练方法、人脸图像检测方法及装置
KR101513931B1 (ko) 구도의 자동보정 방법 및 이러한 구도의 자동보정 기능이 탑재된 영상 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant