CN117152012B - 孤独症人群视觉降噪的智能视觉处理系统、方法及设备 - Google Patents
孤独症人群视觉降噪的智能视觉处理系统、方法及设备 Download PDFInfo
- Publication number
- CN117152012B CN117152012B CN202311136089.XA CN202311136089A CN117152012B CN 117152012 B CN117152012 B CN 117152012B CN 202311136089 A CN202311136089 A CN 202311136089A CN 117152012 B CN117152012 B CN 117152012B
- Authority
- CN
- China
- Prior art keywords
- module
- visual
- image
- autism
- capacity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 206010003805 Autism Diseases 0.000 title claims abstract description 82
- 208000020706 Autistic disease Diseases 0.000 title claims abstract description 82
- 238000012545 processing Methods 0.000 title claims abstract description 72
- 230000004438 eyesight Effects 0.000 title claims abstract description 62
- 230000009467 reduction Effects 0.000 title claims abstract description 51
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000000007 visual effect Effects 0.000 claims abstract description 300
- 230000019771 cognition Effects 0.000 claims abstract description 73
- 230000008447 perception Effects 0.000 claims abstract description 54
- 238000011156 evaluation Methods 0.000 claims abstract description 51
- 238000013461 design Methods 0.000 claims abstract description 42
- 238000001514 detection method Methods 0.000 claims abstract description 33
- 238000001914 filtration Methods 0.000 claims abstract description 14
- 238000000605 extraction Methods 0.000 claims abstract description 12
- 230000001149 cognitive effect Effects 0.000 claims description 61
- 238000004364 calculation method Methods 0.000 claims description 54
- 239000011521 glass Substances 0.000 claims description 45
- 238000012360 testing method Methods 0.000 claims description 34
- 238000005516 engineering process Methods 0.000 claims description 25
- 239000011229 interlayer Substances 0.000 claims description 24
- 230000011218 segmentation Effects 0.000 claims description 20
- 230000004424 eye movement Effects 0.000 claims description 12
- 239000010410 layer Substances 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 12
- 238000012546 transfer Methods 0.000 claims description 12
- 230000003190 augmentative effect Effects 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 claims description 9
- 238000003709 image segmentation Methods 0.000 claims description 9
- 230000004075 alteration Effects 0.000 claims description 7
- 238000003672 processing method Methods 0.000 claims description 7
- 210000000707 wrist Anatomy 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000012958 reprocessing Methods 0.000 claims description 6
- 238000003708 edge detection Methods 0.000 claims description 4
- 238000013401 experimental design Methods 0.000 claims description 4
- 238000002474 experimental method Methods 0.000 claims description 4
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 230000001939 inductive effect Effects 0.000 claims description 3
- 239000000463 material Substances 0.000 claims description 3
- 238000012549 training Methods 0.000 abstract description 3
- 239000003086 colorant Substances 0.000 description 15
- 238000011161 development Methods 0.000 description 13
- 230000018109 developmental process Effects 0.000 description 13
- 230000000694 effects Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 230000006399 behavior Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 208000035154 Hyperesthesia Diseases 0.000 description 2
- 208000029560 autism spectrum disease Diseases 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 208000029726 Neurodevelopmental disease Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 239000002085 irritant Substances 0.000 description 1
- 231100000021 irritant Toxicity 0.000 description 1
- 230000007794 irritation Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000003997 social interaction Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本发明公开了孤独症人群视觉降噪的智能视觉处理系统、方法及设备,用于孤独症康复训练领域,该智能视觉处理系统包括:原始图像采集模块、视觉降噪处理模块、增强信息显示模块、偏好控制模块。本发明中的智能视觉处理系统适用于多种环境下的视觉信息过滤,实用性强,孤独症人群可在不同的社会环境下使用;由视觉信息提取模块、视觉认知容量检测模块、视觉信息感知分层模块、视觉信息分层设计模块、视觉噪声评价模块构成的视觉降噪处理模块,能够有效针对孤独症人群视觉认知特点进行视觉信息呈现,提升体验感、减少孤独症人群视觉信息过度刺激。
Description
技术领域
本发明涉及孤独症康复训练领域,具体来说,尤其涉及孤独症人群视觉降噪的智能视觉处理系统、方法及设备。
背景技术
孤独症谱系障碍(Autism Spectrum Disorder,ASD)又称孤独症,是一类以社会交往和沟通障碍、狭隘兴趣及刻板行为为主要特征的儿童神经发育障碍。根据社会学研究现状,以及心理学理论的激烈世界理论,孤独症人群容易产生极其强烈的感官感觉和情绪体验,面对外部环境中复杂而繁多的视觉信息,他们的感受会过于强烈甚至极端。孤独症人群对外界信息量的承受能力较低、对信息过于敏感,以至于有时要承受这些感受变得非常困难,导致他们难以融入社会、在社会环境中容易受视觉信息刺激而产生过激行为。因此通过智能芯片和智能视觉显示技术,对他们获取的外界信息进行再设计、自适应呈现,以更加友好的方式对孤独症人群所需的外界环境信息进行呈现,满足其视觉信息获取需求的同时,提升视觉信息输入的友好性、降低他们融入社会的难度。
目前,在康复训练期间,孤独症儿童可能会对多种视觉信息产生不适,导致他们的反应变得非常激烈。为了帮助他们缓解这种不适,康复师通常会采取遮盖刺激物的方式来尽量避免或减少这些刺激的影响。然而,孤独症儿童在面对复杂的社会环境中,往往难以避免或减少这些视觉刺激。他们可能因为感觉过敏而无法承受,从而产生过激行为,这会对他们的出行造成影响。
针对相关技术中的问题,目前尚未提出有效的解决方案。
发明内容
为了克服以上问题,本发明旨在提出孤独症人群视觉降噪的智能视觉处理系统、方法及设备,目的在于解决孤独症儿童在面对复杂的社会环境中,往往难以避免或减少这些视觉刺激。他们可能因为感觉过敏而无法承受,从而产生过激行为,这会对他们的出行造成影响的问题。
为此,本发明采用的具体技术方案如下:
根据本发明的一个方面,提供了孤独症人群视觉降噪的智能视觉处理系统,该智能视觉处理系统包括:原始图像采集模块、视觉降噪处理模块、增强信息显示模块、偏好控制模块;
所述原始图像采集模块,用于利用摄像头对外部环境中视觉画面进行观察,并采集原始图像;
所述视觉降噪处理模块,用于对原始图像进行提取和归类,并利用E-prime软件对孤独症儿童的认知容量进行检测,接着,利用区域分割法构建原始图像中视觉信息感知分层的层间关系,然后,以Delphi 7.0为开发平台,Object Pascal为编程语言对视觉信息感知分层的层间关系进行优化,最后,利用眼动追踪技术和认知负荷测评法进行孤独症儿童中视觉信息噪声的体验评价;
所述增强信息显示模块,用于接收简单视觉层次叠加的原始图像画面,并通过镜片显示在孤独症儿童眼前;
所述偏好控制模块,用于根据孤独症儿童的喜好,进行视觉信息过滤方式的选择。
可选地,所述视觉降噪处理模块包括:视觉信息提取模块、视觉认知容量检测模块、视觉信息感知分层模块、视觉信息分层设计模块及视觉噪声评价模块;
所述视觉信息提取模块,用于获取原始图像,并对原始图像进行归类;
所述视觉认知容量检测模块,利用E-prime软件对孤独症儿童的认知容量进行检测;
所述视觉信息感知分层模块,利用区域分割法构建灰度图像中视觉信息感知分层的层间关系;
所述视觉信息分层设计模块,用于以Delphi 7.0为开发平台,Object Pascal为编程语言对视觉信息感知分层的层间关系进行优化;
所述视觉噪声评价模块,用于利用眼动追踪技术和认知负荷测评法进行孤独症儿童中视觉信息噪声的体验评价。
可选地,所述视觉信息提取模块包括:灰度转换模块、梯度卷积核构建模块、灰度图像边界处理模块、卷积计算模块、类别和主题分类模块及信息重要性分类模块;
所述灰度转换模块,用于获取原始图像,并将原始图像转换为灰度图像,并获取灰度图像中的像素点;
所述梯度卷积核构建模块,根据选择的梯度算子,构建对应的卷积核;
所述灰度图像边界处理模块,用于对灰度图像进行边界处理,以防止卷积操作导致图像尺寸缩小;
所述卷积计算模块,将梯度算子的卷积核与灰度图像进行卷积计算,并将卷积核与灰度图像的每个像素点及其邻域进行元素级别的乘法运算,求和得到灰度图像中每个像素点的梯度强度和方向;
所述类别和主题分类模块,用于根据梯度强度和方向,使用边缘检测方法将灰度图像中的物体与背景进行分割,将分割后的视觉图像信息按照类别和主题进行归类;
所述信息重要性分类模块,用于在同一类别中,根据孤独症儿童的认知需求,将视觉信息按照重要程度进行分类归纳。
可选地,所述视觉认知容量检测模块包括:检测图像制作模块、孤独症儿童测试模块及视觉认知容量计算;
所述检测图像制作模块,用于提取分割灰度图像中的物体与背景后得到的图像元素,进行视觉认知容量实验的材料图片制作;
所述孤独症儿童测试模块,用于使用视觉记忆任务进行视觉认知容量测试;
所述视觉认知容量计算,用于根据测试的反应时间和正误反馈,计算单个图像元素和多个图像元素组合的视觉认知容量,然后,按照认知容量从大到小,对图像元素、图像元素组合进行排序。
可选地,所述视觉认知容量计算包括:单个图像元素的视觉认知容量计算模块、多个图像元素组合的视觉认知容量计算模块及图像元素选择的优先级次序确定模块;
所述单个图像元素的视觉认知容量计算模块,利用单个图像元素的视觉认知容量测试记录的反应时间和正误反馈,计算正确率和虚报率,然后计算单个图像元素的视觉认知容量,并按照单个图像元素的视觉认知容量的最大值对各图像元素进行认知容量排序;
所述多个图像元素组合的视觉认知容量计算模块,利用多个图像元素组合的视觉认知容量测试记录的反应时间和正误反馈,计算正确率和虚报率,然后计算多个图像元素组合的视觉认知容量,并按照多个图像元素组合的视觉认知容量的最大值对各图像元素组合进行认知容量排序;
所述图像元素选择的优先级次序确定模块,按照认知容量从大到小,对图像元素、图像元素组合进行排序,并作为图像元素选择的设计方案优先级次序。
可选地,所述视觉信息感知分层模块包括预处理模块、图像分割模块、分割后处理模块及层间关系建模和视觉信息感知层次距离计算模块;
所述预处理模块,用于对灰度图像进行预处理,所述预处理至少包括去噪、亮度调整和直方图均衡;
所述图像分割模块,基于像素之间的相似性,根据具体需求和图像特点,利用区域分割方法进行图像分割,并通过区域生长的方式,从种子点出发,逐步扩展区域;
所述分割后处理模块,用于对分割的结果进行再次处理,所述再次处理至少包括去除小区域、填充空洞、平滑边界;
所述层间关系建模和视觉信息感知层次距离计算模块,基于视觉显著性Itti模型,对视觉信息感知分层进行标准化处理,并设定感知分层的层次,然后根据分割结果和层级信息,建立不同层之间的关系,最后计算视觉信息感知层次距离。
可选地,所述视觉信息分层设计模块:视觉注意分析模块、颜色分层设计模块、配色方案评估模块及输出设计方案模块;
所述视觉注意分析模块,根据视觉最佳视野、有效视野,进行孤独症儿童的视觉注意分析,提取注意空间视域,并利用视线遮挡技术和眼动追踪技术,划分空间视域优先级;
所述颜色分层设计模块,用于以Delphi 7.0为开发平台,Object Pascal为编程语言,利用计算机自动化,根据每层所需的图像元素数量进行配色,并计算色差,生成各种配色方案;
所述配色方案评估模块,计算各种配色方案的对比性,并按照对比性从强到弱进行方案的推荐;
所述输出设计方案模块,根据选择的方案,进行最优方案颜色的红色值、绿色值、蓝色值、模糊率及遮盖率的输出,并将输出的方案写入到Delphi7.0开发平台的Memo控件中,再利用Savedialog控件输出数据到txt文件中。
可选地,所述视觉噪声评价模块包括:方案评估模块及视觉噪声计算模块;
所述方案评估模块,利用眼动追踪技术和认知负荷测评方法,对输出的方案进行评估,并进行增强现实显示的空间兼容性实验设计,分析认知负荷、注意定向和注意转移效率;
所述视觉噪声计算模块,基于矩的图像归一化算法、Canny算子检测、香农信息熵的描述和计算方法,进行增强现实显示图像与真实场景融合的视觉噪声计算。
根据本发明的另一个方面,提供了孤独症人群视觉降噪的智能视觉处理方法,该智能视觉处理方法包括以下步骤:
S1、利用摄像头对外部环境中视觉画面进行观察,并采集原始图像;
S2、对原始图像进行提取和归类,并利用E-prime软件(心理学实验专用软件)对孤独症儿童的认知容量进行检测,接着,利用区域分割法构建原始图像中视觉信息感知分层的层间关系,然后,以Delphi 7.0为开发平台,Object Pascal为编程语言对视觉信息感知分层的层间关系进行优化,最后,利用眼动追踪技术和认知负荷测评法进行孤独症儿童中视觉信息噪声的体验评价;
S3、接收简单视觉层次叠加的原始图像画面,并通过镜片显示在孤独症儿童眼前;
S4、根据孤独症儿童的喜好,进行视觉信息过滤方式的选择。
根据本发明的又一个方面,还提供了孤独症人群视觉降噪的智能视觉处理设备,该智能视觉处理设备由眼镜本体和手环本体构成,且眼镜本体与手环本体通过无线连接;
眼镜本体包括眼镜支架,眼镜支架的底端设置有镜片,且镜片的顶端两侧通过固定钉与眼镜本体相连接,镜片的底端中部设置有鼻托,眼镜支架的正面中间位置设置有摄像头,摄像头的一侧设置有与眼镜支架相配合的摄像头指示灯,眼镜支架的一侧设置有充电口,眼镜支架的内侧设置有软垫内衬;
手环本体包括表盘,表盘的表面依次设置有手环按键和开关,表盘的正面一侧设置有滚轮,表盘的两端设置均设置有腕带;
眼镜支架的一侧内部镶嵌有芯片;
充电口的外侧设置有与眼镜支架相配合的光圈;
眼镜支架的另一侧开设有透气孔。
相较于现有技术,本申请具有以下有益效果:
1、本发明中的智能视觉处理系统适用于多种环境下的视觉信息过滤,实用性强,孤独症人群可在不同的社会环境下使用;由视觉信息提取模块、视觉认知容量检测模块、视觉信息感知分层模块、视觉信息分层设计模块、视觉噪声评价模块构成的视觉降噪处理模块,能够有效针对孤独症人群视觉认知特点进行视觉信息呈现,提升体验感、减少孤独症人群视觉信息过度刺激。
2、本发明的视觉认知容量检测模块基于e-prime进行图像元素的有效认知容量检测,使得更加因人而异获取使用者的认知能力范围,测试过程能够产生大量随机图片,使得认知容量测量更加准确,有助于根据孤独症群体的个性特征进行视觉降噪。
3、本发明的视觉信息分层设计模块根据认知效率划分空间视域,根据不同颜色显著性实现屏幕显示信息的分类和分级管理,利用感知层次进行信息层级的划分,有利于解决视觉信息混乱、查找信息困难的问题,提高孤独症群体使用过程中的视觉降噪效果。
4、本发明的视觉噪声评价模块利用眼动追踪技术、认知负荷测评方法,进行孤独症儿童视觉信息噪声的体验评价,能够对视觉降噪效果进行有效评估和反馈。
5、本发明的孤独症儿童智能眼镜显示屏中呈现的视觉信息模糊、遮盖、混合处理方式及程度可借助无线连接技术,通过偏好控制模块随时调节,满足孤独症人群个性化需求。
附图说明
结合实施例的以下描述,本发明的上述特性、特征和优点及其实现方式和方法变得更明白易懂,实施例结合附图详细阐述。在此以示意图示出:
图1是根据本发明实施例的孤独症人群视觉降噪的智能视觉处理系统的原理框图;
图2是根据本发明实施例的孤独症人群视觉降噪的智能视觉处理系统中图像元素的视觉认知容量测试流程图;
图3是根据本发明实施例的孤独症人群视觉降噪的智能视觉处理系统中图像元素组合的视觉认知容量测试流程图;
图4是根据本发明实施例的孤独症人群视觉降噪的智能视觉处理系统中视线遮挡技术的测试过程图;
图5是根据本发明实施例的孤独症人群视觉降噪的智能视觉处理系统中视觉噪声评价模块框架图;
图6是根据本发明实施例的孤独症人群视觉降噪的智能视觉处理系统中电路系统结构图;
图7是根据本发明实施例的孤独症人群视觉降噪的智能视觉处理设备中眼镜本体的结构示意图;
图8是根据本发明实施例的孤独症人群视觉降噪的智能视觉处理设备中手环本体的结构示意图。
图中:
11、眼镜支架;12、镜片;13、固定钉;14、鼻托;15、摄像头;16、摄像头指示灯;17、充电口;18、软垫内衬;19、芯片;110、光圈;111、透气孔;21、表盘;22、手环按键;23、开关;24、滚轮;25、腕带;100、原始图像采集模块;200、视觉降噪处理模块;300、增强信息显示模块;400、偏好控制模块。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
根据本发明的实施例,提供了孤独症人群视觉降噪的智能视觉处理系统、方法及设备。
现结合附图和具体实施方式对本发明进一步说明,如图1所示,根据本发明的一个实施例,提供了孤独症人群视觉降噪的智能视觉处理系统,该智能视觉处理系统包括:原始图像采集模块100、视觉降噪处理模块200、增强信息显示模块300、偏好控制模块400;
所述原始图像采集模块100,用于利用摄像头15对外部环境中视觉画面进行观察,并采集原始图像。
需要解释说明的是,当智能眼镜电源开启后,摄像头被唤醒。通过摄像头对外部环境中视觉画面进行观察并获取图像,对获取的图像进行图像识别,达到视觉信息提取及收集。
如图2-图6所示,所述视觉降噪处理模块200,用于对原始图像进行提取和归类,并利用E-prime软件对孤独症儿童的认知容量进行检测,接着,利用区域分割法构建原始图像中视觉信息感知分层的层间关系,然后,以Delphi 7.0为开发平台,Object Pascal为编程语言对视觉信息感知分层的层间关系进行优化,最后,利用眼动追踪技术和认知负荷测评法进行孤独症儿童中视觉信息噪声的体验评价。
优选地,所述视觉降噪处理模块包括:视觉信息提取模块、视觉认知容量检测模块、视觉信息感知分层模块、视觉信息分层设计模块及视觉噪声评价模块;
所述视觉信息提取模块,用于获取原始图像,并对原始图像进行归类;
所述视觉认知容量检测模块,利用E-prime软件对孤独症儿童的认知容量进行检测;
所述视觉信息感知分层模块,利用区域分割法构建灰度图像中视觉信息感知分层的层间关系;
所述视觉信息分层设计模块,用于以Delphi 7.0为开发平台,Object Pascal为编程语言对视觉信息感知分层的层间关系进行优化;
所述视觉噪声评价模块,用于利用眼动追踪技术和认知负荷测评法进行孤独症儿童中视觉信息噪声的体验评价。
优选地,所述视觉信息提取模块包括:灰度转换模块、梯度卷积核构建模块、灰度图像边界处理模块、卷积计算模块、类别和主题分类模块及信息重要性分类模块;
所述灰度转换模块,用于获取原始图像,并将原始图像转换为灰度图像,并获取灰度图像中的像素点;
所述梯度卷积核构建模块,根据选择的梯度算子,构建对应的卷积核;
所述灰度图像边界处理模块,用于对灰度图像进行边界处理,以防止卷积操作导致图像尺寸缩小;
所述卷积计算模块,将梯度算子的卷积核与灰度图像进行卷积计算,并将卷积核与灰度图像的每个像素点及其邻域进行元素级别的乘法运算,求和得到灰度图像中每个像素点的梯度强度和方向;
所述类别和主题分类模块,用于根据梯度强度和方向,使用边缘检测方法将灰度图像中的物体与背景进行分割,将分割后的视觉图像信息按照类别和主题进行归类;
所述信息重要性分类模块,用于在同一类别中,根据孤独症儿童的认知需求,将视觉信息按照重要程度进行分类归纳。
需要解释说明的是,在这一步骤中,应用梯度算子对灰度图像进行卷积操作,计算每个像素点的梯度强度和方向,首先根据选择的梯度算子,构建对应的卷积核,用于在图像上进行滑动计算,然后对灰度图像进行边界处理,由于卷积操作会导致图像尺寸缩小,因此在进行卷积之前,可以选择零填充(Zero-padding)、重复边界填充(Replication padding)和环绕填充(Wrap padding)等进行边界处理,接着将梯度算子的卷积核与灰度图像进行卷积计算,将卷积核与图像上的每个像素点及其邻域进行元素级别的乘法运算(元素级别的乘法运算的解释为:像素或称元素,是图像画面的最小组成单元;元素级别即像素级别,表明运算的颗粒度很细,以像素点作为运算单元),求和得到卷积结果,这个过程可以通过对图像进行滑动窗口操作来实现,遍历图像的所有像素点,完成卷积操作,并将得到的卷积结果存储在一个新的矩阵中,最后,得到的卷积结果即为对灰度图像应用梯度算子后的结果,可以表示图像中每个像素点的梯度强度和方向;对分割完成后的目标物体进行归类,归类过程主要按两步进行:先按类别和主题分类,再按信息重要性分类,在这一步骤中,首先,按类别和主题分类,常见类别主要包括道路、障碍物、行人、车辆、植物,按这些类别和主题将分割后的视觉图像信息整体进行归类,将相同类别的图像信息放在同一组别中,然后,按信息重要性分类,同一类别中的视觉信息依据孤独症儿童的认知需要按重要程度进行分类归纳,如在一处商场环境下,将视觉画面中远处店铺分为最不重要信息,将障碍物草堆、陌生行人信息定义为不重要信息,将近处指示牌、座椅分为重要信息,将画面中道路、楼梯分为最重要信息。
优选地,所述视觉认知容量检测模块包括:检测图像制作模块、孤独症儿童测试模块及视觉认知容量计算;
所述检测图像制作模块,用于提取分割灰度图像中的物体与背景后得到的图像元素,进行视觉认知容量实验的材料图片制作;
需要解释说明的是,所有图像元素都包含在相同大小的矩形方框内,所有矩形方框横向和纵向对齐,相邻矩形方框相离2mm。随机置入不同图像元素(检测图像中的图像元素不重复),总元素数量从3开始递增。随机生成不同图像元素组的检测图像,图片生成时使图像生成函数与时间的自动性结合,自动跳转。在每段需要停留的程序后加入定时器SetTimer(1,dlguse->m_edit3,NULL);//显示延时同时,为了实现跳转,使用key1变化,将显示指向所需的位置:pDoc->key1=pDoc->key1+5;//实现输出之间的跳跃。检测图像大小为屏幕中央视角8°×6°(水平×垂直)的范围内。
所述孤独症儿童测试模块,用于使用视觉记忆任务进行视觉认知容量测试;
需要解释说明的是,孤独症儿童测试采用视觉记忆任务进行视觉认知容量测试。视觉记忆任务中,加入空格键控制、时间轴和时间控制,将程序数据的文本输出以及文本输出与EXCEL表格的连接,获取反应时间(ms)和正确率(%),利用如下语句设定分割屏幕的单位数值:int xcell=(clientRec.right-clientRec.left)/50;int ycell=(clientRec.bottom-clientRec.top)/40。
进行单个图像元素的视觉认知容量测试,测试过程首先是提供主视图“+”,再提供掩蔽图,接着呈现探测图像元素n的探测图,探测图结束后呈现正误反馈图,在某一个图像元素测试完成后,进行下一个图像元素的测试过程,直至所有图像元素n都完成测试。
进行多个图像元素组合的视觉认知容量测试。测试过程首先是提供主视图“+”,再提供掩蔽图,接着呈现多个图像元素组合的探测图,探测图结束后呈现正误反馈图,在某一组图像元素组合测试完成后,进行下一组图像元素组合的测试,直至所有图像元素组合都完成测试,实验结束。
所述视觉认知容量计算,用于根据测试的反应时间和正误反馈,计算单个图像元素和多个图像元素组合的视觉认知容量,然后,按照认知容量从大到小,对图像元素、图像元素组合进行排序。
优选地,所述视觉认知容量计算包括:单个图像元素的视觉认知容量计算模块、多个图像元素组合的视觉认知容量计算模块及图像元素选择的优先级次序确定模块;
所述单个图像元素的视觉认知容量计算模块,利用单个图像元素的视觉认知容量测试记录的反应时间和正误反馈,计算正确率和虚报率,然后计算单个图像元素的视觉认知容量,并按照单个图像元素的视觉认知容量的最大值对各图像元素进行认知容量排序;
所述单个图像元素中探测图像元素n的视觉认知容量的计算公式为:
Kn=S×[(H-F)/(1-F)]
式中,n为探测图像元素,且n={1,2,3...p,p为图像元素数量值};
Kn为单个图像元素中探测图像元素n的认知容量;
S为探测图像元素n的数量;
H为探测图像元素n的正确率;
F为探测图像元素n的虚报率。
此外,随着S的从小到大变化,探测图像元素n的Kn存在最大值。按照Kn最大值对各图像元素进行认知容量排序(低容量组:1≤Kn≤4;中容量组:5≤Kn≤8;高容量组:9≤Kn)。
所述多个图像元素组合的视觉认知容量计算模块,利用多个图像元素组合的视觉认知容量测试记录的反应时间和正误反馈,计算正确率和虚报率,然后计算多个图像元素组合的视觉认知容量,并按照多个图像元素组合的视觉认知容量的最大值对各图像元素组合进行认知容量排序;
所述多个图像元素组合M(M为图像元素i,j......l的集合)的视觉认知容量计算公式为;
KM=ai×(Si×[(Hi-Fi)/(1-Fi)])+bj×(Sj×[(Hj-Fj)/(1-Fj)])+......+cl×(Sl×[(Hl-Fl)/(1-Fl)])
式中,M为i,j......l多个图像元素组合;
Km为多个图像元素中探测图像元素M的认知容量
ai为图像元素i的视觉认知容量系数;
bj为图像元素j的视觉认知容量系数;
cl为图像元素l的视觉认知容量系数;
Si为探测图像元素i的数量;
Hi为探测图像元素i的正确率;
Fi为探测图像元素i的虚报率;
Sj为探测图像元素j的数量;
Hj为探测图像元素j的正确率;
Fj为探测图像元素j的虚报率;
Sl为探测图像元素l的数量;
Hl为探测图像元素l的正确率;
Fl为探测图像元素l的虚报率。
此外,随着Si、Sj、Sl的从小到大变化,多个图像元素组合M的KM存在最大值。认知容量排序范围是:低容量组为1≤KM≤8,中容量组为8≤KM≤12,高容量组为12≤KM)。
所述图像元素选择的优先级次序确定模块,按照认知容量从大到小,对图像元素、图像元素组合进行排序,并作为图像元素选择的设计方案优先级次序。
需要解释说明的是,按照认知容量从大到小,对图像元素、图像元素组合进行排序,作为图像元素选择的设计方案优先级次序。认知容量越大,越优先选择,优先级次序越高;认知容量越小,越不被选择,优先级次序越低。
优选地,所述视觉信息感知分层模块包括预处理模块、图像分割模块、分割后处理模块及层间关系建模和视觉信息感知层次距离计算模块;
所述预处理模块,用于对灰度图像进行预处理,所述预处理至少包括去噪、亮度调整和直方图均衡;
所述图像分割模块,基于像素之间的相似性,根据具体需求和图像特点,利用区域分割方法进行图像分割,并通过区域生长的方式,从种子点出发,逐步扩展区域;
所述分割后处理模块,用于对分割的结果进行再次处理,所述再次处理至少包括去除小区域、填充空洞、平滑边界;
所述层间关系建模和视觉信息感知层次距离计算模块,基于视觉显著性Itti模型(视觉显著性Itti模型是一种视觉注意模型,首先利用高斯采样方法构建图像的颜色、亮度和方向的高斯金字塔,然后利用高斯金字塔计算图像的亮度特征图、颜色特征图、方向特征图,最后结合不同尺度的特征图即可获得亮度、颜色和方向显著图,相加得到最终的视觉显著图),对视觉信息感知分层进行标准化处理,并设定感知分层的层次,然后根据分割结果和层级信息,建立不同层之间的关系,最后计算视觉信息感知层次距离。
需要解释说明的是,视觉信息感知层次距离计算公式为:
D(A-S)=LA-SA/LS-SS
D(A-V)=LA-SA/LV-SV
D(S-V)=LS-SS/LV-SV
式中,D(A-S)为AR图形与语义类别的感知层次距离;
D(A-V)为AR图形与空间视域的感知层次距离;
D(S-V)为语义类别与空间视域的感知层次距离;
LA为AR要素特征图的感知层次;
LS为语义类别要素特征图的感知层次;
LV为空间视域要素特征图的感知层次;
SA、SS、SV分别为AR图形元素、语义类别元素、空间视域元素的感知分层的范围。
优选地,所述视觉信息分层设计模块:视觉注意分析模块、颜色分层设计模块、配色方案评估模块及输出设计方案模块;
所述视觉注意分析模块,根据视觉最佳视野、有效视野,进行孤独症儿童的视觉注意分析,提取注意空间视域,并利用视线遮挡技术和眼动追踪技术,划分空间视域优先级;
所述颜色分层设计模块,用于以Delphi 7.0为开发平台,Object Pascal为编程语言,利用计算机自动化,根据每层所需的图像元素数量进行配色,并计算色差,生成各种配色方案;
所述配色方案评估模块,计算各种配色方案的对比性,并按照对比性从强到弱进行方案的推荐;
所述输出设计方案模块,根据选择的方案,进行最优方案颜色的红色值、绿色值、蓝色值、模糊率及遮盖率的输出,并将输出的方案写入到Delphi7.0开发平台的Memo控件中,再利用Savedialog控件输出数据到txt文件中。
此外,以Delphi 7.0为开发平台,Object Pascal为编程语言,利用计算机自动化,结果输入每层所需的图像元素数量进行颜色分层设计。首先配色,然后进行色差计算。对各层级颜色进行两两色差计算,并选取满足两两颜色之间色差≥20的颜色组合。其中,色差大小通过颜色空间的Lab值确定,即两个颜色的Lab值之差ΔE*ab=((ΔL*)2+(Δa*)2+(Δb*)2)1/2。
式中,ΔE*ab为两个颜色之间的色差;
ΔL*为两个颜色在LAB颜色空间中的亮度差;
Δa*为两个颜色在LAB颜色空间中的a值差;
Δb*是两个颜色在LAB颜色空间中的b值差。
在程序中定义了两个过程来实现这项技术:RGB2CIELab(R,G,B:Integer;varL,aa,bb:Integer)和compare(R1,G1,B1,R2,G2,B2:INTEGER)。其中RGB2CIELab指颜色空间,R是红色,G是绿色,B是蓝色;compare(R1,G1,B1,R2,G2,B2:INTEGER)用于颜色空间比较。RGB2CIELab过程实现将颜色的RGB值转换成Lab值,而compare过程通过调用RGB2CIELab过程实现获得两个颜色的色差值ΔE*ab,该参数设置成全局变量以便于程序其他地方引用。
计算各配色方案对比性,并按照对比性从强到弱进行推荐;通过用户输入的层级数、层级类型和单层颜色数,系统将计算好的颜色方案显示出来,推荐三种方案,包括:强对比方案、弱对比方案、近相似方案。强对比方案是对比最强烈的配色方案,弱对比方案是对比较弱的方案,近相似方案是颜色相近的方案。三种方案的两两颜色色差,强对比方案中色差最大,弱对比方案中色差较小,近相似方案中色差最小。
信息的降噪设计。结合可视化设计的模糊、遮盖、混合设计方法,实现视觉信息感知分层设计。模糊方法是将视觉信息模糊化处理,将经过图像归类后的视觉信息进行不同程度的模糊过滤。遮盖方法是指用不同色块将画面信息按归类进行遮盖处理。遮盖处理中,除了色块遮盖还包括将视觉信息中复杂的、多细节的物体转变为简单的立体如圆柱体、正方体进行遮盖。混合设计方法是将遮盖、模糊方法综合运用,将分类后的视觉信息进行多层次、多元化处理。
输出设计方案。根据用户所选方案,进行最优方案颜色的R、G、B值输出、模糊率输出、遮盖率输出。将输出数据写入到Delphi 7.0开发平台的Memo控件中,通过Radiogroup返回的Itemindex属性确定导出对应的Memo,再利用Savedialog控件输出数据到txt文件中。
其中,Memo表示Delphi 7.0开发平台的组件;
Radiogroup表示单选框控件;
Itemindex表示项目属性组件;
Savedialog表示保存数据组件。
优选地,所述视觉噪声评价模块包括:方案评估模块及视觉噪声计算模块;
所述方案评估模块,利用眼动追踪技术和认知负荷测评方法,对输出的方案进行评估,并进行增强现实显示的空间兼容性实验设计,分析认知负荷、注意定向和注意转移效率;
所述视觉噪声计算模块,基于矩的图像归一化算法、Canny算子检测、香农信息熵的描述和计算方法,进行增强现实显示图像与真实场景融合的视觉噪声计算。
需要解释说明的是,进行增强现实显示的注意力测试。利用眼动追踪技术、认知负荷测评方法,进行增强现实显示的空间兼容性实验设计,分析认知负荷、注意定向和注意转移效率。其中,认知负荷通过瞳孔大小、反应时间、注视次数等指标评价;注意定向通过平均注视持续时间、回视次数、注意捕获概率评价;注意转移效率通过注意转移系数、注意转移延迟时间评价。注意捕获概率、注意转移系数、注意转移延迟时间通过以下公式计算:
注意捕获概率=扫视正确次数/扫视总次数;
注意转移系数=注视转移次数/总试验次数;
注意转移延迟=多次扫视后到达目标的总时间-单次扫视就到达目标位置的时间
基于矩的图像归一化算法、Canny算子检测、香农信息熵的描述和计算方法,进行增强现实显示图像与真实场景融合的视觉噪声计算。(基于矩的图像归一化算法的基本工作原理:首先利用图像中的矩来确定变换函数的参数,然后利用此参数确定的变换函数把原始图像变换为一个标准形式的图像。Canny算子检测是一种边缘检测计算方法,用于识别图像的边缘。香农信息熵的描述和计算方法用于信息量的计算和比较。)其中,归一化处理指标值越大,视觉噪声越大。选取视觉噪声最小的方案进行图像设计和呈现。
所述增强信息显示模块300,用于接收简单视觉层次叠加的原始图像画面,并通过镜片12显示在孤独症儿童眼前。
需要解释说明的是,增强信息显示模块300中,视觉处理芯片控制增强现实HUD的信息显示,覆盖于真实世界场景之上,呈现出视觉降噪的效果。在HUD显示器和用户眼睛之间,安装了一个光学透视装置,通常是透明的光学透镜或波导光纤。这些透视装置具有特殊的形状和折射性质,使得从显示器发出的光线能够被引导到用户的视网膜上。当HUD显示器上的虚拟信息被激活时,显示器会发出光线。这些光线经过光学透视装置时会发生反射和折射,使得虚拟信息的光线进入用户眼睛的视网膜上方的特定位置。这种设计使得用户能够同时看到虚拟信息和现实场景,并且感觉它们是在同一视野中显示的。光学透视装置的形状和位置会产生透视效果,使得虚拟信息在用户的视觉感知中与现实世界的物体保持一致。这意味着虚拟信息的大小、位置和距离会根据用户的视角和周围环境变化,使其看起来更加真实和立体。
所述偏好控制模块400,用于根据孤独症儿童的喜好,进行视觉信息过滤方式的选择。
需要解释说明的是,偏好控制模块400,用于按照使用者自己的喜好,进行视觉信息过滤方式的选择。打开开关之后,使用者通过多个按键和滑轮输入设计喜好,数据输入视觉信息感知分层模块,达到个性化的视觉降噪目的。比如使用者喜欢遮挡的方式时,可以按下绿色按键;使用者喜欢模糊的方式时,可以按下蓝色按键;使用者喜欢模糊和遮挡的混合方式时,可以按下橙色按键;使用者无特殊喜好时,可以按下多个按键实现智能眼镜自动显示效果。当使用者希望过滤更多信息或较少过滤信息时,可拨动表盘侧面滚轮用于实现视觉信息过滤程度的调整。
偏好控制模块中,按键操控实现不同显示效果的随时切换,侧面滚轮拨动实现过滤程度调整,过滤程度数值及电源电量均在增强现实HUD屏幕上呈现。辅助手环上的多个按键发出指令后,通过偏好控制模块输入到视觉处理芯片,对视觉感知分层设计需求进行识别,不同识别结果对应不同的降噪设计方案,系统进入相应控制。蓝牙模块则是辅助手环和智能眼镜的通信装置。
根据本发明的另一个实施例,提供了孤独症人群视觉降噪的智能视觉处理方法,该智能视觉处理方法包括以下步骤:
S1、利用摄像头15对外部环境中视觉画面进行观察,并采集原始图像;
S2、对原始图像进行提取和归类,并利用E-prime软件对孤独症儿童的认知容量进行检测,接着,利用区域分割法构建原始图像中视觉信息感知分层的层间关系,然后,以Delphi 7.0为开发平台,Object Pascal为编程语言对视觉信息感知分层的层间关系进行优化,最后,利用眼动追踪技术和认知负荷测评法进行孤独症儿童中视觉信息噪声的体验评价;
S3、接收简单视觉层次叠加的原始图像画面,并通过镜片12显示在孤独症儿童眼前;
S4、根据孤独症儿童的喜好,进行视觉信息过滤方式的选择。
根据本发明的再一个实施例,如图7-图8所示,还提供了孤独症人群视觉降噪的智能视觉处理设备,该智能视觉处理设备由眼镜本体和手环本体构成,且眼镜本体与手环本体通过无线连接;眼镜本体包括眼镜支架11,眼镜支架11的底端设置有镜片12,且镜片12的顶端两侧通过固定钉13与眼镜本体1相连接,镜片12的底端中部设置有鼻托14,眼镜支架11的正面中间位置设置有摄像头15,摄像头15的一侧设置有与眼镜支架11相配合的摄像头指示灯16,眼镜支架11的一侧设置有充电口17,眼镜支架11的内侧设置有软垫内衬18;手环本体包括表盘21,表盘21的表面依次设置有手环按键22和开关23,表盘21的正面一侧设置有滚轮24,表盘21的两端设置均设置有腕带25;眼镜支架11的一侧内部镶嵌有芯片19;充电口17的外侧设置有与眼镜支架11相配合的光圈110;眼镜支架11的另一侧开设有透气孔111。
综上所述,借助于本发明的上述技术方案,本发明中的智能视觉处理系统适用于多种环境下的视觉信息过滤,实用性强,孤独症人群可在不同的社会环境下使用;由视觉信息提取模块、视觉认知容量检测模块、视觉信息感知分层模块、视觉信息分层设计模块、视觉噪声评价模块构成的视觉降噪处理模块,能够有效针对孤独症人群视觉认知特点进行视觉信息呈现,提升体验感、减少孤独症人群视觉信息过度刺激;视觉认知容量检测模块基于e-prime进行图像元素的有效认知容量检测,使得更加因人而异获取使用者的认知能力范围,测试过程能够产生大量随机图片,使得认知容量测量更加准确,有助于根据孤独症群体的个性特征进行视觉降噪;视觉信息分层设计模块根据认知效率划分空间视域,根据不同颜色显著性实现屏幕显示信息的分类和分级管理,利用感知层次进行信息层级的划分,有利于解决视觉信息混乱、查找信息困难的问题,提高孤独症群体使用过程中的视觉降噪效果;视觉噪声评价模块利用眼动追踪技术、认知负荷测评方法,进行孤独症儿童视觉信息噪声的体验评价。能够对视觉降噪效果进行有效评估和反馈;孤独症儿童智能眼镜显示屏中呈现的视觉信息模糊、遮盖、混合处理方式及程度可借助无线连接技术,通过偏好控制模块随时调节,满足孤独症人群个性化需求。
虽然本发明已以较佳实施例揭示如上,然所述实施例仅为了便于说明而举例而已,并非用以限定本发明,本领域的技术人员在不脱离本发明精神和范围的前提下可作多的更动与润饰,本发明所主张的保护范围应以权利要求书所述为准。
Claims (7)
1.孤独症人群视觉降噪的智能视觉处理系统,其特征在于,该智能视觉处理系统包括:原始图像采集模块、视觉降噪处理模块、增强信息显示模块、偏好控制模块;
所述原始图像采集模块,用于利用摄像头(15)对外部环境中视觉画面进行观察,并采集原始图像;
所述视觉降噪处理模块,用于对原始图像进行提取和归类,并对孤独症儿童的认知容量进行检测,接着,利用区域分割法构建原始图像中视觉信息感知分层的层间关系,然后,对视觉信息感知分层的层间关系进行优化,最后,利用眼动追踪技术和认知负荷测评法进行孤独症儿童中视觉信息噪声的体验评价;
所述增强信息显示模块,用于接收简单视觉层次叠加的原始图像画面,并通过镜片(12)显示在孤独症儿童眼前;
所述偏好控制模块,用于根据孤独症儿童的喜好,进行视觉信息过滤方式的选择;
所述视觉降噪处理模块包括:视觉信息提取模块、视觉认知容量检测模块、视觉信息感知分层模块、视觉信息分层设计模块及视觉噪声评价模块;
所述视觉信息提取模块,用于获取原始图像,并对原始图像进行归类;
所述视觉认知容量检测模块,对孤独症儿童的认知容量进行检测;
所述视觉信息感知分层模块,利用区域分割法构建灰度图像中视觉信息感知分层的层间关系;
所述视觉信息分层设计模块,用于对视觉信息感知分层的层间关系进行优化;
所述视觉噪声评价模块,用于利用眼动追踪技术和认知负荷测评法进行孤独症儿童中视觉信息噪声的体验评价;
所述视觉信息提取模块包括:灰度转换模块、梯度卷积核构建模块、灰度图像边界处理模块、卷积计算模块、类别和主题分类模块及信息重要性分类模块;
所述灰度转换模块,用于获取原始图像,并将原始图像转换为灰度图像,并获取灰度图像中的像素点;
所述梯度卷积核构建模块,根据选择的梯度算子,构建对应的卷积核;
所述灰度图像边界处理模块,用于对灰度图像进行边界处理,以防止卷积操作导致图像尺寸缩小;
所述卷积计算模块,将梯度算子的卷积核与灰度图像进行卷积计算,并将卷积核与灰度图像的每个像素点及其邻域进行元素级别的乘法运算,求和得到灰度图像中每个像素点的梯度强度和方向;
所述类别和主题分类模块,用于根据梯度强度和方向,使用边缘检测方法将灰度图像中的物体与背景进行分割,将分割后的视觉图像信息按照类别和主题进行归类;
所述信息重要性分类模块,用于在同一类别中,根据孤独症儿童的认知需求,将视觉信息按照重要程度进行分类归纳;
所述视觉认知容量检测模块包括:检测图像制作模块、孤独症儿童测试模块及视觉认知容量计算;
所述检测图像制作模块,用于提取分割灰度图像中的物体与背景后得到的图像元素,进行视觉认知容量实验的材料图片制作;
所述孤独症儿童测试模块,用于使用视觉记忆任务进行视觉认知容量测试;
所述视觉认知容量计算,用于根据测试的反应时间和正误反馈,计算单个图像元素和多个图像元素组合的视觉认知容量,然后,按照认知容量从大到小,对图像元素、图像元素组合进行排序。
2.根据权利要求1所述的孤独症人群视觉降噪的智能视觉处理系统,其特征在于,所述视觉认知容量计算包括:单个图像元素的视觉认知容量计算模块、多个图像元素组合的视觉认知容量计算模块及图像元素选择的优先级次序确定模块;
所述单个图像元素的视觉认知容量计算模块,利用单个图像元素的视觉认知容量测试记录的反应时间和正误反馈,计算正确率和虚报率,然后计算单个图像元素的视觉认知容量,并按照单个图像元素的视觉认知容量的最大值对各图像元素进行认知容量排序;
所述多个图像元素组合的视觉认知容量计算模块,利用多个图像元素组合的视觉认知容量测试记录的反应时间和正误反馈,计算正确率和虚报率,然后计算多个图像元素组合的视觉认知容量,并按照多个图像元素组合的视觉认知容量的最大值对各图像元素组合进行认知容量排序;
所述图像元素选择的优先级次序确定模块,按照认知容量从大到小,对图像元素、图像元素组合进行排序,并作为图像元素选择的设计方案优先级次序。
3.根据权利要求2所述的孤独症人群视觉降噪的智能视觉处理系统,其特征在于,所述视觉信息感知分层模块包括预处理模块、图像分割模块、分割后处理模块及层间关系建模和视觉信息感知层次距离计算模块;
所述预处理模块,用于对灰度图像进行预处理,所述预处理至少包括去噪、亮度调整和直方图均衡;
所述图像分割模块,基于像素之间的相似性,根据具体需求和图像特点,利用区域分割方法进行图像分割,并通过区域生长的方式,从种子点出发,逐步扩展区域;
所述分割后处理模块,用于对分割的结果进行再次处理,所述再次处理至少包括去除小区域、填充空洞、平滑边界;
所述层间关系建模和视觉信息感知层次距离计算模块,对视觉信息感知分层进行标准化处理,并设定感知分层的层次,然后根据分割结果和层级信息,建立不同层之间的关系,最后计算视觉信息感知层次距离。
4.根据权利要求3所述的孤独症人群视觉降噪的智能视觉处理系统,其特征在于,所述视觉信息分层设计模块:视觉注意分析模块、颜色分层设计模块、配色方案评估模块及输出设计方案模块;
所述视觉注意分析模块,根据视觉最佳视野、有效视野,进行孤独症儿童的视觉注意分析,提取注意空间视域,并利用视线遮挡技术和眼动追踪技术,划分空间视域优先级;
所述颜色分层设计模块,根据每层所需的图像元素数量进行配色,并计算色差,生成各种配色方案;
所述配色方案评估模块,计算各种配色方案的对比性,并按照对比性进行方案的推荐;
所述输出设计方案模块,根据选择的方案,进行最优方案颜色的红色值、绿色值、蓝色值、模糊率及遮盖率的输出。
5.根据权利要求4所述的孤独症人群视觉降噪的智能视觉处理系统,其特征在于,所述视觉噪声评价模块包括:方案评估模块及视觉噪声计算模块;
所述方案评估模块,利用眼动追踪技术和认知负荷测评方法,对输出的方案进行评估,并进行增强现实显示的空间兼容性实验设计,分析认知负荷、注意定向和注意转移效率;
所述视觉噪声计算模块,基于矩的图像归一化算法、Canny算子检测、香农信息熵的描述和计算方法,进行增强现实显示图像与真实场景融合的视觉噪声计算。
6.孤独症人群视觉降噪的智能视觉处理方法,用于实现权利要求1-5中任一项所述的孤独症人群视觉降噪的智能视觉处理系统的应用,其特征在于,该智能视觉处理方法包括以下步骤:
S1、利用摄像头(15)对外部环境中视觉画面进行观察,并采集原始图像;
S2、对原始图像进行提取和归类,并对孤独症儿童的认知容量进行检测,接着,利用区域分割法构建原始图像中视觉信息感知分层的层间关系,然后,对视觉信息感知分层的层间关系进行优化,最后,利用眼动追踪技术和认知负荷测评法进行孤独症儿童中视觉信息噪声的体验评价;
S3、接收简单视觉层次叠加的原始图像画面,并通过镜片(12)显示在孤独症儿童眼前;
S4、根据孤独症儿童的喜好,进行视觉信息过滤方式的选择。
7.孤独症人群视觉降噪的智能视觉处理设备,用于实现权利要求6所述的孤独症人群视觉降噪的智能视觉处理方法的应用,其特征在于,该智能视觉处理设备由眼镜本体和手环本体构成,且所述眼镜本体与所述手环本体通过无线连接;
所述眼镜本体包括眼镜支架(11),所述眼镜支架(11)的底端设置有镜片(12),且所述镜片(12)的顶端两侧通过固定钉(13)与所述眼镜本体相连接,所述镜片(12)的底端中部设置有鼻托(14),所述眼镜支架(11)的正面中间位置设置有摄像头(15),所述摄像头(15)的一侧设置有与所述眼镜支架(11)相配合的摄像头指示灯(16),所述眼镜支架(11)的一侧设置有充电口(17),所述眼镜支架(11)的内侧设置有软垫内衬(18);
所述手环本体包括表盘(21),所述表盘(21)的表面依次设置有手环按键(22)和开关(23),所述表盘(21)的正面一侧设置有滚轮(24),所述表盘(21)的两端设置均设置有腕带(25);
所述眼镜支架(11)的一侧内部镶嵌有芯片(19);
所述充电口(17)的外侧设置有与所述眼镜支架(11)相配合的光圈(110);
所述眼镜支架(11)的另一侧开设有透气孔(111)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311136089.XA CN117152012B (zh) | 2023-09-05 | 2023-09-05 | 孤独症人群视觉降噪的智能视觉处理系统、方法及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311136089.XA CN117152012B (zh) | 2023-09-05 | 2023-09-05 | 孤独症人群视觉降噪的智能视觉处理系统、方法及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117152012A CN117152012A (zh) | 2023-12-01 |
CN117152012B true CN117152012B (zh) | 2024-05-03 |
Family
ID=88902246
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311136089.XA Active CN117152012B (zh) | 2023-09-05 | 2023-09-05 | 孤独症人群视觉降噪的智能视觉处理系统、方法及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117152012B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102354349A (zh) * | 2011-10-26 | 2012-02-15 | 华中师范大学 | 提高孤独症儿童社会互动能力的人机互动多模态早期干预系统 |
CN108143411A (zh) * | 2017-12-13 | 2018-06-12 | 东南大学 | 一种面向孤独症诊断的静息态脑电分析系统 |
CN109272259A (zh) * | 2018-11-08 | 2019-01-25 | 梁月竹 | 一种孤独症谱系障碍儿童情绪能力干预系统及方法 |
CN115981458A (zh) * | 2022-11-30 | 2023-04-18 | 中国科学院深圳先进技术研究院 | 一种视觉刺激方法、脑机训练方法和脑机训练系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11526808B2 (en) * | 2019-05-29 | 2022-12-13 | The Board Of Trustees Of The Leland Stanford Junior University | Machine learning based generation of ontology for structural and functional mapping |
-
2023
- 2023-09-05 CN CN202311136089.XA patent/CN117152012B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102354349A (zh) * | 2011-10-26 | 2012-02-15 | 华中师范大学 | 提高孤独症儿童社会互动能力的人机互动多模态早期干预系统 |
CN108143411A (zh) * | 2017-12-13 | 2018-06-12 | 东南大学 | 一种面向孤独症诊断的静息态脑电分析系统 |
CN109272259A (zh) * | 2018-11-08 | 2019-01-25 | 梁月竹 | 一种孤独症谱系障碍儿童情绪能力干预系统及方法 |
CN115981458A (zh) * | 2022-11-30 | 2023-04-18 | 中国科学院深圳先进技术研究院 | 一种视觉刺激方法、脑机训练方法和脑机训练系统 |
Non-Patent Citations (3)
Title |
---|
Vision-based activity recognition in children with autism-related behaviors;Pengbo Wei et al.;《Heliyon》;第1-7 * |
移动学习中增强用户情境感知的信息可视化设计;李晶 等;《中国教育技术装备》;第1-6页 * |
面向自闭症患儿的智能音乐辅助治疗产品设计研究;徐杨丽;《玩具世界》;第23-25页 * |
Also Published As
Publication number | Publication date |
---|---|
CN117152012A (zh) | 2023-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Ware | Information visualization: perception for design | |
CN110464366A (zh) | 一种情绪识别方法、系统及存储介质 | |
CN110619301B (zh) | 一种基于双模态信号的情绪自动识别方法 | |
Battisti et al. | A feature-based approach for saliency estimation of omni-directional images | |
CN106951867A (zh) | 基于卷积神经网络的人脸识别方法、装置、系统及设备 | |
CN106504629A (zh) | 一种基于增强现实技术的汽车组装演示记忆系统 | |
CN113743471A (zh) | 一种驾驶评估方法及其系统 | |
CN109640786A (zh) | 视觉功能检查及光学特性计算系统 | |
JP2010104754A (ja) | 情動分析装置 | |
CN109891519A (zh) | 信息处理装置、信息处理方法和程序 | |
Deane et al. | Deep-SAGA: a deep-learning-based system for automatic gaze annotation from eye-tracking data | |
CN110473176A (zh) | 图像处理方法及装置、眼底图像处理方法、电子设备 | |
CN117152012B (zh) | 孤独症人群视觉降噪的智能视觉处理系统、方法及设备 | |
CN109145861A (zh) | 情绪识别装置及方法、头戴式显示设备、存储介质 | |
CN110251076B (zh) | 融合视觉注意力基于对比度的显著性检测方法及装置 | |
Pelz et al. | Analyzing complex gaze behavior in the natural world | |
Liu et al. | Saliency difference based objective evaluation method for a superimposed screen of the HUD with various background | |
Hosseinkhani et al. | Significance of Bottom-up Attributes in Video Saliency Detection Without Cognitive Bias | |
Ma et al. | Driver behavior recognition based on attention module and bilinear fusion network | |
KP et al. | Feature selection in top-down visual attention model using WEKA | |
JP6616536B1 (ja) | 視認性評価装置、視認性評価プログラムおよび視認性評価方法 | |
Akshay et al. | Comparative analysis of heat maps over voronoi diagram in eye gaze data visualization | |
CN114303117A (zh) | 使用离轴相机的眼睛跟踪和注视估计 | |
Rosenholtz et al. | Modern vision science for designers: Making designs clear at a glance | |
Zhang | Computer Vision Overview |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |