CN117742388A - 一种基于阅读家具的智能控制方法及系统 - Google Patents

一种基于阅读家具的智能控制方法及系统 Download PDF

Info

Publication number
CN117742388A
CN117742388A CN202410172524.2A CN202410172524A CN117742388A CN 117742388 A CN117742388 A CN 117742388A CN 202410172524 A CN202410172524 A CN 202410172524A CN 117742388 A CN117742388 A CN 117742388A
Authority
CN
China
Prior art keywords
image
reading
display
preset
brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410172524.2A
Other languages
English (en)
Other versions
CN117742388B (zh
Inventor
钟光明
李永斌
王先昌
张文琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Ocean University
Original Assignee
Guangdong Ocean University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Ocean University filed Critical Guangdong Ocean University
Priority to CN202410172524.2A priority Critical patent/CN117742388B/zh
Publication of CN117742388A publication Critical patent/CN117742388A/zh
Application granted granted Critical
Publication of CN117742388B publication Critical patent/CN117742388B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于阅读家具的智能控制方法及系统,包括:通过预设的双通道神经网络模型对采集的图像数据进行特征提取及融合,输出图像数据对应的深度值,再根据所述深度值计算目标用户与阅读家具的距离,根据所述距离调整所述阅读家具的显示器的亮度,在采集目标用户注视调整亮度后的显示器的屏幕时对应的原始人脸图像及所述原始人脸图像中对应的眼部图像,通过预设的视线估计模型对所述原始人脸图像及所述眼部图像进行处理获取所述目标用户对应的视线方向,进而根据所述视线方向控制所述阅读家具的显示器的旋转角度,进而根据用户的阅读角度及与阅读家具之间的距离调整阅读家具中显示器的旋转角度及画面亮度,提高用户的阅读体验。

Description

一种基于阅读家具的智能控制方法及系统
技术领域
本发明涉及智能家居技术领域,具体的,涉及一种基于阅读家具的智能控制方法及系统。
背景技术
随着科技的发展,传统的手持式阅读设备逐渐不能满足人们对阅读的需求,于是安装有显示屏幕的阅读家具逐渐进入人们的生活,而随着智能设备的普及和发展,用户希望阅读家具能根据人们阅读角度的变化及识别用户与阅读家具之间的距离,自动调整屏幕的角度及显示亮度,进而提高阅读体验,而为了满足用户的需求是阅读家具得以生存的前提。因此,如何使阅读家具根据用户阅读角度的变化及当前用户与阅读家具之间的距离,自动地旋转屏幕的显示角度及画面的亮度,成为制约其发展的关键。
目前,在根据阅读需求调整阅读家具的方式中,一种是需要用户根据自身的阅读需求手动调整阅读家具的旋转角度,这种方式不仅浪费用户的使用时间,而且常常因为用户的位置的不断移动导致用户需要频繁调整所述显示屏幕的角度即亮度,给用户造成的不好的阅读体验。
一种是单一的根据用户的阅读姿态进行阅读家具的调整,但是该种方式一方面需要精度极高且具有大数据处理能力的模型才能进行姿态识别,往往需要高昂的模型训练成本或极容易造成姿态识别的精准度低下,进一步,这种识别方式往往没有考虑到阅读家具与用户之间的距离,在实际应用场景中,用户往往会因为与阅读家具之间的距离较远或较近导致用户阅读姿态的改变,而这种改变导致所述模型误识别所述用户的阅读姿态发生改变,因此识别出错误的阅读角度,导致用户最终不得不再次手动调整阅读家具,进而降低用户的阅读体验。
发明内容
为了解决上述技术问题,本发明公开了一种基于阅读家具的智能控制方法及系统,用于根据用户当前的阅读角度及用户与阅读家具之间的距离调整所述阅读家具中显示器的旋转角度及画面亮度,提高用户的阅读体验。
为了实现上述目的,本发明公开了一种基于阅读家具的智能控制方法,包括:
根据预设在阅读家具中的图像采集装置采集目标用户对应的图像数据,并将所述图像数据输入至预训练的双通道神经网络模型中,通过所述双通道神经网络模型提取所述图像数据对应的视差特征及实例分割特征;
通过所述双通道神经网络模型融合所述视差特征及所述实例分割特征,输出所述图像数据对应的深度值;
根据所述深度值确定所述图像数据在所述图像采集装置坐标系中的深度,并根据所述深度及所述图像采集装置的内外参数确定所述目标用户与所述阅读家具的距离;
根据所述距离查询预设的亮度映射关系表找到对应的第一显示亮度,并根据所述第一显示亮度调整所述阅读家具的显示器的亮度;
收集所述目标用户注视调整亮度后的显示器的屏幕时对应的原始人脸图像,并通过预设的关键点检测算法对所述原始人脸图像进行眼部提取,获得所述原始人脸图像中对应的眼部图像;
将所述原始人脸图像及所述眼部图像同时输入至预训练的视线估计模型,通过所述视线估计模型获取所述目标用户对应的视线方向;
根据所述视线方向计算所述显示器需要调整的角度,并根据所述角度控制所述阅读家具的显示器进行旋转。
本发明公开的一种基于阅读家具的智能控制方法,首先考虑到阅读家具与目标用户之间的距离会影响用户阅读角度的识别,因此通过设置在所述阅读家具中的图像采集装置采集目标用户对应的图像数据,再将所述图像数据输入至预训练的双通道神经网络模型,利用所述训练好的神经网络模型中具有的学习模仿能力提取所述图像数据中对应的视差特征及实例分割特征,以便于根据双面特征提高距离测算的精度,同时将用于深度估计和实例分割的网络提取的特征进行部分共享,可大量减少计算量,对模型的计算能力要求下降,降低模型的训练成本。
在通过所述双通道神经网络模型输出所述图像对应的深度值后,确定所述深度值在所述图像采集装置对应的坐标系中的深度,并根据所述深度及所述图像采集装置的内外参数确定所述目标用户与所述阅读家具的距离,以便于根据所述距离调整所述阅读家具的亮度,使所述阅读家具的显示器的亮度更符合用户当前的阅读需求,以使得在调整亮度后再进行目标用户的阅读角度的识别,便于解决现有技术中因亮度过高或过低导致用户阅读角度识别的错误,提高显示器旋转角度识别的精准度。
进一步的,在进行阅读角度的识别时,本发明通过直接计算当前用户的阅读视线更精确地满足用户的阅读需求,解决因用户姿态识别造成的阅读角度识别精确度不高的技术问题,进一步的,为了提高所述视线计算的准确度,本发明结合当前用户的人脸图像及眼部图像,通过训练好的视线估计方法计算用户的阅读视线,进而根据所述阅读视线计算阅读家具中显示器的旋转角度,提高所述旋转角度的精准度,进而提高用户的阅读体验。
作为优选例子,在所述通过所述双通道神经网络模型提取所述图像数据对应的视差特征及实例分割特征,包括:
通过预设在所述双通道神经网络模型中的第一通道提取所述图像数据中不同像素分别对应的位置偏差,并对所述位置偏差进行卷积处理,获得所述图像数据对应的视差图;
通过预设在所述双通道神经网络模型中的第二通道对所述图像数据进行不同尺度的特征提取以生成若干个特征图像,并通过预设在所述第二通道中滑动窗口分别提取所述若干个特征图像中的每一个特征图像对应的窗口张量;
根据所述窗口张量,通过所述第二通道生成所述滑动窗口中存在目标用户的置信度,并根据所述置信度及所述窗口张量生成所述图像数据对应的实例分割图。
本发明通过所述训练好的双通道神经网络模型同时提取目标用户对应的图像数据中的视差图及实例分割图,以便于根据上述两图从多特征相互校验方面提高距离测算的精度的同时降低模型的计算量,进而提高亮度调整的精度及模型训练的成本。
作为优选例子,在所述通过所述双通道神经网络模型融合所述视差特征及所述实例分割特征,输出所述图像数据对应的深度值,包括:
通过所述双通道神经网络模型中预设的参数转换公式对所述视差图进行深度转换,获得所述视差图对应的深度图;
通过所述双通道神经网络模型从所述实例分割图中获取所述目标用户对应的目标区域,并从所述深度图中读取所述目标区域对应的深度值。
本发明利用所述深度图及所述实例分割的结果,提高目标用户所在区域深度值计算的精确度,进而通过提高所述深度值计算的精确度提高所述用户与智能家具之间距离测算的精确度。
作为优选例子,在所述根据所述深度值确定所述图像数据在所述图像采集装置坐标系中的深度,并根据所述深度及所述图像采集装置的内外参数确定所述目标用户与所述阅读家具的距离,包括:
根据从小到大的顺序对所述深度值进行排序,并根据所述排序的结果从所述深度值中选取在预定范围内的深度数据集,并计算所述深度数据集中的深度值的平均值,根据所述平均值确定所述图像数据在所述图像采集装置坐标系中的深度;
根据所述深度及预设在所述图像采集装置的内外参数,通过预设的坐标转换公式获得所述目标用户在世界坐标系中的坐标,并根据所述坐标计算所述目标用户与所述阅读家具的距离。
本发明首先根据元素和的选定范围从所述深度值中选取部分深度值进行深度的计算,降低后期数据的处理量,同时根据所述选取的深度的平均值作为所述深度进行坐标的计算,可提高所述坐标转换的精确度,进而提高所述距离测算的精确度。
作为优选例子,在所述根据所述距离查询预设的亮度映射关系表找到对应的第一显示亮度,并根据所述第一显示亮度调整所述阅读家具的显示器的亮度,包括:
根据所述距离从所述亮度映射关系表中查询当前距离对应的第一显示亮度,并获取所述显示器当前的第二显示亮度;
计算所述第一显示亮度及所述第二显示亮度的差值的绝对值,根据所述绝对值确定所述显示器的亮度调整值;
根据所述亮度调整值,根据预设的步长及频率控制所述显示器的亮度达到所述第一显示亮度。
本发明通过计算亮度调整值避免了显示器的亮度从0开始进行亮度的增加进而影响用户的阅读过程,提高阅读体验,进一步的,在确定所述亮度调整值后,控制所述显示器按照一定的频率及步长逐步调整屏幕的亮度,避免屏幕的光亮发生突然变化,提高用户的阅读体验。
作为优选例子,在所述通过预设的关键点检测算法对所述原始人脸图像进行眼部提取,获得所述原始人脸图像中对应的眼部图像,包括:
根据预设的边缘检测算法对所述原始人脸图像进行边缘检测,获得所述原始人脸图像中所述目标用户对应的脸部轮廓;
根据所述脸部轮廓对所述原始人脸图像进行图像裁剪,获得所述目标用户对应的人脸图像;
通过预设的人脸关键点检测模型对所述人脸图像进行处理,获得人脸关键点,并根据所述人脸关键点对所述人脸图像进行眼部提取,获得所述眼部图像;其中所述眼部图像包括所述目标用户的双眼图像。
本发明提取用户的眼部图像及脸部图像,一方面便于提取用户的注视视线,一方面便于后续根据用户的人脸及眼部同时进行视线的估计,提高视线估计的准确度,进而通过所述视线估计准确度的提高,提高所述显示器旋转角度的精确度。
作为优选例子,在所述通过所述视线估计模型获取所述目标用户对应的视线方向,包括:
通过所述视线估计模型中预设的卷积网络分别对所述原始人脸图像及眼部图像进行卷积处理,提取所述原始人脸图像对应的第一姿态特征及所述眼部图像对应的第二姿态特征;
通过预设在所述视线估计模型中的全连接层对所述第一姿态特征及所述第二姿态特征进行加权求和,获得所述目标用户对应的视线特征;
将所述视线特征输入至预设在所述视线估计模型中的分类器中,通过所述分类器输出所述目标用户对应的视线方向。
本发明利用所述视线估计模型融合所述人脸及眼部的姿态特征进行视线估计,提高视线估计的精确度,进一步的,在所述视线估计模型中设置全连接层对所述特征进行加权求和,降低数据的处理量,进而降低模型的训练成本。
作为优选例子,在所述根据所述视线方向计算所述显示器需要调整的角度,并根据所述角度控制所述阅读家具的显示器进行旋转,包括:
计算所述视线方向和水平方向的夹角,并根据所述夹角与所述水平方向的位置确定所述显示器的旋转方向;其中,所述水平方位为世界坐标系中的水平方向;
当所述夹角位于所述水平方向的上方时,根据所述夹角控制所述显示器向下旋转;
当所述夹角位于所述水平方向的下方时,根据所述夹角控制所述显示器向上旋转。
本发明利用所述视线与世界坐标系中的水平方向的夹角控制所述显示器向上或向下旋转,保证所述用户的视线垂直所述显示器的屏幕,提高用户阅读角度的舒适性,进而提高用户的阅读体验。
另一方面,本发明还公开了一种基于阅读家具的智能控制系统,包括第一图像处理模块、深度计算模块、距离测算模块、亮度调整模块、第二图像处理模块、视线估计模块及角度调整模块;
所述第一图像处理模块用于根据预设在阅读家具中的图像采集装置采集目标用户对应的图像数据,并将所述图像数据输入至预训练的双通道神经网络模型中,通过所述双通道神经网络模型提取所述图像数据对应的视差特征及实例分割特征;
所述深度计算模块用于通过所述双通道神经网络模型融合所述视差特征及所述实例分割特征,输出所述图像数据对应的深度值;
所述距离测算模块用于根据所述深度值确定所述图像数据在所述图像采集装置坐标系中的深度,并根据所述深度及所述图像采集装置的内外参数确定所述目标用户与所述阅读家具的距离;
所述亮度调整模块用于根据所述距离查询预设的亮度映射关系表找到对应的第一显示亮度,并根据所述第一显示亮度调整所述阅读家具的显示器的亮度;
所述第二图像处理模块用于收集所述目标用户注视调整亮度后的显示器的屏幕时对应的原始人脸图像,并通过预设的关键点检测算法对所述原始人脸图像进行眼部提取,获得所述原始人脸图像中对应的眼部图像;
所述视线估计模块用于将所述原始人脸图像及所述眼部图像同时输入至预训练的视线估计模型,通过所述视线估计模型获取所述目标用户对应的视线方向;
所述角度调整模块用于根据所述视线方向计算所述显示器需要调整的角度,并根据所述角度控制所述阅读家具的显示器进行旋转。
本发明公开的一种基于阅读家具的智能控制系统,首先考虑到阅读家具与目标用户之间的距离会影响用户阅读角度的识别,因此通过设置在所述阅读家具中的图像采集装置采集目标用户对应的图像数据,再将所述图像数据输入至预训练的双通道神经网络模型,利用所述训练好的神经网络模型中具有的学习模仿能力提取所述图像数据中对应的视差特征及实例分割特征,以便于根据双面特征提高距离测算的精度,同时将用于深度估计和实例分割的网络提取的特征进行部分共享,可大量减少计算量,对模型的计算能力要求下降,降低模型的训练成本。
在通过所述双通道神经网络模型输出所述图像对应的深度值后,确定所述深度值在所述图像采集装置对应的坐标系中的深度,并根据所述深度及所述图像采集装置的内外参数确定所述目标用户与所述阅读家具的距离,以便于根据所述距离调整所述阅读家具的亮度,使所述阅读家具的显示器的亮度更符合用户当前的阅读需求,以使得在调整亮度后再进行目标用户的阅读角度的识别,便于解决现有技术中因亮度过高或过低导致用户阅读角度识别的错误,提高显示器旋转角度识别的精准度。
进一步的,在进行阅读角度的识别时,本发明通过直接计算当前用户的阅读视线更精确地满足用户的阅读需求,解决因用户姿态识别造成的阅读角度识别精确度不高的技术问题,进一步的,为了提高所述视线计算的准确度,本发明结合当前用户的人脸图像及眼部图像,通过训练好的视线估计方法计算用户的阅读视线,进而根据所述阅读视线计算阅读家具中显示器的旋转角度,提高所述旋转角度的精准度,进而提高用户的阅读体验。
作为优选例子,所述第一图像处理模块包括视差特征提取单元及实例分割单元;
所述视差特征提取单元用于通过预设在所述双通道神经网络模型中的第一通道提取所述图像数据中不同像素分别对应的位置偏差,并对所述位置偏差进行卷积处理,获得所述图像数据对应的视差图;
所述实例分割单元用于通过预设在所述双通道神经网络模型中的第二通道对所述图像进行不同尺度的特征提取以生成若干个特征图像,并通过预设在所述第二通道中滑动窗口分别提取所述若干个特征图像中的每一个特征图像对应的窗口张量;根据所述窗口张量,通过所述第二通道生成所述滑动窗口中存在目标用户的置信度,并根据所述置信度及所述窗口张量生成所述图像数据对应的实例分割图。
本发明通过所述训练好的双通道神经网络模型同时提取目标用户对应的图像数据中的视差图及实例分割图,以便于根据上述两图从多特征相互校验方面提高距离测算的精度的同时降低模型的计算量,进而提高亮度调整的精度及模型训练的成本。
附图说明
图1:为本发明实施例公开的一种基于阅读家具的智能控制方法的流程示意图;
图2:为本发明实施例公开的一种基于阅读家具的智能控制系统的结构示意图;
图3:为本发明又一实施例公开的一种基于阅读家具的智能控制方法的流程示意图;
图4:为本发明又一实施例公开的一种人脸关键点示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一,本实施例公开了一种基于阅读家具的智能控制方法,所述控制方法的具体实施流程请参照图1,主要包括步骤101至步骤107,所述步骤为:
步骤101:根据预设在阅读家具中的图像采集装置采集目标用户对应的图像数据,并将所述图像数据输入至预训练的双通道神经网络模型中,通过所述双通道神经网络模型提取所述图像数据对应的视差特征及实例分割特征。
在本实施例中,该步骤包括:通过预设在所述双通道神经网络模型中的第一通道提取所述图像数据中不同像素分别对应的位置偏差,并对所述位置偏差进行卷积处理,获得所述图像数据对应的视差图;通过预设在所述双通道神经网络模型中的第二通道对所述图像进行不同尺度的特征提取以生成若干个特征图像,并通过预设在所述第二通道中滑动窗口分别提取所述若干个特征图像中的每一个特征图像对应的窗口张量;根据所述窗口张量,通过所述第二通道生成所述滑动窗口中存在目标用户的置信度,并根据所述置信度及所述窗口张量生成所述图像数据对应的实例分割图。
本实施例中,该步骤通过所述训练好的双通道神经网络模型同时提取目标用户对应的图像数据中的视差图及实例分割图,以便于根据上述两图从多特征相互校验方面提高距离测算的精度的同时降低模型的计算量,进而提高亮度调整的精度及模型训练的成本。
步骤102:通过所述双通道神经网络模型融合所述视差特征及所述实例分割特征,输出所述图像数据对应的深度值。
在本实施例中,该步骤包括:通过所述双通道神经网络模型中预设的参数转换公式对所述视差图进行深度转换,获得所述视差图对应的深度图;通过所述双通道神经网络模型从所述实例分割图中获取所述目标用户对应的目标区域,并从所述深度图中读取所述目标区域对应的深度值。
本实施例中,该步骤利用所述深度图及所述实例分割的结果,提高目标用户所在区域深度值计算的精确度,进而通过提高所述深度值计算的精确度提高所述用户与智能家具之间距离测算的精确度。
步骤103:根据所述深度值确定所述图像数据在所述图像采集装置坐标系中的深度,并根据所述深度及所述图像采集装置的内外参数确定所述目标用户与所述阅读家具的距离。
在本实施例中,该步骤包括:根据从小到大的顺序对所述深度值进行排序,并根据所述排序的结果从所述深度值中选取在预定范围内的深度数据集,并计算所述深度数据集中的深度值的平均值,根据所述平均值确定所述图像数据在所述图像采集装置坐标系中的深度;根据所述深度及预设在所述图像采集装置的内外参数,通过预设的坐标转换公式获得所述目标用户在世界坐标系中的坐标,并根据所述坐标计算所述目标用户与所述阅读家具的距离。
本实施例中,该步骤根据元素和的选定范围从所述深度值中选取部分深度值进行深度的计算,降低后期数据的处理量,同时根据所述选取的深度的平均值作为所述深度进行坐标的计算,可提高所述坐标转换的精确度,进而提高所述距离测算的精确度。
步骤104:根据所述距离查询预设的亮度映射关系表找到对应的第一显示亮度,并根据所述第一显示亮度调整所述阅读家具的显示器的亮度。
在本实施例中,该步骤包括:根据所述距离从所述亮度映射关系表中查询当前距离对应的第一显示亮度,并获取所述显示器当前的第二显示亮度;计算所述第一显示亮度及所述第二显示亮度的差值的绝对值,根据所述绝对值确定所述显示器的亮度调整值;根据所述亮度调整值,根据预设的步长及频率控制所述显示器的亮度达到所述第一显示亮度。
本实施例中,该步骤通过计算亮度调整值避免了显示器的亮度从0开始进行亮度的增加进而影响用户的阅读过程,提高阅读体验,进一步的,在确定所述亮度调整值后,控制所述显示器按照一定的频率及步长逐步调整屏幕的亮度,避免屏幕的光亮发生突然变化,提高用户的阅读体验。
步骤105:收集所述目标用户注视调整亮度后的显示器的屏幕时对应的原始人脸图像,并通过预设的关键点检测算法对所述原始人脸图像进行眼部提取,获得所述原始人脸图像中对应的眼部图像。
在本实施例中,该步骤包括:根据预设的边缘检测算法对所述原始人脸图像进行边缘检测,获得所述原始人脸图像中所述目标用户对应的脸部轮廓;根据所述脸部轮廓对所述原始人脸图像进行图像裁剪,获得所述目标用户对应的人脸图像;通过预设的人脸关键点检测模型对所述人脸图像进行处理,获得人脸关键点,并根据所述人脸关键点对所述人脸图像进行眼部提取,获得所述眼部图像;其中所述眼部图像包括所述目标用户的双眼图像。
本实施例中,该步骤提取用户的眼部图像及脸部图像,一方面便于提取用户的注视视线,一方面便于后续根据用户的人脸及眼部同时进行视线的估计,提高视线估计的准确度,进而通过所述视线估计准确度的提高,提高所述显示器旋转角度的精确度。
步骤106:将所述原始人脸图像及所述眼部图像同时输入至预训练的视线估计模型,通过所述视线估计模型获取所述目标用户对应的视线方向。
本实施例中,该步骤包括:通过所述视线估计模型中预设的卷积网络分别对所述原始人脸图像及眼部图像进行卷积处理,提取所述原始人脸图像对应的第一姿态特征及所述眼部图像对应的第二姿态特征;通过预设在所述视线估计模型中的全连接层对所述第一姿态特征及所述第二姿态特征进行加权求和,获得所述目标用户对应的视线特征;将所述视线特征输入至预设在所述视线估计模型中的分类器中,通过所述分类器输出所述目标用户对应的视线方向。
本实施例中,该步骤利用所述视线估计模型融合所述人脸及眼部的姿态特征进行视线估计,提高视线估计的精确度,进一步的,在所述视线估计模型中设置全连接层对所述特征进行加权求和,降低数据的处理量,进而降低模型的训练成本。
步骤107:根据所述视线方向计算所述显示器需要调整的角度,并根据所述角度控制所述阅读家具的显示器进行旋转。
本实施例中,该步骤包括:计算所述视线方向和水平方向的夹角,并根据所述夹角与所述水平方向的位置确定所述显示器的旋转方向;其中,所述水平方位为世界坐标系中的水平方向;当所述夹角位于所述水平方向的上方时,根据所述夹角控制所述显示器向下旋转;当所述夹角位于所述水平方向的下方时,根据所述夹角控制所述显示器向上旋转。
本实施例中,该步骤利用所述视线与世界坐标系中的水平方向的夹角控制所述显示器向上或向下旋转,保证所述用户的视线垂直所述显示器的屏幕,提高用户阅读角度的舒适性,进而提高用户的阅读体验。
另一方面,本实施例还公开了一种基于阅读家具的智能控制系统,所述系统的具体结构组成请参照图2,包括第一图像处理模块201、深度计算模块202、距离测算模块203、亮度调整模块204、第二图像处理模块205、视线估计模块206及角度调整模块207。
所述第一图像处理模块201用于根据预设在阅读家具中的图像采集装置采集目标用户对应的图像数据,并将所述图像数据输入至预训练的双通道神经网络模型中,通过所述双通道神经网络模型提取所述图像数据对应的视差特征及实例分割特征。
所述深度计算模块202用于通过所述双通道神经网络模型融合所述视差特征及所述实例分割特征,输出所述图像数据对应的深度值。
所述距离测算模块203用于根据所述深度值确定所述图像数据在所述图像采集装置坐标系中的深度,并根据所述深度及所述图像采集装置的内外参数确定所述目标用户与所述阅读家具的距离。
所述亮度调整模块204用于根据所述距离查询预设的亮度映射关系表找到对应的第一显示亮度,并根据所述第一显示亮度调整所述阅读家具的显示器的亮度。
所述第二图像处理模块205用于收集所述目标用户注视调整亮度后的显示器的屏幕时对应的原始人脸图像,并通过预设的关键点检测算法对所述原始人脸图像进行眼部提取,获得所述原始人脸图像中对应的眼部图像。
所述视线估计模块206用于将所述原始人脸图像及所述眼部图像同时输入至预训练的视线估计模型,通过所述视线估计模型获取所述目标用户对应的视线方向。
所述角度调整模块207用于根据所述视线方向计算所述显示器需要调整的角度,并根据所述角度控制所述阅读家具的显示器进行旋转。
在本实施例中,所述第一图像处理模块201包括视差特征提取单元及实例分割单元。
所述视差特征提取单元用于通过预设在所述双通道神经网络模型中的第一通道提取所述图像数据中不同像素分别对应的位置偏差,并对所述位置偏差进行卷积处理,获得所述图像数据对应的视差图。
所述实例分割单元用于通过预设在所述双通道神经网络模型中的第二通道对所述图像数据进行不同尺度的特征提取以生成若干个特征图像,并通过预设在所述第二通道中滑动窗口分别提取所述若干个特征图像中的每一个特征图像对应的窗口张量;根据所述窗口张量,通过所述第二通道生成所述滑动窗口中存在目标用户的置信度,并根据所述置信度及所述窗口张量生成所述图像数据对应的实例分割图。
实施例二,在具体的某种实施方式中,本实施例又提供一种基于阅读家具的智能控制方法,该方法的实施流程请参照图3,主要包括步骤301至步骤307,所述步骤为:
步骤301:根据预设在阅读家具中的3D相机采集目标用户对应的图像数据,通过训练好的双通道卷积神经网络模型提取所述图像数据对应的视差结果及实例分割结果。
在本实施例中,该步骤为:利用所述双通道卷积神经网络模型提取所述图像数据中对应的位置偏差及利用预设在所述双通道卷积神经网络模型中的不同尺度的滑动窗口对所述图像数据进行提取生成不同尺度的特征图像,进而根据所述位置偏差生成视差结果及根据所述不同尺度的特征图像进行实例分割。
具体地,在利用所述双通道卷积神经网络模型进行特征提取前,首先对所述双通道卷积神经网络模型进行训练,其中,所述模型的训练过程包括:
通过GoogLeNet构建初始神经网络模型,并在所述初始神经网络模型中引入两个分支网络,一个分支网络用于提取视差特征,一个分支网络用于进行实例分割,构建初始双通道卷积神经网络模型。
接着对预构建的数据集中包含的若干个图像数据中的每一个图像数据进行特征提取,在进行特征提取时采用与所述分支网络相同的网络结构进行特征提取,生成所述每一个图像数据对应的视差图及实例分割图,同时计算所述每一张图像数据对应的深度值,根据所述深度值生成所述每一张图像数据对应的标签。
将所述数据集中每一张图像数据及所述图像数据对应的视差图及实例分割图作为输入,所述深度值作为输出对所述初始双通道卷积神经网络模型进行训练,在训练的过程中,不断地更新所述初始双通道卷积神经网络模型的参数,并通过预设的损失函数计算模型更新参数后的损失,当所述损失最小时,根据当前的模型参数生成所述双通道卷积神经网络。
具体的,通过预设在所述双通道神经网络中的第一分支网络遍历所述图像数据中的每一个像素点,并计算所述每一个像素点对应的位置偏差,通过预设在所述第一分支网络中的卷积核将所述位置偏差进行卷积化处理,获得所述位置偏差形成的视差图。
进一步的,利用预设在所述双通道神经网络模型中的第二分支网络对所述图像数据进行不同尺度的特征提取以生成若干个特征图像,具体的,所述第二分支网络包括不同卷积程度的卷积层及不同池化程度的池化层 用于生成具有不同尺度的特征提取,参考性,可将所述图像数据先输入至1×1的卷积层和池化层1中,1×1卷积层的输出再输入到4×4卷积层中,4×4卷积层的输出输入到池化层2中,池化层1和池化层2的输出再经组合生成第一特征向量,由此通过设置的不同卷积程度的卷积层生成不同尺度的特征图像。
接着,通过预设在所述第二通道中滑动窗口分别提取所述若干个特征图像中的每一个特征图像对应的窗口张量,根据所述窗口张量,通过所述第二通道生成所述滑动窗口中存在目标用户的置信度,并根据所述置信度及所述窗口张量生成所述图像数据对应的实例分割图。具体的,通过预设在所述第二分支网络中的滑动窗口分别从所述多个特征图像中提取相应的窗口特征张量,基于每个所述窗口特征张量生成相应的注意力矩阵和所述滑动窗口中存在目标用户的置信度,其中所述注意力矩阵包括相应的所述窗口特征张量上的每一点位于目标用户所在区域内的置信度值;将每个所述注意力矩阵广播乘相应的所述窗口特征张量以生成窗口张量;以及基于所述窗口张量以及所述滑动窗口中存在目标用户的置信度生成所述待处理图像的实例分割图。
步骤302:通过所述双通道卷积神经网络模型将所述视差结果转换为深度图,并从所述实例分割结果中获取目标用户所在的目标区域,再从所述深度图中获取所述目标区域对应的深度值。
在本实施例中,该步骤为:根据预设在所述双通道卷积神经网络模型中的参数转换公式将视差图转为深度图,其中,所述参数转换公式的表达式为:
其中,所述D为深度,所述d为视差,所述B为基线长度,所述f为焦距,所述焦距为像素单位,所述分别为左右视图的主点的列坐标。
在获得所述深度图后,从所述实例分割图中获得目标用户所在的目标区域,再根据所述目标区域在所述深度图中的位置,获得所述目标用户对应的深度值。
步骤303:根据所述深度值确定所述图像数据在所述3D相机的坐标系中的深度,并根据所述深度及所述3D相机的内外参数确定所述目标用户与所述阅读家具的距离。
在本实施例中,该步骤为:首先对所述深度值进行从小到大的排序,然后选取数据从小算起在中间范围内的深度数据,计算所述深度数据中的深度值的平均值,得到所述目标用户在3D相机中的深度。
获取所述深度后,读取所述3D相机设置的内外参数,并根据所述深度及所述内外参数,通过预设的坐标计算公式计算所述目标用户在所述世界坐标系中的坐标,具体的,所述坐标计算公式的表达式为:
其中,所述为所述目标用户在所述相机坐标系中的深度,所述(/>)为所述目标用户在世界坐标系中的坐标,所述(/>)为所述目标用户在所述图像数据中的像素坐标,所述/>为所述3D相机内设置的参数矩阵,3D相机内部坐标系相对于世界坐标系的旋转矩阵,3D相机内部坐标系相对于世界坐标系的平移矩阵。
在计算获得所述目标用户在世界坐标系的位置坐标后,可通过预设在所述智能家具中的定位设备获取所述智能家具在所述世界坐标系中的位置坐标,根据所述目标用户及所述智能家具的位置坐标计算获得所述目标用户与所述智能家具之间的距离。
步骤304:根据所述距离查询预设的亮度映射关系表中对应的第一显示亮度,并根据所述第一显示亮度调整所述阅读家具中显示器的亮度。
在本实施例中,该步骤包括:根据所述距离从保存在所述智能家具中的亮度映射关系表中查询当前距离对应的第一显示亮度,并获取所述显示器当前的第二显示亮度,其中所述亮度映射关系表保存的是不同距离对应的标准显示亮度,然后计算所述第一显示亮度及所述第二显示亮度的差值的绝对值,根据所述绝对值确定所述显示器的亮度调整值。
根据所述亮度调整值,根据预设的步长及频率控制所述显示器的亮度达到所述第一显示亮度,其中,所述步长和频率可以为预先设定值,也可以是通过固定步数和频率计算得到步长,即步长=|(目标亮度值-当前显示亮度值)|/固定步数,具体的若所述第一显示亮度大于所述第二显示亮度,则以预设的步长和频率增加显示器的显示亮度,直到达到第一显示亮度,若所述第一显示亮度小于所述第二显示亮度,则以预设的步长和频率减少显示器的显示亮度,直到达到第一显示亮度。
步骤305:通过所述3D相机收集所述目标用户注视调整亮度后的显示器时对应的脸部图像,并通过关键点检测算法从所述脸部图像中提取出所述目标用户对应的眼部图像。
在本实施例中,该步骤主要包括:通过预设的边缘检测算法提取所述脸部图像中的脸部轮廓,根据所述脸部轮廓对所述脸部图像进行裁剪,获得所述目标用户对应的脸部轮廓图,以便于避免背景图像对关键点检测的影响。
接着,利用现有的人脸关键点检测算法如PFLD算法对所述脸部轮廓图进行关键点的标注,获得所述目标用户对应的98个人脸关键点信息,所述98个关键点的具体位置信息如图4, 如图4可知,脸部轮廓图中标注的关键点从60到67及从68到75分别代表用户的左右眼,而97、96分别代表用户的左右眼的瞳孔的位置,因此以所述左右瞳孔对应的关键点为裁剪中心,连接每一个眼部图像外轮廓的关键点,生成每一个眼部图像对应的眼部轮廓线,并根据所述眼部轮廓线对所述脸部轮廓图进行裁剪,生成所述目标用户对应的眼部图像,而所述眼部图像包括用户的左右眼图像。
步骤306:将所述脸部图像与所述眼部图像输入至训练好的视线估计模型,并通过所述视线估计模型提取所述脸部图像与所述眼部图像分别对应的姿态特征,进而所述姿态特征评估所述目标用户当前的阅读视线。
在本实施例中,该步骤包括:将所述脸部图像与所述眼部图像输入经过训练后获得的视线估计模型,通过所述视线估计模型中预设的卷积网络分别对所述原始人脸图像及眼部图像进行卷积处理,提取所述原始人脸图像对应的第一姿态特征及所述眼部图像对应的第二姿态特征,并通过预设的全连接层对所述第一姿态特征及所述第二姿态特征进行加权求和,获得所述目标用户对应的视线特征,进而控制预设在所述视线估计模型中的分类器根据所述视线特征输出所述目标用户的阅读视线。
具体的,所述视线估计模型对所述原始人脸图像及眼部图像分别进行卷积处理,提取所述人脸图像对应的中心点数据,并根据所述中心点数据对所述人脸图像进行图像分割,分割成上下左右四侧图像,并对所述上下左右四侧图像再次进行卷积处理,提取所述上下四侧图像分别对应的黑色像素点数量,根据每一侧图像的黑素像素点数量确定所述读者的头部姿态特征,即若上侧图像的黑素像素点数量大于下侧,则用户的第一头部姿态特征为偏上,若同时所述右侧图像的黑素像素点数量大于左侧,则此时提取所述用户的头部姿态特征为偏右上。
在提取所述头部的姿态特征的同时,所述视线估计模型对所述眼部图像进行同样的卷积处理,提取所述眼部图像对应的中心点数据,并根据所述中心点数据对所述眼部图像进行图像分割,分割成上下左右四侧图像,并对所述上下左右四侧图像再次进行卷积处理,提取所述上下四侧图像分别对应的黑色像素点数量,根据每一侧图像的黑素像素点数量确定所述读者的头部姿态特征,即若上侧图像的黑素像素点数量大于下侧,则用户的眼部姿态特征为偏上,若同时所述右侧图像的黑素像素点数量大于左侧,则此时提取所述用户的眼部姿态特征为右上。
在获取所述眼部姿态特征及所述头部姿态特征后,根据预设的在所述视线估计模型中的全连接层为所述眼部特征及所述头部特征自适应的分配权重,根据所述每一个姿态特征分配的权重进行累计相加,获得所述目标用户对应的视线特征。
将所述视线特征输入至预训练的分类器如soft分类函数等等,所述分类器根据所述视线特征找到与之匹配的视线方向。
步骤307:计算所述阅读视线与世界坐标系中水平方向的夹角,根据所述夹角控制所述阅读家具中的显示器进行旋转。
在本实施例中,该步骤为:计算所述阅读视线和水平方向的夹角,并根据所述夹角与所述水平方向的位置确定所述显示器的旋转方向;其中,所述水平方位为世界坐标系中的水平方向;当所述夹角位于所述水平方向的上方时,根据所述夹角的角度的大小控制所述显示器向下旋转;当所述夹角位于所述水平方向的下方时,根据所述夹角的角度的大小控制所述显示器向上旋转。
本实施例提供的基于阅读家具的智能控制方法及系统,首先考虑到阅读家具与目标用户之间的距离会影响用户阅读角度的识别,因此通过设置在所述阅读家具中的图像采集装置采集目标用户对应的图像数据,再将所述图像数据输入至预训练的双通道神经网络模型,利用所述训练好的神经网络模型中具有的学习模仿能力提取所述图像数据中对应的视差特征及实例分割特征,以便于根据双面特征提高距离测算的精度,同时将用于深度估计和实例分割的网络提取的特征进行部分共享,可大量减少计算量,对模型的计算能力要求下降,降低模型的训练成本。
在通过所述双通道神经网络模型输出所述图像对应的深度值后,确定所述深度值在所述图像采集装置对应的坐标系中的深度,并根据所述深度及所述图像采集装置的内外参数确定所述目标用户与所述阅读家具的距离,以便于根据所述距离调整所述阅读家具的亮度,使所述阅读家具的显示器的亮度更符合用户当前的阅读需求,以使得在调整亮度后再进行目标用户的阅读角度的识别,便于解决现有技术中因亮度过高或过低导致用户阅读角度识别的错误,提高显示器旋转角度识别的精准度。
进一步的,在进行阅读角度的识别时,本发明通过直接计算当前用户的阅读视线更精确地满足用户的阅读需求,解决因用户姿态识别造成的阅读角度识别精确度不高的技术问题,进一步的,为了提高所述视线计算的准确度,本发明结合当前用户的人脸图像及眼部图像,通过训练好的视线估计方法计算用户的阅读视线,进而根据所述阅读视线计算阅读家具中显示器的旋转角度,提高所述旋转角度的精准度,进而提高用户的阅读体验。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步的详细说明,应当理解,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围。特别指出,对于本领域技术人员来说,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于阅读家具的智能控制方法,其特征在于,包括:
根据预设在阅读家具中的图像采集装置采集目标用户对应的图像数据,并将所述图像数据输入至预训练的双通道神经网络模型中,通过所述双通道神经网络模型提取所述图像数据对应的视差特征及实例分割特征;
通过所述双通道神经网络模型融合所述视差特征及所述实例分割特征,输出所述图像数据对应的深度值;
根据所述深度值确定所述图像数据在所述图像采集装置坐标系中的深度,并根据所述深度及所述图像采集装置的内外参数确定所述目标用户与所述阅读家具的距离;
根据所述距离查询预设的亮度映射关系表找到对应的第一显示亮度,并根据所述第一显示亮度调整所述阅读家具的显示器的亮度;
收集所述目标用户注视调整亮度后的显示器的屏幕时对应的原始人脸图像,并通过预设的关键点检测算法对所述原始人脸图像进行眼部提取,获得所述原始人脸图像中对应的眼部图像;
将所述原始人脸图像及所述眼部图像同时输入至预训练的视线估计模型,通过所述视线估计模型获取所述目标用户对应的视线方向;
根据所述视线方向计算所述显示器需要调整的角度,并根据所述角度控制所述阅读家具的显示器进行旋转。
2.如权利要求1所述的一种基于阅读家具的智能控制方法,其特征在于,所述通过所述双通道神经网络模型提取所述图像数据对应的视差特征及实例分割特征,包括:
通过预设在所述双通道神经网络模型中的第一通道提取所述图像数据中不同像素分别对应的位置偏差,并对所述位置偏差进行卷积处理,获得所述图像数据对应的视差图;
通过预设在所述双通道神经网络模型中的第二通道对所述图像数据进行不同尺度的特征提取以生成若干个特征图像,并通过预设在所述第二通道中滑动窗口分别提取所述若干个特征图像中的每一个特征图像对应的窗口张量;
根据所述窗口张量,通过所述第二通道生成所述滑动窗口中存在目标用户的置信度,并根据所述置信度及所述窗口张量生成所述图像数据对应的实例分割图。
3.如权利要求2所述的一种基于阅读家具的智能控制方法,其特征在于,所述通过所述双通道神经网络模型融合所述视差特征及所述实例分割特征,输出所述图像数据对应的深度值,包括:
通过所述双通道神经网络模型中预设的参数转换公式对所述视差图进行深度转换,获得所述视差图对应的深度图;
通过所述双通道神经网络模型从所述实例分割图中获取所述目标用户对应的目标区域,并从所述深度图中读取所述目标区域对应的深度值。
4.如权利要求1所述的一种基于阅读家具的智能控制方法,其特征在于,所述根据所述深度值确定所述图像数据在所述图像采集装置坐标系中的深度,并根据所述深度及所述图像采集装置的内外参数确定所述目标用户与所述阅读家具的距离,包括:
根据从小到大的顺序对所述深度值进行排序,并根据所述排序的结果从所述深度值中选取在预定范围内的深度数据集,并计算所述深度数据集中的深度值的平均值,根据所述平均值确定所述图像数据在所述图像采集装置坐标系中的深度;
根据所述深度及预设在所述图像采集装置的内外参数,通过预设的坐标转换公式获得所述目标用户在世界坐标系中的坐标,并根据所述坐标计算所述目标用户与所述阅读家具的距离。
5.如权利要求1所述的一种基于阅读家具的智能控制方法,其特征在于,所述根据所述距离查询预设的亮度映射关系表找到对应的第一显示亮度,并根据所述第一显示亮度调整所述阅读家具的显示器的亮度,包括:
根据所述距离从所述亮度映射关系表中查询当前距离对应的第一显示亮度,并获取所述显示器当前的第二显示亮度;
计算所述第一显示亮度及所述第二显示亮度的差值的绝对值,根据所述绝对值确定所述显示器的亮度调整值;
根据所述亮度调整值,根据预设的步长及频率控制所述显示器的亮度达到所述第一显示亮度。
6.如权利要求1所述的一种基于阅读家具的智能控制方法,其特征在于,所述通过预设的关键点检测算法对所述原始人脸图像进行眼部提取,获得所述原始人脸图像中对应的眼部图像,包括:
根据预设的边缘检测算法对所述原始人脸图像进行边缘检测,获得所述原始人脸图像中所述目标用户对应的脸部轮廓;
根据所述脸部轮廓对所述原始人脸图像进行图像裁剪,获得所述目标用户对应的人脸图像;
通过预设的人脸关键点检测模型对所述人脸图像进行处理,获得人脸关键点,并根据所述人脸关键点对所述人脸图像进行眼部提取,获得所述眼部图像;其中所述眼部图像包括所述目标用户的双眼图像。
7.如权利要求1所述的一种基于阅读家具的智能控制方法,其特征在于,所述通过所述视线估计模型获取所述目标用户对应的视线方向,包括:
通过所述视线估计模型中预设的卷积网络分别对所述原始人脸图像及眼部图像进行卷积处理,提取所述原始人脸图像对应的第一姿态特征及所述眼部图像对应的第二姿态特征;
通过预设在所述视线估计模型中的全连接层对所述第一姿态特征及所述第二姿态特征进行加权求和,获得所述目标用户对应的视线特征;
将所述视线特征输入至预设在所述视线估计模型中的分类器中,通过所述分类器输出所述目标用户对应的视线方向。
8.如权利要求1所述的一种基于阅读家具的智能控制方法,其特征在于,所述根据所述视线方向计算所述显示器需要调整的角度,并根据所述角度控制所述阅读家具的显示器进行旋转,包括:
计算所述视线方向和水平方向的夹角,并根据所述夹角与所述水平方向的位置确定所述显示器的旋转方向;其中,所述水平方位为世界坐标系中的水平方向;
当所述夹角位于所述水平方向的上方时,根据所述夹角控制所述显示器向下旋转;
当所述夹角位于所述水平方向的下方时,根据所述夹角控制所述显示器向上旋转。
9.一种基于阅读家具的智能控制系统,其特征在于,包括第一图像处理模块、深度计算模块、距离测算模块、亮度调整模块、第二图像处理模块、视线估计模块及角度调整模块;
所述第一图像处理模块用于根据预设在阅读家具中的图像采集装置采集目标用户对应的图像数据,并将所述图像数据输入至预训练的双通道神经网络模型中,通过所述双通道神经网络模型提取所述图像数据对应的视差特征及实例分割特征;
所述深度计算模块用于通过所述双通道神经网络模型融合所述视差特征及所述实例分割特征,输出所述图像数据对应的深度值;
所述距离测算模块用于根据所述深度值确定所述图像数据在所述图像采集装置坐标系中的深度,并根据所述深度及所述图像采集装置的内外参数确定所述目标用户与所述阅读家具的距离;
所述亮度调整模块用于根据所述距离查询预设的亮度映射关系表找到对应的第一显示亮度,并根据所述第一显示亮度调整所述阅读家具的显示器的亮度;
所述第二图像处理模块用于收集所述目标用户注视调整亮度后的显示器的屏幕时对应的原始人脸图像,并通过预设的关键点检测算法对所述原始人脸图像进行眼部提取,获得所述原始人脸图像中对应的眼部图像;
所述视线估计模块用于将所述原始人脸图像及所述眼部图像同时输入至预训练的视线估计模型,通过所述视线估计模型获取所述目标用户对应的视线方向;
所述角度调整模块用于根据所述视线方向计算所述显示器需要调整的角度,并根据所述角度控制所述阅读家具的显示器进行旋转。
10.如权利要求9所述的一种基于阅读家具的智能控制系统,其特征在于,所述第一图像处理模块包括视差特征提取单元及实例分割单元;
所述视差特征提取单元用于通过预设在所述双通道神经网络模型中的第一通道提取所述图像数据中不同像素分别对应的位置偏差,并对所述位置偏差进行卷积处理,获得所述图像数据对应的视差图;
所述实例分割单元用于通过预设在所述双通道神经网络模型中的第二通道对所述图像数据进行不同尺度的特征提取以生成若干个特征图像,并通过预设在所述第二通道中滑动窗口分别提取所述若干个特征图像中的每一个特征图像对应的窗口张量;根据所述窗口张量,通过所述第二通道生成所述滑动窗口中存在目标用户的置信度,并根据所述置信度及所述窗口张量生成所述图像数据对应的实例分割图。
CN202410172524.2A 2024-02-07 2024-02-07 一种基于阅读家具的智能控制方法及系统 Active CN117742388B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410172524.2A CN117742388B (zh) 2024-02-07 2024-02-07 一种基于阅读家具的智能控制方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410172524.2A CN117742388B (zh) 2024-02-07 2024-02-07 一种基于阅读家具的智能控制方法及系统

Publications (2)

Publication Number Publication Date
CN117742388A true CN117742388A (zh) 2024-03-22
CN117742388B CN117742388B (zh) 2024-04-30

Family

ID=90281739

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410172524.2A Active CN117742388B (zh) 2024-02-07 2024-02-07 一种基于阅读家具的智能控制方法及系统

Country Status (1)

Country Link
CN (1) CN117742388B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101299807A (zh) * 2007-04-30 2008-11-05 深圳Tcl新技术有限公司 一种自动调整显示参数的显示设备及其实现方法
CN102279603A (zh) * 2011-04-19 2011-12-14 西南交通大学 显示器的空间朝向和视觉显示随人眼位置的自动调整方法
CN107545302A (zh) * 2017-08-02 2018-01-05 北京航空航天大学 一种人眼左右眼图像联合的视线方向计算方法
WO2021019540A1 (en) * 2019-07-29 2021-02-04 Carmel Haifa University Economic Corporation Ltd. Automated dynamic display adjustment based on user pose
KR20210121772A (ko) * 2020-03-31 2021-10-08 엘지전자 주식회사 디스플레이 장치
CN115904079A (zh) * 2022-12-09 2023-04-04 北京声智科技有限公司 显示设备调整方法、装置、终端及存储介质
CN117274383A (zh) * 2023-09-25 2023-12-22 东北大学 视点预测方法及装置、电子设备和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101299807A (zh) * 2007-04-30 2008-11-05 深圳Tcl新技术有限公司 一种自动调整显示参数的显示设备及其实现方法
CN102279603A (zh) * 2011-04-19 2011-12-14 西南交通大学 显示器的空间朝向和视觉显示随人眼位置的自动调整方法
CN107545302A (zh) * 2017-08-02 2018-01-05 北京航空航天大学 一种人眼左右眼图像联合的视线方向计算方法
WO2021019540A1 (en) * 2019-07-29 2021-02-04 Carmel Haifa University Economic Corporation Ltd. Automated dynamic display adjustment based on user pose
KR20210121772A (ko) * 2020-03-31 2021-10-08 엘지전자 주식회사 디스플레이 장치
CN115904079A (zh) * 2022-12-09 2023-04-04 北京声智科技有限公司 显示设备调整方法、装置、终端及存储介质
CN117274383A (zh) * 2023-09-25 2023-12-22 东北大学 视点预测方法及装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN117742388B (zh) 2024-04-30

Similar Documents

Publication Publication Date Title
CN107545302B (zh) 一种人眼左右眼图像联合的视线方向计算方法
KR101791590B1 (ko) 물체 자세 인식장치 및 이를 이용한 물체 자세 인식방법
CN111353506B (zh) 自适应的视线估计方法和设备
CN104680121B (zh) 一种人脸图像的处理方法及装置
WO2020125499A1 (zh) 一种操作提示方法及眼镜
CN103870796B (zh) 一种人眼视线估计的方法与装置
CN110189294B (zh) 基于深度可信度分析的rgb-d图像显著性检测方法
CN110456904B (zh) 一种无需标定的增强现实眼镜眼动交互方法及系统
CN108470178B (zh) 一种结合深度可信度评价因子的深度图显著性检测方法
CN113692527B (zh) 用于测量眼镜片的局部屈光力和/或屈光力分布的方法和装置
CN105912126B (zh) 一种手势运动映射到界面的增益自适应调整方法
CN112446322B (zh) 眼球特征检测方法、装置、设备及计算机可读存储介质
CN104821010A (zh) 基于双目视觉的人手三维信息实时提取方法及系统
CN104834894B (zh) 一种结合二进制编码和类-Hausdorff距离的手势识别方法
KR102444768B1 (ko) 안경 렌즈의 국부적 굴절력 및/또는 굴절력 분포를 측정하기 위한 방법 및 장치
CN111881888A (zh) 基于姿态识别的智能桌控制方法及装置
CN109725721A (zh) 用于裸眼3d显示系统的人眼定位方法及系统
US20210035326A1 (en) Human pose estimation system
CN110781712B (zh) 一种基于人脸检测与识别的人头空间定位方法
CN117742388B (zh) 一种基于阅读家具的智能控制方法及系统
CN109886780B (zh) 基于眼球跟踪的商品目标检测方法及装置
CN113808207B (zh) 一种目标为儿童的双目测距方法及系统
CN112633372B (zh) 一种ar设备的光源估计方法和装置
CN113676721A (zh) 一种ar眼镜的图像获取方法及系统
CN112017120A (zh) 一种图像合成方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant