CN112804504B - 画质调整方法、装置、投影仪及计算机可读存储介质 - Google Patents

画质调整方法、装置、投影仪及计算机可读存储介质 Download PDF

Info

Publication number
CN112804504B
CN112804504B CN202011618299.9A CN202011618299A CN112804504B CN 112804504 B CN112804504 B CN 112804504B CN 202011618299 A CN202011618299 A CN 202011618299A CN 112804504 B CN112804504 B CN 112804504B
Authority
CN
China
Prior art keywords
distance
camera
pupil
position information
center
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011618299.9A
Other languages
English (en)
Other versions
CN112804504A (zh
Inventor
陈昌陶
冉鹏
王鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Jimi Technology Co Ltd
Original Assignee
Chengdu Jimi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Jimi Technology Co Ltd filed Critical Chengdu Jimi Technology Co Ltd
Priority to CN202011618299.9A priority Critical patent/CN112804504B/zh
Publication of CN112804504A publication Critical patent/CN112804504A/zh
Priority to PCT/CN2021/098979 priority patent/WO2022142146A1/zh
Application granted granted Critical
Publication of CN112804504B publication Critical patent/CN112804504B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种画质调整方法、装置、投影仪及计算机可读存储介质。该画质调整方法应用于投影仪,投影仪包括至少两个前置摄像头和至少两个后置摄像头,该方法包括:根据前置摄像头采集的投影图像,确定投影点的位置信息,根据后置摄像头采集的人脸图像,确定人脸图像的瞳孔中心位置信息,根据投影点的位置信息、预设参数和瞳孔中心位置信息,计算人眼关注区域的中心到投影点的距离,其中,人眼关注区域为人眼在投影屏幕内关注的区域,采用超分辨率图像生成技术,调整人眼关注区域的显示分辨率。本发明实现提升投影仪的画质,使用户获得超高分辨率的视觉体验的技术效果。

Description

画质调整方法、装置、投影仪及计算机可读存储介质
技术领域
本发明涉及图像处理领域,尤其涉及一种画质调整方法、装置、投影仪及计算机可读存储介质。
背景技术
受限于网络带宽、影视资源分辨率、投影光机分辨率,现有投影仪很难达到8K或更高画质的清晰度,因此,如何提升投影仪的画质,使用户获得超高分辨率的视觉体验是亟需解决的问题。
发明内容
本发明实施例的目的在于提供一种画质调整方法、装置、投影仪和计算机可读存储介质,用以提升投影仪的画质,使用户获得超高分辨率的视觉体验。
为了实现上述目的,本发明实施例采用的技术方案如下:
第一方面,本发明实施例提供了一种画质调整方法,应用于投影仪,所述投影仪包括至少两个前置摄像头和至少两个后置摄像头,所述方法包括:根据所述前置摄像头采集的投影图像,确定投影点的位置信息;根据所述后置摄像头采集的人脸图像,确定所述人脸图像的瞳孔中心位置信息;根据所述投影点的位置信息、预设参数和所述瞳孔中心位置信息,计算人眼关注区域的中心到所述投影点的距离,其中,所述人眼关注区域为人眼在投影屏幕内关注的区域;采用超分辨率图像生成技术,调整所述人眼关注区域的显示分辨率。
第二方面,本发明实施例提供了一种画质调整装置,应用于投影仪,所述投影仪包括至少两个前置摄像头和至少两个后置摄像头,所述装置包括确定模块、计算模块、调整模块。其中,确定模块,用于根据所述前置摄像头采集的投影图像,确定投影点的位置信息,还用于根据所述后置摄像头采集的人脸图像,确定所述人脸图像的瞳孔中心位置信息;计算模块,用于根据所述投影点的位置信息、预设参数和所述瞳孔中心位置信息,计算人眼关注区域的中心到所述投影点的距离,其中,所述人眼关注区域为人眼在投影屏幕内关注的区域;调整模块,用于采用超分辨率图像生成技术,调整所述人眼关注区域的显示分辨率。
第三方面,本发明实施例还提供了一种投影仪,所述投影仪包括:前置摄像头、后置摄像头、处理器和存储器;存储器,用于存储程序,当所述程序被所述处理器执行时,使得所述处理器实现如第一方面所述的画质调整方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面所述的画质调整方法。
相对于现有技术,本发明实施例提供一种画质调整方法、装置、投影仪和计算机可读存储介质,首先,根据所述前置摄像头采集的投影图像,确定投影点的位置信息,然后,根据所述后置摄像头采集的人脸图像,确定所述人脸图像的瞳孔中心位置信息,再根据所述投影点的位置信息、预设参数和所述瞳孔中心位置信息,计算人眼关注区域的中心到所述投影点的距离,最后,采用超分辨率图像生成技术,调整所述人眼关注区域的显示分辨率。即,通过人眼关注区域的中心到所述投影点的距离,确定人眼关注区域的中心的位置,从而进一步确定人眼关注区域,通过提高人眼关注区域图像的分辨率,实现提升投影仪的画质,使用户获得超高分辨率的视觉体验的技术效果。
附图说明
为了更清楚地说明本发明的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对本发明保护范围的限定。在各个附图中,类似的构成部分采用类似的编号。
图1示出了本申请实施例提供的画质调整方法的步骤流程示意框图;
图2示出了本申请实施例提供的确定瞳孔中心位置信息的子步骤流程示意框图;
图3示出了本申请实施例提供的瞳孔中心、投影仪与投影屏幕的几何关系图;
图4示出了本申请实施例提供的计算人眼关注区域的中心到所述投影点的距离的子步骤流程示意框图;
图5示出了本申请实施例提供的调整显示分辨率的子步骤流程示意框图;
图6示出了本申请实施例提供的画质调整装置的结构示意框图。
主要元件符号说明:
100-投影仪;101-第一前置摄像头;102-第二前置摄像头;103-第一后置摄像头;104-第二后置摄像头;105-第一前置摄像头成像面;106-第二前置摄像头成像面;107-第一后置摄像头成像面;108-第二后置摄像头成像面;109-左瞳孔中心;110-右瞳孔中心;111-人眼关注区域的中心;112-投影点;200-画质调整装置;210-确定模块;220-计算模块;230-调整模块。
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。
通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
在下文中,可在本发明的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合,并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。
此外,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
除非另有限定,否则在这里使用的所有术语(包括技术术语和科学术语)具有与本发明的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义,除非在本发明的各种实施例中被清楚地限定。
实施例1
请参照图1,图1示出了本申请实施例提供的画质调整方法的步骤流程示意框图。
如图1所示,本申请实施例提供的画质调整方法,应用于投影仪,所述投影仪包括至少两个前置摄像头和至少两个后置摄像头,所述方法包括S110至S140。
S110:根据所述前置摄像头采集的投影图像,确定投影点的位置信息。
可以理解的是,前置摄像头和后置摄像头的数量可以根据需求具体设置,在本实施例中,以前置摄像头和后置摄像头的数量均为两个为例进一步叙述。投影点为投影仪投出的画面上的任意一点,不应该理解为光源点。优选地,投影点为两个前置摄像头的中垂线与投影屏幕相交的点。前置摄像头采集的投影图像是一个二维点阵数据,投影点的位置信息就是在投影图像上的行列数。
S120:根据所述后置摄像头采集的人脸图像,确定所述人脸图像的瞳孔中心位置信息。
在本实施例中,后置摄像头采集到人脸图像后,将人脸图像输入至深度学习模型,得到人眼位置信息;根据人眼位置信息和人脸图像,采用瞳孔中心定位算法,确定瞳孔中心位置信息。
可以理解的是,深度学习模型可以采用RetinaFace人脸识别算法等算法。
具体地,瞳孔中心位置信息包括瞳孔区域的中心坐标和左瞳孔中心到右瞳孔中心之间的距离。如图2所示,确定瞳孔中心位置信息,具体包括如下步骤:
S121:根据所述人脸图像和所述人眼位置信息,得到人眼图像。
具体地,根据后置摄像头采集的人脸图像和人眼位置信息,得到人眼区域的图像。
S122:对所述人眼图像进行第一次图像二值化分割,确定眼珠区域。
具体地,设定眼珠像素灰度阈值和瞳孔像素灰度阈值,眼珠像素灰度阈值大于瞳孔阈值像素灰度,对人眼图像进行第一次图像二值化分割,将像素灰度低于眼珠像素灰度阈值的区域确定为眼球中心的眼珠区域,眼珠区域包括眼球中的瞳孔和虹膜区域。
S123:对所述人眼图像的眼珠区域进行第二次图像二值化分割,确定瞳孔区域。
具体地,对眼珠区域进行第二次图像二值化分割,将像素灰度低于瞳孔像素灰度阈值的区域确定为眼球中心的瞳孔区域。
S124:对所述瞳孔区域的图像进行轮廓提取以及椭圆拟合,得到所述瞳孔区域的中心坐标。
S125:根据左瞳孔和右瞳孔的相应瞳孔区域的中心坐标,得到所述左瞳孔中心到右瞳孔中心之间的距离。
具体地,将左瞳孔区域的中心坐标和右瞳孔区域的中心坐标,代入两点间距离公式,得到左瞳孔中心到右瞳孔中心之间的距离。
在本实施例中,根据所述瞳孔中心到眼球左边界的距离和所述瞳孔中心到眼球右边界的距离,通过第五预设公式,得到修正后的瞳孔中心位置信息,所述第五预设公式为:
Figure BDA0002875459650000061
其中,Y'表示所述修正后的瞳孔中心位置信息,Y表示所述瞳孔中心位置信息,Q1表示所述瞳孔中心到所述眼球左边界的距离,Q2表示所述瞳孔中心到所述眼球右边界的距离。
具体地,未修正之前的瞳孔中心位置信息是眼球中心位置信息,根据瞳孔中心到眼球中心的偏离距离,修正瞳孔中心位置信息。
以左瞳孔中心与右瞳孔中心的中间位置作为所述后置摄像头的对焦位置,通过计算所述人脸图像中人眼区域的清晰度,调整所述后置摄像头的焦距。
具体地,计算所述人脸图像中人眼区域的清晰度的方法包括但不限于:Brenner梯度函数、Tenengrad梯度函数、Laplacian梯度函数、SMD(灰度方差)函数、SMD2(灰度方差乘积)函数、方差函数、能量梯度函数、Vollath函数、熵函数。
S130:根据所述投影点的位置信息、预设参数和所述瞳孔中心位置信息,计算人眼关注区域的中心到所述投影点的距离,其中,所述人眼关注区域为人眼在投影屏幕内关注的区域。
请参照图3,图3示出了本实施例中瞳孔中心、投影仪与投影屏幕的几何关系图。投影仪100包括第一前置摄像头101、第二前置摄像头102、第一后置摄像头103和第二后置摄像头104。每个摄像头都有对应的成像面,即,第一前置摄像头101对应第一前置摄像头成像面105,第二前置摄像头102对应第二前置摄像头成像面106,第一后置摄像头103对应第一后置摄像头成像面107,第二后置摄像头104对应第二后置摄像头成像面108。左瞳孔中心109和右瞳孔中心110为用户观看投影屏幕时瞳孔中心的位置,人眼关注区域的中心111是用户在投影仪100上的关注区域中心,投影点112是投影屏幕上任意一点。
在本实施例中,所述前置摄像头包括第一前置摄像头101和第二前置摄像头102,所述后置摄像头包括第一后置摄像头103与第二后置摄像头104,所述第一前置摄像头101和所述第二前置摄像头102的焦距相等,所述第一后置摄像头103和所述第二后置摄像头104的焦距相等,所述第一前置摄像头101到所述投影屏幕的距离与所述第二前置摄像头102到所述投影屏幕的距离相等,根据所述第一前置摄像头101与所述第二前置摄像头102确定第一连线,根据所述第一后置摄像头103与所述第二后置摄像头104确定第二连线,所述第一连线与所述第二连线平行。
预先设置预设参数,所述预设参数包括前置摄像头距离参数、后置摄像头距离参数和前置摄像头的焦距,其中,所述前置摄像头距离参数为第一前置摄像头和第二前置摄像头之间的距离,后置摄像头距离参数为第一后置摄像头和第二后置摄像头之间的距离。
具体地,预先设置前置摄像头距离参数T,即,预先设置第一前置摄像头和第二前置摄像头之间的距离为T;预先设置前置摄像头距离参数T1,即,第一后置摄像头和第二后置摄像头之间的距离为T1;预先设置前置摄像头的焦距为f。
根据所述投影点的位置信息、预设参数和所述瞳孔中心位置信息,计算人眼关注区域的中心到所述投影点的距离,如图4所示,计算人眼关注区域的中心到所述投影点的距离,具体包括如下步骤:
S131:采用第一预设公式,计算投影屏幕到所述前置摄像头的距离,其中,所述第一预设公式为:
Figure BDA0002875459650000081
Z表示所述投影屏幕到所述前置摄像头的距离,f表示所述前置摄像头的焦距,T表示所述第一前置摄像头和所述第二前置摄像头之间的距离,Xl表示所述投影点在所述前置第一摄像头获取的投影图像的横坐标,即所述投影点在所述前置第一摄像头的成像面的横坐标,Xr表示所述投影点在所述前置第二摄像头获取的投影图像的横坐标,即,所述投影仪点在所述前置第二摄像头的成像面的横坐标。
具体地,根据相似三角形的性质,可以得到:
Figure BDA0002875459650000091
经过变形后,得到
Figure BDA0002875459650000092
S132:采用第二预设公式,计算左瞳孔中心到所述第二连线的垂直距离,和右瞳孔中心到所述第二连线的垂直距离,其中,所述第二预设公式为:
Figure BDA0002875459650000093
Z1表示瞳孔中心到所述第二连线的垂直距离,f1表示所述后置摄像头的焦距,T1表示所述第一后置摄像头与第二后置摄像头之间的距离,Yl1表示,人眼在所述后置第一摄像头获取的投影图像的横坐标,即,人眼在所述后置第一摄像头的成像面的横坐标,Yr1表示所述人眼在所述后置第二摄像头获取的投影图像的横坐标,即,所述人眼在所述后置第二摄像头的成像面的横坐标;
具体地,根据相似三角形的性质,可以得到:
Figure BDA0002875459650000094
经过变形后,得到
Figure BDA0002875459650000101
S133:采用第三预设公式,计算人眼的倾斜角度,其中,所述第三预设公式为:
Figure BDA0002875459650000102
θ表示人眼的倾斜角度,Z11表示所述左瞳孔中心到所述第二连线的垂直距离,Z12表示所述右瞳孔中心到所述第二连线的垂直距离,Q表示所述左瞳孔中心到所述右瞳孔中心之间的距离。
S134:采用第四预设公式,计算人眼关注区域的中心到所述投影点的距离,其中,所述第四预设公式为:
Figure BDA0002875459650000103
M表示所述人眼关注区域的中心到所述投影点的距离,W表示所述第一连线到所述第二连线间的距离。
S140:采用超分辨率图像生成技术,调整所述人眼关注区域的显示分辨率。
具体地,通过人眼关注区域的中心到投影点的距离,确定人眼关注区域的中心的位置信息,将人眼关注区域的中心周围的预设范围确定为人眼关注区域,预设范围可根据实际需要人为设置。
进一步地,为了提高人眼关注区域的显示分辨率,如图5所示,采用超分辨率图像生成技术,调整所述人眼关注区域的显示分辨率,具体包括如下步骤:
S141:对所述人眼关注区域的图像进行预处理,得到预处理图像。
具体地,对人眼关注区域的图像进行的预处理包括但不限于直方图均衡处理、中值滤波处理和归一化处理。
S142:将所述预处理图像输入至超分辨率重建网络模型,得到超分辨率重建后的预处理图像。
具体地,超分辨率重建网络模型包括但不限于超分辨卷积神经网络模型(Super-Resolution Convolutional Neural Network,SRCNN)、快速超分辨卷积神经网络模型(Fast Super-Resolution Convolutional Neural Networks,FSRCNN)、高效亚像素卷积神经网络模型(Efficient Sub-Pixel Convolutional Neural Network,ESPCN)和深度卷积网络模型(Very Deep Convolutional Networks,VDSR)。
S143:将所述超分辨率重建后的预处理图像填充至所述人眼关注区域。
具体地,将超分辨率重建后的预处理图像填充至人眼关注区域,提高人眼关注区域的图像的分辨率,使用户获得超高分辨率的视觉体验。
在本实施例中,根据所述前置摄像头采集的投影图像,确定投影点的位置信息,根据所述后置摄像头采集的人脸图像,确定所述人脸图像的瞳孔中心位置信息,根据所述投影点的位置信息、预设参数和所述瞳孔中心位置信息,计算人眼关注区域的中心到所述投影点的距离,采用超分辨率图像生成技术,调整所述人眼关注区域的显示分辨率。即,通过人眼关注区域的中心到所述投影点的距离,确定人眼关注区域的中心的位置,从而进一步确定人眼关注区域,通过提高人眼关注区域图像的分辨率,实现提升投影仪的画质,使用户获得超高分辨率的视觉体验的技术效果。
实施例2
请参照图6,图6示出了本申请实施例提供的画质调整装置的结构示意框图。画质调整装置200应用于投影仪,所述投影仪包括至少两个前置摄像头和至少两个后置摄像头。所述画质调整装置200包括确定模块210、计算模块220、调整模块230。
其中,确定模块210,用于根据所述前置摄像头采集的投影图像,确定投影点的位置信息,还用于根据所述后置摄像头采集的人脸图像,确定所述人脸图像的瞳孔中心位置信息;
计算模块220,用于根据所述投影点的位置信息、预设参数和所述瞳孔中心位置信息,计算人眼关注区域的中心到所述投影点的距离,其中,所述人眼关注区域为人眼在投影屏幕内关注的区域;
调整模块230,用于采用超分辨率图像生成技术,调整所述人眼关注区域的显示分辨率。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和结构图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本发明各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或更多个模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种画质调整方法,其特征在于,应用于投影仪,所述投影仪包括至少两个前置摄像头和至少两个后置摄像头,所述方法包括:
根据所述前置摄像头采集的投影图像,确定投影点的位置信息;
根据所述后置摄像头采集的人脸图像,确定所述人脸图像的瞳孔中心位置信息;
根据所述瞳孔中心到眼球左边界的距离和所述瞳孔中心到眼球右边界的距离,通过第五预设公式,得到修正后的瞳孔中心位置信息,所述第五预设公式为:
Figure FDA0003730359730000011
其中,Y′表示所述修正后的瞳孔中心位置信息,Y表示所述瞳孔中心位置信息,Q1表示所述瞳孔中心到所述眼球左边界的距离,Q2表示所述瞳孔中心到所述眼球右边界的距离;
以左瞳孔中心与右瞳孔中心的中间位置作为所述后置摄像头的对焦位置,通过计算所述人脸图像中人眼区域的清晰度,调整所述后置摄像头的焦距;
根据所述投影点的位置信息、预设参数和所述瞳孔中心位置信息,计算人眼关注区域的中心到所述投影点的距离,其中,所述人眼关注区域为人眼在投影屏幕内关注的区域;
采用超分辨率图像生成技术,调整所述人眼关注区域的显示分辨率。
2.根据权利要求1所述的画质调整方法,其特征在于,所述确定所述人脸图像的瞳孔中心位置信息的步骤,包括:
将所述人脸图像输入至深度学习模型,得到人眼位置信息;
根据所述人眼位置信息和所述人脸图像,采用瞳孔中心定位算法,确定瞳孔中心位置信息。
3.根据权利要求2所述的画质调整方法,其特征在于,所述瞳孔中心位置信息包括瞳孔区域的中心坐标和左瞳孔中心到右瞳孔中心之间的距离,所述根据所述人眼位置信息和所述人脸图像,采用瞳孔中心定位算法,确定瞳孔中心位置信息的步骤,包括:
根据所述人脸图像和所述人眼位置信息,得到人眼图像;
对所述人眼图像进行第一次图像二值化分割,确定眼珠区域;
对所述人眼图像的眼珠区域进行第二次图像二值化分割,确定瞳孔区域;
对所述瞳孔区域的图像进行轮廓提取以及椭圆拟合,得到所述瞳孔区域的中心坐标;
根据左瞳孔和右瞳孔的相应瞳孔区域的中心坐标,得到所述左瞳孔中心到右瞳孔中心之间的距离。
4.根据权利要求1所述的画质调整方法,其特征在于,所述前置摄像头包括第一前置摄像头和第二前置摄像头,所述后置摄像头包括第一后置摄像头与第二后置摄像头,所述第一前置摄像头和所述第二前置摄像头的焦距相等,所述第一后置摄像头和所述第二后置摄像头的焦距相等,所述第一前置摄像头到所述投影屏幕的距离与所述第二前置摄像头到所述投影屏幕的距离相等,根据所述第一前置摄像头与所述第二前置摄像头确定第一连线,根据所述第一后置摄像头与所述第二后置摄像头确定第二连线,所述第一连线与所述第二连线平行,所述根据所述投影点的位置信息、预设参数和所述瞳孔中心位置信息,计算人眼关注区域的中心到所述投影点的距离的步骤,包括:
采用第一预设公式,计算投影屏幕到所述前置摄像头的距离,其中,所述第一预设公式为:
Figure FDA0003730359730000031
Z表示所述投影屏幕到所述前置摄像头的距离,f表示所述前置摄像头的焦距,T表示所述第一前置摄像头和所述第二前置摄像头之间的距离,Xl表示所述投影点在所述前置第一摄像头获取的投影图像的横坐标,Xr表示所述投影点在所述前置第二摄像头获取的投影图像的横坐标;
采用第二预设公式,计算左瞳孔中心到所述第二连线的垂直距离,和右瞳孔中心到所述第二连线的垂直距离,其中,所述第二预设公式为:
Figure FDA0003730359730000032
Z1表示瞳孔中心到所述第二连线的垂直距离,f1表示所述后置摄像头的焦距,T1表示所述第一后置摄像头与第二后置摄像头之间的距离,Yl1表示人眼在所述后置第一摄像头获取的投影图像的横坐标,Yr1表示所述人眼在所述后置第二摄像头获取的投影图像的横坐标;
采用第三预设公式,计算人眼的倾斜角度,其中,所述第三预设公式为:
Figure FDA0003730359730000033
θ表示人眼的倾斜角度,Z11表示所述左瞳孔中心到所述第二连线的垂直距离,Z12表示所述右瞳孔中心到所述第二连线的垂直距离,Q表示所述左瞳孔中心到所述右瞳孔中心之间的距离;
采用第四预设公式,计算人眼关注区域的中心到所述投影点的距离,其中,所述第四预设公式为:
Figure FDA0003730359730000034
M表示所述人眼关注区域的中心到所述投影点的距离,W表示所述第一连线到所述第二连线的距离。
5.根据权利要求4所述的画质调整方法,其特征在于,还包括:
预先设置预设参数,所述预设参数包括前置摄像头距离参数、后置摄像头距离参数和前置摄像头的焦距,其中,所述前置摄像头距离参数为第一前置摄像头和第二前置摄像头之间的距离,后置摄像头距离参数为第一后置摄像头和第二后置摄像头之间的距离。
6.根据权利要求1所述的画质调整方法,其特征在于,所述采用超分辨率图像生成技术,调整所述人眼关注区域的显示分辨率的步骤,包括:
对所述人眼关注区域的图像进行预处理,得到预处理图像;
将所述预处理图像输入至超分辨率重建网络模型,得到超分辨率重建后的预处理图像;
将所述超分辨率重建后的预处理图像填充至所述人眼关注区域。
7.一种画质调整装置,其特征在于,应用于投影仪,所述投影仪包括至少两个前置摄像头和至少两个后置摄像头,所述装置包括:
确定模块,用于根据所述前置摄像头采集的投影图像,确定投影点的位置信息,还用于根据所述后置摄像头采集的人脸图像,确定所述人脸图像的瞳孔中心位置信息;
修正模块,用于根据所述瞳孔中心到眼球左边界的距离和所述瞳孔中心到眼球右边界的距离,通过第五预设公式,得到修正后的瞳孔中心位置信息,所述第五预设公式为:
Figure FDA0003730359730000041
其中,Y′表示所述修正后的瞳孔中心位置信息,Y表示所述瞳孔中心位置信息,Q1表示所述瞳孔中心到所述眼球左边界的距离,Q2表示所述瞳孔中心到所述眼球右边界的距离;
焦距调整模块,用于以左瞳孔中心与右瞳孔中心的中间位置作为所述后置摄像头的对焦位置,通过计算所述人脸图像中人眼区域的清晰度,调整所述后置摄像头的焦距;
计算模块,用于根据所述投影点的位置信息、预设参数和所述瞳孔中心位置信息,计算人眼关注区域的中心到所述投影点的距离,其中,所述人眼关注区域为人眼在投影屏幕内关注的区域;
调整模块,用于采用超分辨率图像生成技术,调整所述人眼关注区域的显示分辨率。
8.一种投影仪,其特征在于,所述投影仪包括:
前置摄像头、后置摄像头、处理器和存储器;
存储器,用于存储程序,当所述程序被所述处理器执行时,使得所述处理器实现如权利要求1-6中任一项所述的方法。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述的方法。
CN202011618299.9A 2020-12-31 2020-12-31 画质调整方法、装置、投影仪及计算机可读存储介质 Active CN112804504B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011618299.9A CN112804504B (zh) 2020-12-31 2020-12-31 画质调整方法、装置、投影仪及计算机可读存储介质
PCT/CN2021/098979 WO2022142146A1 (zh) 2020-12-31 2021-06-08 画质调整方法、装置、投影仪及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011618299.9A CN112804504B (zh) 2020-12-31 2020-12-31 画质调整方法、装置、投影仪及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN112804504A CN112804504A (zh) 2021-05-14
CN112804504B true CN112804504B (zh) 2022-10-04

Family

ID=75805854

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011618299.9A Active CN112804504B (zh) 2020-12-31 2020-12-31 画质调整方法、装置、投影仪及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN112804504B (zh)
WO (1) WO2022142146A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112804504B (zh) * 2020-12-31 2022-10-04 成都极米科技股份有限公司 画质调整方法、装置、投影仪及计算机可读存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6407777B1 (en) * 1997-10-09 2002-06-18 Deluca Michael Joseph Red-eye filter method and apparatus
CN101840509A (zh) * 2010-04-30 2010-09-22 深圳华昌视数字移动电视有限公司 人眼观察视角的测量方法及装置
CN102473033A (zh) * 2009-09-29 2012-05-23 阿尔卡特朗讯 一种注视点检测方法及其装置
CN103946887A (zh) * 2011-11-09 2014-07-23 乐天株式会社 注视位置估计系统、注视位置估计系统的控制方法、注视位置估计装置、注视位置估计装置的控制方法、程序以及信息存储介质
CN104683786A (zh) * 2015-02-28 2015-06-03 上海玮舟微电子科技有限公司 裸眼3d设备的人眼跟踪方法及装置
CN109359512A (zh) * 2018-08-28 2019-02-19 深圳壹账通智能科技有限公司 眼球位置追踪方法、装置、终端及计算机可读存储介质
CN109522775A (zh) * 2017-09-19 2019-03-26 杭州海康威视数字技术股份有限公司 人脸属性检测方法、装置及电子设备
CN110263657A (zh) * 2019-05-24 2019-09-20 亿信科技发展有限公司 一种人眼追踪方法、装置、系统、设备和存储介质

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3630015B2 (ja) * 1999-04-21 2005-03-16 セイコーエプソン株式会社 投写型表示装置及び情報記憶媒体
JP4538924B2 (ja) * 2000-08-30 2010-09-08 沖電気工業株式会社 眼画像撮影装置
US20050131535A1 (en) * 2003-12-15 2005-06-16 Randall Woods Intraocular lens implant having posterior bendable optic
CN103747183B (zh) * 2014-01-15 2017-02-15 北京百纳威尔科技有限公司 一种手机拍摄对焦方法
US9636215B2 (en) * 2014-03-10 2017-05-02 Amo Groningen B.V. Enhanced toric lens that improves overall vision where there is a local loss of retinal function
US9485414B2 (en) * 2014-06-20 2016-11-01 John Visosky Eye contact enabling device for video conferencing
US20170263017A1 (en) * 2016-03-11 2017-09-14 Quan Wang System and method for tracking gaze position
CN105763810B (zh) * 2016-03-28 2019-04-16 努比亚技术有限公司 基于人眼的拍照装置及方法
JP6780315B2 (ja) * 2016-06-22 2020-11-04 カシオ計算機株式会社 投影装置、投影システム、投影方法及びプログラム
CN106531073B (zh) * 2017-01-03 2018-11-20 京东方科技集团股份有限公司 显示屏的处理电路、显示方法及显示器件
KR102461253B1 (ko) * 2017-07-24 2022-10-31 삼성전자주식회사 시선 추적기를 구비하는 투사형 디스플레이 장치
CN108334870A (zh) * 2018-03-21 2018-07-27 四川意高汇智科技有限公司 Ar设备数据服务器状态的远程监控系统
CN108665521B (zh) * 2018-05-16 2020-06-02 京东方科技集团股份有限公司 图像渲染方法、装置、系统、计算机可读存储介质及设备
JP2019216344A (ja) * 2018-06-12 2019-12-19 日本放送協会 全天周立体映像表示装置及びそのプログラム、全天周立体映像撮影装置、並びに、全天周立体映像システム
CN110225252B (zh) * 2019-06-11 2021-07-23 Oppo广东移动通信有限公司 拍照控制方法及相关产品
CN110780739B (zh) * 2019-10-18 2023-11-03 天津理工大学 基于注视点估计的眼控辅助输入方法
CN111046744B (zh) * 2019-11-21 2023-04-18 深圳云天励飞技术股份有限公司 一种关注区域检测方法、装置、可读存储介质及终端设备
CN111290581B (zh) * 2020-02-21 2024-04-16 京东方科技集团股份有限公司 虚拟现实显示方法、显示装置及计算机可读介质
CN112804504B (zh) * 2020-12-31 2022-10-04 成都极米科技股份有限公司 画质调整方法、装置、投影仪及计算机可读存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6407777B1 (en) * 1997-10-09 2002-06-18 Deluca Michael Joseph Red-eye filter method and apparatus
CN102473033A (zh) * 2009-09-29 2012-05-23 阿尔卡特朗讯 一种注视点检测方法及其装置
CN101840509A (zh) * 2010-04-30 2010-09-22 深圳华昌视数字移动电视有限公司 人眼观察视角的测量方法及装置
CN103946887A (zh) * 2011-11-09 2014-07-23 乐天株式会社 注视位置估计系统、注视位置估计系统的控制方法、注视位置估计装置、注视位置估计装置的控制方法、程序以及信息存储介质
CN104683786A (zh) * 2015-02-28 2015-06-03 上海玮舟微电子科技有限公司 裸眼3d设备的人眼跟踪方法及装置
CN109522775A (zh) * 2017-09-19 2019-03-26 杭州海康威视数字技术股份有限公司 人脸属性检测方法、装置及电子设备
CN109359512A (zh) * 2018-08-28 2019-02-19 深圳壹账通智能科技有限公司 眼球位置追踪方法、装置、终端及计算机可读存储介质
CN110263657A (zh) * 2019-05-24 2019-09-20 亿信科技发展有限公司 一种人眼追踪方法、装置、系统、设备和存储介质

Also Published As

Publication number Publication date
CN112804504A (zh) 2021-05-14
WO2022142146A1 (zh) 2022-07-07

Similar Documents

Publication Publication Date Title
US8059870B2 (en) Time-of-flight sensor-assisted iris capture system and method
CN108833770B (zh) 用于调焦的图像清晰度计算方法、计算设备及调焦系统
CN102474573B (zh) 图像处理装置以及图像处理方法
US20230260145A1 (en) Depth Determination for Images Captured with a Moving Camera and Representing Moving Features
US20170323465A1 (en) Image processing apparatus, image processing method, and storage medium
WO2019042216A1 (zh) 图像虚化处理方法、装置及拍摄终端
CN110910330B (zh) 图像处理方法、图像处理装置、电子设备和可读存储介质
CN111368717B (zh) 视线确定方法、装置、电子设备和计算机可读存储介质
CN108234858B (zh) 图像虚化处理方法、装置、存储介质及电子设备
CN108230333B (zh) 图像处理方法、装置、计算机程序、存储介质和电子设备
CN110766639A (zh) 图像增强方法、装置、移动设备及计算机可读存储介质
US20120269443A1 (en) Method, apparatus, and program for detecting facial characteristic points
KR102262671B1 (ko) 비디오 영상에 보케 효과를 적용하는 방법 및 기록매체
US20220270215A1 (en) Method for applying bokeh effect to video image and recording medium
CN111968052B (zh) 图像处理方法、图像处理装置及存储介质
US20240242451A1 (en) Method for 3d reconstruction, apparatus, system, and storage medium
CN111028170A (zh) 图像处理方法、图像处理装置、电子设备和可读存储介质
CN111192205A (zh) 一种图像去雾方法、系统和计算机可读存储介质
CN107436681A (zh) 自动调节文字的显示大小的移动终端及其方法
CN112804504B (zh) 画质调整方法、装置、投影仪及计算机可读存储介质
CN111105370A (zh) 图像处理方法、图像处理装置、电子设备和可读存储介质
CN112507818B (zh) 一种基于近红外图像的光照估计方法及系统
CN117274605B (zh) 一种从无人机拍摄的照片中提取水域轮廓的方法及装置
CN113822927A (zh) 一种适用弱质量图像的人脸检测方法、装置、介质及设备
CN108830804B (zh) 基于线扩展函数标准差的虚实融合模糊一致性处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant