CN105989577A - 一种图像校正的方法和装置 - Google Patents

一种图像校正的方法和装置 Download PDF

Info

Publication number
CN105989577A
CN105989577A CN201510086541.5A CN201510086541A CN105989577A CN 105989577 A CN105989577 A CN 105989577A CN 201510086541 A CN201510086541 A CN 201510086541A CN 105989577 A CN105989577 A CN 105989577A
Authority
CN
China
Prior art keywords
image plane
picture
virtual
photographic head
central point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510086541.5A
Other languages
English (en)
Other versions
CN105989577B (zh
Inventor
吴钊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201510086541.5A priority Critical patent/CN105989577B/zh
Priority to PCT/CN2015/079708 priority patent/WO2016131217A1/zh
Publication of CN105989577A publication Critical patent/CN105989577A/zh
Application granted granted Critical
Publication of CN105989577B publication Critical patent/CN105989577B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种图像校正的方法,该方法包括:建立双眼注视终端屏幕画面时的原始视线对应的虚拟原始像平面,以及校正后的视线对应的虚拟校正像平面;将所述终端屏幕画面上显示的双眼图像从所述虚拟原始像平面映射到所述虚拟校正像平面上;用所述虚拟校正像平面上的双眼图像替换掉终端屏幕画面中的双眼图像。本发明能够对近距离拍摄画面中人物的视线进行校正,校正后的人物视线接近直视状态。本发明还公开了一种图像校正的装置。

Description

一种图像校正的方法和装置
技术领域
本发明涉及图像处理技术领域,尤其涉及的是一种图像校正的方法和装置。
背景技术
手机自拍或者视频通话的时候,因为人眼注视的目标是屏幕,而摄像头与注视的焦点有位置差,这个位置差在近距离拍照或者摄像的时候会造成人眼的视线偏差,使得画面中人物的视线总是向下(眼睛朝下看),用户体验不理想。
发明内容
本发明所要解决的技术问题是提供一种图像校正的方法和装置,能够对近距离拍摄画面中人物的视线进行校正,校正后的人物视线接近直视状态。
为了解决上述技术问题,本发明提供了一种图像校正的方法,该方法包括:
建立双眼注视终端屏幕画面时的原始视线对应的虚拟原始像平面,以及校正后的视线对应的虚拟校正像平面;
将所述终端屏幕画面上显示的双眼图像从所述虚拟原始像平面映射到所述虚拟校正像平面上;
用所述虚拟校正像平面上的双眼图像替换掉终端屏幕画面中的双眼图像。
进一步地,该方法还包括下述特点:
建立双眼注视终端屏幕画面时的原始视线对应的虚拟原始像平面,以及校正后的视线对应的虚拟校正像平面,包括:
建立注视焦点落在终端屏幕画面中双眼中心点时对应的虚拟原始像平面;其中,所述虚拟原始像平面与经过双眼中心点和所述终端屏幕画面中双眼中心点的原始视线垂直相交于所述双眼中心点;
建立注视焦点落在所述摄像头时对应的虚拟校正像平面;其中,所述虚拟校正像平面与经过双眼中心点和所述摄像头的校正视线垂直相交于所述双眼中心点。
进一步地,该方法还包括下述特点:
将所述终端屏幕画面上显示的双眼图像从所述虚拟原始像平面映射到所述虚拟校正像平面上,包括:
将终端屏幕画面上显示的双眼图像的上半部分纵向根据函数f1(y)进行变化,将终端屏幕画面上显示的双眼图像的下半部分纵向根据函数f2(y)进行变化;
其中,f1(y)和f2(y)的函数式相同或不相同,y是终端屏幕画面上显示的双眼图像在直角坐标系中的纵坐标,所述直角坐标系的横轴为经过图像中双眼瞳孔中心的坐标轴,所述直角坐标系的纵轴垂直于所述横轴,所述横轴以上为双眼图像的上半部分,所述横轴以下为双眼图像的下半部分。
进一步地,该方法还包括下述特点:
如果校正后的视线垂直于摄像头所在的终端屏幕平面,则
f1(y)=|y|/(cosθ+(|y|/α)·sinθ),y≥0;
f2(y)=-|y|/(cosθ-(|y|/α)·sinθ),y<0;
其中,α是摄像头焦距;
其中,θ是虚拟原始像平面与虚拟校正像平面之间的夹角,θ=arctan(d1/d2);
其中,d1是摄像头与所述屏幕画面中双眼中心点之间的距离值,d2是摄像头与双眼中心点之间的距离值。
进一步地,该方法还包括下述特点:
所述方法还包括:
获取摄像头与人物双眼中心点之间的距离值,以及摄像头与屏幕画面中双眼中心点的距离值;
其中,摄像头与人物双眼中心点之间的距离值预先设定或通过红外传感器测距获得;其中,所述红外传感器装配在所述摄像头旁边;
其中,摄像头与屏幕画面中双眼中心点的距离值根据摄像头的物理位置,对屏幕画面中双眼位置进行分析和计算后获得。
进一步地,该方法还包括下述特点:
如检测到用户拍摄了双眼直视摄像头的参考图像,则用所述虚拟校正像平面上的双眼图像替换掉终端屏幕画面中的双眼图像之前,还包括:
根据所述参考图像中的眼睛图像参数调整所述虚拟校正像平面上的眼睛的外轮廓的外接矩形的长宽比、眼球的外接矩形的长宽比、以及眼皮遮盖眼球的区域的宽度。
进一步地,该方法还包括下述特点:
用所述虚拟校正像平面上的双眼图像替换掉终端屏幕画面中的双眼图像后,还包括:
对替换完成后的图像进行边缘融合处理。
为了解决上述技术问题,本发明提供了一种图像校正的装置,包括:
虚拟像平面构造模块,用于建立双眼注视终端屏幕画面时的原始视线对应的虚拟原始像平面,以及校正后的视线对应的虚拟校正像平面;
映射模块,用于将所述终端屏幕画面上显示的双眼图像从所述虚拟原始像平面映射到所述虚拟校正像平面上;
图像合成模块,用于用所述虚拟校正像平面上的双眼图像替换掉终端屏幕画面中的双眼图像。
进一步地,该装置还包括下述特点:
虚拟像平面构造模块,用于建立双眼注视终端屏幕画面时的原始视线对应的虚拟原始像平面,以及校正后的视线对应的虚拟校正像平面,包括:
建立注视焦点落在终端屏幕画面中双眼中心点时对应的虚拟原始像平面;其中,所述虚拟原始像平面与经过双眼中心点和所述终端屏幕画面中双眼中心点的原始视线垂直相交于所述双眼中心点;
建立注视焦点落在所述摄像头时对应的虚拟校正像平面;其中,所述虚拟校正像平面与经过双眼中心点和所述摄像头的校正视线垂直相交于所述双眼中心点。
进一步地,该装置还包括下述特点:
映射模块,用于将所述终端屏幕画面上显示的双眼图像从所述虚拟原始像平面映射到所述虚拟校正像平面上,包括:
将终端屏幕画面上显示的双眼图像的上半部分纵向根据函数f1(y)进行变化,将终端屏幕画面上显示的双眼图像的下半部分纵向根据函数f2(y)进行变化;
其中,f1(y)和f2(y)的函数式相同或不相同,y是终端屏幕画面上显示的双眼图像在直角坐标系中的纵坐标,所述直角坐标系的横轴为经过图像中双眼瞳孔中心的坐标轴,所述直角坐标系的纵轴垂直于所述横轴,所述横轴以上为双眼图像的上半部分,所述横轴以下为双眼图像的下半部分。
进一步地,该装置还包括下述特点:
如果校正后的视线垂直于摄像头所在的终端屏幕平面,则
f1(y)=|y|/(cosθ+(|y|/α)·sinθ),y≥0;
f2(y)=-|y|/(cosθ-(|y|/α)·sinθ),y<0;
其中,α是摄像头焦距;
其中,θ是虚拟原始像平面与虚拟校正像平面之间的夹角,θ=arctan(d1/d2);
其中,d1是摄像头与所述屏幕画面中双眼中心点之间的距离值,d2是摄像头与双眼中心点之间的距离值。
进一步地,该装置还包括下述特点:
所述装置还包括:
数据获取模块,用于获取摄像头与人物双眼中心点之间的距离值,以及摄像头与屏幕画面中双眼中心点的距离值;
其中,摄像头与人物双眼中心点之间的距离值预先设定或通过红外传感器测距获得;其中,所述红外传感器装配在所述摄像头旁边;
其中,摄像头与屏幕画面中双眼中心点的距离值根据摄像头的物理位置,对屏幕画面中双眼位置进行分析和计算后获得。
进一步地,该装置还包括下述特点:
图像合成模块,还用于如检测到用户拍摄了双眼直视摄像头的参考图像,则用所述虚拟校正像平面上的双眼图像替换掉终端屏幕画面中的双眼图像之前,还根据所述参考图像中的眼睛图像参数调整所述虚拟校正像平面上的眼睛的外轮廓的外接矩形的长宽比、眼球的外接矩形的长宽比、以及眼皮遮盖眼球的区域的宽度。
进一步地,该装置还包括下述特点:
图像合成模块,还用于用所述虚拟校正像平面上的双眼图像替换掉终端屏幕画面中的双眼图像后,还对替换完成后的图像进行边缘融合处理。
与现有技术相比,本发明提供的一种图像校正的方法和装置,利用摄像头、人眼和屏幕画面中双眼图像之间的位置关系对近距离拍摄画面中的人物视线进行校正,校正后的人物视线接近直视状态。
附图说明
图1为本发明实施例的一种图像校正的方法的流程图。
图2为本发明中近距离拍摄时人眼视线的示意图。
图3为本发明实施例中虚拟原始像平面和虚拟校正像平面的示意图。
图4为校正视线垂直屏幕时虚拟原始像平面和虚拟校正像平面夹角的示意图。
图5为虚拟原始像平面和虚拟校正像平面成像原理示意图。
图6为将人眼图像从虚拟原始像平面映射到虚拟校正像平面的效果示意图。
图7为人眼图像的参数。
图8为本发明实施例的一种图像校正的装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下文中将结合附图对本发明的实施例进行详细说明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互任意组合。
如图1所示,本发明实施例提供了一种图像校正的方法,该方法包括:
S10,建立双眼注视终端屏幕画面时的原始视线对应的虚拟原始像平面,以及校正后的视线对应的虚拟校正像平面;
S20,将所述终端屏幕画面上显示的双眼图像从所述虚拟原始像平面映射到所述虚拟校正像平面上;
S30,用所述虚拟校正像平面上的双眼图像替换掉终端屏幕画面中的双眼图像;
所述方法还可以包括下述特点:
其中,所述方法应用于视频通话或自拍;
其中,如图2所示,终端屏幕画面中显示的人物图像(笑脸)中双眼中心点C与前置摄像头B之间具有一定的距离,C点与B点之间的水平距离为图中标记的x,垂直距离为图中标记的y;人物双眼中心点记作A点,经过A、C两点的直线与经过A、B两点的直线之间的夹角为图中标记的∠b。
其中,建立双眼注视终端屏幕画面时的原始视线对应的虚拟原始像平面,以及校正后的视线对应的虚拟校正像平面,包括:
建立注视焦点落在终端屏幕画面中双眼中心点时对应的虚拟原始像平面;其中,所述虚拟原始像平面与经过双眼中心点和所述终端屏幕画面中双眼中心点的原始视线垂直相交于所述双眼中心点;
建立注视焦点落在所述摄像头时对应的虚拟校正像平面;其中,所述虚拟校正像平面与经过双眼中心点和所述摄像头的校正视线垂直相交于所述双眼中心点;
如图3所示,A点为人物双眼中心点,B点为前置摄像头,C点为屏幕画面中双眼中心点。D点为终端屏幕上的一点,B点、C点和D点构成一个直角三角形,其中,∠BDC为直角。人眼原始视线落在屏幕画面中双眼中心点时对应的虚拟原始像平面为图中的平面a,直线与平面a垂直相交于A点;人眼校正视线落在所述摄像头时对应的虚拟校正像平面为图中的平面b,直线与平面b垂直相交于A点;平面a与平面b的夹角θ等于∠BAC。
其中,将所述终端屏幕画面上显示的双眼图像从所述虚拟原始像平面映射到所述虚拟校正像平面上,包括:
将终端屏幕画面上显示的双眼图像的上半部分纵向根据函数f1(y)进行变化,将终端屏幕画面上显示的双眼图像的下半部分纵向根据函数f2(y)进行变化;
其中,f1(y)和f2(y)相同或不相同,y是终端屏幕画面上显示的双眼图像在直角坐标系中的纵坐标,所述直角坐标系的横轴为经过图像中双眼瞳孔中心的坐标轴,所述直角坐标系的纵轴垂直于所述横轴,所述横轴以上为双眼图像的上半部分,所述横轴以下为双眼图像的下半部分;
其中,在自拍或者视频通话过程中,如果人眼视线与摄像头所在的手机平面垂直,手机平面跟人脸平面平行,则能够获得最好的拍摄角度和观看角度,也即,人眼视线近似垂直状态。
其中,如图4所示,如果校正后的视线垂直于摄像头所在的终端屏幕平面,则虚拟原始像平面(a平面)与虚拟校正像平面(b平面)之间的夹角θ的值为:θ=arctan(d1/d2);
其中,d1是摄像头B与所述屏幕画面中双眼中心点C之间的距离值,d2是摄像头与人物双眼中心点A之间的距离值;如图4所示,d1等于的长度,d2等于的长度,△ABC是直角三角形,AB⊥BC,AB垂直于b平面,AC垂直于a平面。
其中,如图5所示,B点为摄像头,o点为虚拟原始像平面a与虚拟校正像平面b交线上的点,o’为o点在摄像头成像平面上的像点;
为了计算虚拟原始像平面a和虚拟校正像平面b之间的映射关系,也即,为了计算视线调整后的人眼图像与原始人眼图像之间的关系,假设c点是虚拟原始像平面a的上半平面上的任意一个像素点,d点是虚拟原始像平面a的下半平面上的任意一个像素点,e点是虚拟校正像平面b的上半平面上的任意一个像素点,f点是虚拟校正像平面b的下半平面上的任意一个像素点,c’点是虚拟原始像平面a的上半平面上的c点在摄像头成像平面上成的像点,d’点是虚拟原始像平面a的下半平面上的d点在摄像头成像平面上成的像点,e’点是虚拟校正像平面b的上半平面上的e点在摄像头成像平面上成的像点,f’点是虚拟校正像平面b的下半平面上的f点在摄像头成像平面上成的像点;从c点向oo’轴作垂线cm,cm与oo’轴交于m点,从d点向oo’轴作垂线dn,dn与oo’轴交于n点;如果则:
o &prime; e &prime; &OverBar; = oe &OverBar; &CenterDot; ( Bo &prime; &OverBar; / Bo &OverBar; ) - - - ( 1 - 1 )
o &prime; c &prime; &OverBar; = ( oc &OverBar; &CenterDot; cos &theta; ) ( B o &prime; &OverBar; / ( Bo &OverBar; - co &OverBar; &CenterDot; sin &theta; ) ; - - - ( 1 - 2 )
因为 oc &OverBar; = oe &OverBar; ; - - - ( 1 - 3 )
所以得到 o &prime; e &prime; &OverBar; = ( Bo &OverBar; &prime; &CenterDot; o &prime; c &prime; &OverBar; &theta; / ( B o &prime; &OverBar; &CenterDot; cos &theta; + o &prime; c &prime; &OverBar; &CenterDot; sin &theta; ) ; - - - ( 1 - 4 )
o &prime; f &prime; &OverBar; = of &OverBar; &CenterDot; ( B o &prime; &OverBar; / Bo &OverBar; ) ; - - - ( 1 - 5 )
o &prime; d &prime; &OverBar; = ( od &OverBar; &CenterDot; cos &theta; ) ( B o &prime; &OverBar; / ( Bo &OverBar; + od &OverBar; &CenterDot; sin &theta; ) ; - - - ( 1 - 6 )
因为 of &OverBar; = od &OverBar; ; - - - ( 1 - 7 )
所以得到 o &prime; f &prime; &OverBar; = Bo &OverBar; &prime; &CenterDot; o &prime; d &prime; &OverBar; / ( B o &prime; &OverBar; &CenterDot; cos &theta; - o &prime; d &prime; &OverBar; &CenterDot; sin &theta; ) ; - - - ( 1 - 8 )
因此,f1(y)=(α·|y|)/(α·cosθ+|y|·sinθ),y≥0; (1-9)
也即,f1(y)=|y|/(cosθ+(|y|/α)·sinθ),y≥0; (1-10)
f2(y)=-(α·|y|)/(α·cosθ-|y|·sinθ),y<0; (1-11)
也即,f2(y)=-|y|/(cosθ-(|y|/α)·sinθ),y<0; (1-12)
其中,α是摄像头焦距,y是终端屏幕画面上显示的双眼图像在直角坐标系中的纵坐标,所述直角坐标系的横轴为经过图像中双眼瞳孔中心的坐标轴,所述直角坐标系的纵轴垂直于所述横轴。
其中,所述方法还包括:
获取摄像头与人物双眼中心点之间的距离值,以及摄像头与屏幕画面中双眼中心点的距离值;
其中,摄像头与人物双眼中心点之间的距离值预先设定或通过红外传感器测距获得;其中,所述红外传感器装配在所述摄像头旁边;
其中,摄像头与屏幕画面中双眼中心点的距离值根据摄像头的物理位置,对屏幕画面中双眼位置进行分析和计算后获得。
如图6所示,经过视线校正后,眼睛上半部分沿纵向缩短了,眼睛下半部分沿纵向拉伸了,眼皮的遮盖区域变窄了,校正后的视线接近眼睛直视状态。
其中,如检测到用户拍摄了双眼直视摄像头的参考图像,则用所述虚拟校正像平面上的双眼图像替换掉终端屏幕画面中的双眼图像之前,还包括:
根据所述参考图像中的眼睛图像参数调整所述虚拟校正像平面上的眼睛的外轮廓的外接矩形的长宽比、眼球的外接矩形的长宽比、以及眼皮遮盖眼球的区域的宽度。调整后的眼睛图像的比例接近参考图像中眼睛图像的比例。
如图7所示,参考图像中的眼睛图像的参数包括:眼睛的外轮廓的外接矩形的横向长度(长)Lx,纵向长度(宽)Ly,眼球的外接矩形的横向长度(长)Lx1,纵向长度(宽)Ly,眼皮遮盖眼球的区域的宽度Ly1。
其中,用所述虚拟校正像平面上的双眼图像替换掉终端屏幕画面中的双眼图像后,还包括:
对替换完成后的图像进行边缘融合处理。
如图8所示,本发明实施例提供了一种图像校正的装置,包括:
虚拟像平面构造模块,用于建立双眼注视终端屏幕画面时的原始视线对应的虚拟原始像平面,以及校正后的视线对应的虚拟校正像平面;
映射模块,用于将所述终端屏幕画面上显示的双眼图像从所述虚拟原始像平面映射到所述虚拟校正像平面上;
图像合成模块,用于用所述虚拟校正像平面上的双眼图像替换掉终端屏幕画面中的双眼图像。
所述图像校正的装置还可以包括下述特点:
其中,虚拟像平面构造模块,用于建立双眼注视终端屏幕画面时的原始视线对应的虚拟原始像平面,以及校正后的视线对应的虚拟校正像平面,包括:
建立注视焦点落在终端屏幕画面中双眼中心点时对应的虚拟原始像平面;其中,所述虚拟原始像平面与经过双眼中心点和所述终端屏幕画面中双眼中心点的原始视线垂直相交于所述双眼中心点;
建立注视焦点落在所述摄像头时对应的虚拟校正像平面;其中,所述虚拟校正像平面与经过双眼中心点和所述摄像头的校正视线垂直相交于所述双眼中心点。
其中,映射模块,用于将所述终端屏幕画面上显示的双眼图像从所述虚拟原始像平面映射到所述虚拟校正像平面上,包括:
将终端屏幕画面上显示的双眼图像的上半部分纵向根据函数f1(y)进行变化,将终端屏幕画面上显示的双眼图像的下半部分纵向根据函数f2(y)进行变化;
其中,f1(y)和f2(y)的函数式相同或不相同,y是终端屏幕画面上显示的双眼图像在直角坐标系中的纵坐标,所述直角坐标系的横轴为经过图像中双眼瞳孔中心的坐标轴,所述直角坐标系的纵轴垂直于所述横轴,所述横轴以上为双眼图像的上半部分,所述横轴以下为双眼图像的下半部分。
其中,如果校正后的视线垂直于摄像头所在的终端屏幕平面,则
f1(y)=|y|/(cosθ+(|y|/α)·sinθ),y≥0;
f2(y)=-|y|/(cosθ-(|y|/α)·sinθ),y<0;
其中,α是摄像头焦距;
其中,θ是虚拟原始像平面与虚拟校正像平面之间的夹角,θ=arctan(d1/d2);
其中,d1是摄像头与所述屏幕画面中双眼中心点之间的距离值,d2是摄像头与双眼中心点之间的距离值。
其中,θ是虚拟原始像平面与虚拟校正像平面之间的夹角,θ=arctan(d1/d2);
其中,d1是摄像头与所述屏幕画面中双眼中心点之间的距离值,d2是摄像头与双眼中心点之间的距离值。
其中,所述装置还包括:
数据获取模块,用于获取摄像头与人物双眼中心点之间的距离值,以及摄像头与屏幕画面中双眼中心点的距离值;
其中,摄像头与人物双眼中心点之间的距离值预先设定或通过红外传感器测距获得;其中,所述红外传感器装配在所述摄像头旁边;
其中,摄像头与屏幕画面中双眼中心点的距离值根据摄像头的物理位置,对屏幕画面中双眼位置进行分析和计算后获得。
其中,图像合成模块,还用于如检测到用户拍摄了双眼直视摄像头的参考图像,则用所述虚拟校正像平面上的双眼图像替换掉终端屏幕画面中的双眼图像之前,还根据所述参考图像中的眼睛图像参数调整所述虚拟校正像平面上的眼睛的外轮廓的外接矩形的长宽比、眼球的外接矩形的长宽比、以及眼皮遮盖眼球的区域的宽度。调整后的眼睛图像的比例接近参考图像中眼睛图像的比例。
其中,图像合成模块,还用于用所述虚拟校正像平面上的双眼图像替换掉终端屏幕画面中的双眼图像后,还对替换完成后的图像进行边缘融合处理。
上述实施例提供的一种图像校正的方法和装置,利用摄像头、人眼和屏幕画面中双眼图像之间的位置关系对近距离拍摄画面中的人物视线进行校正,校正后的人物视线接近直视状态。
本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成,所述程序可以存储于计算机可读存储介质中,如只读存储器、磁盘或光盘等。可选地,上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现,相应地,上述实施例中的各模块/单元可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。
需要说明的是,本发明还可有其他多种实施例,在不背离本发明精神及其实质的情况下,熟悉本领域的技术人员可根据本发明作出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (14)

1.一种图像校正的方法,该方法包括:
建立双眼注视终端屏幕画面时的原始视线对应的虚拟原始像平面,以及校正后的视线对应的虚拟校正像平面;
将所述终端屏幕画面上显示的双眼图像从所述虚拟原始像平面映射到所述虚拟校正像平面上;
用所述虚拟校正像平面上的双眼图像替换掉终端屏幕画面中的双眼图像。
2.如权利要求1所述的方法,其特征在于:
建立双眼注视终端屏幕画面时的原始视线对应的虚拟原始像平面,以及校正后的视线对应的虚拟校正像平面,包括:
建立注视焦点落在终端屏幕画面中双眼中心点时对应的虚拟原始像平面;其中,所述虚拟原始像平面与经过双眼中心点和所述终端屏幕画面中双眼中心点的原始视线垂直相交于所述双眼中心点;
建立注视焦点落在所述摄像头时对应的虚拟校正像平面;其中,所述虚拟校正像平面与经过双眼中心点和所述摄像头的校正视线垂直相交于所述双眼中心点。
3.如权利要求2所述的方法,其特征在于:
将所述终端屏幕画面上显示的双眼图像从所述虚拟原始像平面映射到所述虚拟校正像平面上,包括:
将终端屏幕画面上显示的双眼图像的上半部分纵向根据函数f1(y)进行变化,将终端屏幕画面上显示的双眼图像的下半部分纵向根据函数f2(y)进行变化;
其中,f1(y)和f2(y)的函数式相同或不相同,y是终端屏幕画面上显示的双眼图像在直角坐标系中的纵坐标,所述直角坐标系的横轴为经过图像中双眼瞳孔中心的坐标轴,所述直角坐标系的纵轴垂直于所述横轴,所述横轴以上为双眼图像的上半部分,所述横轴以下为双眼图像的下半部分。
4.如权利要求3所述的方法,其特征在于:
如果校正后的视线垂直于摄像头所在的终端屏幕平面,则
f1(y)=|y|/(cosθ+(|y|/α)·sinθ),y≥0;
f2(y)=-|y|/(cosθ-(|y|/α)·sinθ),y<0;
其中,α是摄像头焦距;
其中,θ是虚拟原始像平面与虚拟校正像平面之间的夹角,θ=arctan(d1/d2);
其中,d1是摄像头与所述屏幕画面中双眼中心点之间的距离值,d2是摄像头与双眼中心点之间的距离值。
5.如权利要4所述的方法,其特征在于,还包括:
获取摄像头与人物双眼中心点之间的距离值,以及摄像头与屏幕画面中双眼中心点的距离值;
其中,摄像头与人物双眼中心点之间的距离值预先设定或通过红外传感器测距获得;其中,所述红外传感器装配在所述摄像头旁边;
其中,摄像头与屏幕画面中双眼中心点的距离值根据摄像头的物理位置,对屏幕画面中双眼位置进行分析和计算后获得。
6.如权利要求1所述的方法,其特征在于:
如检测到用户拍摄了双眼直视摄像头的参考图像,则用所述虚拟校正像平面上的双眼图像替换掉终端屏幕画面中的双眼图像之前,还包括:
根据所述参考图像中的眼睛图像参数调整所述虚拟校正像平面上的眼睛的外轮廓的外接矩形的长宽比、眼球的外接矩形的长宽比、以及眼皮遮盖眼球的区域的宽度。
7.如权利要求1所述的方法,其特征在于:
用所述虚拟校正像平面上的双眼图像替换掉终端屏幕画面中的双眼图像后,还包括:
对替换完成后的图像进行边缘融合处理。
8.一种图像校正的装置,包括:
虚拟像平面构造模块,用于建立双眼注视终端屏幕画面时的原始视线对应的虚拟原始像平面,以及校正后的视线对应的虚拟校正像平面;
映射模块,用于将所述终端屏幕画面上显示的双眼图像从所述虚拟原始像平面映射到所述虚拟校正像平面上;
图像合成模块,用于用所述虚拟校正像平面上的双眼图像替换掉终端屏幕画面中的双眼图像。
9.如权利要求8所述的装置,其特征在于:
虚拟像平面构造模块,用于建立双眼注视终端屏幕画面时的原始视线对应的虚拟原始像平面,以及校正后的视线对应的虚拟校正像平面,包括:
建立注视焦点落在终端屏幕画面中双眼中心点时对应的虚拟原始像平面;其中,所述虚拟原始像平面与经过双眼中心点和所述终端屏幕画面中双眼中心点的原始视线垂直相交于所述双眼中心点;
建立注视焦点落在所述摄像头时对应的虚拟校正像平面;其中,所述虚拟校正像平面与经过双眼中心点和所述摄像头的校正视线垂直相交于所述双眼中心点。
10.如权利要求9所述的装置,其特征在于:
映射模块,用于将所述终端屏幕画面上显示的双眼图像从所述虚拟原始像平面映射到所述虚拟校正像平面上,包括:
将终端屏幕画面上显示的双眼图像的上半部分纵向根据函数f1(y)进行变化,将终端屏幕画面上显示的双眼图像的下半部分纵向根据函数f2(y)进行变化;
其中,f1(y)和f2(y)的函数式相同或不相同,y是终端屏幕画面上显示的双眼图像在直角坐标系中的纵坐标,所述直角坐标系的横轴为经过图像中双眼瞳孔中心的坐标轴,所述直角坐标系的纵轴垂直于所述横轴,所述横轴以上为双眼图像的上半部分,所述横轴以下为双眼图像的下半部分。
11.如权利要求10所述的装置,其特征在于:
如果校正后的视线垂直于摄像头所在的终端屏幕平面,则
f1(y)=|y|/(cosθ+(|y|/α)·sinθ),y≥0;
f2(y)=-|y|/(cosθ-(|y|/α)·sinθ),y<0;
其中,α是摄像头焦距;
其中,θ是虚拟原始像平面与虚拟校正像平面之间的夹角,θ=arctan(d1/d2);
其中,d1是摄像头与所述屏幕画面中双眼中心点之间的距离值,d2是摄像头与双眼中心点之间的距离值。
12.如权利要求11所述的装置,其特征在于,还包括:
数据获取模块,用于获取摄像头与人物双眼中心点之间的距离值,以及摄像头与屏幕画面中双眼中心点的距离值;
其中,摄像头与人物双眼中心点之间的距离值预先设定或通过红外传感器测距获得;其中,所述红外传感器装配在所述摄像头旁边;
其中,摄像头与屏幕画面中双眼中心点的距离值根据摄像头的物理位置,对屏幕画面中双眼位置进行分析和计算后获得。
13.如权利要求8所述的装置,其特征在于:
图像合成模块,还用于如检测到用户拍摄了双眼直视摄像头的参考图像,则用所述虚拟校正像平面上的双眼图像替换掉终端屏幕画面中的双眼图像之前,还根据所述参考图像中的眼睛图像参数调整所述虚拟校正像平面上的眼睛的外轮廓的外接矩形的长宽比、眼球的外接矩形的长宽比、以及眼皮遮盖眼球的区域的宽度。
14.如权利要求8所述的装置,其特征在于:
图像合成模块,还用于用所述虚拟校正像平面上的双眼图像替换掉终端屏幕画面中的双眼图像后,还对替换完成后的图像进行边缘融合处理。
CN201510086541.5A 2015-02-17 2015-02-17 一种图像校正的方法和装置 Active CN105989577B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201510086541.5A CN105989577B (zh) 2015-02-17 2015-02-17 一种图像校正的方法和装置
PCT/CN2015/079708 WO2016131217A1 (zh) 2015-02-17 2015-05-25 一种图像校正的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510086541.5A CN105989577B (zh) 2015-02-17 2015-02-17 一种图像校正的方法和装置

Publications (2)

Publication Number Publication Date
CN105989577A true CN105989577A (zh) 2016-10-05
CN105989577B CN105989577B (zh) 2020-12-29

Family

ID=56689160

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510086541.5A Active CN105989577B (zh) 2015-02-17 2015-02-17 一种图像校正的方法和装置

Country Status (2)

Country Link
CN (1) CN105989577B (zh)
WO (1) WO2016131217A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106973237A (zh) * 2017-05-25 2017-07-21 维沃移动通信有限公司 一种拍摄方法及移动终端
CN107123099A (zh) * 2017-04-27 2017-09-01 广东华中科技大学工业技术研究院 人机界面数据采集方法
CN107277375A (zh) * 2017-07-31 2017-10-20 维沃移动通信有限公司 一种自拍方法和移动终端
CN108234994A (zh) * 2017-12-29 2018-06-29 上海玮舟微电子科技有限公司 一种人眼位置确定方法及装置
CN108491775A (zh) * 2018-03-12 2018-09-04 维沃移动通信有限公司 一种图像修正方法及移动终端
CN110597387A (zh) * 2019-09-05 2019-12-20 腾讯科技(深圳)有限公司 基于人工智能的画面显示方法和装置、计算设备、存储介质
CN112085647A (zh) * 2019-06-14 2020-12-15 华为技术有限公司 一种人脸校正方法及电子设备
CN112153272A (zh) * 2019-06-28 2020-12-29 华为技术有限公司 一种图像拍摄方法与电子设备
CN113038172A (zh) * 2014-09-09 2021-06-25 弗劳恩霍夫应用研究促进协会 音频拼接构思
WO2022261856A1 (zh) * 2021-06-16 2022-12-22 华为技术有限公司 图像处理方法、装置及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020047860A1 (en) * 2018-09-07 2020-03-12 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Electronic device and image processing method

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101986346A (zh) * 2010-11-01 2011-03-16 华为终端有限公司 人脸图像处理方法及装置
US20120274735A1 (en) * 2011-04-28 2012-11-01 Cisco Technology, Inc. System and method for providing enhanced eye gaze in a video conferencing environment
US20130178287A1 (en) * 2010-12-13 2013-07-11 Microsoft Corporation Human-computer interface system having a 3d gaze tracker
CN203118420U (zh) * 2012-08-21 2013-08-07 京东方科技集团股份有限公司 显示画面调节装置和显示装置
CN103310186A (zh) * 2012-02-29 2013-09-18 三星电子株式会社 校正图像中用户的注视方向的方法和便携式终端
US20140002586A1 (en) * 2012-07-02 2014-01-02 Bby Solutions, Inc. Gaze direction adjustment for video calls and meetings
CN103501688A (zh) * 2011-03-18 2014-01-08 感官运动仪器创新传感器有限公司 注视点映射的方法和装置
US20140092139A1 (en) * 2012-10-02 2014-04-03 At&T Intellectual Property I, L.P. Adjusting content display orientation on a screen based on user orientation
CN103809737A (zh) * 2012-11-13 2014-05-21 华为技术有限公司 一种人机交互方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4966816B2 (ja) * 2007-10-25 2012-07-04 株式会社日立製作所 視線方向計測方法および視線方向計測装置
CN101866215B (zh) * 2010-04-20 2013-10-16 复旦大学 在视频监控中采用视线跟踪的人机交互装置和方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101986346A (zh) * 2010-11-01 2011-03-16 华为终端有限公司 人脸图像处理方法及装置
US20130178287A1 (en) * 2010-12-13 2013-07-11 Microsoft Corporation Human-computer interface system having a 3d gaze tracker
CN103501688A (zh) * 2011-03-18 2014-01-08 感官运动仪器创新传感器有限公司 注视点映射的方法和装置
US20120274735A1 (en) * 2011-04-28 2012-11-01 Cisco Technology, Inc. System and method for providing enhanced eye gaze in a video conferencing environment
CN103310186A (zh) * 2012-02-29 2013-09-18 三星电子株式会社 校正图像中用户的注视方向的方法和便携式终端
US20140002586A1 (en) * 2012-07-02 2014-01-02 Bby Solutions, Inc. Gaze direction adjustment for video calls and meetings
CN203118420U (zh) * 2012-08-21 2013-08-07 京东方科技集团股份有限公司 显示画面调节装置和显示装置
US20140092139A1 (en) * 2012-10-02 2014-04-03 At&T Intellectual Property I, L.P. Adjusting content display orientation on a screen based on user orientation
CN103809737A (zh) * 2012-11-13 2014-05-21 华为技术有限公司 一种人机交互方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HELTON M. PEIXOTO ET AL: "Image Processing for Eye Detection and Classification of the Gaze Direction", 《PROCEEDINGS OF INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORKS》 *
杨冠男等: ""针对自拍视频的眼睛图像校正研究"", 《现代电子技术》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113038172A (zh) * 2014-09-09 2021-06-25 弗劳恩霍夫应用研究促进协会 音频拼接构思
CN113038172B (zh) * 2014-09-09 2023-09-22 弗劳恩霍夫应用研究促进协会 音频数据流拼接以及播出方法、音频解码器和音频解码方法
CN107123099A (zh) * 2017-04-27 2017-09-01 广东华中科技大学工业技术研究院 人机界面数据采集方法
CN107123099B (zh) * 2017-04-27 2020-02-14 广东华中科技大学工业技术研究院 人机界面数据采集方法
CN106973237A (zh) * 2017-05-25 2017-07-21 维沃移动通信有限公司 一种拍摄方法及移动终端
CN107277375A (zh) * 2017-07-31 2017-10-20 维沃移动通信有限公司 一种自拍方法和移动终端
CN108234994A (zh) * 2017-12-29 2018-06-29 上海玮舟微电子科技有限公司 一种人眼位置确定方法及装置
CN108234994B (zh) * 2017-12-29 2020-09-29 张家港康得新光电材料有限公司 一种人眼位置确定方法及装置
CN108491775A (zh) * 2018-03-12 2018-09-04 维沃移动通信有限公司 一种图像修正方法及移动终端
CN108491775B (zh) * 2018-03-12 2021-04-23 维沃移动通信有限公司 一种图像修正方法及移动终端
WO2020249076A1 (zh) * 2019-06-14 2020-12-17 华为技术有限公司 一种人脸校正方法及电子设备
CN112085647A (zh) * 2019-06-14 2020-12-15 华为技术有限公司 一种人脸校正方法及电子设备
CN112085647B (zh) * 2019-06-14 2024-01-19 华为技术有限公司 一种人脸校正方法及电子设备
CN112153272A (zh) * 2019-06-28 2020-12-29 华为技术有限公司 一种图像拍摄方法与电子设备
CN110597387B (zh) * 2019-09-05 2021-11-30 腾讯科技(深圳)有限公司 基于人工智能的画面显示方法和装置、计算设备、存储介质
CN110597387A (zh) * 2019-09-05 2019-12-20 腾讯科技(深圳)有限公司 基于人工智能的画面显示方法和装置、计算设备、存储介质
WO2022261856A1 (zh) * 2021-06-16 2022-12-22 华为技术有限公司 图像处理方法、装置及存储介质

Also Published As

Publication number Publication date
CN105989577B (zh) 2020-12-29
WO2016131217A1 (zh) 2016-08-25

Similar Documents

Publication Publication Date Title
CN105989577A (zh) 一种图像校正的方法和装置
US11087443B2 (en) Augmented reality system and color compensation method thereof
US20160165205A1 (en) Holographic displaying method and device based on human eyes tracking
CN103533340B (zh) 移动终端的裸眼3d播放方法和移动终端
US10191276B2 (en) Imaging adjustment device and imaging adjustment method
US9618759B2 (en) Image display apparatus and image display method
JP6658529B2 (ja) 表示装置、表示装置の駆動方法、及び、電子機器
CN101301236B (zh) 基于三维摄像的视力保护系统及方法
CN107205141B (zh) 一种投影控制方法及投影设备
CN104754216A (zh) 一种拍照方法及装置
EP3236415B1 (en) Determining a boundary associated with image data
CN101285935A (zh) 用于图像显示器的防晕装置
US20140192033A1 (en) 3d image apparatus and method for displaying images
JP2013197797A (ja) 映像表示装置および映像表示方法
CN105227948B (zh) 一种查找图像中畸变区域的方法及装置
TWI443604B (zh) 影像校正方法及影像校正裝置
TWI603225B (zh) 液晶顯示器顯示視角的調整方法和裝置
US20190281280A1 (en) Parallax Display using Head-Tracking and Light-Field Display
US20180143523A1 (en) Spherical omnipolar imaging
CN113870213A (zh) 图像显示方法、装置、存储介质以及电子设备
US8983125B2 (en) Three-dimensional image processing device and three dimensional image processing method
JP2012103941A (ja) 画像処理装置および画像処理方法
US20160105662A1 (en) Three-dimensional glasses and method of driving the same
CN109218701B (zh) 裸眼3d的显示设备、方法、装置及可读存储介质
CN107665481B (zh) 图像处理方法、系统、处理设备及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant