CN108364265A - 一种影像校正方法及装置 - Google Patents

一种影像校正方法及装置 Download PDF

Info

Publication number
CN108364265A
CN108364265A CN201810135496.1A CN201810135496A CN108364265A CN 108364265 A CN108364265 A CN 108364265A CN 201810135496 A CN201810135496 A CN 201810135496A CN 108364265 A CN108364265 A CN 108364265A
Authority
CN
China
Prior art keywords
image
human eye
adjustment
parameter
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810135496.1A
Other languages
English (en)
Inventor
刘向阳
马希通
武乃福
唐小军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201810135496.1A priority Critical patent/CN108364265A/zh
Publication of CN108364265A publication Critical patent/CN108364265A/zh
Priority to US16/200,944 priority patent/US10733711B2/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Ophthalmology & Optometry (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种影像校正方法及装置。所述方法包括：采集用户的人脸图像；依据所述人脸图像计算得到所述用户的第一人眼位置信息和第二人眼位置信息；依据所述第一人眼位置信息和所述第二人眼位置信息，按照预设算法计算得到第一影像校正参数和第二影像校正参数；利用所述第一影像校正参数对第一影像进行校正，并利用所述第二影像校正参数对第二影像进行校正。本发明提供的技术方案可以实时解决因驾驶者位置的不同而导致影像产生畸变的问题，提高了用户的观看体验。

Description

一种影像校正方法及装置
技术领域
本发明涉及影像校正领域，特别是涉及一种影像校正方法及装置。
背景技术
随着科学技术的不断发展，如今，部分汽车业者也将HUD(Head Up Display，平视显示器)应用于汽车上，以吸引消费者。
在用户驾驶过程中，在用户转弯时，用户的位置会发生改变，从而导致观看位置发生改变，而车载HUD影像因驾驶者位置的不同会产生不同的畸变，从而影响了用户观看HUD影像。
因此，如何解决车载HUD影像因驾驶者位置的不同而产生不同畸变是目前亟待解决的问题。
发明内容
本发明提供一种影像校正方法及装置，以解决现有方案中车载HUD影像因驾驶者位置的不同而产生不同畸变的问题。
为了解决上述问题，本发明公开了一种影像校正方法，包括：采集用户的人脸图像；依据所述人脸图像计算得到所述用户的第一人眼位置信息和第二人眼位置信息；依据所述第一人眼位置信息和所述第二人眼位置信息，按照预设算法计算得到第一影像校正参数和第二影像校正参数；利用所述第一影像校正参数对第一影像进行校正，并利用所述第二影像校正参数对第二影像进行校正。
优选地，所述依据所述人脸图像计算得到所述用户的第一人眼位置信息和第二人眼位置信息的步骤，包括：利用人眼检测算法从所述人脸图像中检测出第一人眼和第二人眼；利用跟踪算法实时跟踪所述第一人眼和所述第二人眼的位置，并计算得到所述第一人眼位置信息和所述第二人眼位置信息。
优选地，所述依据所述第一人眼位置信息和所述第二人眼位置信息，按照预设算法计算得到第一影像校正参数和第二影像校正参数的步骤，包括：
预先设定阈值数量的第一人眼预设位置和第二人眼预设位置；
获取所述第一人眼在各所述第一人眼预设位置处的各初始第一影像校正参数，并获取所述第二人眼在各所述第二人眼预设位置处的各初始第二影像校正参数；
确定各所述第一人眼预设位置和各所述初始第一影像校正参数之间的第一函数关系，并确定各所述第二人眼位置和各所述初始第二影像校正参数之间的第二函数关系；
利用所述第一函数关系和所述第一人眼位置信息计算得到所述第一影像校正参数，并利用所述第二函数关系和所述第二人眼位置信息计算得到第二影像校正参数。
优选地，所述第一函数关系为：kl＝f(ul,vl) (2)
所述第二函数关系为：kr＝f(ur,vr) (3)
其中，kl为初始第一影像校正参数，k2为初始第二影像校正参数，(ul,vl) 为第一人眼预设位置，(ur,vr)为第二人眼预设位置。
优选地，所述利用所述第一影像校正参数对第一影像进行校正，并利用所述第二影像校正参数对第二影像进行校正的步骤，包括：依据下述公式 (1)分别对所述第一影像和所述第二影像进行校正；
其中，x为所述第一影像或所述第二影像的行坐标，y为所述第一影像或所述第二影像的列坐标，x′为所述第一影像或所述第二影像校正之后的行坐标，y′为所述第一影像或所述第二影像校正之后的列坐标，ymax为所述第一影像或所述第二影像的高，k为校正参数。
优选地，所述第一影像和所述第二影像为平视显示器影像。
优选地，所述采集用户的人脸图像的步骤包括：每间隔预设帧数采集一次用户的人脸图像。
本发明实施例还公开了一种影像校正装置，包括：采集模块，用于采集用户的人脸图像；位置信息计算模块，用于依据所述人脸图像计算得到所述用户的第一人眼位置信息和第二人眼位置信息；校正参数计算模块，用于依据所述第一人眼位置信息和所述第二人眼位置信息，按照预设算法计算得到第一影像校正参数和第二影像校正参数；校正模块，用于利用所述第一影像校正参数对第一影像进行校正，并利用所述第二影像校正参数对第二影像进行校正。
优选地，所述位置信息计算模块包括：人眼检测子模块，用于利用人眼检测算法从所述人脸图像中检测出第一人眼和第二人眼；人眼位置信息计算子模块，用于利用跟踪算法实时跟踪所述第一人眼和所述第二人眼的位置，并计算得到所述第一人眼位置信息和所述第二人眼位置信息。
优选地，所述校正参数计算模块包括：预设位置设定子模块，用于预先设定阈值数量的第一人眼预设位置和第二人眼预设位置；初始影像校正参数获取子模块，用于获取所述第一人眼在各所述第一人眼预设位置处的各初始第一影像校正参数，并获取所述第二人眼在各所述第二人眼预设位置处的各初始第二影像校正参数；函数关系确定子模块，用于确定各所述第一人眼预设位置和各所述初始第一影像校正参数之间的第一函数关系，并确定各所述第二人眼预设位置和各所述初始第二影像校正参数之间的第二函数关系；影像校正参数计算子模块，用于利用所述第一函数关系和所述第一人眼位置信息计算得到所述第一影像校正参数，并利用所述第二函数关系和所述第二人眼位置信息计算得到第二影像校正参数。
优选地，所述第一函数关系为：kl＝f(ul,vl) (2)
所述第二函数关系为：kr＝f(ur,vr) (3)
其中，kl为初始第一影像校正参数，k2为初始第二影像校正参数，(ul,vl) 为第一人眼预设位置，(ur,vr)为第二人眼预设位置。
优选地，所述校正模块包括：校正子模块，用于依据下述公式(1)分别对所述第一影像和所述第二影像进行校正；
其中，x为所述第一影像或所述第二影像的行坐标，y为所述第一影像或所述第二影像的列坐标，x′为所述第一影像或所述第二影像校正之后的行坐标，y′为所述第一影像或所述第二影像校正之后的列坐标，ymax为所述第一影像或所述第二影像的高，k为校正参数。
优选地，所述第一影像和所述第二影像为平视显示器影像。
优选地，所述采集模块包括：每间隔预设帧数采集一次用户的人脸图像。
与现有技术相比，本发明包括以下优点：
本发明实施例提供了一种影像校正方法及装置，通过采集用户的人脸图像，依据人脸图像计算得到用户的第一人眼位置信息和第二人眼位置信息，依据第一人眼位置信息和第二人眼位置信息，按照预设算法计算得到第一影像校正参数和第二影像校正参数，利用第一影像校正参数对第一影像进行校正，并利用第二影像校正参数对第二影像进行校正。从而可以实时解决因驾驶者位置的不同而导致影像产生畸变的问题，提高了用户的观看体验。
附图说明
图1示出了本发明实施例提供的一种影像校正方法的步骤流程图；
图2示出了本发明实施例提供的一种畸变影像校正的示意图；
图3示出了本发明实施例提供的一种影像校正装置的结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例一
参照图1，示出了本发明实施例提供的一种影像校正方法的步骤流程图，具体可以包括如下步骤：
步骤101：采集用户的人脸图像。
在本发明实施例中，是对于产生畸变的3D影像进行的校正。
在用户观看影像时，需要采集用户的人脸图像，根据人脸图像的特征分析影像是否发生畸变。
在本发明的一种优选实施例中，上述步骤101可以包括：
子步骤N1：每间隔预设帧数采集一次用户的人脸图像。
在本发明实施例中，可以每间隔预设帧数采集一次用户的人脸图像，例如，每间隔一帧采集一次用户的人脸图像以对影像是否发生畸变进行分析。
预设帧数是可以根据实际情况自行设定的，如预设帧数可以为1帧、3 帧等等，本发明实施例对此不加以限制。
在本发明的一种优选实施例中，在上述步骤101之前，还可以包括：
步骤S1：设定所述第一人眼的第一初始位置信息及所述第二人眼的第二初始位置信息；
步骤S2：依据所述第一初始位置信息计算所述第一影像的第一预设影像校正参数，并依据第二初始位置信息计算所述第二影像的第二预设影像校正参数；
步骤S3：依据所述第一预设影像校正参数投射所述第一影像，并依据所述第二预设影像校正参数投射所述第二影像。
在本发明实施例中，当第一人眼为用户的左眼时，则第二人眼即为用户的右眼；而当第一人眼为用户的右眼时，则第二人眼即为用户的左眼。
通过设定第一人眼的第一初始位置信息和第二人眼的第二初始位置信息，可以计算出第一人眼对应的第一影像的第一预设影像校正参数和第二人眼对应的第二影像的第二预设影像校正参数，该第一预设影像校正参数和第二预设影像校正参数可以是根据开发人员的经验计算出来的预设影像校正参数，或者根据第一人眼和第二人眼的初始位置信息，并根据开发人员的经验计算而来的。进而，依据计算出的第一预设影像校正参数投射第一影像，并依据计算出的第二预设影像校正参数投射第二影像。
在采集用户的人脸图像之后，则进入步骤102。
步骤102：依据所述人脸图像计算得到所述用户的第一人眼位置信息和第二人眼位置信息。
在采集到用户的人脸图像之后，则根据人脸图像的特征来分析人眼当前的位置信息，并与影像投射的初始位置信息进行比较，以确定人眼位置的变化度，如用户左眼或右眼向左/右方向、前/后发生偏移的距离等等。进而可以依据第一人眼和第二人眼位置的变化度(即用户在设定的初始位置观看目标影像时，目标影像未发生畸变时的位置)计算得到影像校正参数。
优选地，上述步骤102可以包括：
子步骤S1：利用人眼检测算法从所述人脸图像中检测出第一人眼和第二人眼；
子步骤S2：利用跟踪算法实时跟踪所述第一人眼和所述第二人眼的位置，并计算得到所述第一人眼位置信息和所述第二人眼位置信息。
在本发明实施例中，利用人眼检测算法从人脸图像中检测出第一人眼和第二人眼可以采用如下方式进行：
第一步：在人脸图像中确定人脸区域；
第二步：在人脸区域中确定人眼范围；
第三步：基于主动形状模型，以人眼范围确定与人眼相应的特征点的初始位置，通过拟合确定人眼位置。
其中，主动形状模型为通过样本训练而得到的人脸的多个特征点的属性的集合，其中多个特征点至少包括与人眼相对应的点，属性至少包括相应点的位置信息、位置约束条件和纹理信息。
可以理解地，上述第一步至第三步是为了更好地理解本发明实施例的技术方案而列举的示例，现有技术方案中，任何一种可以从人脸图像中检测出第一人眼和第二人眼的人眼检测算法(如Viola-Jones人眼检测算法等等)均可以应用于本发明实施例，在此不再加以赘述。
在利用人眼检测算法检测出人脸图像中的第一人眼和第二人眼之后，则采用跟踪算法实时跟踪第一人眼和第二人眼的位置，并计算得到第一人眼位置信息和第二人眼位置信息。
可以理解地，跟踪算法是本领域技术人员常用的一种算法，例如，现有技术方案中常用的meanshift跟踪算法等等，本发明实施例在此不再加以赘述。
在获取用户的第一人眼位置信息和第二人眼位置信息之后，则进入步骤 103。
步骤103：依据所述第一人眼位置信息和所述第二人眼位置信息，按照预设算法计算得到第一影像校正参数和第二影像校正参数。
在本发明实施例中，在获取用户的第一人眼位置信息和第二人眼位置信息之后，则可以按照预设算法计算第一影像对应的第一影像校正参数和第二影像对应的第二影像校正参数。
对于预设算法将在下述优选实施例进行详细描述：
优选地，上述步骤103可以包括：
子步骤N1：预先设定阈值数量的第一人眼预设位置和第二人眼预设位置；
子步骤N2：计算所述第一人眼在各所述第一人眼预设位置处的各初始第一影像校正参数，并计算所述第二人眼在各所述第二人眼预设位置处的各初始第二影像校正参数；
子步骤N3：确定各所述第一人眼预设位置、各所述第二人眼预设位置、各所述初始第一影像校正参数和各所述初始第二影像校正参数之间的函数关系；
子步骤N4：利用所述函数关系和所述第一人眼位置信息计算得到所述第一影像校正参数，并利用所述函数关系和所述第二人眼位置信息计算得到第二影像校正参数。
在本发明实施例中，可以预先设定阈值数量的第一人眼预设位置和第二年人眼预设位置，阈值数量可以为100、200、180等等，本发明实施例对此不加以限制。
通过计算第一人眼在各第一人眼预设位置处的各初始第一影像校正参数，并计算第二人眼在各第二人眼预设位置处的各初始第二影像校正参数，则可以通过各初始第一影像校正参数和各初始第二影像校正参数，确定各第一人眼预设位置、各第二人眼预设位置、各初始第一影像校正参数和各初始第二影像校正参数之间的函数关系。
例如，参照图2，示出了本发明实施例提供的一种畸变影像校正的示意图。
原始影像在经过光学系统时，会产生梯形畸变，因而，在原始影像经过光学系统之前，需要对原始影像进行校正，通常的，是采用畸变校正算法对原始影像进行校正，以消除原始影像经过光学系统产生的梯形畸变。如图所示，d表示畸变量，是用于衡量畸变程度的指标，d可以由偏光摄像头捕捉原始影像并经过CPU(Central Processing Unit，中央处理器)与原始影像进行对比计算后得到的；p表示校正量，是用于衡量校正算法的校正程度的指标。箭头1表示原始影像经过校正，箭头2表示影像经过光学系统。
由图2所示，当原始影像未经过校正时，经过光学系统会产生梯形畸变，畸变量为d(即图2a-图2b)，而设定校正量p＝d时，即设定与畸变量d 相同的校正量p，通过以下畸变校正算法对原始影像进行校正，从而可以消除梯形畸变，即图2c-图2d。
畸变校正算法通过以下公式(1)实现：
其中，x′为原始影像的行坐标，y′为原始影像的列坐标，x为原始影像校正之后的行坐标，y为原始影像校正之后的列坐标，ymax为原始影像的高，k为校正参数，从上述公式(1)可以看出，k值越大，p值越大。
通过在原始影像中预设数量的第一人眼位置和第二人眼位置，并通过不断调整k值的大小，从而可以确定出在人眼处于当前位置处未发生畸变的影像，记录此时的k值，从而得到对应数量的第一人眼位置处和第二人眼位置处的校正参数k，依据预设数量的第一人眼位置坐标和第二人眼位置坐标及 k值，从而可以确定出k与第一人眼位置坐标和第二人眼位置坐标的函数关系。
例如，当第一原始影像大小为1024*768时，预先设定第一人眼随机处在原始影像中的200个不同位置，即第1，2，…，i，…200个影像位置，并依据人眼的瞳距计算得到第二人眼在原始影像中分别与第一人眼在原始影像中的位置对应的位置，即第1-1，2-1，…，…200-1个影像位置，以此可以确定第一人眼在200个影像位置和第二人眼在对应的200个影像位置处的坐标，例如，第一人眼在第i个影像位置，则第二人眼在对应的第i-1个影像位置处的坐标(ui,vi)，并依次确定第一人眼在第1，2，…，i，…200个影像位置及第二人眼在对应的第1-1，2-1，…，…200-1个影像位置时能够消除畸变的校正参数k，假设第一人眼和第二人眼处于第i个影像块中，调整k 值以使测试者可以看到没有畸变的影像，从而可以按照上述方式计算得到第一人眼在第1，2，…，…200个影像位置及对应的第二人眼在第1-1， 2-1，…，…200-1个影像位置处对应的k值，即k1，k2，…，…k200。
利用上述200个第一人眼的坐标和200个k值使用最小二乘法拟合出k 与坐标之间的第一函数关系kl＝f(ul,vl)，利用上述200个第二人眼的坐标和 200个k值使用最小二乘法拟合出k与坐标之间的第二函数关系kr＝f(ur,vr)。
可以理解地，现有技术方案中其它任意可以获取各第一人眼预设位置、各第二人眼预设位置、各初始第一影像校正参数和各初始第二影像校正参数之间的函数关系的方式均可以应用于本发明实施例，本发明实施例对此不加以限制。
利用上述方式获取各第一人眼预设位置、各第二人眼预设位置、各初始第一影像校正参数和各初始第二影像校正参数之间的函数关系之后，则利用该函数关系和第一人眼位置信息计算得到第一影像校正参数，并利用函数关系和第二人眼位置信息计算得到第二影像校正参数。
可以理解地，上述示例仅是为了更好地理解本发明实施例的技术方案而列举的一种计算影像校正参数的算法，现有技术方案中其它可以计算得到第一影像校正参数和第二影像校正参数的算法均可以应用于本发明，本发明实施例对此不加以限制。
在计算得到第一影像校正参数和第二影像校正参数之后，则进入步骤 104。
步骤104：利用所述第一影像校正参数对第一影像进行校正，并利用所述第二影像校正参数对第二影像进行校正。
在本发明实施例中，第一影像和第二影像可以为平视显示器(Head Up Display，HUD)影像。HUD即为飞行辅助仪器，是如今普遍运用在航空器上的飞行辅助仪器，也可应用于部分汽车等等。
在第一影像为用户(也即驾驶员或飞行员等)的左眼影像时，则第二影像则为用户的右眼影像；而在第一影像为用户(也即驾驶员或飞行员等)的右眼影像时，则第二影像则为用户的左眼影像，本发明实施例对此不加以限制。
在获取第一影像校正参数和第二影像校正参数之后，则可以利用第一影像校正参数对第一影像进行校正，并利用第二影像校正参数对第二影像进行校正，从而可以使用户能够在驾驶过程中，实时观看到校正后的3D影像，提高了用户的观看体验。
优选地，上述步骤104可以包括：
子步骤K1：依据下述公式(1)分别对所述第一影像和所述第二影像进行校正；
在本发明实施例中，可以采用上述公式(1)对第一影像和第二影像分别进行校正。在上述公式(1)中，x为第一影像或第二影像的行坐标，y为第一影像或第二影像的列坐标，x′为第一影像或第二影像校正之后的行坐标，y′为第一影像或第二影像校正之后的列坐标，ymax为第一影像或第二影像的高，k为校正参数。
在依据函数关系和第一人眼的位置及第二人眼的位置计算出第一校正参数和第二校正参数之后，并设定第一校正参数为k 1，设定第二校正参数为k2，则可以依据第一影像在校正之前的行坐标、列坐标以及高，分别设定为x1、y1和y1max，并将x1、y1、y1max和k1代入上述公式(1)中，可以计算出校正后的第一影像的行坐标x′1和列坐标y′1，从而可以得到校正后的第一影像。然后根据第二影像在校正之前的行坐标、列坐标以及高，分别设定为x2、y2和y2max，并将x2、y2、y2max和k2分别代入上述公式(1)中，可以计算出校正后的第一影像的行坐标x′2和列坐标y′2，从而可以得到校正后的第二影像。
可以理解地，依据上述公式(1)对第一影像和第二影像进行校正仅为本发明实施例的一种优选方案，而不作为对本发明实施例的唯一限制。
本发明实施例提供的影像校正方法，通过采集用户的人脸图像，依据人脸图像计算得到用户的第一人眼位置信息和第二人眼位置信息，依据第一人眼位置信息和第二人眼位置信息，按照预设算法计算得到第一影像校正参数和第二影像校正参数，利用第一影像校正参数对第一影像进行校正，并利用第二影像校正参数对第二影像进行校正。从而可以实时解决因驾驶者位置的不同而导致影像产生畸变的问题，提高了用户的观看体验。
实施例二
参照图3，示出了本发明实施例提供的一种影像校正装置的结构示意图，具体可以包括：
采集模块310，用于采集用户的人脸图像；位置信息计算模块320，用于依据所述人脸图像计算得到所述用户的第一人眼位置信息和第二人眼位置信息；校正参数计算模块330，用于依据所述第一人眼位置信息和所述第二人眼位置信息，按照预设算法计算得到第一影像校正参数和第二影像校正参数；校正模块340，用于利用所述第一影像校正参数对第一影像进行校正，并利用所述第二影像校正参数对第二影像进行校正。
优选地，所述位置信息计算模块320包括：人眼检测子模块，用于利用人眼检测算法从所述人脸图像中检测出第一人眼和第二人眼；人眼位置信息计算子模块，用于利用跟踪算法实时跟踪所述第一人眼和所述第二人眼的位置，并计算得到所述第一人眼位置信息和所述第二人眼位置信息。
优选地，所述校正参数计算模块330包括：预设位置设定子模块，用于预先设定阈值数量的第一人眼预设位置和第二人眼预设位置；初始影像校正参数获取子模块，用于获取所述第一人眼在各所述第一人眼预设位置处的各初始第一影像校正参数，并获取所述第二人眼在各所述第二人眼预设位置处的各初始第二影像校正参数；函数关系确定子模块，用于确定各所述第一人眼预设位置和各所述初始第一影像校正参数之间的第一函数关系，并确定各所述第二人眼预设位置和各所述初始第二影像校正参数之间的第二函数关系；影像校正参数计算子模块，用于利用所述第一函数关系和所述第一人眼位置信息计算得到所述第一影像校正参数，并利用所述第二函数关系和所述第二人眼位置信息计算得到第二影像校正参数。
优选地，所述第一函数关系为：kl＝f(ul,vl) (2)
所述第二函数关系为：kr＝f(ur,vr) (3)
其中，kl为初始第一影像校正参数，k2为初始第二影像校正参数，(ul,vl) 为第一人眼预设位置，(ur,vr)为第二人眼预设位置。
优选地，所述校正模块340包括：
校正子模块，用于依据下述公式(1)分别对所述第一影像和所述第二影像进行校正；
其中，x为所述第一影像或所述第二影像的行坐标，y为所述第一影像或所述第二影像的列坐标，x′为所述第一影像或所述第二影像校正之后的行坐标，y′为所述第一影像或所述第二影像校正之后的列坐标，ymax为所述第一影像或所述第二影像的高，k为校正参数。
优选地，所述第一影像和所述第二影像为平视显示器影像。
优选地，所述采集模块310包括：每间隔预设帧数采集一次用户的人脸图像。
本发明实施例提供的影像校正装置，通过采集用户的人脸图像，依据人脸图像计算得到用户的第一人眼位置信息和第二人眼位置信息，依据第一人眼位置信息和第二人眼位置信息，按照预设算法计算得到第一影像校正参数和第二影像校正参数，利用第一影像校正参数对第一影像进行校正，并利用第二影像校正参数对第二影像进行校正。从而可以实时解决因驾驶者位置的不同而导致影像产生畸变的问题，提高了用户的观看体验。
对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种影像校正方法和一种影像校正装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (14)

1.一种影像校正方法，其特征在于，包括：
采集用户的人脸图像；
依据所述人脸图像计算得到所述用户的第一人眼位置信息和第二人眼位置信息；
依据所述第一人眼位置信息和所述第二人眼位置信息，按照预设算法计算得到第一影像校正参数和第二影像校正参数；
利用所述第一影像校正参数对第一影像进行校正，并利用所述第二影像校正参数对第二影像进行校正。
2.根据权利要求1所述的方法，其特征在于，所述依据所述人脸图像计算得到所述用户的第一人眼位置信息和第二人眼位置信息的步骤，包括：
利用人眼检测算法从所述人脸图像中检测出第一人眼和第二人眼；
利用跟踪算法实时跟踪所述第一人眼和所述第二人眼的位置，并计算得到所述第一人眼位置信息和所述第二人眼位置信息。
3.根据权利要求1所述的方法，其特征在于，所述依据所述第一人眼位置信息和所述第二人眼位置信息，按照预设算法计算得到第一影像校正参数和第二影像校正参数的步骤，包括：
预先设定阈值数量的第一人眼预设位置和第二人眼预设位置；
获取所述第一人眼在各所述第一人眼预设位置处的各初始第一影像校正参数，并获取所述第二人眼在各所述第二人眼预设位置处的各初始第二影像校正参数；
确定各所述第一人眼预设位置和各所述初始第一影像校正参数之间的第一函数关系，并确定各所述第二人眼位置和各所述初始第二影像校正参数之间的第二函数关系；
利用所述第一函数关系和所述第一人眼位置信息计算得到所述第一影像校正参数，并利用所述第二函数关系和所述第二人眼位置信息计算得到第二影像校正参数。
4.根据权利要求3所述的方法，其特征在于，所述第一函数关系为：
kl＝f(ul,vl) (2)
所述第二函数关系为：kr＝f(ur,vr) (3)
其中，kl为初始第一影像校正参数，k2为初始第二影像校正参数，(ul,vl)为第一人眼预设位置，(ur,vr)为第二人眼预设位置。
5.根据权利要求1所述的方法，其特征在于，所述利用所述第一影像校正参数对第一影像进行校正，并利用所述第二影像校正参数对第二影像进行校正的步骤，包括：
依据下述公式(1)分别对所述第一影像和所述第二影像进行校正；
其中，x为所述第一影像或所述第二影像的行坐标，y为所述第一影像或所述第二影像的列坐标，x′为所述第一影像或所述第二影像校正之后的行坐标，y′为所述第一影像或所述第二影像校正之后的列坐标，ymax为所述第一影像或所述第二影像的高，k为校正参数。
6.根据权利要求1所述的方法，其特征在于，所述第一影像和所述第二影像为平视显示器影像。
7.根据权利要求1所述的方法，其特征在于，所述采集用户的人脸图像的步骤包括：
每间隔预设帧数采集一次用户的人脸图像。
8.一种影像校正装置，其特征在于，包括：
采集模块，用于采集用户的人脸图像；
位置信息计算模块，用于依据所述人脸图像计算得到所述用户的第一人眼位置信息和第二人眼位置信息；
校正参数计算模块，用于依据所述第一人眼位置信息和所述第二人眼位置信息，按照预设算法计算得到第一影像校正参数和第二影像校正参数；
校正模块，用于利用所述第一影像校正参数对第一影像进行校正，并利用所述第二影像校正参数对第二影像进行校正。
9.根据权利要求8所述的装置，其特征在于，所述位置信息计算模块包括：
人眼检测子模块，用于利用人眼检测算法从所述人脸图像中检测出第一人眼和第二人眼；
人眼位置信息计算子模块，用于利用跟踪算法实时跟踪所述第一人眼和所述第二人眼的位置，并计算得到所述第一人眼位置信息和所述第二人眼位置信息。
10.根据权利要求8所述的装置，其特征在于，所述校正参数计算模块包括：
预设位置设定子模块，用于预先设定阈值数量的第一人眼预设位置和第二人眼预设位置；
初始影像校正参数获取子模块，用于获取所述第一人眼在各所述第一人眼预设位置处的各初始第一影像校正参数，并获取所述第二人眼在各所述第二人眼预设位置处的各初始第二影像校正参数；
函数关系确定子模块，用于确定各所述第一人眼预设位置和各所述初始第一影像校正参数之间的第一函数关系，并确定各所述第二人眼预设位置和各所述初始第二影像校正参数之间的第二函数关系；
影像校正参数计算子模块，用于利用所述第一函数关系和所述第一人眼位置信息计算得到所述第一影像校正参数，并利用所述第二函数关系和所述第二人眼位置信息计算得到第二影像校正参数。
11.根据权利要求10所述的装置，其特征在于，所述第一函数关系为：
kl＝f(ul,vl) (2)
所述第二函数关系为：kr＝f(ur,vr) (3)
其中，kl为初始第一影像校正参数，k2为初始第二影像校正参数，(ul,vl)为第一人眼预设位置，(ur,vr)为第二人眼预设位置。
12.根据权利要求8所述的装置，其特征在于，所述校正模块包括：
校正子模块，用于依据下述公式(1)分别对所述第一影像和所述第二影像进行校正；
其中，x为所述第一影像或所述第二影像的行坐标，y为所述第一影像或所述第二影像的列坐标，x′为所述第一影像或所述第二影像校正之后的行坐标，y′为所述第一影像或所述第二影像校正之后的列坐标，ymax为所述第一影像或所述第二影像的高，k为校正参数。
13.根据权利要求8所述的装置，其特征在于，所述第一影像和所述第二影像为平视显示器影像。
14.根据权利要求8所述的装置，其特征在于，所述采集模块包括：
每间隔预设帧数采集一次用户的人脸图像。
CN201810135496.1A 2018-02-09 2018-02-09 一种影像校正方法及装置 Pending CN108364265A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810135496.1A CN108364265A (zh) 2018-02-09 2018-02-09 一种影像校正方法及装置
US16/200,944 US10733711B2 (en) 2018-02-09 2018-11-27 Image correction method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810135496.1A CN108364265A (zh) 2018-02-09 2018-02-09 一种影像校正方法及装置

Publications (1)

Publication Number Publication Date
CN108364265A true CN108364265A (zh) 2018-08-03

Family

ID=63005536

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810135496.1A Pending CN108364265A (zh) 2018-02-09 2018-02-09 一种影像校正方法及装置

Country Status (2)

Country Link
US (1) US10733711B2 (zh)
CN (1) CN108364265A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112053348A (zh) * 2020-09-03 2020-12-08 宁波市眼科医院 一种白内障诊断用眼底图像处理系统及方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114222521A (zh) * 2019-09-27 2022-03-22 爱尔康公司 即时眼睛凝视校准系统和方法
CN113392718A (zh) * 2021-05-21 2021-09-14 海南师范大学 一种基于区块链的共享汽车行程管理系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103885573A (zh) * 2012-12-19 2014-06-25 财团法人车辆研究测试中心 车用显示系统的自动校正方法及其系统
CN104253990A (zh) * 2013-06-28 2014-12-31 罗伯特·博世有限公司 用车辆视野显示装置的成像器显示三维图像的方法和设备
US20170116703A1 (en) * 2015-10-22 2017-04-27 Texas Instruments Incorporated Image Synthesis Method with DSP and GPU
CN206260049U (zh) * 2016-08-09 2017-06-16 擎中科技（上海）有限公司 一种裸眼3d显示设备
CN107650799A (zh) * 2017-09-27 2018-02-02 京东方科技集团股份有限公司 一种平视显示器、平视显示系统及其显示方法、汽车

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015215509A (ja) * 2014-05-12 2015-12-03 パナソニックＩｐマネジメント株式会社 表示装置、表示方法およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103885573A (zh) * 2012-12-19 2014-06-25 财团法人车辆研究测试中心 车用显示系统的自动校正方法及其系统
CN104253990A (zh) * 2013-06-28 2014-12-31 罗伯特·博世有限公司 用车辆视野显示装置的成像器显示三维图像的方法和设备
US20170116703A1 (en) * 2015-10-22 2017-04-27 Texas Instruments Incorporated Image Synthesis Method with DSP and GPU
CN206260049U (zh) * 2016-08-09 2017-06-16 擎中科技（上海）有限公司 一种裸眼3d显示设备
CN107650799A (zh) * 2017-09-27 2018-02-02 京东方科技集团股份有限公司 一种平视显示器、平视显示系统及其显示方法、汽车

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
顾桂定，张振宇: "《矩阵论》", 31 December 2017 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112053348A (zh) * 2020-09-03 2020-12-08 宁波市眼科医院 一种白内障诊断用眼底图像处理系统及方法

Also Published As

Publication number Publication date
US20190251676A1 (en) 2019-08-15
US10733711B2 (en) 2020-08-04

Similar Documents

Publication Publication Date Title
US7616885B2 (en) Single lens auto focus system for stereo image generation and method thereof
CN102149325B (zh) 视线方向判定装置及视线方向判定方法
US8564645B2 (en) Signal processing device, image display device, signal processing method, and computer program
US9443144B2 (en) Methods and systems for measuring group behavior
US20110063420A1 (en) Image processing apparatus
CN105046708A (zh) 一种与主观感知相一致的颜色校正客观评估方法
EP1968329A2 (en) Three-dimensional image display apparatus and method for enhancing stereoscopic effect of image
WO2016059786A1 (ja) なりすまし検知装置、なりすまし検知方法、および、記憶媒体
US10861189B2 (en) Vehicle camera model for simulation using deep neural networks
CN108364265A (zh) 一种影像校正方法及装置
CN104732191B (zh) 利用交比不变性实现虚拟显示屏视线追踪的装置及其方法
US11232584B2 (en) Line-of-sight estimation device, line-of-sight estimation method, and program recording medium
CN103533340A (zh) 移动终端的裸眼3d播放方法和移动终端
US20220284718A1 (en) Driving analysis device and driving analysis method
KR20140112485A (ko) 시간적 동기화 불일치를 감지하기 위한 비디오 처리 장치 및 방법
EP4141621A1 (en) Data processing method and device thereof
US20140270388A1 (en) Methods and systems for measuring group behavior
WO2008132741A2 (en) Apparatus and method for tracking human objects and determining attention metrics
WO2017158999A1 (ja) 関心度推定装置、関心度推定方法、プログラムおよび記録媒体
CN102026012B (zh) 平面视频立体化转换深度图生成方法和装置
CN116453198B (zh) 一种基于头部姿态差异的视线校准方法和装置
Pedersen et al. Evaluation of contrast measures in relation to observers perceived contrast
KR20110025083A (ko) 입체 영상 시스템에서 입체 영상 디스플레이 장치 및 방법
KR20150040194A (ko) 하이브리드 카메라에 기초한 동공 추적을 이용한 홀로그램 표시 장치 및 방법
JP2007301087A (ja) 車両運転者の視線方向の検出方法又は同装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180803