CN108171673A - 图像处理方法、装置、车载抬头显示系统及车辆 - Google Patents

图像处理方法、装置、车载抬头显示系统及车辆 Download PDF

Info

Publication number
CN108171673A
CN108171673A CN201810032426.3A CN201810032426A CN108171673A CN 108171673 A CN108171673 A CN 108171673A CN 201810032426 A CN201810032426 A CN 201810032426A CN 108171673 A CN108171673 A CN 108171673A
Authority
CN
China
Prior art keywords
image
photographic device
position information
real
time position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810032426.3A
Other languages
English (en)
Other versions
CN108171673B (zh
Inventor
武乃福
马希通
刘向阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201810032426.3A priority Critical patent/CN108171673B/zh
Publication of CN108171673A publication Critical patent/CN108171673A/zh
Priority to US16/470,238 priority patent/US11120531B2/en
Priority to EP18900446.8A priority patent/EP3739545A4/en
Priority to PCT/CN2018/111905 priority patent/WO2019137065A1/zh
Application granted granted Critical
Publication of CN108171673B publication Critical patent/CN108171673B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B60K35/658—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive the instruments being ergonomically adjustable to the user
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0181—Adaptation to the pilot/driver
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供了一种图像处理方法，包括以下步骤：获取目标物在预设活动范围内的实时位置信息；依据所述实时位置信息，获取与所述实时位置信息相对应的预设畸变参数；依据所述预设畸变参数对待显示图像进行畸变矫正处理，将所述畸变矫正处理后所述待显示图像显示于显示载体上。本发明能够实时获取眼睛对应在相对固定摄像装置的实时位置信息，实时位置信息与预设显示像素坐标系信息匹配，确定并调取预设畸变参数，对待显示图像畸变矫正，使待显示图像能够正常且质量较高地显示在显示载体上，解决在显示载体上显示效果差的问题。

Description

图像处理方法、装置、车载抬头显示系统及车辆
技术领域
本发明涉及图像处理、定位及车辆领域，具体而言，本发明涉及一种图像处理方法、装置、车载抬头显示系统及车辆装置。
背景技术
HUD(head up display)为抬头显示器，能够将重要信息在视线前方的一块透明玻璃上显示，最早应用于战斗机上，其主要目的是为了让飞行员不需要频繁集中注意力看低头看仪表盘中的数据，从而避免飞行员在观看仪表盘中的数据时，不能观察到飞行前方领域的环境信息。这项技术在几年前也被引入了汽车里，但是由于显示效果差、成本高，让HUD技术在汽车行业处于不温不火的状态，甚至被部分消费者评为鸡肋，导致目前标配这一技术的量产车却寥寥无几。
发明内容
本发明的目的旨在至少解决上述技术缺陷之一，特别是HUD在车辆上的显示效果差的问题。
一种图像处理方法，包括以下步骤：
获取目标物在预设活动范围内的实时位置信息；
依据所述实时位置信息，获取与所述实时位置信息相对应的预设畸变参数；
依据所述预设畸变参数对待显示图像进行畸变矫正处理，将畸变矫正处理后的所述待显示图像显示于显示载体上。
进一步地，在所述获取目标物在预设活动范围内的实时位置信息的步骤之前，还包括：
将预设活动范围内的各位置信息及与各位置信息一一对应的预设畸变参数进行关联存储。
进一步地，在所述将预设活动范围内的各位置信息及与各位置信息一一对应的预设畸变参数进行关联存储的步骤中，包括：
确定移动摄像装置在所述预设活动范围内的实时位置信息；
确定所述移动摄像装置所处的该实时位置信息所对应的畸变参数，并进行对应关联存储；
根据所述移动摄像装置在所述预设活动范围内按序移动，以将预设活动范围内的各位置信息及与各位置信息一一对应的预设畸变参数皆进行关联存储。
进一步地，所述确定移动摄像装置在所述预设活动范围内的实时位置信息的步骤中，包括：
通过所述固定摄像装置，实时采集所述移动摄像装置在所述预设活动范围内的移动图像；
对所述移动图像进行解析，确定所述移动图像中所述移动摄像装置在所述固定摄像装置成像平面上的位置信息；
基于预设规则对该位置信息进行转换，确定移动摄像装置在所述预设活动范围内的实时位置信息。
进一步地，所述确定所述移动摄像装置所处的该实时位置信息所对应的畸变参数的步骤中，包括：
通过所述移动摄像装置获取用以模拟用户在该实时位置信息所对应位置处的观看角度的测试图像；
将所述测试图像与预设基准图像进行对比，确定所述该实时位置信息所对应的畸变参数。
优选地，所述预设规则包括齐次方程模型、小孔成像模型、SIFT运算规则中的一种。
进一步地，在所述获取目标物的实时位置信息的步骤之前，具体包括：
检测所述预设活动范围内是否存在目标物；
当检测到拍摄区域内存在目标物时，拍摄包括所述目标物的所述图像。
进一步地，在所述将所述畸变矫正处理后的所述待显示图像显示于显示载体上的过程中，具体包括：
通过投影的方式将畸变矫正处理后的所述待显示图像显示在所述显示载体上预设位置处。
本发明还提供了一种图像处理装置，包括：
确定模块，用于获取目标物在预设活动范围内的实时位置信息；
获取模块，用于依据所述实时位置信息，获取与所述实时位置信息相对应的预设畸变参数；
显示模块，用于依据所述预设畸变参数对待显示图像进行畸变矫正处理，将所述畸变矫正处理后的所述待显示图像显示于显示载体上。
本发明还提供了一种计算机可读存储介质，包括处理器、存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时实现任一技术方案所述图像处理方法的步骤。
本发明还提供了一种车载抬头显示系统，包括固定摄像装置、显示载体和所述的计算机可读存储介质，
所述固定摄像装置用于采集包括所述目标物的图像，所述计算机可读存储介质用于根据该图像对所述待显示图像进行畸变矫正处理，并将畸变矫正处理后的所述待显示图像显示于所述显示载体上。
进一步地，还包括移动摄像装置，所述移动摄像装置用于模拟所述目标物在所述预设活动范围内观看待显示图像的观看角度，以便所述移动摄像装置拍摄测试图像。
本发明还提供了一种车辆，包括：所述的图像处理装置；或者所述的计算机可读存储介质；或者任一技术方案所述的车载抬头显示系统。
与现有技术相比，本发明具有以下有益效果：
1、本发明提供的一种图像处理方法、装置、车载抬头显示系统及车辆，能够实时获取目标物(眼睛)对应在固定摄像装置坐标系中的实时位置信息，从而能够确定待显示图像在显示载体上用于显示的畸变信息，将目标物的实时位置信息与畸变参数的关系，便能够依据坐标值确定预设畸变参数，调取畸变参数，在畸变模型的基础上确定待显示图像要显示的畸变参数，对待显示的图像进行畸变矫正，以使待显示图像能够显示在显示载体上时，使得待显示图像能够正常且质量较高低显示在显示载体上，降低驾驶员在视窗区域内的不同观看位置都能够正常的观看待显示图像，进而解决显示效果差的问题。
4、本发明提供的一种图像处理方法、装置、车载抬头显示系统及车辆，对预设活动范围内的不同位置进行畸变预处理，确定预设活动范围内不同位置的畸变参数；将所述畸变参数与对应的实时位置信息以关联关系存储在数据库中主要说明提前对预设活动范围进行处理，以关联关系进行存储，便于确定眼睛在固定摄像装置坐标系中的实时位置信息后，通过与存储的实时位置信息匹配后，确定对应的畸变参数，简化了确定畸变参数的过程和缩短了确定畸变参数的时间，方便了抬头显示技术的应用。
3、本发明提供的一种图像处理方法、装置、车载抬头显示系统及车辆，所述待显示图像通过投影的方式显示在所述显示载体上，且将其显示在显示载体上预设位置处，对待显示图像显示在显示载体上的依据进行了进一步的细化，投影方式使待显示图像的显示质量更高，色彩还原度比较高，显示的色彩更加真实。
4、本发明提供的一种图像处理方法、装置、车载抬头显示系统及车辆，主通过摄像装置对目标物(眼睛)进行追踪，并通过摄像装置拍摄的包括所述目标物的图像对目标物在显示载体上的实时位置信息进行定位，摄像装置可采用现有车辆中的摄像装置，在不增加车内构件的情况下便实现了车辆的抬头显示，节约了车辆内部的容纳空间。
5、本发明提供的一种图像处理方法、装置、车载抬头显示系统及车辆，畸变参数为提前存储在微型控制单元或者数据库中，节约了抬头显示的运算时间，能够快速确定待显示图像显示的位置。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明一种图像处理方法的典型实施例的流程图；
图2为本发明车辆内固定摄像装置位置与驾驶员头部位置的示意图；
图3为本发明一种图像处理方法的又一实施例的流程图；
图4为本发明实施例中预设活动范围区域划分图；
图5为本发明实施例中目标物对应的预设活动范围，主要示出驾驶员在显示载体上能查看待显示图像的视角范围；
图6为本发明实施例中固定摄像装置拍摄的驾驶员头部在预设活动范围内位置图；
图7为本发明一种图像处理装置的典型实施例的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
HUD(head up display)由于最早是应用在战斗机上，是为了让飞行员不需要频繁集中注意力看低头看仪表盘中的数据，从而避免飞行员在观看仪表盘中的数据时，不能观察到飞行前方领域的环境信息。然而，随着汽车行业的发展以及我国道路的情况，驾驶员驾驶车辆行驶的过程中，常常要集中注意观察环境信息，因而不能低头注意到仪表台上的仪表信息，则有可能导致快速驾驶，违反交通规则，或者驾驶员在注意仪表信息时，不能观察到环境信息时，则有可能造成交通事故，因此有必要将HUD应用于车辆上，但是HUD造价高、显示效果不好，又导致HUD不能够应用于常规的量产车上，因此，需要研发一种造价低、显示效果好的HUD、适用常规的量产车的抬头显示器。
一种图像处理方法，在其中一种实施方式中，如图1所示，包括以下步骤S100至S300。
S100：获取目标物在预设活动范围内的实时位置信息。
首先，参考图2，目标物在车厢中具有确定的位置，且目标物移动的范围有限，因此，设置了预设活动范围，该范围包含了目标物最大范围的移动区域，在该区域内，目标物能够观看到显示载体预设位置处的待显示图像。为了能更好的确定目标物的位置，以固定摄像装置的光心为坐标原点，建立固定摄像装置1坐标系，获取目标物在固定摄像装置坐标系中的实时位置信息，即获取目标物在固定摄像装置坐标系中的坐标值，实时位置信息为实时的坐标值，且固定装置在该位置时，能拍摄到预设活动范围内有目标物的图像。由于在前期在预设活动范围内采用移动摄像装置模拟了目标物，且同样通过固定摄像装置确定移动摄像装置在不同位置点的位置信息，且该位置信息同样是固定摄像装置坐标系中的坐标值，确定移动摄像装置在不同位置点的位置信息后，并将各位置点的位置信息与移动摄像装置在各位置点的畸变参数以映射关系存储的。由于移动摄像装置时模拟目标物的，因此，在确定了目标物的位置信息时，我们可以通过目标物的实时位置信息找到对应的移动摄像装置模拟时的位置信息，以便后文根据该位置信息获取到对应的畸变参数。需要说明的是，目标物为驾驶员的眼睛。
具体的，目标物位置信息的获取过程是，参考图2，首先通过固定摄像装1拍摄包括目标物的图像，在所述图像中检测目标物特征，并且基于目标物在成像平面中数据(如在成像平面中位置信息以及像素信息)、固定摄像装置1已知确定的内部参数和外部参数以及固定摄像装置坐标系中坐标值与成像平面之间距离的转换关系，确定目标物在固定摄像装置坐标系中的实时位置信息。具体的，由于在固定摄像装置1的成像平面上建立一图像坐标系，该坐标系的原点和固定摄像装置坐标系的原点在同一条直线上，即两坐标系具有一条相同的坐标轴，成像平面与固定摄像装置之间的焦距固定，且固定摄像装置的内部参数和外部参数已知，能够确定固定摄像装置坐标系中一点的坐标值与成像平面上对应点的坐标值为一固定的比例(具体与采用的摄像装置有关，且该比例适合于固定摄像装置坐标系与成像平面上相对应所有点)。当目标物在成像平面上成像时，可以实时检测到目标物在成像平面上的位置信息(图像坐标系中的坐标值)，将该值以及焦距通过固定比例的换算，确定目标物在固定摄像装置坐标系中的坐标值，即目标物的实时位置信息。
S200：依据所述实时位置信息，获取与所述实时位置信息相对应的预设畸变参数。
如步骤S100中的分析，确定了目标物在固定摄像装置坐标系中的坐标值，又由于固定摄像装置坐标系的坐标值与预设畸变参数以映射关系进行存储的，因此，确定了目标物在固定摄像装置坐标系中的坐标值后，将便可依据所述坐标值获取所述预设畸变参数，便于将所述预设畸变参数用于后续的图像矫正处理，进而节约图像畸变处理的时间，便于能够较快的在显示载体上显示畸变处理后的所述待显示图像。具体的，所述目标物为驾驶员的眼睛，在步骤S100中确定了驾驶员的眼睛在固定摄像装置坐标系中的实时坐标值，并且依据在固定摄像装置坐标系中坐标值与所述预设畸变参数的映射关系，获取与所述坐标值相对应的所述预设畸变参数，进而将所述预设畸变参数用于后续图像的矫正处理。由于在获取预设畸变参数时，能够依据所述坐标值与所述预设畸变参数的映射关系，直接获取到与所述坐标值相对应的所述预设畸变参数，从而节约了整个图像显示过程的处理时间，使得待显示图像能够较为快速地显示在所述透明窗体上，提高了驾驶员驾驶的安全性，进而减少驾驶员查看仪表数据时发生的交通事故。
S300：依据所述预设畸变参数对待显示图像进行畸变矫正处理，将所述畸变矫正处理后的所述待显示图像显示于显示载体上。
所述显示载体为车辆上透明窗体，也可以是安装在驾驶员头部前方的挡风玻璃，当然，所述显示载体也可以是其他用于显示的终端装置或者如空气中的水分子等微粒等，在显示载体上显示待显示图像的过程均适用本发明实施例中的步骤，显示载体上显示所述待显示图像的位置固定。
通过前文的步骤S100和步骤S200确定了在显示载体上显示待显示图像的预设畸变参数，对待显示图像进行畸变矫正处理，其中，畸变参数为二维的坐标值，在畸变矫正过程中，确定了矫正的畸变参数后，将待显示图像中的各像素点按照畸变参数进行对应的移动，具体的，将待显示图像对应到移动摄像装置的成像平面上，同前文固定摄像装置一样，移动摄像装置成像平面上同样建立了以坐标系，矫正前的待显示图像为移动摄像装置直视与待显示图像中对应的物时产生的图像，因此在进行矫正时，将待显示图像按照畸变参数的值在移动摄像装置成像平面(图像坐标系)上进行对应的移动，当然，在该处理过程中为了降低矫正的误差，还可以通过高阶解析、插值算法、迭代算法等方法确定矫正后的畸变参数。如高阶解析模型如下：
其中，k1、k2、k3分别表示一阶、二阶、三阶该移动摄像装置径向畸变的畸变参数，p1、p2表示该移动摄像装置切向畸变的畸变参数，(xd，yd)表示畸变矫正前待显示图像中一点在移动摄像装置成像平面中的坐标值，(xp，yp)表示待显示图像畸变矫正后该点在移动摄像装置中的坐标值，r表示(xd，yd)坐标值所在点距离移动摄像装置成像平面中心点的距离。其中，该移动摄像装置主要用于模拟驾驶员眼睛在车厢内中的位置，通过标定的方法以及预设畸变模型确定该摄像装置的预设畸变参数，且在模拟完成后，该摄像装置不被使用。在结合后文的描述，畸变参数对应的摄像装置为模拟目标物的移动摄像装置。
对图像进行畸变矫正，驾驶员在不同视角观看显示的图像时，降低待显示图像在显示时给驾驶员所带来的视觉差异。在畸变矫正后，还需对图像进行其他处理(如灰度处理)，便于生成矫正后的图像，将完全畸变矫正处理后的图像再显示于显示载体上，显示方法包括投影的方法，投影的方法色彩还原度高，具有较好的视觉效果，进而使显示出的图像更贴合实物。具体的，如前文所述，所述目标物为驾驶员的眼睛，所述显示载体为车辆的窗体，如前文所述，确定了在车辆窗体上显示待显示图像的预设畸变参数后，对待显示图像进行归一化处理，如：平滑处理、增强处理灰度处理等，将处理归一化处理后的图像通过投影的方式投影在车辆的透明窗体上，且该位置与驾驶员眼睛相对应，进而实现了抬头显示的功能，使得驾驶员便在驾驶车辆时，能够同时注意到环境信息和车辆行驶的信息。在本发明公开的实施例中，在对待显示图像进行畸变矫正处理过程中，还包括对待显示图像进行其他归一化处理的过程，未将该过程详细说明，本领域人员也是可以理解和实施的，其主要目的在于使图像能够更为真实清晰的显示在显示载体上。
进一步地，在其中一种实施方式中，在所述获取目标物的实时位置信息的步骤之前，包括：
将所述位置点信息及与位置点信息一一对应的预设畸变参数进行关联存储。
进一步地，在其中一种实施方式中，如图3所示在所述将预设活动范围内的各位置信息及与各位置信息一一对应的预设畸变参数进行关联存储的步骤中，包括S102至S104：
S102：确定移动摄像装置在所述预设活动范围内的实时位置信息；
S103：确定所述移动摄像装置所处的该实时位置信息所对应的畸变参数，并进行对应关联存储；
S104：根据所述移动摄像装置在所述预设活动范围内按序移动，以将预设活动范围内的各位置信息及与各位置信息一一对应的预设畸变参数皆进行关联存储。
在本发明公开的实施例中，采用移动摄像装置模拟目标物在车厢内进行移动，由于驾驶员在驾驶位置上，在观察车辆前方的环境信息时，其眼睛或者头部移动的范围是有限的，具有较为固定的移动范围(即前述的预设活动范围)，如图4和图5，因此，在移动摄像装置模拟目标物时，是在一个固定的预设活动范围内进行移动。结合前文的说明，移动摄像装置在不同的位置具有不同畸变参数，因此，采用确定目标物实时位置信息的固定摄像装置拍摄移动摄像装置，并依据固定摄像装置拍摄的移动摄像装置确定移动摄像装置在预设活动范围内的位置点信息。其具体过程同前文确定目标物实时位置信息过程一致，在此不做赘述。又由于移动摄像装置在不同的位置具有不同畸变参数，因此在通过固定摄像装置确定移动摄像装置的实时位置信息的同时，确定移动摄像装置在该实时位置信息对应的畸变参数，将该畸变参数与畸变参数一一对应的移动摄像装置的实时位置信息进行关联存储，形成目标物的预设畸变参数。从而在后期确定目标物的实时位置信息时，便能够寻找与该实时位置信息相等或者在误差范围内相等移动摄像装置的位置点信息，进而目标物在该实时位置信息对应点的预设畸变参数，以便对待显示图像进行畸变矫正。具体的，确定畸变参数的模型如前文所述的模型，同时还可以采用张正友的图像标定模型、Tasi畸变模型、包括径向畸变和切向畸变的模型、非线性的数学畸变模型以及线性的数学畸变模型等，且前述模型中，均是基于测试图像和基准图像在移动摄像装置成像平面上的位置信息的偏差确定。
优选地，为了能够快捷的调取预设畸变参数，将预设畸变参数以及移动摄像装置的位置点信息以映射关系存储在数据库，该数据库可以在本地装置，如微型控制单元中。同样的，所述数据库还能够是云端数据库和/或与所述本地数据库相连接的移动存储介质。当然为了使得本地装置能够快速地进行图像处理，也可以存储在与本地数据库相连接的其他移动存储介质中，如存储在移动终端中(如手机，平板等)，或者云端数据库中，云端数据库可以与本地数据库直接连接或者通过其他终端设备间接连接，当然也可以同时存储在本地数据库、云端数据库、移动存储介质任意一种或者多种中。
进一步地，所述确定移动摄像装置在所述预设活动范围内的实时位置信息的步骤中，包括以下步骤：
通过固定摄像装置，实时采集所述移动摄像装置在所述预设活动范围内的移动图像；
对所述移动图像进行解析，确定所述移动图像中所述移动摄像装置在所述固定摄像装置成像平面上的位置信息；
基于预设规则对该位置信息进行转换，确定移动摄像装置在所述预设活动范围内的实时位置信息。
优选地，所述预设规则包括齐次方程模型、小孔成像模型、SIFT运算规则中的一种。
如前文所述，移动摄像装置是用于模拟目标物在目标物预设活动范围内移动，因此，移动摄像装置的实时位置信息相当于后期目标物的实时位置信息，以便于确定目标物在不同位置的预设畸变参数，从而在后期目标物在不同位置能够调用对应的预设畸变参数，对待显示图像畸变矫正，使得目标物在不同位置观看到显示载体上的图像差异较小，以便驾驶员能够更好的确定当前车辆的信息。因此，如前文的说明，在前期的过程中，通过固定摄像装置实时采集移动摄像装置在预设活动范围内的移动图像，即移动摄像装置在一个位置时，固定摄像装置实时采集至少一帧图像，对所述移动图像进行解析，确定移动图像中移动摄像装置的位置信息，具体为解析出移动摄像装置在固定摄像装置呈现平面上的位置信息，结合前文说明，确定的是移动摄像装置在固定摄像装置成像平面上的坐标值(图像坐标系中的坐标值)，并依据固定的固定摄像装置坐标系中一点的坐标值与成像平面上对应点的坐标值之间的比例，将该位置信息进行转换，进而确定移动摄像装置在固定摄像装置坐标系中的坐标值，且为所述移动摄像装置在预设活动范围内移动的所述位置信息，固定的固定摄像装置坐标系中一点的坐标值与成像平面上对应点的坐标值之间的比例基于预设规则确定，具体后文详述。
具体的，为了使得移动摄像装置在呈现平面上的位置信息转换到固定摄像时，更为准确，误差较小，即使得固定摄像装置坐标系中一点的坐标值与成像平面上对应点的坐标值的比例更为准确，在本发明公开的实施例中基于齐次方程确定该比例。在具体的过程中，将其次方程转换为矩阵形式：
(x,y)为空间某一点在固定摄像装置成像平面上的坐标值，(XC,YC,ZC)为空间某一点在固定摄像装置坐标系下的坐标值，f为固定摄像装置坐标系原点与成像平面上原点之间的距离，即固定摄像装置的焦距，ρ为常数因子，根据此转换关系便可以确定移动摄像装置。
小孔成像模型基于光沿直线传播的原理，即空间中一点在空间中点、摄像装置光心、在摄像装置成像平面上的像构成一条直线。物体发出的光经过摄像装置的光心，然后成像于成像平面上，如果设物体所在平面与摄像装置平面的距离为d，物体实际高度为H，在成像平面上的高度为h，摄像装置的焦距为f，则有：
f/d＝h/H
该模型的基础是f、d、H已知，求得物体与成像平面的距离，依据该距离之间的比例关系，再基于相似三角形的等比例关系，在确定物体在成像平面上的坐标后，便能依据该比例确定物体在摄像装置坐标系中二维位置信息，其中H或者H垂直与摄像装置平面的距离添加到坐标中，得出在摄像装置坐标系中的实时位置信息。具体的，在本发明的实施例中，物体替换为移动摄像装置或者目标物，摄像装置替换为固定摄像装置。
SIFT是基于特征点的提取，依据至少两帧图像确定目标物中相对应特征的特征点，SIFT特征不只具有尺度不变性，即使在改变旋转角度，图像亮度或拍摄视角时，仍然能够得到好的检测效果。SIFT特征点提取步骤包括：1、通过高斯卷积核是实现尺度变换的唯一线性核，利用不同尺度的高斯差分核与图像卷积生成高斯差分尺度空间，即图像金字塔；2、检测DOG尺度空间极值点，确定图像在该尺度下的一个特征点；3、使用近似HarrisCorner检测器通过拟和三维二次函数以精确确定关键点的位置和尺度(达到亚像素精度)，同时去除低对比度的关键点和不稳定的边缘响应点，以增强匹配稳定性、提高抗噪声能力；4、通过确定的每幅图中的特征点，为每个特征点计算一个方向，依照这个方向做进一步的计算，利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备旋转不变性；5、将坐标轴旋转为关键点的方向，以确保旋转不变性。利用公式求得每个像素的梯度幅值与梯度方向，箭头方向代表该像素的梯度方向，箭头长度代表梯度模值，然后用高斯窗口对其进行加权运算；6、根据SIFT将生成的图进行匹配，两图中各个scale(所有scale)的描述子进行匹配，匹配上128维即可表示两个特征点匹配上了，即将不同帧实时图像数据中的特征点进行匹配，其中匹配时，可以是将相邻帧的图像数据中的特征点进行匹配，也可以是间隔帧的图像数据中的特征点进行匹配。在前述的基础上结合RANSAC算法确定目标物在固定摄像装置坐标系中的坐标值。RANSAC算法步骤包括：1、随机从数据集中随机抽出4个样本数据(此四个样本之间不共线)计算出变换矩阵H，记为模型M；2、计算数据集中所有数据与模型M的投影误差，若误差小于阈值，加入内点集I；3、如果当前内点集元素个数大于最优内点集，则更新，同时更新迭代次数k；4、如果迭代次数大于k，则退出：否则迭代次数加1，并重复上述步骤，得到匹配正确的特征点，依据特征点的在实时图像数据中的变化，预估出运动参数，即实时图像数据中的特征点即将在下一帧或者几帧实时图像中位置，并将所有帧中匹配正确的特征点统一到前述的坐标系中，确定目标物的实时位置信息，当然，该过程也同样使用于通过固定摄像装置拍摄的包括目标物的图像确定目标物在固定摄像装置坐标系中的坐标值。
进一步地，所述确定所述移动摄像装置所处的该实时位置信息所对应的畸变参数的步骤中，包括以下步骤：
通过所述移动摄像装置获取用以模拟用户在该实时位置信息所对应位置处的观看角度的测试图像；
将所述测试图像与预设基准图像进行对比，确定所述该实时位置信息所对应的畸变参数。
移动摄像装置在不同的位置具有不同畸变参数，因此，为了得到在固定点的畸变参数，在移动摄像装置移动至一位置时，该位置为移动摄像装置模拟用户的实时位置信息，移动摄像装置在该实时位置信息对应的位置拍摄至少一帧测试图像，且测试图像为移动摄像装置模拟目标物在该位置处观看被拍摄物时拍摄的图像，将该测试图像与预设基准图像进行对比，确定测试图像中各像素点与预设基准图像中各像素点的偏差，该偏差为本申请公开的实施例中的畸变参数。具体的，测试图像和预设基准图像中被拍摄的主要物体为棋盘格，预设基准图像为驾驶员眼睛正对显示载体上固定位置处时观看到棋盘格时产生的图像，测试图像为驾驶员眼睛看向显示载体但不是直视显示载体上固定位置处棋盘格时看到的图像，且测试图像和预设基准图像均是采用移动摄像装置模拟目标物看棋盘格时拍摄的图像。为了便于对比，预设基准图像中的物体与测图像中的物体相同，且各物体间的位置也是一一对应的，以实现测试图像和预设基准图像之间的对比。具体的，在进行对比时，对比的是测试图像和预设基准图像在移动摄像装置成像平面上的偏差，其过程如前文中的说明，移动摄像装置成像平面上建立有坐标系(图像坐标系)，由于在运算过程中认为摄像装置光心所在的平面与成像平面平行，常规的成像平面上的原点为光心垂直投影在成像平面上的点，因此确定畸变参数过程中，具有相同的基准点，即在成像图像面上原点。在对比时，将测试图像和基准图像上的全部或者部分像素点一一比对，将得到的畸变参数通过迭代算法、高阶解析或者差值算法等确定具体的畸变参数。具体的高阶解析，如前文中的高阶解析模型，在测试图像和基准图像上获取多对对应的坐标值带入确定畸变参数。在将测试图像和基准图像上的全部或者部分像素点一一比对的过程中，主要是将相同物体一一对应特征上的像素点进行比对。
优选地，包括多组所述实时位置信息及与所述实时位置信息相对应的所述畸变参数。
为了能够使得目标物在不同的位置具有不同的预设畸变参数，使得在各个位置看到显示载体上显示的图像的差异较小，进而在移动摄像装置模拟目标物时，固定摄像装置采集了在预设活动范围内移动摄像装置在不同位置的至少一帧图像来确定移动摄像装置的各位置点信息，同时也确定了移动摄像装置在不同位置对应的畸变参数，使得每一位置就有相对应的畸变参数，从而每一位置对应的位置信息有相对应的畸变参数。
进一步地，在所述获取目标物在预设活动范围内的实时位置信息的步骤之前，具体包括以下步骤：
检测所述预设活动范围是否存在目标物；
当检测到拍摄区域内存在目标物时，拍摄包括所述目标物的所述图像。
具体为，通过固定摄像装置获取目标物在预设活动范围内的实时位置信息，为了能够获取到实时的目标物在固定摄像装置坐标系中的实时位置信息，本发明采用了固定摄像装置追踪定位的方法，即采用固定摄像装置拍摄至少一帧包括目标物在预设活动范围内的图像，依据该图像确定目标物在所述固定摄像装置坐标系中的实时位置信息。由于本发明主要用于车辆上，而所述待显示图像主要包括车辆仪表台中仪表显示的数据，且该数据主要提供给驾驶员观看，使驾驶员能够判断车辆当前的行驶情况，进而驾驶员能更好的进行驾驶。因此，为了能够更方便驾驶员观看，摄像装置拍摄的是驾驶员的眼睛，其确定当前拍摄的区域内是否包括驾驶员的眼睛，通过轮廓识别、虹膜识别、特征识别等方法，如确定当前拍摄区域内包括了有与眼睛轮廓相对应的轮廓且该轮廓与摄像装置的距离在预设的驾驶员眼睛与固定摄像装置的范围内。虹膜是位于黑色瞳孔和白色巩膜之间的圆环状部分，其包含有很多相互交错的斑点、细丝、冠状、条纹、隐窝等的细节特征。特征识别如同前面两者识别方法，依据设置的识别特征以及特征与摄像装置距离，确定拍摄区域内是否存在驾驶员的眼睛，若存在则拍摄包括驾驶员眼睛的图像。进一步的依据面部的其他轮廓特征(如脸、嘴、鼻、眉和/或耳朵等)以及眼部轮廓特征确定驾驶员是否观看显示载体，通过前述确定拍摄区域内包括一个或者多个如下特征：脸、嘴、鼻、眉、耳朵、眼睛等，判断包括的特征之间的大小是否满足预设的特征比例、特征之间的位置关系是否满足预设的位置关系，当满足前述一个或者多个判断条件后，固定摄像装置拍摄包括眼睛的图像。进一步地，为了方便驾驶员能够在观察车辆前方时，同时能看到所述待显示图像，所述拍摄区域内应同时存在一对眼睛，当然为了方便进行特征的判断，预存有驾驶员的头像或者依据用户设定的头部特征轮廓信息、头部特征轮廓信息同时可包括前述的判断条件等。
优选地，在本发明公开的实施例中，所述目标物为驾驶员的眼睛。
优选地，依据前文的举例分析，所述目标物为驾驶员的眼睛，当然也可以是其他依据用户设定的所述目标物，如前文所述的包括一个或者多个如(脸、嘴、鼻、眉、耳朵、眼睛等)形成的目标物。
如前文所述，拍摄包括所述目标物的图像之前，具体需要检测在拍摄区域内是否存在所述目标物，摄像装置1在车内安装示意图如图2，优选地，在前述的过程中，所述目标物为驾驶员的眼睛，也包括前述的其他特征，在拍摄区域内检测是否有与预存目标物或者特征信息相对应的目标物或者目标特征，或者通过虹膜识别出拍摄区域内是否存在眼睛，在检测出存在目标物后，摄像装置1则拍摄包括所述目标物的图像。具体为，在摄像装置1检测出所述拍摄区域内存在目标物时，所述摄像装置1则进行拍摄包括所述目标物的所述图像(如图6)，以便于后续步骤能够依据该图像确定所述目标物对应在显示载体上的实时位置信息。
优选地，通过相同的固定摄像装置拍摄包括所述目标物的所述图像和实时采集所述移动图像。
进一步地，在所述将所述待显示图像显示于显示载体上的过程中，具体包括：
通过投影的方式将畸变矫正处理后的所述待显示图像显示在所述显示载体上预设位置处。
所述待显示图像通过投影的方式显示在所述显示载体上，投影对色度的还原度较高，从而具有较好观看效果，使显示出的所述待显示图像更贴合实物。具体的，所述待显示图像主要由车辆仪表台中仪表显示的数据形成，由于车辆在行驶过程中，驾驶员的速度、车辆剩余能量等都能显示在仪表盘中，且对应不同情况，速度仪表盘、剩余能量仪表盘等都会显示不同的颜色，为了使驾驶员看到速度仪表盘、剩余能量仪表盘等形成的待显示图像时，与实际的速度仪表盘、剩余能量仪表盘等的色差较小，采用投影的方式，进而满足驾驶员的使用习惯等，降低色彩的改变对驾驶员查看车辆在行驶过程中的影响。进一步地，所述待显示图像显示在所述显示载体上，且显示载体上显示的位置是提前设置的(即前文的预设位置)，在待显示图像经过畸变矫正等图像处理过程之后，将待显示图像对应的显示在显示载体上的所述预设位置处。当然，为了驾驶员便于观看，预设位置与驾驶员的眼睛相对应，使得驾驶员能够抬头且眼睛观看显示载体时，能够看到投影在显示载体上预设位置处的待显示图像，实现抬头显示的功能。如：目标物为驾驶员的眼睛，显示载体为车辆透明窗体，待显示图像为车辆仪表台中仪表显示的数据，由于待显示图像的畸变处理过程依据驾驶员眼睛对应在固定摄像装置坐标系中的坐标值确定预设畸变参数，依据前述的畸变处理过程，对待显示图像进行处理，畸变处理后的所述待显示图像投影到所述车辆透明窗体预设位置时，使得驾驶员在抬头时(不低头)便可看见车辆仪表盘中数据，该方法方便了驾驶员的安全驾驶、处理过程简单，便于将HUD应用在常规的量产车中。
本发明还提供了一种图像处理装置，在其中一种实施方式中，如图7所示，包括确定模块10、获取模块20、显示模块30。
确定模块10，用于获取目标物在预设活动范围内的实时位置信息；
获取模块20，用于依据所述实时位置信息，获取与所述实时位置信息相对应的预设畸变参数；
显示模块30，用于依据所述预设畸变参数对待显示图像进行畸变矫正处理，将所述畸变矫正处理后的所述待显示图像显示于显示载体上。
本发明还提供了一种计算机可读存储介质，包括处理器、存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时实现任一项技术方案所述图像处理方法的步骤。
本发明还提供了一种车载抬头显示系统，其特征在于，包括固定摄像装置、显示载体和所述的计算机可读存储介质，
所述固定摄像装置用于采集包括所述目标物的图像，所述计算机可读存储介质用于根据该图像对所述待显示图像进行畸变矫正处理，并将畸变矫正处理后的所述待显示图像显示于所述显示载体上，同时所述计算机可读存储介质还能够根据该图像确定所述目标物的实时位置信息。当然了，该固定摄像装置用于采集包括移动摄像装置的图像，以便计算机可读存储介质基于该图像确定移动摄像装置的位置。
进一步地，还包括移动摄像装置，所述移动摄像装置用于模拟所述目标物在所述预设活动范围内观看待显示图像的观看角度，以便所述移动摄像装置拍摄测试图像。
本发明还提供了一种车辆，包括：所述的图像处理装置；或者所述的计算机可读存储介质；或者任一技术方案所述的车载抬头显示系统。
本发明提供的一种图像处理方法、装置、车载抬头显示系统及车辆，通过摄像装置(如为单目摄像装置或者双目摄像头等)实时拍摄包括驾驶员眼睛的图像，通过该图像确定驾驶员眼睛在固定摄像装置坐标系中的坐标值(实时位置信息)，将其与数据库中移动摄像装置的位置点信息进行对比，确定驾驶员眼睛该实时位置信息上对应预设畸变参数。又由于在进行使用之前，采用移动摄像装置模拟目标物在预设活动范围(如图4)移动，图4为划分了移动区域，该图像中的划分的格子是虚拟的且格子边缘标识的A、B、C……以及1、2、3……于固定摄像装置坐标系中的二维坐标值相对应，实际的移动摄像装置的位置点信息和目标物的实时位置信息为在固定摄像装置坐标系中立体坐标值，也即固定摄像装置坐标系为立体坐标系，驾驶员在该移动区域的视角范围(优选为驾驶员直视显示载体时的视角范围以及驾驶员头部在有效范围移动时的视角范围)。图6为驾驶员的眼睛观看显示载体时在固定摄像装置上的图像，且其对应在预设活动范围内，即图6为图5中对应的预设活动范围内对应驾驶员眼睛。如前文所述，主要依据齐次方程将固定摄像装置成像平面上点的坐标值转换到固定摄像装置坐标系中坐标，进而确定移动摄像装置或者驾驶员眼睛在固定摄像装置坐标系中的坐标值。而在进行畸变参数确定的过程中，将测试图片与基准图片中相同物体相同特征的像素点进行对比，确定测试图片矫正到基准图片时的偏差(即畸变参数)，再将畸变参数和与该畸变参数对应移动摄像装置的位置点信息(在固定摄像装置中的坐标值)以映射关系对应存储在数据库中，将两者关联起来。由于移动摄像装置模拟的是目标物，因此，在确定目标物的实时位置信息(在固定摄像装置中的坐标值)时，依据移动摄像装置的位置点信息以及预设畸变的对应关系，调用预设畸变参数，将预设畸变参数用于对待显示图像的畸变处理(畸变矫正)，且对该待显示图像进行归一化处理，获得归一化处理和畸变处理后的图像，再将该图像转换到透明窗体上中具体的显示位置，通过投影的方式将畸变处理后的所述待显示图像显示在所述透明窗体上，且待显示图像在透明窗体上显示的位置固定，进而实现HUD在车辆上的应用，且整个处理过程快捷、简单，投影显示的方式对色彩的还原度高，具有较好的观看效果，所述待显示图像为车辆仪表盘中数据对应的图像，或者包括车辆仪表盘以及仪表盘实时数据的图像。如图5，摄像装置1设置在驾驶员头部前方的车辆顶部，便于拍摄包括驾驶员眼睛的图像，为了便于驾驶员观看，透明窗体优选为车辆前方的挡风玻璃。
需要说明的是，在本发明的实施例中，显示载体可以是车辆的透明窗体、空气中的水分子等。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (13)

1.一种图像处理方法，其特征在于，包括以下步骤：
获取目标物在预设活动范围内的实时位置信息；
依据所述实时位置信息，获取与所述实时位置信息相对应的预设畸变参数；
依据所述预设畸变参数对待显示图像进行畸变矫正处理，将畸变矫正处理后的所述待显示图像显示于显示载体上。
2.根据权利要求1所述的图像处理方法，其特征在于，在所述获取目标物在预设活动范围内的实时位置信息的步骤之前，还包括：
将预设活动范围内的各位置信息及与各位置信息一一对应的预设畸变参数进行关联存储。
3.根据权利要求2所述的图像处理方法，其特征在于，在所述将预设活动范围内的各位置信息及与各位置信息一一对应的预设畸变参数进行关联存储的步骤中，包括：
确定移动摄像装置在所述预设活动范围内的实时位置信息；
确定所述移动摄像装置所处的该实时位置信息所对应的畸变参数，并进行对应关联存储；
根据所述移动摄像装置在所述预设活动范围内按序移动，以将预设活动范围内的各位置信息及与各位置信息一一对应的预设畸变参数皆进行关联存储。
4.根据权利要求3所述的图像处理方法，其特征在于，所述确定移动摄像装置在所述预设活动范围内的实时位置信息的步骤中，包括：
通过固定摄像装置，实时采集所述移动摄像装置在所述预设活动范围内的移动图像；
对所述移动图像进行解析，确定所述移动图像中所述移动摄像装置在所述固定摄像装置成像平面上的位置信息；
基于预设规则对该位置信息进行转换，确定移动摄像装置在所述预设活动范围内的实时位置信息。
5.根据权利要求3所述的图像处理方法，其特征在于，所述确定所述移动摄像装置所处的该实时位置信息所对应的畸变参数的步骤中，包括：
通过所述移动摄像装置获取用以模拟用户在该实时位置信息所对应位置处的观看角度的测试图像；
将所述测试图像与预设基准图像进行对比，确定所述该实时位置信息所对应的畸变参数。
6.根据权利要求4所述的图像处理方法，其特征在于，所述预设规则包括齐次方程模型、小孔成像模型、SIFT运算规则中的一种。
7.根据权利要求1所述的图像处理方法，其特征在于，在所述获取目标物在预设活动范围内的实时位置信息的步骤之前，具体包括：
检测所述预设活动范围内是否存在目标物；
当检测到拍摄区域内存在目标物时，拍摄包括所述目标物的图像。
8.根据权利要求1所述的图像处理方法，其特征在于，在所述将所述畸变矫正处理后的所述待显示图像显示于显示载体上的过程中，具体包括：
通过投影的方式将畸变矫正处理后的所述待显示图像显示在所述显示载体上预设位置处。
9.一种图像处理装置，其特征在于，包括：
确定模块，用于目标物在预设活动范围内的实时位置信息；
获取模块，用于依据所述实时位置信息，获取与所述实时位置信息相对应的预设畸变参数；
显示模块，用于依据所述预设畸变参数对待显示图像进行畸变矫正处理，将所述畸变矫正处理后的所述待显示图像显示于显示载体上。
10.一种计算机可读存储介质，其特征在于，包括处理器、存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时实现权利要求1-8任一项所述图像处理方法的步骤。
11.一种车载抬头显示系统，其特征在于，包括固定摄像装置、显示载体和权利要求10所述的计算机可读存储介质，
所述固定摄像装置用于采集包括所述目标物的图像，所述计算机可读存储介质用于根据该图像对所述待显示图像进行畸变矫正处理，并将畸变矫正处理后的所述待显示图像显示于所述显示载体上。
12.根据权利要求11所述的车载抬头显示系统，其特征在于，还包括移动摄像装置，所述移动摄像装置用于模拟所述目标物在所述预设活动范围内观看待显示图像的观看角度，以便所述移动摄像装置拍摄测试图像。
13.一种车辆，其特征在于，包括：
权利要求9所述的图像处理装置；
或者权利要求10所述的计算机可读存储介质；
或者权利要求11或12中所述的车载抬头显示系统。
CN201810032426.3A 2018-01-12 2018-01-12 图像处理方法、装置、车载抬头显示系统及车辆 Active CN108171673B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201810032426.3A CN108171673B (zh) 2018-01-12 2018-01-12 图像处理方法、装置、车载抬头显示系统及车辆
US16/470,238 US11120531B2 (en) 2018-01-12 2018-10-25 Method and device for image processing, vehicle head-up display system and vehicle
EP18900446.8A EP3739545A4 (en) 2018-01-12 2018-10-25 IMAGE PROCESSING METHOD AND APPARATUS, VEHICLE MOUNTED HEAD-UP DISPLAY SYSTEM, AND VEHICLE
PCT/CN2018/111905 WO2019137065A1 (zh) 2018-01-12 2018-10-25 图像处理方法、装置、车载抬头显示系统及车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810032426.3A CN108171673B (zh) 2018-01-12 2018-01-12 图像处理方法、装置、车载抬头显示系统及车辆

Publications (2)

Publication Number Publication Date
CN108171673A true CN108171673A (zh) 2018-06-15
CN108171673B CN108171673B (zh) 2024-01-23

Family

ID=62514705

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810032426.3A Active CN108171673B (zh) 2018-01-12 2018-01-12 图像处理方法、装置、车载抬头显示系统及车辆

Country Status (4)

Country Link
US (1) US11120531B2 (zh)
EP (1) EP3739545A4 (zh)
CN (1) CN108171673B (zh)
WO (1) WO2019137065A1 (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109993713A (zh) * 2019-04-04 2019-07-09 百度在线网络技术（北京）有限公司 车载平视显示系统图像畸变矫正方法和装置
WO2019137065A1 (zh) * 2018-01-12 2019-07-18 京东方科技集团股份有限公司 图像处理方法、装置、车载抬头显示系统及车辆
CN110728638A (zh) * 2019-09-25 2020-01-24 深圳疆程技术有限公司 一种图像的畸变矫正方法、车机及汽车
CN111080545A (zh) * 2019-12-09 2020-04-28 Oppo广东移动通信有限公司 人脸畸变校正方法、装置、终端设备和存储介质
CN111127365A (zh) * 2019-12-26 2020-05-08 重庆矢崎仪表有限公司 基于三次样条曲线拟合的hud畸变矫正方法
CN112164377A (zh) * 2020-08-27 2021-01-01 江苏泽景汽车电子股份有限公司 一种hud图像矫正的自适配方法
CN112731664A (zh) * 2020-12-28 2021-04-30 北京经纬恒润科技股份有限公司 一种车载增强现实抬头显示系统及显示方法
CN113421346A (zh) * 2021-06-30 2021-09-21 暨南大学 一种增强驾驶感的ar-hud抬头显示界面的设计方法
CN113452897A (zh) * 2020-03-27 2021-09-28 浙江宇视科技有限公司 一种图像处理方法、系统、设备及计算机可读存储介质
WO2021204011A1 (zh) * 2020-04-09 2021-10-14 华为技术有限公司 抬头显示装置和抬头显示方法
CN114415826A (zh) * 2020-05-15 2022-04-29 华为技术有限公司 一种数据处理方法及其设备
CN115689920A (zh) * 2022-10-26 2023-02-03 北京灵犀微光科技有限公司 Hud成像的辅助矫正方法、装置及矫正系统
CN116017174A (zh) * 2022-12-28 2023-04-25 江苏泽景汽车电子股份有限公司 Hud畸变矫正方法、装置及系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113515981A (zh) * 2020-05-22 2021-10-19 阿里巴巴集团控股有限公司 识别方法、装置、设备和存储介质
US11263729B2 (en) * 2020-05-26 2022-03-01 Microsoft Technology Licensing, Llc Reprojection and wobulation at head-mounted display device
CN111932506B (zh) * 2020-07-22 2023-07-14 四川大学 一种提取图像中非连续直线的方法

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004079653A1 (ja) * 2003-03-05 2004-09-16 3D Media Co. Ltd. 画像処理方法、画像処理システム、画像処理装置、及びコンピュータプログラム
CN101289064A (zh) * 2007-04-18 2008-10-22 宇诚科技股份有限公司 移动式抬头显示导航装置
CN103792674A (zh) * 2014-01-21 2014-05-14 浙江大学 一种测量和校正虚拟现实显示器畸变的装置和方法
CN104656253A (zh) * 2013-11-21 2015-05-27 中强光电股份有限公司 抬头显示系统
CN204731990U (zh) * 2015-05-14 2015-10-28 青岛歌尔声学科技有限公司 一种车载抬头显示设备及其信息处理装置
CN105323377A (zh) * 2014-07-30 2016-02-10 通用汽车环球科技运作有限责任公司 补充紧凑型车载信息显示器
DE102015215573A1 (de) * 2014-08-14 2016-02-18 Ford Global Technologies, Llc Verfahren zur eingabe eines weges für ein fahrzeug und einen anhänger
CN105404011A (zh) * 2015-12-24 2016-03-16 深圳点石创新科技有限公司 一种抬头显示器的3d图像校正方法以及抬头显示器
CN105527710A (zh) * 2016-01-08 2016-04-27 北京乐驾科技有限公司 一种智能抬头显示系统
CN105700136A (zh) * 2014-11-27 2016-06-22 比亚迪股份有限公司 一种车载抬头显示系统及汽车
CN105774679A (zh) * 2014-12-25 2016-07-20 比亚迪股份有限公司 一种汽车、车载抬头显示系统及其投影图像高度调节方法
CN106226910A (zh) * 2016-09-08 2016-12-14 邹文韬 Hud系统及其影像调整方法
CN106226905A (zh) * 2016-08-23 2016-12-14 北京乐驾科技有限公司 一种抬头显示装置
US20160368417A1 (en) * 2015-06-17 2016-12-22 Geo Semiconductor Inc. Vehicle vision system
CN106446801A (zh) * 2016-09-06 2017-02-22 清华大学 基于超声主动探测的微手势识别方法及系统
CN106799993A (zh) * 2017-01-09 2017-06-06 智车优行科技（北京）有限公司 街景采集方法和系统、车辆
CN106846409A (zh) * 2016-10-28 2017-06-13 北京鑫洋泉电子科技有限公司 鱼眼相机的标定方法及装置
CN206332777U (zh) * 2016-12-23 2017-07-14 深圳点石创新科技有限公司 车载抬头显示系统
CN107272194A (zh) * 2017-07-12 2017-10-20 湖南海翼电子商务股份有限公司 抬头显示装置及其方法
US20170330308A1 (en) * 2014-10-31 2017-11-16 Huawei Technologies Co., Ltd. Image Processing Method and Device
CN107527324A (zh) * 2017-07-13 2017-12-29 江苏泽景汽车电子股份有限公司 一种hud的图像畸变矫正方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1897057B1 (de) * 2005-06-29 2014-04-02 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur verzerrungsfreien darstellung
US7835592B2 (en) * 2006-10-17 2010-11-16 Seiko Epson Corporation Calibration technique for heads up display system
US20080088528A1 (en) * 2006-10-17 2008-04-17 Takashi Shindo Warp Image Circuit
US9619020B2 (en) * 2013-03-01 2017-04-11 Tobii Ab Delay warp gaze interaction
US10026095B2 (en) * 2013-09-10 2018-07-17 Chian Chiu Li Systems and methods for obtaining and utilizing user reaction and feedback
US20160235291A1 (en) * 2015-02-13 2016-08-18 Dennis Choohan Goh Systems and Methods for Mapping and Evaluating Visual Distortions
KR102463712B1 (ko) * 2017-11-24 2022-11-08 현대자동차주식회사 가상 터치 인식 장치 및 그의 인식 오류 보정 방법
CN108171673B (zh) * 2018-01-12 2024-01-23 京东方科技集团股份有限公司 图像处理方法、装置、车载抬头显示系统及车辆

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004079653A1 (ja) * 2003-03-05 2004-09-16 3D Media Co. Ltd. 画像処理方法、画像処理システム、画像処理装置、及びコンピュータプログラム
CN101289064A (zh) * 2007-04-18 2008-10-22 宇诚科技股份有限公司 移动式抬头显示导航装置
CN104656253A (zh) * 2013-11-21 2015-05-27 中强光电股份有限公司 抬头显示系统
CN103792674A (zh) * 2014-01-21 2014-05-14 浙江大学 一种测量和校正虚拟现实显示器畸变的装置和方法
CN105323377A (zh) * 2014-07-30 2016-02-10 通用汽车环球科技运作有限责任公司 补充紧凑型车载信息显示器
DE102015215573A1 (de) * 2014-08-14 2016-02-18 Ford Global Technologies, Llc Verfahren zur eingabe eines weges für ein fahrzeug und einen anhänger
US20170330308A1 (en) * 2014-10-31 2017-11-16 Huawei Technologies Co., Ltd. Image Processing Method and Device
CN105700136A (zh) * 2014-11-27 2016-06-22 比亚迪股份有限公司 一种车载抬头显示系统及汽车
CN105774679A (zh) * 2014-12-25 2016-07-20 比亚迪股份有限公司 一种汽车、车载抬头显示系统及其投影图像高度调节方法
CN204731990U (zh) * 2015-05-14 2015-10-28 青岛歌尔声学科技有限公司 一种车载抬头显示设备及其信息处理装置
US20160368417A1 (en) * 2015-06-17 2016-12-22 Geo Semiconductor Inc. Vehicle vision system
CN105404011A (zh) * 2015-12-24 2016-03-16 深圳点石创新科技有限公司 一种抬头显示器的3d图像校正方法以及抬头显示器
CN105527710A (zh) * 2016-01-08 2016-04-27 北京乐驾科技有限公司 一种智能抬头显示系统
CN106226905A (zh) * 2016-08-23 2016-12-14 北京乐驾科技有限公司 一种抬头显示装置
CN106446801A (zh) * 2016-09-06 2017-02-22 清华大学 基于超声主动探测的微手势识别方法及系统
CN106226910A (zh) * 2016-09-08 2016-12-14 邹文韬 Hud系统及其影像调整方法
CN106846409A (zh) * 2016-10-28 2017-06-13 北京鑫洋泉电子科技有限公司 鱼眼相机的标定方法及装置
CN206332777U (zh) * 2016-12-23 2017-07-14 深圳点石创新科技有限公司 车载抬头显示系统
CN106799993A (zh) * 2017-01-09 2017-06-06 智车优行科技（北京）有限公司 街景采集方法和系统、车辆
CN107272194A (zh) * 2017-07-12 2017-10-20 湖南海翼电子商务股份有限公司 抬头显示装置及其方法
CN107527324A (zh) * 2017-07-13 2017-12-29 江苏泽景汽车电子股份有限公司 一种hud的图像畸变矫正方法

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019137065A1 (zh) * 2018-01-12 2019-07-18 京东方科技集团股份有限公司 图像处理方法、装置、车载抬头显示系统及车辆
US11120531B2 (en) 2018-01-12 2021-09-14 Boe Technology Group Co., Ltd. Method and device for image processing, vehicle head-up display system and vehicle
CN109993713A (zh) * 2019-04-04 2019-07-09 百度在线网络技术（北京）有限公司 车载平视显示系统图像畸变矫正方法和装置
CN109993713B (zh) * 2019-04-04 2021-11-05 阿波罗智联(北京)科技有限公司 车载平视显示系统图像畸变矫正方法和装置
CN110728638A (zh) * 2019-09-25 2020-01-24 深圳疆程技术有限公司 一种图像的畸变矫正方法、车机及汽车
CN111080545B (zh) * 2019-12-09 2024-03-12 Oppo广东移动通信有限公司 人脸畸变校正方法、装置、终端设备和存储介质
CN111080545A (zh) * 2019-12-09 2020-04-28 Oppo广东移动通信有限公司 人脸畸变校正方法、装置、终端设备和存储介质
CN111127365A (zh) * 2019-12-26 2020-05-08 重庆矢崎仪表有限公司 基于三次样条曲线拟合的hud畸变矫正方法
CN111127365B (zh) * 2019-12-26 2023-08-29 重庆矢崎仪表有限公司 基于三次样条曲线拟合的hud畸变矫正方法
CN113452897A (zh) * 2020-03-27 2021-09-28 浙江宇视科技有限公司 一种图像处理方法、系统、设备及计算机可读存储介质
CN113452897B (zh) * 2020-03-27 2023-04-07 浙江宇视科技有限公司 一种图像处理方法、系统、设备及计算机可读存储介质
WO2021204011A1 (zh) * 2020-04-09 2021-10-14 华为技术有限公司 抬头显示装置和抬头显示方法
CN114415826A (zh) * 2020-05-15 2022-04-29 华为技术有限公司 一种数据处理方法及其设备
CN112164377A (zh) * 2020-08-27 2021-01-01 江苏泽景汽车电子股份有限公司 一种hud图像矫正的自适配方法
CN112164377B (zh) * 2020-08-27 2022-04-01 江苏泽景汽车电子股份有限公司 一种hud图像矫正的自适配方法
CN112731664A (zh) * 2020-12-28 2021-04-30 北京经纬恒润科技股份有限公司 一种车载增强现实抬头显示系统及显示方法
CN113421346B (zh) * 2021-06-30 2023-02-17 暨南大学 一种增强驾驶感的ar-hud抬头显示界面的设计方法
CN113421346A (zh) * 2021-06-30 2021-09-21 暨南大学 一种增强驾驶感的ar-hud抬头显示界面的设计方法
CN115689920A (zh) * 2022-10-26 2023-02-03 北京灵犀微光科技有限公司 Hud成像的辅助矫正方法、装置及矫正系统
CN115689920B (zh) * 2022-10-26 2023-08-11 北京灵犀微光科技有限公司 Hud成像的辅助矫正方法、装置及矫正系统
CN116017174A (zh) * 2022-12-28 2023-04-25 江苏泽景汽车电子股份有限公司 Hud畸变矫正方法、装置及系统
CN116017174B (zh) * 2022-12-28 2024-02-06 江苏泽景汽车电子股份有限公司 Hud畸变矫正方法、装置及系统

Also Published As

Publication number Publication date
WO2019137065A1 (zh) 2019-07-18
CN108171673B (zh) 2024-01-23
EP3739545A1 (en) 2020-11-18
US11120531B2 (en) 2021-09-14
US20200334795A1 (en) 2020-10-22
EP3739545A4 (en) 2021-11-10

Similar Documents

Publication Publication Date Title
CN108171673A (zh) 图像处理方法、装置、车载抬头显示系统及车辆
EP4383193A1 (en) Line-of-sight direction tracking method and apparatus
CN110703904B (zh) 一种基于视线跟踪的增强虚拟现实投影方法及系统
CN113421346B (zh) 一种增强驾驶感的ar-hud抬头显示界面的设计方法
WO2023071834A1 (zh) 用于显示设备的对齐方法及对齐装置、车载显示系统
CA2402226A1 (en) Vehicle simulator having head-up display
US10402950B1 (en) Optical measurement system
CN108989794B (zh) 基于抬头显示系统的虚像信息测量方法及系统
CN102149325A (zh) 视线方向判定装置及视线方向判定方法
CN112344963B (zh) 一种基于增强现实抬头显示设备的测试方法及系统
US10769852B2 (en) Method for simulating natural perception in virtual and augmented reality scenes
CN107038722A (zh) 一种设备定位方法及装置
CN109855845B (zh) 一种双目镜测量车载hud虚像距离与修正方法
US20190293937A1 (en) Augmented reality display device and method, and augmented reality glasses
JP2003065812A (ja) 計器表示の画像情報に基く数値データ化システム
Hospach et al. Simulation of falling rain for robustness testing of video-based surround sensing systems
Welchman et al. Human observers are biased in judging the angular approach of a projectile
CN115984122A (zh) 一种hud背光显示系统及方法
US20070263923A1 (en) Method for Stereoscopic Measuring Image Points and Device for Carrying Out Said Method
CN108734729A (zh) 一种平视显示器系统中双目视差的检测方法
CN111417885A (zh) 用于确定增强现实眼镜的姿态的系统和方法、用于校准增强现实眼镜的系统和方法、用于支持增强现实眼镜的姿态确定的方法以及适用于该方法的机动车
CN111522443B (zh) 车辆a柱显示组件的显示方法、系统、设备和存储介质
CN115223231A (zh) 视线方向检测方法和装置
CN112326206A (zh) Ar模组双目融合检测装置及检测方法
CN108760246B (zh) 一种平视显示器系统中眼动范围的检测方法

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant