CN109309828A - 图像处理方法和图像处理装置 - Google Patents

图像处理方法和图像处理装置 Download PDF

Info

Publication number
CN109309828A
CN109309828A CN201810777341.8A CN201810777341A CN109309828A CN 109309828 A CN109309828 A CN 109309828A CN 201810777341 A CN201810777341 A CN 201810777341A CN 109309828 A CN109309828 A CN 109309828A
Authority
CN
China
Prior art keywords
image
user
image processing
processing apparatus
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810777341.8A
Other languages
English (en)
Other versions
CN109309828B (zh
Inventor
李振镐
南东暻
朴柱容
赵良镐
崔奎焕
崔伦善
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN109309828A publication Critical patent/CN109309828A/zh
Application granted granted Critical
Publication of CN109309828B publication Critical patent/CN109309828B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/211—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays producing three-dimensional [3D] effects, e.g. stereoscopic images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B60K35/654—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive the user being the driver
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/08—Mirrors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/177—Augmented reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/178—Warnings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/179—Distances to obstacles or vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/191—Highlight information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/334—Projection means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/77—Instrument locations other than the dashboard
    • B60K2360/785—Instrument locations other than the dashboard on or in relation to the windshield or windows
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0181—Adaptation to the pilot/driver
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Instrument Panels (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Analysis (AREA)

Abstract

提供一种图像处理方法和图像处理装置。所述图像处理方法包括：基于用户的视点信息生成图像；基于与什么在用户的前方有关的信息对图像进行渲染；使用光学元件输出渲染的图像。

Description

图像处理方法和图像处理装置
本申请要求于2017年7月28日提交到韩国知识产权局的第10-2017-0095912号韩国专利申请的优先权，所述韩国专利申请的公开通过引用全部合并于此。
技术领域
与示例性实施例一致的方法和设备涉及一种图像处理方法和图像处理装置。
背景技术
驾驶运输装置(例如，汽车、摩托车、智能机动车辆、艇或船、或者飞机)的驾驶员可通过导航获取与运输装置的操作相关联的信息。作为一个示例，导航装置可嵌入在车辆的中央控制台的控制面板部分中或者可附接到前挡风玻璃。
驾驶员在驾驶时必须注意出现在车辆的前方、后方和两侧的障碍物。然而，如果导航装置在驾驶员的典型的视角之外或者在驾驶员的视线之外，则驾驶员可能会忽略导航装置或者可能在进行不安全驾驶。特别是，对于没有经验的驾驶员可能增加事故的风险。
驾驶员可使用辅助驾驶的平视显示(HUD)装置。HUD装置可将与车辆的操作相关联的信息(例如，仪表板信息和导航信息)投射到挡风玻璃上。也就是说，驾驶员可在驾驶期间不改变他的目光或视线的情况下查看与车辆的操作相关联的信息，从而可安全的驾驶车辆。
除了显示显示器面板信息(例如，车辆速度、油位和每分钟转数(RPM))和导航信息，特定装置还可以使用增强现实(AR)形式的HUD装置显示车道信息、关于前方危险情况的信息(例如，施工、交通事故或者关于对象的警告等)。
发明内容
一个或多个示例性实施例可解决至少以上问题和/或缺点以及以上没有描述的其他缺点。此外，示例性实施例不需要克服上述缺点，并且示例性实施例可不克服上述的任何问题。
根据示例性实施例的一方面，提供一种图像处理方法，包括：基于用户的视点信息生成图像；基于与什么在用户的前方有关的信息，来对图像进行渲染；使用光学元件输出渲染的图像，其中，与什么在用户的前方有关的信息包括出现在用户的前方的周围环境和对象中的至少一个。
对图像进行渲染的步骤可包括：使用传感器获取出现在用户的前方的对象的形状、位置和深度中的至少一个。
生成图像的步骤可包括：使用图像相机或红外相机来获取所述视点信息。
获取的步骤可包括：通过使用图像相机或红外相机直接检测用户的眼睛或者通过检测反射在车辆的挡风玻璃上的用户的眼睛，来获取所述视点信息。
生成图像的步骤可包括：基于所述视点信息确定用户的眼睛的位置；将图像分配给与眼睛的位置对应的多个子像素。
分配图像的步骤可包括：将将被输入到用户的左眼的图像分配给与用户的左眼的位置对应的多个子像素；将将被输入到用户的右眼的图像分配给与用户的右眼的位置对应的多个子像素。
生成图像的步骤可包括：基于所述视点信息和光学变换来生成所述图像。
光学元件可以是双凸透镜或视差屏障。
输出渲染的图像的步骤可包括：使用放大光学系统来扩大渲染的图像。
放大光学系统可包括非球面镜和平面镜中的一个。
对图像进行渲染的步骤可包括：对图像进行渲染，使得图像的深度大于虚拟图像距离。
根据另一示例性实施例的方面，提供一种图像处理装置，包括：控制器，被配置为：基于用户的视点信息来生成图像，并基于与什么在用户的前方有关的信息来对图像进行渲染，其中，与什么在用户的前方有关的信息包括出现在用户的前方的周围环境和对象中的至少一个；光学元件，被配置为输出渲染的图像。
控制器可被配置为使用传感器来获取出现在用户的前方的对象的形状、位置和深度中的一个。
控制器可被配置为使用图像相机或红外相机来获取视点信息。
图像相机或红外相机可被配置为：基于直接检测的用户的眼睛或反射在车辆的挡风玻璃上的用户的眼睛来获取所述视点信息。
控制器可被配置为：基于所述视点信息来确定用户的眼睛的位置并将图像分配给与眼睛的位置对应的多个子像素。
控制器可被配置为：将将被输入到用户的左眼的图像分配给与用户的左眼的位置对应的多个子像素，并将将被输入到用户的右眼的图像分配给与用户的右眼的位置对应的多个子像素。
控制器可被配置为：基于所述视点信息和光学变换生成所述图像。
光学元件可以是双凸透镜或视差屏障。
所述图像处理装置还可包括：放大光学系统，被配置为扩大从光学元件输出的图像。
放大光学系统可包括非球面镜和平面镜中的至少一个。
控制器可被配置为：对图像进行渲染，使得图像的深度大于虚拟图像距离。
附图说明
通过参照附图描述特定示例性实施例，以上和/或其他示例性方面将更清楚，其中：
图1是示出根据示例性实施例的图像处理系统的示图；
图2是示出根据示例性实施例的图1的图像处理装置的示例的示图；
图3是示出根据示例性实施例的图2的显示器的示例的示图；
图4示出根据示例性实施例的图3的光学元件的操作；
图5示出根据示例性实施例的图2的控制器的操作；
图6示出根据示例性实施例的图2的显示器的另一示例；
图7A示出根据示例性实施例的描述图2的显示器的莫尔现象(moire phenomenon)的示例；
图7B示出根据示例性实施例的描述图2的显示器的莫尔现象的另一示例；
图8是示出根据示例性实施例的驾驶员的视觉疲劳的曲线图的示例；
图9示出根据示例性实施例的基于图8的视觉疲劳的图像处理装置的操作的示例；
图10示出根据示例性实施例的配置在车辆中的图1的图像处理系统的示例；
图11是示出根据示例性实施例的图像处理方法的流程图。
具体实施方式
现在将对在附图中示出的示例性实施例进行详细地参考，其中，相同的参考标号始终表示相同的元件。下面参照附图描述示例性实施例以解释本公开。
下面的结构或功能的描述是示例性的，以仅描述示例性实施例，并且示例性实施例的范围不限于在本说明书中提供的描述。本领域的普通技术人员可对其进行各种改变和修改。
虽然术语“第一”或“第二”被用于解释各种组件，但是所述组件不受限于所述术语。这些术语应仅用于将一个组件与另一个组件区分开。例如，在根据本公开的构思的权利的范围内，“第一”组件可被称为“第二”组件，或者类似地，“第二”组件可被称为“第一”组件。
将理解，当组件被称为“连接到”另一组件时，所述组件可直接连接到或结合到另一组件或者可存在中间组件。
除非上下文另外明确指示，否则如在此使用的单数形式也意图包括复数形式。还应理解，当在本说明书中使用术语“包括”和/或“包含”时，指明存在阐述的特征、整体、步骤、操作、元件、组件或它们的组合，但不排除存在或添加一个或多个其他特征、整体、步骤、操作、元件、组件和/或它们的组合。
除非在此另外定义，否则在此使用的所有术语(包括技术术语或科学术语)具有与本领域普通技术人员通常理解的含义相同的含义。除非在此另外定义，否则在通用词典中定义的术语应被解释为具有与相关领域的上下文含义匹配的含义，并且不被解释为理想的或过于正式的含义。
在下文中，参照附图描述示例性实施例。然而，示例性实施例的范围不限于此或受其约束。这里，在每个附图中示出的相同的参考标号始终表示相同的元件。
图1是示出根据示例性实施例的图像处理系统的示图。
参照图1，图像处理系统10包括相机100、传感器200和图像处理装置300。
图像处理系统10可将与操作相关联的信息提供给用户。在此，用户可以是驾驶运输装置的驾驶员。例如，图像处理系统10可向用户提供仪表板信息、导航信息、车道信息、关于前方危险情况的信息等。仪表板信息可包括运输装置的速度、油位、RPM等。关于前方危险情况的信息可包括关于施工或交通事故的信息或者针对对象(诸如，动物、人、自行车、车辆等)的警告。
图像处理系统10可以以AR形式输出与操作相关联的信息。图像处理系统10可使用挡风玻璃在驾驶员(即，用户)的前方输出图像。例如，图像处理系统10可输出光学图像或虚拟图像。
图像处理系统10输出光学图像或虚拟图像的处理可包括调节光学图像或虚拟图像的位置和深度。也就是说，图像处理系统10可调节表现图像的距离和深度。参照图7A和图7B以及图8和图9来描述通过图像处理系统10调节距离和深度的操作。用户可通过参考反射在挡风玻璃上的虚拟图像或光学图像来执行安全驾驶。
图像处理系统10可被配置在运输装置中。例如，图像处理系统10可被配置在汽车、摩托车或自动自行车、智能机动车辆、艇或船、或者飞机中。在下文中，基于图像处理系统10被配置在车辆中的示例来进行描述。然而，这仅是示例性的。
相机100可跟踪用户的视点信息。视点信息可包括用户的眼睛的位置和/或视点。例如，相机100可获取关于用户的左眼的位置和右眼的位置的信息。此外，相机100可获取关于用户正在注视的方向的信息。相机100可获取与左眼和右眼中的每一个对应的光线信息。
相机100可设置在用户的前方。相机100可设置在挡风玻璃的上部或下部并可在用户的前方跟踪用户的眼睛的位置和/或视点。此外，相机100可被配置在图像处理装置300内。
例如，当相机100设置在挡风玻璃的上部时，相机100可被配置在后视镜内。当相机100设置在挡风玻璃的下部时，相机100可被配置在仪表盘内。
相机100可面向用户或面向挡风玻璃。当相机100面向挡风玻璃时，相机100可跟踪反射在挡风玻璃上的用户的眼睛的位置和/或视点。
相机100可实时跟踪用户的眼睛的位置和/或视点。例如，当用户(即，驾驶员)从驾驶员的座位的位置注视前方然后通过倾斜他的身体从乘客的座位的位置注视前方时，相机100可获取指示用户的眼睛的位置已经从驾驶员座位的位置移动到乘客座位的位置的信息。此外，当用户向前注视然后为了右转而向右注视时，相机100可获取指示用户的视点已经从前方移动到右侧的信息。
相机100可以是图像相机(image camera)和/或红外相机。例如，如果光(例如，光的强度)充足或者在白天期间，则图像相机可跟踪用户的视点。如果光(例如，光的强度)不充足或者在夜间期间，则红外相机可跟踪用户的视点。在一个示例中，图像相机可以是在可见光下进行成像的普通相机，然而，这仅是图像相机的一个示例，并且这不被理解为限制。
相机100可包括用于测量时间的时钟。例如，预设时间的持续时间可被确定为光(例如，光的强度)充足或者被认为是白天的时间，并且图像相机可进行操作。如果预设时间已经过去，则其可被确定为光(例如，光的强度)不充足或者被认为是夜间的时间，并且红外相机可进行操作。
此外，例如，相机100可包括被配置为测量光的强度的光学传感器或者光电检测器。如果在光学传感器测量的光的强度大于或等于参考值，则图像相机可进行操作。如果在光学传感器测量的光的强度小于参考值，则红外相机可进行操作。光学传感器可被配置为独立的传感器200，而不是包括在相机100中。
相机100可将关于跟踪的用户的眼睛的位置和/或视点的信息输出到图像处理装置300。
传感器200可获取与什么在车辆的前方有关的信息。例如，传感器200可获取关于出现在车辆前方的车辆周围环境和/或对象的信息。传感器200可以是雷达装置、光探测和测距(LIDAR)设备、超声波传感器、红外传感器、热传感器、光学传感器、全球定位系统(GPS)模块等。
例如，关于车辆周围环境的信息可包括道路信息、车道信息、减速带信息、交通灯信息和速度相机信息。
例如，关于对象的信息可包括对象的形状信息、位置信息和深度信息。
传感器200可将与什么在车辆的前方有关的信息输出到图像处理装置300。
图像处理装置300可从相机100获取关于跟踪的用户的眼睛的位置和/或视点的信息并可从传感器200获取与什么在车辆的前方有关的信息。
图像处理装置300可基于关于跟踪的用户的眼睛的位置和/或视点的信息来生成图像。图像处理装置300可基于关于跟踪的用户的眼睛的位置和/或视点的信息来确定用户的眼睛的位置，并可将图像分配给与眼睛的位置对应的像素。也就是说，图像处理装置300可包括显示器。
单个像素可包括多个子像素。图像处理装置300可通过将与将被输出的图像对应的子像素值分配给子像素来输出图像。
例如，图像处理装置300可将将被输入到用户的左眼的图像分配给与用户的左眼的位置对应的多个子像素，并可将将被输入到用户的右眼的图像分配给与用户的右眼的位置对应的多个子像素。
图像处理装置300可从传感器200获取与什么在车辆的前方有关的信息。图像处理装置300可基于与什么在车辆的前方有关的信息来渲染生成的图像。图像处理装置300可将渲染的图像输出到用户。
图像处理装置300可设置在车辆的仪表盘的下部并可将多条光线输出到挡风玻璃。用户可观看经由挡风玻璃反射的多条光线。图像处理装置300可以是HUD装置。
图像处理装置300可包括裸眼(无眼镜)三维(3D)显示器或者自动立体3D屏幕。例如，图像处理装置300可均匀地输出与渲染的图像相关联的多条光线。也就是说，图像处理装置300可以以AR的形式输出渲染的图像。因此，用户可在不佩戴3D眼镜、立体眼镜或智能眼镜的情况下观看3D图像。用户还可通过参考匹配与操作相关联的信息的3D图像来安全驾驶车辆。
图2是示出根据示例性实施例的图1的图像处理装置的示例的示图；图3是示出根据示例性实施例的图2的显示器的示例的示图；图4示出根据示例性实施例的图3的光学元件的操作。
参照图2至图4，图像处理装置300包括控制器310、显示器320和放大光学系统330。
控制器310可从相机100获取关于跟踪的用户的眼睛的位置和/或视点的信息，并可从传感器200获取与什么在车辆的前方有关的信息。
控制器310可基于从相机100获取的关于用户的眼睛的位置和/或视点的信息来执行3D图像渲染操作。3D图像渲染操作可表示对图像执行渲染使得用户可观看3D图像的操作。控制器310可对用户的左眼和右眼执行光场渲染操作。
控制器310可基于关于用户的位置和/或视点的信息，将与将被输出的图像对应的像素值分配给显示器320的多个像素。显示器320的多个像素中的单个像素可包括多个子像素。例如，控制器310可将与将被输出的图像对应的子像素值分配给多个子像素。
详细地讲，控制器310可将与第一视点对应的像素值(子像素值)分配给第一像素(第一子像素)并可将与第二视点对应的像素值(子像素值)分配给第二像素(第二子像素)。这里，用于分配像素值的第一视点和第二视点可被称为候选视点。候选视点可包括针对单个用户的左视点和右视点，或者可包括针对多视角的预定数量的视点。例如，第一视点可以是针对用户的右眼的视点，第二视点可以是针对用户的左眼的视点。
控制器310可实时执行3D图像渲染操作。例如，响应于用户的位置或视点的改变，控制器310可从相机100获取关于用户的眼睛的改变的位置和/或视点的信息，并可基于改变的信息实时执行3D图像渲染操作。用户可观看表现类似于实际环境的真实感的图像，并且用户的视觉疲劳可被减少。此外，控制器310可实时执行3D图像渲染操作，这可有益于显示大屏幕、高深度和连续视差。
控制器310可对跟踪的用户的眼睛的位置和/或视点执行光学变换或光学逆变换。为了配置精确的3D图像，从图像处理装置300输出的多条光线可需要准确地并均匀地入射到用户的右眼和左眼。因此，控制器310可经由光学变换或光学逆变换来执行3D图像渲染操作。参照图5来描述控制器310的光学变换或光学逆变换操作。
此外，控制器310可基于从传感器200获取的与什么在车辆的前方有关的信息来执行AR对象渲染操作。AR对象渲染操作可指示用于针对包括在将被输出的图像中的对象配置类似于现实的环境的渲染操作。
例如，控制器310可基于与出现在车辆的前方的车辆的周围环境和对象有关的信息来生成将被输出的图像的AR对象，并可对AR对象执行渲染操作。AR对象可指示AR内容。
控制器310可将深度信息应用到将被输出的图像。例如，控制器310可调节包括在将被输出的图像中的AR对象的深度。控制器310可在0m至100m的范围内调节AR对象的深度。
控制器310可使用导航、地图信息、地理信息系统(GIS)等来执行AR对象渲染操作。例如，控制器310可使用导航、地图信息、GIS等在地图上输出用户的准确位置、操作信息等。
控制器310可基于关于用户的眼睛的位置和/或视点的信息来执行AR对象渲染操作。例如，控制器310可控制从显示器320输出的多条光线以自适应地输出与用户的位置或视点的改变对应的图像。因此，由于实际对象与图像的AR对象之间的深度差异而发生的差异感可被减少，并且用户可观看表现类似于实际环境的真实感的图像，并且用户的视觉疲劳可被减少。
显示器320可被配置为使用光场方案的3D显示器。例如，显示器320可以是光场显示器。
参照图3，显示器320包括光源321、面板323和光学元件325。显示器320可输出多条光线327。
光源321可被配置为在显示器的后面的背光单元，或者可被配置为作为光学层的示例的定向背光单元。定向背光单元可向面板323提供具有限定的方向的多条光线。
光源321可包括白光发光二极管(LED)、红绿蓝(RGB)LED或者RGB激光器。光源321可输出(即，发射)用于生成图像的多条光线。
从光源321输出的多条光线可穿过面板323和光学元件325中的至少一个。
面板323可被配置为包括多个像素的液晶显示器(LCD)面板。面板323可基于由控制器310分配的像素值(例如，子像素值)来输出图像。也就是说，从光源321输出的多条光线可穿过面板323的多个像素(多个子像素)并且与多个像素中的每个像素的像素值(子像素值)对应的图像可被用户观看到。
例如，面板323可将第一视点方向的光线提供给被分配与第一视点对应的像素值的像素，并可将第二视点方向的光线提供给被分配与第二视点对应的像素值的像素。用户可在第一视点观看与第一视点对应的图像并可在第二视点观看与第二视点对应的图像。用户可通过使用右眼和左眼观看不同的图像来观察3D效果。也就是说，用户可通过观看3D图像来获取与操作相关联的信息。
光学元件325可以是双凸透镜和/或视差屏障。详细地讲，视差屏障可经由以预定间隔布置的狭缝或孔，沿限定的方向输出多条光线327。双凸透镜可经由透镜曲面，沿限定的方向输出多条光线327。光学元件325可朝向用户的眼睛的位置均匀地输出多条光线。
图4示出沿限定的方向输出多条光线327的光学元件325的操作。参照图4，控制器310可将与第一视点对应的像素值分配给面板323的第一像素323-1，并可将与第二视点对应的像素值分配给第二像素323-2。穿过面板323的多条光线可在经过光学元件325时沿限定的方向传播。因此，不同的光线327可入射到用户的左眼341和右眼343。入射到左眼341和右眼343的不同的光线327可生成其间存在视差的两个图像。用户可基于其间存在视差的两个图像来观看3D图像。
放大光学系统330可通过在多条光线327中进行扩大(即，放大)而在挡风玻璃的前表面上生成3D图像。例如，放大光学系统330可调节输出给用户的3D图像的放大倍数。也就是说，放大光学系统330可扩大或减小(即，放大或缩小)3D图像。
放大光学系统330可以是反射折射系统。放大光学系统330可包括与反射光学系统对应的反射镜和/或与折射光学系统对应的透镜。例如，与反射光学系统对应的反射镜可以是凹面镜、非球面镜或平面镜。与折射光学系统对应的透镜可以是凹透镜或凸透镜。
放大光学系统330可包括折叠式反射镜(folding mirror)。折叠式反射镜可减少放大光学系统330的光学路径。因此，由放大光学系统330占用的空间可被减少并且放大光学系统330可被小型化。
图5示出根据示例性实施例的图2的控制器的操作的示例。
参照图2和图5，控制器310可将像素值分配给多个像素。控制器310可确定穿过多个像素中的每个像素的光线的路径。例如，如果穿过第一像素的光线被提供给第一视点，则控制器310可将与第一视点对应的像素值分配给第一像素。
控制器310可基于放大光学系统330对多条光线的作用来分配像素值。从显示器320输出的光线的路径可通过放大光学系统330来改变。例如，放大光学系统330可改变光线的路径来扩大或减小(即，放大或缩小)图像。
因此，精确的操作被用于控制器310以确定经过多个像素中的每个像素的光线的路径。
控制器310可对跟踪的用户的眼睛的位置和/或视点执行光学变换或光学逆变换。控制器310可基于包括焦点(0,f)和曲面的反射镜330-1的光学特性，来执行光学变换或光学逆变换。为了描述的清楚，图5示出单个反射镜。然而，这仅作为示例提供。可使用用于产生与对应的反射镜相似的光学效果的各种光学系统代替使用单个反射镜。
控制器310可确定用户的眼睛的实际位置(x1，z1)和在构成放大光学系统330的反射镜330-1的反面上形成的虚拟图像D1，并可对实际位置(x1，z1)和虚拟图像D1执行光学变换或光学逆变换。因此，控制器310可获取用户的眼睛的逆变换的位置(x2，z2)和在反射镜330-1的内表面上形成的对应的虚拟图像D2。这里，对应的虚拟图像D2对应于虚拟图像D1。
控制器310可通过执行变换或逆变换使得用户在位置(x2，z2)观看到对应的虚拟图像D2来提高操作的准确度。
控制器310可基于用户的眼睛的逆变换的位置(x2，z2)与对应的虚拟图像D2之间的位置关系，将像素值分配给多个像素。例如，控制器310可确定与用户的右眼的视点和左眼的视点中的每一个对应的光学图像，并可基于每一个光学图像与显示器320之间的位置关系而将像素值分配给多个像素。控制器310可基于光学变换或光学逆变换来确定与用户的视点对应的光学图像。
控制器310可基于与第一视点对应的光学图像和显示器320之间的位置关系，将像素值分配给第一像素。同样地，控制器310可基于与第二视点对应的光学图像和显示器320之间的位置关系，将像素值分配给第二像素。由此，可使用相对小的计算量来应用放大光学系统330对多条光线的作用。
图6示出根据示例性实施例的图2的显示器的另一示例。
参照图6，显示器320包括投影仪引擎400、漫射器膜(或散射膜)500和光学元件600。显示器320可输出多条光线700。
图6的光学元件600的配置和操作以及多条光线700可与图3的光学元件325的配置和操作以及多条光线327基本相同。
投影仪引擎400可包括空间光调制器(SLM)410。投影仪引擎400可输出(即，发射)与将被输出的图像对应的多条光线。从投影仪引擎400输出的多条光线可穿过漫射器膜500和光学元件600中的至少一个。
这里，漫射器膜500可设置在从投影仪引擎400输出的图像的图像形成表面上的位置。也就是说，投影仪引擎400可将图像输出到漫射器膜500。
光学元件600可以是双凸透镜和/或视差屏障。光学元件600可朝向用户的眼睛的位置均匀地输出多条光线700。
图7A示出根据示例性实施例的描述图2的显示器的莫尔现象的示例，图7B示出根据示例性实施例的描述图2的显示器的莫尔现象的另一示例，图8是示出根据示例性实施例的驾驶员的视觉疲劳的曲线图的示例，图9示出根据示例性实施例的基于图8的视觉疲劳的图像处理装置的操作的示例。
参照图1至图9，从显示器320输出的多条光线327或多条光线700可入射到放大光学系统330上。放大光学系统330可通过反射或折射多条光线327或多条光线700，在挡风玻璃的前表面上生成扩大的3D图像。当放大光学系统330生成3D图像时，放大光学系统330可通过调节光学系统的放大率或者通过调节构成放大光学系统330的反射镜之间的间隔，来调节3D图像的虚拟图像距离。
放大光学系统330可基于莫尔现象来调节3D图像的虚拟图像距离。可由于具有周期性图案的层之间的干涉而发生莫尔现象。也就是说，可由于包括在显示器320中的配置的周期性图案之间的干涉而发生莫尔现象。例如，面板323的周期性像素图案和光学元件325的周期性图案可引起莫尔现象。
图7A示出放大光学系统330通过增加光学系统的放大率输出3D图像的示例。
可基于面板323的周期性像素图案的线性图案710和光学元件325的周期性图案的线性图案720，生成莫尔图案730。
当面板323的周期性像素图案的线性图案710被变换到频域时，其可被表示为包括在由虚线指示的域711中的频率。当光学元件325的周期性图案的线性图案720被变换到频域时，其可被表示为包括在由虚线指示的域721中的频率。
这里，由于域711和域721中的频率之间的干涉或卷积而发生的包括在由虚线指示的域731中的频率可对应于莫尔图案730。
图7B示出放大光学系统330通过减小光学系统的放大率输出3D图像的示例。
可基于面板323的周期性像素图案的线性图案740和光学元件325的周期性图案的线性图案750，生成莫尔图案760。
当面板323的周期性像素图案的线性图案740被变换到频域时，其可被表示为包括在由虚线指示的域741中的频率。当光学元件325的周期性图案的线性图案750被变换到频域时，其可被表示为包括在由虚线指示的域751中的频率。
由于域741和域751中的频率之间的干涉或卷积而发生的包括在由虚线指示的域761中的频率可对应于莫尔图案760。
放大光学系统330可调节3D图像的虚拟图像距离以减少(或者可选地，最小化)莫尔现象。也就是说，为了减少(或者可选地，最小化)莫尔图案730或莫尔图案760，放大光学系统330可调节3D图像的虚拟图像距离。
根据包括在由虚线指示的感知的频域733或频域763中的频率的数量的减少，莫尔图案730或莫尔图案760可变得不太可见。因此，放大光学系统330可通过减小光学系统的放大率或者通过调节构成放大光学系统330的反射镜之间的间隔以减少包括在感知的频域733或频域763中的频率的数量，来减少3D图像的虚拟图像距离。
图8的曲线图示出基于从图像处理装置300输出的3D图像的虚拟图像距离和深度的用户的视觉疲劳。在图8的曲线图中，x轴表示3D图像的深度，y轴表示用户的视觉疲劳。各条线的不同图案表示3D图像的虚拟图像距离。参照图8的曲线图，当在每个虚拟图像距离在3米(m)至70m范围内改变3D图像的深度时，用户的视觉疲劳被测量为从1点至5点的值。此外，当在2m至7m范围内以1m为单位改变每个虚拟图像距离时，用户的视觉疲劳被测量。用户的视觉疲劳可表示相对值。
当从图像处理装置300输出的3D图像的虚拟图像距离是2m和3m中的一个并且图像处理装置300表现与相对浅的深度对应的近距离时，曲线图示出用户的疲劳水平不增加。当从图像处理装置300输出的3D图像的虚拟图像距离是4m、5m、6m和7m中的任何一个，并且图像处理装置300表现与相对浅的深度对应的近距离时，曲线图示出用户的疲劳水平可增加。也就是说，当图像处理装置300将3D图像表现为与虚拟图像距离相比对应于相对浅的深度的近距离时，用户的疲劳水平可增加。
当从图像处理装置300输出的3D图像的虚拟图像距离是2m和3m中的一个并且图像处理装置300表现与相对大的深度对应的远距离时，曲线图示出用户的疲劳水平没有显著改变。当从图像处理装置300输出的3D图像的虚拟图像距离是4m、5m、6m和7m中的任何一个并且图像处理装置300表现与相对大的深度对应的远距离时，曲线图示出用户的疲劳水平没有太大改变。也就是说，当图像处理装置300将3D图像表现为与相对大的深度对应的远距离时，3D图像的虚拟图像距离不会对视觉疲劳产生很大影响。
因此，图像处理装置300可在不增加用户的疲劳水平的同时输出3D图像。例如，图像处理装置300可将3D图像输出为具有比虚拟图像距离大的深度。
当3D图像的虚拟图像距离是2m和3m中的一个时，图像处理装置300可将3D图像的深度表现为近距离或远距离。也就是说，图像处理装置300可通过在2m至100m的范围内调节3D图像的深度来表现近距离或远距离。当3D图像的虚拟图像距离是2m和3m中的一个时，图像处理装置300可在车辆的引擎盖(hood)的前方生成3D图像。
当3D图像的虚拟图像距离是4m、5m、6m和7m中的任何一个时，图像处理装置300可将3D图像的深度表现为远距离。这里，图像处理装置300可将3D图像的深度调节为大于虚拟图像距离。
图9示出图像处理装置300通过调节3D图像的虚拟图像距离和/或深度而为用户输出3D图像的示例。
图10示出根据示例性实施例的图1的图像处理系统被配置在车辆中的示例。
参照图10，构成图像处理系统10的组件可被配置在车辆800中。
图像处理装置300可从相机100获取关于跟踪的用户900(即，驾驶员)的眼睛的位置和/或视点的信息，并可从传感器200获取关于车辆800的前方的信息。图像处理装置300可实时地从相机100和/或传感器200获取信息。因此，尽管用户900的眼睛的位置或者用户900的视点改变，用户也可观看表现类似于实际环境的真实感的图像。
图像处理装置300可基于关于用户900的眼睛的位置的信息、关于用户900的视点的信息和与什么在车辆800的前方有关的信息中的一个或任意组合来生成图像。例如，图像处理装置300可经由挡风玻璃810在用户900的前方输出光学图像或虚拟图像。
图像处理装置300可输出3D图像1000。例如，图像处理装置300可通过执行光场渲染操作来输出3D图像1000。图像处理装置300可通过调节3D图像1000的虚拟图像距离和深度中的一个或组合，使得用户的视觉疲劳最小化。其中，图10中的参考标号θ1至θ4表示光场中的与用户的眼睛对应的光线的角度。
除了车辆800之外，图像处理系统10可被配置在摩托车、智能机动车辆、艇或船、飞机等中。
图11是示出根据示例性实施例的图像处理方法的流程图。
参照图1和图11，在操作1110中，图像处理装置300可基于用户的视点信息生成图像。图像处理装置300可从相机100获取用户的视点信息。在此，用户可以是驾驶运输装置的驾驶员。视点信息可包括用户的眼睛的位置和/或视点。
图像处理装置300可实时获取用户的视点信息。因此，尽管用户的眼睛的位置或用户的视点变化，用户也可继续观看表现类似于实际环境的真实感的图像。
在操作1120中，图像处理装置300可基于与什么在车辆的前方有关的信息来渲染图像。图像处理装置300可从传感器200获取与什么在车辆的前方有关的信息。与什么在车辆的前方有关的信息可包括：关于车辆前方的周围环境的信息、关于车辆前方的对象的信息等。例如，关于周围环境的信息可包括道路信息、车道信息、速度带信息、交通灯信息和速度相机信息。例如，关于对象的信息可包括对象的形状信息、位置信息和深度信息。
图像处理装置300可基于与什么在车辆的前方有关的信息来生成将被输出的图像的AR对象。AR对象可指示AR内容。图像处理装置300可调节包括在将被输出的图像中的AR对象的深度。图像处理装置300可基于导航、地图信息、GIS等来渲染AR对象。
在操作1130中，图像处理装置300可使用光学元件输出图像。光学元件可以是双凸透镜和/或视差屏障。也就是说，图像处理装置300可将具有限定的方向的多条光线均匀地输出到用户。从而，用户可观看3D图像。
根据上述示例性实施例的方法可被记录在包括程序指令的非暂时性计算机可读介质中以实现上述示例性实施例的各种操作。介质还可单独地或者与程序指令结合地包括数据文件、数据结构等。记录在介质上的程序指令可以是针对示例性实施例的目的专门设计和构造的那些程序指令，或者它们可以是对于计算机软件领域中的技术人员公知和可用的类型。非暂时性计算机可读介质的示例包括：磁介质(诸如，硬盘、软盘和磁带)、光介质(诸如，CD-ROM盘、DVD和/或蓝光盘)、磁光介质(诸如，光盘)、以及被专门配置为存储和执行程序指令的硬件装置(诸如，只读存储器(ROM)、随机存取存储器(RAM)、闪存(例如，USB闪存驱动器、存储器卡、记忆棒等))等。程序指令的示例包括诸如由编译器产生的机器代码和包含可由计算机使用解释器执行的高级代码的文件。上述装置可被配置为用作为了执行上述示例性实施例的操作的一个或多个软件模块，反之亦然。
前述示例性实施例是示例并且不被解释为限制。本教导可被容易地应用于其他类型的设备。此外，示例性实施例的描述意图是说明性的，并不意图限制权利要求的范围，并且对于本领域的技术人员，很多替代物、修改和变化将是清楚的。

Claims (20)

1.一种图像处理方法，包括：
基于用户的视点信息生成图像；
基于与出现在用户的前方的周围环境和对象中的至少一个有关的信息，对图像进行渲染；
使用光学元件输出渲染的图像。
2.根据权利要求1所述的图像处理方法，其中，对图像进行渲染的步骤包括：使用传感器获取出现在用户的前方的对象的形状信息、位置信息和深度信息中的至少一个。
3.根据权利要求1所述的图像处理方法，其中，生成图像的步骤包括：通过使用图像相机和红外相机中的一个直接检测用户的眼睛或者通过检测反射在车辆的挡风玻璃上的用户的眼睛，来获取所述视点信息。
4.根据权利要求1所述的图像处理方法，其中，生成图像的步骤包括：
基于所述视点信息确定用户的眼睛的位置；
将将被输入到用户的眼睛的图像分配给显示器的与眼睛的位置对应的多个子像素。
5.根据权利要求4所述的图像处理方法，其中，分配图像的步骤包括：
将将被输入到用户的左眼的图像分配给显示器的与用户的左眼的位置对应的多个子像素；
将将被输入到用户的右眼的图像分配给显示器的与用户的右眼的位置对应的多个子像素。
6.根据权利要求1所述的图像处理方法，其中，生成图像的步骤包括：基于所述视点信息以及光学变换和光学逆变换中的一个来生成所述图像。
7.根据权利要求1所述的图像处理方法，其中，光学元件是双凸透镜和视差屏障中的至少一个。
8.根据权利要求1所述的图像处理方法，其中，输出渲染的图像的步骤包括：使用放大光学系统来扩大渲染的图像。
9.根据权利要求8所述的图像处理方法，其中，放大光学系统包括反射镜和透镜中的至少一个。
10.根据权利要求1所述的图像处理方法，其中，对图像进行渲染的步骤包括：对图像进行渲染，使得图像的深度大于虚拟图像距离。
11.一种图像处理装置，包括：
控制器，被配置为：基于用户的视点信息来生成图像，并基于与出现在用户的前方的周围环境和对象中的至少一个有关的信息来对图像进行渲染；
光学元件，被配置为输出渲染的图像。
12.根据权利要求11所述的图像处理装置，还包括：传感器，被配置为获取出现在用户的前方的对象的形状信息、位置信息和深度信息中的至少一个。
13.根据权利要求11所述的图像处理装置，还包括：图像相机和红外相机中的至少一个，被配置为获取所述视点信息，
其中，图像相机和红外相机中的所述至少一个被配置为：基于用户的眼睛的直接检测和反射在车辆的挡风玻璃上的用户的眼睛的检测中的一个来获取所述视点信息。
14.根据权利要求11所述的图像处理装置，其中，控制器还被配置为：基于所述视点信息确定用户的眼睛的位置并将将被输入到用户的眼睛的图像分配给显示器的与眼睛的位置对应的多个子像素。
15.根据权利要求14所述的图像处理装置，其中，控制器还被配置为：将将被输入到用户的左眼的图像分配给显示器的与用户的左眼的位置对应的多个子像素，并将将被输入到用户的右眼的图像分配给显示器的与用户的右眼的位置对应的多个子像素。
16.根据权利要求11所述的图像处理装置，其中，控制器还被配置为：基于所述视点信息以及光学变换和光学逆变换中的一个生成所述图像。
17.根据权利要求11所述的图像处理装置，其中，光学元件是双凸透镜和视差屏障中的至少一个。
18.根据权利要求11所述的图像处理装置，还包括：
放大光学系统，被配置为扩大从光学元件输出的图像。
19.根据权利要求18所述的图像处理装置，其中，放大光学系统包括反射镜和透镜中的至少一个。
20.根据权利要求11所述的图像处理装置，其中，控制器还被配置为：对图像进行渲染，使得图像的深度大于虚拟图像距离。
CN201810777341.8A 2017-07-28 2018-07-16 图像处理方法和图像处理装置 Active CN109309828B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170095912A KR102397089B1 (ko) 2017-07-28 2017-07-28 이미지 처리 방법 및 이미지 처리 장치
KR10-2017-0095912 2017-07-28

Publications (2)

Publication Number Publication Date
CN109309828A true CN109309828A (zh) 2019-02-05
CN109309828B CN109309828B (zh) 2022-03-22

Family

ID=62874580

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810777341.8A Active CN109309828B (zh) 2017-07-28 2018-07-16 图像处理方法和图像处理装置

Country Status (5)

Country Link
US (2) US11634028B2 (zh)
EP (1) EP3444139B1 (zh)
JP (1) JP7098452B2 (zh)
KR (1) KR102397089B1 (zh)
CN (1) CN109309828B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111260299A (zh) * 2020-02-18 2020-06-09 中国联合网络通信集团有限公司 货品盘点及管理方法、装置、电子设备及存储介质
WO2023040551A1 (zh) * 2021-09-18 2023-03-23 华为技术有限公司 一种在显示屏上显示图像的方法、电子设备与装置

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6726674B2 (ja) * 2015-10-15 2020-07-22 マクセル株式会社 情報表示装置
KR102565277B1 (ko) 2017-11-24 2023-08-09 삼성전자주식회사 영상 복원 장치 및 방법
US11619826B2 (en) 2018-04-17 2023-04-04 Samsung Electronics Co., Ltd. Augmented reality (AR) display apparatus and method
KR20200072641A (ko) 2018-12-12 2020-06-23 삼성전자주식회사 3차원 증강 현실을 제공하는 헤드 업 디스플레이 장치
KR102650332B1 (ko) 2018-12-12 2024-03-22 삼성전자주식회사 3차원 영상을 표시하는 장치 및 방법
US11954789B2 (en) 2019-07-02 2024-04-09 Interdigital Vc Holdings, Inc. System and method for sparse distributed rendering
JP7284053B2 (ja) * 2019-09-25 2023-05-30 京セラ株式会社 ヘッドアップディスプレイ、ヘッドアップディスプレイシステム、移動体及びヘッドアップディスプレイの設計方法
CN114667474A (zh) * 2019-10-23 2022-06-24 艾哈迈德·苏莱曼·艾哈迈德·阿尔穆萨 用于车辆的智能玻璃
KR20210131129A (ko) * 2020-04-23 2021-11-02 현대자동차주식회사 이동 수단용 ui 생성 장치 및 ui 생성 방법
JP7456290B2 (ja) 2020-05-28 2024-03-27 日本精機株式会社 ヘッドアップディスプレイ装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005222026A (ja) * 2004-01-08 2005-08-18 雅貴 ▲吉▼良 立体視装置
JP2014010418A (ja) * 2012-07-03 2014-01-20 Yazaki Corp 立体表示装置及び立体表示方法
WO2014109398A1 (ja) * 2013-01-10 2014-07-17 株式会社ニコン 表示装置及びプログラム
DE102013218085A1 (de) * 2013-09-10 2015-03-12 Continental Automotive Gmbh Head-up-Display
CN104950460A (zh) * 2014-03-25 2015-09-30 罗伯特·博世有限公司 用于调整汽车车载立体显示器的显像的方法和装置
CN105116546A (zh) * 2015-09-11 2015-12-02 京东方科技集团股份有限公司 一种车载平视显示装置及显示方法
CN105163972A (zh) * 2013-09-13 2015-12-16 日立麦克赛尔株式会社 信息显示系统以及信息显示装置
US20160173867A1 (en) * 2014-03-28 2016-06-16 Panasonic Intellectual Property Management Co., Ltd. Image display apparatus
CN106218409A (zh) * 2016-07-20 2016-12-14 长安大学 一种可人眼跟踪的裸眼3d汽车仪表显示方法及装置
US20170155867A1 (en) * 2014-05-16 2017-06-01 Ricoh Company, Ltd. Display device and vehicle

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009015128A (ja) 2007-07-06 2009-01-22 Alpine Electronics Inc 立体画像表示装置
JP2009229552A (ja) 2008-03-19 2009-10-08 Fujinon Corp 投影光学系及びヘッドアップディスプレイ装置
JP2011073496A (ja) 2009-09-29 2011-04-14 Nippon Seiki Co Ltd 車載立体表示装置、及び車載立体表示方法
KR101629479B1 (ko) 2009-11-04 2016-06-10 삼성전자주식회사 능동 부화소 렌더링 방식 고밀도 다시점 영상 표시 시스템 및 방법
JP2011133508A (ja) 2009-12-22 2011-07-07 Topcon Corp 走査型表示装置光学系、立体表示装置及びヘッドアップディスプレイ装置
CN103621077B (zh) 2011-06-20 2016-07-06 松下电器（美国）知识产权公司 影像显示装置
KR102028757B1 (ko) 2012-12-18 2019-10-04 두산인프라코어 주식회사 헤드업 디스플레이를 이용한 차량의 디스플레이 방법 및 장치
WO2014095071A1 (en) 2012-12-21 2014-06-26 Harman Becker Automotive Systems Gmbh System for a vehicle
JP2014150304A (ja) 2013-01-31 2014-08-21 Nippon Seiki Co Ltd 表示装置及びその表示方法
US20140232746A1 (en) 2013-02-21 2014-08-21 Hyundai Motor Company Three dimensional augmented reality display apparatus and method using eye tracking
WO2014136144A1 (ja) 2013-03-07 2014-09-12 パナソニック株式会社 映像表示装置および映像表示方法
US9393870B2 (en) 2013-03-15 2016-07-19 Honda Motor Co., Ltd. Volumetric heads-up display with dynamic focal plane
JP6094399B2 (ja) * 2013-06-24 2017-03-15 株式会社デンソー ヘッドアップディスプレイ、及びプログラム
KR102071693B1 (ko) 2014-02-07 2020-01-30 엘지전자 주식회사 헤드 업 디스플레이 장치
JPWO2015145933A1 (ja) * 2014-03-26 2017-04-13 パナソニックＩｐマネジメント株式会社 虚像表示装置、ヘッドアップディスプレイシステム及び乗物
JP6596668B2 (ja) 2014-03-27 2019-10-30 パナソニックＩｐマネジメント株式会社 虚像表示装置、ヘッドアップディスプレイシステム、及び乗物
JP6105531B2 (ja) 2014-09-04 2017-03-29 矢崎総業株式会社 車両用投影表示装置
US20160073098A1 (en) 2014-09-10 2016-03-10 Continental Automotive Systems, Inc. Head-up display system using auto-stereoscopy 3d transparent electronic display
US10247941B2 (en) 2015-01-19 2019-04-02 Magna Electronics Inc. Vehicle vision system with light field monitor
KR101714185B1 (ko) 2015-08-05 2017-03-22 엘지전자 주식회사 차량 운전 보조장치 및 이를 포함하는 차량
WO2017134865A1 (ja) * 2016-02-05 2017-08-10 日立マクセル株式会社 ヘッドアップディスプレイ装置
KR102564478B1 (ko) 2016-11-22 2023-08-07 삼성전자주식회사 3d 영상 렌더링 방법 및 장치
JP6644265B2 (ja) * 2017-06-30 2020-02-12 株式会社Ｊｖｃケンウッド 虚像表示装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005222026A (ja) * 2004-01-08 2005-08-18 雅貴 ▲吉▼良 立体視装置
JP2014010418A (ja) * 2012-07-03 2014-01-20 Yazaki Corp 立体表示装置及び立体表示方法
WO2014109398A1 (ja) * 2013-01-10 2014-07-17 株式会社ニコン 表示装置及びプログラム
DE102013218085A1 (de) * 2013-09-10 2015-03-12 Continental Automotive Gmbh Head-up-Display
CN105163972A (zh) * 2013-09-13 2015-12-16 日立麦克赛尔株式会社 信息显示系统以及信息显示装置
CN104950460A (zh) * 2014-03-25 2015-09-30 罗伯特·博世有限公司 用于调整汽车车载立体显示器的显像的方法和装置
US20160173867A1 (en) * 2014-03-28 2016-06-16 Panasonic Intellectual Property Management Co., Ltd. Image display apparatus
US20170155867A1 (en) * 2014-05-16 2017-06-01 Ricoh Company, Ltd. Display device and vehicle
CN105116546A (zh) * 2015-09-11 2015-12-02 京东方科技集团股份有限公司 一种车载平视显示装置及显示方法
CN106218409A (zh) * 2016-07-20 2016-12-14 长安大学 一种可人眼跟踪的裸眼3d汽车仪表显示方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111260299A (zh) * 2020-02-18 2020-06-09 中国联合网络通信集团有限公司 货品盘点及管理方法、装置、电子设备及存储介质
CN111260299B (zh) * 2020-02-18 2023-07-18 中国联合网络通信集团有限公司 货品盘点及管理方法、装置、电子设备及存储介质
WO2023040551A1 (zh) * 2021-09-18 2023-03-23 华为技术有限公司 一种在显示屏上显示图像的方法、电子设备与装置

Also Published As

Publication number Publication date
JP7098452B2 (ja) 2022-07-11
US20190034731A1 (en) 2019-01-31
KR20190012630A (ko) 2019-02-11
KR102397089B1 (ko) 2022-05-12
EP3444139A1 (en) 2019-02-20
EP3444139B1 (en) 2021-09-08
JP2019030004A (ja) 2019-02-21
US11634028B2 (en) 2023-04-25
US20230256824A1 (en) 2023-08-17
CN109309828B (zh) 2022-03-22

Similar Documents

Publication Publication Date Title
CN109309828A (zh) 图像处理方法和图像处理装置
CN112074770B (zh) 可调整的三维增强现实平视显示器
CN111433067B (zh) 平视显示装置及其显示控制方法
CN104827967B (zh) 平视显示设备
EP2919057B1 (en) Navigation display method and system
US20200406754A1 (en) Method, device and computer-readable storage medium with instructions for controlling a display of an augmented reality display device for a motor vehicle
JP2015221651A (ja) 表示装置
CN111095078A (zh) 用于控制用于机动车的增强现实平视显示器装置的显示的方法、装置和带有指令的计算机可读的存储介质
US20210260998A1 (en) Method for Operating a Visual Field Display Device for a Motor Vehicle
JP2022034511A (ja) コンテンツを可視化する装置及び方法
KR20220032448A (ko) 크로스토크를 보정하는 방법 및 장치
JP7167918B2 (ja) 車両用表示装置
KR20180046567A (ko) 차량용 헤드 업 디스플레이 제어 장치 및 방법
JP2023147814A (ja) 表示システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant