CN109849939B - 用于控制车辆内显示器的装置和方法 - Google Patents

用于控制车辆内显示器的装置和方法 Download PDF

Info

Publication number
CN109849939B
CN109849939B CN201810399715.7A CN201810399715A CN109849939B CN 109849939 B CN109849939 B CN 109849939B CN 201810399715 A CN201810399715 A CN 201810399715A CN 109849939 B CN109849939 B CN 109849939B
Authority
CN
China
Prior art keywords
image
vehicle
camera
area
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810399715.7A
Other languages
English (en)
Other versions
CN109849939A (zh
Inventor
金贤燮
权石根
芮正烈
金昌炷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
S L Mirrortech Corp
Hyundai Motor Co
Kia Corp
Original Assignee
S L Mirrortech Corp
Hyundai Motor Co
Kia Motors Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by S L Mirrortech Corp, Hyundai Motor Co, Kia Motors Corp filed Critical S L Mirrortech Corp
Publication of CN109849939A publication Critical patent/CN109849939A/zh
Application granted granted Critical
Publication of CN109849939B publication Critical patent/CN109849939B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/29—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area inside the vehicle, e.g. for viewing passengers or cargo
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/004—Arrangements for holding or mounting articles, not otherwise provided for characterised by position outside the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/22—Cropping
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Forklifts And Lifting Vehicles (AREA)

Abstract

本发明涉及用于控制车辆内显示器的装置和方法。一种用于控制车辆内显示器的装置包括：第一摄像机，其安装在车辆的车门区域，并且配置为拍摄车辆的侧方区域和侧后方区域的第一图像；第二摄像机，其安装在车辆的后端区域，并且配置为拍摄车辆的后方区域和侧后方区域的第二图像；图像生成器，其配置为利用所述第二图像生成第三图像；以及输出控制器，其配置为当车辆行驶时将第一图像显示在显示器屏幕上，并且当车辆的车门打开时将第三图像显示在显示器屏幕上。

Description

用于控制车辆内显示器的装置和方法
与相关申请的交叉引用
本申请要求于2017年11月30日向韩国知识产权局提交的申请号为10-2017-0163382的韩国专利申请的优先权权益，其全部内容通过引用合并于本文中。
技术领域
本申请涉及车辆技术，并且更具体地，本申请涉及用于控制车辆内显示器的装置和方法。
背景技术
车辆的外侧视野监控系统可以将安装在车辆周围位置处的摄像机所拍摄的图像显示在显示屏上，从而使得驾驶员能够在行驶过程中获得车辆的侧方和后方的视野。在一些情形中，外侧视野监控系统可以使用安装在车辆的驾驶员侧和乘客侧车门中的摄像机的图像。这样，当驾驶员侧或乘客侧车门的其中一个被打开时，摄像机的图像拍摄角度可能会改变。类似地，当车辆的后车门被打开时，摄像机的视野可能会受到阻挡。
因此，在传统的外侧视野监控系统中，在车辆的车门被打开的情况下，图像拍摄角度可能会改变，从而引起显示图像的失真，或者可能会显示黑屏，而不是显示摄像机拍摄的图像。
发明内容
本申请致力于解决现有技术中产生的上述问题，同时完整地保持现有技术所实现的优点。
本申请的一个方面提供了用于控制车辆内显示器的装置和方法，从而当检测到车辆的车门打开状态时，能够通过基于后方视野摄像机、外围监控摄像机或内侧视野监控摄像机的后方区域和侧后方区域的图像来生成并显示第三图像，以经由显示器屏幕而获取车辆的后方和侧后方的视野。
根据本申请的实施方案，用于控制车辆内显示器的装置可以包括：第一摄像机，其安装在车辆的车门区域，并且配置为拍摄车辆的侧方区域和侧后方区域的第一图像；第二摄像机，其安装在车辆的后端区域，并且配置为拍摄车辆的后方区域和侧后方区域的第二图像；图像生成器，其配置为利用所述第二图像生成第三图像；以及输出控制器，其配置为当车辆行驶时将第一图像显示在显示器屏幕上，并且当车辆的车门打开时将第三图像显示在显示器屏幕上。
所述图像生成器可以进一步配置为：将所述第二图像的部分区域确定为裁剪区域；基于所述裁剪区域提取裁剪图像；并且利用提取的裁剪图像生成所述第三图像。
所述图像生成器可以进一步配置为：基于第一摄像机的水平视角和第二摄像机的水平视角来计算所述裁剪区域的水平视角；基于第一摄像机的垂直视角、第二摄像机的垂直视角、经计算的所述裁剪区域的水平视角以及显示器屏幕的分辨率来计算所述裁剪区域的垂直视角。
所述图像生成器可以进一步配置为通过将车门打开警告图像添加到所述裁剪图像来生成所述第三图像。
所述图像生成器可以进一步配置为通过合成所述第一图像和所述第二图像来生成所述第三图像。
所述图像生成器可以进一步配置为：将所述第一图像的部分区域确定为第一裁剪区域并将所述第二图像的部分区域确定为第二裁剪区域，基于所述第一裁剪区域提取第一裁剪图像，并且基于所述第二裁剪区域提取第二裁剪图像。
所述图像生成器可以进一步配置为：基于第一摄像机的水平视角来计算所述第一裁剪区域的水平视角；并且基于第一摄像机的垂直视角、第二摄像机的垂直视角、经计算的所述第一裁剪区域的水平视角以及显示器屏幕的分辨率来计算所述第一裁剪区域的垂直视角。
所述图像生成器可以进一步配置为：基于第二摄像机的水平视角来计算所述第二裁剪区域的水平视角；并且基于第一摄像机的垂直视角、第二摄像机的垂直视角、经计算的所述第二裁剪区域的水平视角以及显示器屏幕的分辨率来计算所述第二裁剪区域的垂直视角。
所述图像生成器可以进一步配置为，当所述第一裁剪区域的垂直视角和所述第二裁剪区域的垂直视角彼此不同时，根据所述第一裁剪区域的垂直视角和所述第二裁剪区域的垂直视角中较窄的视角来确定所述第一裁剪区域和所述第二裁剪区域。
所述图像生成器可以进一步配置为，通过基于合成所述第一裁剪图像和所述第二裁剪图像来生成合成图像，并且基于所生成的合成图像来生成所述第三图像。
所述图像生成器可以进一步配置为通过将车门打开警告图像添加到所述合成图像来生成所述第三图像。
所述第二摄像机可以包括下述摄像机中的一个或更多个：后方视野摄像机、外围监控系统的摄像机以及内侧视野监控系统的摄像机。
所述第二摄像机可以包括多个不同的摄像机。
所述输出控制器可以进一步配置为：当车门打开时生成第三图像选择界面，所述第三图像选择界面包括从所述多个不同的摄像机获取的多个图像；并且将所述第三图像选择界面显示在显示器屏幕上。
所述第三图像选择界面可以包括在所述第三图像选择界面的一个区域上的车门打开警告图像。
所述图像生成器可以进一步配置为，当选择了显示在所述第三图像选择界面上的所述多个图像中的一个时，基于所选择的图像来生成所述第三图像。
所述第二摄像机可以包括下述摄像机中的两个或更多个：后方视野摄像机、外围监控系统的摄像机以及内侧视野监控系统的摄像机。
此外，根据本申请的实施方案，用于控制车辆内显示器的方法可以包括：利用安装在车辆的车门区域的第一摄像机来拍摄车辆的侧方区域和侧后方区域的第一图像；利用安装在车辆的后端区域的第二摄像机来拍摄车辆的后方区域和侧后方区域的第二图像；利用所述第二图像来生成第三图像；当车辆行驶时，将所述第一图像显示在显示器屏幕上；当车辆的车门打开时，将所述第三图像显示在显示器屏幕上。
生成所述第三图像可以包括：将所述第二图像的部分区域确定为裁剪区域；基于所述裁剪区域提取裁剪图像；利用提取的裁剪图像生成所述第三图像。
生成所述第三图像可以包括：将所述第一图像的部分区域确定为第一裁剪区域；基于所述第一裁剪区域提取第一裁剪图像；将所述第二图像的部分区域确定为第二裁剪区域；基于所述第二裁剪区域提取第二裁剪图像；通过合成所述第一裁剪图像和所述第二裁剪图像来生成合成图像；并且基于所生成的合成图像来生成所述第三图像。
所述方法可以进一步包括：当车门打开时生成第三图像选择界面，所述第三图像选择界面包括从配置为拍摄车辆的后方区域和侧后方区域的多个不同的摄像机获取的多个图像；将所述第三图像选择界面显示在显示器屏幕上。
生成所述第三图像可以包括，当选择了显示在所述第三图像选择界面上的所述多个图像中的一个时，基于所选择的图像来生成所述第三图像。
附图说明
通过结合附图的以下详细描述，本申请的以上或其他目标、特征和优点将更加明显：
图1为示出了根据本申请的实施方案，应用了用于控制车辆内显示器的装置的车辆的示意图；
图2为示出了根据本申请实施方案，用于控制车辆内显示器的装置的配置的框图；
图3A和图3B为示出了根据本申请实施方案，应用于用于控制车辆内显示器的装置的摄像机的示意图；
图4A、图4B和图4C为示出了根据本申请实施方案，用于控制车辆内显示器的装置的操作的示意图；
图5A和图5B为示出了根据本申请实施方案，用于控制车辆内显示器的装置的附加操作的示意图；
图6为示出了根据本申请实施方案，用于控制车辆内显示器的装置的附加操作的示意图；
图7、图8和图9为示出了根据本申请实施方案，用于控制车辆内显示器的方法的操作的流程图；以及
图10为示出了执行根据本申请实施方案的方法的计算系统的配置的框图。
应当理解的是，以上提及的附图并非一定按比例地绘制，而是图示性地简化呈现各种优选特征以显示本申请的基本原理。本申请的具体设计特征(包括例如，具体尺寸、方向、位置和形状)将部分地由具体所要应用和使用的环境来确定。
具体实施方式
在下文中，将参考附图来详细描述本申请的实施方案。在为每个附图的元素添加附图标记时，虽然相同的元素显示在不同的附图上，但应该注意的是，相同的元素具有相同的标记。此外，在描述本申请的实施方案时，如果确定对于相关的众所周知的配置或功能的详细描述模糊了本申请的实施方案的要旨，则将省略其描述。
在描述本申请实施方案的元素时，术语第1、第2、第一、第二、A、B、(a)和(b)等可以在此使用。这些术语仅用于区分一个元素与另一个元素，但是不限制相应元素，而与相应元素的本质，变化或者顺序无关。除非另有定义，本文所用的包括技术术语或者科学术语的所有术语的含义与本申请所属领域中的技术人员所通常理解的含义相同。常用词典中所定义的此类术语应被解释为具有与相关技术领域的语义中的意义等同的意义，而不应被解释为具有理想的或者过分正式的意义，除非在本申请中明确定义为具有此类意义。
应当理解的是，本文中所使用的术语“车辆”或“车辆的”或其它类似术语通常包括机动车辆，例如包括运动型多用途车辆(SUV)、大客车、大货车、各种商用车辆的乘用车辆，包括各种舟艇、船舶的船只，航空器等，并且包括混合动力车辆、电动车辆、插电式混合动力电动车辆、氢动力车辆以及其它替代性燃料车辆(例如，源于非石油能源的燃料)。正如本文所提到的，混合动力车辆是具有两种或更多种动力源的车辆，例如具有汽油动力和电力动力两者的车辆。
此外，应理解的是，一个或更多个以下方法或其方面可以通过至少一个控制单元和/或控制器来执行。术语“控制单元”或“控制器”可以指包括存储器和处理器的硬件装置。存储器配置为存储程序指令，而处理器被特别编程以执行所述程序指令，从而执行下文将进一步描述的一个或更多个步骤。此外，应当理解的是，下面的方法可以通过包括结合一个或更多个其他部件的控制单元和/或控制器的装置来执行，如本领域普通技术人员将会理解的那样。
现在参考当前公开的实施方案，图1为示出了根据本申请实施方案，应用了用于控制车辆内显示器的装置的车辆的示意图。
如图1所示，如果在车辆10的显示器121至125的屏幕上显示第一摄像机(其安装在车辆10的车门区域中，并且配置为拍摄车辆10的左侧区域、右侧区域和侧后方区域)的图像(下文中称为“第一图像”)时检测到车辆10的车门打开状态，则用于控制车辆10中的显示器的装置100(下文中称为“显示器控制装置100”)可以利用从至少一个第二摄像机(未示出，其拍摄车辆10的后方)获取的图像(下文中称为“第二图像”)来生成“第三图像”。当检测到车门打开状态时，显示器控制装置100可以在车辆10中的显示器121至125的屏幕上显示第三图像，从而向驾驶员提供车辆10的侧方和后方视野。
将参考图2给出对于显示器控制装置100的详细配置的详细描述。
显示器控制装置100可以在车辆10中实现。例如，显示器控制装置100可以与车辆10的内部控制单元集成。或者，显示器控制装置100可以实现为独立于车辆10的内部控制单元，并且可以通过单独的连接装置来与车辆10的控制单元连接。
图2为示出了根据本申请实施方案，用于控制车辆内显示器的装置的配置的框图。
如图2所示，显示器控制装置100可以包括控制器110、接口120、摄像机单元130、通信装置140、存储装置150、车门打开状态检测器160、图像获取装置170、图像生成器180以及输出控制器190。在此，根据本申请实施方案的显示器控制装置100的控制器110、车门打开状态检测器160、图像获取装置170、图像生成器180以及输出控制器190可以通过一个或更多个处理器实现。
控制器100可以处理在显示器控制装置100的元件之间传输的信号。
接口120可以包括用于接收来自用户的控制指令的输入装置和用于输出显示器控制装置100的运行状态、运行结果等的输出装置。
在此，输入装置可以包括按钮，并且还可以包括鼠标、操纵杆、飞梭旋钮、手写笔等。另外，输入装置可以包括实现在图1的车辆10的显示器上的软按键。
输出装置可以包括显示器，并且还可以包括例如扬声器的声音输出装置。在这种情况下，当例如触摸薄膜、触摸薄片或者触摸板的触摸传感器安装在显示器上时，该显示器可以作为触摸屏工作，并且可以按照集成输入装置和输出装置的形式实现。
在这种情况下，显示器可以包括液晶显示器(LCD)、薄膜晶体管LCD(TFT-LCD)、有机发光二极管(OLED)、柔性显示器、场发射显示器(FED)和三维(3D)显示器中的至少一个。
例如，显示器可以包括安装在车辆10的左外后视镜和右外后视镜周围的外侧视野监控系统的显示器121和123。进一步地，显示器可以包括位于车辆10中内后视镜中的内侧视野监控系统的显示器125。进一步地，显示器可以包括车辆10中导航系统的显示器(未示出)。
在此，显示器可以显示外侧视野监控系统、内侧视野监控系统和/或外围监控系统的图像。进一步地，显示器可以显示通过图像生成器180生成的第三图像。
外侧视野监控系统可以指这样一种系统，其包括摄像机和显示器，所述摄像机位于车辆10的车门上，例如车辆10的左车门和右车门，以拍摄车辆10的左侧区域、右侧区域和侧后方区域的图像，而所述显示器在车辆10中位于左外后视镜和右外后视镜的周围，以显示摄像机所拍摄的左侧区域、右侧区域和侧后方区域的图像，从而使驾驶员能够在车辆10行驶的同时通过车辆10中的显示器获取车辆10的左侧区域、右侧区域和侧后方区域的视野。
内侧视野监控系统可以指这样一种系统，其包括摄像机和显示器，所述摄像机位于车辆10的后端的上部，以拍摄车辆10的后方区域和部分侧后方区域的图像，而所述显示器位于车辆10中的内后视镜上，以显示摄像机所拍摄的图像，从而使得当符合特定的运行条件时，驾驶员能够通过内后视镜获取车辆10的后方区域和部分侧后方区域的视野。
外围监控系统可以包括周围视野监控系统、环绕视野监控系统等。外围监控系统可以指这样一种系统，其包括摄像机和显示器，所述摄像机分别位于车辆10的前端、后端、左车门和右车门上，而所述显示器以摄像机图像的合成视野转换图像的形式显示图像，从而使得当符合特定运行条件时，驾驶员能够通过在显示器上显示的图像来获取车辆10周围的视野。
摄像机单元130可以为用于拍摄车辆10周围图像的装置，并且例如可以安装在车辆10的前端、后端、左侧部分和/或右侧部分中的每一个上。在此，摄像机单元130可以包括广角摄像机。
摄像机单元130可以包括第一摄像机，以用于拍摄车辆10的左侧区域、右侧区域以及侧后方区域。例如，第一摄像机可以为图3A中示出的外侧视野监控系统的摄像机131(下文中称为“外侧视野监控摄像机131”)。如图3A所示，第一摄像机可以安装在车辆10的左车门和右车门上。
进一步地，摄像机单元130可以包括第二摄像机，以用于拍摄车辆10的后方区域和/或侧后方区域。在此，第二摄像机可以为一个摄像机或者多个不同的摄像机。
例如，如图3A中所示，第二摄像机可以包括安装在车辆10的后端的后方视野摄像机133。又例如，如图3A所示，第二摄像机可以包括后方视野摄像机133、外围监控系统的摄像机135(下文中称为“外围监控摄像机135”)以及内侧视野监控系统的摄像机137(下文中称为“内侧视野监控摄像机137”)中的至少一个，所述外围监控系统的摄像机135安装在车辆10的前端、后端、左车门和右车门上，而所述内侧视野监控系统的摄像机137安装在车辆10的后端的上部。在此，外围监控摄像机135可以仅包括外围监控系统的后方视野摄像机。
进一步地，如图3A和图3B所示，描述了外侧视野监控系统、外围监控系统和内侧视野监控系统。然而，每个系统的名称都表示一种实施方案，但不限于此。显而易见的是，每个系统的名称都根据实施方案而描述为另一个名称。
在此，如图3B所示，后方视野摄像机133可以拍摄车辆10的后方和侧后方的短距离和中等距离图像，并且可以具有水平视角N1。例如，N1可以是140度的角度。
如图3B所示，外围监控摄像机135可以拍摄车辆10的后方和侧后方的短距离图像，并且可以具有水平视角N2，N2大于N1(N1为后方视野摄像机133的水平视角)。例如，N2可以为180度的角度。
进一步地，如图3B所示，内侧视野监控摄像机137可以拍摄后方和部分侧后方的中等距离图像和长距离图像，并且可以具有水平视角N3，N3小于N1(N1为后方视野摄像机133的水平视角)。例如，N3可以为40度的角度。
第一摄像机和一个或更多个第二摄像机可以将它们拍摄的图像发送给控制器110。在这种情况下，控制器110可以将从第一摄像机和第二摄像机发送的第一图像和第二图像存储在存储装置150中，并且可以将第一图像和第二图像提供给图像获取装置170和/或图像生成器180。
通信装置140可以包括用于支持与安装在车辆10上的电子单元和/或控制单元的通信接口的通信模块。例如，通信模块可以与安装在车辆10上的外侧视野监控系统、内侧视野监控系统和/或外围监控系统通信地连接，并且可以接收由外侧视野监控系统、内侧视野监控系统和外围监控系统中的每一个控制的摄像机的图像。进一步地，通信模块可以将由图像生成器180生成的第三图像发送给外侧视野监控系统、内侧视野监控系统和外围监控系统中的每一个的显示器。
进一步地，通信模块可以与感测车辆10的车门打开状态的传感器通信地连接，并且可以接收车门打开信号。
在此，通信模块可以包括用于支持诸如控制器局域网(CAN)通信、本地互联网(LIN)通信和flex-ray通信的车辆网络通信的模块。
进一步地，通信模块可以包括用于无线互联网接入的模块或者用于短距离通信的模块。在此，无线互联网技术可以包括无线局域网(WLAN)、无线宽带(Wibro)、无线保真(Wi-Fi)、全球微波互联接入(Wimax)等。短距离通信技术可以包括蓝牙、ZigBee、超宽带广播(UWB)、射频识别(RFID)、红外数据协会(IrDA)等。
存储装置150可以存储操作显示器控制装置100所需的数据、算法等。
例如，存储装置150可以存储由第一摄像机和/或一个或更多个第二摄像机拍摄的第一图像和第二图像。进一步地，存储装置150可以存储由图像生成器180生成的第三图像。进一步地，存储装置150可以存储用于从一个或更多个第二图像中确定裁剪区域并且根据基于裁剪区域提取的裁剪图像而生成第三图像的条件信息、指令和/或算法。
在此，存储装置150可以包括存储介质，诸如随机存储器(RAM)、静态RAM(SRAM)、只读存储器(ROM)、可编程ROM(PROM)以及电可擦PROM(EEPROM)。
输出控制器190可以在显示器屏幕上显示第一图像。在此，第一图像可以是由左摄像机拍摄的图像，或者可以是由右摄像机拍摄的图像。进一步地，第一图像可以包括由左摄像机和右摄像机拍摄的所有图像。
当在显示器屏幕上显示第一图像时，车门打开状态检测器160可以检测车辆10的车门打开状态。在此，车门打开状态检测器160可以基于从安装在车辆10中的传感器接收的车门打开信号来检测车辆10的车门打开状态。
如果检测到车辆10的车门打开状态，则车门打开状态检测器160可以将有关车门打开状态的信息发送给图像获取装置170和/或控制器110。
图像获取装置170可以通过车门打开状态检测器160或控制器110来确定车门打开状态信息。当车门打开时，图像获取装置170可以控制开启所述一个或更多个第二摄像机开启。
在这种情况下，图像获取装置170可以控制开启所述一个或更多个第二摄像机中的一个。例如，当车门打开时，图像获取装置170可以控制开启后方视野摄像机133。在这种情况下，图像获取装置170可以将从第二摄像机获得的第二图像发送给图像生成器180。
与此同时，当车门打开时，图像获取装置170可以控制开启所有的多个第二摄像机。例如，图像获取装置170可以控制开启后方视野摄像机133、外围监控摄像机135和内侧视野监控摄像机137。在这种情况下，图像获取装置170可以将从多个第二摄像机获得的第二图像发送给输出控制器190。
同时，当车门打开时，图像获取装置170可以获取第一图像和至少一个第二图像，并且可以将所述第一图像和所述至少一个第二图像发送给图像生成器180。
图像生成器180可以将通过图像获取装置170获取的第二图像的部分区域确定为裁剪区域，并且可以基于所确定的裁剪区域来提取裁剪图像。在这种情况下，图像生成器180可以基于所裁剪的图像来生成第三图像。
在此，图像生成器180可以基于第一摄像机的水平视角和第二摄像机的水平视角来确定裁剪区域的水平视角。进一步地，图像生成器180可以基于第一摄像机的垂直视角、第二摄像机的垂直视角、经确定的裁剪区域的水平视角以及显示器的分辨率来确定裁剪区域的垂直视角。将参考图4A至图4C给出确定第二摄像机的图像的裁剪区域并且基于所确定的裁剪区域来生成第三图像的示例的描述。
图4A至图4C为示出了根据本申请实施方案，用于控制车辆内显示器的装置的操作的示意图。在此，第一摄像机为图3A的外侧视野监控摄像机131，而第二摄像机为后方视野摄像机133。
首先，图4A示出了确定第二摄像机的图像的裁剪区域的水平视角的实施方案。
如图4A所示，当第一摄像机的水平视角为M，并且第二摄像机的水平视角为N1时，图2的图像生成器180可以在M<θH<N1/2的范围内计算裁剪区域的水平视角θH。例如，如果M的角度为30度，并且N的角度为140度，则图像生成器180可以在30度<θH<70度的范围内计算裁剪区域的水平视角θH。在这种情况下，裁剪区域的水平视角θH可以在M<θH<N1/2的范围内随机确定。
图4B示出了确定对于第二摄像机的图像的裁剪区域的垂直视角的实施方案。
如图4B所示，当第一摄像机的垂直视角为P，并且第二摄像机的垂直视角为V1时，图像生成器180可以在P<θV<V1的范围内确定裁剪区域的垂直视角θV。
在这种情况下，图像生成器180可以根据显示器的水平分辨率与垂直分辨率的比率X:Y，针对通过图4A的实施方案而确定的裁剪区域的水平视角θH来确定垂直视角θV。在此，如果显示器的分辨率为X:Y，则图像生成器180可以基于“X:Y＝θH:θV”来确定裁剪区域的垂直视角θV。在这种情况下，图像生成器180可以将在P<θV<V1范围内符合“X:Y＝θH:θV”的值确定为裁剪区域的垂直视角θV。
例如，如果第一摄像机的垂直视角为30度，如果第二摄像机的垂直视角为70度，如果显示器的分辨率X:Y为16:9，并且如果裁剪区域的水平视角θH为64度，则图像生成器180可以根据“16:9＝64:θV”而将垂直视角θV确定为36度。在这种情况下，所确定的垂直视角θV可以符合30度<θV<70度的范围。
这样，图像生成器180可以基于通过图4A的实施方案而确定的水平视角θH和通过图4B的实施方案而确定的垂直视角θv来确定第二图像的裁剪区域。
图4C示出了通过基于来自第二图像的裁剪区域提取裁剪图像来生成第三图像的实施方案。
如图4C所示，图像生成器180可以基于通过图4A的实施方案而确定的水平视角θH和通过图4B的实施方案而确定的垂直视角θV来确定第二图像411的裁剪区域415，并且可以基于所确定的裁剪区域415来提取裁剪图像。
在这种情况下，图像生成器180可以基于裁剪图像来生成第三图像421。在此，图像生成器180可以通过将车门打开警告图像425添加到裁剪图像来生成第三图像421。
与此同时，图像生成器180可以分别将通过图2的图像获取装置170获取的第一图像和第二图像的部分区域确定为裁剪区域，并且可以基于所确定的裁剪区域中的每个区域来提取裁剪图像。在此，第一图像的裁剪区域可以定义为“第一裁剪区域”。基于第一裁剪区域提取的图像可以定义为“第一裁剪图像”。第二图像的裁剪区域可以定义为“第二裁剪区域”。基于第二裁剪区域提取的图像可以定义为“第二裁剪图像”。
在这种情况下，图像生成器180可以将第一裁剪图像与第二裁剪图像合成，并且基于所合成的图像而生成第三图像。
在此，图像生成器180可以基于第一摄像机的水平视角来计算第一裁剪区域的水平视角(下文中称为“第一水平视角”)。进一步地，图像生成器180可以基于第二摄像机的水平视角来计算第二裁剪区域的水平视角(下文中称为“第二水平视角”)。
进一步地，图像生成器180可以基于第一摄像机的垂直视角、第二摄像机的垂直视角、第一水平视角以及显示器屏幕的分辨率来计算第一裁剪区域的垂直视角(下文中称为“第一垂直视角”)。进一步地，图像生成器180可以基于第一摄像机的垂直视角、第二摄像机的垂直视角、第二水平视角以及显示器屏幕的分辨率来计算第二裁剪区域的垂直视角(下文中称为“第二垂直视角”)。
在这种情况下，图像生成器180可以基于第一垂直视角与第二垂直视角之中更窄的视角来计算第一裁剪区域和第二裁剪区域中的每个区域的垂直视角。
将参考图5A和图5B给出确定第一裁剪区域和第二裁剪区域并且基于所确定的裁剪区域生成第三图像的示例的描述。
图5A和图5B为示出了根据本申请实施方案，用于控制车辆内显示器的装置的附加操作的示意图。在此，第一摄像机为外侧视野监控摄像机131，而第二摄像机为后方视野摄像机133。
首先，图5A示出了确定第一裁剪区域和第二裁剪区域中的每个区域的水平视角的实施方案。
如图5A所示，当第一摄像机的水平视角为M时，图2的图像生成器180可以在0<θ1<M的范围内计算第一水平视角θ1。例如，如果M的角度为30度，图像生成器180可以在0度<θ1<30度的范围内计算第一水平视角θ1。在这种情况下，第一水平视角θ1可以在0<θ1<M的范围内随机确定。
进一步地，图像生成器180可以基于第一摄像机的垂直视角、第二摄像机的垂直视角、第一水平视角以及显示器屏幕的分辨率来计算第一垂直视角。在此，图像生成器180可以利用与图4B中所示的相同方式来计算第一垂直视角。
因此，图像生成器180可以基于第一水平视角θ1和第一垂直视角来确定第一裁剪区域，并且可以基于所确定的第一裁剪区域来提取第一裁剪图像。
进一步地，当第二摄像机的水平视角为N1时，图像生成器180可以在0<θ2<N1/2的范围内计算第二水平视角θ2。例如，当N1的角度为140度时，图像生成器180可以在0度<θ2<70度的范围内计算第二水平视角θ2。在这种情况下，第二水平视角θ2可以在0<θ2<N1/2的范围内随机确定。
进一步地，图像生成器180可以基于第一摄像机的垂直视角、第二摄像机的垂直视角、第二水平视角以及显示器的分辨率来计算第二垂直视角。在此，图像生成器180可以利用与图4B中所示的相同方式来计算第二垂直视角。
因此，图像生成器180可以基于第二水平视角θ2和第二垂直视角来确定第二裁剪区域，并且可以基于所确定的第二裁剪区域提取第二裁剪图像。
在此，如果第一垂直视角和第二垂直视角彼此不同，则图像生成器180可以确定第一垂直视角和第二垂直视角中的哪一个为更窄的视角，并且将更窄的视角用作第一裁剪区域和第二裁剪区域的垂直视角。例如，如果第一垂直视角比第二垂直视角窄，则图像生成器180可以将第二垂直视角更正为第一垂直视角，并且可以基于第二水平视角θ2和更正的第二垂直视角(即第一垂直视角)来确定第二裁剪区域。
图5B示出了基于第一裁剪图像和第二裁剪图像来生成第三图像的实施方案。
如图5B所示，图像生成器180可以基于通过图5A的实施方案确定的水平视角和垂直视角，裁剪对于第一图像521所确定的第一裁剪区域525的图像以生成第一裁剪图像，并且可以裁剪对于第二图像511所确定的第二裁剪区域515的图像以生成第二裁剪图像。
在这种情况下，图像生成器180可以将第一裁剪图像与第二裁剪图像合成，并且基于合成的图像来生成第三图像531。在此，图像生成器180可以将车门打开警告图像535添加到合成的图像以生成第三图像531。
当车门打开时，图2的输出控制器190可以将在显示器上显示的第一图像更改为由图像生成器180生成的第三图像，并且可以将更改的第三图像显示在显示器屏幕上。
与此同时，如果多个第二图像通过图2的图像获取装置170而输入，则输出控制器190可以配置用于输入的第二图像的第三图像选择界面，并且可以将所配置的第三图像选择界面显示在显示器屏幕上。在这种情况下，如果一个图像在第三图像选择界面上被选中，则输出控制器190可以将有关选中的第二图像的信息发送至图像生成器180。将参考图6给出对于第三图像选择界面的实施方案的描述。
图6为示出了根据本申请实施方案，用于控制车辆内显示器的装置的附加操作的示意图。在此，第一摄像机为外侧视野监控摄像机131，而第二摄像机包括后方视野摄像机133、外围监控摄像机135和内侧视野监控摄像机137。
如图6所示，如果在第一图像显示在显示器屏幕上的同时检测到车门打开状态，则图2的图像获取装置170可以控制开启所有的多个第二摄像机，并且可以获取由所述多个第二摄像机拍摄的第二图像。
在这种情况下，图2的输出控制器190可以利用所述多个第二图像来配置第三图像选择界面611。
如图6所示，第三图像选择界面611可以包括之前显示在显示器上的第一图像621。进一步地，第三图像选择界面611可以包括选择区域。选择区域可以显示第二图像(其为用于生成第三图像的候选图像)，例如，后方视野摄像机133的图像631、内侧视野监控摄像机137的图像633和外围监控摄像机135的图像635。
因此，用户可以在显示在选择区域上的所述多个第二图像中选择一个图像以用于生成第三图像。
进一步地，第三图像选择界面611可以在其一个区域上包括车门打开警告图像641。
图2的图像生成器180可以基于在第三图像选择界面611上选择的第二图像来生成第三图像。在这种情况下，输出控制器190可以将由图像生成器180生成的第三图像显示在显示器屏幕上。
如上所述，图像生成器180可以基于后方区域和在车门打开的方向上的侧后方区域的图像来生成第三图像。在这种情况下，输出控制器190可以在车辆10的显示器中在车门打开方向的显示器上显示第三图像。在这种情况下，输出控制器190可以在车门未打开的方向的显示器上继续显示第一摄像机的图像。
与此同时，如果左车门和右车门中的至少一个被打开，则图像生成器180可以基于后方区域和左右方向的侧后方区域的图像来生成第三图像，而不考虑车门打开的方向。在这种情况下，输出控制器190可以在左显示器和右显示器的每一个上显示第三图像。
执行上述操作的根据本申请实施方案的显示器控制装置100可以以独立硬件装置(其包括存储器和处理每个操作的处理器)的形式实现，或者可以以被包括在另一个硬件装置(例如微处理器或通用计算机系统)中的形式而受到驱动。
将给出对于根据本申请实施方案的包括上述配置的显示器控制装置100的操作的详细说明。
图7至图9为示出了根据本申请实施方案，用于控制车辆内显示器的方法的操作的流程图。
首先，图7示出了根据本申请实施方案，用于控制车辆内显示器的方法的操作。
如图7所示，在操作S110，图1的显示器控制装置100可以在显示器屏幕上显示第一摄像机的第一图像。如果在操作S120中检测到图1的车辆10的车门打开状态，则在操作S130，显示器控制装置100可以驱动第二摄像机。在此，第二摄像机可以为图3A的后方视野摄像机133。然而，实施方案并不限于此。例如，第二摄像机可以为图3A的外围监控摄像机135或内侧视野监控摄像机137。
在操作S140中，显示器控制装置100可以确定由第二摄像机拍摄的第二图像的裁剪区域。在这种情况下，显示器控制装置100可以确定裁剪区域的水平视角和垂直视角，并且可以基于经确定的水平视角和经确定的垂直视角来确定裁剪区域。确定裁剪区域的操作可以如图4A至图4C所示来执行。
如果在操作S140中确定了第二图像的裁剪区域，则在操作S150中，显示器控制装置100可以从第二图像裁剪裁剪区域的图像。在操作S160中，显示器控制装置100可以基于操作S150中的裁剪图像来生成第三图像。在这种情况下，显示器控制装置100可以将车门打开警告图像添加到裁剪图像以生成第三图像。
在操作S170中，显示器控制装置100可以将在操作S160中生成的第三图像显示在显示器的屏幕上。在此，显示器可以为车辆10的车门打开方向上的显示器，并且可以为双向显示器。
然后，图8示出了根据本申请实施方案，用于控制车辆内显示器的方法的附加操作。
如图8所示，在操作S210，图1的显示器控制装置100可以在显示器屏幕上显示第一摄像机的第一图像。在这种情况下，如果在操作S220中检测到图1的车辆10的车门打开状态，则在操作S230，显示器控制装置100可以驱动第二摄像机。在此，第二摄像机可以为图3A的后方视野摄像机133。然而，实施方案并不限于此。根据实施方案，第二摄像机可以为图3A的外围监控摄像机135或内侧视野监控摄像机137。
在操作S240中，显示器控制装置100可以确定分别由第一摄像机和第二摄像机拍摄的第一图像和第二图像的裁剪区域的每个。在此，显示器控制装置100可以确定裁剪区域的每个的水平视角和垂直视角，并且可以基于所确定的水平视角和所确定的垂直视角来确定裁剪区域的每个。确定第一图像和第二图像的裁剪区域的操作可以参考图5A和图5B的实施方案。
如果在操作S240中确定了第一图像和第二图像的裁剪区域的每个，则在操作S250中，显示器控制装置100可以从第一图像和第二图像中裁剪每一个裁剪区域的图像。在操作S260和S270中，显示器控制装置100可以合成操作S250中的裁剪图像，并且可以基于合成的图像来生成第三图像。在这种情况下，显示器控制装置100可以将车门打开警告图像添加到操作S260中的合成的图像以生成第三图像。
在操作S280中，显示器控制装置100可以将在操作S270中生成的第三图像显示在显示器的屏幕上。在此，显示器可以为车辆10中车门打开方向上的显示器，并且可以为双向显示器。
接着，图9示出了根据本申请实施方案，用于控制车辆内显示器的方法的操作。
如图9所示，在操作S310，图1的显示器控制装置100可以在显示器屏幕上显示第一摄像机的第一图像。如果在操作S320中检测到图1的车辆10的车门打开状态，则在操作S330，显示器控制装置100可以驱动多个不同的第二摄像机。在此，n个不同的第二摄像机可以包括图3A的后方视野摄像机133、外围监控摄像机135和/或内侧视野监控摄像机137。
在操作S340中，显示器控制装置100可以获取由n个不同的第二摄像机拍摄的第二图像。在操作S350中，显示器控制装置100可以基于所获取的n个第二图像来配置第三图像选择界面，并且可以将所配置的第三图像选择界面显示在显示器屏幕上。例如，第三图像选择界面可以为用于在后方视野摄像机133的图像、外围监控摄像机135的图像、和/或内侧视野监控摄像机137的图像中选择用于生成第三图像的图像的界面。第三图像选择界面的实施方案可以参考图6。
由此，驾驶员可以从显示在显示器屏幕上的第三图像选择界面中选择n个第二图像中的一个。在这种情况下，如果在操作S360中选择了在第三图像选择界面上显示的n个第二图像中的一个，则在操作S370中，显示器控制装置100可以基于在操作S360中选择的图像来生成第三图像。在这种情况下，显示器控制装置100可以将车门打开警告图像添加到在第三图像选择界面上所选择的图像中以生成第三图像。进一步地，显示器控制装置100可以裁剪在第三图像选择界面上选择的图像的部分区域，并且可以将车门打开警告图像添加到裁剪图像，以生成第三图像。
在操作S380中，显示器控制装置100可以将在操作S370中生成的第三图像显示在显示器的屏幕上。在此，显示器可以为车辆10中车门打开方向上的显示器，并且可以为双向显示器。
图10为示出了执行根据本申请实施方案的方法的计算系统的配置的框图。
如图10所示，计算系统1000可以包括至少一个处理器1100、存储器1300、用户界面输入装置1400、用户界面输出装置1500、存储装置1600以及网络接口1700，它们经由总线1200相互连接。
处理器1100可以为用于处理存储在存储器1300和/或存储装置1600中的指令的中央处理单元(CPU)或者半导体装置。存储器1300和存储装置1600中的每一个可以包括各种类型的易失性或者非易失性存储介质。例如，存储器1300可以包括只读存储器(ROM)和随机存取存储器(RAM)。
由此，联系公开于本说明书中的实施方案而描述的方法和算法的运行可以直接地利用通过处理器1100执行的硬件模块、软件模块或者其组合实现。该软件模块可以位于存储介质(例如存储器1300和/或存储装置1600)上，诸如RAM、闪存、ROM、可擦可编程ROM(EPROM)、电EPROM(EEPROM)、寄存器、硬盘、移动硬盘或者只读光盘存储器(CD-ROM)。示例性的存储介质可以联结到处理器1100。处理器1100可以从存储介质读出信息并且可以在存储介质中写入信息。或者，存储介质可以与处理器1100集成。处理器和存储介质可以位于专用集成电路(ASIC)中。ASIC可以位于用户终端中。或者，处理器和存储介质可以位于用户终端的独立部件中。
根据本申请的实施方案，显示器控制装置可以在检测到车辆的车门打开状态时，通过基于后方视野摄像机、外围监控摄像机和/或内侧视野监控摄像机的后方区域和侧后方区域的图像来生成第三图像，从而在车门打开状态下在显示器屏幕上显示后方和侧后方的视野，进而防止外部的车辆摄像机的视线受到阻挡。
尽管已参考示例性实施方案对本申请进行了描述，对于本领域技术人员显而易见的是，可以不脱离本申请的精神和范围而进行各种修改和更改。因此，本申请的示例性实施方案不是限制性的，而是说明性的，本申请的精神和范围不限于此。本申请的精神和范围应当通过所附权利要求书进行解释，应理解的是，等同于本申请的所有技术理念都包括在本申请的精神和范围中。

Claims (19)

1.一种用于控制车辆内显示器的装置，所述装置包括：
第一摄像机，其安装在车辆的车门区域，并且配置为拍摄车辆的侧方区域和侧后方区域的第一图像；
第二摄像机，其安装在车辆的后端区域，并且配置为拍摄车辆的后方区域和侧后方区域的第二图像；
图像生成器，其配置为利用所述第二图像来生成第三图像；以及
输出控制器，其配置为当车辆行驶时将第一图像显示在显示器屏幕上，并且当车辆的车门打开时将第三图像显示在显示器屏幕上，
其中，所述图像生成器进一步配置为：
将所述第二图像的部分区域确定为裁剪区域；
基于所述裁剪区域来提取裁剪图像；
利用提取的裁剪图像来生成所述第三图像；
基于第一摄像机的水平视角和第二摄像机的水平视角来计算所述裁剪区域的水平视角；
基于第一摄像机的垂直视角、第二摄像机的垂直视角、经计算的所述裁剪区域的水平视角以及显示器屏幕的分辨率来计算所述裁剪区域的垂直视角。
2.根据权利要求1所述的用于控制车辆内显示器的装置，其中，所述图像生成器进一步配置为：
通过将车门打开警告图像添加到所述裁剪图像来生成所述第三图像。
3.根据权利要求1所述的用于控制车辆内显示器的装置，其中，所述图像生成器进一步配置为：
通过合成所述第一图像和所述第二图像来生成所述第三图像。
4.根据权利要求3所述的用于控制车辆内显示器的装置，其中，所述图像生成器进一步配置为：
将所述第一图像的部分区域确定为第一裁剪区域，并且将所述第二图像的部分区域确定为第二裁剪区域；
基于所述第一裁剪区域提取第一裁剪图像；
基于所述第二裁剪区域提取第二裁剪图像。
5.根据权利要求4所述的用于控制车辆内显示器的装置，其中，所述图像生成器进一步配置为：
基于第一摄像机的水平视角来计算所述第一裁剪区域的水平视角；
基于第一摄像机的垂直视角、第二摄像机的垂直视角、经计算的所述第一裁剪区域的水平视角以及显示器屏幕的分辨率来计算所述第一裁剪区域的垂直视角。
6.根据权利要求4所述的用于控制车辆内显示器的装置，其中，所述图像生成器进一步配置为：
基于第二摄像机的水平视角来计算所述第二裁剪区域的水平视角；
基于第一摄像机的垂直视角、第二摄像机的垂直视角、经计算的所述第二裁剪区域的水平视角以及显示器屏幕的分辨率来计算所述第二裁剪区域的垂直视角。
7.根据权利要求4所述的用于控制车辆内显示器的装置，其中，所述图像生成器进一步配置为：
当所述第一裁剪区域的垂直视角和所述第二裁剪区域的垂直视角彼此不同时，根据所述第一裁剪区域的垂直视角和所述第二裁剪区域的垂直视角中较窄的视角来确定所述第一裁剪区域和所述第二裁剪区域。
8.根据权利要求4所述的用于控制车辆内显示器的装置，其中，所述图像生成器进一步配置为：
通过合成所述第一裁剪图像和所述第二裁剪图像来生成合成图像；
基于所生成的合成图像来生成所述第三图像。
9.根据权利要求8所述的用于控制车辆内显示器的装置，其中，所述图像生成器配置为：
通过将车门打开警告图像添加到所述合成图像来生成所述第三图像。
10.根据权利要求1所述的用于控制车辆内显示器的装置，其中，所述第二摄像机包括下述摄像机中的一个或更多个：后方视野摄像机、外围监控系统的摄像机以及内侧视野监控系统的摄像机。
11.根据权利要求1所述的用于控制车辆内显示器的装置，其中，所述第二摄像机包括多个不同的摄像机。
12.根据权利要求11所述的用于控制车辆内显示器的装置，其中，所述输出控制器进一步配置为：
当车门打开时生成第三图像选择界面，所述第三图像选择界面包括从所述多个不同的摄像机而获取的多个图像；
将所述第三图像选择界面显示在显示器屏幕上。
13.根据权利要求12所述的用于控制车辆内显示器的装置，其中，所述第三图像选择界面包括在所述第三图像选择界面的一个区域上的车门打开警告图像。
14.根据权利要求12所述的用于控制车辆内显示器的装置，其中，当选择了在所述第三图像选择界面上显示的所述多个图像中的一个时，所述图像生成器进一步配置为：
基于所选择的图像来生成所述第三图像。
15.根据权利要求11所述的用于控制车辆内显示器的装置，其中，所述第二摄像机包括下述摄像机中的两个或更多个：后方视野摄像机、外围监控系统的摄像机以及内侧视野监控系统的摄像机。
16.一种用于控制车辆内显示器的方法，所述方法包括：
利用安装在车辆的车门区域的第一摄像机来拍摄车辆的侧方区域和侧后方区域的第一图像；
利用安装在车辆的后端区域的第二摄像机来拍摄车辆的后方区域和侧后方区域的第二图像；
利用所述第二图像来生成第三图像；
当车辆行驶时，将所述第一图像显示在显示器屏幕上；
当车辆的车门打开时，将所述第三图像显示在显示器屏幕上，
其中，生成所述第三图像包括：
将所述第二图像的部分区域确定为裁剪区域；
基于所述裁剪区域提取裁剪图像；
利用提取的裁剪图像生成所述第三图像；
基于第一摄像机的水平视角和第二摄像机的水平视角来计算所述裁剪区域的水平视角；
基于第一摄像机的垂直视角、第二摄像机的垂直视角、经计算的所述裁剪区域的水平视角以及显示器屏幕的分辨率来计算所述裁剪区域的垂直视角。
17.根据权利要求16所述的用于控制车辆内显示器的方法，其中，生成所述第三图像包括：
将所述第一图像的部分区域确定为第一裁剪区域；
基于所述第一裁剪区域提取第一裁剪图像；
将所述第二图像的部分区域确定为第二裁剪区域；
基于所述第二裁剪区域提取第二裁剪图像；
通过合成所述第一裁剪图像和所述第二裁剪图像来生成合成图像；
基于所生成的合成图像来生成所述第三图像。
18.根据权利要求16所述的用于控制车辆内显示器的方法，进一步包括：
当车门打开时生成第三图像选择界面，所述第三图像选择界面包括从配置为拍摄车辆的后方区域和侧后方区域的多个不同的摄像机获取的多个图像；
将所述第三图像选择界面显示在显示器屏幕上。
19.根据权利要求18所述的用于控制车辆内显示器的方法，其中，当选择了显示在所述第三图像选择界面上的所述多个图像中的一个时，生成所述第三图像包括：
基于所选择的图像来生成所述第三图像。
CN201810399715.7A 2017-11-30 2018-04-28 用于控制车辆内显示器的装置和方法 Active CN109849939B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170163382A KR102441079B1 (ko) 2017-11-30 2017-11-30 차량의 디스플레이 제어 장치 및 방법
KR10-2017-0163382 2017-11-30

Publications (2)

Publication Number Publication Date
CN109849939A CN109849939A (zh) 2019-06-07
CN109849939B true CN109849939B (zh) 2023-02-28

Family

ID=66547837

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810399715.7A Active CN109849939B (zh) 2017-11-30 2018-04-28 用于控制车辆内显示器的装置和方法

Country Status (4)

Country Link
US (1) US20190161012A1 (zh)
KR (1) KR102441079B1 (zh)
CN (1) CN109849939B (zh)
DE (1) DE102018108957A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7095291B2 (ja) 2018-01-30 2022-07-05 トヨタ自動車株式会社 車両用表示装置
US11060339B2 (en) * 2018-04-19 2021-07-13 Ford Global Technologies, Llc Systems and methods for mitigating liftgate from contacting objects while closing
KR20200144692A (ko) * 2019-06-19 2020-12-30 현대자동차주식회사 수직방향 접이식 카메라 모니터링 시스템

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1325802A (zh) * 2000-05-26 2001-12-12 松下电器产业株式会社 图像处理装置及监视系统
CN1533936A (zh) * 2003-04-02 2004-10-06 �����Զ�����ʽ���� 车辆图像显示设备及车辆图像显示方法
JP2006338566A (ja) * 2005-06-06 2006-12-14 Alpine Electronics Inc 画像合成装置および合成方法
JP2007148618A (ja) * 2005-11-25 2007-06-14 Fujitsu Ten Ltd 車両周辺監視システム及び方法
CN101269644A (zh) * 2007-03-22 2008-09-24 株式会社电装 车辆外部显示系统和显示控制装置
CN106232427A (zh) * 2014-04-17 2016-12-14 三菱电机株式会社 车载显示装置
JP2017007474A (ja) * 2015-06-19 2017-01-12 アルパイン株式会社 車両周辺画像生成装置および車両周辺画像生成方法
JP2017165218A (ja) * 2016-03-15 2017-09-21 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
CN107343166A (zh) * 2016-05-02 2017-11-10 现代自动车株式会社 侧后方注视摄像机系统操作控制装置及其方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2001243285A1 (en) * 2000-03-02 2001-09-12 Donnelly Corporation Video mirror systems incorporating an accessory module
US9321401B2 (en) * 2003-11-06 2016-04-26 Woodstock Transportation Components, Inc. Stop-arm with camera system
JP5436086B2 (ja) * 2009-08-03 2014-03-05 アルパイン株式会社 車両周辺画像表示装置および車両周辺画像表示方法
JP2011135253A (ja) * 2009-12-24 2011-07-07 Fujitsu Ten Ltd 画像処理装置、画像処理システム、および、画像処理方法
JP5696872B2 (ja) * 2010-03-26 2015-04-08 アイシン精機株式会社 車両周辺監視装置
KR20130019639A (ko) * 2011-08-17 2013-02-27 엘지이노텍 주식회사 차량용 카메라 장치
WO2013046358A1 (ja) * 2011-09-28 2013-04-04 トヨタ自動車株式会社 車輌側域照明／視認手段を備えた車輌
US8879796B2 (en) 2012-08-23 2014-11-04 Xerox Corporation Region refocusing for data-driven object localization
JP6156486B2 (ja) * 2013-03-28 2017-07-05 アイシン精機株式会社 周辺監視装置、及びプログラム
KR101482171B1 (ko) * 2013-09-05 2015-01-13 현대모비스(주) 어라운드뷰 정차모드 제어방법
KR102190892B1 (ko) * 2014-09-22 2020-12-14 에스엘 주식회사 차량의 주변 감시 장치 및 방법
JP6458439B2 (ja) * 2014-10-09 2019-01-30 株式会社デンソー 車載カメラ較正装置、画像生成装置、車載カメラ較正方法、画像生成方法
KR101949438B1 (ko) * 2016-10-05 2019-02-19 엘지전자 주식회사 차량용 디스플레이 장치 및 이를 포함하는 차량
KR101954199B1 (ko) * 2016-12-09 2019-05-17 엘지전자 주식회사 차량용 어라운드 뷰 모니터링 장치, 운행 제어 장치 및 차량
KR102012776B1 (ko) * 2017-08-29 2019-08-21 엘지전자 주식회사 차량용 어라운드 뷰 제공 장치 및 차량

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1325802A (zh) * 2000-05-26 2001-12-12 松下电器产业株式会社 图像处理装置及监视系统
CN1533936A (zh) * 2003-04-02 2004-10-06 �����Զ�����ʽ���� 车辆图像显示设备及车辆图像显示方法
JP2006338566A (ja) * 2005-06-06 2006-12-14 Alpine Electronics Inc 画像合成装置および合成方法
JP2007148618A (ja) * 2005-11-25 2007-06-14 Fujitsu Ten Ltd 車両周辺監視システム及び方法
CN101269644A (zh) * 2007-03-22 2008-09-24 株式会社电装 车辆外部显示系统和显示控制装置
CN106232427A (zh) * 2014-04-17 2016-12-14 三菱电机株式会社 车载显示装置
JP2017007474A (ja) * 2015-06-19 2017-01-12 アルパイン株式会社 車両周辺画像生成装置および車両周辺画像生成方法
JP2017165218A (ja) * 2016-03-15 2017-09-21 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
CN107343166A (zh) * 2016-05-02 2017-11-10 现代自动车株式会社 侧后方注视摄像机系统操作控制装置及其方法

Also Published As

Publication number Publication date
KR102441079B1 (ko) 2022-09-06
DE102018108957A1 (de) 2019-06-06
US20190161012A1 (en) 2019-05-30
KR20190069640A (ko) 2019-06-20
CN109849939A (zh) 2019-06-07

Similar Documents

Publication Publication Date Title
US10116873B1 (en) System and method to adjust the field of view displayed on an electronic mirror using real-time, physical cues from the driver in a vehicle
US9706175B2 (en) Image processing device, image processing system, and image processing method
US8836787B2 (en) Image generating apparatus and image display system
JP5765995B2 (ja) 画像表示システム
WO2014068856A1 (ja) 画像生成装置、および画像生成プログラム製品
CN109849939B (zh) 用于控制车辆内显示器的装置和方法
CN109314765B (zh) 车辆用显示控制装置、显示系统、显示控制方法以及程序
JP6425991B2 (ja) 牽引車両周囲画像生成装置および牽引車両周囲画像生成方法
CN108569298B (zh) 用于增强俯视图图像的方法和装置
JP2012025327A (ja) 画像表示システム、画像処理装置及び画像表示方法
WO2014155954A1 (ja) 車両用表示制御装置
JP2016168877A (ja) 車両用視認装置
KR102288950B1 (ko) 차량 및 그 제어 방법
EP3772719B1 (en) Image processing apparatus, image processing method, and image processing program
US20150258935A1 (en) Surroundings monitoring system for a vehicle
WO2018042976A1 (ja) 画像生成装置、画像生成方法、記録媒体、および画像表示システム
JP2018107573A (ja) 車両用視認装置
JP4679816B2 (ja) 車両周辺表示制御装置
JP2007025739A (ja) 車両用画像表示装置
US20170072855A1 (en) Rearview video full windshield projector
CN111669543A (zh) 用于停车解决方案的车辆成像系统和方法
CN109693613B (zh) 生成可牵引物体的定位指示符的方法和设备
US10775791B2 (en) Image processing apparatus and method for vehicle
JP2007088577A (ja) 車両周辺画像処理システム
JP2012046124A (ja) 画像表示システム、画像処理装置、および、画像表示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant