CN109803867B - 用于将视线确保图像提供给车辆的方法、电子设备和车辆 - Google Patents

用于将视线确保图像提供给车辆的方法、电子设备和车辆 Download PDF

Info

Publication number
CN109803867B
CN109803867B CN201780062119.3A CN201780062119A CN109803867B CN 109803867 B CN109803867 B CN 109803867B CN 201780062119 A CN201780062119 A CN 201780062119A CN 109803867 B CN109803867 B CN 109803867B
Authority
CN
China
Prior art keywords
image
vehicle
external
sight
outside
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780062119.3A
Other languages
English (en)
Other versions
CN109803867A (zh
Inventor
韩成元
朴佑镇
潘大铉
李圭行
林尚谆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN109803867A publication Critical patent/CN109803867A/zh
Application granted granted Critical
Publication of CN109803867B publication Critical patent/CN109803867B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/012Measuring and analyzing of parameters relative to traffic conditions based on the source of data from other sources than vehicle or roadside beacons, e.g. mobile networks
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/017Detecting movement of traffic to be counted or controlled identifying vehicles
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/04Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/406Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components using wireless transmission
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00Special features of vehicle units
    • B60Y2400/30Sensors
    • B60Y2400/301Sensors for position or displacement
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00Special features of vehicle units
    • B60Y2400/92Driver displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0141Head-up displays characterised by optical features characterised by the informative content of the display

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Optics & Photonics (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Analytical Chemistry (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

提供一种电子设备的用于将视线确保图像提供给车辆的方法,其中,用于提供视线确保图像的方法包括:从多个外部车辆中确定至少一个外部车辆,获取在确定的外部车辆处拍摄的外部图像,获取确定的外部车辆的外部车辆图像,通过将获取的外部图像的至少一部分与获取的外部车辆图像的至少一部分合成来产生与被外部车辆阻挡的视野相应的视线确保图像,并且将产生的视线确保图像提供给显示器。

Description

用于将视线确保图像提供给车辆的方法、电子设备和车辆
技术领域
本公开总体上涉及一种用于将视线确保图像提供给车辆的方法及用于其的电子设备,并且例如,涉及一种用于通过设置在车辆上的显示器提供视线确保图像的方法及用于其的电子设备。
背景技术
过去的车辆开发集中于改善车辆的主要性能,诸如,驾驶速度、燃料效率等。然而,当前的车辆开发非常重视用户便利性和安全性提高。近来,随着增强了关于车辆的安全意识,例如,广泛地发布了安全组件(诸如,安全带、气囊、减震体等)并且扩展了碰撞测试。然而,这样的方法仅是用于减小事故损害的消极方法。
发明内容
技术问题
因此,需要一种新方法,其中,该新方法使驾驶员除了能够清楚地识别车辆外情况信息之外还能够清楚地识别用于驾驶的必要信息,并且防止和/或减少由于驾驶员的粗心驾驶而导致的事故的发生。
技术方案
本公开的示例实施例解决以上缺点和以上未描述的其他缺点。
车辆(例如,汽车)可在前部区域设置有透明显示器,以确保车辆的用户(例如,正在驾驶汽车的驾驶员)的视线。在这种情况下,当车辆外部的另一车辆位于该车辆前方时,可发生这样的情况:因为外部车辆正在阻挡前方的视野,所以难以确保用户的视线。
因此,本公开的示例方面提供一种用于考虑位于前方的外部车辆来提供用于确保驾驶员的视线的视线确保图像的方法及用于其的电子设备。
将注意,本公开中解决的技术目标不限于以上提到的那些,并且本领域中的技术人员可从下面的公开清楚地理解本文未提到的另外的技术目标。
根据示例实施例,提供了一种电子设备的用于将视线确保图像提供给车辆的方法,其中,所述方法可包括以下操作:从多个外部车辆中确定至少一个外部车辆;获取在确定的外部车辆处拍摄的外部图像;获取拍摄有确定的外部车辆的外部车辆图像;通过将获取的外部图像的至少一部分与获取的外部车辆图像的至少一部分合成,产生与被外部车辆阻挡的视线(视野)相应的视线确保图像;并且将产生的视线确保图像提供给显示器。
根据另一示例实施例,提供了一种用于将视线确保图像提供给车辆的电子设备,其中,所述电子设备可包括:车辆确定器,包括被配置为从多个外部车辆中确定至少一个外部车辆的处理电路和/或程序元件;图像获取器,包括被配置为获取由确定的外部车辆拍摄的外部图像和拍摄有确定的外部车辆的外部车辆图像的处理电路和/或程序元件;图像合成器,包括被配置为通过将获取的外部图像的至少一部分与获取的外部车辆图像的至少一部分合成来产生与被外部车辆阻挡的视线(视野)相应的视线确保图像的处理电路和/或程序元件;以及图像提供器,包括被配置为将产生的视线确保图像提供给显示器的处理电路和/或程序元件。
根据另一示例实施例,提供了一种车辆,其中,所述车辆可包括:通信器,包括被配置为与外部车辆执行通信的通信电路;相机,被配置为拍摄外部车辆;电子设备,被配置为从多个外部车辆中确定至少一个外部车辆,通过通信器获取在确定的外部车辆处拍摄的外部图像,通过相机获取拍摄有确定的外部车辆的外部车辆图像,并且通过将外部图像的至少一部分与外部车辆图像的至少一部分合成来产生与被外部车辆阻挡的视野相应的视线确保图像;以及透明显示器,被配置为显示产生的视线确保图像。
根据另一示例实施例,非暂时性计算机可读记录介质可存储程序,其中,所述程序当被处理器执行时促使电子设备执行以下操作:从多个外部车辆中确定至少一个外部车辆;获取在确定的外部车辆处拍摄的外部图像;获取拍摄有确定的外部车辆的外部车辆图像;通过将获取的外部图像的至少一部分与获取的外部车辆图像的至少一部分合成来产生与由外部车辆阻挡的视野相应的视线确保图像;并且将产生的视线确保图像提供给显示器。
有益效果
根据示例实施例,可确保操纵车辆的用户的视线到达远距离。因此,由于用户可能执行安全驾驶,因此事故风险可被大大地降低。
此外,当通过位于前方的透明显示器根据增强现实(AR)方法提供视线确保图像时,用户可在驾驶的同时立即看到视线确保图像,因此,可最小化和/或减少注意力分散。
此外,可在本公开的实施例的详细描述中直接地或隐含地描述可根据本公开的示例实施例获取或预期的效果。例如,将在下面的详细描述中描述可根据本公开的示例实施例而预期的各种效果。
附图说明
从下面结合附图进行的详细描述中,本公开的以上和/或其他方面、特征和伴随的优点将变得明显并且更容易理解,其中,相同的参考标号表示相同的元件,其中:
图1A、图1B和图1C是示出根据示例实施例的电子设备提供视线确保图像的示例过程的示图;
图2A是示出根据示例实施例的包括电子设备的车辆的示例配置的框图;
图2B是示出根据示例实施例的用于将视线确保图像提供给车辆的电子设备的示例配置的框图;
图3、图4、图5A、图5B、图6A、图6B、图6C和图6D是示出根据另一示例实施例的电子设备提供视线确保图像的示例过程的示图;
图7是示出根据示例实施例的由外部车辆拍摄的外部图像的示例的示图;
图8和图9是示出根据另一示例实施例的提供视线确保图像的示例过程的示图;
图10A、图10B和图10C是示出根据示例实施例的电子设备的用于确定外部车辆的示例方法的示图;
图11A、图11B和图11C是示出根据示例实施例的安装有电子设备的车辆的用于与外部车辆通信的示例方法的示图;
图12A、图12B、图12C和图12D是示出根据示例实施例的电子设备的用于产生视线确保图像的示例方法的示图;
图13A、图13B和图13C是示出根据各种示例实施例的显示视线确保图像的示例显示器的示图;
图14是示出根据示例实施例的电子设备提供视线确保图像的示例方法的流程图。
具体实施方式
可不同地修改本公开的示例实施例。因此,各种示例实施例在附图中被示出,并且在详细描述中被更详细地描述。然而,将理解,本公开不限于特定示例实施例,而是在不脱离本公开的范围和精神的情况下包括所有修改、等同和替换。此外,如果公知功能或构造会以不必要的细节模糊本公开,则可不详细地描述公知功能或构造。
在提供本公开的详细描述之前,将简要解释本文使用的术语。
本公开中使用的术语被选择作为基于对本公开的功能的考虑而广泛使用的一般术语。然而,术语可根据本领域的技术人员的意图、先例或新技术的出现而变化。此外,可存在在特定情况下任意选择的术语,其中,在所述特定情况下,当描述本公开的相应方面时,将详细地描述所述术语的含义。因此,本公开中使用的术语应基于本公开中的术语的含义和全部上下文被定义,而不是简单地基于术语的名称被定义。
当特定元件“包含(包括)”另一元件时,除非另外特别说明,否则在整个说明书中,可额外包括另一元件,而不是排除另一元件。此外,在解释示例实施例时,诸如“模块”或“单元”的术语可指例如执行至少一个功能或操作的单元,并且可被实现为硬件或软件、或者硬件和软件的组合。
在本公开中,“车辆”可指例如搭载或装载有人和/或货物并且移动的交通工具,诸如,例如,汽车、飞机、摩托车、(电动)自行车、电动轮椅、船舶、火车等,但不限于此。此外,当车辆是汽车时,汽车可包括小型汽车、中型汽车、全尺寸汽车、两轮汽车和专用汽车,并且还可包括轿车、厢式货车、卡车、公共汽车、载重汽车等,但不限于此。此外,本公开中使用的“用户”可指例如驾驶或操纵车辆或使用本公开的电子设备的操作员,诸如,驾驶员、飞行员、工程师或领航员等,但不限于此。此外,本公开中的用户的“车辆”可指安装或设置有本公开的电子设备的车辆。
下面将通过参照附图来描述本公开的各种示例实施例,使得本领域中的技术人员可容易地理解并实现本公开。然而,本文提出的描述仅是仅为了说明的目的而提供的示例,并不意在限制本公开的范围。因此,应理解,在不脱离本公开的范围的情况下,可对其进行其他等同和修改。在下面描述中,为了清楚,可不描述与本公开无关的功能或元件,并且在说明书和附图中相同的参考标号用于指相同或相似的元件。
图1A、图1B和图1C是示出根据示例实施例的电子设备提供视线确保图像的示例过程的示图。
参照图1A,交通情况100可指用户的车辆1和多个外部车辆2至9处于驾驶、停止或停车等过程中的情况。
车辆1至9可使用包括在车辆中的相机拍摄外部图像。在示例中,相机可包括例如但不限于在车辆的制造期间包括在车辆中的相机、在由制造商发布之后由用户或卖方安装在车辆上的相机(例如,黑匣子相机等)、或由用户临时安装在车辆上的相机(例如,安装在支架上并观察车辆前方或后方的相机等)。
利用相机拍摄的外部图像可以是包括例如但不限于存在于车辆外部的对象、地形或道路的图像。例如,外部图像可包括建筑物、山脉、其他车辆、行人、交通车道、交通灯、道路标志、行道树等,但不限于此。
根据实施例,用户的车辆1可被安装(被设置)有提供视线确保图像的电子设备10。
安装在车辆1上的电子设备10可以是被设置在车辆1中的单独系统或高级驾驶辅助系统(诸如,高级驾驶员辅助系统(ADAS)),或者以上提到的辅助系统的一部分等,但不限于此。此外,电子设备10可包括电子地控制与车辆的驾驶有关的各种功能的控制器(诸如,电子控制单元(ECU))或控制器的一部分。此外,当电子设备10可以是安装在车辆1上的外部设备时,电子设备10可以是例如但不限于驾驶辅助系统(诸如,与车辆连接器(例如,车载诊断器(OBD)端子、OBD连接器等)连接的OBD、导航等)、或者以上驾驶辅助系统的一部分。
此外,电子设备10可以是被布置或被安装在车辆1内的移动终端设备,其中,所述移动终端设备包括例如但不限于智能电话、平板个人计算机、移动电话、视频电话、电子书阅读器、台式个人计算机、膝上型个人计算机、上网本计算机、个人数字助理(PDA)、便携式多媒体播放器(PMP)、MP3播放器、移动医疗装置、相机、物联网或可穿戴装置等。可穿戴装置可包括以下项中的至少一项:配件型(例如,手表、戒指、手镯、脚链、项链、眼镜、隐形眼镜或头戴式装置(HMD))、织物或服装集成型(例如,电子服装)、身体附着型(例如,皮肤垫或纹身)、或生物植入电路等,但不限于此。根据各种实施例,电子设备10可以是柔性的或者是以上提到的各种装置中的两个或更多个的组合。根据实施例的电子设备10可不限于以上提到的装置。此外,在本公开中,本文使用的术语“用户”可指使用电子设备10的人或装置(例如,人工智能电子设备)。
在这种情况下,如图1B所示,可通过位于车辆1前方的透明显示器15向车辆1的用户提供前方环境。在这种情况下,当外部车辆2位于用户的车辆1的前方时,由于外部车辆2正在阻挡前方的视野,因此难以确保用户的视线。
例如,当诸如卡车的全尺寸汽车或具有厚重着色的窗户的汽车位于前方时,由于不可能确保用户的视线,因此用户会难以查看交通流量、交通灯、交通车道、路标、行人等。例如,当全尺寸汽车的驾驶员由于他或她可能发现的异常情况而进行突然制动时,后方的用户会在立即感测并对全尺寸汽车的突然制动进行响应上存在问题,其中,全尺寸汽车的突然制动通常具有长的制动距离。
因此,安装在用户的车辆1上的电子设备10可使用根据本公开的示例实施例的方法来确保用户的视线。
例如,电子设备10可在多个外部车辆2至9中确定至少一个外部车辆2。
例如,为了确定至少一个外部车辆2,电子设备10可使用多个外部车辆2至9的驾驶信息。下面将参照图10A和图10B具体描述电子设备10用于确定外部车辆2的方法。
当确定了外部车辆2时,电子设备10可向确定的外部车辆2请求通过或由外部车辆2拍摄的外部图像,并且从外部车辆2获取通过外部车辆2拍摄的外部图像。
根据各种示例实施例,电子设备10可从位于车辆2外部的外部服务器(或云)(未示出)获取通过外部车辆2拍摄的外部图像。换句话说,当在汽车中的每一辆汽车处拍摄的外部图像可例如被采集到云中时,电子设备10可将确定的外部车辆的标识信息提供给外部服务器,并且外部服务器可将通过与标识信息相应的外部车辆2拍摄的外部图像发送到电子设备10。
在另一过程中,当确定了外部车辆2时,电子设备10可获取拍摄有确定的外部车辆2的外部车辆图像。外部车辆图像可以是例如使用包括在用户的车辆1中的相机拍摄的包括外部车辆2的图像。在这种情况下,可在获取通过外部车辆2拍摄的外部图像之前、之后或几乎同时获取外部车辆图像。
当获取到通过外部车辆2拍摄的外部图像和拍摄有外部车辆2的外部车辆图像时,电子设备10可将外部图像的至少一部分与外部车辆图像的至少一部分合成,以产生用于提供被外部车辆2阻挡的视野的视线确保图像。
根据各种示例实施例,电子设备10可通过从外部装置获取除外部图像和外部车辆图像之外的与被阻挡的视线(视野)相应的附加图像来产生视线确保图像。例如,附加图像可以是先前拍摄的道路图像,并且这些先前拍摄的道路图像可以是通过外部通信装置或周围基础设施获取的图像。
例如,由外部车辆2拍摄的外部图像可以是在夜晚拍摄的图像或在差的天气(例如,恶劣天气)拍摄的图像。在这种情况下,电子设备10可通过将以下项中的两项或更多项合成来获取与被阻挡的视线相应的视线确保图像:先前拍摄的白天图像;在晴朗的天气拍摄的附加图像;由外部车辆拍摄的外部图像;和拍摄有外部车辆的外部车辆图像。
在这种情况下,电子设备10从其请求外部附加图像的外部通信装置或周围基础设施可包括例如安装在路侧的路侧单元(RSU)。在示例中,电子设备10可将RSU识别为基站或终端等中的一个,但不限于此。
此外,电子设备10可使用车联万物(V2X)通信方法从V2X服务器获取附加图像。V2X服务器可以是例如用于根据V2X通信提供V2X服务的服务器。V2X通信方法是表示可被应用于车辆的每种形式的通信方法的一般术语,并且它代表用于实现“连接的车辆”或“联网的车辆”的特定通信技术。V2X网络可被主要划分为三种:车辆与基础设施(V2I)通信;车辆与车辆(V2V)通信;和车辆与行人(V2P)通信等,但不限于此。V2I和V2V的技术发展追求提高道路安全性的主要目标,并且近几年来其与无线通信的技术发展的融合已使各种IT附加服务能够被提出。例如,第三代合作伙伴计划(3GPP)组正在致力于提供基于LTE高级的V2X通信的标准化任务。
当产生了视线确保图像时,电子设备10可将产生的视线确保图像提供给安装在车辆1上的显示器。
当显示器是位于汽车前方的透明显示器时,如图1C所示,可在位于车辆1前方的透明显示器15上显示提供的视线确保图像110。
例如,如图1C所示,可利用增强现实(AR)方法在位于用户的车辆1的前方的透明显示器上自然地显示合成的视线确保图像。在示例中,AR方法可指例如将虚拟图像与用户观察到的现实世界合成并将结果显示为一个图像。由于具有附加信息的虚拟世界与现实世界被实时集成并被看作一个图像,因此AR方法也可被称为混合现实(MR)。
此外,视线确保图像可被显示在平视显示器、用户佩戴的可穿戴装置、显示器的仪表板等上,但不限于此。下面将参照图13A至图13C更详细地描述显示视线确保图像的显示器的类型的具体示例。
用户可使用视线确保图像容易地确认交通流量、交通灯、交通车道、路标、行人等。因此,用户能够执行安全驾驶。
图2A是示出根据示例实施例的包括电子设备10的车辆200的示例配置的框图。
车辆200可与图1中的用户的车辆1相应。可选地,车辆200可与图1中的车辆2至9中的至少一个相应。
在图2A中,车辆200可包括根据实施例的电子设备10、作为高级驾驶辅助系统的ADAS 210、执行与车辆的驾驶(诸如,车辆200的驾驶/制动/转向)有关的总体控制的ECU(电子控制单元)245、用于控制车辆10的门的门控制器215、门220、转向设备255(例如,车轮等)、加速器230(例如,加速踏板等)、减速器225(例如,制动踏板)、通信器(例如,包括通信电路)240、传感器250、相机235和透明显示器260。
尽管电子设备10被与作为高级驾驶辅助系统的ADAS 210和ECU 245分开地示出,但是这仅是各种示例实施例中的一个示例实施例。根据各种示例实施例,电子设备10可以是ADAS 210的全部或一部分,或者是ECU 245的全部或一部分。
ADAS 210可被称为驾驶员的驾驶辅助系统或高级驾驶辅助系统,并且可提供与汽车的安全性有关的各种辅助功能。例如,ADAS 210可包括通过识别前方车辆自动保持安全距离的自适应巡航控制功能、通过识别到前方车辆的距离自动调节速度的智能巡航控制功能、在城市的拥挤区域与前方车辆保持特定距离的交通堵塞辅助功能、根据是夜晚还是白天或者是否存在迎面车辆而交替地操作远光灯和近光灯的自适应远光功能、利用红外灯或热光相机提前感测并通知通过驾驶员的眼睛看不到的对象的夜视功能、搜索并通知驾驶员看不到的盲区的车辆的盲点警告系统等。
ECU 245可感测车辆200的状态并且确定燃料注入量和点火时间以使车辆200的发动机正常运行。例如,ECU 245可考虑车辆200的发动机的转数、吸气量、吸气压力和加速器打开,补偿水温传感器、氧传感器等并基于先前设置的点火时间歧管绝对压力(MAP)值和燃料注入MAP值来调节注入器的打开和关闭速率。
通信器240可包括各种通信电路,并且使用长距离通信模块或近场通信模块与位于车辆200外部的外部装置执行通信。
例如,通信器240可将由相机235拍摄的图像发送到外部装置。在这种情况下,外部装置可以是例如V2X服务器、包括在外部车辆处拍摄的外部图像的图像存储服务器、云服务器或基站。可选地,外部装置可以是位于到车辆200的特定距离内的另一车辆。
当使用长距离通信模块时,通信器240可根据诸如但不限于以下项的通信标准与外部装置执行通信:IEEE、第3代(3G)、3GPP、长期演进(LTE)、全球定位系统(GPS)等。当使用近场通信模块时,通信器240可根据诸如但不限于以下项的通信标准与外部装置执行通信:Wi-Fi、蓝牙、NFC、Zigbee、Picocast等。
此外,当利用有线通信方法执行通信时,通信器240可使用例如20引脚连接器、16引脚连接器、RJ45连接器或USB连接器等,但不限于此。通信器240可根据诸如但不限于以下项的通信协议执行通信:车载诊断版本1(OBD-1)、OBD-2、欧洲车载诊断(EOBD)、韩国车载诊断(KOBD)、K-Line、汽车以太网、面向媒体的系统传输(MOST)、FlexRay、RS-232、控制器局域网络(CAN)等。
传感器250可感测车辆200的周围环境。传感器250可包括例如对象传感器或距离传感器(诸如,激光雷达传感器、雷达传感器、超声传感器、视觉传感器、红外传感器、LED传感器等),以便感测车辆200的周围环境。
此外,传感器250还可包括例如但不限于以下传感器中的至少一个传感器:加速度传感器、陀螺仪传感器、照度传感器、接近传感器、压力传感器、噪声传感器(例如,麦克风)、视频传感器(例如,相机模块)、温度传感器、震动传感器、倾斜传感器、3轴磁性传感器、语音识别传感器或计时器等。
此外,传感器250可被实现为电子设备10的一部分或单独的装置。同时,在本公开中,感测车辆200的周围环境不仅可包括在电子设备10处直接感测,而且包括通过与电子设备10分开包括的传感器250接收感测结果。
此外,传感器250可获取状态信息,诸如,燃料状态信息、发动机状态信息(发动机状态、发动机机油状态、正时皮带状态信息)、轮胎信息(轮胎磨损或翘曲程度等)、驾驶速度信息、驾驶方向信息、方向指示等,但不限于此。此外,传感器250可通过照度传感器确定是白天还是夜晚,并且传感器250可根据白天的亮度或用户的视线的方向来获取照度信息。
相机235可例如被设置用于视频信号输入,并且处理由图像传感器获取的视频帧(诸如,静止图像或视频)。相机235中处理的视频帧可被存储在存储器中或者通过通信器240被发送到外部设备或外部装置。根据各种示例实现,可提供两个或更多个相机235。例如,相机235可被实现为各种形式,诸如,前置相机、后置相机、左侧相机、右侧相机、内置相机、黑匣子相机等。此外,相机235可包括红外相机。
相机235可获取存在于车辆外部的背景信息(诸如、对象、地形、道路等)。换句话说,相机235可拍摄位于距车辆200的特定距离内的建筑物、山脉、其他车辆、行人、交通车道、前灯、街道树等。
透明显示器260可指例如具有透过其看到屏幕的背面的形式的图像显示设备。透明显示器可包括透明元件,并且可通过调节透明元件的透光率来调节透明度,或者通过调节每个像素的RGB值来调节透明度。
根据示例实施例,透明显示器260可显示视线确保图像。
根据各种示例实施例,透明显示器260和触摸板可形成层间结构以形成触摸屏。在这种情况下,透明显示器260除可被用作输出装置之外还可被用作输入装置。透明显示器260可包括液晶显示器、薄膜晶体管液晶显示器、有机发光二极管、柔性显示器和3D显示器等中的至少一个,但不限于此。此外,根据车辆200的实现,可存在两个或更多个透明显示器260。例如,透明显示器260可被设置为与车辆200的前窗、侧窗和后窗相应。
因为透明显示器260包括透明元件,所以电子设备10可通过调节透明元件的透光率来调节透明显示器260的透明度或每个像素的RGB值。
同时,当透明显示器260处于有机发光二极管和液晶显示器被耦接的这样的形式时,可正常地保持透明玻璃状态的电子设备10可向透明显示器260供电,使得液晶显示器阻挡光,因此使透明显示器260转变为不透明状态。
透明显示器260可以以各种形式(诸如,例如,但不限于,透明液晶显示器、透明薄膜电致发光面板、透明OLED、投影装置等)被实现。透明LCD可指例如通过从当前可用的LCD装置去除背光单元实现的透明显示器、通过使用一对偏振面板、光学膜、透明薄膜晶体管、透明电极等实现的透明显示器。尽管透明LCD装置由于偏振面板或光学膜的使用而具有较低透明度的缺点以及由于环境光而不是背光单元的使用而具有较低光学效率的缺点,但是透明LCD装置具有可实现大规模透明显示的优点。透明TFEL可指例如使用包括透明电极、无机荧光材料和绝缘膜的交流无机薄膜EL显示器(AC-TFEL)的装置。AC-TFEL是由于加速的电子通过无机荧光材料内并激发荧光材料而产生光的显示器。当透明显示器260被实现为透明TFEL时,电子设备10可通过调节电子使得电子被投射到合适的位置,确定显示图像的位置。因为无机荧光材料和绝缘膜具有透明特性,所以可实现相当透明的显示器。透明OLED可指例如使用能够自身发射光的OLED的透明显示器。因为有机发光层是透明的,所以当两个电极被实现为透明电极时,透明显示设备可被实现。当电子和空穴从有机发光层的两侧被注入并在有机发光层内被结合时,OLED发射光。透明OLED设备可使用上述原理在期望的位置上显示图像。
同时,尽管未示出,但是车辆200还可包括存储用于控制车辆200的各种程序和数据的存储器(未示出)。根据实施例,存储器(未示出)的至少一部分可被单独地设置在车辆200中或者可被包括在车辆200的ECU 245或ADAS 210中。可选地,存储器可被包括作为车辆200的组件中的与电子设备10电连接的一个组件。
例如,存储器(未示出)可包括嵌入式存储器或可移动存储器。嵌入式存储器可包括例如但不限于易失性存储器(例如,动态RAM(DRAM)、静态RAM(SRAM)、同步动态RAM(SDRAM))、非易失性存储器(例如,一次性可编程ROM(OTPROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、掩模ROM、闪速ROM、闪存(例如,NAND闪存或NOR闪存)、硬盘驱动器或固态驱动器(SSD))等中的至少一个。
可移动存储器还可包括例如但不限于闪存驱动器(诸如,紧凑型闪存(CF))、安全数字(SD)、微型SD(微型安全数字)、迷你SD、xD(极限数字)、多媒体卡(MMC)或记忆棒等。
存储在存储器中的程序可被实现为软件、固件、硬件、或以上项中的至少两项的任意组合。
例如,可由车辆200的电子设备10实现(例如,执行)程序的至少一部分。
例如,而不是限制,程序可包括用于执行以下操作的指令:在多个外部车辆中确定至少一个外部车辆,将由确定的外部车辆拍摄的外部图像的至少一部分与拍摄有确定的外部车辆的外部车辆图像的至少一部分合成以产生与被外部车辆阻挡的视线相应的视线确保图像,并且将产生的视线确保图像提供给显示器。
根据各种实施例,车辆200可包括通信器240、相机235、电子设备10和透明显示器260,其中,通信器240用于与外部车辆执行通信,相机235用于拍摄外部车辆图像,电子设备10用于在多个外部车辆中确定至少一个外部车辆,通过通信器240获取由确定的外部车辆拍摄的外部图像,通过相机235获取拍摄有外部车辆的外部车辆图像,并且通过将外部图像的至少一部分与外部车辆图像的至少一部分合成来产生视线确保图像的,透明显示器160用于显示产生的视线确保图像。
图2B是示出根据实施例的用于将视线确保图像提供给车辆200的电子设备10的示例配置的框图。
参照图2B,电子设备10可包括处理电路(例如,处理器)(未示出)。电子设备的处理器可被配置为提供例如但不限于车辆确定器(例如,包括处理电路和/或程序元件)11、图像获取器(例如,包括处理电路和/或程序元件)12、图像合成器(例如,包括处理电路和/或程序元件)13、以及图像提供器(例如,包括处理电路和/或程序元件)14的操作。
车辆确定器11可包括被配置为在多个外部车辆中确定至少一个外部车辆的处理电路和/或程序元件。例如,车辆确定器可基于以下项中的至少一项来确定外部车辆:多个外部车辆中的每一个外部车辆的驾驶信息、利用距离传感器测量出的多个外部车辆中的每一个外部车辆的距离信息、以及多个外部车辆中的每一个外部车辆的标识信息。
图像获取器12可包括被配置为获取由确定的外部车辆拍摄的外部图像的处理电路和/或程序元件。例如,图像获取器12可通过图2A的通信器240获取外部图像。例如,图像获取器120可通过图2A的通信器240从外部车辆或位于外部的服务器获取外部图像。
此外,图像获取器12可获取拍摄有确定的外部车辆的外部车辆图像。例如,图像获取器12可通过图2A的相机235获取外部车辆图像。
图像合成器13可包括被配置为将外部图像的至少一部分与外部车辆图像的至少一部分合成以产生与被外部车辆阻挡的视线相应的视线确保图像的处理电路和/或程序单元。
例如,图像合成器13可基于包括在外部车辆图像和外部图像两者中的共有环境信息使外部车辆图像的至少一部分与外部图像的至少一部分重叠来产生视线确保图像。
图像提供器14可包括被配置为将产生的视线确保图像提供给显示器的处理电路和/或程序元件。例如,图像提供器14可将视线确保图像提供给图2A的车辆200的显示器260,以根据AR方法显示视线确保图像。
根据各种示例实施例,为了获取外部图像,电子设备10还可包括图像请求器(未示出),其中,图像请求器用于将与被外部车辆阻挡的视线相应的范围的范围信息提供给外部车辆或者提供给位于外部的服务器。
根据各种实施例,电子设备10还可包括请求信号接收器(未示出),其中,请求信号接收器包括被配置为请求视线确保图像的处理电路和/或程序元件。在这种情况下,用于请求视线确保图像的信号可以是当显示器的被外部车辆阻挡的区域等于或大于显示器的整个区域的特定比率时产生的信号,或者可以是当意在显示视线确保图像的用户输入被接收到时产生的信号。
根据各种实施例,图像获取器12可从外部装置获取与被阻挡的视线相应的先前拍摄的附加图像。在这种情况下,图像合成器13可通过将外部图像的至少一部分、附加图像的至少一部分和外部车辆图像的至少一部分合成来产生视线确保图像。
根据各种实施例,当外部车辆是第一外部车辆并且当由第一外部车辆拍摄的外部图像是第一外部图像时,图像获取器12可获取由位于第一外部车辆前方的第二外部车辆拍摄的第二外部图像。此外,图像合成器13可通过将第一外部图像的至少一部分、第二外部图像的至少一部分和第一外部车辆图像的至少一部分合成来产生视线确保图像。
图3是示出根据另一示例实施例的提供视线确保图像的示例电子设备的示图。
在图3中,交通情况300可以是第一外部车辆2和第二外部车辆3正在用户的车辆1的前方行驶、停止或停车的情况。
在这种情况下,车辆1、2和3可使用包括在车辆1、2和3中的相机拍摄外部图像。
安装在用户的车辆1上的电子设备10的车辆确定器11可确定至少一个第一外部车辆2以获取外部图像。
当确定了外部车辆2时,电子设备10的图像获取器12可从第一外部车辆2获取外部图像。此外,图像获取器12可使用用户的车辆1的相机获取拍摄有第一外部车辆2的外部图像。
在这种情况下,图像获取器12除了可获取在位于用户的车辆1正前方的第一外部车辆2处拍摄的第一外部图像之外还可获取在位于第一外部车辆2前方的第二外部车辆3处拍摄的第二外部图像。在这种情况下,用户的车辆1、第一外部车辆2和第二外部车辆3可在同一交通车道中行驶。
例如,如图3的301所示,第一外部车辆2可首先获取在第二外部车辆3处拍摄的外部图像。在这种情况下,当电子设备10请求外部图像时,第一外部车辆2除了可发送在第一外部车辆2处拍摄的外部图像之外还可发送在第二外部车辆3处拍摄的外部图像。
作为另一示例,如图3的302所示,电子设备10可向多个外部车辆2、3中的每一个请求外部图像。在这种情况下,电子设备10可从第一外部车辆2获取第一外部图像,并且从第二外部车辆3获取第二外部图像。
电子设备10的图像合成器13可通过将第一外部图像的至少一部分、第二外部图像的至少一部分和第一外部车辆图像的至少一部分合成来产生视线确保图像。在这种情况下,因为用户的车辆1、第一外部车辆2和第二外部车辆3正在在同一交通车道中如同它们正在拼接一样一起行驶,所以图像合成器13能够容易地顺序地将上述图像重叠并合成。
当视线确保图像被产生时,电子设备10的图像提供器14可将视线确保图像提供给安装在车辆上的显示器。
例如,如图3所示,可根据AR方法在用户的车辆1的透明显示器15上显示视线确保图像310。在这种情况下,视线确保图像310除了可包括第一外部图像的至少一部分311之外还可包括第二外部图像的至少一部分312。因此,由于可确保车辆1的用户的视线到达远距离(例如,大于阈值距离(诸如,例如,大于紧接在第一车辆1前方的车辆2的距离)),因此用户可更安全地驾驶。
同时,当产生视线确保图像时,图像合成器13可通过外部通信装置或周围基础设施获取附加图像,并且通过将获取的附加图像的至少一部分、第一外部图像的至少一部分、第二外部图像的至少一部分以及拍摄有第一外部车辆的图像的至少一部分合成来获取视线确保图像。
图4是示出根据另一示例实施例的电子设备提供视线确保图像的示例过程的示图。
安装在车辆1上的电子设备10可确定至少一个外部车辆2以使用由外部车辆拍摄的外部图像,并且获取通过外部车辆2拍摄的外部图像。此外,车辆1可使用安装在车辆1上的相机拍摄外部车辆2并且获取包括外部车辆2的外部车辆图像。
根据实施例,电子设备10可使用外部图像和外部车辆图像将视线确保图像提供给车辆1,并且车辆1可根据AR方法在透明显示器15'上显示图像。
在这种情况下,电子设备10可将在车辆1处拍摄的外部车辆图像或视线确保图像发送回位于车辆1前方的外部车辆2。
接收其自身图像或视线确保图像的外部车辆2可在前方的透明显示器15”的一部分上显示接收到的车辆图像或视线确保图像。例如,外部车辆2可在透明显示器15”的一侧的区域26上显示外部车辆图像或视线确保图像。
因此,因为外部车辆2的用户可确认由他自己或她自己驾驶的车辆2的后方情形,所以他或她可确认驾驶习惯、驾驶状态等。
图5A和5B是示出根据另一示例实施例的电子设备提供视线确保图像的示例过程的示图。
参照图5A和图5B,当用于请求视线确保图像的条件被满足时,电子设备10可自动产生根据实施例的视线确保图像并将根据实施例的视线确保图像提供给显示器。
例如,如图5A所示,可通过位于车辆前方的透明显示器15向用户提供前方环境。在这种情况下,随着用户的车辆与位于车辆前方的外部车辆之间的距离变得越近,透明显示器15的整个区域的一部分可被外部车辆阻挡。
当被外部车辆阻挡的区域与整个区域的比率等于或大于特定比率(例如,1/3至1/2或更大)时,电子设备10可自动产生用于请求视线确保图像的触发信号。
当产生了触发信号时,电子设备10可将遮挡(阻挡)视线的外部车辆确定为用于获取外部图像的车辆。
电子设备10可获取由确定的外部车辆拍摄的外部图像和拍摄有外部车辆的外部车辆图像。
此外,电子设备10可通过将获取的由外部车辆拍摄的外部图像的至少一部分与外部车辆图像的至少一部分合成来产生与被外部车辆阻挡的视线相应的视线确保图像。
电子设备10可将产生的视线确保图像提供给显示器。
因此,如图5B所示,可根据AR方法在透明显示器15上显示视线确保图像510。换句话说,当被外部车辆阻挡的区域与透明显示器15的整个区域的比率等于或大于特定比率时,电子设备10可自动产生视线确保图像并且在透明显示器15上显示图像。
图6A、图6B、图6C和图6D是示出根据另一示例实施例的电子设备的提供用于确保视线的图像的示例过程的示图。
参照图6A、图6B、图6C和图6D,当接收到用于请求视线确保图像的用户输入时,电子设备可产生视线确保图像并将结果提供给显示器。
具体地,如图6A所示,可通过位于车辆前方的透明显示器15向用户提供前方环境。在这种情况下,电子设备10可接收用于请求视线确保图像的用户输入。响应于用户输入,电子设备10可产生用于请求视线确保图像的信号。
例如,车辆可感测用户在向外方向上挥动他或她的手的手势601,其中,该手势601示出显示视线确保图像或去除前方的第一外部车辆的意图。
电子设备10可响应于感测到的用户的手势601产生用于请求第一视线确保图像的触发信号。
当产生了触发信号时,电子装置10可通过将由第一外部车辆拍摄的外部图像的至少一部分与第一外部车辆图像的至少一部分合成来产生与被第一外部车辆阻挡的视线相应的第一视线确保图像。
电子设备10可将所产生的第一视线确保图像提供给显示器。因此,如图6B所示,可根据AR方法在透明显示器15上显示视线确保图像610。同时,当另一第二外部车辆存在于第一外部车辆的前方时,当第二外部车辆被包括在视线确保图像的一部分中时,会难以确保用户的完整视线。
在这种情况下,车辆可再一次感测用户在向外方向上挥动他或她的手的手势602,其中,该手势602示出去除前方的第二外部车辆的意图。
电子设备10可响应于感测到的用户的手势602产生用于请求第二视线确保图像的触发信号。
当产生了触发信号时,电子设备10可获取由第二外部车辆拍摄的第二外部图像。此外,电子设备10可通过将第一视线确保图像的至少一部分与获取的第二外部图像的至少一部分合成来产生与被第二外部车辆阻挡的视线相应的第二视线确保图像。
电子设备10可将产生的第二视线确保图像提供给显示器。因此,如图6C所示,可根据AR方法在透明显示器15上显示第二视线确保图像620。
因此,由于根据用户的手势顺序地显示与被第一外部车辆阻挡的视线相应的第一视线确保图像610和与被第二外部车辆阻挡的视线相应的第二视线确保图像620,因此可提供针对用户的偏好优化的视线确保图像。
同时,在确保视线之后,用户可能想要去除正在被显示的第二视线确保图像620,并且请求透过先前的透明显示器观看前方环境。
因此,车辆可感测用户在向内方向上挥动他或她的手的手势603,其中,该手势603示出去除前方的第二视线确保图像620的意图。
根据感测到的用户的手势603,电子设备10可去除显示在透明显示器15上的第二视线确保图像620。因此,如图6D所示,前方屏幕可如第一过程所示被设置回透明显示器15上。
根据另一实施例,响应于感测到的用户的手势603,电子设备10可去除显示在显示器上的第二视线确保图像620,并将第一视线确保图像610设置回透明显示器上。
根据各种实施例,为了在显示器上显示或去除视线确保图像,用户除了可执行手势之外还可执行各种用户输入。例如,根据实施例,当用户说出“确保视线”时,电子设备10可响应于识别的用户语音在显示器上显示产生的视线确保图像。
作为另一示例,当用户选择或操纵与设置在车辆的转向装置或仪表板上的视线确保图像显示功能相应的用户界面(例如,按钮、触摸UI等)时,电子设备10可响应于用户的选择在显示器上显示根据实施例的产生的视线确保图像。
根据各种实施例,作为与视线确保图像相关联的手势,用户可执行指向远方向(例如,伸出肘部并指向远方向或上方向)的手势或指向附近方向(例如,弯曲肘部并指向近方向或下方向)的手势。
在这种情况下,响应于指示远方向的手势,电子设备10可根据AR方法在透明显示器上显示第二视线确保图像620。此外,根据指示近方向的手势,电子设备10可根据AR方法在透明显示器上显示第一视线确保图像610。
图7是示出根据示例实施例的利用外部车辆拍摄的外部图像的示例的示图。
使用安装在外部车辆2上的相机拍摄的外部图像可被存储在外部车辆2或位于外部的服务器中。
当安装在车辆1上的电子设备10请求外部图像以产生视线确保图像时,外部车辆2或外部服务器可将通过由电子设备10确定的外部车辆2拍摄的外部图像发送到电子设备10。
在这种情况下,如图7所示,发送外部图像的外部车辆2或外部服务器可发送通过外部车辆2拍摄的全部图像。
可选地,如图7所示,外部车辆2或外部服务器可向位于后面的车辆1的用户选择性地且仅发送与被阻挡的视线相应的图像,这是产生视线确保图像所必需的。在这种情况下,电子设备10可向乘坐位于外部车辆2后面的车辆的用户或外部服务器发送与被阻挡的视线相应的范围的范围信息。响应于发送的范围信息,外部车辆2或外部服务器可向乘坐位于后面的车辆1的用户仅发送与被阻挡的视线相应的图像。
如图7所示,当仅与被阻挡的视线相应的图像被发送时,由外部车辆2或外部服务器发送的数据的量可被大大减小,并且外部车辆2与电子设备10之间的传输效率可提高。
图8是示出根据另一示例实施例的提供视线确保图像的示例过程的示图。
在如图8所示的交通状况800下,位于用户的车辆1前方的外部车辆2可感测紧急情况801。紧急情况801可以是例如当前方发生紧急情况(诸如,汽车事故、道路阻塞、行人出现等)时外部车辆2突然停止或减速的情况。
当感测到紧急情况801时,外部车辆2可立即将通过外部车辆2的相机拍摄的包括紧急情况801的外部图像广播到邻近车辆。在这种情况下,邻近车辆可包括位于后面的用户的车辆1。
安装在用户的车辆1上的电子设备10可使用接收到的外部图像根据实施例产生视线确保图像并且将视线确保图像提供给显示器。
因此,如图8所示,可根据AR方法在透明显示器15上显示包括紧急情况801的视线确保图像801。
在这种情况下,透明显示器15可额外显示指示紧急情况当前正在发生的通知信息811。
通知信息811可获取从V2X服务器获取的紧急情况的信息,并且提供紧急情况的附加通知信息。例如,通知信息可包括紧急情况发生的地点、紧急情况发生的交通车道、紧急情况发生时间、紧急情况报告、绕行道路信息等。在图8中,例如,通知信息811可包括指示“前方200米碰撞事故”的事故信息。
当紧急情况发生时,后面驾驶的车辆1通常由于位于前方的外部车辆2而难以查看紧急情况。然而,根据实施例,位于后面的车辆1可快速查看紧急情况,并且车辆1的用户可执行对紧急情况的即时响应。例如,用户可提前搜索绕行道路或改变交通车道以避开紧急情况发生的地点。
根据各种示例实施例,包括在一个车辆处拍摄的紧急情况的图像可被发送到位于后面的另一车辆,并且位于后面的另一车辆可继续地将包括紧急情况的图像发送到位于后面的又一车辆。因此,即使当前方存在多个车辆时,车辆的用户也可感测发生在远程距离处的紧急情况并且可针对紧急情况主动地采取行动。
图9是示出根据另一示例实施例的提供视线确保图像的示例过程的示图。
在图9的交通状况900中,第一车辆1和第二车辆2可在道路的拐角处正朝向彼此行驶。
在这种情况下,第一车辆1可将由自身拍摄的外部图像提供给第二车辆2,并且第二车辆2可将由自身拍摄的外部图像提供给第一车辆1。
从对方车辆接收外部图像的第一车辆1的第一电子设备10和第二车辆2的第二电子设备10可使用从对方车辆接收到的外部图像根据实施例分别产生视线确保图像。此外,第一车辆1的第一电子设备10和第二车辆2的第二电子设备10可分别将产生的视线确保图像提供给显示器。
因此,如图9所示,第一车辆1的透明显示器15’可根据AR方法显示视线确保图像910,其中,在视线确保图像910中,透明地或半透明地示出拐角区域,使得突出地示出第二车辆2。
此外,如图9所示,第二车辆2的透明显示器15”可根据AR方法显示视线确保图像920,其中,在视线确保图像920中,透明地或半透明地示出拐角区域,使得突出地示出第一车辆1。
因此,因为确认了被拐角区域(例如,建筑物、行道树等)阻挡的对方车辆,所以使第一车辆1的用户和第二车辆2的用户能够执行安全驾驶。
图10A、图10B和图10C是示出根据示例实施例的电子设备的用于确定外部车辆的示例方法的示图。
例如,如图10A所示,电子设备可使用V2X通信方法从V2X服务器获取位于安装有电子设备10的车辆1附近的外部车辆2、3、4的车辆信息。在这种情况下,位于安装有电子设备10的车辆1附近的外部车辆2、3、4可以是例如存在于与车辆1近场通信可用的范围内的外部车辆2、3、4。
如图10A的1001、1002、1003所示,每个外部车辆的车辆信息可包括车辆中的每一个车辆的驾驶信息。驾驶信息可包括例如以下项中的至少一项:车辆的位置;移动方向;车辆正在行驶的交通车道的信息;车辆操纵的状态信息;车辆的行驶或停车的信息;以及车辆的行驶速度。
V2X服务器可将具有外部车辆2、3、4的车辆信息的车辆列表1005发送到安装有电子设备10的车辆1。
电子设备10可基于包括在车辆列表中的车辆的各自的驾驶信息来确定获取外部图像的外部车辆。
例如,电子设备10可将位于相同交通车道中、具有与用户的车辆相同的前进方向并且在最近距离处的车辆确定为获取外部图像的车辆。
在这种情况下,电子设备10可确定获取外部图像的多个车辆。例如,电子设备10可将存在于与车辆的通信可用的范围中的与用户的车辆位于相同交通车道中并且具有相同的前进方向的多个车辆确定为获取外部图像的车辆。
根据另一实施例,如图10B所示,安装在车辆1上的电子设备10可基于距离传感器(例如,红外传感器、LED传感器等)确定获取外部图像的外部车辆。例如,电子设备10可使用距离传感器直接感测距位于车辆1附近的外部车辆2、3的距离。接下来,电子设备10可将车辆2、3中的具有最近感测距离的外部车辆2确定为获取外部图像的外部车辆。
根据另一实施例,如图10C所示,电子设备10可基于包括在由车辆1的相机拍摄的图像中的信息1011(例如,外部车辆的标识信息)来确定获取外部图像的车辆。
例如,安装有电子设备10的车辆1的前向相机可拍摄位于车辆1前方的外部车辆2。当从拍摄的图像获取到外部车辆的标识信息(例如,汽车牌照号牌、汽车类型等)时,电子设备10可将与标识信息1011相应的外部车辆2确定为获取图像信息的车辆。在这种情况下,电子设备10可使用图像处理技术从拍摄的图像识别牌照号牌上的数字、字符或者汽车类型。
电子设备10可向与标识信息1011相应的外部车辆2请求外部图像,并且从外部车辆2获取外部图像。电子设备10可向外部服务器请求在与标识信息1011相应的外部车辆2处拍摄的外部图像,并且从外部服务器获取外部图像。
图11A、图11B和图11C是示出根据示例实施例的安装有电子设备的车辆的用于与外部车辆通信的示例方法的示图。
在图11A、图11B和图11C中,用户的车辆1可确定获取外部图像的车辆2并且与确定的外部车辆2执行通信。
例如,如图11A所示,车辆的通过网络1101的V2V通信在用户的车辆1与外部车辆2之间可以是可用的。车辆之间的通信(例如,IEEE 802.11pWAVE)提供高移动性且具有适合于干扰(诸如,多普勒频移等)容易发生的室外环境的特征。由于车辆之间的通信是在室外环境中以高速移动的车辆的通信,因此频率选择性衰落会频繁地发生。
可选地,用户的车辆1可与外部车辆2执行近场通信。近场通信的示例可包括Wi-Fi、蓝牙、超宽带(UWB)、ZigBee、近场通信(NFC)、Wi-Fi直连(WFD)、红外数据协会(IrDA)等。
可选地,用户的车辆1可根据ad-hoc方法与外部车辆2执行通信。ad-hoc方法指示终端在没有接入点(AP(例如,无线路由器))的情况下以点对点形式交换数据。用户的车辆1可通过ad-hoc等与多个外部车辆形成一组。形成一组的车辆可彼此共享多媒体内容或从导航提供的信息。从导航提供的信息可以是关于最短移动路径、当前移动位置、地图信息等的信息。
作为另一示例,如图11B所示,用户的车辆1可通过基站1103与外部车辆2通信。例如,当在外部车辆2处拍摄的外部图像被发送到基站1103时,基站1103可将从外部车辆2接收到的外部图像发送到用户的车辆1。相反,基站1103可将用户的车辆1的外部图像请求信号发送到外部车辆2。
作为另一示例,如图11C所示,用户的车辆1中的移动终端1111和外部车辆2中的移动终端1112可通过基站1105根据移动通信网络或无线LAN(Wi-Fi)彼此执行通信。在这种情况下,在外部车辆2处拍摄的外部图像可经由外部车辆2中的移动终端1112、基站1105和用户的车辆1中的移动终端1111被发送到安装在车辆1上的电子设备10。相反,由用户的车辆1发出的外部图像请求信号可经由移动终端1111、基站1105和移动终端1112被发送到外部车辆2。
图12A、图12B、图12C和图12D是示出根据示例实施例的电子设备10的用于产生视线确保图像的示例方法的示图。
在图12A、图12B、图12C和图12D中,电子设备10的图像获取器12可利用安装有电子设备10的车辆1的通信器获取拍摄有外部车辆2的外部车辆图像1201和由外部车辆2拍摄的外部图像1203。
图像合成器13可根据图像处理技术的各种方法,通过将获取的外部车辆图像与外部图像合成来产生视线确保图像。
例如,图12A显示安装有电子设备10的车辆1拍摄外部车辆2的图像,并且图12B显示利用外部车辆2拍摄的外部图像。
在这种情况下,图像合成器13可基于包括在外部车辆图像1201和外部图像1203两者中的共有环境信息来合成两个图像。共有环境信息可以是例如包括在外部车辆图像和外部图像两者中的特征信息,并且可包括附近的建筑物1215、交通灯1211、交通车道1213和竖立在路边指示交通规则和指令的道路标志中的至少一个。可选地,图像合成器13可基于包括在外部车辆图像1201和外部图像1203中的道路弯曲信息(例如,直行道路、道路弯曲角度)或道路倾斜信息来合成两个图像。
作为合成的结果,如图12C所示,图像合成器13可通过基于共有环境信息1211、1213、1215来旋转、放大和减小两个图像中的至少一个图像并且将两个图像彼此重叠来产生包括视线确保图像1220的合成图像1205。
在这种情况下,图像合成器13可在处理具有不同透明度的两个图像时通过重叠来合成图像。例如,图像合成器13可通过处理两个图像使得外部车辆的图像比外部图像具有更高的透明度并且将图像重叠来合成图像。
图像合成器13可将全部合成图像或重叠图像的一部分作为视线确保图像提供给透明显示器15。当重叠图像的一部分被提供给显示器15时,图像合成器13可通过从重叠图像提取与被外部车辆阻挡的视线相应的区域(例如,与外部车辆相应的区域)来产生视线确保图像,并且将产生的视线确保图像提供给透明显示器15。
因此,如图12D所示,车辆1的透明显示器15可根据AR方法显示视线确保图像1220。
图13A、图13B和图13C是示出根据各种示例实施例的显示视线确保图像的示例显示器的示图。
当视线确保图像从图像提供器14被提供时,电子设备10的显示器可显示提供的视线确保图像。
例如,如图13A所示,显示器可以是位于车辆前方的整个透明显示器15。在这种情况下,可根据AR方法在整个透明显示器15(或透明显示器15的一部分)上显示视线确保图像。
可突出显示被显示在透明显示器15上的视线确保图像。例如,视线确保图像可被显示为在特定时间内闪烁,或者被显示为具有不同的透明度、亮度或颜色。在这种情况下,透明度、亮度或颜色可根据车辆的内部或外部照度而变化。
根据各种实施例,根据AR方法显示的外部车辆可仅以轮廓被显示,或者可以以特定周期闪烁。
作为另一示例,如图13A所示,可在车辆的平视显示器16上显示视线确保图像。
作为另一示例,如图13B所示,可在用户佩戴的可穿戴装置的显示器17上显示视线确保图像。
作为另一示例,如图13B所示,可在位于用户的车辆的仪表板上的显示器18上显示视线确保图像。
作为另一示例,如图13C所示,可根据投影仪显示方法将视线确保图像作为投影仪图像18投影在位于前方的透明显示器上。
作为另一示例,如图13C所示,可根据3D对象显示方法将视线确保图像作为三维(3D)图像19显示在空间中。
图14是示出根据示例实施例的电子设备10提供视线确保图像的示例方法的流程图。
在1401,电子设备10可在多个外部车辆中确定至少一个外部车辆。例如,电子设备10可基于以下项中的至少一项来确定至少一个外部车辆以获取外部图像:多个外部车辆中的每一个外部车辆的驾驶信息;利用距离传感器测量出的多个外部车辆中的每一个外部车辆的距离信息;以及多个外部车辆中的每一个外部车辆的标识信息。
同时,当接收到用于请求视线确保图像的信号时,电子设备10可确定至少一个外部车辆。在这种情况下,用于请求视线确保图像的信号可以是当显示器的被外部车辆阻挡的区域等于或大于显示器的整个区域的特定比率时产生的信号,或者可以是当意在显示视线确保图像的用户输入被接收到时产生的信号。
在1403,电子设备10可获取由确定的外部车辆拍摄的外部图像。例如,电子设备10可从外部车辆或位于外部的服务器获取由外部车辆拍摄的外部图像。
同时,为了获取外部图像,电子设备10可将与被外部车辆阻挡的视线相应的范围的范围信息提供给外部车辆或位于外部的服务器。
此外,在1405,电子设备10可获取拍摄有确定的外部车辆的外部车辆图像。在这种情况下,可在1403的操作之前执行在1405的操作。
在1407,电子设备10可将由外部车辆拍摄的外部图像的至少一部分与外部车辆图像的至少一部分合成,以产生与被外部车辆阻挡(遮挡)的视线相应的视线确保图像。
例如,电子设备10可通过基于包括在外部车辆图像和外部图像两者中的共有环境信息使外部车辆图像的至少一部分与外部图像的至少一部分重叠,产生视线确保图像。
作为另一示例,电子设备10可从外部车辆获取先前拍摄的与被阻挡的视线相应的附加图像。此外,电子设备10可通过将外部图像的至少一部分、附加图像的至少一部分和外部车辆图像的至少一部分合成来产生视线确保图像。
作为另一示例,当外部车辆是第一外部车辆并且由第一外部车辆拍摄的外部图像是第一外部图像时,电子设备10可获取由位于第一外部车辆前方的第二外部车辆拍摄的第二外部图像。电子设备10可从第一外部车辆或第二外部车辆获取第二外部图像。此外,电子设备10可通过将第一外部图像的至少一部分、第二外部图像的至少一部分和第一外部车辆图像的至少一部分合成来产生视线确保图像。
在1409,电子设备10可将产生的视线确保图像提供给显示器。例如,电子设备10可将视线确保图像提供给位于车辆前方的透明显示器,使得视线确保图像根据AR方法被显示。
根据示例实施例的方法可被实现为可通过各种计算机工具(例如,处理器)执行的程序指令,并且可被记录在计算机可读记录介质上。计算机可读记录介质可包括程序指令、数据文件、数据结构等的一者或组合。记录在介质上的程序指令可被专门设计并配置用于本公开的实施例,或者可以是对于计算机软件领域中的技术人员已知的且可用的。计算机可读记录介质的示例可包括磁介质(诸如,硬盘、软盘和磁带)、光学介质(诸如,CD-ROM和DVD)、磁光介质(诸如,软光盘)以及被专门配置为存储并执行程序指令的硬件装置(诸如,ROM、RAM、闪存等)。程序指令的示例不仅包括机器语言代码(诸如,由编译器产生的那些机器语言代码),而且包括可由计算机使用解释器执行的高级语言代码等。
已经参照本公开的各种示例实施例详细描述了本公开。然而,应理解,详细的描述和各种示例尽管指示本公开的示例实施例,但是仅以说明的方式被给出,这是因为从该详细描述中本公开的范围内的各种改变和修改对于本领域的技术人员将变得显而易见。

Claims (14)

1.一种用于将视线确保图像提供给车辆的方法,包括:
从多个外部车辆中确定至少一个外部车辆;
获取在确定的外部车辆处拍摄的外部图像;
获取确定的外部车辆的外部车辆图像;
通过将获取的所述外部图像的至少一部分与获取的所述外部车辆图像的至少一部分合成,产生与被外部车辆阻挡的视野相应的视线确保图像;
将产生的视线确保图像提供给显示器,
其中,产生视线确保图像的步骤还包括:
从外部装置获得捕获所述车辆的周围区域的附加图像,其中,所述附加图像是在所述外部图像被产生的时间之前的时间产生的;
通过将所述外部图像的至少一部分、所述附加图像的至少一部分和所述外部车辆图像的至少一部分重叠,产生视线确保图像。
2.如权利要求1所述的方法,其中,获取在外部车辆处拍摄的外部图像的步骤包括:从外部车辆或位于外部的服务器获取所述外部图像。
3.如权利要求1所述的方法,其中,将产生的视线确保图像提供给显示器的步骤包括:将产生的视线确保图像提供给透明显示器,其中,透明显示器位于车辆前方且被配置为根据增强现实方法显示产生的视线确保图像。
4.如权利要求1所述的方法,其中,确定至少一个外部车辆的步骤包括:基于以下项中的至少一项来确定所述至少一个外部车辆:所述多个外部车辆中的每一个外部车辆的驾驶信息;所述多个外部车辆中的每一个外部车辆的距离信息;以及所述多个外部车辆中的每一个外部车辆的标识信息。
5.如权利要求1所述的方法,还包括:将与被外部车辆阻挡的视野相应的范围的范围信息提供给外部车辆或者提供给位于外部的服务器,以获取所述外部图像。
6.如权利要求1所述的方法,其中,产生视线确保图像的步骤包括:通过基于包括在所述外部车辆图像和所述外部图像两者中的共有环境信息使所述外部车辆图像的至少一部分与所述外部图像的至少一部分重叠,产生视线确保图像。
7.如权利要求1所述的方法,还包括:接收用于请求视线确保图像的信号,其中,用于请求视线确保图像的信号是当显示器的被外部车辆阻挡的区域等于或大于显示器的整个区域的特定比率时产生的信号、和/或当意在显示视线确保图像的输入被接收到时产生的信号。
8.如权利要求1所述的方法,其中,当确定的外部车辆是第一外部车辆并且在第一外部车辆处拍摄的外部图像是第一外部图像时,所述方法还包括:获取在位于第一外部车辆前方的第二外部车辆处拍摄的第二外部图像,
其中,产生视线确保图像的步骤包括:通过将第一外部图像的至少一部分、第二外部图像的至少一部分和所述外部车辆图像的至少一部分合成,产生视线确保图像。
9.如权利要求8所述的方法,其中,获取第二外部图像的步骤包括:从第一外部车辆或第二外部车辆获取第二外部图像。
10.一种电子设备,被配置为将视线确保图像提供给车辆,包括:
处理器,被配置为:
从多个外部车辆中确定至少一个外部车辆;
获取在确定的外部车辆处拍摄的外部图像以及确定的外部车辆的外部车辆图像;
通过将获取的所述外部图像的至少一部分与获取的所述外部车辆图像的至少一部分合成,产生与被外部车辆阻挡的视野相应的视线确保图像;
将产生的视线确保图像提供给显示器,
其中,处理器还被配置为:
从外部装置获得捕获所述车辆的周围区域的附加图像,其中,所述附加图像是在所述外部图像被产生的时间之前的时间产生的;
通过将所述外部图像的至少一部分、所述附加图像的至少一部分和所述外部车辆图像的至少一部分重叠,产生视线确保图像。
11.如权利要求10所述的电子设备,其中,处理器被配置为从外部车辆或位于外部的服务器获取在外部车辆处拍摄的所述外部图像。
12.如权利要求10所述的电子设备,其中,处理器被配置为将产生的视线确保图像提供给位于车辆前方的透明显示器,其中,透明显示器被配置为根据增强现实方法显示产生的视线确保图像。
13.如权利要求10所述的电子设备,其中,处理器被配置为基于以下项中的至少一项来确定所述至少一个外部车辆:所述多个外部车辆中的每一个外部车辆的驾驶信息;所述多个外部车辆中的每一个外部车辆的距离信息;以及所述多个外部车辆中的每一个外部车辆的标识信息。
14.一种车辆,包括:
通信器,包括被配置为与外部车辆执行通信的通信电路;
相机,被配置为拍摄外部车辆;
电子设备,包括处理电路,其中,处理电路被配置为从多个外部车辆中确定至少一个外部车辆,通过通信器获取在确定的外部车辆处拍摄的外部图像,通过相机获取拍摄有确定的外部车辆的外部车辆图像,并且通过将所述外部图像的至少一部分与所述外部车辆图像的至少一部分合成来产生视线确保图像;
透明显示器,被配置为显示产生的视线确保图像,
其中,处理电路还被配置为:
从外部装置获得捕获所述车辆的周围区域的附加图像,其中,所述附加图像是在所述外部图像被产生的时间之前的时间产生的;
通过将所述外部图像的至少一部分、所述附加图像的至少一部分和所述外部车辆图像的至少一部分重叠,产生视线确保图像。
CN201780062119.3A 2016-10-11 2017-09-28 用于将视线确保图像提供给车辆的方法、电子设备和车辆 Active CN109803867B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020160131320A KR102366723B1 (ko) 2016-10-11 2016-10-11 운송 수단으로 시야 확보 영상을 제공하는 방법, 이를 위한 전자 장치 및 컴퓨터 판독 가능한 기록 매체
KR10-2016-0131320 2016-10-11
PCT/KR2017/010891 WO2018070717A1 (en) 2016-10-11 2017-09-28 Method for providing a sight securing image to vehicle, electronic apparatus and computer readable recording medium therefor

Publications (2)

Publication Number Publication Date
CN109803867A CN109803867A (zh) 2019-05-24
CN109803867B true CN109803867B (zh) 2022-07-05

Family

ID=61830050

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780062119.3A Active CN109803867B (zh) 2016-10-11 2017-09-28 用于将视线确保图像提供给车辆的方法、电子设备和车辆

Country Status (5)

Country Link
US (1) US10726276B2 (zh)
EP (1) EP3504094A4 (zh)
KR (1) KR102366723B1 (zh)
CN (1) CN109803867B (zh)
WO (1) WO2018070717A1 (zh)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11520460B1 (en) * 2017-02-06 2022-12-06 United Services Automobile Association (Usaa) System on board an on-road vehicle for identifying, tagging and reporting hazardous drivers in the vicinity of a host vehicle
KR102367053B1 (ko) * 2017-07-13 2022-02-24 삼성전자주식회사 외부 전자 장치와 통신을 수행하기 위한 전자 장치
US20190096244A1 (en) * 2017-09-25 2019-03-28 Intel Corporation Vehicle-to-many-vehicle communication
US11488476B2 (en) * 2018-01-09 2022-11-01 Motional Ad Llc Detection system and method
US10882521B2 (en) * 2018-02-21 2021-01-05 Blackberry Limited Method and system for use of sensors in parked vehicles for traffic safety
CN112055963A (zh) * 2018-05-08 2020-12-08 索尼半导体解决方案公司 图像处理装置、移动装置、方法和程序
JP7102275B2 (ja) * 2018-07-30 2022-07-19 本田技研工業株式会社 表示制御装置及びプログラム
KR102628276B1 (ko) * 2018-08-24 2024-01-24 현대자동차주식회사 차량 및 차량의 클러스터 제어방법
US10607416B2 (en) 2018-08-30 2020-03-31 Valeo Comfort And Driving Assistance Conditional availability of vehicular mixed-reality
US20200086789A1 (en) * 2018-09-13 2020-03-19 Valeo Comfort And Driving Assistance Mixed reality left turn assistance to promote traffic efficiency and enhanced safety
KR102637119B1 (ko) 2018-10-25 2024-02-15 삼성전자주식회사 냉장고 안의 객체에 관한 정보를 제공하는 방법 및 시스템
DE102018128633A1 (de) * 2018-11-15 2020-05-20 Valeo Schalter Und Sensoren Gmbh Verfahren zum Bereitstellen einer visuellen Information über zumindest einen Teil einer Umgebung, Computerprogrammprodukt, mobiles Kommunikationsgerät und Kommunikationssystem
DE102018128634A1 (de) * 2018-11-15 2020-05-20 Valeo Schalter Und Sensoren Gmbh Verfahren zum Bereitstellen einer visuellen Information über zumindest einen Teil einer Umgebung, Computerprogrammprodukt, mobiles Kommunikationsgerät und Kommunikationssystem
DE102018128636A1 (de) * 2018-11-15 2020-05-20 Valeo Schalter Und Sensoren Gmbh Verfahren zum Bereitstellen einer visuellen Information über zumindest einen Teil einer Umgebung, Computerprogrammprodukt, mobiles Kommunikationsgerät und Kommunikationssystem
US10836313B2 (en) * 2018-11-28 2020-11-17 Valeo Comfort And Driving Assistance Mixed reality view for enhancing pedestrian safety
JP7147527B2 (ja) * 2018-12-10 2022-10-05 トヨタ自動車株式会社 支援装置、支援方法およびプログラム
IL270540A (en) 2018-12-26 2020-06-30 Yandex Taxi Llc Method and system for training a machine learning algorithm to recognize objects from a distance
US11257363B2 (en) * 2019-01-31 2022-02-22 Toyota Jidosha Kabushiki Kaisha XR-based slot reservation system for connected vehicles traveling through intersections
GB2582323B (en) 2019-03-19 2022-02-09 Jaguar Land Rover Ltd Image processing system and method
US11007938B1 (en) * 2019-06-18 2021-05-18 Angelo Fernandes Vehicular safety video system
KR102087046B1 (ko) * 2019-06-28 2020-03-10 웨이즈원 주식회사 자율 주행 차량에서 ldm을 이용하여 차선 기반으로 사각 지대에 대한 정보를 제공하는 방법 및 장치
US11210946B2 (en) * 2019-07-15 2021-12-28 Verizon Patent And Licensing Inc. Content sharing between vehicles based on a peer-to-peer connection
US11100801B2 (en) * 2019-08-12 2021-08-24 Toyota Motor North America, Inc. Utilizing sensors to detect hazard from other vehicle while driving
CN110544388A (zh) * 2019-09-12 2019-12-06 东软睿驰汽车技术(沈阳)有限公司 一种显示交通信号灯的方法和装置
US11034298B2 (en) * 2019-11-18 2021-06-15 Continental Automotive Systems, Inc. Vehicle surround view system for identifying unobservable regions while reversing a trailer
KR20210082028A (ko) 2019-12-24 2021-07-02 김규천 안전 주행을 위한 시야 확보 영상을 제공하는 차량용 프로젝션 시스템
JP2021103481A (ja) * 2019-12-25 2021-07-15 パナソニックIpマネジメント株式会社 運転支援装置、運転支援方法及びプログラム
KR20210087591A (ko) 2020-01-02 2021-07-13 김규천 안전 주행을 위한 시야 확보 영상을 제공하는 스마트 버스 및 이를 위한 전자 장치
WO2021172620A1 (ko) * 2020-02-27 2021-09-02 엘지전자 주식회사 디스플레이 장치 및 그것을 포함하는 차량
CN115176457A (zh) * 2020-02-28 2022-10-11 索尼集团公司 图像处理设备、图像处理方法、程序和图像呈现系统
JP7495178B2 (ja) * 2020-04-14 2024-06-04 株式会社Subaru 車両の走行支援装置
KR20210130302A (ko) * 2020-04-21 2021-11-01 주식회사 만도모빌리티솔루션즈 운전자 보조 시스템
CN111703371B (zh) * 2020-06-16 2023-04-07 阿波罗智联(北京)科技有限公司 交通信息的显示方法、装置、电子设备和存储介质
US11823458B2 (en) 2020-06-18 2023-11-21 Embedtek, LLC Object detection and tracking system
US11995990B2 (en) 2020-10-13 2024-05-28 Toyota Motor Engineering & Manufacturing North America, Inc. Methods and systems for managing connected vehicles in mixed traffic
JP7400688B2 (ja) * 2020-10-19 2023-12-19 トヨタ自動車株式会社 表示装置及び表示方法
DE102021212088B4 (de) * 2020-11-06 2022-12-15 Robert Bosch Gesellschaft mit beschränkter Haftung Rückfahrkamerasystem für ein anhängerkupplungssystem und verfahren zum erzeugen einer darstellung in heckrichtung eines fahrzeuges
DE102021212050A1 (de) * 2020-11-06 2022-05-12 Robert Bosch Gesellschaft mit beschränkter Haftung Kamerasystem für ein Anhängerkupplungssystem
CN114520871B (zh) * 2020-11-20 2023-09-01 华为技术有限公司 图像处理方法及其设备
KR20220083002A (ko) * 2020-12-10 2022-06-20 현대자동차주식회사 차량
US11700357B2 (en) * 2021-02-03 2023-07-11 Toyota Motor Engineering & Manufacturing North America, Inc. Connected camera system for vehicles
KR102494756B1 (ko) * 2021-02-19 2023-01-31 하나 마이크로일렉트로닉스 퍼블릭 씨오.,엘티디. 블랙박스 영상 전송 및 수신 방법과 블랙박스 영상 전송 및 수신 장치
US20230095194A1 (en) * 2021-09-30 2023-03-30 AyDeeKay LLC dba Indie Semiconductor Dynamic and Selective Pairing Between Proximate Vehicles
US11663939B1 (en) * 2022-03-23 2023-05-30 GM Global Technology Operations LLC Augmented reality head-up display for generating a contextual graphic signifying a visually occluded object
DE102022107250A1 (de) * 2022-03-28 2023-09-28 Valeo Schalter Und Sensoren Gmbh Umgebungserfassung und teleoperiertes Führen eines Ego-Fahrzeugs
DE102022116811A1 (de) * 2022-07-06 2024-01-11 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung, mobilgerät und verfahren zur erstellung und anzeige eines bild-in-bilds
DE102023002284B3 (de) 2023-06-05 2024-08-22 Mercedes-Benz Group AG Visualisierte Informationen über verdeckte vorausfahrende Verkehrsteilnehmer

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090231431A1 (en) * 2008-03-17 2009-09-17 International Business Machines Corporation Displayed view modification in a vehicle-to-vehicle network
US20100217666A1 (en) * 2007-04-10 2010-08-26 Pedro Almenar Belenguer Method and system of detection of viewing of objects inserted in web pages
US20100253593A1 (en) * 2009-04-02 2010-10-07 Gm Global Technology Operations, Inc. Enhanced vision system full-windshield hud
US20140019005A1 (en) * 2012-07-10 2014-01-16 Samsung Electronics Co., Ltd. Transparent display apparatus for displaying information of danger element, and method thereof
EP2703873A2 (en) * 2012-08-31 2014-03-05 Samsung Electronics Co., Ltd Information providing method and information providing vehicle therefor
CN103707811A (zh) * 2012-09-28 2014-04-09 富士重工业株式会社 视线引导系统
CN105711597A (zh) * 2016-02-25 2016-06-29 江苏大学 前方局部行驶环境感知系统及方法
CN105730341A (zh) * 2016-03-11 2016-07-06 广东钛马车联网信息科技有限公司 一种前车视野查看装置、系统及方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001283381A (ja) 2000-03-30 2001-10-12 Toshiba Corp 車車間通信システム
JP4103518B2 (ja) 2002-09-20 2008-06-18 株式会社エクォス・リサーチ 車載画像表示装置
US7778770B2 (en) 2005-03-31 2010-08-17 Honda Motor Co., Ltd. Communication system between vehicles
JP2007142624A (ja) * 2005-11-16 2007-06-07 Matsushita Electric Ind Co Ltd 車両搭載撮像装置
ATE536297T1 (de) 2006-10-13 2011-12-15 Continental Teves Ag & Co Ohg Fahrzeug und verfahren zur bestimmung von in der fahrzeugumgebung befindlichen fahrzeugen
JP5262976B2 (ja) 2009-05-14 2013-08-14 株式会社デンソー 車載表示装置
US8941510B2 (en) 2010-11-24 2015-01-27 Bcs Business Consulting Services Pte Ltd Hazard warning system for vehicles
KR20120071203A (ko) 2010-12-22 2012-07-02 한국전자통신연구원 운전자의 시야 확보 장치 및, 운전자의 시야 확보 방법
WO2012131871A1 (ja) 2011-03-28 2012-10-04 パイオニア株式会社 情報表示装置、制御方法、プログラム、及び記憶媒体
US20130083061A1 (en) * 2011-09-30 2013-04-04 GM Global Technology Operations LLC Front- and rear- seat augmented reality vehicle game system to entertain & educate passengers
KR20130071842A (ko) 2011-12-21 2013-07-01 에스엘 주식회사 차량의 주변 정보 제공 장치 및 방법
US8793046B2 (en) 2012-06-01 2014-07-29 Google Inc. Inferring state of traffic signal and other aspects of a vehicle's environment based on surrogate data
US9180882B1 (en) 2012-06-20 2015-11-10 Google Inc. Avoiding blind spots of other vehicles
KR102020624B1 (ko) * 2012-09-03 2019-09-10 현대모비스 주식회사 전방 영상 제공 방법 및 디스플레이 장치
JP5809653B2 (ja) 2013-02-28 2015-11-11 富士フイルム株式会社 車間距離算出装置およびその動作制御方法
JP2014206888A (ja) 2013-04-15 2014-10-30 本田技研工業株式会社 車両の運転支援装置
TWI552897B (zh) 2013-05-17 2016-10-11 財團法人工業技術研究院 影像動態融合方法與裝置
KR101556581B1 (ko) 2014-01-13 2015-10-01 주식회사 엠투브 시야 확장용 실시간 무선 영상 공유 시스템
KR101534092B1 (ko) * 2014-02-07 2015-07-06 주식회사 엠투브 시야 확장용 실시간 무선 영상 공유 장치
KR102124483B1 (ko) * 2014-05-12 2020-06-19 엘지전자 주식회사 비히클 및 그 제어 방법
US9713956B2 (en) 2015-03-05 2017-07-25 Honda Motor Co., Ltd. Vehicle-to-vehicle communication system providing a spatiotemporal look ahead and method thereof
US10062290B2 (en) * 2015-12-16 2018-08-28 Ford Global Technologies, Llc Convoy vehicle look-ahead

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100217666A1 (en) * 2007-04-10 2010-08-26 Pedro Almenar Belenguer Method and system of detection of viewing of objects inserted in web pages
US20090231431A1 (en) * 2008-03-17 2009-09-17 International Business Machines Corporation Displayed view modification in a vehicle-to-vehicle network
US20100253593A1 (en) * 2009-04-02 2010-10-07 Gm Global Technology Operations, Inc. Enhanced vision system full-windshield hud
US20140019005A1 (en) * 2012-07-10 2014-01-16 Samsung Electronics Co., Ltd. Transparent display apparatus for displaying information of danger element, and method thereof
EP2703873A2 (en) * 2012-08-31 2014-03-05 Samsung Electronics Co., Ltd Information providing method and information providing vehicle therefor
CN103707811A (zh) * 2012-09-28 2014-04-09 富士重工业株式会社 视线引导系统
CN105711597A (zh) * 2016-02-25 2016-06-29 江苏大学 前方局部行驶环境感知系统及方法
CN105730341A (zh) * 2016-03-11 2016-07-06 广东钛马车联网信息科技有限公司 一种前车视野查看装置、系统及方法

Also Published As

Publication number Publication date
US20180101736A1 (en) 2018-04-12
US10726276B2 (en) 2020-07-28
CN109803867A (zh) 2019-05-24
KR20180039924A (ko) 2018-04-19
KR102366723B1 (ko) 2022-02-23
EP3504094A1 (en) 2019-07-03
WO2018070717A1 (en) 2018-04-19
EP3504094A4 (en) 2019-09-18

Similar Documents

Publication Publication Date Title
CN109803867B (zh) 用于将视线确保图像提供给车辆的方法、电子设备和车辆
US20200219325A1 (en) Information providing method and information providing vehicle therefor
CN109910749B (zh) 设于车辆的车辆控制装置及车辆的控制方法
KR102046468B1 (ko) 차량용 사이드 미러
EP3100913B1 (en) Vehicle display apparatus and vehicle including the same
CN106205175B (zh) 用于车辆的显示设备和车辆
US11242068B2 (en) Vehicle display device and vehicle
KR101732983B1 (ko) 차량용 리어 콤비네이션 램프 및 이를 포함하는 차량
EP2857886B1 (en) Display control apparatus, computer-implemented method, storage medium, and projection apparatus
KR102551099B1 (ko) 어라운드뷰 제공장치, 제공방법 및 이를 구비한 차량
KR102104500B1 (ko) 정보 제공 방법 및 이를 위한 정보 제공 차량
CN109703363B (zh) 显示装置及包括其的车辆
KR20160144829A (ko) 운전자 보조 장치 및 그 제어방법
KR101916728B1 (ko) 차량에 구비된 차량 제어 장치 및 그의 제어방법
KR102690791B1 (ko) 정보 처리 장치, 정보 처리 방법, 촬영 장치, 조명 장치 및 이동체
EP3835105A1 (en) Vehicle display system and vehicle
CN113165510B (zh) 显示控制装置、方法和计算机程序
JP2014234139A (ja) 車載表示装置およびプログラム
JP2019202589A (ja) 表示装置
KR101822896B1 (ko) 운전자 보조 장치 및 그 제어방법
US20230304822A1 (en) Route guidance device and route guidance method thereof
KR101781689B1 (ko) 가상 영상 생성장치, 헤드 마운티드 디스플레이 및 차량
KR102282368B1 (ko) 정보 제공 방법 및 이를 위한 정보 제공 차량
JP2021104787A (ja) 車両用表示装置
JP2019202641A (ja) 表示装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant