CN111522443A - 车辆a柱显示组件的显示方法、系统、设备和存储介质 - Google Patents

车辆a柱显示组件的显示方法、系统、设备和存储介质 Download PDF

Info

Publication number
CN111522443A
CN111522443A CN202010286777.4A CN202010286777A CN111522443A CN 111522443 A CN111522443 A CN 111522443A CN 202010286777 A CN202010286777 A CN 202010286777A CN 111522443 A CN111522443 A CN 111522443A
Authority
CN
China
Prior art keywords
driver
coordinate system
coordinates
display
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010286777.4A
Other languages
English (en)
Other versions
CN111522443B (zh
Inventor
李纲
薛亚冲
张�浩
陈丽莉
楚明磊
朱红
李红
林新琦
刘帅
赵辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd, Beijing BOE Optoelectronics Technology Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN202010286777.4A priority Critical patent/CN111522443B/zh
Publication of CN111522443A publication Critical patent/CN111522443A/zh
Priority to PCT/CN2021/080063 priority patent/WO2021208645A1/zh
Priority to US17/642,010 priority patent/US11884214B2/en
Application granted granted Critical
Publication of CN111522443B publication Critical patent/CN111522443B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/202—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Ophthalmology & Optometry (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

本申请公开了一种车辆A柱显示组件的显示方法、系统、设备和存储介质，属于车辆技术领域。所述方法通过目标特征模型的坐标与驾驶员监测组件的相机坐标系的转换关系，以及该相机坐标系和世界坐标系的转换关系，得到相机坐标系和世界坐标系的转换关系，进而可以将显示组件在世界坐标系中的坐标转换为相机坐标系中的坐标，如此便可以较为简单的判断驾驶员是否在注视显示组件。解决了相关技术中直接根据驾驶员眼睛以及显示组件的空间位置来判断驾驶员是否注视显示组件的难度较大的问题。达到了降低判断驾驶员是否注视显示组件的难度的效果。

Description

车辆A柱显示组件的显示方法、系统、设备和存储介质
技术领域
本申请涉及显示技术领域，特别涉及一种车辆A柱显示组件的显示方法、系统、设备和存储介质。
背景技术
车辆A柱是指车辆前挡风玻璃和两个前车门之间的柱，该柱是支撑车辆结构强度的主要部分之一。但是，A柱同样会对驾驶员的视野造成一定的遮挡。
目前，一种车辆A柱的显示方法，用于车辆中，该车辆具有用于采集车辆外部画面的图像组件，车辆的A柱上具有显示组件，车辆内部具有用于获取驾驶员眼睛位置的监测组件。在该方法中，可以通过外部摄像组件获取视角较大的画面，再根据显示组件以及驾驶员眼睛的空间位置来判断驾驶员是否注视显示组件，并对显示组件进行控制。
但是，直接根据驾驶员眼睛以及显示组件的空间位置来判断驾驶员是否注视显示组件的难度较大。
发明内容
本申请实施例提供了一种车辆A柱显示组件的显示方法、系统、设备和存储介质。所述技术方案如下：
根据本申请的第一方面，提供了一种车辆A柱显示组件的显示方法，用于车辆中，所述车辆包括图像组件、至少一个驾驶员监测组件以及分别位于所述车辆内侧两个A柱上的两个显示组件，所述方法包括：
通过所述至少一个驾驶员监测组件中的任一驾驶员监测组件获取相机坐标系中所述车辆的驾驶员的人脸姿态信息，所述人脸姿态信息包括所述驾驶员的注视方向以及所述驾驶员的眼睛位置；
根据所述驾驶员的注视方向以及所述驾驶员的眼睛位置确定所述驾驶员的视野范围；
获取所述两个显示组件在世界坐标系中的坐标；
根据第一转换关系将所述两个显示组件在世界坐标系中的坐标转换为所述相机坐标系中的坐标，所述第一转换关系由第二转换关系以及第三转换关系确定，所述第二转换关系为所述任一驾驶员监测组件的相机坐标系中的坐标与所述车辆中的目标特征模型中的坐标的转换关系，所述第三转换关系为所述目标特征模型中的坐标与所述世界坐标系中坐标的转换关系；
根据所述两个显示组件在所述相机坐标系中的坐标确定所述两个显示组件中的任一显示组件是否位于所述视野范围内；
在所述任一显示组件位于所述视野范围内时，根据所述驾驶员的眼睛位置对所述图像组件获取的所述车辆的外部图像进行截取，并由所述任一显示组件进行显示。
可选地，所述通过所述至少一个驾驶员监测组件中的任一驾驶员监测组件获取相机坐标系中所述车辆的驾驶员的人脸姿态信息之前，所述方法还包括：
建立所述世界坐标系；
通过所述任一驾驶员监测组件获取所述车辆中所述目标特征模型的目标图像；
根据所述目标特征模型的目标图像，确定所述目标特征模型中的坐标与所述相机坐标系中的坐标的所述第二转换关系；
获取所述目标特征模型的坐标与所述世界坐标系中坐标的第三转换关系；
根据所述第三转换关系以及所述第二转换关系确定所述第一转换关系。
可选地，所述目标特征模型包括标准人脸特征模型，所述标准人脸特征模型包括多个特征点以及每个所述特征点的三维坐标，
所述通过所述任一驾驶员监测组件获取所述车辆中所述目标特征模型的目标图像，包括：
通过所述任一驾驶员监测组件获取所述标准人脸特征模型的目标图像；
所述根据所述目标特征模型的目标图像，确定所述目标特征模型中的坐标与所述相机坐标系中的坐标的所述第二转换关系，包括：
根据所述目标图像确定所述标准人脸特征模型中所述多个特征点的平面坐标；
对所述任一驾驶员监测组件进行标定，得到所述任一驾驶员监测组件的内参矩阵和畸变系数；
根据所述内参矩阵、所述畸变系数、所述三维坐标以及所述平面坐标进行透视n点求解，得到所述第二转换关系。
可选地，所述获取所述目标特征模型的坐标与所述世界坐标系中坐标的第三转换关系，包括：
获取所述标准人脸特征模型与所述世界坐标系之间的旋转矩阵和平移向量；
根据所述旋转矩阵和平移向量确定所述第三转换关系。
可选地，所述获取所述标准人脸特征模型与所述世界坐标系之间的旋转矩阵和平移向量之前，所述方法还包括：
对所述标准人脸特征模型的坐标系进行调整，使所述标准人脸特征模型的坐标系中的一个坐标轴与所述世界坐标系中的一个坐标轴平行。
可选地，所述车辆包括分别位于所述车辆内侧两个A柱上的两个驾驶员监测组件，所述两个驾驶员监测组件包括所述任一驾驶员监测组件以及另一驾驶员监测组件，所述通过所述至少一个驾驶员监测组件中的任一驾驶员监测组件获取相机坐标系中所述车辆的驾驶员的人脸姿态信息，包括：
轮流启动所述两个驾驶员监测组件；
在所述两个驾驶员监测组件中的任一驾驶员监测组件检测到所述人脸姿态信息时，通过所述任一驾驶员监测组件持续获取所述人脸姿态信息，并关闭所述两个驾驶员监测组件中除所述任一驾驶员监测组件外的另一驾驶员监测组件。
可选地，所述目标特征模型包括标准人脸特征模型，所述标准人脸特征模型包括多个特征点以及每个所述特征点的三维坐标，
所述通过所述至少一个驾驶员监测组件中的任一驾驶员监测组件获取相机坐标系中所述车辆的驾驶员的人脸姿态信息之前，所述方法还包括：
建立所述世界坐标系；
通过所述任一驾驶员监测组件获取所述标准人脸特征模型的目标图像；
根据所述目标图像确定所述标准人脸特征模型中所述多个特征点的平面坐标；
对所述任一驾驶员监测组件进行标定，得到所述任一驾驶员监测组件的内参矩阵和畸变系数；
根据所述内参矩阵、所述畸变系数、所述三维坐标以及所述平面坐标进行透视n点求解，得到所述第二转换关系；
获取所述标准人脸特征模型与所述世界坐标系之间的旋转矩阵和平移向量；
根据所述旋转矩阵和平移向量确定所述第三转换关系；
根据所述第三转换关系以及所述第二转换关系确定所述第一转换关系。
可选地，所述图像组件包括分别位于所述两个A柱外侧的图像子组件，所述两个A柱中任一A柱上图像子组件和所述驾驶员的眼睛之间的连线与所述任一A柱上的显示组件相交。
另一方面，提供一种车辆A柱的显示系统，包括图像组件、至少一个驾驶员监测组件以及分别位于车辆内侧两个A柱上的两个显示组件，所述车辆A柱的显示系统包括：
姿态获取模块，用于通过所述至少一个驾驶员监测组件中的任一驾驶员监测组件获取相机坐标系中所述车辆的驾驶员的人脸姿态信息，所述人脸姿态信息包括所述驾驶员的注视方向以及所述驾驶员的眼睛位置；
视野确定模块，用于根据所述驾驶员的注视方向以及所述驾驶员的眼睛位置确定所述驾驶员的视野范围；
坐标获取模块，用于获取所述两个显示组件在世界坐标系中的坐标；
坐标转换模块，用于根据第一转换关系将所述两个显示组件在世界坐标系中的坐标转换为所述相机坐标系中的坐标，所述第一转换关系由第二转换关系以及第三转换关系确定，所述第二转换关系为所述任一驾驶员监测组件的相机坐标系中的坐标与所述车辆中的目标特征模型中的坐标的转换关系，所述第三转换关系为所述目标特征模型中的坐标与所述世界坐标系中坐标的转换关系；
视野判断模块，用于根据所述两个显示组件在所述相机坐标系中的坐标确定所述两个显示组件中的任一显示组件是否位于所述视野范围内；
图像显示模块，用于在所述任一显示组件位于所述视野范围内时，根据所述驾驶员的眼睛位置对所述图像组件获取的所述车辆的外部图像进行截取，并由所述任一显示组件进行显示。
另一方面，提供一种车辆A柱的显示设备，所述车辆A柱的显示设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述的车辆A柱显示组件的显示方法。
另一方面，提供一种存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述的车辆A柱显示组件的显示方法。
本申请实施例提供的技术方案带来的有益效果是：
通过目标特征模型的坐标与驾驶员监测组件的相机坐标系的转换关系，以及该相机坐标系和世界坐标系的转换关系，得到相机坐标系和世界坐标系的转换关系，进而可以将显示组件在世界坐标系中的坐标转换为相机坐标系中的坐标，如此便可以较为简单的判断驾驶员是否在注视显示组件。解决了相关技术中直接根据驾驶员眼睛以及显示组件的空间位置来判断驾驶员是否注视显示组件的难度较大的问题。达到了降低判断驾驶员是否注视显示组件的难度的效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种车辆的内部结构示意图；
图2是图1所示的车辆的A柱的左视图；
图3是本申请实施例提供的一种车辆A柱显示组件的显示方法的流程图；
图4是本申请实施例提供的另一种车辆A柱显示组件的显示方法的流程图；
图5是图4所示实施例中一种标准人脸特征模型的示意图；
图6是图4所示实施例中一种确定第二转换关系的流程图；
图7是图4所示实施例中一种确定第三转换关系的流程图；
图8是图4所示实施例中一种各个坐标系之间转换关系的示意图；
图9是图4所示实施例中一种驾驶员的视野范围的示意图；
图10是图4所示实施例中车辆左侧A柱上的显示组件位于驾驶员的视野中时的示意图；
图11是本申请实施例提供的一种车辆A柱的显示系统的结构框图。
通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
图1是本申请实施例提供的一种车辆的内部结构示意图。该车辆包括至少一个驾驶员监测组件11以及分别位于所述车辆内侧两个A柱12上的两个显示组件13。
该驾驶员监测组件11可以获取车辆内部的图像。可选地，车辆具有两个驾驶员监测组件11，两个驾驶员监测组件11分别位于车辆内侧两个A柱上。每个监测组件11可以包括摄像头。
两个显示组件13可以分别铺设在两个A柱上。可选地，每个显示组件均可以为包括柔性显示面板，由于A柱朝向车辆内部的一侧通常不是规整的平面，因而柔性显示面板构成的显示组件可以更为方便的设置在A柱上。示例性的，该柔性显示面板可以为有机发光二极管(Organic Light-Emitting Diode，OLED)显示面板。
本申请实施例中，车辆内侧可以是指朝向车辆内部空间的一侧。
驾驶员监测组件由于需要检测驾驶员的面部，因而驾驶员会位于其图像范围内，但是，显示组件位于A柱上，为了能够较好的获取驾驶员的面部信息，则显示组件和驾驶员难以同时出现在驾驶员监测组件的图像中。随之而来的问题就是难以直接获取显示组件在驾驶员监测组件的相机坐标系中的坐标，进而也难以判断显示组件是否位于驾驶员的视野范围内。
此外，本申请实施例提供的车辆还可以包括其他的一些组件，如发动机、变速箱、底盘和车辆外壳等，本申请实施例在此不再赘述。
本申请实施例提供了一种方法，在该方法中，可以在车内放置一个目标特征模型，该目标特征模型位于驾驶员监测组件的图像范围内，以该目标特征模型作为中转来获取驾驶员监测组件的相机坐标系和世界坐标系的转换关系，如此便可以将显示组件的世界坐标(该世界坐标可以直接测量得到)转换为相机坐标，进而便于判断驾驶员是否在注视某个显示组件。
如图2所示，其为图1所示的车辆的A柱12的左视图。该车辆还包括位于A柱外侧的图像组件14。该图像组件14可以包括摄像头，用于获取车辆外部的图像。可选地，图像组件14包括分别位于两个A柱外侧的图像子组件141(图2示出了其中一个A柱外侧的图像子组件)。本申请实施例中，A柱外侧可以是指A柱远离车辆内部的一侧。
可选地，两个A柱中任一A柱上图像子组件141和驾驶员的眼睛E之间的连线与任一A柱12上的显示组件13相交。如此结构下，图像子组件与显示组件就位于驾驶员的同一个方位，进而图像子组件所获取的外部图像可以更为符合A柱所遮挡的外部图像。
图3是本申请实施例提供的一种车辆A柱显示组件的显示方法的流程图，可以用于图1所示的车辆中，该方法可以包括下面几个步骤：
步骤301、通过至少一个驾驶员监测组件中的任一驾驶员监测组件获取相机坐标系中车辆的驾驶员的人脸姿态信息，人脸姿态信息包括驾驶员的注视方向以及驾驶员的眼睛位置。
步骤302、根据驾驶员的注视方向以及驾驶员的眼睛位置确定驾驶员的视野范围。
步骤303、获取两个显示组件在世界坐标系中的坐标。
步骤304、根据第一转换关系将两个显示组件在世界坐标系中的坐标转换为相机坐标系中的坐标，第一转换关系由第二转换关系以及第三转换关系确定，第二转换关系为任一驾驶员监测组件的相机坐标系中的坐标与车辆中的目标特征模型中的坐标的转换关系，第三转换关系为目标特征模型中的坐标与世界坐标系中坐标的转换关系。
步骤305、根据两个显示组件在相机坐标系中的坐标确定两个显示组件中的任一显示组件是否位于视野范围内。
步骤306、在任一显示组件位于视野范围内时，根据驾驶员的眼睛位置对图像组件获取的车辆的外部图像进行截取，并由任一显示组件进行显示。
综上所述，本申请实施例提供的车辆A柱显示组件的显示方法，通过目标特征模型的坐标与驾驶员监测组件的相机坐标系的转换关系，以及该相机坐标系和世界坐标系的转换关系，得到相机坐标系和世界坐标系的转换关系，进而可以将显示组件在世界坐标系中的坐标转换为相机坐标系中的坐标，如此便可以较为简单的判断驾驶员是否在注视显示组件。解决了相关技术中直接根据驾驶员眼睛以及显示组件的空间位置来判断驾驶员是否注视显示组件的难度较大的问题。达到了降低判断驾驶员是否注视显示组件的难度的效果。
图4是本申请实施例提供的另一种车辆A柱显示组件的显示方法的流程图，可以用于图1所示的车辆中，该方法可以包括下面几个步骤：
步骤401、建立世界坐标系。
世界坐标系可以是系统的绝对坐标系，该坐标系可以具有原点以及经过该原点的多个轴。现实空间中的物体均可以通过测量来获取其在世界坐标系的坐标。
步骤402、通过任一驾驶员监测组件获取车辆中目标特征模型的目标图像。
其中，目标特征模板可以具有多个特征点，其也可以具有一个目标特征坐标系，这多个特征点在该目标特征坐标系中的坐标均可以是已知的(例如通过测量得知)。这些坐标即可以为目标特征模型中特征点的三维坐标。
可选地，该目标特征模型可以包括标准人脸特征模型，该标准人脸特征模型可以是本领域所通用的一种模型，如图5所示，其为一种标准人脸特征模型的示意图，该模型可以包括有68个特征点，其中每个小圆圈所在的处即为一个特征点，该68个特征点在标准人脸特征模型的坐标系中的三维坐标均为已知的。
当目标特征模型包括标准人脸特征模型时，可以通过任一驾驶员监测组件获取该标准人脸特征模型的目标图像。
步骤403、根据目标特征模型的目标图像，确定目标特征模型中的坐标与驾驶员监测组件的相机坐标系中的坐标的第二转换关系。
驾驶员监测组件可以包括摄像头，因而其可以具有相机坐标系，示例性的，相机坐标系可以是以摄像头的聚焦中心为原点，以光轴为Z轴建立的三维直角坐标系。
当目标特征模型包括标准人脸特征模型时，如图6所示，步骤403可以包括下面三个步骤：
步骤4031、根据该目标图像确定标准人脸特征模型中多个特征点的平面坐标。
由于该目标图像为平面的图像，因而可以根据该目标图像确定标准人脸特征模型中多个特征点的平面坐标。
步骤4032、对该任一驾驶员监测组件进行标定，得到任一驾驶员监测组件的内参矩阵和畸变系数。
本申请实施例中，驾驶员监测组件的标定方法可以为传统相机标定法、主动视觉相机标定方法或相机自标定法等，本申请实施例对此不进行限制。
步骤4033、根据内参矩阵、畸变系数、三维坐标以及平面坐标进行透视n点求解，得到第二转换关系。
根据内参矩阵、畸变系数、三维坐标以及平面坐标进行透视n点求解即可以得到旋转矩阵R1和平移向量t1，根据旋转矩阵R1和平移向量t1即可以得到目标特征模型中的坐标与驾驶员监测组件的相机坐标系中的坐标的第二转换关系，例如可以通过第一转换公式得到第二转换关系，第一转化公式可以包括：
Pc＝R1*Pf+t1
其中，Pc为相机坐标系中的坐标，Pf为目标特征模型中的坐标。
其中透视n点(Perspective n Points，简称：PnP)求解的具体方式可以参考相关技术，本申请实施例对此不进行限制。
步骤404、获取目标特征模型的坐标与世界坐标系中坐标的第三转换关系。
当目标特征模型包括标准人脸特征模型时，如图7所示，步骤404可以包括下面三个步骤：
步骤4041、对标准人脸特征模型的坐标系进行调整，使标准人脸特征模型的坐标系中的一个坐标轴与世界坐标系中的一个坐标轴平行。
标准人脸特征模型的坐标系中的一个坐标轴与世界坐标系中的一个坐标轴平行时，可以减小后续的旋转矩阵的计算量。示例性的，可以使标准人脸特征模型的正面方向的轴线与世界坐标系中的x轴、y轴或z轴平行。
步骤4042、获取标准人脸特征模型的坐标与世界坐标系之间的旋转矩阵和平移向量。
其中，旋转矩阵R2可以根据标准人脸特征模型的坐标系中的轴线与世界坐标系中的轴线之间的旋转关系计算得到，而平移向量t2可以测量得到。
步骤4043、根据旋转矩阵和平移向量确定第三转换关系。
可以根据第二转化公式得到该第三转换关系，第二转化公式可以包括：
Pf＝R2*Pw+t2
其中，Pw为世界坐标系中的坐标。
步骤405、根据第三转换关系以及第二转换关系确定第一转换关系。
得到第三转换关系以及第二转换关系后，即可以根据这两个转换关系得到该任一驾驶员监测组件的相机坐标系中的坐标与世界坐标系中的坐标的第一转换关系。
如图8所示，其为本申请实施例中各个坐标系之间转换关系的示意图。其中，世界坐标系的坐标为Pw、轴线包括x轴、y轴和z轴，获取旋转矩阵R2和偏移向量t2后即可以获知Pw与标准人脸模型坐标系中坐标Pf之间的转换关系，标准人脸模型坐标系的轴线包括x’轴，y’轴和z’轴，获取旋转矩阵R1和偏移向量t1后即可以获知Pf与相机坐标系中坐标Pc之间的转换关系；相机坐标系中的轴线包括x”轴，y”轴和z”轴。
步骤402至步骤405为获取该任一驾驶员监测组件的相机坐标系中的坐标与世界坐标系中的坐标的第一转换关系的过程，可以通过步骤402只步骤405所提供的方式来获取车辆中的每个驾驶员监测组件的相机坐标系中的坐标与世界坐标系中的坐标的第一转换关系。
步骤406、获取两个显示组件在世界坐标系中的坐标。
两个显示组件在世界坐标系中的坐标均可以通过测量得到。
步骤407、根据第一转换关系将两个显示组件在世界坐标系中的坐标转换为相机坐标系中的坐标。
可以通过步骤405获取的第一转换关系将两个显示组件在世界坐标系中的坐标转换为相机坐标系中的坐标。
步骤401至步骤407可以在车辆出厂前实施。后续步骤可以为车辆使用过程中的步骤。
步骤408、轮流启动两个驾驶员监测组件。
在车辆的使用过程中，两个驾驶员监测组件可以轮流启动，以尝试获取驾驶员的人脸姿态信息。相较于同时启动两个驾驶员监测组件获取驾驶员的人脸姿态信息的方式，步骤408的方式可以降低驾驶员监测组件对车辆内部控制器件的负载。
步骤409、在两个驾驶员监测组件中的任一驾驶员监测组件检测到人脸姿态信息时，通过该任一驾驶员监测组件持续获取人脸姿态信息，并关闭另一驾驶员监测组件。
当某个驾驶员监测组件获取到人脸姿态信息时，表明驾驶员正在注视该驾驶员监测组件的方向，则可以通过该驾驶员监测组件持续获取人脸姿态信息，并关闭另一驾驶员监测组件。如此运行方式，在同一时刻仍仅有一个驾驶员监测组件在运行，不会对车辆内部控制器件的造成较高的负载，降低了对车辆内部控制器件的资源的占用。
步骤410、根据驾驶员的注视方向以及驾驶员的眼睛位置确定驾驶员的视野范围。
如图9所示，其为一种驾驶员的视野范围的示意图，其中，视野范围为四棱锥状空间，四棱锥的顶点d位于驾驶员的眼睛位置，四棱锥两组相对的顶角中一组顶角为人眼的水平视场角a，另一组顶角为人眼的垂直视场角b，四棱锥的高度方向与驾驶员的注视方向平行。
当某一物体位于该视野范围内时，可以认为驾驶员在注视该物体。
此外，上述作为驾驶员的视野范围的四棱锥还具有一个高度参数，该高度参数可以是驾驶员眼睛的所能够看到的最远距离，该最远距离通常远超车辆的内部尺寸，不会对本申请实施例提供的方法造成影响，因而本申请实施例可以不考虑该四棱锥的高度。
需要说明的是，驾驶员的眼睛的水平视场角和垂直视场角可以是预先设置的一个普遍值，或者也可以是对当前的驾驶员进行测量而得到的，本申请实施例对此不进行限制。可选地，可以将水平视场角和垂直视场角设置为同一个值，例如60度，以便于后续的计算。
需要说明的是，本申请实施例中，驾驶员的眼睛位置可以为驾驶员的两个眼睛之间的一个位置，以简化计算过程和计算量。
步骤411、根据两个显示组件在相机坐标系中的坐标确定两个显示组件中的任一显示组件是否位于视野范围内。
获取了驾驶员的视野范围之后，即可以根据两个显示组件在相机坐标系中的坐标确定两个显示组件中的任一显示组件是否位于视野范围内。
可选地，步骤411可以包括下面两个步骤：
1)判断两个显示组件中的任一显示组件的边缘是否均在人眼视野范围内。
本申请实施例中，可以通过判断两个显示组件中的任一显示组件的边缘是否均在人眼视野范围内来确定人眼当前是否在注视某一个显示组件。
当显示组件的形状不同时，其边缘会呈不同的形状，示例性的，矩形的显示组件的边缘可以为呈矩形，可以通过判断其四个顶点是否位于驾驶员的视野范围来判断显示组件是否位于驾驶员的视野范围内。
驾驶员在车辆中时，所处的状态可以包括注视左侧A柱的显示组件、注视右侧A柱的显示组件以及未注视两个显示组件这三个状态。本步骤可以判断驾驶员是否处于注视某一个显示组件的状态。
示例性的，如图10所示，其为左侧A柱上的显示组件位于驾驶员的视野中时的示意图，可以看出，左侧A柱上的显示组件13的边缘完全位于驾驶员的视野x中。
2)当该任一显示组件的边缘均在驾驶员的视野范围内时，确定该任一显示组件位于驾驶员的视野范围内。
当该任一显示组件的边缘均在驾驶员的视野范围内时，可以确定该任一显示组件位于驾驶员的视野范围内。
步骤412、在任一显示组件位于视野范围内时，根据驾驶员的眼睛位置对图像组件获取的车辆的外部图像进行截取，并由任一显示组件进行显示。
当确定该任一显示组件位于驾驶员的视野范围内时，可以根据驾驶员的眼睛位置(以及显示组件的位置)对车辆外部的图像进行截取，得到车辆外部的图像中位于述驾驶员的注视方向的第一子图像，该图像在该任一显示组件上显示时，可以与驾驶员当前所看到的A柱周围未被遮挡的图像(即驾驶员通过车窗玻璃所看到的图像)拼接成一个成体的图像。
综上所述，本申请实施例提供的车辆A柱显示组件的显示方法，通过目标特征模型的坐标与驾驶员监测组件的相机坐标系的转换关系，以及该相机坐标系和世界坐标系的转换关系，得到相机坐标系和世界坐标系的转换关系，进而可以将显示组件在世界坐标系中的坐标转换为相机坐标系中的坐标，如此便可以较为简单的判断驾驶员是否在注视显示组件。解决了相关技术中直接根据驾驶员眼睛以及显示组件的空间位置来判断驾驶员是否注视显示组件的难度较大的问题。达到了降低判断驾驶员是否注视显示组件的难度的效果。
图11是本申请实施例提供的一种车辆A柱的显示系统的结构框图，该车辆A柱的显示系统包括：
姿态获取模块1110，用于通过至少一个驾驶员监测组件中的任一驾驶员监测组件获取相机坐标系中车辆的驾驶员的人脸姿态信息，人脸姿态信息包括驾驶员的注视方向以及驾驶员的眼睛位置；
视野确定模块1120，用于根据驾驶员的注视方向以及驾驶员的眼睛位置确定驾驶员的视野范围；
坐标获取模块1130，用于获取两个显示组件在世界坐标系中的坐标；
坐标转换模块1140，用于根据第一转换关系将两个显示组件在世界坐标系中的坐标转换为相机坐标系中的坐标，第一转换关系由第二转换关系以及第三转换关系确定，第二转换关系为任一驾驶员监测组件的相机坐标系中的坐标与车辆中的目标特征模型中的坐标的转换关系，第三转换关系为目标特征模型中的坐标与世界坐标系中坐标的转换关系；
视野判断模块1150，用于根据两个显示组件在相机坐标系中的坐标确定两个显示组件中的任一显示组件是否位于视野范围内；
图像显示模块1160，用于在任一显示组件位于视野范围内时，根据驾驶员的眼睛位置对图像组件获取的车辆的外部图像进行截取，并由任一显示组件进行显示。
综上所述，本申请实施例提供的车辆A柱的显示系统，通过目标特征模型的坐标与驾驶员监测组件的相机坐标系的转换关系，以及该相机坐标系和世界坐标系的转换关系，得到相机坐标系和世界坐标系的转换关系，进而可以将显示组件在世界坐标系中的坐标转换为相机坐标系中的坐标，如此便可以较为简单的判断驾驶员是否在注视显示组件。解决了相关技术中直接根据驾驶员眼睛以及显示组件的空间位置来判断驾驶员是否注视显示组件的难度较大的问题。达到了降低判断驾驶员是否注视显示组件的难度的效果。
此外，本申请实施例还提供一种车辆A柱的显示设备，车辆A柱的显示设备包括处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如上述实施例提供的任一的车辆A柱显示组件的显示方法。
本申请实施例还一种存储介质，该存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如上述实施例提供的任一的车辆A柱显示组件的显示方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (11)

1.一种车辆A柱显示组件的显示方法，其特征在于，用于车辆中，所述车辆包括图像组件、至少一个驾驶员监测组件以及分别位于所述车辆内侧两个A柱上的两个显示组件，所述方法包括：
通过所述至少一个驾驶员监测组件中的任一驾驶员监测组件获取相机坐标系中所述车辆的驾驶员的人脸姿态信息，所述人脸姿态信息包括所述驾驶员的注视方向以及所述驾驶员的眼睛位置；
根据所述驾驶员的注视方向以及所述驾驶员的眼睛位置确定所述驾驶员的视野范围；
获取所述两个显示组件在世界坐标系中的坐标；
根据第一转换关系将所述两个显示组件在世界坐标系中的坐标转换为所述相机坐标系中的坐标，所述第一转换关系由第二转换关系以及第三转换关系确定，所述第二转换关系为所述任一驾驶员监测组件的相机坐标系中的坐标与所述车辆中的目标特征模型中的坐标的转换关系，所述第三转换关系为所述目标特征模型中的坐标与所述世界坐标系中坐标的转换关系；
根据所述两个显示组件在所述相机坐标系中的坐标确定所述两个显示组件中的任一显示组件是否位于所述视野范围内；
在所述任一显示组件位于所述视野范围内时，根据所述驾驶员的眼睛位置对所述图像组件获取的所述车辆的外部图像进行截取，并由所述任一显示组件进行显示。
2.根据权利要求1所述的方法，其特征在于，所述通过所述至少一个驾驶员监测组件中的任一驾驶员监测组件获取相机坐标系中所述车辆的驾驶员的人脸姿态信息之前，所述方法还包括：
建立所述世界坐标系；
通过所述任一驾驶员监测组件获取所述车辆中所述目标特征模型的目标图像；
根据所述目标特征模型的目标图像，确定所述目标特征模型中的坐标与所述相机坐标系中的坐标的所述第二转换关系；
获取所述目标特征模型的坐标与所述世界坐标系中坐标的第三转换关系；
根据所述第三转换关系以及所述第二转换关系确定所述第一转换关系。
3.根据权利要求2所述的方法，其特征在于，所述目标特征模型包括标准人脸特征模型，所述标准人脸特征模型包括多个特征点以及每个所述特征点的三维坐标，
所述通过所述任一驾驶员监测组件获取所述车辆中所述目标特征模型的目标图像，包括：
通过所述任一驾驶员监测组件获取所述标准人脸特征模型的目标图像；
所述根据所述目标特征模型的目标图像，确定所述目标特征模型中的坐标与所述相机坐标系中的坐标的所述第二转换关系，包括：
根据所述目标图像确定所述标准人脸特征模型中所述多个特征点的平面坐标；
对所述任一驾驶员监测组件进行标定，得到所述任一驾驶员监测组件的内参矩阵和畸变系数；
根据所述内参矩阵、所述畸变系数、所述三维坐标以及所述平面坐标进行透视n点求解，得到所述第二转换关系。
4.根据权利要求3所述的方法，其特征在于，所述获取所述目标特征模型的坐标与所述世界坐标系中坐标的第三转换关系，包括：
获取所述标准人脸特征模型与所述世界坐标系之间的旋转矩阵和平移向量；
根据所述旋转矩阵和平移向量确定所述第三转换关系。
5.根据权利要求4所述的方法，其特征在于，所述获取所述标准人脸特征模型与所述世界坐标系之间的旋转矩阵和平移向量之前，所述方法还包括：
对所述标准人脸特征模型的坐标系进行调整，使所述标准人脸特征模型的坐标系中的一个坐标轴与所述世界坐标系中的一个坐标轴平行。
6.根据权利要求2所述的方法，其特征在于，所述车辆包括分别位于所述车辆内侧两个A柱上的两个驾驶员监测组件，所述两个驾驶员监测组件包括所述任一驾驶员监测组件以及另一驾驶员监测组件，
所述通过所述至少一个驾驶员监测组件中的任一驾驶员监测组件获取相机坐标系中所述车辆的驾驶员的人脸姿态信息，包括：
轮流启动所述两个驾驶员监测组件；
在所述两个驾驶员监测组件中的任一驾驶员监测组件检测到所述人脸姿态信息时，通过所述任一驾驶员监测组件持续获取所述人脸姿态信息，并关闭所述两个驾驶员监测组件中除所述任一驾驶员监测组件外的另一驾驶员监测组件。
7.根据权利要求1所述的方法，其特征在于，所述目标特征模型包括标准人脸特征模型，所述标准人脸特征模型包括多个特征点以及每个所述特征点的三维坐标，
所述通过所述至少一个驾驶员监测组件中的任一驾驶员监测组件获取相机坐标系中所述车辆的驾驶员的人脸姿态信息之前，所述方法还包括：
建立所述世界坐标系；
通过所述任一驾驶员监测组件获取所述标准人脸特征模型的目标图像；
根据所述目标图像确定所述标准人脸特征模型中所述多个特征点的平面坐标；
对所述任一驾驶员监测组件进行标定，得到所述任一驾驶员监测组件的内参矩阵和畸变系数；
根据所述内参矩阵、所述畸变系数、所述三维坐标以及所述平面坐标进行透视n点求解，得到所述第二转换关系；
获取所述标准人脸特征模型与所述世界坐标系之间的旋转矩阵和平移向量；
根据所述旋转矩阵和平移向量确定所述第三转换关系；
根据所述第三转换关系以及所述第二转换关系确定所述第一转换关系。
8.根据权利要求1所述的方法，所述图像组件包括分别位于所述两个A柱外侧的图像子组件，所述两个A柱中任一A柱上图像子组件和所述驾驶员的眼睛之间的连线与所述任一A柱上的显示组件相交。
9.一种车辆A柱的显示系统，其特征在于，包括图像组件、至少一个驾驶员监测组件以及分别位于车辆内侧两个A柱上的两个显示组件，所述车辆A柱的显示系统包括：
姿态获取模块，用于通过所述至少一个驾驶员监测组件中的任一驾驶员监测组件获取相机坐标系中所述车辆的驾驶员的人脸姿态信息，所述人脸姿态信息包括所述驾驶员的注视方向以及所述驾驶员的眼睛位置；
视野确定模块，用于根据所述驾驶员的注视方向以及所述驾驶员的眼睛位置确定所述驾驶员的视野范围；
坐标获取模块，用于获取所述两个显示组件在世界坐标系中的坐标；
坐标转换模块，用于根据第一转换关系将所述两个显示组件在世界坐标系中的坐标转换为所述相机坐标系中的坐标，所述第一转换关系由第二转换关系以及第三转换关系确定，所述第二转换关系为所述任一驾驶员监测组件的相机坐标系中的坐标与所述车辆中的目标特征模型中的坐标的转换关系，所述第三转换关系为所述目标特征模型中的坐标与所述世界坐标系中坐标的转换关系；
视野判断模块，用于根据所述两个显示组件在所述相机坐标系中的坐标确定所述两个显示组件中的任一显示组件是否位于所述视野范围内；
图像显示模块，用于在所述任一显示组件位于所述视野范围内时，根据所述驾驶员的眼睛位置对所述图像组件获取的所述车辆的外部图像进行截取，并由所述任一显示组件进行显示。
10.一种车辆A柱的显示设备，其特征在于，所述车辆A柱的显示设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至8任一所述的车辆A柱显示组件的显示方法。
11.一种存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至8任一所述的车辆A柱显示组件的显示方法。
CN202010286777.4A 2020-04-13 2020-04-13 车辆a柱显示组件的显示方法、系统、设备和存储介质 Active CN111522443B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010286777.4A CN111522443B (zh) 2020-04-13 2020-04-13 车辆a柱显示组件的显示方法、系统、设备和存储介质
PCT/CN2021/080063 WO2021208645A1 (zh) 2020-04-13 2021-03-10 车辆a柱显示组件的显示方法、系统、设备和存储介质
US17/642,010 US11884214B2 (en) 2020-04-13 2021-03-10 Display method for A-pillar-mounted display assemblies, and display device of A-pillars of vehicle, and storage medium thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010286777.4A CN111522443B (zh) 2020-04-13 2020-04-13 车辆a柱显示组件的显示方法、系统、设备和存储介质

Publications (2)

Publication Number Publication Date
CN111522443A true CN111522443A (zh) 2020-08-11
CN111522443B CN111522443B (zh) 2024-04-05

Family

ID=71911660

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010286777.4A Active CN111522443B (zh) 2020-04-13 2020-04-13 车辆a柱显示组件的显示方法、系统、设备和存储介质

Country Status (3)

Country Link
US (1) US11884214B2 (zh)
CN (1) CN111522443B (zh)
WO (1) WO2021208645A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021208645A1 (zh) * 2020-04-13 2021-10-21 京东方科技集团股份有限公司 车辆a柱显示组件的显示方法、系统、设备和存储介质
CN113815534A (zh) * 2021-11-05 2021-12-21 吉林大学重庆研究院 基于应对人眼的位置变化而对图形进行动态处理的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103987578A (zh) * 2011-10-14 2014-08-13 大陆汽车系统公司 用于车辆的虚拟显示系统
US20190088011A1 (en) * 2017-09-20 2019-03-21 Boe Technology Group Co., Ltd. Method, device, terminal and system for visualization of vehicle's blind spot and a vehicle
CN109941277A (zh) * 2019-04-08 2019-06-28 宝能汽车有限公司 显示汽车a柱盲区图像的方法、装置和车辆
CN110764859A (zh) * 2019-10-21 2020-02-07 三星电子（中国）研发中心 一种对屏幕可视区域进行自动调整及优化显示的方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4412380B2 (ja) * 2007-10-02 2010-02-10 アイシン・エィ・ダブリュ株式会社 運転支援装置、運転支援方法及びコンピュータプログラム
US20140019167A1 (en) * 2012-07-16 2014-01-16 Shuli Cheng Method and Apparatus for Determining Insurance Risk Based on Monitoring Driver's Eyes and Head
KR101382772B1 (ko) * 2012-12-11 2014-04-08 현대자동차주식회사 디스플레이 시스템 및 방법
JP6669569B2 (ja) * 2016-04-04 2020-03-18 アルパイン株式会社 車両用周辺監視装置
KR101866728B1 (ko) * 2016-04-25 2018-06-15 현대자동차주식회사 네비게이션 장치, 차량 및 차량의 제어방법
WO2017209313A1 (ko) * 2016-05-30 2017-12-07 엘지전자 주식회사 차량용 디스플레이 장치 및 차량
KR20200075328A (ko) * 2018-12-18 2020-06-26 현대자동차주식회사 차량의 주행 정보 제공 방법, 장치 및 기록매체
EP3866055A1 (en) * 2020-02-12 2021-08-18 Aptiv Technologies Limited System and method for displaying spatial information in the field of view of a driver of a vehicle
CN111522443B (zh) * 2020-04-13 2024-04-05 京东方科技集团股份有限公司 车辆a柱显示组件的显示方法、系统、设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103987578A (zh) * 2011-10-14 2014-08-13 大陆汽车系统公司 用于车辆的虚拟显示系统
US20190088011A1 (en) * 2017-09-20 2019-03-21 Boe Technology Group Co., Ltd. Method, device, terminal and system for visualization of vehicle's blind spot and a vehicle
CN109941277A (zh) * 2019-04-08 2019-06-28 宝能汽车有限公司 显示汽车a柱盲区图像的方法、装置和车辆
CN110764859A (zh) * 2019-10-21 2020-02-07 三星电子（中国）研发中心 一种对屏幕可视区域进行自动调整及优化显示的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
许彦平: "基于三维重构与透视变换的汽车A柱盲区可视化方法研究", no. 11, pages 1 - 46 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021208645A1 (zh) * 2020-04-13 2021-10-21 京东方科技集团股份有限公司 车辆a柱显示组件的显示方法、系统、设备和存储介质
US11884214B2 (en) 2020-04-13 2024-01-30 Beijing Boe Optoelectronics Technology Co., Ltd. Display method for A-pillar-mounted display assemblies, and display device of A-pillars of vehicle, and storage medium thereof
CN113815534A (zh) * 2021-11-05 2021-12-21 吉林大学重庆研究院 基于应对人眼的位置变化而对图形进行动态处理的方法

Also Published As

Publication number Publication date
US20220402433A1 (en) 2022-12-22
WO2021208645A1 (zh) 2021-10-21
CN111522443B (zh) 2024-04-05
US11884214B2 (en) 2024-01-30

Similar Documents

Publication Publication Date Title
CN111409556B (zh) 车辆a柱显示组件的显示方法、系统、设备和存储介质
CN108171673A (zh) 图像处理方法、装置、车载抬头显示系统及车辆
US8345095B2 (en) Blind spot image display apparatus and method thereof for vehicle
CN111522443B (zh) 车辆a柱显示组件的显示方法、系统、设备和存储介质
DE112018001050T5 (de) System und verfahren zur virtuell erweiterten visuellen gleichzeitigen lokalisierung und kartographierung
CN110728638A (zh) 一种图像的畸变矫正方法、车机及汽车
CN109789460A (zh) 具有工作区图像捕获设备的弯曲机以及用于改进弯曲机的操作安全性的方法
CN112655024A (zh) 一种图像标定方法及装置
CN106214118A (zh) 一种基于虚拟现实的眼球运动监测系统
CN103517060A (zh) 一种终端设备的显示控制方法及装置
CN110796738B (zh) 巡检设备状态跟踪的三维可视化方法及装置
US20210136351A1 (en) Counterrotation of display panels and/or virtual cameras in a hmd
CN107364393A (zh) 车辆后视图像的显示方法、装置、存储介质及电子设备
CN110099268A (zh) 色彩自然匹配与显示区自然融合的盲区透视化显示方法
CN112326206A (zh) Ar模组双目融合检测装置及检测方法
CN115840502A (zh) 三维视线追踪方法、装置、设备及存储介质
CN111309141A (zh) 屏幕估计
CN111323209B (zh) 一种hud杂散光自动测试系统与测试方法
CN114155300A (zh) 一种车载hud系统投影效果检测方法及装置
Mori et al. A wide-view parallax-free eye-mark recorder with a hyperboloidal half-silvered mirror and appearance-based gaze estimation
CN204989643U (zh) 一种3d虚拟显示设备
CN105447007A (zh) 一种电子设备及数据处理方法
CN114170323A (zh) 图像拍摄装置的参数标定方法、设备及存储介质
CN112465693A (zh) 一种360°环视水下视觉成像方法及系统
CN115793261B (zh) 一种vr眼镜的视觉补偿方法、系统和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant