CN111391755A - 盲区图像的显示方法、装置及系统 - Google Patents

盲区图像的显示方法、装置及系统 Download PDF

Info

Publication number
CN111391755A
CN111391755A CN202010161669.4A CN202010161669A CN111391755A CN 111391755 A CN111391755 A CN 111391755A CN 202010161669 A CN202010161669 A CN 202010161669A CN 111391755 A CN111391755 A CN 111391755A
Authority
CN
China
Prior art keywords
image
coordinate
camera
target
display screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010161669.4A
Other languages
English (en)
Other versions
CN111391755B (zh
Inventor
薛亚冲
李纲
张�浩
陈丽莉
楚明磊
朱红
李红
赵辉
林新琦
刘帅
吕耀宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd, Beijing BOE Optoelectronics Technology Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN202010161669.4A priority Critical patent/CN111391755B/zh
Publication of CN111391755A publication Critical patent/CN111391755A/zh
Application granted granted Critical
Publication of CN111391755B publication Critical patent/CN111391755B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D25/00—Superstructure or monocoque structure sub-units; Parts or details thereof not otherwise provided for
    • B62D25/04—Door pillars ; windshield pillars
    • G06T3/04—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

本申请公开了一种盲区图像的显示方法、装置及系统，涉及图像处理技术领域。该方法可以根据人脸图像确定人脸中目标点在人脸图像中的第一实际坐标，并根据该第一实际坐标确定待截取的目标图像的中心点在外景图像中的第二实际坐标，然后根据该第二实际坐标以及显示屏的分辨率从外景图像中截取得到目标图像，最后将该目标图像显示在显示屏中。由于本申请提供的方法能够将外景图像中的目标图像显示在显示屏中，驾驶员能够从该显示屏中显示的目标图像观察到外景图像中被连接柱遮挡的部分的图像，保证行车安全。

Description

盲区图像的显示方法、装置及系统
技术领域
本申请涉及图像处理技术领域，特别涉及一种盲区图像的显示方法、装置及系统。
背景技术
车辆的A柱是指位于前挡风玻璃两侧，且连接车顶和车身的连接柱。
相关技术中，由于车辆在发生碰撞时，车辆的A柱能够吸收一定的能量，避免位于驾驶舱内的人员受到较严重的伤害。因此为了确保安全性，通常将车辆的A柱设置的较粗。由于A柱位于发动机舱与驾驶舱之间，因此在行车过程中A柱通常会对驾驶员的视线造成影响。其中，驾驶员的视线被A柱遮挡的区域称为A柱的盲区。
但是，A柱设置的较粗会导致A柱的盲区增大，影响行车安全。
发明内容
本申请提供了一种盲区图像的显示方法、装置及系统，可以解决相关技术中由于A柱设置的较粗导致A柱的盲区增大，影响行车安全的问题。所述技术方案如下：
一方面，提供了一种盲区图像的显示方法，所述方法包括：
根据第一相机拍摄到的人脸图像确定人脸中目标点在所述人脸图像中的第一实际坐标，所述第一相机设置在车辆的连接柱位于所述车辆的驾驶舱内的部分，其中，所述连接柱位于所述车辆的前挡风玻璃两侧，且连接车顶和车身；
根据所述第一实际坐标确定待截取的目标图像的中心点在第二相机拍摄到的外景图像中的第二实际坐标，所述第二相机设置在所述连接柱位于所述驾驶舱外的部分；
根据所述第二实际坐标以及显示屏的分辨率对所述外景图像进行截取，得到所述目标图像，所述显示屏设置在所述连接柱位于所述驾驶舱内的部分；
将所述目标图像显示在所述显示屏中。
可选的，所述根据所述第一实际坐标确定待截取的目标图像的中心点的第二实际坐标，包括：
确定所述第一实际坐标相对于所述人脸图像中第一基准坐标的第一坐标偏移量；
根据所述第一坐标偏移量，所述第一相机的第一视场角，所述第二相机的第二视场角，所述人脸图像的第一分辨率，以及所述外景图像的第二分辨率，确定所述第二实际坐标相对于所述外景图像中的第二基准坐标的第二坐标偏移量，所述第二坐标偏移量与所述第一坐标偏移量，所述第一视场角，以及所述第一分辨率正相关，与所述第二视场角以及所述第二分辨率负相关；
根据所述第二坐标偏移量，以及所述第二基准坐标确定所述第二实际坐标。
可选的，所述第一坐标偏移量包括：在所述人脸图像中像素行方向上的第一坐标偏移分量m1，以及在所述人脸图像中像素列方向上的第二坐标偏移分量n1；
所述第一视场角包括：在第一目标方向上的第一角分量α1和在第二目标方向上的第二角分量α2，所述第一目标方向垂直于所述第一相机的光轴，且平行于水平面，所述第二目标方向垂直于所述第一目标方向，且垂直于所述水平面；
所述第二视场角包括：在第三目标方向上的第三角分量β1和在第四目标方向上的第四角分量β2，所述第三目标方向垂直于所述第二相机的光轴，且平行于水平面，所述第四目标方向垂直于所述第三目标方向，且垂直于所述水平面；
所述第一分辨率包括：所述人脸图像中的第一像素行数F1w，以及所述人脸图像中的第一像素列数F2w；所述第二分辨率包括：所述外景图像中的第二像素行数F1s，以及所述外景图像中的第二像素列数F2s；
所述第二坐标偏移量包括：在所述外景图像中像素行方向上的第三坐标偏移分量m2，以及在所述外景图像中像素列方向上的第四坐标偏移分量n2；
所述第三坐标偏移分量m2满足：
m2＝[m1×tan(α1/2)×F1s]/[F1w×tan(β1/2)]；
所述第四坐标偏移分量n2满足：
n2＝[n1×tan(α2/2)×F2s]/[F2w×tan(β2/2)]。
可选的，所述第二实际坐标在所述外景图像中像素行方向上的坐标值X满足：X＝(F1s/2)+m2+Dx；
所述第二实际坐标在所述外景图像中像素列方向上的坐标值Y满足：Y＝(F2s/2)+n2+Dy；
其中，所述Dx为所述目标图像的中心点在所述外景图像中像素行方向上的坐标补偿值，所述Dy为所述目标图像的中心点在所述外景图像中像素列方向上的坐标补偿值。
可选的，所述根据所述第二实际坐标以及显示屏的尺寸对所述外景图像进行截取，得到所述目标图像包括：
以所述第二实际坐标为中心，并基于所述显示屏的尺寸从所述外景图像中截取初始图像；
采用拉伸变换系数对所述初始图像进行拉伸变换；
根据所述显示屏的尺寸从拉伸变换后的所述初始图像中截取目标图像，所述目标图像的尺寸与所述初始图像的尺寸相同，且所述目标图像的中心与拉伸变换后的所述初始图像的中心重合。
可选的，所述拉伸变换系数k满足：
k＝t1×(Zw+d)3+t2×(Zw+d)2+t3×(Zw+d)+t4，其中，所述t1，所述t2，所述t3，以及所述t4均为大于0且小于1的系数，所述d为距离补偿值，所述Zw为所述第一相机与人脸之间的距离。
另一方面，提供了一种盲区图像的显示装置，所述装置包括：
第一确定模块，用于根据第一相机拍摄到的人脸图像确定人脸中目标点在所述人脸图像中的第一实际坐标，所述第一相机设置在车辆的连接柱位于所述车辆的驾驶舱内的部分，其中，所述连接柱位于所述车辆的前挡风玻璃两侧，且连接车顶和车身；
第二确定模块，用于根据所述第一实际坐标确定待截取的目标图像的中心点在第二相机拍摄到的外景图像中的第二实际坐标，所述第二相机设置在所述连接柱位于所述驾驶舱外的部分；
截取模块，用于根据所述第二实际坐标以及显示屏的分辨率对所述外景图像进行截取，得到所述目标图像，所述显示屏设置在所述连接柱位于所述驾驶舱内的部分；
显示模块，用于将所述目标图像显示在所述显示屏中。
又一方面，提供了一种盲区图像的显示装置，所述装置包括：处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述方面所述的盲区图像的显示。
再一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述计算机可读存储介质在计算机上运行时，使得计算机执行如上述方面所述的盲区图像的显示方法。
再一方面，提供了一种盲区图像的显示系统，所述系统包括：车辆，第一相机，第二相机，显示屏以及如上述方面所述的盲区图像的显示装置；
所述车辆包括连接柱，所述连接柱位于所述车辆的前挡风玻璃两侧，且连接车顶和车身；
所述第一相机设置在所述连接柱位于所述车辆的驾驶舱内的部分，用于拍摄人脸图像；
所述第二相机设置在所述连接柱位于所述车辆的驾驶舱外的部分，用于拍摄外景图像；
所述显示屏设置在所述连接柱位于所述车辆的驾驶舱内的部分，用于显示目标图像。
本申请提供的技术方案带来的有益效果至少包括：
本申请提供了一种盲区图像的显示方法、装置及系统，该方法可以根据人脸图像确定人脸中目标点在人脸图像中的第一实际坐标，并根据该第一实际坐标确定待截取的目标图像的中心点在外景图像中的第二实际坐标，然后根据该第二实际坐标以及显示屏的分辨率从外景图像中截取得到目标图像，最后将该目标图像显示在显示屏中。由于本申请提供的方法能够将外景图像中的目标图像显示在显示屏中，驾驶员能够从该显示屏中显示的目标图像观察到外景图像中被连接柱遮挡的部分的图像，保证行车安全。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种盲区图像的显示系统的结构示意图；
图2是本申请实施例提供的一种盲区图像的显示方法的流程图；
图3是本申请实施例提供的另一种盲区图像的显示方法的流程图；
图4是图1所示的盲区图像的显示系统的后视图；
图5是本申请实施例提供的一种确定第二坐标偏移量的方法流程图；
图6是本申请实施例提供的一种人脸图像和外景图像的示意图；
图7是本申请实施例提供的另一种人脸图像和外景图像的示意图；
图8是本申请实施例提供的一种截取初始图像的示意图；
图9是本申请实施例提供的一种盲区图像的显示装置的结构示意图；
图10是本申请实施例提供的一种第二确定模块的结构示意图；
图11是本申请实施例提供的一种截取模块的结构示意图；
图12是本申请实施例提供的另一种盲区图像的显示装置的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
在行车过程中，车辆的A柱会对驾驶员的视线造成影响，驾驶员无法透过车辆的A柱看到外面的场景，安全性较差。为了保证行车安全，本申请实施例提供了一种盲区图像的显示系统。参考图1，该盲区图像的显示系统01可以包括车辆011，第一相机012，第二相机013，显示屏014，以及设置在车辆011上的盲区图像的显示装置。
参考图1，该车辆011可以包括连接柱0111，该连接柱0111可以位于车辆011的前挡风玻璃两侧，且连接车顶和车身。该第一相机012可以设置在车辆011的连接柱0111位于车辆011的驾驶舱内的部分，用于采集人脸图像。第二相机012可以设置在设置在连接柱0111位于驾驶舱外的部分，用于采集外景图像。显示屏014可以设置在车辆011的连接柱位于车辆011的驾驶舱内的部分，用于显示目标图像。该盲区图像的显示装置可以设置在车辆的驾驶舱内。
图2是本申请实施例提供的一种盲区图像的显示方法的流程图。该方法可以应用于盲区图像的显示系统的盲区图像的显示装置中。参考图2可以看出，该方法可以包括：
步骤101、根据第一相机拍摄到的人脸图像确定人脸中目标点在人脸图像中的第一实际坐标。
在本申请实施例中，盲区图像的显示系统还可以包括第一相机。该第一相机可以设置在车辆的连接柱位于车辆的驾驶舱内的部分，该连接柱可以位于车辆的前挡风玻璃两侧，且连接车顶和车身。该连接柱可以为车辆的A柱(A-pillar)。
该第一相机可以用于采集人脸图像，并将该人脸图像发送至盲区图像的显示系统的盲区图像的显示装置中。该盲区图像的显示装置可以对接收到的该人脸图像进行人脸检测，确定该人脸图像的人脸中目标点在该人脸图像中的第一实际坐标。
可选的，该人脸中目标点可以为人脸中两眼之间的中点，或者可以为人脸中的鼻尖点，本申请实施例对该目标点的位置不做限定。
步骤102、根据第一实际坐标确定待截取的目标图像的中心点在第二相机拍摄到的外景图像中的第二实际坐标。
在本申请实施例中，盲区图像的显示系统还可以包括第二相机，该第二相机可以设置在连接柱位于驾驶舱外的部分。该第二相机可以用于拍摄外景图像，并将该外景图像发送至盲区图像的显示装置中。盲区图像的显示装置可以接收到该第二相机发送的外景图像，并基于上述步骤101确定出的人脸中目标点的第一实际坐标，从该外景图像中确定待截取的目标图像的中心点在外景图像中的第二实际坐标。
步骤103、根据第二实际坐标以及显示屏的分辨率对外景图像进行截取，得到目标图像。
在本申请实施例中，盲区图像的显示系统还可以包括显示屏，该显示屏可以设置在连接柱位于驾驶舱内的部分。该显示屏的分辨率可以预先存储在盲区图像的显示装置中。盲区图像的显示装置可以根据确定出的待截取的目标图像的中心点的第二实际坐标，以及其预先存储的显示屏的分辨率对接收到的外景图像进行截取，得到该目标图像。
步骤104、将目标图像显示在显示屏中。
在本申请实施例中，截取的目标图像的中心点的第二实际坐标是基于人脸中目标点的第一实际坐标确定的，该目标图像的中心点可以与人脸中目标点相匹配。该目标图像可以为驾驶员处于某个位置时，外景图像中被连接柱遮挡的图像。盲区图像的显示装置将该目标图像显示在显示屏中，可以使得驾驶员能够从该显示屏中显示的目标图像观察到外景图像中被连接柱遮挡的部分的图像，保证行车安全。
综上所述，本申请实施例提供了一种盲区图像的显示方法，该方法可以根据人脸图像确定人脸中目标点在人脸图像中的第一实际坐标，并根据该第一实际坐标确定待截取的目标图像的中心点在外景图像中的第二实际坐标，然后根据该第二实际坐标以及显示屏的分辨率从外景图像中截取得到目标图像，最后将该目标图像显示在显示屏中。由于本申请实施例提供的方法能够将外景图像中的目标图像显示在显示屏中，驾驶员能够从该显示屏中显示的目标图像观察到外景图像中被连接柱遮挡的部分的图像，保证行车安全。
图3是本申请实施例提供的另一种盲区图像的显示方法的流程图。该方法可以应用于盲区图像的显示系统的盲区图像的显示装置中。参考图3可以看出，该方法可以包括：
步骤201、根据第一相机拍摄到的人脸图像确定人脸中目标点在人脸图像中的第一实际坐标。
在本申请实施例中，图4是图1所示的盲区图像的显示系统的后视图。参考图1和图4，盲区图像的显示系统可以包括车辆011，第一相机012，第二相机013，显示屏014以及盲区图像的显示装置(图中未示出)。其中，图1为车辆的驾驶舱内的示意图，图4可以为车辆的驾驶舱外前方的示意图。
结合图1和图4，车辆可以包括连接柱0111。该第一相机012可以设置在车辆011的连接柱0111位于车辆011的驾驶舱内的部分，该第二相机013可以设置在车辆011的连接柱0111位于车辆011的驾驶舱外的部分，该显示屏014可以设置在车辆011的连接柱0111位于车辆011的驾驶舱内的部分。该连接柱0111可以位于车辆011的前挡风玻璃两侧，且连接车顶和车身。该连接柱0111可以为车辆011的A柱。另外，参考图1，车辆011还可以包括方向盘0112。
参考图1和图4，车辆011可以包括两个A柱0111，每个A柱0111均会在行车过程中对驾驶员的视线造成影响，因此为了使得驾驶员能够观察到外景图像中被两个A柱遮挡的图像，可以在每个A柱0111位于车辆011的驾驶舱内的部分均设置一个对应的显示屏014。即该盲区图像的显示系统可以包括两个显示屏014，每个显示屏014用于显示被其对应的A柱0111遮挡的图像。
可选的，每个显示屏014可以为有机发光二极管(organic light-emittingdiode，OLED)显示屏，且该OLED显示屏为柔性显示屏。其中，该OLED显示屏的分辨率可以为720×1920。
进一步的，参考图1和图4，为了得到每个显示屏014中所需显示的目标图像，该盲区图像的显示系统可以包括两个第一相机012和两个第二相机013。每个第一相机011设置在对应的一个连接柱0111位于车辆011的驾驶舱内的部分。每个第二相机013设置在对应的一个连接柱0111位于车辆011的驾驶舱外的部分。通过设置在同一个连接柱0111上的第一相机012拍摄到的人脸图像和第二相机013拍摄到的外景图像确定该连接柱0111上的显示屏014所需显示的目标图像。
参考图1和图4，该第一相机011可以设置在显示屏014上方，该第一相机011的光轴角度可以根据实际情况进行设置，只需保证在驾驶员的脸部移动范围a内该第一相机011能够拍摄到驾驶员的人脸。并且，该第二相机013在A柱上的投影可以位于显示屏在A柱上的投影的中心区域，且该第二相机013的光轴角度可以根据实际情况进行设置，只需保证该第二相机013的光轴的反向延长线可以位于驾驶员的脸部移动范围a内，避免该第二相机013拍摄到的外景图像较偏，影响显示屏中显示的目标图像的准确性。
在第一相机和第二相机的设置位置以及光轴角度确定之后，理想情况下，当驾驶员正对A柱上的显示屏，且人脸中目标点处于第一相机光轴上，此时第二相机的光轴的反向延长线应该正对人脸中目标点。
可选的，每个第一相机的第一分辨率可以为640×480，第一视场角(field ofview，FOV)可以为60度，帧速可以为30帧每秒(frames per second，fps)。每个第二相机的第二分辨率可以为1920×1080，第二视场角可以为80度，帧速可以为50fps。并且每个第一相机和每个第二相机可以均为红绿蓝(RGB)相机，该RGB相机是指能够拍摄到彩色图像的相机。
在本申请实施例中，每个第一相机可以将其采集到的人脸图像发送至盲区图像的显示系统的盲区图像的显示装置中。其中，人脸图像可以是指包含人脸的图像。盲区图像的显示装置中配置有人脸检测算法，该盲区图像的显示装置可以对接收到的人脸图像进行人脸检测，确定该人脸图像的人脸中目标点在该人脸图像中的第一实际坐标。其中，人脸检测算法可以为采用开源计算机视觉库(openCV)开发得到的开源人脸检测算法。
可选的，该人脸中目标点可以为人脸中两眼之间的中点，或者可以为人脸中的鼻尖点，本申请实施例对该目标点不做限定。
步骤202、确定第一实际坐标相对于人脸图像中第一基准坐标的第一坐标偏移量。
在本申请实施例中，人脸图像中的第一基准坐标可以为该人脸图像的中心点坐标。在盲区图像的显示装置根据第一相机拍摄到的人脸图像确定出人脸中目标点的第一实际坐标之后，可以根据该第一实际坐标与第一基准坐标确定该第一实际坐标相对于第一基准坐标的第一坐标偏移量。
其中，该第一坐标偏移量可以包括：在人脸图像中像素行方向上的第一坐标偏移分量m1，以及在人脸图像中像素列方向上的第二坐标偏移分量n1。
假设人脸图像的分辨率为F1w×F2w，则该人脸图像中的第一基准坐标可以为(F1w/2，F2w/2)。其中，该F1w可以为人脸图像中的第一像素行数，F2w可以为人脸图像中的第一像素列数。并且，若盲区图像的显示装置确定出的目标点在人脸图像中的第一实际坐标为(Xf，Yf)，则可以确定出第一坐标偏移分量m1为Xf-F1w/2，第二坐标偏移分量n1为Yf-F2w/2。
可选的，假设该第一相机的分辨率为640×480，则该第一相机拍摄到的人脸图像的分辨率可以为640×480，即F1w＝640，F2w＝480。该人脸图像中的第一基准坐标可以为(320，240)。
步骤203、根据第一坐标偏移量，第一相机的第一视场角，第二相机的第二视场角，人脸图像的第一分辨率，以及外景图像的第二分辨率，确定第二实际坐标相对于外景图像中的第二基准坐标的第二坐标偏移量。
在本申请实施例中，第二实际坐标为待截取的目标图像的中心点的坐标。为了确定该第二实际坐标，盲区图像的显示装置可以先确定该第二实际坐标与外景图像中的第二基准坐标的第二坐标偏移量，再根据该第二坐标偏移量与第二基准坐标确定该第二实际坐标。
其中，该第二坐标偏移量可以与第一坐标偏移量，第一视场角，以及第一分辨率正相关，与第二视场角以及第二分辨率负相关。
在本申请实施例中，第一视场角可以包括：在第一目标方向上的第一角分量α1和在第二目标方向上的第二角分量α2。该第一目标方向可以垂直于第一相机的光轴，且平行于水平面。该第二目标方向可以垂直于第一目标方向，且垂直于水平面。
第二视场角可以包括：在第三目标方向上的第三角分量β1和在第四目标方向上的第四角分量β2。该第三目标方向可以垂直于第二相机的光轴，且平行于水平面。该第四目标方向可以垂直于第三目标方向，且垂直于水平面。
第一分辨率可以包括：人脸图像中的第一像素行数F1w，以及人脸图像中的第一像素列数F2w。第二分辨率可以包括：外景图像中的第二像素行数F1s，以及外景图像中的第二像素列数F2s。
第二坐标偏移量可以包括：在外景图像中像素行方向上的第三坐标偏移分量m2，以及在外景图像中像素列方向上的第四坐标偏移分量n2。
在本申请实施例中，参考图5，确定该第三坐标偏移分量m2，以及第四坐标偏移分量n2的过程包括：
步骤2031、根据第一相机与人脸之间的第一距离，以及第一相机的第一视场角，确定第一相机拍摄到的人脸图像的第一视场长度。
该第一视场长度可以包括在第一目标方向上的第一长度分量Xw和在第二目标方向上的第二长度分量Yw。该第一长度分量Xw可以用于表示第一相机拍摄到的人脸图像在实际场景中沿第一目标方向的长度。该第二长度分量Yw可以用于表示第一相机拍摄到的人脸图像在实际场景中沿第二目标方向的长度。
其中，该第一视场长度可以与第一距离Zw以及第一视场角均正相关。也即是，第一长度分量Xw可以与第一距离Zw以及第一角分量α1正相关，第二长度分量Yw可以与第一距离Zw以及第二角分量α2正相关。
可选的，第一长度分量Xw可以满足：Xw＝2×Zw×tan(α1/2)，第二长度分量Yw可以满足：Yw＝2×Zw×tan(α2/2)。其中，该第一相机的第一视场角为60°(度)，即该第一角分量α1和第二角分量α2可以均为60°。
需要说明的是，盲区图像的显示装置中可以存储有第一距离测量模型，该第一距离测量模型可以基于多个已确定人脸与第一相机之间的第一距离样本与人脸图像样本训练得到。盲区图像的显示装置在接收到第一相机发送的人脸图像之后，可以将该人脸图像输入第一距离测量模型，该第一距离测量模型即可输出人脸与第一相机的第一距离。之后，盲区图像的显示装置可以根据该第一距离以及第一相机的第一视场角确定第一视场长度。
步骤2032、根据第二相机与外景物体之间的第二距离，以及第二相机的第二视场角，确定第二相机拍摄到的外景图像的第二视场长度。
该第二视场长度可以包括在第三目标方向上的第三长度分量Xs和在第四目标方向上的第四长度分量Ys。该第三长度分量Xs可以用于表示第二相机拍摄到的外景图像在实际场景中沿第三目标方向的长度。该第四长度分量Ys可以用于表示第二相机拍摄到的外景图像在实际场景中沿第四目标方向的长度。
其中，该第二视场长度可以与第二距离Zs以及第二视场角均正相关。也即是，第三长度分量Xs可以与第二距离Zs以及第三角分量β1正相关，第四长度分量Ys可以与第二距离Zs以及第四角分量β2正相关。其中，该第二距离可以为驾驶员根据实际情况确定的，例如，该第二距离的范围可以为0米至5米。
可选的，第三长度分量Xs可以满足：Xs＝2×Zs×tan(β1/2)，第四长度分量Ys可以满足：Ys＝2×Zs×tan(β2/2)。其中，该第二相机的第二视场角为80°，即该第三角分量β1和第二角分量β2可以均为80°。
步骤2033、根据第一坐标偏移量，人脸图像的第一分辨率，以及第一视场长度，确定目标点在视场中的第一视场偏移量。
在本申请实施例中，第一视场偏移量与第一坐标偏移量以及第一视场长度正相关，与第一分辨率负相关。其中，第一视场偏移量可以包括在第一目标方向上的第一偏移分量Xwc和在第二目标方向上的第二偏移分量Ywc。
并且，该盲区图像的显示装置可以根据第一坐标偏移分量m1，人脸图像中的第一像素行数F1w，以及第一长度分量Xw，确定目标点在视场中的第一偏移分量Xwc。该第一偏移分量Xwc可以与第一坐标偏移分量m1以及第一长度分量Xw正相关，与第一像素行数F1w负相关。
可选的，该第一偏移分量Xwc可以满足：Xwc＝m1×Xw/F1w。
该盲区图像的显示装置还可以根据第二坐标偏移分量n1，人脸图像中的第一像素列数F2w，以及第二长度分量Yw，确定目标点在视场中的第二偏移分量Ywc。该第二偏移分量Ywc可以与第二坐标偏移分量n1以及第二长度分量Yw正相关，与第一像素列数F2w负相关。
可选的，该第二偏移分量Ywc可以满足：Ywc＝n1×Yw/F2w。
步骤2034、根据第一视场偏移量，第一相机与人脸之间的第一距离，以及第二相机与外景物体之间的第二距离，确定待截取图像的中心点在视场中的第二视场偏移量。
在本申请实施例中，该第二视场偏移量可以与第一视场偏移量以及第二距离正相关，与第一距离负相关。其中，该第二视场偏移量可以包括在第三目标方向上的第三偏移分量Xsc和在第四目标方向上的第四偏移分量Ysc。
并且，该盲区图像的显示装置可以根据第一偏移分量Xwc，第一距离，以及第二距离确定待截取图像的中心点在视场中的第三偏移分量Xsc。该第三偏移分量Xsc可以与第一偏移分量Xwc以及第二距离正相关，与第一距离负相关。
可选的，该第三偏移分量Xsc可以满足：Xsc＝Xwc×Zs/Zw。
该盲区图像的显示装置还可以根据第二偏移分量Ywc，第一距离，以及第二距离确定待截取图像的中心点在视场中的第四偏移分量。该第四偏移分量Ysc可以与第二偏移分量Ywc以及第二距离正相关，与第一距离负相关。
可选的，该第四偏移分量Ysc可以满足：Ysc＝Ywc×Zs/Zw。
步骤2035、根据第二视场偏移量，第二视场长度，以及外景图像的第二分辨率，确定第二实际坐标相对于外景图像中的第二基准坐标的第二坐标偏移量。
在本申请实施例中，第二坐标偏移量可以与第二视场偏移量以及第二分辨率正相关，与第二视场长度负相关。图6是本申请实施例提供的人脸图像和外景图像的示意图。参考图6，若目标点在人脸图像A1中的第一基准坐标为人脸图像A1的中心点H1的坐标，则第二基准坐标可以为外景图像A2的中心点坐标。也即是，理想情况下，若目标点为人脸图像A1的中心点H1，则目标图像的中心点可以为外景图像A2的中心点G1。
该盲区图像的显示装置可以根据第三偏移分量Xwc，第三长度分量Xs，以及第二像素行数F1s，确定该第二坐标偏移量包括的第三坐标偏移分量m2。该第三坐标偏移分量m2可以与第三偏移分量Xwc，以及第二像素行数F1s正相关，与第三长度分量Xs负相关。
可选的，该第三坐标偏移分量m2满足：m2＝Xsc×F1s/Xs。
该盲区图像的显示装置还可以根据第四偏移分量Ywc，第四长度分量Ys，以及第二像素列数F2s，确定该第二坐标偏移量包括的第四坐标偏移分量n2。该第四坐标偏移分量n2可以与第四偏移分量Ywc，以及第二像素列数F2s正相关，与第四长度分量Ys负相关。
可选的，该第四坐标偏移分量n2可以满足：n2＝Ysc×F2s/Ys。
根据上述公式推导可知，该第三坐标偏移分量m2满足：
m2＝[m1×tan(α1/2)×F1s]/[F1w×tan(β1/2)] 公式(1)
该第四坐标偏移分量n2满足：
n2＝[n1×tan(α2/2)×F2s]/[F2w×tan(β2/2)] 公式(2)
需要说明的是，在确定该第二坐标偏移量包括的第三坐标偏移分量m2以及第四坐标偏移分量n2时，盲区图像的显示装置可以先获取到每个第一相机的第一视场角，每个第二相机的第二视场角，人脸图像的第一分辨率，以及外景图像的第二分辨率。之后，盲区图像的显示装置可以基于获取到的各个参数，以及上述步骤202确定的第一坐标偏移量，确定该第三坐标偏移分量m2和该第四坐标偏移分量n2。
步骤204、根据第二坐标偏移量，以及第二基准坐标确定第二实际坐标。
在本申请实施例中，盲区图像的显示装置可以根据上述步骤203确定的第二坐标偏移量，以及该第二基准坐标，确定待截取的目标图像的中心点在外景图像中的第二实际坐标。
假设外景图像中的第二基准坐标为该外景图像的中心点的坐标，且外景图像的分辨率为F1s×F2s，则该外景图像中的第二基准坐标可以为(F1s/2，F2s/2)。可选的，由于第二相机的分辨率为1920×1080，则该第二相机拍摄到的外景图像的分辨率可以为1920×1080，即F1s＝1920，F2s＝1080。外景图像中的第二基准坐标可以为(960，540)。
该第二实际坐标可以包括在外景图像中像素行方向上的坐标值X，以及在外景图像中像素列方向上的坐标值Y。并且，由于设置在同一个连接柱上的第一相机和第二相机的光轴不在同一直线上，因此需要对该目标图像的中心点在外景图像中像素行方向以及像素列方向上的坐标进行补偿。
可选的，该坐标值X可以满足：
X＝(F1s/2)+m2+Dx 公式(3)
该坐标值Y可以满足：
Y＝(F2s/2)+n2+Dy 公式(4)
其中，该Dx可以为目标图像的中心点在外景图像中像素行方向上的坐标补偿值。该Dy可以为目标图像的中心点在外景图像中像素列方向上的坐标补偿值。该Dx和Dy可以根据经验确定，并且，该Dx和Dy的取值范围可以为0像素(pixel)至200像素。例如，Dx等于53，Dy等于67。
图7是本申请实施例提供的另一种人脸图像和外景图像的示意图。参考图7，若第一相机拍摄到的人脸图像的人脸中目标点为人脸图像的中心点H1，则目标图像的中心点为外景图像的中心点G1。若第一相机拍摄到的人脸图像的人脸中目标点为点H2，则目标图像的中心点为外景图像的点G2。
步骤205、以第二实际坐标为中心，并基于显示屏的尺寸从外景图像中截取初始图像。
由于A柱存在一定的倾斜，当显示屏设置在A柱上时，显示屏也会倾斜，而第二相机拍摄到的外景图像是无倾斜图像，且盲区图像的显示装置难以直接从外景图像中直接截取倾斜的目标图像。因此为了使得显示屏中像能够准确显示外景图像中被A柱遮挡的目标图像，需要在截取初始图像时进行一系列截取旋转操作。
参考图8，盲区图像的显示装置在从外景图像中截取初始图像的过程可以包括：
(1)先以第二实际坐标为中心，以显示屏的分辨率的一半(例如显示屏的分辨率为720×1920，则以360×960为图像尺寸)为图像尺寸从外景图像A中截取第一图像Q1。该第一图像Q1的至少一边与外景图像A2的一边平行。也即是，盲区图像的显示装置截取到的该第一图像Q1不为倾斜图像。
(2)获取A柱在参考平面上的投影与水平面之间的倾斜角度θ，即A柱的倾斜角度。其中，该参考平面可以垂直于显示屏的中心点与人脸图像中心点之间的连线。
(3)以第一图像Q1的中心为旋转中心，将截取到的第一图像Q1绕目标方向旋转倾斜角度θ，且目标方向与A柱的倾斜方向相反。例如，对于车辆的左侧A柱，该目标方向可以为顺时针方向；对于车辆的右侧A柱，该目标方向可以为逆时针方向。
(4)盲区图像的显示装置从外景图像A2中裁剪出第一图像Q1的最小外接矩形图像Q2，且该最小外接矩形图像Q2的至少一边与外景图像A2的一边平行。也即是，盲区图像的显示装置截取到的该最小外接矩形图像Q2不为倾斜图像。
(5)以该最小外接矩形图像Q2的中心为旋转中心，将截取到的最小外接矩形图像Q2绕目标方向旋转倾斜角度θ。也即是，对于车辆的左侧A柱，可以将该最小外接矩形图像Q2绕顺时针方向旋转倾斜角度θ；对于车辆的右侧A柱，可以将该最小外接矩形图像Q2绕逆时针方向旋转倾斜角度θ。
(6)以旋转后的最小外接矩形图像Q2的中心为图像中心，以显示屏的分辨率的一半为图像尺寸从旋转后的最小外接矩形图像Q2中截取第二图像Q3。
(7)根据显示屏的分辨率对该第二图像Q3进行拉伸处理，得到初始图像Q4。其中，由于在截取截取第二图像Q3时是基于显示屏的分辨率的一半进行截取的，因此可以该第二图像Q3进行拉伸2倍处理，从而得到初始图像Q4，该初始图像Q4的分辨率可以为720×1920。
当然，在从外景图像中截取第一图像，以及从最小外接矩形图像中截取第二图像时也可以采用其他图像尺寸进行截取，本申请实施例对此不作限定。通常情况下，该截取尺寸可以小于或等于显示屏尺寸。
步骤206、采用拉伸变换系数对初始图像进行拉伸变换。
在本申请实施例中，由于人脸与显示屏之间的距离发生变化时，人眼所观察到的外景物体的大小会发生变化，因此本申请实施例提供的方法可以根据人脸与显示屏之间的距离，对初始图像进行拉伸变换，以适应驾驶员透过挡风玻璃观察到的外景的大小。其中，盲区图像的显示装置中可以预先存储有拉伸变换系数，在获取到初始图像之后，可以采用该拉伸变换系数对初始图像进行拉伸变换。
可选的，该拉伸变换系数k可以满足：
k＝t1×(Zw+d)3+t2×(Zw+d)2+t3×(Zw+d)+t4 公式(5)
其中，t1，t2，t3，以及t4均为大于0且小于1的系数，d为距离补偿值，Zw为第一相机与人脸之间的距离。并且，该拉伸变换系数k通常大于1，也即是，盲区图像的显示装置可以对初始图像进行拉伸处理，且拉伸处理后的初始图像的尺寸，大于拉伸处理前的初始图像的尺寸。
可选的，t1＝2×10-7，t2＝-7×10-5，t3＝1.38×10-2，t4＝0.6。此时，上述公式(5)可以为：
k＝2×10-7×(Zw+d)3-7×10-5×(Zw+d)2+1.38×10-2×(Zw+d)+0.6。
由于垂直于第一相机的光轴且经过显示屏中心的平面，与垂直于第二相机的光轴且经过显示屏中心的平面不是同一平面，因此需要对第一相机与人脸之间的距离Zw进行补偿，该距离补偿值d的取值范围可以为0至30，例如，该距离补偿值为15。
需要说明的是，在行车过程中，人脸与第一相机之间的距离Zw可能会发生变化，盲区图像的显示装置每隔一个周期确定出的距离Zw可能不同，因此盲区图像的显示装置可以根据当前最新确定出的人脸与第一相机之间的距离Zw确定拉伸变换系数k。
步骤207、根据显示屏的分辨率从拉伸变换后的初始图像中截取目标图像。
在本申请实施例中，由于对初始图像进行了拉伸变换，因此该初始图像的尺寸无法匹配显示屏尺寸，需要对该初始图像进行截取。盲区图像的显示装置可以以该拉伸变换后的初始图像的中心为目标图像的中心，以显示屏的分辨率为目标图像的尺寸对拉伸变换后的初始图像进行截取，得到目标图像。其中，该目标图像的尺寸可以与初始图像的尺寸相同，且目标图像的中心点可以与拉伸变换后的初始图像的中心点重合。
步骤208、将目标图像显示在显示屏中。
在本申请实施例中，由于该目标图像的中心点与拉伸变换后的初始图像的中心点重合，且该拉伸变换前后的初始图像的中心点在外景图像中的坐标不变，该初始图像是基于人脸目标点的第一实际坐标截取的，因此该目标图像的中心点可以与该人脸中目标点相匹配，该目标图像可以为驾驶员处于某个位置时，外景图像中被连接柱遮挡的图像。盲区图像的显示装置将该目标图像显示在显示屏中，可以使得驾驶员能够从该显示屏中显示的目标图像观察到外景图像中被连接柱遮挡的部分的图像，并且，本申请实施例提供的方法可以使得显示屏中显示的目标图像的大小与透过挡风玻璃观察到的外景的大小相匹配，较好的消除了A柱盲区，保证行车安全。
需要说明的是，本发明申请实施例提供的盲区图像的显示方法的步骤的先后顺序可以进行适当调整，步骤也可以根据情况进行相应增减。例如，步骤206可以根据情况删除。任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化的方法，都应涵盖在本申请的保护范围之内，因此不再赘述。
综上所述，本申请实施例提供了一种盲区图像的显示方法，该方法可以根据人脸图像确定人脸中目标点在人脸图像中的第一实际坐标，并根据该第一实际坐标确定待截取的目标图像的中心点在外景图像中的第二实际坐标，然后根据该第二实际坐标以及显示屏的分辨率从外景图像中截取得到目标图像，最后将该目标图像显示在显示屏中。由于本申请实施例提供的方法将外景图像中的目标图像显示在显示屏中，驾驶员能够从该显示屏中显示的目标图像观察到被连接柱遮挡的部分的图像，保证行车安全。
图9是本申请实施例提供的一种盲区图像的显示装置的结构示意图。参考图9可以看出，该显示装置可以包括：
第一确定模块301，用于根据第一相机拍摄到的人脸图像确定人脸中目标点在人脸图像中的第一实际坐标。该第一相机设置在车辆的连接柱位于车辆的驾驶舱内的部分，其中，该连接柱可以位于车辆的前挡风玻璃两侧，且连接车顶和车身。
第二确定模块302，用于根据第一实际坐标确定待截取的目标图像的中心点在第二相机拍摄到的外景图像中的第二实际坐标。该第二相机设置在连接柱位于驾驶舱外的部分。
截取模块303，用于根据第二实际坐标以及显示屏的分辨率对外景图像进行截取，得到目标图像。该显示屏设置在连接柱位于驾驶舱内的部分。
显示模块304，用于将目标图像显示在显示屏中。
可选的，参考图10，第二确定模块302可以包括：
第一确定子模块3021，用于确定第一实际坐标相对于人脸图像中第一基准坐标的第一坐标偏移量。
第二确定子模块3022，用于根据第一坐标偏移量，第一相机的第一视场角，第二相机的第二视场角，人脸图像的第一分辨率，以及外景图像的第二分辨率，确定第二实际坐标相对于外景图像中的第二基准坐标的第二坐标偏移量。该第二坐标偏移量与第一坐标偏移量，第一视场角，以及第一分辨率正相关，与第二视场角以及第二分辨率负相关。
第三确定子模块3023，用于根据第二坐标偏移量，以及第二基准坐标确定第二实际坐标。
可选的，该第一坐标偏移量包括：在人脸图像中像素行方向上的第一坐标偏移分量m1，以及在人脸图像中像素列方向上的第二坐标偏移分量n1。
该第一视场角包括：在第一目标方向上的第一角分量α1和在第二目标方向上的第二角分量α2，该第一目标方向垂直于该第一相机的光轴，且平行于水平面，该第二目标方向垂直于该第一目标方向，且垂直于该水平面。
该第二视场角包括：在第三目标方向上的第三角分量β1和在第四目标方向上的第四角分量β2，该第三目标方向垂直于该第二相机的光轴，且平行于水平面，该第四目标方向垂直于该第三目标方向，且垂直于该水平面。
该第一分辨率包括：该人脸图像中的第一像素行数F1w，以及该人脸图像中的第一像素列数F2w。该第二分辨率包括：该外景图像中的第二像素行数F1s，以及该外景图像中的第二像素列数F2s。
该第二坐标偏移量包括：在外景图像中像素行方向上的第三坐标偏移分量m2，以及在外景图像中像素列方向上的第四坐标偏移分量n2。
该第三坐标偏移分量m2满足：
m2＝[m1×tan(α1/2)×F1s]/[F1w×tan(β1/2)]；
该第四坐标偏移分量n2满足：
n2＝[n1×tan(α2/2)×F2s]/[F2w×tan(β2/2)]。
可选的，该第二实际坐标在该外景图像中像素行方向上的坐标值X满足：X＝(F1s/2)+m2+Dx。
该第二实际坐标在该外景图像中像素列方向上的坐标值Y满足：Y＝(F2s/2)+n2+Dy。
其中，该Dx为该目标图像的中心点在该外景图像中像素行方向上的坐标补偿值，该Dy为该目标图像的中心点在该外景图像中像素列方向上的坐标补偿值。
可选的，参考图11，截取模块303可以包括：
第一截取子模块3031，用于以第二实际坐标为中心，并基于显示屏的尺寸从外景图像中截取初始图像。
拉伸变换子模块3032，用于采用拉伸变换系数对初始图像进行拉伸变换。
第二截取子模块3033，用于根据显示屏的尺寸从拉伸变换后的初始图像中截取目标图像。该目标图像的尺寸与初始图像的尺寸相同，且目标图像的中心与拉伸变换后的初始图像的中心重合。
可选的，该拉伸变换系数k满足：
k＝t1×(Zw+d)3+t2×(Zw+d)2+t3×(Zw+d)+t4，其中，t1，t2，t3，以及t4均为大于0且小于1的系数，d为距离补偿值，Zw为第一相机与人脸之间的距离。
综上所述，本申请实施例提供了一种盲区图像的显示装置，该装置可以根据人脸图像确定人脸中目标点在人脸图像中的第一实际坐标，并根据该第一实际坐标确定待截取的目标图像的中心点在外景图像中的第二实际坐标，然后根据该第二实际坐标以及显示屏的分辨率从外景图像中截取得到目标图像，最后将该目标图像显示在显示屏中。由于本申请实施例提供的方法能够将外景图像中的目标图像显示在显示屏中，驾驶员能够从该显示屏中显示的目标图像观察到外景图像中被连接柱遮挡的部分的图像，保证行车安全。
图12是本申请实施例提供的另一种盲区图像的显示装置的结构示意图。参考图12可以看出，该装置40可以包括：处理器401、存储器402以及存储在该存储器402上并可在该处理器上运行的计算机程序，该处理器401执行该计算机程序时可以实现上述方法实施例提供的盲区图像的显示方法，例如图2，图3或图5所示的方法。
本申请实施例还提供了一种盲区图像的显示系统，参考图1和图4，该系统可以包括：车辆011，第一相机012，第二相机013，显示屏014，以及上述实施例所述的盲区图像的显示装置(图中未示出)。
车辆011可以包括连接柱0111，该连接柱0111可以位于车辆的前挡风玻璃两侧，且连接车顶和车身。
第一相机012可以设置在连接柱0111位于车辆011的驾驶舱内的部分，用于拍摄人脸图像。第二相机可以设置在连接柱0111位于车辆011的驾驶舱外的部分，用于拍摄外景图像。显示屏可以设置在连接柱0111位于车辆的驾驶舱内的部分，用于显示目标图像。
参考图1和图4可以看出，车辆011可以包括两个连接柱0111。因此该盲区图像的显示系统可以包括：两个第一相机012，两个第二相机013，以及两个显示屏014。
每个第一相机012和每个显示屏014可以设置在一个连接柱0111位于车辆011的驾驶舱内的部分，每个第二相机013可以设置在一个连接柱0111位于车辆011的驾驶舱外的部分。
可选的，每个第一相机012的第一分辨率可以为640×480，第一视场角可以为60度，帧速可以为30fps。每个第二相机的第二分辨率可以为1920×1080，第二视场角可以为80度，帧速可以为50fps。并且每个第一相机和每个第二相机可以均为RGB相机，该RGB相机是指能够拍摄到彩色图像的相机。
可选的，每个显示屏014可以为OLED显示屏，且该OLED显示屏为柔性显示屏。其中，该OLED显示屏的分辨率可以为720×1920。
本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质中存储有操作，当该计算机可读存储介质在计算机上运行时，使得计算机执行上述方法实施例提供的盲区图像的显示方法，例如图2，图3或图5所示的方法。
本申请实施例还提供了一种包含指令的计算机程序产品，当计算机程序产品在所述计算机上运行时，使得计算机执行上述方法实施例提供的盲区图像的显示方法，例如图2，图3或图5所示的方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来操作相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种盲区图像的显示方法，其特征在于，所述方法包括：
根据第一相机拍摄到的人脸图像确定人脸中目标点在所述人脸图像中的第一实际坐标，所述第一相机设置在车辆的连接柱位于所述车辆的驾驶舱内的部分，其中，所述连接柱位于所述车辆的前挡风玻璃两侧，且连接车顶和车身；
根据所述第一实际坐标确定待截取的目标图像的中心点在第二相机拍摄到的外景图像中的第二实际坐标，所述第二相机设置在所述连接柱位于所述驾驶舱外的部分；
根据所述第二实际坐标以及显示屏的分辨率对所述外景图像进行截取，得到所述目标图像，所述显示屏设置在所述连接柱位于所述驾驶舱内的部分；
将所述目标图像显示在所述显示屏中。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一实际坐标确定待截取的目标图像的中心点的第二实际坐标，包括：
确定所述第一实际坐标相对于所述人脸图像中第一基准坐标的第一坐标偏移量；
根据所述第一坐标偏移量，所述第一相机的第一视场角，所述第二相机的第二视场角，所述人脸图像的第一分辨率，以及所述外景图像的第二分辨率，确定所述第二实际坐标相对于所述外景图像中的第二基准坐标的第二坐标偏移量，所述第二坐标偏移量与所述第一坐标偏移量，所述第一视场角，以及所述第一分辨率正相关，与所述第二视场角以及所述第二分辨率负相关；
根据所述第二坐标偏移量，以及所述第二基准坐标确定所述第二实际坐标。
3.根据权利要求2所述的方法，其特征在于，
所述第一坐标偏移量包括：在所述人脸图像中像素行方向上的第一坐标偏移分量m1，以及在所述人脸图像中像素列方向上的第二坐标偏移分量n1；
所述第一视场角包括：在第一目标方向上的第一角分量α1和在第二目标方向上的第二角分量α2，所述第一目标方向垂直于所述第一相机的光轴，且平行于水平面，所述第二目标方向垂直于所述第一目标方向，且垂直于所述水平面；
所述第二视场角包括：在第三目标方向上的第三角分量β1和在第四目标方向上的第四角分量β2，所述第三目标方向垂直于所述第二相机的光轴，且平行于水平面，所述第四目标方向垂直于所述第三目标方向，且垂直于所述水平面；
所述第一分辨率包括：所述人脸图像中的第一像素行数F1w，以及所述人脸图像中的第一像素列数F2w；所述第二分辨率包括：所述外景图像中的第二像素行数F1s，以及所述外景图像中的第二像素列数F2s；
所述第二坐标偏移量包括：在所述外景图像中像素行方向上的第三坐标偏移分量m2，以及在所述外景图像中像素列方向上的第四坐标偏移分量n2；
所述第三坐标偏移分量m2满足：
m2＝[m1×tan(α1/2)×F1s]/[F1w×tan(β1/2)]；
所述第四坐标偏移分量n2满足：
n2＝[n1×tan(α2/2)×F2s]/[F2w×tan(β2/2)]。
4.根据权利要求3所述的方法，其特征在于，所述第二实际坐标在所述外景图像中像素行方向上的坐标值X满足：X＝(F1s/2)+m2+Dx；
所述第二实际坐标在所述外景图像中像素列方向上的坐标值Y满足：Y＝(F2s/2)+n2+Dy；
其中，所述Dx为所述目标图像的中心点在所述外景图像中像素行方向上的坐标补偿值，所述Dy为所述目标图像的中心点在所述外景图像中像素列方向上的坐标补偿值。
5.根据权利要求1至4任一所述的方法，其特征在于，所述根据所述第二实际坐标以及显示屏的尺寸对所述外景图像进行截取，得到所述目标图像，包括：
以所述第二实际坐标为中心，并基于所述显示屏的尺寸从所述外景图像中截取初始图像；
采用拉伸变换系数对所述初始图像进行拉伸变换；
根据所述显示屏的尺寸从拉伸变换后的所述初始图像中截取目标图像，所述目标图像的尺寸与所述初始图像的尺寸相同，且所述目标图像的中心与拉伸变换后的所述初始图像的中心重合。
6.根据权利要求5所述的方法，其特征在于，所述拉伸变换系数k满足：
k＝t1×(Zw+d)3+t2×(Zw+d)2+t3×(Zw+d)+t4，其中，所述t1，所述t2，所述t3，以及所述t4均为大于0且小于1的系数，所述d为距离补偿值，所述Zw为所述第一相机与人脸之间的距离。
7.一种盲区图像的显示装置，其特征在于，所述装置包括：
第一确定模块，用于根据第一相机拍摄到的人脸图像确定人脸中目标点在所述人脸图像中的第一实际坐标，所述第一相机设置在车辆的连接柱位于所述车辆的驾驶舱内的部分，其中，所述连接柱位于所述车辆的前挡风玻璃两侧，且连接车顶和车身；
第二确定模块，用于根据所述第一实际坐标确定待截取的目标图像的中心点在第二相机拍摄到的外景图像中的第二实际坐标，所述第二相机设置在所述连接柱位于所述驾驶舱外的部分；
截取模块，用于根据所述第二实际坐标以及显示屏的分辨率对所述外景图像进行截取，得到所述目标图像，所述显示屏设置在所述连接柱位于所述驾驶舱内的部分；
显示模块，用于将所述目标图像显示在所述显示屏中。
8.一种盲区图像的显示装置，其特征在于，所述装置包括：处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6任一所述的盲区图像的显示方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述计算机可读存储介质在计算机上运行时，使得计算机执行如权利要求1至6任一所述的盲区图像的显示方法。
10.一种盲区图像的显示系统，其特征在于，所述系统包括：车辆，第一相机，第二相机，显示屏以及如权利要求7或8所述的盲区图像的显示装置；
所述车辆包括连接柱，所述连接柱位于所述车辆的前挡风玻璃两侧，且连接车顶和车身；
所述第一相机设置在所述连接柱位于所述车辆的驾驶舱内的部分，用于拍摄人脸图像；
所述第二相机设置在所述连接柱位于所述车辆的驾驶舱外的部分，用于拍摄外景图像；
所述显示屏设置在所述连接柱位于所述车辆的驾驶舱内的部分，用于显示目标图像。
CN202010161669.4A 2020-03-10 2020-03-10 盲区图像的显示方法、装置及系统 Active CN111391755B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010161669.4A CN111391755B (zh) 2020-03-10 2020-03-10 盲区图像的显示方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010161669.4A CN111391755B (zh) 2020-03-10 2020-03-10 盲区图像的显示方法、装置及系统

Publications (2)

Publication Number Publication Date
CN111391755A true CN111391755A (zh) 2020-07-10
CN111391755B CN111391755B (zh) 2021-10-12

Family

ID=71424544

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010161669.4A Active CN111391755B (zh) 2020-03-10 2020-03-10 盲区图像的显示方法、装置及系统

Country Status (1)

Country Link
CN (1) CN111391755B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112418060A (zh) * 2020-11-19 2021-02-26 西南大学 一种基于神经网络的面部识别系统
WO2021093391A1 (zh) * 2019-11-14 2021-05-20 浙江合众新能源汽车有限公司 一种a柱透视实现方法及系统
CN113829997A (zh) * 2021-11-16 2021-12-24 合众新能源汽车有限公司 车外影像的显示方法及装置、曲面屏及车辆

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1378395A1 (en) * 2002-07-02 2004-01-07 Kia Motors Co., Ltd. A monitoring system for monitoring a dead zone related to a front pillar of a vehicle
US6856873B2 (en) * 1995-06-07 2005-02-15 Automotive Technologies International, Inc. Vehicular monitoring systems using image processing
JP2005125828A (ja) * 2003-10-21 2005-05-19 Fujitsu Ten Ltd 車両周囲視認装置を備えた車両周囲視認システム
TW200821196A (en) * 2006-11-09 2008-05-16 Feng-Fu Lin Blind spot remover of A pillar of a vehicle
CN101404122A (zh) * 2007-10-02 2009-04-08 爱信艾达株式会社 驾驶支援装置、驾驶支援方法以及计算机程序
WO2010114293A2 (ko) * 2009-03-30 2010-10-07 Lee Whoan-Haeng 자동차용 차체 및 이를 포함하는 자동차
CN107031623A (zh) * 2017-03-16 2017-08-11 浙江零跑科技有限公司 一种基于车载盲区相机的道路预警方法
CN108482252A (zh) * 2018-04-18 2018-09-04 佛山市洁宇信息科技有限公司 一种显示a柱盲区障碍视角图像的系统、方法及车辆
CN108602465A (zh) * 2016-01-28 2018-09-28 鸿海精密工业股份有限公司 车辆用图像显示系统及搭载了该图像显示系统的车辆
CN109941277A (zh) * 2019-04-08 2019-06-28 宝能汽车有限公司 显示汽车a柱盲区图像的方法、装置和车辆
CN110356326A (zh) * 2018-04-10 2019-10-22 上海擎感智能科技有限公司 一种汽车立柱视觉辅助方法及系统、车载终端
CN110614952A (zh) * 2019-10-28 2019-12-27 崔成哲 一种汽车盲区消除系统
CN110717945A (zh) * 2019-09-25 2020-01-21 深圳疆程技术有限公司 一种视觉标定方法、车机及汽车
CN110728638A (zh) * 2019-09-25 2020-01-24 深圳疆程技术有限公司 一种图像的畸变矫正方法、车机及汽车

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6856873B2 (en) * 1995-06-07 2005-02-15 Automotive Technologies International, Inc. Vehicular monitoring systems using image processing
EP1378395A1 (en) * 2002-07-02 2004-01-07 Kia Motors Co., Ltd. A monitoring system for monitoring a dead zone related to a front pillar of a vehicle
JP2005125828A (ja) * 2003-10-21 2005-05-19 Fujitsu Ten Ltd 車両周囲視認装置を備えた車両周囲視認システム
TW200821196A (en) * 2006-11-09 2008-05-16 Feng-Fu Lin Blind spot remover of A pillar of a vehicle
CN101404122A (zh) * 2007-10-02 2009-04-08 爱信艾达株式会社 驾驶支援装置、驾驶支援方法以及计算机程序
WO2010114293A2 (ko) * 2009-03-30 2010-10-07 Lee Whoan-Haeng 자동차용 차체 및 이를 포함하는 자동차
US20190031102A1 (en) * 2016-01-28 2019-01-31 Hon Hai Precision Industry Co., Ltd. Image display system for vehicle use and vehicle equipped with the image display system
CN108602465A (zh) * 2016-01-28 2018-09-28 鸿海精密工业股份有限公司 车辆用图像显示系统及搭载了该图像显示系统的车辆
CN107031623A (zh) * 2017-03-16 2017-08-11 浙江零跑科技有限公司 一种基于车载盲区相机的道路预警方法
CN110356326A (zh) * 2018-04-10 2019-10-22 上海擎感智能科技有限公司 一种汽车立柱视觉辅助方法及系统、车载终端
CN108482252A (zh) * 2018-04-18 2018-09-04 佛山市洁宇信息科技有限公司 一种显示a柱盲区障碍视角图像的系统、方法及车辆
CN109941277A (zh) * 2019-04-08 2019-06-28 宝能汽车有限公司 显示汽车a柱盲区图像的方法、装置和车辆
CN110717945A (zh) * 2019-09-25 2020-01-21 深圳疆程技术有限公司 一种视觉标定方法、车机及汽车
CN110728638A (zh) * 2019-09-25 2020-01-24 深圳疆程技术有限公司 一种图像的畸变矫正方法、车机及汽车
CN110614952A (zh) * 2019-10-28 2019-12-27 崔成哲 一种汽车盲区消除系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
许彦平: "基于三维重构与透视变换的汽车A柱盲区可视化方法研究", 《中国优秀硕士学位论文全文数据库 工程科技II期》 *
龙腾蛟等: "多编组铰接车辆周界图像动态拼接方法研究", 《控制与信息技术》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021093391A1 (zh) * 2019-11-14 2021-05-20 浙江合众新能源汽车有限公司 一种a柱透视实现方法及系统
CN112418060A (zh) * 2020-11-19 2021-02-26 西南大学 一种基于神经网络的面部识别系统
CN113829997A (zh) * 2021-11-16 2021-12-24 合众新能源汽车有限公司 车外影像的显示方法及装置、曲面屏及车辆

Also Published As

Publication number Publication date
CN111391755B (zh) 2021-10-12

Similar Documents

Publication Publication Date Title
CN111391755B (zh) 盲区图像的显示方法、装置及系统
US8174576B2 (en) Vehicle periphery video providing apparatus and method
KR100522218B1 (ko) 감시 시스템, 카메라 조정방법 및 차량감시 시스템
EP1895766B1 (en) Camera with two or more angles of view
EP1383331A1 (en) Method and apparatus for synthesizingdisplaying images of cameras installed in vehicle
US8345095B2 (en) Blind spot image display apparatus and method thereof for vehicle
EP2045132A2 (en) Driving support device, driving support method, and computer program
US20040100443A1 (en) Method and system to allow panoramic visualization using multiple cameras
JP2014534697A (ja) 車両用のバーチャルディスプレイシステム
WO2018036250A1 (zh) 车用辅助显示装置、显示方法以及车辆
JP2010085186A (ja) 車載カメラの校正装置
JP7188727B2 (ja) 車両用視認装置
CN108621940A (zh) 车辆的显示系统及车辆的显示系统的控制方法
CN111277796A (zh) 图像处理方法、车载视觉辅助系统及存储设备
CN111739101A (zh) 一种消除车辆a柱盲区的装置和方法
EP3772719B1 (en) Image processing apparatus, image processing method, and image processing program
KR20200110033A (ko) 영상 디스플레이 시스템 및 방법
EP3099064B1 (en) Driving assistance device
US11648888B2 (en) Surround view monitoring system and providing method of the same
CN105216715A (zh) 一种汽车驾驶员视觉辅助增强系统
JP2008037118A (ja) 車両用表示装置
US20230098424A1 (en) Image processing system, mobile object, image processing method, and storage medium
US20230113406A1 (en) Image processing system, mobile object, image processing method, and storage medium
US20220222947A1 (en) Method for generating an image of vehicle surroundings, and apparatus for generating an image of vehicle surroundings
CN111016786B (zh) 基于3d视线估计的汽车a柱遮挡区域显示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant