CN111942288B - 车辆影像系统及使用车辆影像的车辆定位方法 - Google Patents

车辆影像系统及使用车辆影像的车辆定位方法 Download PDF

Info

Publication number
CN111942288B
CN111942288B CN201910399270.7A CN201910399270A CN111942288B CN 111942288 B CN111942288 B CN 111942288B CN 201910399270 A CN201910399270 A CN 201910399270A CN 111942288 B CN111942288 B CN 111942288B
Authority
CN
China
Prior art keywords
image
vehicle
image data
data
processing module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910399270.7A
Other languages
English (en)
Other versions
CN111942288A (zh
Inventor
洪晟玮
钱中方
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OTOBRITE ELECTRONICS Inc
Original Assignee
OTOBRITE ELECTRONICS Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by OTOBRITE ELECTRONICS Inc filed Critical OTOBRITE ELECTRONICS Inc
Priority to CN201910399270.7A priority Critical patent/CN111942288B/zh
Publication of CN111942288A publication Critical patent/CN111942288A/zh
Application granted granted Critical
Publication of CN111942288B publication Critical patent/CN111942288B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic

Abstract

本发明揭露一种车辆影像系统及使用车辆影像的车辆定位方法。所述述方法包括:通过至少一影像撷取器由车辆的周围环境撷取影像以产生连续的影像资料帧;通过具有该电力接收器位置相对于所述车辆位置的一电力接收器位置资料的一处理模块,从所述至少一影像撷取器接收连续的影像资料帧;及通过所述处理模块在所述车辆移动后藉由所述多个连续的影像资料帧实时产生描绘所述车辆遮住的车辆底部景物及部分周遭景物的一影像资料。

Description

车辆影像系统及使用车辆影像的车辆定位方法
技术领域
本发明涉及一种影像系统及一种车辆定位方法。特别是涉及一种车辆影像系统及一种使用车辆影像的车辆定位方法。
背景技术
一般车辆,如汽车、卡车或其它马达驱动的车辆,经常装设一个或多个可撷取周围环境影像或视频的影像撷取器。举例来说,后视影像撷取器可被安装在车辆的后方,用来撷取车辆后方的环境的视频。当车辆在倒退驾驶模式时,可对驾驶者或乘客显示被撷取的视频(例如,透过中央操控显示器)。这类的影像系统有助于辅助驾驶者操驾车辆,以增进车辆的安全性。举例来说,来自后视影像撷取器所显示的视讯影像资料,可帮助使用者识别以其它方式难以视觉识别(例如,通过车辆的后挡风玻璃、后视镜或侧后视镜)的行车路径上的障碍物。
车辆有时也会在不同的位置上额外装设影像撷取器。举例来说,影像撷取器可安装在车辆的前、侧及后面,以撷取周围环境的各个区域的影像。这些额外影像撷取器的影像可以合并以获得环景影像。从而,基于车辆上成熟的影像撷取器,环景影像监视(AroundView Monitor,AVM)技术可广泛地应用于车辆。环景影像监视的一个著名的应用是盲点信息系统(Blind Spot Information System,BLIS),通常以鸟瞰图呈现于荧幕上。然而,车辆的底部始终是鸟瞰图上未能征服的盲点。
另一方面,关于电动车辆或混合动力电动车辆的应用,无线充电已成为了一种方便又通用的技术。无线充电技术可以对车辆进行充电而无须连接充电线,显著改善了充电时的不便。在进行无线充电前,车辆的电力接收器必须与电力发射器重叠。电力发射器通常安置在地面上,而显示电力发射器位置的标记则布设于四周。然而,即便如此,驾驶员仍然难以移动车辆以使电力接收器与电力发射器重叠。因此,如何轻松准确地重叠电力接收器和电力发射器是本领域技术人员感兴趣的主题。
发明内容
基于此,有必要针对上述问题,提供一种车辆影像系统及使用车辆影像的车辆定位方法,主要在于利用改进的环景影像监视技术及人工智能(Artificial Intelligence,AI)辨识技术,使车辆充电变得简单。
本发明提供了一种车辆影像系统。所述车辆影像系统安装于一车辆,所述车辆设有一电力接收器。所述车辆影像系统包含:至少一影像撷取器,安装在所述车辆上,所述至少一影像撷取器由所述车辆的周围环境撷取影像以产生连续的影像资料帧,其中所述至少一影像撷取器的撷取影像视野被所述车辆遮住车辆底部景物或部分周遭景物,以致所述多个连续的影像资料帧中的任一帧皆缺少车辆底部景物或部分周遭景物影像;及一处理模块,与所述至少一影像撷取器连接,具有所述电力接收器位置相对于所述车辆位置的一电力接收器位置资料,接收来自所述至少一影像撷取器之连续的影像资料帧,及于车辆移动后通过所述多个连续的影像资料帧实时产生描绘所述车辆遮住的车辆底部景物及部分周遭景物的一影像资料。
本发明另一方面,提供了一种使用车辆影像的车辆定位方法,适用于设有至少一影像撷取器与一电力接收器的车辆。所述方法包含:以所述至少一影像撷取器由所述车辆的周围环境撷取影像以产生连续的影像资料帧,其中所述至少一影像撷取器的撷取影像视野被所述车辆遮住车辆底部景物或部分周遭景物,以致所述多个连续的影像资料帧中的任一帧皆缺少车辆底部景物或部分周遭景物影像;以具有所述电力接收器位置相对于所述车辆位置的一电力接收器位置资料的一处理模块,从所述至少一影像撷取器接收连续的影像资料帧;及以所述处理模块在车辆移动后通过所述多个连续的影像资料帧实时产生描绘所述车辆遮住的车辆底部景物及部分周遭景物的一影像资料。
本发明提出的车辆影像系统在当车辆运转时,通过来自所述至少一影像撷取器的所述多个连续的影像资料帧产生描绘所述车辆遮住的车辆底部景物及部分周遭景物的所述影像资料,可以轻松准确地将所述电力接收器与所述电力发射器重叠。
附图说明
图1是本发明的车辆影像系统的一实施例所显示的遮蔽补偿影像的示意图;
图2是本发明的车辆影像系统的一实施例描绘的可用以结合不同透视视角的多个影像撷取器影像的影像座标转换示意图;
图3是本发明的车辆影像系统的一实施例绘示的周围环境的影像撷取器被遮住的区域,如何可以基于转向角及车辆速度资讯的时间延迟资讯而更新的示意图;
图4是本发明的车辆影像系统的一实施例绘示之在显示车辆周围环境的遮蔽补偿影像中,影像缓冲记忆体如何可以结合当前及时间延迟影像数据来更新的示意图;
图5是本发明的车辆影像系统的一实施例绘示的显示遮蔽补偿影像的步骤的流程图;
图6是本发明的车辆影像系统的一实施例的具有撷取可结合以产生遮蔽补偿视讯影像数据的影像数据的多个影像撷取器的车辆的示意图;
图7是本发明的车辆影像系统的一实施例可用来处理影像撷取器影像数据以产生遮蔽补偿视讯影像数据的示意影像系统的方块图;
图8是本发明的车辆影像系统的一实施例描绘在显示车辆周围环境的遮蔽补偿影像中,多个缓冲记忆体如何可连续更新以储存目前及时间延迟影像撷取器影像数据的示意图;
图9为本发明的车辆影像系统的一实施例的示意图;
图10为本发明的车辆影像系统与其连接硬件的方框图;
图11本发明的车辆影像系统的移动路径产生示意图;
图12本发明的车辆影像系统的出现在显示模块上的二个对比图;
图13本发明的车辆影像系统的以虚线长方形在显示模块上显示4个轮子;
图14为本发明的使用车辆影像的车辆定位方法的第一实施例流程图;
图15为本发明的使用车辆影像的车辆定位方法的第二实施例流程图;
图16为本发明的使用车辆影像的车辆定位方法的第三实施例流程图;
图17为本发明的准备及显示预备信息的额外步骤的流程图;
图18为本发明的车辆定位方法在驾驶模式下的第一实施例流程图;
图19为本发明的车辆定位方法在驾驶模式下的第二实施例流程图;
图20为本发明的车辆定位方法在驾驶模式下的第三实施例流程图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下通过实施例,并结合附图,对本申请的太阳能芯片电池检测设备进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。
本文中为部件所编序号本身,例如“第一”、“第二”等,仅用于区分所描述的对象,不具有任何顺序或技术含义。而本申请所说“连接”、“联接”,如无特别说明,均包括直接和间接连接(联接)。在本申请的描述中,需要理解的是,术语“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本申请和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。
在本申请中,除非另有明确的规定和限定,第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触,或第一和第二特征通过中间媒介间接接触。而且,第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方,或仅仅表示第一特征水平高度小于第二特征。
本发明将藉由参照下列的实施方式而更具体地描述。
图1是绘示使用时间延迟影像数据来产生遮蔽补偿影像100的示意图。在图1的实例中,影像100可由安装在车辆各个位置的至少一个影像撷取器的视讯影像数据所产生。举例来说,影像撷取器可以安装在车辆的前、后及/或侧面。影像100可包含第一影像部分104及第二影像部分106,各自由不同视角描绘车辆周围的环境。第一影像部分104可反映车辆的前透视图及其周围环境,而第二影像部分106可描绘由车辆的上方往下俯看的视图(有时称作为鸟瞰视图,因为第二影像部分106看起来为从车辆上方的制高点所撷取)。
第一影像部分104及第二影像部分106可包含影像撷取器的视野被车辆遮蔽的周围环境部分的遮蔽区域102。具体而言,车辆可以包含车架或车壳,以支承各种组件及零件(例如,用于马达、车轮、座椅等的支撑)。影像撷取器可直接或间接地安装在车辆的车壳,且车壳本身可能遮蔽影像撷取器对车辆周围环境的部分视野。遮蔽区域102对应于在影像撷取器视野中被车辆遮蔽的车辆下方的部分,而其他区域108对应未被车辆遮蔽的周围环境。在图1的实例中,车辆在道路上移动,而遮蔽区域102显示目前在车辆下方的道路,即安装在车辆的前、侧及/或后面的影像撷取器的视野中被车辆遮蔽的部分。在遮蔽区域102中的影像数据,可使用从车辆影像撷取器接收的时间延迟影像数据来产生,而其他区域108中的影像数据,可使用车辆影像撷取器的当前影像数据来产生(例如,其他区域108对应周围环境的部分相当于影像撷取器的视野中未被车辆遮蔽的部分)。
连续的影像100(例如,影像撷取器在连续时间产生的影像)可形成影像串流,有时称作视讯流或视讯数据。在图1中,由第一影像部分104及第二影像部分106构成影像100的实例仅是示意性的。影像100可以包括一或多个影像部分,其具有由影像撷取器产生的影像数据产生的前透视图(例如,第一影像部分104)、鸟瞰视图(例如,第二影像部分106)或任何所需的车辆的周围环境的视图的所构成。
安装在车辆的影像撷取器,各自具有周围环境的不同视野。有时可能需要将来自各影像撷取器的影像数据转换为共同视角。举例来说,来自多个影像撷取器的影像数据,可各自被转换为第一影像部分104的前透视图及/或第二影像部分106的鸟瞰透视图。图2绘示在第一平面202中的给定影像撷取器的影像数据,是如何被转换为由正交的X、Y及Z轴所定义的期望座标平面π。举例说明,座标平面π可以对应为延伸在车辆车轮下的地平面。从一个座标平面(例如,藉由影像撷取器所撷取的平面)至另一座标平面的影像数据的转换,有时可被称作为座标转换或投影转换。
如在图2中所示,藉由影像撷取器所撷取的影像数据,可包含在座标系中,如在影像撷取器平面202中沿着矢量204的点X1的影像数据(例如,像素)。矢量204延伸在平面202中的点X1与在目标平面π中的对应点Xπ之间。举例来说,既然矢量204被绘制于影像撷取器的平面202上的点与对应地平面的平面π之间,所以矢量204可表示安装在车辆上的影像撷取器朝向地面的角度。
在座标平面202上藉由影像撷取器所撷取的影像数据,可根据矩阵公式Xπ=H*X1而转换(例如,投影)至座标平面π上。矩阵「H」例如可通过对于影像撷取器的校正程序来计算及决定。举例来说,影像撷取器可安装在车辆上的所需位置,且校正影像可用以产生已知环境的影像。在这种情况下,可以获得多对在平面202及平面π中的对应点(例如,点X1及点Xπ可构成一对),而矩阵「H」可基于已知的点来计算。
举例来说,点X1可藉由平面202的座标系统而被定义为X1=(xi,yi,ωi),而点Xπ可藉由平面π的座标系统而被定义为Xπ=(xi’,yi’,ωi’)。在这种情况下,矩阵「H」可被定义为如在方程式1中所示,点X1与点Xπ之间的关系可被定义为如在方程式2中所示。
方程式1:
Figure BDA0002059201750000071
方程式2:
Figure BDA0002059201750000081
安装在车辆的各影像撷取器,可藉由计算影像撷取器安装平面的座标与期望座标平面间的各个转换矩阵「H」,而校正转换至所需的座标平面上。举例来说,在影像撷取器被安装在车辆的前、后及侧面的情况中,各影像撷取器可根据预先决定的各个转换矩阵而加以校正,再藉由这些转换矩阵将影像撷取器所撷取的影像数据转换为在共享的、共同的影像平面上的投影影像资料(例如,如图1的第二影像部分106所示的鸟瞰透视角的地面影像平面,或如图1的第一影像部分104所示的前透视图的共同平面)。在车辆影像系统显示操作期间,来自各影像撷取器的影像数据可使用计算出的矩阵加以转换后相结合,成为从期望的视角显示周围环境的影像。
影像撷取器产生的时间延迟影像数据还可以基于车辆数据来识别。车辆数据可藉由控制及/或监测系统(例如,经通讯路径如控制器区域网路汇流排,controller areanetwork bus,控制器区域网络)来提供。图3绘示车辆未来的位置如何基于包含转向角Φ(例如,平均前轮角度)、车辆速度V及轴距长度L(亦即,车辆前轮及后轮之间的长度)的目前车辆数据而被计算的示意图。车辆未来的位置可用以识别目前撷取的影像数据的哪个部分应该在未来的时间点被使用,以模拟周围环境中被车辆遮蔽部分的影像。
车辆的角速度可基于目前的车辆速度V、轴距长度L及转向角Φ(例如,如在方程式3中所示)来计算。
方程式3:
Figure BDA0002059201750000091
对于各位置,车辆对应的未来位置可基于预测移动量Δyi来计算。预测移动量Δyi可基于距车辆的旋转半径的中心的位置的X轴距离rxi及Y轴距离Lxi以及车辆角速度来计算(例如,根据方程式4)。对于影像撷取器的视野被车辆遮蔽的区域304内的各位置,预测移动量可用以决定预测的未来位置是否落在车辆周围环境的目前可见区域(例如,区域302)内。如果预测的位置是位于目前可见区域内,则目前影像数据在车辆移动至预测位置时,可模拟车辆周围环境中被车辆遮蔽区域的影像。
方程式4:
Figure BDA0002059201750000092
图4绘示原始影像撷取器产生的影像数据如何被座标转换及与时间延迟影像数据结合以显示车辆周围环境的示意图。
在初始时间T-20,多个影像撷取器可撷取且提供车辆的周围环境的原始影像数据。原始影像602之数据帧可藉由例如安装在车辆的前面的第一影像撷取器而撷取,而额外的原始影像数据帧可藉由安装在车辆的左侧、右侧及后面的影像撷取器(图4部分简化以清楚说明)来撷取。各原始影像数据帧包含配置在水平列及垂直行的影像像素。
车辆影像系统可处理来自各影像撷取器的原始影像数据帧,以将影像数据座标转换为共同视角。在图4的实例中,来自各前、左、右及后面的影像撷取器的影像数据帧可从影像撷取器的视角被座标转换为共享鸟瞰、俯视视角(例如,如搭配第2图的描述)。来自影像撷取器且经座标转换的影像数据可互相组合,以形成车辆的周围环境的目前即时取景的影像604。举例来说,区域606可对应于从前方影像撷取器观看及撷取为原始影像602的周围环境区域,而其他区域可藉由其他影像撷取器来撷取并组合为影像604。俯视视角的影像604亦可被储存在影像缓冲记忆体中。视需求,亦可执行额外的影像处理,如执行透镜失真处理以校正影像撷取器聚焦透镜的影像失真。
在一些情况下,安装在车辆的影像撷取器的视角可重迭(例如,前及侧面影像撷取器的视野可在区域606的边界重迭)。视需求,车辆影像系统可结合来自不同的影像撷取器的重迭影像数据,其可有助于增进在重迭区域的影像品质。
如在第4图中所示,区域608可反映周围环境的被遮住部分。举例来说,区域608可对应于影像撷取器的视野中,被车辆车壳或车辆的其他部分所遮住之下方道路。被车辆遮住的区域可基于安装位置及车辆的实体参数(例如,车辆车架的尺寸及形状)来判定。车辆影像系统可将时间延迟影像数据保留在一部分的影像缓冲记忆体中,或是以独立的影像缓冲记忆体保存与被车辆遮住区域相对应的影像数据。在初始时间T-20,可能尚未有影像数据可保存,且影像缓冲记忆体部分610可能是空的或充满初始化数据。车辆影像系统可显示组合的目前影像撷取器影像数据与延迟影像缓冲数据,而成为组合影像611。
在随后的时间T-10,车辆相对于时间T-20可能已经移动了。影像撷取器可在新的环境位置撷取不同的影像(例如,在时间T-10的原始影像602可能与在时间T-20的原始影像602不同),且因此俯视影像604反映车辆自时间T-20已经移动。基于车辆数据,如车辆速度、转向角及轴距长度,影像处理系统可判定在时间T-20于可见区域606,但现在却被车辆车壳遮住(例如,由于车辆在时间T-20与时间T-10之间的移动)之部分。影像处理系统可将所识别的影像数据,从先前的可见区域606转移至影像缓冲记忆体部分610的对应区域612。所显示的影像611包含在区域612中所转移的影像数据,其作为现在从影像撷取器视野被车辆遮住部分的车辆的周围环境的时间延迟模拟影像。
在时间T-10,因为车辆还没有移动足够距离,部分区域尚不足以先前可见的周围环境影像进行模拟,所以影像部分614对应之影像缓冲数据维持为空白的或以初始化数据填满。在随后的时间T,车辆可能已经充分地移动,使得基本上所有被车辆遮住的周围环境,可以从先前可见的周围环境所撷取的时间延迟影像数据来模拟。
在第4图的实例中,车辆在时间T-20与时间T-10之间向前移动,而时间延迟影像缓冲记忆体储存了前方车辆影像撷取器来撷取的影像,这个实例仅是示意性的。车辆可以往任何期望方向移动,而时间延迟影像缓冲记忆体可以藉由任何安装在车辆的合适影像撷取器(例如,前、后或侧面影像撷取器)来撷取的影像数据来更新。一般来说,在任何给定时间中所有或部分来自影像撷取器的结合影像(例如,俯视影像604)可储存并显示,而作为未来车辆周围环境的时间延迟的模拟影像。
第5图为描绘在储存及显示时间延迟影像数据,以模拟目前的车辆周围环境中可藉由影像处理系统来执行的步骤的流程图700。
在步骤702期间,影像处理系统可以用于储存车辆影像撷取器的影像数据的适当大小来初始化影像缓冲记忆体。举例来说,系统可基于期望或支援的最大车辆速度来决定影像缓冲记忆体大小(例如,较大的影像缓冲记忆体大小对较高之最大车辆速度,而较小的影像缓冲记忆体大小对较低之最大车辆速度)。
在步骤704期间,影像处理系统可接收新的影像数据。影像数据可从一或多个车辆影像撷取器来接收,且可反映目前的车辆环境。
在步骤706期间,影像处理系统可将影像数据从影像撷取器的视角转换为所要的共同视角。举例来说,可执行第2图的座标转换,以针对车辆及其周围环境的期望视图,而将从特定影像撷取器所接收的影像数据,投影至期望座标平面(例如,透视图、俯视图或任何其他期望视图)。
在步骤708期间,影像处理系统可接收车辆数据,如车辆速度、转向角、档位位置及其他车辆数据,借以识别车辆的移动及在影像数据中的对应偏移(shift)。
在随后的步骤710期间,影像处理系统可基于所接收的影像数据来更新影像缓冲记忆体。举例来说,影像处理系统可能已经分配部分的影像缓冲记忆体,如第4图的区域608,来表示周围环境的被车辆遮住区域。在这种情况下,影像处理系统可处理车辆数据,以判定先前撷取的影像数据(例如,藉由影像撷取器来撷取且在目前迭代步骤704之前接收的影像数据)的哪个部分,应该被转移或复制到区域608。举例来说,影像处理系统可处理车辆速度、转向角及轴距长度,以识别哪个来自第4图的区域606的影像数据应该被转移到区域608的各部分。作为另一实例,影像处理系统可处理档位资讯,如车辆是在前进档位模式或倒退档位模式,以判定是转移从前方影像撷取器(例如,区域606)或从后方影像撷取器接收的影像数据。
在随后的步骤712期间,影像处理系统可以用在步骤704期间从影像撷取器接收并在步骤706期间转换的新的影像数据来更新影像缓冲记忆体。转换的影像数据可储存在表示周围环境的可见部分的影像缓冲记忆体的区域中(例如,第4图的影像604之缓冲部分)。
视需求,被车辆遮蔽区的透视影像可在选择性步骤714期间,与缓冲影像相迭加。举例来说,如在第1图中所示,车辆的透视影像可与模拟在车辆下面的道路的缓冲影像的部分来重迭(例如,使用时间延迟影像数据)。
藉由结合在步骤712期间的目前所撷取的影像数据,与在步骤710期间的先前所撷取的(例如,时间延迟)影像数据,在任何时间,尽管车辆车壳挡住影像撷取器视野的部分周围环境,但影像处理系统可以藉由缓冲影像产生并维持合成影像以描绘车辆周围环境。此过程可重复执行,以产生显示周围环境的视讯流,仿佛在影像撷取器视野并无被车辆遮蔽般。
在随后的步骤716期间,影像处理系统可从影像缓冲记忆体取得合成影像数据并显示合成影像。视需求,合成影像可与被车辆遮蔽区的透视影像相迭加而一同来显示,其可有助于通知使用者被车辆遮蔽区的存在,且与被车辆遮蔽区一同显示的迭加资讯是时间延迟的。
在第5图的实例中,车辆数据在步骤708期间所接收仅是示例性的。步骤708的操作可在任何合适的时间执行(例如,在步骤704、步骤706或步骤712之前或之后)。
第6图绘示车辆900及安装在车辆的影像撷取器(例如,在车辆车架或其他车辆部分)的示意图。如在第6图中所示,前影像撷取器906可被安装在车辆的前侧(例如,前表面),而后影像撷取器904可被安装在车辆的相对后侧。前影像撷取器906可被定向前面并撷取在车辆900的前面的周围环境的影像,而后影像撷取器904可被定向并撷取靠近车辆后面的环境的影像。右影像撷取器908可被安装在车辆的右侧(例如,在右侧的侧视镜)并撷取在车辆右侧的环境的影像。同样地,左影像撷取器可被安装在车辆的左侧(省略)。
第7图绘示包含储存及处理电路1020及一或多个影像撷取器(例如,影像撷取器1040及一或多个选择性影像撷取器)的示意影像处理系统1000。举例来说,影像撷取器1040可包含光二极体(photodiodes)或其他感光(light-sensitive)元件。各影像撷取器1040可包含各自撷取光以产生影像数据的像素的水平及垂直列。来自像素的影像数据可结合以形成影像数据帧,而连续的影像数据帧可形成视讯数据。影像数据可经通讯路径1120(例如,电缆或电线)被转移至储存及处理电路1020。
储存及处理电路1020可包含处理电路,如一或多个通用处理器、如数位讯号处理器(DSPs)的专用处理器或其他数位处理电路。处理电路可接收且处理从影像撷取器1040接收的影像数据。举例来说,处理电路可执行第5图的步骤,以由目前及时间延迟影像数据产生合成的遮蔽补偿影像。储存电路可用来储存影像。举例来说,处理电路可维持一或多个影像缓冲记忆体1022,以储存所撷取及所处理的影像数据。处理电路可透过通讯路径1160(例如,一或多个电缆,以利控制器区域网路汇流排的通讯汇流排实施于其上)与车辆控制系统1100通讯。处理电路可从车辆控制系统透过路径1160要求且接收车辆数据,如车辆速度、转向角及其他车辆数据。影像数据,如遮蔽补偿视讯,可透过通讯路径1200被提供至显示器1180而加以显示(例如,给使用者,如车辆的驾驶者或乘客)。举例来说,储存及处理电路1020可包含将显示数据提供给显示器1180的一或多个显示缓冲记忆体(未示出)。在这种情况下,储存及处理电路1020可在显示操作期间,从部分的影像缓冲记忆体1022转移要被显示之影像数据至显示缓冲记忆体。
第8图为根据本发明的实施例描绘在显示车辆周围环境的遮蔽补偿影像中,多个缓冲记忆体如何可被连续更新以储存目前及时间延迟影像撷取器影像数据的示意图。在第8图的实例中,影像缓冲记忆体被使用来在时间t、t-n、t-2n、t-3n、t-4n及t-5n(例如,其中n表示可基于车辆速度来决定的单位时间,以藉由车辆影像系统来支持)连续地储存所撷取的影像数据。
在显示车辆周围环境的遮蔽补偿影像时,影像数据可从影像缓冲记忆体取得及结合,其可藉由减少模糊程度而有助于增进影像品质。使用的缓冲记忆体数量可基于车辆速度来决定(例如,为了较快的速度可使用较多的缓冲记忆体,而对于较慢的速度可使用较少的缓冲记忆体)。在第8图的实例中,使用五个缓冲记忆体。
当车辆沿路径1312移动时,影像缓冲记忆体连续地储存所撷取的影像(例如,来自车辆上的影像感测器的结合及座标转换影像)。对于在时间t之目前车辆位置1314,目前的车辆之周围环境被车辆遮住的部分可藉由结合部分在时间t-5n、t-4n、t-3n、t-2n及t-n所撷取的影像来重建。对于被车辆遮住的车辆之周围环境的影像数据,可在显示操作期间,从部分的多个影像缓冲记忆体转移至对应的部分的显示缓冲记忆体1300。来自缓冲记忆体(t-5n)的影像数据可被转移至显示缓冲部分1302,来自缓冲记忆体(t-4n)的影像数据可被转移至显示部分1304等。所得到的结合影像,使用先前连续时间储存在多个影像缓冲记忆体中的时间延迟资讯,重建而模拟目前被车辆遮住的车辆之周围环境。
请参阅图9,图9为依照本发明的车辆影像系统的实施例的示意图。车辆影像系统安装于一车辆800上,车辆800是一台电动汽车,需要在充电站进行充电。为了前项工作,车辆800设有一电力接收器810。依照本发明,车辆影像系统应包括安装于车辆800上的至少一影像撷取器、一处理模块820及一显示模块830(显示于图10)。在本实施例中,以4个影像撷取器来说明,分别是一第一影像撷取器801、一第二影像撷取器802、一第三影像撷取器803及一第四影像撷取器804。依照本发明,影像撷取器的数量不限定只有4个。至少一个影像撷取器就够了。第一影像撷取器801安装于车辆800的前方,第二影像撷取器802安装在左侧后视镜上,第三影像撷取器803安装在右侧后视镜上,第四影像撷取器804安装在后座附近,相机镜头朝向后窗。在其它实施例中,第一影像撷取器801可以安装在车辆800的照后镜上,第二影像撷取器802可以安装在左侧修饰条上,第三影像撷取器803可以安装在右侧修饰条上,第四影像撷取器804可以安装在保险杆上。只要影像撷取器能够获取所需的数据,本发明不会限制影像撷取器的位置。多个影像撷取器能由车辆800的周围环境撷取影像产生连续的影像资料帧。如图9所示,第一影像撷取器801有视野V801,第二影像撷取器802有视野V802,第三影像撷取器803有视野V803,第四影像撷取器804有视野V804。要强调的是,代表特定视野的任何封闭区域只是解释性的,并不限制一个影像撷取器能够达到的最远范围。依照本发明,影像撷取器可以是,但不限于,相机、带镜头的影像侦测单元或光二极管。由于相邻影像撷取器视野之间存在重叠,通过常规技术,例如减少失真,转换视角,拼接影像和优化影像,可以获得环景影像。这是一种影像资料帧。随着运行时间的增加,可以产生出越来越多的影像资料帧。在其它实施例中,也可以只使用一个影像撷取器。从而,撷取影像来自单一视角,连续的影像资料帧就不再是环景影像,这是另一种影像资料帧。
在本实施例中,影像撷取器装配了180度广角镜头。理想的情况下,它们可以配备鱼眼镜头。然而,由于邻近的物体,它们的一部分视野可能受阻碍。举例来说,第一影像撷取器801的视野被两盏前车灯挡住,视野V801的有效范围小于180度。第四影像撷取器804的视野被车辆800的框架阻挡,视野V804缺少一部分且有效范围小于180度。其余二个影像撷取器803与804的视野不会被车辆800的任何部分阻挡,因此视野V802和V803符合原始设计。虚线区域用于指出阻挡区域的位置。此外,在环景影像中,因为车辆800之故,任何影像撷取器都无法看到车辆底部以下的地方。因此,总结来说,每一影像撷取器的撷取影像视野被车辆800遮住车辆底部景物或部分周遭景物,以致多个连续的影像资料帧中的任一帧皆缺少车辆底部景物或部分周遭景物影像。
处理模块820与4个影像撷取器连接,是车辆计算机的一部分且具有一电力接收器位置资料。电力接收器位置资料描述电力接收器810位置相对于车辆800的位置。在本实施例中,电力接收器810安装于车辆800底盘附近。举例来说,电力接收器位置资料可以包括电力接收器810的几何中心到车辆800的几何中心的距离和方向,或是基于相对坐标系统电力接收器810和车辆800上的一些锚点的坐标。无论电力接收器位置资料的格式是什么,如果车辆800的位置已知,它就可用于定位电力接收器810。处理模块820能接收来自影像撷取器连续的影像资料帧,也能在车辆800移动后藉由多个连续的影像资料帧实时产生描绘车辆800遮住的车辆底部景物及部分周遭景物的一影像资料。产生影像资料的原理细节与以上所公开的内容相同,不再重复。
此外,处理模块820能进一步辨识多个连续的影像资料帧中是否存在一电力发射器露出于地面部分的一外观影像或于环境中的一指标影像。电力发射器可以是放置在地面上的充电板,或部分埋在地下而露出充电桩的形式。处理模块820知道可以在地面上看到的电力发射器部分并用它在连续的影像资料帧中找到影像。如果电力发射器固定在地下并透过空气对车辆800充电,地面或相邻固定装置上会有一些标记,告知驾驶员如何将车辆800移动到对齐位置进行充电。“标记”就是指标影像,这也是处理模块820所知道的,用于在连续的影像资料帧中进行识别。从而,处理模块820能在辨识出外观影像或指标影像后定出所述外观影像或所述指标影像与车辆800间的相对位置。一旦确定了相对位置,关于电力发射器的一电力发射器位置资料可在连续的影像资料帧中标注。所述电力发射器位置资料可以是关于位置的描述(在一相对坐标系统中)及标注在连续的影像资料帧的元数据(metadata)中。实际上,电力发射器位置资料可以是形成电力发射器的一部分的外观影像的像素。
图10给出了处理模块820以及与车辆800上的其它模块和设备的互动的详细说明,图10为车辆影像系统与其连接硬件的方框图。车辆影像系统以虚线框标示。处理模块820包括一处理电路821、一记忆单元822、一学习单元823、一物体侦测单元824及一路径产生单元825。处理电路821是处理车辆影像系统提供的一些重要执行任务的中央控制硬件。举例来说,处理电路821运作以处理影像资料帧并产生影像资料,包含一中央处理器(CentralProcessing Unit,CPU)及组装在印刷电路板(未绘示)上的数个辅助的主被动元件。在某些实施例中,中央处理器可以由专用集成电路(Application Specific IntegratedCircuit,ASIC)代替。处理电路821与影像撷取器连接。处理电路821和影像撷取器之间的连接可以是有线的(例如使用电线)或无线的(例如透过蓝牙)。
为了能临时缓冲记忆和长时间储存,记忆单元822提供了相关的储存功能。整体来说,记忆单元822可以配备有一随机存取存储器(Random Access Memory,RAM)8221用于临时缓冲记忆,及一快闪存储器8222用于长时间储存。在某些例子中,硬盘可以替代快闪存储器8222。在处理电路821调用之前,任何程序码或资料都储存在快闪存储器8222中。随机存取存储器8221暂时保存处理电路821在进行一步释放之前运行的程序码或资料。记忆单元822在本发明中的重要性在于储存连续的影像资料帧和影像资料。
学习单元823连接处理电路821与记忆单元822,可以运作以学习外观影像或指标影像。对不同的充电站来说,可以用不同的外观影像和/或指标影像来指引车辆。除非在车辆800组装出售期间将外观影像和/或指标影像储存在记忆单元822中,车辆800将永远不会知道外观影像和/或指标影像。从而,学习单元823协助车辆800认知新的外观影像或指标影像。有两种学习功能:自我学习和云端学习。对自我学习而言,学习单元823从多个影像资料与影像资料帧中学习以获得电力发射器露出于地面部分的外观影像或于环境中的指标影像,并获得当电力接收器810运转时电力发射器的位置或车辆800的驾驶员由多个影像资料帧或影像资料中选出的位置。现有各种学习算法和相关的开源程序码可用于达成学习的目的,算法、开源程序码甚至新开发的程序码的使用不受本发明的限制。学习结果可以由学习单元823记录为第一软件包并储存第一软件包于记忆单元822中。云端学习为由外部(例如一云端服务器)接收一第二软件包并取得第二软件包中的一外观影像或一指标影像。第二软件包可以有线地(例如由一个RJ45电线连接乙太网络界面)或无线地(例如透过蓝牙或wi-fi连接网络接入点)接收。甚至,第二软件包可以由实体设备,例如USB储存器或硬盘,储存并传送到学习单元823。第一软件包和第二软件包的资料结构是相同的。然而,自我学习程序是由云服务器而不是车辆800本身完成的,并由此创建了第二软件包。自我学习程序也可以在另一个车辆中完成,第二软件包在创建后上传到云服务器。通过这种方式,可以节省学习单元823和处理电路821的资源。相似地,第一软件包也可以上传到云服务器,将学习单元823学到的内容分享给其它的车辆。要强调的是对于使用安装在车辆上的车辆影像系统的任何学习单元来说,它可能只应用了其中一个学习功能。两种学习功能也可以设计于一个学习单元823中。在本实施例中,学习单元823是处理模块820中的部分硬件。在其它实施例中,学习单元823可以不是硬件形式,而是在处理模块820中运作的软件。
物体侦测单元824与处理电路821及学习单元823连接,能在连续的影像资料帧中,依照外观影像或指标影像、预设值或通过第一软件包或第二软件包,定出外观影像或指标影像的位置。前述的位置,举例来说,可以是离移动方向5.2公尺和271度,可提供给路径产生单元825,用于进行一步计算。
路径产生单元825与物体侦测单元824连接。路径产生单元825与数个安装在车辆800上的距离测量装置840及一车辆控制模块850,透过控制器区域网络(Controller AreaNetwork,CAN)860。距离测量装置840,例如超音波传感器,雷达或光学雷达(LiDAR),固定在车辆800周围以侦测附近的物体。物体的位置资料用于确定检测物体的位置,并且也被发送到路径产生单元825以供进行下一步使用。车辆控制模块850是控制车辆800的运动的电子硬件。车辆控制模块850可包括一转向控制器851,其依照方向盘控制轮子的方向;一加速控制器852,其基于加速器控制马达的操作;一刹车控制器853,在踩下刹车时减慢车辆800的速度;及一档位控制器854,编程控制正在使用的档位。车辆控制模块850可由驾驶操作。在一自动模式下,车辆控制模块850可以在没有人为控制的情况下遵循某些特定指令运作。基于物体侦测单元824在连续的影像资料帧中确定的外观影像或指标影像的位置及来自距离测量装置840的位置资料,路径产生单元825使用电力接收器位置资料与外观影像或指标影像的位置,能产生一移动路径用以引导车辆80,从而使电力接收器810与电力发射器能重叠。为了更好地了解路径产生单元825的工作原理,请参阅图11,图示移动路径如何产生。于时间T(车辆800的影像位于左上角)时,车辆800的第三影像撷取器803撷取到一电力发射器870(内部具有十字的圆圈)的影像。接着,时间T后的连续的影像资料帧包含了电力发射器870的影像。同时,随着时间的推移,影像资料产生了。路径产生单元825从距离测量装置840获取资料,有两面墙w将电力发射器870夹在中间。车辆800需要向右向后退并避免碰撞墙壁,以使电力接收器810与电力发射器870重叠而充电。从而,在时间T+10(车辆800的影像位于右上角)时,路径产生单元825产生一个移动路径(以粗虚线表示)。移动路径是以控制讯号的形式发送到车辆控制模块850,车辆控制模块850可以按照控制讯号在自动模式中移动车辆800。在时间T+20(车辆800的影像位于底部)时,车辆800移动到对齐位置,电力接收器810和电力发射器870重叠。
依照本发明,处理模块820能进一步使用4个(至少一个)影像撷取器与车辆800的相对位置,计算出关于车辆800的垂直投影在影像资料中的位置的一车辆鸟瞰资料。车辆鸟瞰资料基本上是车辆800的上视图,只要知道任何一个影像撷取器的绝对位置,就可以确定上视图大小和方向(在影像撷取器和车辆800的中心轴之间的安装角度可以获知方向)。车辆鸟瞰资料用于将车辆800的影像显示于显示模块830上。请参阅图12,图示出现在显示模块830上的二个对比图。左侧图显示了车辆影像系统刚刚启动时的车辆800,车辆800的垂直投影和两个阻挡区域(灰色区域)覆盖环景影像中部分地表。在车辆800向前移动几秒钟后,因为产生了影像资料,所有地面景物都清晰呈现。车辆鸟瞰资料用于以边界线绘制车辆800的鸟瞰图,显示给驾驶让其知道车辆800目前在哪(如右侧图所示)。当然,车辆800的鸟瞰图可以是透明的,不透明的或半透明的,只要驾驶员喜欢该效果即可。
依照本发明,处理模块820能进一步接收关于车辆800的至少一轮子的转向角的一车辆转向资料(例如来自车辆控制模块850的转向控制器851或监控转向角的其它装置)。同时,处理模块820通过结合车辆鸟瞰资料与转向角以计算前述至少一轮子在影像资料中的轮子位置资料。轮子位置资料用于在显示模块830上显示轮子的状态(位置和方向)。请见图13,在显示模块830上由虚线长方形绘制4个轮子805。驾驶员可以很容易地知道前轮向前、向左或向右倾斜。依照本发明,轮子的数量不限于4个。当车辆800配备更多轮子时,可以显示更多的轮子。同时,呈现的方式不仅限于虚线长方形,可以使用彩色图像、各种边界线、想要的形状、甚至是3D效果图案。
显示模块830与处理模块820连接,可以显示处理模块820发送的任何信息。实作上,显示模块830可以是LCD、OLED、PLED或Micro LED监视器。优选地,显示模块830具有可以互动的触控功能。显示模块830能显示电力接收器位置资料、影像资料、连续的影像资料帧、车辆鸟瞰资料、轮子位置资料、电力接收器的虚拟影像,及外观影像或指标影像至少其中之一。这些资料可以文字和数值显示,也可以是图形。甚至部分是带有数值的文字、部分是图形。
在接下来的实施例中揭露使用车辆影像的车辆定位方法。一些方法可支持车辆影像系统的操作,并将在特定模式下与车辆影像系统的操作程序一起说明。
请参阅图14,图为本发明的使用车辆影像的车辆定位方法的第一实施例流程图。所述方法适用于设有至少一影像撷取器与一电力接收器的车辆。所述方法的第一步骤为通过至少一影像撷取器由车辆的周围环境撷取影像以产生连续的影像资料帧(S01)。如上所述,至少一影像撷取器的撷取影像视野被车辆遮住车辆底部景物或部分周遭景物,以致多个连续的影像资料帧中的任一帧皆缺少车辆底部景物或部分周遭景物影像。接着,第二步骤为通过具有电力接收器位置相对于车辆位置的一电力接收器位置资料的一处理模块,从至少一影像撷取器接收连续的影像资料帧(S02)。这里,处理模块是个集合名词,它可以包括如上所述的从属单位。处理模块也可以看作是一个提供足够功能以满足方法要求的单一装置。第三步骤是通过处理模块在车辆移动后由多个连续的影像资料帧实时产生描绘车辆遮住的车辆底部景物及部分周遭景物的一影像资料(S03)。
步骤S01到S03启动车辆影像系统来观看车辆环境。接着,通过处理模块辨识多个连续的影像资料帧中是否存在一电力发射器露出于地面部分的一外观影像或于环境中的一指标影像(S04)。在这个例子中,外观影像或指标影像已预载至处理模块。与实际操作相比,由于车辆的处理模块在组装出售时已知的外观影像或指标影像,当应用步骤S04时,处理模块可以在没有外部云服务器的帮助或额外学习步骤的情况下自动运作取得外观影像或指标影像。如果步骤S04的结果为是,意味在连续的影像资料帧中找到前述的外观影像或指标影像,在辨识出外观影像或指标影像后,通过处理模块定出外观影像或指标影像与车辆间的相对位置(S05)。如果步骤S04的结果为否,意味没有在连续的影像资料帧中找到前述的外观影像或指标影像且只有目前环境景物,就重复步骤S04本身直到外观影像或指标影像被发现。步骤S04是处理模块的基本功能。在步骤S05完成后,驾驶员可选择使用自动模式移动车辆,以便车辆上的电力接收器能与电力发射器重叠。驾驶员也可以选择在驾驶模式中自行驾驶车辆。在自动模式中,所述方法执行接下来的步骤:通过处理模块使用电力接收器位置资料与外观影像或指标影像的位置产生一移动路径(S06)。最后,步骤:通过处理模块引导所述车辆,以使电力接收器与电力发射器重叠(S07),车辆成功地依照移动路径移动。
如果在车辆组装出售期间外观影像或指标影像没有预先装载到处理模块,或是需要新的外观影像或指标影像以便在其它充电系统中对车辆充电,需要进一步的步骤处理自我学习或从云服务器接收结果。请参阅图15,图为本发明的使用车辆影像的车辆定位方法的实施例的第二流程图。前三个步骤与前一个实施例的相同,将不在此重述。第四步骤为通过处理模块从多个影像资料与影像资料帧中学习以获得一电力发射器露出于地面部分的一外观影像或于环境中的一指标影像,并获得当电力接收器运转时电力发射器的位置或驾驶员由多个影像资料帧或影像资料中选出的位置(S11)。如前所述,有许多算法和开源程序码可以用于自我学习,步骤S11仅是应用算法和/或开源程序码的结果。然而,当获得电力发射器的位置时,可以遵循学习的结果。学习的细节可以是每当电力接收器运转充电时,处理模块分析影像资料帧和影像资料中的所有景物,找出共同的特征。电力发射器的位置也可以依照驾驶的经验,通过输入指令来指出电力发射器的位置。举例来说,在图11中,当处理模块820正在从影像资料和影像资料帧中学习什么是电力发射器870时,因为司机知道,所以司机可以直接决定内部具有十字的圆圈就是电力发射器870。举例来说,驾驶可以简单地指向具有触控功能的显示模块830上内部具有十字的圆圈,并且决定图案为电力发射器870。从而,学习时间可以缩短,结果也是正确的。接着,通过处理模块将学习结果纪录为一第一软件包(S12)。因为外观影像或指标影像被定出了,通过处理模块辨识多个连续的影像资料帧中是否存在外观影像或指标影像(S13)。如果步骤S13的结果为是,在辨识出外观影像或指标影像后,通过处理模块定出外观影像或指标影像与车辆间的相对位置(S14)。如果步骤S13的结果为否,就重复步骤S13直到外观影像或指标影像被发现。相似地,步骤S14可接续步骤S06与S07而用于自动模式。
另一方面,如果外观影像指标影像不是自学而来,而是来自云服务器,就需要修改的方法了。请见图16,图为本发明的使用车辆影像的车辆定位方法的第三实施例流程图。前三个步骤与前一个实施例的相同。第四步骤为通过处理模块由外部接收一第二软件包(S21)。如上所述,第二软件可以是有线地(例如通过一个RJ45电线连接乙太网络界面)或无线地(例如透过蓝牙或wi-fi连接网络接入点)接收。甚至,第二软件包可以由实体设备,例如USB储存器或硬盘,储存并传送到处理模块。接着,通过处理模块取得第二软件包中一电力发射器露出于地面部分的一外观影像或于环境中的一指标影像(S22)。这意味着新的外观影像或指标已经在第二软件包中,这是由在其它车辆中的处理模块或云服务器中获得的。接着,在多个影像资料及影像资料帧中,通过处理模块定出外观影像或指标影像的位置(S23)。通过处理模块辨识多个连续的影像资料帧中是否存在外观影像或指标影像(S24)。如果步骤S24的结果为是,在辨识出外观影像或指标影像后,通过处理模块定出外观影像或指标影像与车辆间的相对位置(S25)。如果步骤S24的结果为否,就重复步骤S24直到外观影像或指标影像被发现。相似地,步骤S25可接续步骤S06与S07而用于自动模式。
为了应用驾驶模式,一显示模块是必要的,且需要一些预备信息。请见图17,图为准备及显示预备信息的额外步骤的流程图。首先,通过处理模块使用至少一影像撷取器与车辆的相对位置,计算出关于车辆的垂直投影在影像资料中的位置的车辆鸟瞰资料(S31)。车辆鸟瞰资料的目的已于上面提供,不再重复。虽然自动模式并不要求,但车辆鸟瞰资料对显示模块上的车辆可视化非常重要。接着,其它步骤可以接续步骤S31进行:通过处理模块接收关于车辆的至少一轮子的转向角的一车辆转向资料(S32)及通过处理模块结合车辆鸟瞰资料与转向角,计算至少一轮子在影像资料中的一轮子位置资料(S33)。最后,由一显示模块显示电力接收器位置资料、影像资料、连续的影像资料帧、车辆鸟瞰资料、轮子位置资料、电力接收器的虚拟影像,及外观影像或指标影像至少其中一(S34)。
有一些关键点应该强调。首先,步骤S32与S33在其它实施例中可能不是必要的。因此,对应的轮子位置资料不是步骤S34中的选项。此外,步骤S31至S34,或步骤S31与S34,能应用于图14至图16中流程图的步骤S03至S07间。步骤S34中的某些要件不是必须的。举例来说,如果步骤S31到S34直接应用于前述每一图式的步骤S03之后,外观影像或指标影像将不会在显示模块上显示,因为它在步骤S04之后才得到。
如果驾驶员想要自己驾驶以将车辆充电(驾驶模式),可以修改本发明的方法以达到目的。驾驶模式有三种情况:<情况1>车辆没有电力发射器的资料(外观影像或指标影像)且驾驶员必须自己开车;<情况2>车辆辨识电力发射器,但是驾驶员想自己开车给车辆充电;及<情况3>在只有显示模块的帮助下,驾驶员自己开车给车辆充电。以下是这些情况的描述。
请见图18,图为本发明的车辆定位方法在驾驶模式的情况1下的第一实施例流程图。具有步骤S01、S02、S03的步骤序列和新步骤S41驾驶车辆以便电力接收器与一电力发射器重叠(S41)。处理模块与至少一影像撷取器被启动且被车辆遮住车辆底部景物或部分周遭景物由处理模块获得。然而,驾驶员不使用处理模块的其它功能来帮助他驾驶车辆充电。当车辆充电时,使用者可以再次打开处理模块,开始自我学习电力发射器以备将来使用。
请见图19,图为本发明的车辆定位方法在驾驶模式的情况2下的第二实施例流程图。方法具有步骤S01、S02、S03、S04、S05和S41的步骤序列。这意味着即使处理模块找到电力发射器,也产生了移动路径来引导车辆(步骤S06与S07),驾驶员还是拒绝方便的功能并自己驾驶。
请见图20,图为本发明的车辆定位方法在驾驶模式的情况3下的第三实施例的流程图。具有步骤序列:步骤S01、S02、S03、S31、S32、S33、来自步骤S34的修改后的步骤S34-1(由一显示模块显示电力接收器位置资料、影像资料、连续的影像资料帧、车辆鸟瞰资料、轮子位置资料与电力接收器的虚拟影像),及前述的步骤S41。很明显,驾驶员可以从显示模块上看到一些有用的信息。然而,他不想启动步骤S04和S05的功能,他必须在显示模块的帮助下自己开车。
虽然本发明已以实施方式揭露如上,然其并非用以限定本发明,任何所属技术领域中具有通常知识者,在不脱离本发明之精神和范围内,当可作些许之更动与润饰,因此本发明之保护范围当视后附之申请专利范围所界定者为准。

Claims (21)

1.一种车辆影像系统,安装于一车辆,所述车辆设有一电力接收器,其特征在于,所述系统包含:
至少一影像撷取器,安装在所述车辆上,所述至少一影像撷取器由所述车辆的周围环境撷取影像以产生连续的影像资料帧,其中所述至少一影像撷取器的撷取影像视野被所述车辆遮住车辆底部景物或部分周遭景物,以致多个所述连续 的影像资料帧中的任一帧皆缺少车辆底部景物或部分周遭景物影像;及
一处理模块,与所述至少一影像撷取器连接,具有所述电力接收器位置相对于所述车辆位置的一电力接收器位置资料,接收来自所述至少一影像撷取器的连续的影像资料帧,及在车辆移动后由多个所述连续 的影像资料帧实时产生描绘所述车辆遮住的车辆底部景物及部分周遭景物的一影像资料,其中所述处理模块进一步辨识多个所述连续 的影像资料帧中是否存在一电力发射器露出于地面部分的一外观影像或于环境中的一指标影像,并在辨识出所述外观影像或所述指标影像后定出所述外观影像或所述指标影像与所述车辆间的相对位置,所述处理模块还包括一物体侦测单元,所述物体侦测单元用以在多个所述连续 的影像资料帧中定出所述外观影像或所述指标影像的位置。
2.根据权利要求1所述的车辆影像系统,其特征在于,所述处理模块其特征在于,还包括:
一记忆单元,所述记忆单元用以储存多个所述连续 的影像资料帧及所述影像资料;及
一学习单元,所述学习单元运作用以执行以下功能之一:
从多个影像资料帧与影像资料中学习以获得一电力发射器露出于地面部分的一外观影像或于环境中的一指标影像,并获得当所述电力接收器运转时所述电力发射器的位置或驾驶员由所述多个影像资料帧或影像资料中选出的位置,以及将学习结果纪录为第一软件包;及
由外部接收一第二软件包并取得其中的一外观影像或一指标影像。
3.根据权利要求2所述的车辆影像系统,其特征在于,所述学习单元为所述处理模块中的部分硬件,或运作于所述处理模块中的软件。
4.根据权利要求1所述的车辆影像系统,其特征在于,所述处理模块还包括一路径产生单元,所述路径产生单元使用所述电力接收器位置资料与所述外观影像或所述指标影像的位置产生一移动路径用于引导所述车辆,以使所述电力接收器与所述电力发射器重叠。
5.根据权利要求1所述的车辆影像系统,其特征在于,所述处理模块进一步使用所述至少一影像撷取器与所述车辆的相对位置,计算出关于所述车辆的垂直投影在所述影像资料中的位置的一车辆鸟瞰资料。
6.根据权利要求5所述的车辆影像系统,其特征在于,所述处理模块进一步接收关于所述车辆的至少一轮子的转向角的一车辆转向资料,并通过结合所述车辆鸟瞰资料与所述转向角以计算所述至少一轮子在所述影像资料中的一轮子位置资料。
7.根据权利要求1所述的车辆影像系统,其特征在于,还包括一显示模块,所述显示模块与所述处理模块连接,用以显示所述电力接收器位置资料、所述影像资料、所述连续的影像资料帧及所述电力接收器的虚拟影像的至少其中之一。
8.根据权利要求1所述的车辆影像系统,其特征在于,还包括一显示模块,所述显示模块与所述处理模块连接,用以显示所述电力接收器位置资料、所述影像资料、所述连续的影像资料帧、所述电力接收器的虚拟影像,及所述外观影像或所述指标影像的至少其中之一。
9.根据权利要求5所述的车辆影像系统,其特征在于,还包括一显示模块,所述显示模块与所述处理模块连接,用以显示所述电力接收器位置资料、所述影像资料、所述连续的影像资料帧、所述车辆鸟瞰资料、所述电力接收器的虚拟影像,及所述外观影像或所述指标影像的至少其中之一。
10.根据权利要求6所述的车辆影像系统,其特征在于,还包括一显示模块,所述显示模块与所述处理模块连接,用以显示所述电力接收器位置资料、所述影像资料、所述连续的影像资料帧、所述车辆鸟瞰资料、所述轮子位置资料、所述电力接收器的虚拟影像,及所述外观影像或所述指标影像的至少其中之一。
11.一种使用车辆影像的车辆定位方法,适用于设有至少一影像撷取器与一电力接收器的车辆,其特征在于,包含:
通过所述至少一影像撷取器由所述车辆的周围环境撷取影像以产生连续的影像资料帧,其中所述至少一影像撷取器的撷取影像视野被所述车辆遮住车辆底部景物或部分周遭景物,以致多个所述连续 的影像资料帧中的任一帧皆缺少车辆底部景物或部分周遭景物影像;
通过具有所述电力接收器位置相对于所述车辆位置的一电力接收器位置资料的一处理模块,从所述至少一影像撷取器接收所述连续的影像资料帧;及
通过所述处理模块在车辆移动后藉由多个所述连续 的影像资料帧实时产生描绘所述车辆遮住的车辆底部景物及部分周遭景物的一影像资料。
12.根据权利要求11所述的车辆定位方法,其特征在于,还包括:
通过所述处理模块辨识多个所述连续 的影像资料帧中是否存在一电力发射器露出于地面部分的一外观影像或于环境中的一指标影像;及
通过辨识出所述外观影像或所述指标影像后,以所述处理模块定出所述外观影像或所述指标影像与所述车辆间的相对位置。
13.根据权利要求11所述的车辆定位方法,其特征在于,还包括:
通过所述处理模块从多个影像资料帧与影像资料中学习以获得一电力发射器露出于地面部分的一外观影像或于环境中的一指标影像,并获得当所述电力接收器运转时所述电力发射器的位置或驾驶员由所述多个影像资料帧或影像资料中选出的位置;
通过所述处理模块纪录学习结果为一第一软件包;
通过所述处理模块辨识多个所述连续 的影像资料帧中是否存在所述外观影像或所述指标影像;及
在辨识出所述外观影像或所述指标影像后,通过所述处理模块定出所述外观影像或所述指标影像与所述车辆间的相对位置。
14.根据权利要求11所述的车辆定位方法,其特征在于,还包括:
通过所述处理模块由外部接收一第二软件包;
通过所述处理模块取得所述第二软件包中一电力发射器露出于地面部分的一外观影像或于环境中的一指标影像;
通过所述处理模块定出所述外观影像或所述指标影像的位置;
通过所述处理模块辨识多个所述连续 的影像资料帧中是否存在所述外观影像或所述指标影像;及
在辨识出所述外观影像或所述指标影像后,通过所述处理模块定出所述外观影像或所述指标影像与所述车辆间的相对位置。
15.根据权利要求12所述的车辆定位方法,其特征在于,还包括:
通过所述处理模块使用所述电力接收器位置资料与所述外观影像或所述指标影像的位置产生一移动路径;及
通过所述处理模块引导所述车辆,以使所述电力接收器与所述电力发射器重叠。
16.根据权利要求11所述的车辆定位方法,其特征在于,还包括:
通过所述处理模块使用所述至少一影像撷取器与所述车辆的相对位置,计算出关于所述车辆的垂直投影在所述影像资料中的位置的一车辆鸟瞰资料。
17.根据权利要求16所述的车辆定位方法,其特征在于,还包括:
通过所述处理模块接收关于所述车辆的至少一轮子的转向角的一车辆转向资料;及
通过所述处理模块通过结合所述车辆鸟瞰资料与所述转向角,计算所述至少一轮子在所述影像资料中的一轮子位置资料。
18.根据权利要求11所述的车辆定位方法,其特征在于,还包括:
通过一显示模块显示所述电力接收器位置资料、所述影像资料、所述连续的影像资料帧及所述电力接收器的虚拟影像的至少其中之一。
19.根据权利要求12所述的车辆定位方法,其特征在于,还包括:
通过一显示模块显示所述电力接收器位置资料、所述影像资料、所述连续的影像资料帧、所述电力接收器的虚拟影像,及所述外观影像或所述指标影像的至少其中之一。
20.根据权利要求16所述的车辆定位方法,其特征在于,还包括:
通过一显示模块显示所述电力接收器位置资料、所述影像资料、所述连续的影像资料帧、所述车辆鸟瞰资料,及所述电力接收器的虚拟影像的至少其中之一。
21.根据权利要求17所述的车辆定位方法,其特征在于,还包括:
通过一显示模块显示所述电力接收器位置资料、所述影像资料、所述连续的影像资料帧、所述车辆鸟瞰资料、所述轮子位置资料,及所述电力接收器的虚拟影像的至少其中之一。
CN201910399270.7A 2019-05-14 2019-05-14 车辆影像系统及使用车辆影像的车辆定位方法 Active CN111942288B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910399270.7A CN111942288B (zh) 2019-05-14 2019-05-14 车辆影像系统及使用车辆影像的车辆定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910399270.7A CN111942288B (zh) 2019-05-14 2019-05-14 车辆影像系统及使用车辆影像的车辆定位方法

Publications (2)

Publication Number Publication Date
CN111942288A CN111942288A (zh) 2020-11-17
CN111942288B true CN111942288B (zh) 2022-01-28

Family

ID=73336507

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910399270.7A Active CN111942288B (zh) 2019-05-14 2019-05-14 车辆影像系统及使用车辆影像的车辆定位方法

Country Status (1)

Country Link
CN (1) CN111942288B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100610124B1 (ko) * 2005-01-18 2006-08-09 현대자동차주식회사 차량의 이중 후방시계 안전 확보장치
CN101201240A (zh) * 2006-12-12 2008-06-18 财团法人工业技术研究院 影像撷取装置位置的自动侦测方法与车辆碰撞警示系统
CN101232605A (zh) * 2007-01-24 2008-07-30 旺玖科技股份有限公司 影像撷取装置
CN101559773A (zh) * 2006-12-12 2009-10-21 财团法人工业技术研究院 影像撷取装置位置的自动侦测方法与车辆碰撞警示系统
CN102271261A (zh) * 2010-06-07 2011-12-07 天瀚科技股份有限公司 立体影像撷取及播放装置
CN107021015A (zh) * 2015-11-08 2017-08-08 欧特明电子股份有限公司 用于图像处理的系统及方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5550677A (en) * 1993-02-26 1996-08-27 Donnelly Corporation Automatic rearview mirror system using a photosensor array
JP3508665B2 (ja) * 1999-12-24 2004-03-22 株式会社豊田自動織機 操舵支援装置
JP4286294B2 (ja) * 2007-02-21 2009-06-24 三洋電機株式会社 運転支援システム
JP4446201B2 (ja) * 2007-03-30 2010-04-07 アイシン・エィ・ダブリュ株式会社 画像認識装置及び画像認識方法
EP2660104B1 (en) * 2010-12-30 2015-09-23 Wise Automotive Corporation Apparatus and method for displaying a blind spot
JP5960466B2 (ja) * 2012-03-28 2016-08-02 京セラ株式会社 画像処理装置、撮像装置、車両の運転支援装置、及び画像処理方法
JP5761159B2 (ja) * 2012-11-16 2015-08-12 株式会社デンソー 運転支援装置、および運転支援方法
BR112016007088B1 (pt) * 2013-09-30 2021-08-17 Nissan Motor Co., Ltd. Dispositivo de fornecimento de energia sem fio e dispositivo assistente de estacionamento
JP6020507B2 (ja) * 2014-04-14 2016-11-02 トヨタ自動車株式会社 車両用画像表示装置及び車両用画像表示方法
KR102270578B1 (ko) * 2014-11-18 2021-06-29 현대모비스 주식회사 차량의 전방 정보 표시 제어 장치 및 방법
CN105128744A (zh) * 2015-09-18 2015-12-09 浙江吉利汽车研究院有限公司 一种立体360度全景影像系统及其实现方法
CN108099788A (zh) * 2016-11-25 2018-06-01 华创车电技术中心股份有限公司 三维行车影像辅助装置
TWM541406U (zh) * 2017-02-06 2017-05-11 Otobrite Electronics Inc 車用影像整合系統
CN108099789A (zh) * 2017-11-10 2018-06-01 北汽福田汽车股份有限公司 影像合成方法及装置、标定模型建立方法及装置及车辆

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100610124B1 (ko) * 2005-01-18 2006-08-09 현대자동차주식회사 차량의 이중 후방시계 안전 확보장치
CN101201240A (zh) * 2006-12-12 2008-06-18 财团法人工业技术研究院 影像撷取装置位置的自动侦测方法与车辆碰撞警示系统
CN101559773A (zh) * 2006-12-12 2009-10-21 财团法人工业技术研究院 影像撷取装置位置的自动侦测方法与车辆碰撞警示系统
CN101232605A (zh) * 2007-01-24 2008-07-30 旺玖科技股份有限公司 影像撷取装置
CN102271261A (zh) * 2010-06-07 2011-12-07 天瀚科技股份有限公司 立体影像撷取及播放装置
CN107021015A (zh) * 2015-11-08 2017-08-08 欧特明电子股份有限公司 用于图像处理的系统及方法

Also Published As

Publication number Publication date
CN111942288A (zh) 2020-11-17

Similar Documents

Publication Publication Date Title
US11657604B2 (en) Systems and methods for estimating future paths
CN107021015B (zh) 用于图像处理的系统及方法
EP1462762B1 (en) Circumstance monitoring device of a vehicle
US10930070B2 (en) Periphery monitoring device
KR20020066214A (ko) 화상 합성 장치
JP2009524171A (ja) 複数の画像を結合して鳥瞰図画像にする方法
EP4339938A1 (en) Projection method and apparatus, and vehicle and ar-hud
CN111736604A (zh) 一种远程驾驶控制方法、装置、设备及存储介质
JP4374850B2 (ja) 移動体周辺監視装置
JP4154980B2 (ja) 移動体周辺監視装置
WO2020012879A1 (ja) ヘッドアップディスプレイ
KR102288950B1 (ko) 차량 및 그 제어 방법
JP2004356845A (ja) 移動体周辺監視装置
JPH0717328A (ja) 車両用周辺認識補助装置
CN113348125A (zh) 用于辅助用户遥控机动车辆的方法、计算机程序产品、遥控装置以及用于机动车辆的驾驶员辅助系统
KR20180021822A (ko) 후방 교차 교통-퀵 룩스
US20210327113A1 (en) Method and arrangement for producing a surroundings map of a vehicle, textured with image information, and vehicle comprising such an arrangement
CN113320474A (zh) 基于全景图像及人机交互的自动泊车方法及装置
JP5271186B2 (ja) 車両用画像表示装置
CN111942288B (zh) 车辆影像系统及使用车辆影像的车辆定位方法
CN115493614B (zh) 航迹线的显示方法、装置、存储介质及电子设备
US20190266416A1 (en) Vehicle image system and method for positioning vehicle using vehicle image
JP4207519B2 (ja) 移動体周辺監視装置
WO2022153896A1 (ja) 撮像装置、画像処理方法及び画像処理プログラム
KR20160107529A (ko) 차량 이미지가 애니메이션되는 주차 안내 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant