CN111402132A - 倒车辅助方法及系统、图像处理器及相应的辅助驾驶系统 - Google Patents

倒车辅助方法及系统、图像处理器及相应的辅助驾驶系统 Download PDF

Info

Publication number
CN111402132A
CN111402132A CN202010165188.0A CN202010165188A CN111402132A CN 111402132 A CN111402132 A CN 111402132A CN 202010165188 A CN202010165188 A CN 202010165188A CN 111402132 A CN111402132 A CN 111402132A
Authority
CN
China
Prior art keywords
image
ith
top view
vehicle
reversing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010165188.0A
Other languages
English (en)
Other versions
CN111402132B (zh
Inventor
李文学
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Black Sesame Intelligent Technology Shanghai Co Ltd
Original Assignee
Black Sesame Intelligent Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Black Sesame Intelligent Technology Shanghai Co Ltd filed Critical Black Sesame Intelligent Technology Shanghai Co Ltd
Priority to CN202010165188.0A priority Critical patent/CN111402132B/zh
Publication of CN111402132A publication Critical patent/CN111402132A/zh
Priority to US17/068,374 priority patent/US11780435B2/en
Application granted granted Critical
Publication of CN111402132B publication Critical patent/CN111402132B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

提供用于车辆的倒车辅助方法可包括将通过摄像单元在Ti时刻获取的倒车方向上的第i图像变换为第i俯视图，其中，i≥1；基于第i俯视图可生成第i结果图像，其中，在i大于1时，可将第i俯视图与中间图像拼接生成第i结果图像；输出所述第i结果图像；以及，其中，所述中间图像是在早于Ti的时刻所获取的倒车方向上的车外环境的图像所变换的视图，在倒车过程中，所述中间图像被根据预定条件更新。

Description

倒车辅助方法及系统、图像处理器及相应的辅助驾驶系统
技术领域
本发明涉及辅助车辆行驶技术，更为具体地，涉及倒车辅助技术。
背景技术
汽车在泊车时存在视野盲区，容易引起意外事故。一种常见的解决方法是在汽车尾部安装广角摄像头，并将拍摄的图像实时传输至车内显示设备，以便驾驶者查看。但这种方式下，驾驶者无法获知汽车侧后方视野盲区中的静态障碍物位置，也无法获知汽车在倒车环境中的相对位置。也有在汽车前后左右安装四个广角摄像头的方案，虽能解决上述问题，但硬件成本增高，内存资源消耗更大。
发明内容
有鉴于此，本申请提供用于车辆的倒车辅助方法，以至少解决上面提出的一个问题。
根据本申请的用于车辆的倒车辅助方法可包括：将通过摄像单元在Ti时刻获取的倒车方向上的第i图像变换为第i俯视图，其中，i≥1；基于第i俯视图可生成第i结果图像，其中，在i大于1时，可将第i俯视图与中间图像拼接生成第i结果图像；输出所述第i结果图像；以及，其中，所述中间图像是在早于Ti的时刻所获取的倒车方向上的车外环境的图像所变换的视图，在倒车过程中，所述中间图像被根据预定条件更新。根据该示例，将在早于当前时刻获取的倒车方向上的环境的图像转换的视图，拼接到当前时刻的视图中，通过这样的方式使当前的结果视图可以包括车辆倒车过程中已经行驶过的地方的环境。据此，向用户提供倒车路径上更为全面的路径图像成为可能。
示例地，在用于车辆的该辅助倒车方法中，所述预定条件为移动位移量或者预定时间间隔，且根据预定条件更新是在所述预定条件被满足时，以相应的结果图像来更新中间图像，即，使所述结果图像成为中间图像。通过设置预定条件，在可向用户提供倒车路径上更为全面的路径图像的同时，还减少了计算量。
示例地，在用于车辆的该辅助倒车方法中，中间图像基于变换矩阵与第i俯视图对齐，所述变换矩阵是根据车辆的运动信息以及与俯视图相关的参数获得；与第i俯视图对齐的中间图像与第i俯视图拼接，生成对应Ti时刻的第i结果图像。其中，该变换矩阵基于所述车辆的左、右轮速，相邻时刻的时间长度，俯视图图像素宽度，该俯视图像素宽度显示的实际物理长度获得。
示例地，在该用于车辆的倒车辅助方法中，基于第i俯视图生成第i结果图像还包括在i等于1时，可由第1视图生成第1结果图像，并可将所述第1结果图像作为第一帧中间图像。
根据本申请的另一方面，还提供用于车辆的倒车辅助系统，其包括：转换单元，被配置为将由摄像单元在Ti时刻获取的倒车方向上的第i图像变换为第i俯视图，其中，i≥1；图像生成单元，被配置为根据第i俯视图生成第i结果图像，其中，在i大于1时，将第i俯视图与自存储部获取的中间图像拼接生成第i结果图像；输出单元，其用于输出所述第i结果图像；以及其中，所述中间图像是在早于Ti的时刻所获取的倒车方向上的车外环境的图像所变换的视图；其中，所述图像生成单元还被配置成在倒车过程中，在预定条件被满足时以相应的结果图像更新中间图像。
根据本申请的又一方面，还提供图像处理器，其与摄像单元连接以自该摄像单元获取图像，其中，所述图像处理器包括：处理部，其被配置为接收来自所述摄像单元在Ti时刻获取的车辆倒车方向上的第i图像，将所获取的第i图像变换为第i俯视图以及根据第i俯视图生成第i结果图像；存储部，其用于存储处理部处理过程中需要的数据；以及其中，i≥1，且所述处理部还被配置为在i大于1时，将第i俯视图与自存储部获取的中间图像拼接生成第i结果图像，以及预定条件被满足时将相应的结果图像发送给存储部以更新所存储的中间图像；其中，所述中间图像是在早于Ti的时刻所获取的倒车方向上的车外环境的图像所变换的视图。该摄像单元可选择单目摄像机。
根据本申请的再一方面，还提供存储介质，其存储有指令，当所述指令被计算机执行时，实现根据本申请所描述的倒车辅助方法中的一种或多种。
根据本申请的再一方面，还提供辅助驾驶系统，其被配置为能够执行在此所述的任意一种用于车辆的辅助倒车方法，或包括本申请所描述的任意一种倒车辅助系统，或包括本申请所描述的任意一种图像处理器。
根据本申请的再一方面，还提供车辆，其能够执行在此所描述的用于车辆的辅助倒车方法中的一种或多种，或包括本申请所描述的倒车辅助系统的一种或多种，或包括本申请任意一种所描述的图像处理器。
附图说明
图1是根据本申请的一个示例性实施例的倒车辅助方法的流程图。
图2A是示例的由单目摄像机获取的倒车方向上的原始图像。
图2B是根据图2A的原始图像生成的俯视图。
图3示意性说明了结果图像生成的过程。
图4是车辆在向右做旋转运动时的模型示意。
图5是车辆在向左做旋转运动时的模型示意。
图6是根据本申请的一个示例性实施例的倒车辅助系统的结构图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。
根据本申请示例的倒车辅助方法可应用于车辆。下文将结合附图1阐述该方法在车辆中的应用。
图1是根据本申请的一个示例性实施例的倒车辅助方法的流程图。如图1所示，在步骤S100，将通过摄像单元在Ti时刻获取的倒车方向上的第i图像变换为第i俯视图，其中，i≥1。本申请中俯视图即为从上向下看时的图像，也可称作鸟瞰图。
作为示例，摄像单元可以是设置在车辆上的摄像单元，例如装载在车辆上用来捕获车辆外部环境的图像的相机或摄像头。
作为替代或补充，摄像单元也可以是未装载在车辆上的图像获取器件或具有图像获取功能的设备。这类器件或设备所拍摄的图像传输给用于执行该倒车辅助方法的系统或设备。这类图像获取器件例如是市场可获得的摄像机或摄像头等。这类具有图像获取功能的设备可以是具有摄像功能的手机、平板等。本领域技术人员应理解到，在此所提到的传输，可以是通过无线网络传输，也可以是通过线路传输。
在步骤S102，基于第i俯视图生成第i结果图像，其中，在i大于1时，将第i俯视图与中间图像拼接生成第i结果图像。所述中间图像是在早于Ti的时刻所拍摄的倒车方向上的车外环境的图像。倒车过程中，在预定条件被满足时，即更新中间图像。中间图像可存储在存储部件中。该存储部件可以是设置在车辆中的存储部件，也可以是设置在用于执行该倒车辅助方法的系统或设备中的存储部件。存储部件例如为半导体存储器单元、磁存储器单元、光存储器单元等，只要可用来存储数据以供其它相关部件取用和/或存储即可。
在步骤S104，输出该第i结果图像。将第i结果图像输出，例如输出到车载显示屏上，以便用户查看从而帮助其更为准确地执行倒车操作。
车辆倒车过程中执行根据本示例的倒车辅助方法，将由较早时刻获取的图像变换得到的视图拼接到当前视图中以形成当前的结果图像，这使得在要呈现给用户的倒车图像中，在当前视图之外还补入了车辆已驶过处的部分环境。以这样的方式，驾驶者可看到更为全面的倒车路径上的场景，有助于消除盲区。
根据本申请的示例，在i等于1，即T1时刻，其为该倒车辅助方法被执行后开始通过摄像单元获取倒车方向上的图像的初始时刻。摄像单元在T1时刻获取用于该倒车辅助方法的第1图像。进一步，在T1时刻通过摄像单元获取的第1图像被转换为第1视图，在本申请的一些示例中，由该第1视图生成第1结果图像，并将该第1结果图像作为第一帧中间图像。在此，该第1视图生成第1结果图像，例如是将该第1视图作为该第1图像。该第一帧中间图像被存储在合适的存储部件中，以便与后面的视图拼接，生成新的结果图像。
根据本申请的一些示例，该中间图像是可根据预定条件更新的。例如按照预定移动位移量ΔS更新，即，每行驶一段距离更新一次中间图像。可替代地，也可考虑按照预定时间间隔更新中间图像。举例来说，当前的中间图像A跟例如T4时刻的第4视图对齐并拼接，此时车辆行驶的距离为S，那么当车辆移动到S+ΔS时，则以对应车辆在行驶到S+ΔS时的结果图像来更新中间图像，在车辆行驶到S+2ΔS时，则以对应车辆在行驶到S+2ΔS时的结果图像来更新上一中间图像形成新的中间图像，依次类推，不再列举。再例如，按照预定时间间隔ΔT更新。这种情况下，倒车过程中，一旦移动的时间段满足ΔT，则以此时的结果图像取代中间图像，形成新的中间图像。比如，T2时刻时，对应该时刻的第2视图与中间图像拼接形成第2结果图像；T3时刻时，对应该时刻的第3视图与中间图像拼接形成第3结果图像，……，到T2+ΔT时刻时，则对应该时刻的视图(第(2+ΔT)视图)与中间图像拼接成与该时刻对应的结果图像，即第(2+ΔT)结果图像；以第(2+ΔT)结果图像取代前面过程中采用的中间图像，形成为新的中间图像以便后面使用。需要说明的是，以预定时间间隔更新，该预定时间间隔ΔT的时长要设置为使得中间图像的更新频率小于结果图像的生成频率。
在本申请的示例中，摄像单元优选为单目摄像机，也称做鱼眼摄像机。按照本申请的各示例，采用一个单目摄像机即可，但并不就此限定只能采用一个单目摄像机，也不就此限定只能采用单目摄像机，其它只要能获取倒车反向上环境视图的摄像机也可以。在以下示例中，单目摄像机获取的车辆倒车过程中的所拍摄的全景图，也就是原始图像将被转换为俯视图。在本申请中，倒车过程中，会将倒车环境显示给驾驶者等相关人员。与采用多个摄像机相比，一个单目摄像机即可获得车辆倒车行驶路径上的全景影像，用较少的硬件成本实现了需要多个摄像机达成的功能，对节约车辆物理空间以及经济成本都有帮助。
图2A是作为示例的由单目摄像机获取的倒车方向上的原始图像。图2B则是根据图2A的原始图像生成的俯视图。由单目摄像机获取的原始图像转换为图2B的俯视图的过程是现有技术可完成的，在此仅做简单描述：获得车辆的图像；对由单目摄像机获取的原始图像进行裁剪或畸变校正等处理，得到一个单视图；基于摄像单元的内参、畸变参数、外参等将该图处理为拼接了车辆的俯视图。在本例中，俯视图中超出摄像机有效范围的区域默认填充例如黑色。参照图2B，标号为22的部分是由原始图像(图2A所示)获得的，车辆20是拼接的车辆图像，而标号为21的填充部分即为按照上文提到的超出摄像机有效范围的区域默认填充例如黑色的部分。
图3示意性说明了结果图像生成的过程。图3中示出的图像3A到图像3E中的车辆30、倒车行驶过程中遇到的路面位置A、B、C、D等均为示意，旨在说明本申请中生成结果图像的原理，而非对车辆、路面等进行限制。在结合图3的图像3A到图像3E的这个例子中，我们假设用于更新中间图像的预定间隔时间与摄像单元获取图像的间隔时间相同，也就是说，每个当前的结果图像都会替代前一时刻的中间图像成为新的中间图像，与下一时刻的视图拼接成为下一时刻的结果图像。注意，该假设意在阐述中间图像与视图的拼接过程、以及意在说明如何更新中间图像。其中，标号为3A的图像为Ti时刻的结果图像，即第i结果图像，图像3B为Ti+1时刻的视图，即第i+1视图，图像3C为Ti+2时刻的视图，即第i+2视图，应了解，视图即为由单目摄像机拍摄的原始图像所转换的俯视图。
将图像3A的第i结果图像作为中间图像，由该中间图像可看到位置A与位置B。将Ti+1时刻的俯视图，即图像3B与3A所示的中间图像拼接，获得结果图像3C。可以看出，因车辆30在倒车行驶，位置A在车辆行驶到图像3B所示的环境时，已被车身覆盖。将图像3A的中间图像与图像3B的俯视图拼接，得到的结果图像3C，则包含有车辆从图像3A的环境行驶到图像3B的环境，所经过的路面环境，例如位置A。用图像3B的结果图像更新中间图像，作为新的中间图像，去与车辆继续行驶中所获得的Ti+2时刻的视图，即第i+2视图拼接，得到了图像3E所示的第i+2结果图像。与图像3C与图像3D相比，图像3E包括了车辆从图像3A的环境行驶到图像3D的环境，所经过的路面环境，即包括了位置A、B、C与D的信息。
由此可见，采用在先图像的中间图像与当前获得的视图拼接，可以获得倒车路径上更为全面的道路信息，例如那些会被车辆遮挡的位置。
根据本申请的一些示例，在将中间图像与当前视图拼接生成相应的结果图像时，是基于变换矩阵H来拼接的。也就是说，中间图像基于变换矩阵H与Ti时刻的第i俯视图对齐并拼接，生成对应Ti时刻的第i结果图。变换矩阵H在本申请中，与车辆的运动信息有关。更为具体而言，基于车辆的左、右轮速，相邻时刻的时间长度，俯视图图像素宽度，该俯视图图像素宽度显示的实际物理长度获得变换矩阵H。
以下将描述变换矩阵H的获得过程。
变换矩阵基于车辆轮速以及与俯视图有关的信息计算获得，车辆轮速可由诸如轮速传感器获得，需要说明的是，与俯视图有关的信息，下文将讨论的俯视图的像素宽度与该俯视图显示的实际物理宽度所针对的俯视图是任意一帧俯视图，因为本示例中，无论是第1、2...i、i+1...俯视图，其像素宽度与显示的实际物理宽度是相同的。例如用于执行该倒车辅助方法的系统或设备通过CAN总线获取到车辆左后轮和右后轮的实时轮速VL和VR。假设该车辆的后轴轴长为L，上一时刻与当前时刻的时间长度，也就是Ti与Ti-1的时间差为dt，由摄像机获取的图像生成的俯视图的像素宽度为Wpixel，其显示的实际物理宽度为Wworld。图像坐标系的原点位于左上角，可根据该车辆的物理结构参数来计算获得车辆后轴中心在图像坐标系中的位置，设为(u0,v0)。
当VL＝VR时，车辆在做直线运动，根据车辆运动学模型，此时运动距离dis＝VL*dt，则上一时刻(Ti-1时刻)视图到当前时刻(Ti时刻)的俯视图的变换矩阵H为如下的等式(1)所示。
Figure BDA0002407192350000081
当VL>VR时，车辆在向右做旋转运动，根据车辆运动学模型，此时车辆整体在绕某中心做圆周运动。参照图4，设右后轮旋转半径为R，角速度为w满足VL/(R+L)＝VR/R，得到R＝(VR)/(VL-VR)*L，w＝VR/R。上一时刻(Ti-1时刻)至当前时刻(Ti时刻)的旋转角度θ＝w*dt，图像坐标系中旋转中心坐标为(uo+(0.5*L+R)*Wpixel/Wworld,vo)。此时等价于上一时刻(Ti-1时刻)的视图绕(uo+(0.5*L+R)*Wpixel/Wworld,vo)旋转了-θ，由此，变换矩阵H如下面的等式(2)所示。
Figure BDA0002407192350000091
当时VL<VR，汽车向左做旋转运动，根据车辆运动学模型，此时车辆整体在绕某中心做圆周运动。参照图5，设左后轮旋转半径为R，角速度为w，满足VR/(R+L)＝VL/R，得到R＝(VL)/(VR-VL)*L，w＝VL/R。上一时刻(Ti-1时刻)至当前时刻(Ti时刻)的旋转角度θ＝w*dt，图像坐标系中旋转中心坐标为(uo-(0.5*L+R)*Wpixel/Wworld,vo)。此时相当于上一时刻(Ti-1时刻)俯视图绕(uo-(0.5*L+R)*Wpixel/Wworld,vo)旋转了-θ，则变换矩阵H如等式(3)所示。
Figure BDA0002407192350000092
以上阐述了三种情况下获得变换关系H的过程，该三种情况分别是车辆直线行驶、向右旋转以及向左旋转的情况。
获得变换矩阵H，中间图像即可据此进行平移与旋转，从而与单目摄像机拍摄的图像所生成的当前视图对齐，并据此对齐关系拼接到该当前视图中，生成当前结果图像。
根据本身申请的示例，中间图像并不是每获取一个结果图像，即更新一次，而是按照预定的条件来更新的，例如按照预定移动位移量更新，即，每行驶一段距离更新一次中间图像。举例来说，当前的中间图像A跟例如T4时刻的第4视图对齐并拼接，形成第4结果图像；在T5时刻的第5视图到来时，中间图像A与该第5视图对齐并拼接，形成第6结果图像，......,在车辆从T4时刻起已移动了预定移动位移量ΔS，假设此时为Tm时刻，则对应Tm的第m视图到来时，依然采用中间图像A与第m视图对齐并拼接，从而形成第m结果图像，并以第m结果图像替代中间图像，成为新的中间图像A’(其中，m为i的一个具体值)；在Tm+1时刻的第m+1视图到来时，将采用新的中间图像A’与第m+1视图对齐并拼接，从而形成第m+1结果图像，然后在等车辆从第Tm时刻起移动了又一个ΔS，则会用对应那是的结果图像再次替代中间图像A’产生新的中间图像，如此类推等。通过按照预定条件的方式更新中间图像，能使车辆已经驶过的路面的环境的图像显现在后面呈现给用户的结果图像中，同时还节约了计算量。不仅如此，这样的设置还有助于避免极为频繁更新中间图像带来的结果图像模糊的情况。中间图像首先基于变换矩阵与当前视图对齐，让后拼接到该当前视图中。这里的对此操作包含了平移和旋转，由于像素单位数是离散分布而不是连续分布的，进行对齐操作意味着对齐后的图像包含有对拼接后的新图像的像素值的插值操作，该操作会带来一定的模糊现象。如果按照例如一旦有结果图像即更新中间图像的方式来处理，则随着行驶移动距离的增加，会累计与更新次数相同次数的模糊现象，导致呈现给用户的图像越来越模糊。但如果按照本申请那样，降低中间图像的更新次数，则可降低模糊现象的累计，呈现更好得图像。
图6是根据一个示例性实施例的倒车辅助系统的结构示意图。如图所示，该系统包括转换单元62、图像生成单元64和输出单元66。转换单元62将由摄像单元60在Ti时刻获取的倒车方向上的第i图像变换为第i俯视图，其中，i≥1。图像生成单元64根据第i俯视图生成第i结果图像，其中，在i大于1时，将第i俯视图与自存储部获取的中间图像拼接生成第i结果图像。输出单元66将该第i结果图像输出。所述中间图像是是在早于Ti的时刻例如由摄像单元60所获取的倒车方向上的车外环境的图像所变换的视图，且该中间图像被存储在存储部(未图示)中。该存储部可以是图像处理单元64的一部分，也就是说图像处理单元64中构造有存储部。作为替代或补充，该存储部也可以是独立于图像处理单元64的存储器件。图像处理单元64还被配置成在倒车过程中，在预定条件被满足的条件下，以相应的结果图像更新中间图像。在本申请的示例中，非限制地，以结果图像更新中间图像是以结果图像替代中间图像作为新的中间图像。
本例中的摄像单元60与上文结合图1的示例中说明书的摄像单元一样，可以是设置在车辆上的摄像单元，也可是未装载在车辆上的图像获取器件或具有拍摄功能的设备，不再赘述。此外，本申请示例中，该摄像单元60为单目摄像机，所以下文中有些时候直接以单目摄像机60替代摄像单元60。
转换单元62将摄像单元60所拍摄的倒车方向上的原始图像转换为诸如俯视角度的俯视图是可根据现有技术完成的。将由单目摄像摄像机60拍摄的全景图像转换为俯视图，简述过程如下：对该全景图像进行裁剪或畸变校正等处理，得到一个单视图；基于摄像单元的内参、畸变参数、外参等将该图处理为拼接了车辆的俯视图。在本例中，俯视图中超出摄像机有效范围的区域默认填充例如黑色。可参照图2A与图2B了解变换前的图像与变换后的视图。需要说明的是，转换单元62可以是摄像单元60外部的处理器件，也可以是集成在摄像单元60内的处理器。例如摄像单元60自身的处理器。举例来说，也可以软件实现转换单元62的转换功能，而将该功能载入到摄像单元60中，由其处理器执行，这种情况就等同于将转换单元62实现在摄像单元60的处理器中。
在一些示例中，图像生成单元64在i等于1时，将第1视图作为第1结果图像且将第1结果图像存储为第一帧中间图像。应理解到，在存储部是图像生成单元64一部分的情况下，图像生成单元64将第1结果图像存储到其存储部作为中间图像；在存储部是独立于生成单元64的存储器件时，则将第1结果图像传递给存储部。
在又一些示例中，图像生成单元64还被配置为在预定时间间隔和预定位移量中的至少一个被满足时，以相应的结果图像更新中间图像，使其作为新的中间图像。上文已对预定时间间隔ΔT和预定位移量ΔS、以及根据它们来更新中间图像做了说明，不再赘述。
图像生成单元64还被配置为根据所述车辆的运动信息以及与俯视图有关的信息生成变换矩阵H，并基于该变换矩阵来将中间图像与第i俯视图对齐以及将对与第i俯视图对齐的中间图像与第i俯视图拼接生成对应Ti时刻的第i结果图像。车辆的运动信息来自于车辆的左右后轮的轮速传感器或其它能提供所需运动信息的部件或系统。关于变换矩阵H的计算过程上文已进行了描述，不再赘述。
作为示例，图像生成单元64可实现在摄像单元60内，或实现在车辆中与该倒车辅助系统协同工作的系统中，例如车辆内集成的辅助驾驶系统内的处理器等，再例如采用车辆的整车电控单元VCU等。
需要说明的是，图像生成单元64与转换单元62可实现在同一部件。例如同一处理器，被配置为实现图像生成单元64与转换单元62的功能。在一些示例中，可以是摄像单元60内的处理器。在有一些示例中，可以实现在车辆中与该倒车辅助系统协同工作的系统中，例如车辆内集成的辅助驾驶系统内的处理器等，再例如采用车辆的VCU等。
输出单元66输出所生成的结果图像。在此，输出单元66可以是显示单元，也可以是与显示单元之间数据通信的接口。例如，输出单元66为诸如为显示屏的显示单元，将结果图像显示给用户以便其查看。再例如，该输出单元将生成的图像数据传输给车辆自有的显示单元，如中控屏等，这种情况下，该输出单元即为输出接口。
根据本申请示例的辅助倒车系统是可以完全采用车辆已有的部件来实现的，例如车辆已经装载的用户倒车影像的摄像机，车辆已有的驾驶辅助系统中的处理器等完成转换单元和/或图像处理单元的功能，并通过车辆已有的显示单元显示结果图像给用户。
根据本申请的示例还提供图像处理器。该图像处理器与摄像单元连接以自该摄像单元获取图像。该摄像单元与上文各示例描述的摄像单元是类似的。该图像处理器包括处理部和存储部。处理部被配置为接收来自所述摄像单元在Ti时刻获取的车辆倒车方向上的第i图像，将所获取的第i图像变换为第i俯视图以及根据第i俯视图生成第i结果图像。存储部，其用于存储处理部处理过程中需要的数据。在该示例中，i≥1，且该处理部还被配置为在i大于1时，将第i俯视图与自存储部获取的中间图像拼接生成第i结果图像，以及预定条件被满足时将相应的结果图像发送给存储部以更新所存储的中间图像。该中间图像是在早于Ti的时刻所获取的倒车方向上的车外环境的图像所变换的视图。
在一些示例中，该图像处理器的处理部被配置为根据所述车辆的运动信息生成变换矩阵，并基于该变换矩阵来将中间图像与第i俯视图对齐以及将对与第i俯视图对齐的中间图像与第i俯视图拼接生成对应Ti时刻的第i结果图像。
需要说明的是，该图像处理器的示例中，处理部被配置为实现如上文结合图6所描述的转换单元与图像处理单元的功能，仅在图像处理单元自身包含存储部的情况下例外。在图像处理单元自身包含存储部的情况下，该处理部实现存储以外的其它功能，而存储功能存储部实现。因适于该转换单元与图像处理单元的示例同样适于该图像处理器，就不再重复描述。
根据本申请的一些示例，还包括存储介质。其存储有指令，在该指令被计算机执行时，可实现根据上文描述的倒车辅助方法。该计算机自此例如可以是车辆已有的处理器，或车载处理设备等。
根据本申请的一些示例，还提供辅助驾驶系统。该辅助驾驶系统被配置为能执行上文描述的辅助倒车方法。或者，该辅助驾驶系统包括上文所描述的倒车辅助系统。或者，该辅助驾驶系统包括上文描述的图像处理器。
本申请还提供车辆。其能够执行上文描述的辅助倒车方法，或者，包括上文所描述的倒车辅助系统，或者，包括上文描述的图像处理器。
在上文所有的示例中，摄像单元装载在车辆上时，优选它是装载在车辆尾部用于拍摄倒车影像的影像器件。在摄像单元不是装载在车辆上时，则它放置的位置应以能拍摄到车辆倒车方向上的影像的位置为优选。
在上文所有的示例中，用户可以是车辆驾驶者，也可是乘坐人员，在车辆为自动驾驶车辆或通过远程操作行驶的情况下，则是操控该车辆的人员。
在本申请中示例性给出的用于车辆的倒车辅助方法，可以实现在具有影像装置的车载倒车或泊车辅助系统，或辅助驾驶系统中，也可通过由本申请所给出的倒车辅助驾驶系统实现。
在本文各示例中，术语“视图”指代的也是图像，应用“视图”意在将其与上下文中使用的图像做一个区分。
如上文提到的，执行本申请给出的倒车辅助方法，或采用根据本申请示例的倒车辅助系统或图像处理器等，可使得用户在倒车过程中获得包括车辆行驶过已在被车辆遮盖的路面的环境，从而避免倒车时的盲点。与此同时，以预定条件更新中间图像，在降低计算量的同时还改善了输出图像的模糊情况。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (18)

1.一种用于车辆的倒车辅助方法，其特征在于，该方法包括：
将通过摄像单元在Ti时刻获取的倒车方向上的第i图像变换为第i俯视图，其中，i≥1；
基于第i俯视图生成第i结果图像，其中，在i大于1时，将第i俯视图与中间图像拼接生成第i结果图像；
输出所述第i结果图像；以及
其中，所述中间图像是在早于Ti的时刻所获取的倒车方向上的车外环境的图像所变换的视图，在倒车过程中，所述中间图像被根据预定条件更新。
2.根据权利要求1所述的倒车辅助方法，其特征在于，将第i俯视图与中间图像拼接生成第i结果图像包括：
中间图像基于变换矩阵与第i俯视图对齐，所述变换矩阵是根据车辆的运动信息以及与俯视图有关的参数获得；
与第i俯视图对齐的中间图像与第i俯视图拼接，生成对应Ti时刻的第i结果图像。
3.根据权利要求2所述的倒车辅助方法，其特征在于，所述变换矩阵基于所述车辆的左、右轮速，相邻时刻的时间长度，俯视图图像素宽度，该俯视图像素宽度显示的实际物理长度获得。
4.根据权利要求1或2所述的倒车辅助方法，其特征在于，基于第i俯视图生成第i结果图像还包括：在i等于1时，由第1视图生成第1结果图像，并将所述第1结果图像作为第一帧中间图像。
5.根据权利要求1或2所述的倒车辅助方法，其特征在于，所述预定条件为移动位移量，且根据预定条件更新是在移动位移量被满足时，以相应的结果图像来更新中间图像，即，使所述结果图像成为中间图像。
6.根据权利要求1或2所述的倒车辅助方法，其特征在于，所述预定条件为预定时间间隔，且根据预定条件更新是在所述预定时间间隔被满足时，以相应的结果图像来更新中间图像，即，使所述结果图像成为中间图像。
7.根据权利要求1或2所述的倒车辅助方法，其特征在于，所述摄像单元为单目摄像机，所述第i图像为所述单目摄像机获取的第i全景图像，第i俯视图是从第i全景图像变换的第i俯视图。
8.一种用于车辆的倒车辅助系统，其特征在于，该系统包括：
转换单元，其被配置为将由摄像单元在Ti时刻获取的倒车方向上的第i图像变换第i俯视图，其中，i≥1；
图像生成单元，其被配置为根据第i俯视图生成第i结果图像，其中，在i大于1时，将第i俯视图与自存储部获取的中间图像拼接生成第i结果图像；
输出单元，其用于输出所述第i结果图像；以及
其中，所述中间图像是在早于Ti的时刻所获取的倒车方向上的车外环境的图像所变换的视图；
其中，所述图像生成单元还被配置成在倒车过程中，在预定条件被满足时以相应的结果图像更新中间图像。
9.根据权利要求8所述的倒车辅助系统，其特征在于，所述图像生成单元被配置成根据所述车辆的运动信息以及与俯视图有关的参数生成变换矩阵，并基于该变换矩阵来将中间图像与第i俯视图对齐，并且将与第i俯视图对齐的中间图像与第i俯视图拼接生成对应Ti时刻的第i结果图像。
10.根据权利要求8或9所述的倒车辅助系统，其特征在于，所述图像生成单元被配置为在i等于1时，由第1视图生成第1结果图像，并将所述第1结果图像传递给存储部作为第一帧中间图像。
11.根据权利要求8或9所述的倒车辅助系统，其特征在于，所述图像单元被配置为在倒车过程中，在作为预定条件的移动位移量被满足时，以相应的结果图像来更新中间图像，即，使所述结果图像成为中间图像。
12.根据权利要求8或9所述的倒车辅助系统，其特征在于，所述图像单元被配置为在倒车过程中，在作为预定条件的预定时间间隔被满足时，以相应的结果图像来更新中间图像，即，使所述结果图像成为中间图像。
13.根据权利要求8或9所述的倒车辅助系统，其特征在于，由摄像单元在Ti时刻获取倒车方向上的第i图像是由作为摄像单元的单目摄像机所获取的第i全景图像，所述转换单元被配置为将所述第i全景图像变换为第i俯视图。
14.一种图像处理器，其与摄像单元连接以自该摄像单元获取图像，其特征在于，所述图像处理器包括：
处理部，其被配置为接收来自所述摄像单元在Ti时刻获取的车辆倒车方向上的第i图像，将所获取的第i图像变换为第i俯视图以及根据第i俯视图生成第i结果图像；
存储部，其用于存储处理部处理过程中需要的数据；以及
其中，i≥1，且所述处理部还被配置为在i大于1时，将第i俯视图与自存储部获取的中间图像拼接生成第i结果图像，以及预定条件被满足时将相应的结果图像发送给存储部以更新所存储的中间图像；
其中，所述中间图像是在早于Ti的时刻所获取的倒车方向上的车外环境的图像所变换的视图。
15.根据权利要求14所述的图像处理器，其特征在于，所述处理部被配置为根据所述车辆的运动信息生成变换矩阵，并基于该变换矩阵来将中间图像与第i俯视图对齐以及将对与第i俯视图对齐的中间图像与第i俯视图拼接生成对应Ti时刻的第i结果图像。
16.一种存储介质，其特征在于，所述存储介质存储有指令，当所述指令被计算机执行时，实现根据权利要求1到7中任意一项所述的倒车辅助方法。
17.一种辅助驾驶系统，其特征在于，该辅助驾驶系统被配置为能够执行根据权利要求1到7中任意一项所述的方法，或包括权利要求8到13中任意一项所述的倒车辅助系统，或包括权利要求14或15所述的图像处理器。
18.一种车辆，其特征在于，该车辆能够执行根据权利要求1到7中任意一项所述的方法，或包括权利要求8到13中任意一项所述的倒车辅助系统，或该包括权利要求14或15所述的图像处理器。
CN202010165188.0A 2020-03-11 2020-03-11 倒车辅助方法及系统、图像处理器及相应的辅助驾驶系统 Active CN111402132B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010165188.0A CN111402132B (zh) 2020-03-11 2020-03-11 倒车辅助方法及系统、图像处理器及相应的辅助驾驶系统
US17/068,374 US11780435B2 (en) 2020-03-11 2020-10-12 Reverse assist method and system, image processor and corresponding drive assist system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010165188.0A CN111402132B (zh) 2020-03-11 2020-03-11 倒车辅助方法及系统、图像处理器及相应的辅助驾驶系统

Publications (2)

Publication Number Publication Date
CN111402132A true CN111402132A (zh) 2020-07-10
CN111402132B CN111402132B (zh) 2024-02-02

Family

ID=71432256

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010165188.0A Active CN111402132B (zh) 2020-03-11 2020-03-11 倒车辅助方法及系统、图像处理器及相应的辅助驾驶系统

Country Status (2)

Country Link
US (1) US11780435B2 (zh)
CN (1) CN111402132B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022062923A1 (zh) * 2020-09-24 2022-03-31 华为技术有限公司 设备控制方法、装置及设备
CN114792414A (zh) * 2022-03-31 2022-07-26 北京鉴智科技有限公司 一种用于载体的目标变量检测方法及其系统
CN115861080A (zh) * 2023-02-24 2023-03-28 杭州枕石智能科技有限公司 环视透明车底图像的拼接方法和终端设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008104263A1 (de) * 2007-02-26 2008-09-04 Volkswagen Aktiengesellschaft Verfahren und vorrichtung zur detektion von nachfolgenden fahrzeugen in einem kraftfahrzeug
CN107507131A (zh) * 2017-08-08 2017-12-22 广州市安晓科技有限责任公司 基于单摄像头的360度全景倒车影像生成方法
CN108171655A (zh) * 2017-12-27 2018-06-15 深圳普思英察科技有限公司 基于单目摄像头的倒车影像拼接方法和装置
CN110840482A (zh) * 2019-10-28 2020-02-28 苏州佳世达电通有限公司 超音波成像系统及其方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5309442B2 (ja) * 2006-05-29 2013-10-09 アイシン・エィ・ダブリュ株式会社 駐車支援方法及び駐車支援装置
US8218007B2 (en) * 2007-09-23 2012-07-10 Volkswagen Ag Camera system for a vehicle and method for controlling a camera system
TWI392366B (zh) * 2009-12-31 2013-04-01 Ind Tech Res Inst 全周鳥瞰影像距離介面產生方法與系統
CN103609100B (zh) * 2011-06-09 2017-09-29 爱信精机株式会社 图像生成装置
EP2763406A4 (en) * 2011-09-30 2015-06-17 Panasonic Ip Man Co Ltd APPARATUS FOR PRODUCING IMAGES FROM THE BIRDS 'PERSPECTIVE, METHOD FOR PRODUCING IMAGES FROM THE BIRDS' PERSPECTIVE AND PROGRAM FOR GENERATING PICTURES FROM THE BIRDS 'PERSPECTIVE
BR112015001825B1 (pt) * 2012-07-27 2021-10-26 Nissan Motor Co., Ltd. Dispositivo de detecção de objeto tridimensional, método de detecção de objeto tridimensional
CN104085395A (zh) * 2013-04-01 2014-10-08 德尔福电子(苏州)有限公司 一种基于鸟瞰系统的辅助泊车方法
US20170132476A1 (en) * 2015-11-08 2017-05-11 Otobrite Electronics Inc. Vehicle Imaging System
JP6395274B2 (ja) * 2017-03-15 2018-09-26 本田技研工業株式会社 駐車支援装置
US10810882B2 (en) * 2017-06-29 2020-10-20 Hall Labs Llc Parking assist apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008104263A1 (de) * 2007-02-26 2008-09-04 Volkswagen Aktiengesellschaft Verfahren und vorrichtung zur detektion von nachfolgenden fahrzeugen in einem kraftfahrzeug
CN107507131A (zh) * 2017-08-08 2017-12-22 广州市安晓科技有限责任公司 基于单摄像头的360度全景倒车影像生成方法
CN108171655A (zh) * 2017-12-27 2018-06-15 深圳普思英察科技有限公司 基于单目摄像头的倒车影像拼接方法和装置
CN110840482A (zh) * 2019-10-28 2020-02-28 苏州佳世达电通有限公司 超音波成像系统及其方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022062923A1 (zh) * 2020-09-24 2022-03-31 华为技术有限公司 设备控制方法、装置及设备
CN114792414A (zh) * 2022-03-31 2022-07-26 北京鉴智科技有限公司 一种用于载体的目标变量检测方法及其系统
CN115861080A (zh) * 2023-02-24 2023-03-28 杭州枕石智能科技有限公司 环视透明车底图像的拼接方法和终端设备
CN115861080B (zh) * 2023-02-24 2023-05-23 杭州枕石智能科技有限公司 环视透明车底图像的拼接方法和终端设备

Also Published As

Publication number Publication date
US20210287020A1 (en) 2021-09-16
US11780435B2 (en) 2023-10-10
CN111402132B (zh) 2024-02-02

Similar Documents

Publication Publication Date Title
CN107021015B (zh) 用于图像处理的系统及方法
CN111402132A (zh) 倒车辅助方法及系统、图像处理器及相应的辅助驾驶系统
JP4596978B2 (ja) 運転支援システム
CN110341597B (zh) 一种车载全景视频显示系统、方法及车载控制器
CN105763854B (zh) 一种基于单目摄像头的全景成像系统及其成像方法
EP2192552B1 (en) Image processing apparatus, image processing method, and recording medium
US20090174775A1 (en) Monitoring System
JP2007214769A (ja) 車両用映像処理装置、車両周囲監視システム並びに映像処理方法
US9682655B2 (en) Method and device for operating a vehicle
CN109131082B (zh) 一种完全基于视觉的单目全景泊车影像系统及其泊车方法
JP2007110572A (ja) 複数カメラ画像合成表示装置
JP2016149613A (ja) カメラパラメータ調整装置
CN112184545A (zh) 车载环视图生成方法、装置及系统
KR20170057684A (ko) 전방 카메라를 이용한 주차 지원 방법
JP4791222B2 (ja) 表示制御装置
JP2005311698A (ja) 車両周辺視認装置
WO2016047037A1 (ja) 車両用画像処理装置
JP2010187161A (ja) 車載カメラシステム及び画像処理方法
JP2004252837A (ja) 車両周辺表示装置および車両周辺表示プログラム
JP2007266703A5 (zh)
KR101861523B1 (ko) 차량 운전 보조 장치 및 방법
US20120086798A1 (en) System and method for automatic dynamic guidelines
US20230007190A1 (en) Imaging apparatus and imaging system
JP4945315B2 (ja) 運転支援システム及び車両
JP6439233B2 (ja) 車両用画像表示装置及び画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant