CN108082083A - 一种被遮挡对象的显示方法和显示系统以及车载防撞系统 - Google Patents

一种被遮挡对象的显示方法和显示系统以及车载防撞系统 Download PDF

Info

Publication number
CN108082083A
CN108082083A CN201810041758.8A CN201810041758A CN108082083A CN 108082083 A CN108082083 A CN 108082083A CN 201810041758 A CN201810041758 A CN 201810041758A CN 108082083 A CN108082083 A CN 108082083A
Authority
CN
China
Prior art keywords
occluded object
coordinate
occluded
display device
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810041758.8A
Other languages
English (en)
Other versions
CN108082083B (zh
Inventor
段然
唐小军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201810041758.8A priority Critical patent/CN108082083B/zh
Publication of CN108082083A publication Critical patent/CN108082083A/zh
Priority to PCT/CN2018/091061 priority patent/WO2019140860A1/en
Priority to US16/332,906 priority patent/US11361553B2/en
Application granted granted Critical
Publication of CN108082083B publication Critical patent/CN108082083B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明实施例公开了一种被遮挡对象的显示方法和显示系统、车载防撞系统及一种车辆，包括：获取图像，从所述图像中识别出被遮挡对象的一部分，并根据被遮挡对象的一部分生成被遮挡对象的对应图像；确定被遮挡对象在预设坐标系中的坐标，并转换为显示装置的显示坐标；在显示装置上显示坐标对应的位置显示所述被遮挡对象的对应图像。本发明实施例通过显示装置将被遮挡对象的对应图像呈现给观看者，使得观看者实时获知被遮挡对象，从而避免了由于视线受阻而碰撞到突然出现的对象。

Description

一种被遮挡对象的显示方法和显示系统以及车载防撞系统
技术领域
本发明涉及机器视觉技术，尤指一种被遮挡对象的显示方法和显示系统以及车载防撞系统。
背景技术
当驾驶汽车时，相邻车道的车辆通常会将驾驶员的视线遮挡，使得驾驶员无法顾及到被相邻车道的车辆遮挡的人或物体，这种情况下发生碰撞的概率将会大大提升。而相关技术中尚未给出有效的解决方案来避免驾驶过程中由于视线受阻而碰撞到突然出现的对象。
发明内容
本发明实施例提供了一种被遮挡对象的显示方法和显示系统以及车载防撞系统，能够获取被遮挡对象，从而避免由于视线受阻而碰撞到突然出现的对象。
本发明实施例提供了一种显示系统，包括：
获取模块，用于获取图像；
识别模块，用于从所述图像中识别出被遮挡对象的一部分，并根据被遮挡对象的一部分生成被遮挡对象的对应图像；
确定模块，用于确定被遮挡对象在预设坐标系中的坐标，并转换为显示装置的显示坐标。
可选的，所述确定模块具体用于：
确定所述被遮挡对象在预设坐标系中的坐标，将所述被遮挡对象在所述预设坐标系中的坐标转换为所述显示装置的成像面坐标系中的坐标；其中，所述预设坐标系为三维坐标系，所述成像面坐标系为平行于所述显示装置的成像面的二维坐标系；
将所述被遮挡对象在所述成像面坐标系中的坐标转换为所述显示装置的显示坐标。
可选的，所述确定模块还用于：
判断第1帧图像到第(n－1)帧图像中识别到的所有被遮挡对象中，是否存在在第n帧图像中识别不到的第一被遮挡对象；
如果所述第1帧图像到所述第(n－1)帧图像中识别到的所有被遮挡对象中存在在所述第n帧图像中识别不到的所述第一被遮挡对象，则判断所述第一被遮挡对象是否移出所述显示装置，如果所述第一被遮挡对象未移出所述显示装置，则预测所述第n帧图像中第一被遮挡对象的显示坐标；其中，n为大于或等于2的整数。
可选的，所述确定模块还用于：
判断第1帧图像到第(n－1)帧图像中识别到的所有被遮挡对象中，是否存在在第n帧图像中识别不到的第一被遮挡对象；
如果所述第1帧图像到所述第(n－1)帧图像中识别到的所有被遮挡对象中，存在在所述第n帧图像中识别不到的所述第一被遮挡对象，则预测所述第n帧图像中第一被遮挡对象的显示坐标；根据所述第n帧图像中第一被遮挡对象的显示坐标判断所述第一被遮挡对象是否移出所述显示装置，如果所述第一被遮挡对应未移出所述显示装置，则在显示装置上显示所述第一被遮挡对象的对应图像；其中，n为大于或等于2的整数。
可选的，获取模块包括双目摄像头。
本发明实施例提出了一种车载防撞系统，包括：上述任意一种显示系统和显示装置；其中，
显示装置，用于在显示坐标对应的位置显示被遮挡对象的对应图像。
可选的，所述显示系统的获取模块与地面的距离小于或等于预设阈值。
本发明实施例提出了一种被遮挡对象的显示方法，包括：
获取图像，从所述图像中识别出被遮挡对象的一部分，并根据被遮挡对象的一部分生成被遮挡对象的对应图像；
确定被遮挡对象在预设坐标系中的坐标，并转换为显示装置的显示坐标；
在显示装置上显示坐标对应的位置显示所述被遮挡对象的对应图像。
可选的，所述根据被遮挡对象的一部分生成被遮挡对象的对应图像包括：
根据所述被遮挡对象的一部分确定所述被遮挡对象所属的类别，在预先设置的图像中查找所述被遮挡对象所属的类别对应的图像。
可选的，所述将被遮挡对象在预设坐标系中的坐标转换为显示装置的显示坐标包括：
将所述被遮挡对象在所述预设坐标系中的坐标转换为所述显示装置的成像面坐标系中的坐标；其中，所述预设坐标系为三维坐标系，所述成像面坐标系为平行于所述显示装置的成像面的二维坐标系；
将所述被遮挡对象在所述成像面坐标系中的坐标转换为所述显示装置的显示坐标。
可选的，当所述显示装置的成像面与所述预设坐标系的一个坐标平面平行时，所述将被遮挡对象在预设坐标系中的坐标转换为显示装置的成像面坐标系中的坐标包括：
按照公式和计算所述被遮挡对象在所述成像面坐标系中的坐标；
其中，(x2，y2)为所述被遮挡对象在所述成像面坐标系中的坐标，(x1，y1)为所述被遮挡对象在所述预设坐标系中的坐标和观看者在所述预设坐标系中的坐标之差，f为所述成像面到观看者的距离在所述预设坐标系的垂直于所述成像面的坐标轴上的投影，l为所述被遮挡对象到观看者的距离在所述预设坐标系的垂直于所述成像面的坐标轴上的投影。
可选的，所述将被遮挡对象在成像面坐标系中的坐标转换为显示装置的显示坐标包括：
按照公式和计算所述显示装置的显示坐标；
其中，(x2，y2)为所述被遮挡对象在所述成像面坐标系中的坐标，(u，v)为所述被遮挡对象在所述显示装置上的显示坐标，(u0，v0)为观看者在所述成像面上的投影点在所述显示装置上的显示坐标，dx为行方向一个像素点代表的实际距离，dy为列方向一个像素点代表的实际距离。
可选的，识别第n帧图像中的被遮挡对象后，n为大于或等于2的整数，显示被遮挡对象的对应图像之前，该方法还包括：
判断第1帧图像到第(n－1)帧图像中识别到的所有被遮挡对象中，是否存在在第n帧图像中识别不到的第一被遮挡对象；如果所述第1帧图像到所述第(n－1)帧图像中识别到的所有被遮挡对象中存在在所述第n帧图像中识别不到的所述第一被遮挡对象，则判断所述第一被遮挡对象是否移出所述显示装置，如果所述第一被遮挡对象未移出所述显示装置，则预测所述第n帧图像中第一被遮挡对象的显示坐标。
可选的，识别第n帧图像中的被遮挡对象后，n为大于或等于2的整数，显示被遮挡对象的对应图像之前，该方法还包括：
判断第1帧图像到第(n－1)帧图像中识别到的所有被遮挡对象中，是否存在在第n帧图像中识别不到的第一被遮挡对象；如果所述第1帧图像到所述第(n－1)帧图像中识别到的所有被遮挡对象中，存在在所述第n帧图像中识别不到的所述第一被遮挡对象，则预测所述第n帧图像中第一被遮挡对象的显示坐标；
根据所述第n帧图像中第一被遮挡对象的显示坐标判断所述第一被遮挡对象是否移出所述显示装置，如果所述第一被遮挡对应未移出所述显示装置，则在显示装置上显示第一被遮挡对象的对应图像。
可选的，当从第i帧图像到第j帧图像识别到所述第一被遮挡对象，从第(j+1)帧图像到第n帧图像识别不到所述第一被遮挡对象时，所述预测第n帧图像中第一被遮挡对象的显示坐标包括：
按照公式和计算所述第n帧图像中第一被遮挡对象的显示坐标；
其中，(un，vn)为所述第n帧图像中第一被遮挡对象的显示坐标，(ui，vi)为第i帧图像中第一被遮挡对象的显示坐标，(uj，vj)为第j帧图像中第一被遮挡对象的显示坐标，m1＝j－i+1，m2＝n－j。
本发明实施例提出了一种车辆，包括：上述任意一种车载防撞系统。
可选的，还包括：警报装置；
所述显示系统还用于：
根据所述被遮挡对象的深度信息和车辆的行驶方向确定是否发出警报信息，如果是则所述警报装置发出所述警报信息；其中，警报信息包括文字、图像、声音中的至少一种；
所述警报装置，用于接收所述警报信息并输出。
与相关技术相比，本发明实施例包括：获取图像，从所述图像中识别出被遮挡对象的一部分，并根据被遮挡对象的一部分生成被遮挡对象的对应图像；确定被遮挡对象在预设坐标系中的坐标，并转换为显示装置的显示坐标；在显示装置上显示坐标对应的位置显示所述被遮挡对象的对应图像。本发明实施例通过显示装置将被遮挡对象的对应图像呈现给观看者，使得观看者实时获知被遮挡对象，从而避免了由于视线受阻而碰撞到突然出现的对象。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
图1为本发明第一实施例显示系统的结构组成示意图；
图2为本发明第一实施例在车上设置双目摄像头的示意图；
图3为本发明第二实施例车载防撞系统的结构组成示意图；
图4为本发明第三实施例被遮挡对象的显示方法的流程图；
图5为本发明第三实施例生成被遮挡对象的轮廓示意图；
图6为本发明第三实施例双目摄像头坐标系和驾驶员坐标系示意图；
图7为本发明第三实施例确定被遮挡对象在成像面坐标系中的坐标的示意图；
图8为本发明第三实施例显示第一被遮挡对象的方法的流程图；
图9为本发明第三实施例另一种显示第一被遮挡对象的方法的流程图；
图10为本发明第四实施例车辆的结构组成示意图。
具体实施方式
下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
参见图1，本发明第一实施例提出了一种显示系统，包括：
获取模块，用于获取图像；
识别模块，用于从所述图像中识别出被遮挡对象的一部分，并根据被遮挡对象的一部分生成被遮挡对象的对应图像；
确定模块，用于确定所述对象在预设坐标系中的坐标，并转换为显示装置的显示坐标。
可选的，确定模块具体用于：
确定所述被遮挡对象在预设坐标系中的坐标，将所述对象在所述预设坐标系中的坐标转换为所述显示装置的成像面坐标系中的坐标；其中，所述预设坐标系为三维坐标系，所述成像面坐标系为平行于所述显示装置的成像面的二维坐标系；
将所述被遮挡对象在所述成像面坐标系中的坐标转换为所述显示装置的显示坐标。
可选的，当所述显示装置的成像面与所述预设坐标系的一个坐标平面平行时，确定模块具体用于采用以下方式实现将被遮挡对象在预设坐标系中的坐标转换为显示装置的成像面坐标系中的坐标：
按照公式和计算被遮挡对象在成像面坐标系中的坐标；
其中，(x2，y2)为被遮挡对象在成像面坐标系中的坐标，(x1，y1)为被遮挡对象在预设坐标系中的坐标和观看者在所述预设坐标系中的坐标之差，f为显示平面到观看者的距离在预设坐标系的垂直于所述成像面的坐标轴上的投影，l为所述被遮挡对象到观看者的距离在所述预设坐标系的垂直于所述成像面的坐标轴上的投影。
可选的，确定模块具体用于采用以下方式实现将被遮挡对象在成像面坐标系中的坐标转换为显示装置的显示坐标包括：
按照公式和计算所述显示装置的显示坐标；
其中，(x2，y2)为所述被遮挡对象在所述成像面坐标系中的坐标，(u，v)为所述被遮挡对象在所述显示装置上的显示坐标，(u0，v0)为观看者在所述成像面上的投影点在所述显示装置上的显示坐标，dx为行方向一个像素点代表的实际距离，dy为列方向一个像素点代表的实际距离。
可选的，确定模块还用于：
判断第1帧图像到第(n－1)帧图像中识别到的所有被遮挡对象中，是否存在在第n帧图像中识别不到的第一被遮挡对象；如果第1帧图像到所述第(n－1)帧图像中识别到的所有被遮挡对象中存在在所述第n帧图像中识别不到的所述第一被遮挡对象，则判断第一被遮挡对象是否移出显示装置，如果第一被遮挡对象未移出所述显示装置，则预测第n帧图像中第一被遮挡对象的显示坐标；其中，n为大于或等于2的整数。
可选的，确定模块还用于：
判断第1帧图像到第(n－1)帧图像中识别到的所有被遮挡对象中，是否存在在第n帧图像中识别不到的第一被遮挡对象；如果所述第1帧图像到所述第(n－1)帧图像中识别到的所有被遮挡对象中，存在在所述第n帧图像中识别不到的所述第一被遮挡对象，则预测所述第n帧图像中第一被遮挡对象的显示坐标；根据所述第n帧图像中第一被遮挡对象的显示坐标判断所述第一被遮挡对象是否移出所述显示装置，如果第一被遮挡对应未移出所述显示装置，则在显示装置显示所述第一被遮挡对象的对应图像；其中，n为大于或等于2的整数。
可选的，当从第i帧图像到第j帧图像识别到第一被遮挡对象，从第(j+1)帧图像到第n帧图像识别不到第一被遮挡对象时，确定模块具体用于采用以下方式实现预测第n帧图像中第一被遮挡对象的显示坐标：
按照公式和计算第n帧图像中第一被遮挡对象的显示坐标；
其中，(un，vn)为第n帧图像中第一被遮挡对象的显示坐标，(ui，vi)为第i帧图像中第一被遮挡对象的显示坐标，(uj，vj)为第j帧图像中第一被遮挡对象的显示坐标，m1＝j－i+1，m2＝n－j。
可选的，获取模块包括双目摄像头。
可选的，由于被拍摄对象往往被遮挡，为了更好的获得被拍摄对象，获取模块与地面的距离小于或等于预设阈值。在一些实施例中，本发明第一实施例提出的图像显示系统可以应用于车辆中，其中观看者为驾驶员。具体的，获取模块可以设置在车的侧面，也可以设置在车的底盘上。如图2所示，获取模块可以设置在车的左前方(如图中1位置)和/或右前方(如图中2位置)。需要说明的是，不管获取模块设置在车的侧面还是设置在车的底盘，获取模块均应设置在离地面较近的位置，这样才能识别到被其他如车辆等障碍物遮挡的对象，一般地，获取模块设置在车的前侧面，或底盘上靠近车头的位置。
参见图3，本发明第二实施例提出了一种车载防撞系统，包括：
显示系统，用于获取图像，从所述图像中识别出被遮挡对象的一部分，并根据被遮挡对象的一部分生成被遮挡对象的对应图像；确定所述对象在预设坐标系中的坐标，并转换为显示装置的显示坐标；
显示装置，用于在显示坐标对应的位置显示被遮挡对象的对应图像。
可选的，所述显示系统具体用于：
获取图像，从所述图像中识别出被遮挡对象的一部分，并根据被遮挡对象的一部分生成被遮挡对象的对应图像；
确定所述被遮挡对象在预设坐标系中的坐标，将所述被遮挡对象在所述预设坐标系中的坐标转换为所述显示装置的成像面坐标系中的坐标；其中，所述成像面坐标系为平行于所述显示装置的成像面的二维坐标系；
将所述被遮挡对象在所述成像面坐标系中的坐标转换为所述显示装置的显示坐标。
可选的，显示系统具体用于采用以下方式实现将被遮挡对象在预设坐标系中的坐标转换为显示装置的成像面坐标系中的坐标：
按照公式和计算被遮挡对象在成像面坐标系中的坐标；
其中，(x2，y2)为被遮挡对象在成像面坐标系中的坐标，(x1，y1)为被遮挡对象在预设坐标系中的坐标和驾驶员在所述预设坐标系中的坐标之差，f为显示平面到驾驶员的距离在预设坐标系的垂直于所述成像面的坐标轴上的投影，l为所述被遮挡对象到驾驶员的距离在所述预设坐标系的垂直于所述成像面的坐标轴上的投影。
可选的，显示系统具体用于采用以下方式实现将被遮挡对象在成像面坐标系中的坐标转换为显示装置的显示坐标包括：
按照公式和计算所述显示装置的显示坐标；
其中，(x2，y2)为所述被遮挡对象在所述成像面坐标系中的坐标，(u，v)为所述被遮挡对象在所述显示装置上的显示坐标，(u0，v0)为驾驶员在所述成像面上的投影点在所述显示装置上的显示坐标，dx为行方向一个像素点代表的实际距离，dy为列方向一个像素点代表的实际距离。
可选的，所述显示系统还用于：
判断第1帧图像到第(n－1)帧图像中识别到的所有被遮挡对象中，是否存在在第n帧图像中识别不到的第一被遮挡对象；如果第1帧图像到第(n－1)帧图像中识别到的所有被遮挡对象中存在在第n帧图像中识别不到的第一被遮挡对象，则判断所述第一被遮挡对象是否移出所述显示装置，如果第一被遮挡对象未移出所述显示装置，则预测所述第n帧图像中第一被遮挡对象的显示坐标；其中，n为大于或等于2的整数。
可选的，所述显示系统还用于：
判断第1帧图像到第(n－1)帧图像中识别到的所有被遮挡对象中，是否存在在第n帧图像中识别不到的第一被遮挡对象；如果第1帧图像到所述第(n－1)帧图像中识别到的所有被遮挡对象中，存在在所述第n帧图像中识别不到的所述第一被遮挡对象，则预测所述第n帧图像中第一被遮挡对象的显示坐标；根据所述第n帧图像中第一被遮挡对象的显示坐标判断所述第一被遮挡对象是否移出所述显示装置，如果第一被遮挡对应未移出所述显示装置，则在显示装置显示所述第一被遮挡对象的对应图像；其中，n为大于或等于2的整数。
可选的，显示系统的获取模块包括双目摄像头。
可选的，由于被拍摄对象往往被遮挡，为了更好的获得被拍摄对象，获取模块与地面的距离小于或等于预设阈值。具体的，获取模块可以设置在车的侧面，也可以设置在车的底盘上。如图2所示，获取模块可以设置在车的左前方(如图中1位置)和/或右前方(如图中2位置)。需要说明的是，不管获取模块设置在车的侧面还是设置在车的底盘，获取模块均应设置在离地面较近的位置，这样才能识别到被其他如车辆等障碍物遮挡的对象，一般地，获取模块设置在车的前侧面，或底盘上靠近车头的位置。
参见图4，本发明第三实施例提出了一种被遮挡对象的显示方法，包括：
步骤400、获取图像，从图像中识别出被遮挡对象的一部分，并根据被遮挡对象的一部分生成被遮挡对象的对应图像。
本步骤中，可以采用获取模块来获取图像。
可选的，进一步获取深度信息，深度信息是指被拍摄对象到获取模块的距离。该深度信息可以根据图像获得，也可以根据双目测距原理计算得到。例如，当获取模块为双目摄像头时，深度信息可以基于双目摄像头拍摄的图像计算得到。
当然，获取模块也可以采用其他的器件来实现。
可选的，由于被拍摄对象往往被遮挡，为了更好的获得被拍摄对象，获取模块与地面的距离小于或等于预设阈值。具体的，获取模块可以设置在车的侧面，也可以设置在车的底盘上。如图2所示，获取模块可以设置在车的左前方(如图中1位置)和/或右前方(如图中2位置)。需要说明的是，不管获取模块设置在车的侧面还是设置在车的底盘，获取模块均应设置在离地面较近的位置，这样才能识别到被其他如车辆等障碍物遮挡的对象，一般地，获取模块设置在车的前侧面，或底盘上靠近车头的位置。
本实施例中，被遮挡对象可以是指人、或动物、或物体(如车轮)等。
本实施例中，可以采用深度学习的方法来识别图像中的被遮挡对象的一部分。
本实施例中，在根据被遮挡对象的一部分生成被遮挡对象的轮廓时，可以先根据被遮挡对象的一部分确定被遮挡对象所属的类别，然后在预先设置的图像(如轮廓模板)中查找被遮挡对象所属的类别对应的图像。如图5所示，当人被相邻车道的车辆挡住时，驾驶员通常无法观察到，这种情况下获取模块则可以拍摄到人的腿部并进行识别，识别到人后，生成人的轮廓，从而使得驾驶员在驾驶过程中获知被遮挡对象，避免了驾驶过程中由于视线受阻而碰撞到突然出现的对象，提高了行车安全。
步骤401、确定被遮挡对象在预设坐标系中的坐标，并转换为显示装置的显示坐标。
本步骤中，显示装置可以是平视显示器，或投影装置。
平视显示器包括显示单元和映像光学系统。
其中，显示单元用于显示车速、油量等车辆状态信息以及导航、危险警示灯指示信息，映像光学系统用于将显示器发射的光反射到挡风玻璃上，然后经挡风玻璃反射到驾驶员的眼睛，从而在成像面成虚拟图像，驾驶员通过挡风玻璃即可观察到虚拟图像。
其中，显示单元包括背光源和显示面板。显示面板用于显示汽车的电子控制单元(ECU，Electronic Control Unit)传输过来的图像信息，即车速、油量等车辆状态信息以及导航、危险警示灯指示信息，背光源用于为显示面板提供背光。
映像光学系统可以采用反射镜、透视镜、棱镜等光学元件来实现。为了实现尽可能节省空间的结构方式，优选使用反射镜来实现。
本步骤中，被遮挡对象在显示装置上的显示坐标是指被遮挡对象在显示装置上显示时被遮挡对象上的某一点(如中心点、或质心、或其他任意一点)的位置对应的行数和列数。例如，对象1的显示坐标为(1,1)时，表示对象1在显示装置上显示时对象1上的某一点的位置为第1行第1列对应的像素点；对象2的显示坐标为(3,4)时，表示对象2在显示装置上显示时对象2上的某一点的位置为第3行第4列对应的像素点，以此类推。
本实施例中，预设坐标系为三维坐标系。预设坐标系可以预先设定，可以是获取模块坐标系，例如，如图6所示，获取模块坐标系为三维坐标系，获取模块坐标系的原点为获取模块所在的位置，获取模块坐标系的XoY平面垂直于水平面。
预设坐标系也可以是区别于获取模块坐标系之外的其他坐标系，例如驾驶员坐标系，如图6所示，驾驶员坐标系的原点为驾驶员所在的位置，驾驶员坐标系的XoY平面垂直于水平面，驾驶员坐标系的Z轴平行于水平面。当然，图6中所示的驾驶员坐标系仅仅是一个示例，具体的预设坐标系并不用于限定本申请的保护范围，这里不再赘述。
当预设坐标系为获取模块坐标系时，直接确定被遮挡对象在预设坐标系中的坐标；或者，确定深度信息，根据深度信息确定被遮挡对象在预设坐标系中的坐标。
当预设坐标系为区别于获取模块坐标系之外的其他坐标系时，先确定被遮挡对象在获取模块坐标系中的坐标，再将被遮挡对象在获取模块坐标系中的坐标转换为被遮挡对象在预设坐标系中的坐标。
其中，可以采用以下方法将被遮挡对象在预设坐标系中的坐标转换为显示装置的显示坐标：
将被遮挡对象在预设坐标系中的坐标转换为显示装置的成像面坐标系中的坐标；其中，如图7所示，成像面101坐标系为二维坐标系，成像面101坐标系的坐标平面平行于成像面101，成像面101一般垂直于水平面，成像面101坐标系的原点可以随意选取；
将被遮挡对象在成像面101坐标系中的坐标转换为在显示装置上的显示坐标。
其中，显示装置的成像面101可以与预设坐标系的一个坐标平面平行，如图7所示，显示装置的成像面101平行于预设坐标系的XoY平面，显示装置的成像面101也可以与预设坐标系的任意一个坐标平面均不平行。
其中，当显示装置的成像面101与预设坐标系的一个坐标平面平行时，将被遮挡对象在预设坐标系中的坐标转换为显示装置的成像面101坐标系中的坐标包括：
按照公式和计算被遮挡对象在成像面101坐标系中的坐标；
其中，(x2，y2)为所述被遮挡对象在所述成像面101坐标系中的坐标，(x1，y1)为所述被遮挡对象在所述预设坐标系中的坐标和驾驶员在所述预设坐标系中的坐标之差，f为所述被遮挡成像面101到驾驶员的距离在所述预设坐标系的垂直于所述成像面101的坐标轴上的投影，l为所述被遮挡对象到驾驶员的距离在所述预设坐标系的垂直于所述成像面101的坐标轴上的投影。
其中，将被遮挡对象在成像面101坐标系中的坐标转换为在显示装置上的显示坐标包括：
按照公式和计算对象在显示装置上的显示坐标；
其中，(x2，y2)为被遮挡对象在成像面101坐标系中的坐标，(u，v)为所述被遮挡对象在所述显示装置上的显示坐标，(u0，v0)为驾驶员在成像面101上的投影点在显示装置上的显示坐标，dx为行方向一个像素点代表的实际距离，dy为列方向一个像素点代表的实际距离。
步骤402、在显示装置上显示坐标对应的位置显示被遮挡对象的对应图像。
本步骤中，在显示装置上显示坐标对应的位置显示被遮挡对象的对应图像是指将被遮挡对象的对应图像在显示装置上显示时，被遮挡对象的对应图像上的某一点的位置为显示坐标对应的位置。
在一个可选实施例中，被遮挡对象有可能会被遮挡而完全识别不到，这种情况下可以根据之前识别到的被遮挡对象的信息来预测被遮挡对象的显示坐标并进行显示，进一步提高了获取被遮挡对象的精度。也就是说，
参见图8，识别第n帧图像中的被遮挡对象后，n为大于或等于2的整数，显示被遮挡对象的对应图像之前，该方法还包括：
判断第1帧图像到第(n－1)帧图像中识别到的所有被遮挡对象中，是否存在在第n帧图像中识别不到的第一被遮挡对象；如果第1帧图像到第(n－1)帧图像中识别到的所有被遮挡对象中未存在在第n帧图像中识别不到的第一被遮挡对象，则结束本流程；如果第1帧图像到第(n－1)帧图像中识别到的所有被遮挡对象中存在在第n帧图像中识别不到的第一被遮挡对象，则判断第一被遮挡对象是否移出显示装置，如果第一被遮挡对象已移出显示装置，则结束本流程；如果第一被遮挡对象未移出显示装置，则预测第n帧图像中第一被遮挡对象的显示坐标。
上述方法中，可以根据第(n－1)帧图像中第一被遮挡对象的显示坐标是否在显示装置的显示范围内来判断第一被遮挡对象是否移出显示装置。具体的，当第(n－1)帧图像中第一被遮挡对象的显示坐标在显示装置的显示范围内时，确定第一被遮挡对象未移出显示装置；当第(n－1)帧图像中第一被遮挡对象的显示坐标不在显示装置的显示范围内时，确定第一被遮挡对象已移出显示装置。
在一个可选实施例中，当从第i帧图像到第j帧图像识别到第一被遮挡对象，从第(j+1)帧图像到第n帧图像识别不到第一被遮挡对象时，预测第n帧图像中第一被遮挡对象的显示坐标包括：
按照公式和计算第n帧图像中第一被遮挡对象的显示坐标；
其中，(un，vn)为第n帧图像中第一被遮挡对象的显示坐标，(ui，vi)为第i帧图像中第一被遮挡对象的显示坐标，(uj，vj)为第j帧图像中第一被遮挡对象的显示坐标，m1＝j－i+1，m2＝n－j。
上述方法中，参见图9，也可以在判断第一被遮挡对象是否移出显示装置之前，先预测第n帧图像中第一被遮挡对象的显示坐标，然后根据第n帧图像中第一被遮挡对象的显示坐标是否在显示装置的显示范围内来判断第一被遮挡对象是否移出显示装置；如果确定第一被遮挡对象已移出显示装置，则不显示第一被遮挡对象的轮廓；如果确定第一被遮挡对象未移出显示装置，则显示第一被遮挡对象的对应图像。
具体的，当第n帧图像中第一被遮挡对象的显示坐标在显示装置的显示范围内时，确定第一被遮挡对象未移出显示装置；当第n帧图像中第一被遮挡对象的显示坐标不在显示装置的显示范围内时，确定第一被遮挡对象已移出显示装置。
参见图10，本发明第四实施例提出了一种车辆，包括上述任意一种车辆防撞系统。
可选的，车辆还包括：报警装置；
显示系统还用于：
根据所述被遮挡对象的深度信息和车辆的行驶方向确定是否发出警报信息，如果是则所述警报装置发出所述警报信息；其中，警报信息包括文字、图像、声音中的至少一种；
所述警报装置，用于接收所述警报信息并输出。
具体的，当被遮挡对象出现在车辆的行驶方向前方，且被遮挡对象的深度信息小于预设阈值时，确定需要发出警报信息；当被遮挡对象出现在车辆的行驶方向侧方时，确定不需要发出警报信息。
其中，预设阈值大于车辆行驶速度和驾驶员反映时间之积。
上述方法通过向驾驶员发出警报信息，使得驾驶员能够意识到危险，从而避免了驾驶过程中由于视线受阻而碰撞到突然出现的对象，提高了行车安全。
虽然本发明所揭露的实施方式如上，但的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (17)

1.一种显示系统，其特征在于，包括：
获取模块，用于获取图像；
识别模块，用于从所述图像中识别出被遮挡对象的一部分，并根据被遮挡对象的一部分生成被遮挡对象的对应图像；
确定模块，用于确定被遮挡对象在预设坐标系中的坐标，并转换为显示装置的显示坐标。
2.根据权利要求1所述的显示系统，其特征在于，所述确定模块具体用于：
确定所述被遮挡对象在预设坐标系中的坐标，将所述被遮挡对象在所述预设坐标系中的坐标转换为所述显示装置的成像面坐标系中的坐标；其中，所述预设坐标系为三维坐标系，所述成像面坐标系为平行于所述显示装置的成像面的二维坐标系；
将所述被遮挡对象在所述成像面坐标系中的坐标转换为所述显示装置的显示坐标。
3.根据权利要求1所述的显示系统，其特征在于，所述确定模块还用于：
判断第1帧图像到第(n－1)帧图像中识别到的所有被遮挡对象中，是否存在在第n帧图像中识别不到的第一被遮挡对象；
如果所述第1帧图像到所述第(n－1)帧图像中识别到的所有被遮挡对象中存在在所述第n帧图像中识别不到的所述第一被遮挡对象，则判断所述第一被遮挡对象是否移出所述显示装置，如果所述第一被遮挡对象未移出所述显示装置，则预测所述第n帧图像中第一被遮挡对象的显示坐标；其中，n为大于或等于2的整数。
4.根据权利要求1所述的显示系统，其特征在于，所述确定模块还用于：
判断第1帧图像到第(n－1)帧图像中识别到的所有被遮挡对象中，是否存在在第n帧图像中识别不到的第一被遮挡对象；
如果所述第1帧图像到所述第(n－1)帧图像中识别到的所有被遮挡对象中，存在在所述第n帧图像中识别不到的所述第一被遮挡对象，则预测所述第n帧图像中第一被遮挡对象的显示坐标；
根据所述第n帧图像中第一被遮挡对象的显示坐标判断所述第一被遮挡对象是否移出所述显示装置，如果所述第一被遮挡对应未移出所述显示装置，则在显示装置上显示所述第一被遮挡对象的对应图像；其中，n为大于或等于2的整数。
5.根据权利要求1所述的显示系统，其特征在于，所述获取模块包括双目摄像头。
6.一种车载防撞系统，其特征在于，包括：权利要求1～4任一项所述的显示系统和显示装置；其中，
显示装置，用于在显示坐标对应的位置显示被遮挡对象的对应图像。
7.根据权利要求6所述的车载防撞系统，其特征在于，所述显示系统的获取模块与地面的距离小于或等于预设阈值。
8.一种被遮挡对象的显示方法，其特征在于，包括：
获取图像，从所述图像中识别出被遮挡对象的一部分，并根据被遮挡对象的一部分生成被遮挡对象的对应图像；
确定被遮挡对象在预设坐标系中的坐标，并转换为显示装置的显示坐标；
在显示装置上显示坐标对应的位置显示所述被遮挡对象的对应图像。
9.根据权利要求8所述的显示方法，其特征在于，所述根据被遮挡对象的一部分生成被遮挡对象的对应图像包括：
根据所述被遮挡对象的一部分确定所述被遮挡对象所属的类别，在预先设置的图像中查找所述被遮挡对象所属的类别对应的图像。
10.根据权利要求8所述的方法，其特征在于，所述将被遮挡对象在预设坐标系中的坐标转换为显示装置的显示坐标包括：
将所述被遮挡对象在所述预设坐标系中的坐标转换为所述显示装置的成像面坐标系中的坐标；其中，所述预设坐标系为三维坐标系，所述成像面坐标系为平行于所述显示装置的成像面的二维坐标系；
将所述被遮挡对象在所述成像面坐标系中的坐标转换为所述显示装置的显示坐标。
11.根据权利要求10所述的方法，其特征在于，当所述显示装置的成像面与所述预设坐标系的一个坐标平面平行时，所述将被遮挡对象在预设坐标系中的坐标转换为显示装置的成像面坐标系中的坐标包括：
按照公式和计算所述被遮挡对象在所述成像面坐标系中的坐标；
其中，(x2，y2)为所述被遮挡对象在所述成像面坐标系中的坐标，(x1，y1)为所述被遮挡对象在所述预设坐标系中的坐标和观看者在所述预设坐标系中的坐标之差，f为所述成像面到观看者的距离在所述预设坐标系的垂直于所述成像面的坐标轴上的投影，l为所述被遮挡对象到观看者的距离在所述预设坐标系的垂直于所述成像面的坐标轴上的投影。
12.根据权利要求10所述的方法，其特征在于，所述将被遮挡对象在成像面坐标系中的坐标转换为显示装置的显示坐标包括：
按照公式和计算所述显示装置的显示坐标；
其中，(x2，y2)为所述被遮挡对象在所述成像面坐标系中的坐标，(u，v)为所述被遮挡对象在所述显示装置上的显示坐标，(u0，v0)为观看者在所述成像面上的投影点在所述显示装置上的显示坐标，dx为行方向一个像素点代表的实际距离，dy为列方向一个像素点代表的实际距离。
13.根据权利要求8所述的方法，其特征在于，识别第n帧图像中的被遮挡对象后，n为大于或等于2的整数，显示被遮挡对象的对应图像之前，该方法还包括：
判断第1帧图像到第(n－1)帧图像中识别到的所有被遮挡对象中，是否存在在第n帧图像中识别不到的第一被遮挡对象；
如果所述第1帧图像到所述第(n－1)帧图像中识别到的所有被遮挡对象中存在在所述第n帧图像中识别不到的所述第一被遮挡对象，则判断所述第一被遮挡对象是否移出所述显示装置，如果所述第一被遮挡对象未移出所述显示装置，则预测所述第n帧图像中第一被遮挡对象的显示坐标。
14.根据权利要求8所述的方法，其特征在于，识别第n帧图像中的被遮挡对象后，n为大于或等于2的整数，显示被遮挡对象的对应图像之前，该方法还包括：
判断第1帧图像到第(n－1)帧图像中识别到的所有被遮挡对象中，是否存在在第n帧图像中识别不到的第一被遮挡对象；
如果所述第1帧图像到所述第(n－1)帧图像中识别到的所有被遮挡对象中，存在在所述第n帧图像中识别不到的所述第一被遮挡对象，则预测所述第n帧图像中第一被遮挡对象的显示坐标；
根据所述第n帧图像中第一被遮挡对象的显示坐标判断所述第一被遮挡对象是否移出所述显示装置，如果所述第一被遮挡对应未移出所述显示装置，则在所述显示装置上显示所述第一被遮挡对象的对应图像。
15.根据权利要求13或14所述的方法，其特征在于，当从第i帧图像到第j帧图像识别到所述第一被遮挡对象，从第(j+1)帧图像到第n帧图像识别不到所述第一被遮挡对象时，所述预测第n帧图像中第一被遮挡对象的显示坐标包括：
按照公式和计算所述第n帧图像中第一被遮挡对象的显示坐标；
其中，(un，vn)为所述第n帧图像中第一被遮挡对象的显示坐标，(ui，vi)为第i帧图像中第一被遮挡对象的显示坐标，(uj，vj)为第j帧图像中第一被遮挡对象的显示坐标，m1＝j－i+1，m2＝n－j。
16.一种车辆，其特征在于，包括：权利要求6或7所述的车载防撞系统。
17.根据权利要求16所述的车辆，其特征在于，还包括：警报装置；
所述显示系统还用于：
根据所述被遮挡对象的深度信息和车辆的行驶方向确定是否发出警报信息，如果是则所述警报装置发出所述警报信息；其中，警报信息包括文字、图像、声音中的至少一种；
所述警报装置，用于接收所述警报信息并输出。
CN201810041758.8A 2018-01-16 2018-01-16 一种被遮挡对象的显示方法和显示系统以及车载防撞系统 Active CN108082083B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810041758.8A CN108082083B (zh) 2018-01-16 2018-01-16 一种被遮挡对象的显示方法和显示系统以及车载防撞系统
PCT/CN2018/091061 WO2019140860A1 (en) 2018-01-16 2018-06-13 Method and apparatus for tracking an at least partially occluded object, vehicle and computer-program product thereof
US16/332,906 US11361553B2 (en) 2018-01-16 2018-06-13 Method and apparatus for tracking an at least partially occluded object, vehicle and computer-program product thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810041758.8A CN108082083B (zh) 2018-01-16 2018-01-16 一种被遮挡对象的显示方法和显示系统以及车载防撞系统

Publications (2)

Publication Number Publication Date
CN108082083A true CN108082083A (zh) 2018-05-29
CN108082083B CN108082083B (zh) 2019-11-01

Family

ID=62182329

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810041758.8A Active CN108082083B (zh) 2018-01-16 2018-01-16 一种被遮挡对象的显示方法和显示系统以及车载防撞系统

Country Status (3)

Country Link
US (1) US11361553B2 (zh)
CN (1) CN108082083B (zh)
WO (1) WO2019140860A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019140860A1 (en) * 2018-01-16 2019-07-25 Boe Technology Group Co., Ltd. Method and apparatus for tracking an at least partially occluded object, vehicle and computer-program product thereof
CN111767844A (zh) * 2020-06-29 2020-10-13 北京百度网讯科技有限公司 用于三维建模的方法和装置
CN112109550A (zh) * 2020-09-08 2020-12-22 中国第一汽车股份有限公司 基于ar-hud的预警信息的显示方法、装置、设备及车辆
CN113272177A (zh) * 2018-11-15 2021-08-17 法雷奥开关和传感器有限责任公司 用于提供关于环境的至少一部分的视觉信息的方法、计算机程序产品、移动通信设备和通信系统
CN113657462A (zh) * 2021-07-28 2021-11-16 讯飞智元信息科技有限公司 用于训练车辆识别模型的方法、车辆识别方法和计算设备

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210300433A1 (en) * 2020-03-27 2021-09-30 Washington University Systems and methods for defending against physical attacks on image classification
US11753029B1 (en) * 2020-12-16 2023-09-12 Zoox, Inc. Off-screen object indications for a vehicle user interface
US11854318B1 (en) 2020-12-16 2023-12-26 Zoox, Inc. User interface for vehicle monitoring
CN114782799A (zh) * 2022-02-10 2022-07-22 成都臻识科技发展有限公司 高位相机视角下大车遮挡的模拟方法、系统、设备及介质
CN115439509B (zh) * 2022-11-07 2023-02-03 成都泰盟软件有限公司 一种多目标跟踪方法、装置、计算机设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5634546A (en) * 1979-08-27 1981-04-06 Komatsu Forklift Kk Safety device for running car
KR20090072329A (ko) * 2007-12-28 2009-07-02 울산대학교 산학협력단 크레인 충돌 방지 및 모니터링 시스템
CN101734214A (zh) * 2010-01-21 2010-06-16 上海交通大学 汽车防撞行人智能装置与方法
CN101976341A (zh) * 2010-08-27 2011-02-16 中国科学院自动化研究所 一种从交通图像中检测车辆位置、姿态和三维轮廓的方法
CN104118382A (zh) * 2013-04-26 2014-10-29 株式会社电装 碰撞确定设备、碰撞减轻设备和碰撞确定方法
CN104680532A (zh) * 2015-03-02 2015-06-03 北京格灵深瞳信息技术有限公司 一种对象标注方法及装置
CN105930787A (zh) * 2016-04-16 2016-09-07 南京林业大学 车辆开门预警方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4889351B2 (ja) * 2006-04-06 2012-03-07 株式会社トプコン 画像処理装置及びその処理方法
TWI314115B (en) 2007-09-27 2009-09-01 Ind Tech Res Inst Method and apparatus for predicting/alarming the moving of hidden objects
US8630456B2 (en) * 2009-05-12 2014-01-14 Toyota Jidosha Kabushiki Kaisha Object recognition method, object recognition apparatus, and autonomous mobile robot
US8558718B2 (en) 2010-09-20 2013-10-15 Honda Motor Co., Ltd. Method of controlling a collision warning system using line of sight
US20140307920A1 (en) * 2013-04-12 2014-10-16 David Holz Systems and methods for tracking occluded objects in three-dimensional space
US20140241573A1 (en) * 2013-02-27 2014-08-28 Blendagram, Inc. System for and method of tracking target area in a video clip
CN103158620B (zh) * 2013-03-25 2015-09-16 中国电子科技集团公司第三十八研究所 一种车辆行人检测跟踪预警系统
DE102013210729A1 (de) * 2013-06-10 2014-12-11 Robert Bosch Gmbh Verfahren und Vorrichtung zum Signalisieren eines visuell zumindest teilweise verdeckten Verkehrsobjekts für einen Fahrer eines Fahrzeugs
US10181085B2 (en) * 2014-11-05 2019-01-15 Trw Automotive U.S. Llc Augmented object detection using structured light
GB201818058D0 (en) * 2015-05-18 2018-12-19 Mobileye Vision Technologies Ltd Safety system for a vehicle to detect and warn of a potential collision
CN107532917B (zh) * 2015-06-30 2018-06-12 三菱电机株式会社 显示控制装置和显示控制方法
EP3174007A1 (en) * 2015-11-30 2017-05-31 Delphi Technologies, Inc. Method for calibrating the orientation of a camera mounted to a vehicle
JPWO2017109978A1 (ja) * 2015-12-25 2018-10-18 パイオニア株式会社 距離推定装置、距離推定方法及びプログラム
US10147237B2 (en) * 2016-09-21 2018-12-04 Verizon Patent And Licensing Inc. Foreground identification for virtual objects in an augmented reality environment
CN107945234A (zh) * 2016-10-12 2018-04-20 杭州海康威视数字技术股份有限公司 一种立体摄像机外部参数的确定方法及装置
US10318822B2 (en) * 2017-04-06 2019-06-11 GM Global Technology Operations LLC Object tracking
CN108082083B (zh) * 2018-01-16 2019-11-01 京东方科技集团股份有限公司 一种被遮挡对象的显示方法和显示系统以及车载防撞系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5634546A (en) * 1979-08-27 1981-04-06 Komatsu Forklift Kk Safety device for running car
KR20090072329A (ko) * 2007-12-28 2009-07-02 울산대학교 산학협력단 크레인 충돌 방지 및 모니터링 시스템
CN101734214A (zh) * 2010-01-21 2010-06-16 上海交通大学 汽车防撞行人智能装置与方法
CN101976341A (zh) * 2010-08-27 2011-02-16 中国科学院自动化研究所 一种从交通图像中检测车辆位置、姿态和三维轮廓的方法
CN104118382A (zh) * 2013-04-26 2014-10-29 株式会社电装 碰撞确定设备、碰撞减轻设备和碰撞确定方法
CN104680532A (zh) * 2015-03-02 2015-06-03 北京格灵深瞳信息技术有限公司 一种对象标注方法及装置
CN105930787A (zh) * 2016-04-16 2016-09-07 南京林业大学 车辆开门预警方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019140860A1 (en) * 2018-01-16 2019-07-25 Boe Technology Group Co., Ltd. Method and apparatus for tracking an at least partially occluded object, vehicle and computer-program product thereof
US11361553B2 (en) 2018-01-16 2022-06-14 Boe Technology Group Co., Ltd. Method and apparatus for tracking an at least partially occluded object, vehicle and computer-program product thereof
CN113272177A (zh) * 2018-11-15 2021-08-17 法雷奥开关和传感器有限责任公司 用于提供关于环境的至少一部分的视觉信息的方法、计算机程序产品、移动通信设备和通信系统
CN113272177B (zh) * 2018-11-15 2024-01-26 法雷奥开关和传感器有限责任公司 用于提供关于环境的至少一部分的视觉信息的方法、计算机程序产品、移动通信设备和通信系统
CN111767844A (zh) * 2020-06-29 2020-10-13 北京百度网讯科技有限公司 用于三维建模的方法和装置
US11697428B2 (en) 2020-06-29 2023-07-11 Apollo Intelligent Driving Technology (Beijing) Co., Ltd. Method and apparatus for 3D modeling
CN111767844B (zh) * 2020-06-29 2023-12-29 阿波罗智能技术(北京)有限公司 用于三维建模的方法和装置
CN112109550A (zh) * 2020-09-08 2020-12-22 中国第一汽车股份有限公司 基于ar-hud的预警信息的显示方法、装置、设备及车辆
CN113657462A (zh) * 2021-07-28 2021-11-16 讯飞智元信息科技有限公司 用于训练车辆识别模型的方法、车辆识别方法和计算设备

Also Published As

Publication number Publication date
US11361553B2 (en) 2022-06-14
US20210334555A1 (en) 2021-10-28
WO2019140860A1 (en) 2019-07-25
CN108082083B (zh) 2019-11-01

Similar Documents

Publication Publication Date Title
CN108082083B (zh) 一种被遮挡对象的显示方法和显示系统以及车载防撞系统
US10502955B2 (en) Head-up display device, navigation device, and display method
CN104883554B (zh) 通过虚拟透视仪器群集显示直播视频的方法和系统
CN109636924B (zh) 基于现实路况信息三维建模的车载多模式增强现实系统
JP4879189B2 (ja) 安全走行支援装置
CN105196918B (zh) 展示机动车的车辆周围环境信息的方法
CN104517118B (zh) 车外环境识别装置
CN108243623A (zh) 基于双目立体视觉的汽车防碰撞预警方法和系统
CN107571797A (zh) 前车行驶信息抬头显示方法及系统
CN106458029A (zh) 显示装置及交通工具
JP6453929B2 (ja) 車両の表示システム及び車両の表示システムの制御方法
CN111052735B (zh) 图像处理装置、图像处理方法以及图像显示系统
JP2004240480A (ja) 運転支援装置
CN104200689A (zh) 一种道路预警方法及装置
KR102223852B1 (ko) 영상 디스플레이 시스템 및 방법
CN108021899A (zh) 基于双目相机的车载智能前车防撞预警方法
CN109278642A (zh) 车辆倒车安全性映射
CN109345591A (zh) 一种车辆自身姿态检测方法和装置
KR20180063524A (ko) 가상 차선을 이용한 전방 차량 위험도 감지 방법 및 장치
EP3892489A1 (en) Vehicle display device
WO2010113253A1 (ja) ３次元情報表示装置および３次元情報表示方法
CN109506949B (zh) 无人驾驶车辆的物体识别方法、装置、设备及存储介质
Kojima et al. NaviView: visual assistance by virtual mirrors at blind intersection
KR20160136757A (ko) 단안 카메라를 이용한 장애물 검출장치
US20190283607A1 (en) Display device and electronic mirror

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant