CN110378836A - 获取对象的3d信息的方法、系统和设备 - Google Patents

获取对象的3d信息的方法、系统和设备 Download PDF

Info

Publication number
CN110378836A
CN110378836A CN201910289596.4A CN201910289596A CN110378836A CN 110378836 A CN110378836 A CN 110378836A CN 201910289596 A CN201910289596 A CN 201910289596A CN 110378836 A CN110378836 A CN 110378836A
Authority
CN
China
Prior art keywords
image
partly
equipment
sensor equipment
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910289596.4A
Other languages
English (en)
Other versions
CN110378836B (zh
Inventor
马克西米兰·考夫曼
凯·乌维·哈根伯格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mazeson Innovation Ltd
Original Assignee
Mazeson Innovation Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mazeson Innovation Ltd filed Critical Mazeson Innovation Ltd
Publication of CN110378836A publication Critical patent/CN110378836A/zh
Application granted granted Critical
Publication of CN110378836B publication Critical patent/CN110378836B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G06T3/14—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T3/08—
    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种用于获得显示在由至少两个车载传感器获得的至少两个图像中的对象的3D信息的方法、一种用于执行所述方法的各个步骤的设备以及一种包括这种设备的系统。本发明还涉及一种包括这种设备或这种系统的车辆。

Description

获取对象的3D信息的方法、系统和设备
技术领域
本发明涉及一种用于获得至少部分地显示在由至少两个车载传感器获得的至少两个图像中的对象的3D信息的方法、一种用于执行所述方法的各个步骤的设备以及一种包括这种设备的系统。本发明还涉及一种包括这种设备或这种系统的车辆。
背景技术
在现有技术中，在车辆，尤其是在机动车辆中提供的高级驾驶员辅助系统(ADAS)的显示器以二维方式显示图像呈现。结果，车辆的驾驶员不能以正确和精确的方式从静止帧判断图像呈现中存在的对象的距离和深度。
因此，尽管在车辆上可以使用辅助系统，但是驾驶员仍然需要高度关注显示器，以便解释和理解关于其上显示的各个对象的图像呈现。例如，在停车期间，驾驶员仔细分析了图像呈现以避开撞击场景中存在的对象。此外，额外所需的所述关注伴随着驾驶员对其他事件的更高疏忽。这反过来又会增加事故风险。
发明内容
因此，本发明旨在以更舒适、可靠和安全的方式提供关于车辆环境的信息。
本发明通过一种用于获得至少部分地显示在由至少两个车载传感器获得的至少两个图像中的对象的3D信息的方法解决根据第一方面所述的问题，所述方法包括以下步骤：接收由第一传感器设备获得的至少一个第一图像；接收由第二传感器设备获得的至少一个第二图像；通过组合来自至少所述第一图像和所述第二图像的信息来生成共享3D空间；识别所述共享3D空间中的至少一个对象，由此所述对象至少部分地在所述第一图像中并且至少部分地在所述第二图像中显示；确定所述对象的至少一个3D信息；并且基于所确定的所述3D信息执行至少一个动作。
在一个实施方式中，优选的是，所述方法进一步包括以下步骤：(i)接收由至少一个第三传感器设备获得的至少一个第三图像，优选地所述至少一个第三图像为多个第三图像，优选地所述至少一个第三传感器为多个第三传感器设备；(ii)至少部分地在所述第一图像上应用失真校正，特别地基于所述第一传感器设备的至少一个预定参数应用所述失真校正，特别地所述失真校正是透镜畸变校正，尤其地所述预定参数是透镜参数；(iii)至少部分地在所述第二图像上应用失真校正，特别地基于所述第二传感器设备的至少一个预定参数应用所述失真校正，特别地所述失真校正是透镜失真校正，尤其地所述预定参数是透镜参数；(iv)至少部分地在所述第三图像上应用失真校正，特别地基于所述第三传感器设备的至少一个预定参数应用所述失真校正，特别地所述失真校正是透镜失真校正，尤其地所述预定参数是透镜参数；和/或(v)至少部分地接收一个全景(surround view)图像，由全景图像处理器至少部分地生成至少一个全景图像，为至少一个驾驶员辅助系统至少部分地生成至少一个全景图像和/或通过至少一个驾驶员辅助系统至少部分地显示至少一个全景图像，其中特别地所述全景图像至少部分地基于至少所述第一图像、所述第二图像和/或所述第三图像。
在另一实施方式中，(i)生成所述共享3D空间进一步包括以下步骤：执行所述第一图像、所述第二图像和/或所述第三图像的3D数据映射，特别地所述执行是至少部分地执行，和/或确定相应图像的共享视野的至少一部分；(ii)生成所述共享3D空间进一步包括以下步骤：匹配至少部分地显示在所述第一图像、所述第二图像和/或所述第三图像中的对象，所述对象为所述至少一个对象，尤其地所述匹配借助于以下手段进行：(a)图像特征配准，特别地所述图像特征配准是具有较大视差的图像特征配准，(b)随时间进行的跟踪，(c)确定的对象运动结构，和/或(d)至少一种基于随机样本共识(RANSAC)的方法；(iii)所述共享3D空间至少部分地是、包括和/或表示所述车辆的环境的至少一部分的模型，尤其地所述至少一部分是所述车辆的周围区域的至少一部分；(iv)至少部分地基于所述共享3D空间确定所述3D信息；(v)所述3D信息至少部分地包括至少一个深度信息和/或距离；(vi)所述距离是测量的所述对象相对于至少一个参考点的距离，尤其地所述至少一个参考点是至少部分地位于所述车辆上或所述车辆处的至少一个参考点；和/或(vii)所述全景图像至少部分地包括至少一个第一图像部分，其中所述第一图像部分至少部分地由至少包括以下的步骤获得：至少部分地沿着至少一个第一边界剪切所述第一图像；至少一个第二图像部分，其中所述第二图像部分至少部分地由至少包括以下的步骤获得：至少部分地沿着至少一个第二边界剪切所述第二图像；和/或至少一个第三图像部分，其中所述第三图像部分至少部分地由至少包括以下的步骤获得：沿着至少一个第三边界剪切所述第三图像。
在又一实施方式中，执行所述动作包括以下步骤：(i)确定所述对象是否至少部分地位于所述全景图像的至少一个盲点区域内，其中特别地，如果所述对象在所述第一图像部分的外部和/或部分地在所述第一图像部分的外部和/或在所述第二图像部分的外部和/或部分地在所述第二图像部分的外部，则所述对象位于所述盲点区域内；并且优选地，响应于所述对象至少部分地位于所述盲点区域内的所述确定，特别地进一步包括以下步骤：调整所述第一边界和/或所述第二边界的至少一部分以便将所述对象至少部分地包含在所述第一图像部分和/或所述第二图像部分中；(ii)触发信号设备，以在所述对象的所述3D信息超过和/或低于第一阈值时通知所述车辆的驾驶员关于所述对象的情况；(iii)利用所述对象的所述3D信息增强以下应用中的至少一种：全景应用、停车应用、远视应用，特别地所述停车应用是距离在1.5米和2米之间的停车应用，特别地所述远视应用是超过20米的远视应用；(iv)根据所述对象的所述3D信息，特别是在所述对象的所述3D信息超过和/或低于第二阈值时，重新整理(rearranging)所述全景图像的至少一部分，特别地所述重新整理借助于以下手段进行：改变所述全景图像的缩放级别，尤其地所述改变是增大和/或减小；至少部分地在所述全景图像上突出显示所述对象；和/或至少部分地在所述全景图像上分离所述对象；和/或(v)将所述对象的所述3D信息至少部分地转发给至少一个高级驾驶员辅助系统。
本发明通过一种用于获得显示在由至少两个车载传感器获得的至少两个图像中的对象的3D信息的设备解决根据第二方面所述的问题，所述设备包括适于执行根据本发明的所述第一方面所述的方法的步骤的至少一个处理器。
本发明通过一种用于获得显示在由至少两个车载传感器获得的至少两个图像中的对象的3D信息的系统解决根据第三方面所述的问题，所述系统包括：至少一个第一传感器设备；至少一个第二传感器设备；以及至少一个根据本发明的所述第二方面所述的设备。
在一个实施方式中，(i)所述系统进一步包括至少一个第三传感器设备，优选地所述至少一个第三传感器为多个第三传感器设备；(ii)所述系统进一步包括至少一个驾驶员辅助系统和/或至少一个信号设备；(iii)至少一个鸟瞰系统处理器和/或至少一个全景图像处理器；和/或(iv)所述系统进一步包括适于执行以下应用中的至少一种的至少一个设备：全景应用、停车应用、远视应用，特别地所述停车应用是距离在1.5米和2米之间的停车应用，特别地所述远视应用是超过20米的远视应用。
在另一实施方式中，(i)所述第一传感器设备适于至少部分地获得至少第一图像；(ii)所述第一传感器设备至少部分地包括和/或表示至少一个第一相机、至少一个第一相机监视系统(cms)相机、至少一个第一镜替换相机、至少一个第一后备相机、所述车辆的高级驾驶员辅助系统的至少一个第一相机、提供至少一个鸟瞰图像的至少一个第一鸟瞰图像处理器、提供至少一个全景图像的至少一个第一全景图像处理器、至少一个第一雷达设备、至少一个第一激光雷达设备和/或至少一个第一超声波设备；(iii)所述第一传感器设备至少部分地包括至少一个鱼眼镜头和/或在第一位置处附接或可附接到所述车辆；(iv)所述第二传感器设备适于至少部分地获得至少第二图像；(ii)所述第二传感器设备至少部分地包括和/或表示至少一个第二相机、至少一个第二相机监视系统(cms)相机、至少一个第二镜替换相机、至少一个第二备用相机、所述车辆的高级驾驶员辅助系统的至少一个第二相机、提供至少一个鸟瞰图像的至少一个第二鸟瞰图像处理器、提供至少一个全景图像的至少一个第二全景图像处理器、至少一个第二雷达设备、至少一个第二激光雷达设备和/或至少一个第二超声波设备；(vi)所述第三传感器设备至少部分地包括至少一个鱼眼镜头和/或在第三位置处附接或可附接到所述车辆；(vii)所述第三传感器设备适于至少部分地获得至少第三图像；(viii)所述第三传感器设备至少部分地包括和/或表示至少一个第三相机、至少一个第三内容管理系统(cms)相机、至少一个第三镜替换相机、至少一个第三备用相机、所述车辆的高级驾驶员辅助系统的至少一个第三相机、提供至少一个鸟瞰图像的至少一个第三鸟瞰图像处理器、提供至少一个全景图像的至少一个第三全景图像处理器、至少一个第三雷达设备、至少一个第三激光雷达设备和/或至少一个第三超声波设备；(ix)所述第二传感器设备至少部分地包括至少一个鱼眼镜头和/或在第二位置处附接或可附接到所述车辆；和/或(x)所述第一传感器设备和所述第二传感器设备具有基本相同的全局视野，所述第一传感器设备和所述第三传感器设备具有基本相同的全局视野，所述第二传感器设备和所述第三传感器设备具有基本相同的全局视野，由所述第一传感器设备获得的所述第一图像与由所述第二传感器设备获得的所述第二图像具有较大的交叠区域，由所述第一传感器设备获得的所述第一图像与由所述第三传感器设备获得的所述第三图像具有较大的交叠区域和/或由所述第二传感器设备获得的所述第二图像与由所述第三传感器设备获得的所述第三图像具有较大的交叠区域。
本发明通过一种车辆解决根据第四方面所述的问题，特别地所述车辆是机动车辆，所述车辆至少部分地包括根据本发明的所述第二方面所述的设备和/或根据本发明的所述第三方面所述的系统。
在一个实施方式中，所述第一传感器设备在第一位置处至少部分地附接到所述车辆，所述第二传感器设备在第二位置处至少部分地附接到所述车辆和/或所述第三传感器设备在第三位置处至少部分地附接到所述车辆。
因此，有利地发现，由第一传感器设备和第二传感器设备，特别是由第一相机和第二相机获得的第一图像和第二图像可以有利地用于在这两个图像的图像信息被组合到共享3D空间中时则确定这两个图像上显示的至少一个对象的至少一个3D信息的目的。
这里，术语“共享3D空间”可以用于指代所述车辆的环境的至少一部分的3D模型，由此至少基于所述第一图像和所述第二图像生成所述模型。
有利地，数据映射可以用于将所述信息组合到所述共享3D空间中。
这里，术语“数据映射”可以用于指代第一图像的一个像素到第二图像的另一像素的每种映射，因此，允许获得关于对象的至少一部分的3D信息，其是包括相应像素的图像的一部分。
本发明人惊奇地发现，借助于所述共享3D空间，可以识别至少部分地在这两个图像上显示的对象，并且另外可以以非常舒适、稳定和有效的方式确定相应对象的相关3D信息。
基于所述3D信息，可以执行至少一个动作，这改善了驾驶员的体验并且还提高了安全性。
两个图像就足以实现本发明，这是非常有益的。然而，本发明人还认识到也可以使用由至少一个第三传感器设备，优选地由多个第三传感器设备获得的甚至多于两个图像，即至少一个第三图像，优选地多个第三图像。通过利用多于两个图像来生成所述共享3D空间，可以实现数据模型和由此导出的信息的更高精度，因为当两个图像构成基底(basis)时已经可以实现。多个图像可以经生成，使得所述第一传感器设备、第二传感器设备和/或第三传感器设备中的每一个各自提供单个图片；和/或可以是由所述第一传感器设备、第二传感器设备和/或第三传感器设备各自获取的多个图像，特别是连续的图像。
发明人还认识到几乎每种图像源都可以用作所述第一传感器设备和第二传感器设备。因此，可以依赖于已经存在于所述车辆上的传感器设备，例如相机监视系统(cms)相机、镜替换相机、备用相机或车辆的高级驾驶员辅助系统的相机。此外，可以依赖于其他地方使用的图像，例如鸟瞰图像或全景图像，因此，使用提供相应图像的相应鸟瞰图像处理器或全景图像处理器作为就本发明的意义而言适当的传感器设备。这使得不需要额外的设备并且还降低了计算能力，因为无论如何都可获得的那些图像可以重复使用。
特别地，已经发现，图像失真可以借助于本领域已知的适当算法来校正，尤其地所述图像失真由用于获得第一图像、第二图像和/或第三图像的相机的鱼眼镜头所导致。因此，为了本发明的目的，更可能依赖于已经在所述车辆处提供的任何相机。
为了生成所述共享3D空间，可以执行在所述第一图像和所述第二图像两者中(或者如果接收到多于两个图像，则在更多图像中)所示的对象的匹配。这尤其允许确保一个对象且同一个对象也仅作为单个对象出现在所述共享3D空间中。
基于所述共享3D空间，有利地可以检测对象和/或确定相应对象的3D信息，特别地所述检测和/或所述确定基于与所述共享3D空间的相应体素(3D-像素)相关联的信息进行。尤其地，所述3D信息包括深度信息。这可以是相对值或绝对值。所述3D信息可以附加地或替代地进一步包括距离值。该值可以参考某个参考点来陈述。例如，所述参考点可以相对于所述车辆上或所述车辆处的某个位置来选择。
同样有利的是，在生成所述共享3D空间之后，还可以使用所述3D信息来确定某个对象是否至少部分地位于全景图像的至少一个盲点区域内。然后在所述盲点区域中存在对象的情况下，可以调整所述全景图像。这确保了可能对所述车辆、驾驶员、对象本身或其任何组合构成风险的每个对象可靠地至少部分地显示在所述全景图像上。优选地，用于生成所述全景图像的相同图像也可以用于创建所述共享3D空间，从而节省资源。
因此，提出了一种基于多传感器的系统，所述系统可以利用任何透镜类型从相机生成3D信息，特别地所述相机是定位在汽车上的任何相机。如果3D信息可用，则该信息可用于通知驾驶员，例如，关于物距(例如停车期间的墙壁、桥梁的高度等)的情况。这样的系统和这样的3D信息可以附加地或替代地替换其他传感器的信息和所述其他传感器。
附图说明
以下附图示出了本发明的各方面，用于结合一些示例性说明来改进对本发明的理解，其中：
图1a、1b 示出了表示第一场景的第一图像和第二图像；
图2a、2b 示出了表示第二场景的第一图像和第二图像；
图3a、3b、3c 示出了表示第三场景的第一图像、第二图像和第三图像；
图4 示出了根据本发明的第一方面的实施方式的方法的功能图；
图5a、5b、5c 示出了第一视角、第二视角和第三视角的共享3D空间；以及
图6 示出了全景图像的示意图。
具体实施方式
图1a和1b分别示出了表示第一场景的第一图像和第二图像。所述第一场景的这两个图像是在停车场拍摄的。图1a中所示的第一图像是由第一传感器设备获得的，所述第一传感器设备包括在第一位置处附接到车辆的第一相机。所述第一位置在所述车辆的顶部。图1b中所示的第二图像由第二传感器设备获得，所述第二传感器设备包括在第二位置处附接到所述车辆的第二相机。所述第二位置在相对于主行驶方向的所述车辆的左侧，即在右侧交通车辆中的驾驶员侧。
所述第一传感器设备和所述第二传感器设备具有基本相同的全局视野，因此，由所述第一传感器设备获得的所述第一图像与由所述第二传感器设备获得的所述第二图像具有较大的交叠区域。
图2a和2b分别示出了包括第二场景的第一图像、第二图像。所述第二场景的这两个图像是在停车场拍摄的。图2a中所示的第一图像是由所述第一传感器设备获得的，所述第一传感器设备表示在第一位置处附接到车辆的第一镜替换相机。所述第一位置在相对于主行驶方向的所述车辆的右侧，尤其是在镜替换位置，即在右侧交通汽车的乘客侧。图2b中所示的第二图像由第二传感器设备获得，所述第二传感器设备包括在第二位置处附接到所述车辆的第二相机。所述第二位置位于所述车辆的右侧，即乘客侧。所述第二传感器设备包括鱼眼镜头。尤其地，这里的第二传感器设备是所述车辆的高级驾驶员辅助系统的第二相机，例如鸟瞰系统的一部分。
显然，对于所述第二场景，由所述第二传感器设备获得的至少所述第二图像与由所述第一传感器设备获得的所述第一图像具有较大的交叠区域。
图3a、3b和3c分别示出了与前面的场景对比，表示第三场景的第一图像、第二图像，还有第三图像。所述第三场景的这三个图像是在城市的道路上拍摄的。图3a中所示的第一图像是由第一传感器设备获得的，所述第一传感器设备表示在第一位置处附接到车辆的第一镜替换相机。所述第一位置在所述车辆的乘客侧，尤其是在第一镜替换位置处。图2b中所示的第二图像是由第二传感器设备获得的，所述第二传感器设备表示在第二位置处附接到所述车辆的第二相机，特别地所述第二相机是后备相机。所述第二位置在所述车辆的顶部。图3c中所示的第三图像是由第三传感器设备获得的，所述第三传感器设备表示在第三位置处附接到车辆的第二镜替换相机。所述第三位置在所述车辆的左侧，特别是在第二镜替换位置处。
所述第一传感器设备和所述第二传感器设备具有基本相同的全局视野，因此，由所述第一传感器设备获得的所述第一图像与由所述第二传感器设备获得的所述第二图像具有较大的交叠区域。以类似的方式，所述第二传感器设备和所述第三传感器设备具有基本相同的全局视野，因此，由所述第二传感器设备获得的所述第二图像与由所述第三传感器设备获得的所述第三图像具有较大的交叠区域。
图4示出了根据本发明的所述第一方面的实施方式的用于获得由如上关于场景三描述的三个车载传感器获得的至少两个图像中所示的对象的3D信息的方法100的功能图。
在方法100的步骤101、103和105中，分别是接收由所述第一传感器设备、所述第二传感器设备和所述第三传感器设备获得的所述第一图像、所述第二图像和所述第三图像。在步骤107中，通过组合来自至少所述第一图像、所述第二图像和所述第三图像的信息来生成共享3D空间。即，将来自不同视图的信息组合到所述共享3D空间中。
为了生成所述共享3D空间，确定所述第一图像、第二图像和第三图像的共享视野。即，确定所述第一图像和第二图像、第一图像和第三图像以及第二图像和第三图像的重叠区域，以便适当地将相应图像组合在所述共享3D空间中。生成所述共享3D空间进一步包括匹配通常至少部分地显示在所述第一图像、所述第二图像和/或所述第三图像的至少两个图像中的对象。优选地，匹配借助于以下手段进行：图像特征配准，特别地所述图像特征配准是具有较大视差的图像特征配准；随时间进行的跟踪；确定的对象运动结构；和/或至少一种基于随机样本共识(RANSAC)的方法。
由于传感器设备没有使用鱼眼镜头，因此不对图像应用失真校正。优选地，用于所述方法、设备和/或系统的传感器设备已经进行了校准，特别地所述传感器设备是相机，特别地所述校准是内部和/或外部校准。
在方法100的步骤109中，识别所述共享3D空间中的至少一个对象，由此在所述第一图像、第二图像和/或第三图像中示出所述对象。
这里，所述共享3D空间表示所述车辆的环境的至少一部分的模型。图5a至图5c分别示出了第一视角、第二视角和第三视角的所述共享3D空间，其中识别出两个对象(即，停放在所述车辆右侧的两辆汽车)。
在方法100的步骤111中，确定至少一个所述对象的至少一个3D信息。特别地，确定所述对象相对于位于所述车辆上的参考点的距离。在方法100的步骤113中，基于3D信息执行至少一个动作。
所执行的动作包括利用所述对象的所述3D信息增强以下应用中的至少一种：全景应用、停车应用、远视应用，特别地所述停车应用是距离在1.5米和2米之间的停车应用，特别地所述远视应用是超过20米的远视应用。
类似于关于图4描述的方法100的另一种方法(没有示出其功能图)包括由全景图像处理器生成至少一个全景图像的另一步骤。图6示出了相应的全景图像201的示意性图示。全景图像201包括至少一个第一图像部分203，其中所述第一图像部分通过沿着至少一个第一边界207剪切第一图像205而获得；一个第二图像部分209，其中第二图像部分209通过沿着至少一个第二边界213剪切第二图像211而获得；一个第一第三图像部分215，其中第一第三图像部分215通过沿着至少一个第一第三边界219剪切第一第三图像217而获得；以及一个第二第三图像部分221，其中第二第三图像部分221通过沿着至少一个第二第三边界225剪切第二第三图像223而获得。
这里，所执行的动作进一步包括以下步骤：确定所述对象是否至少部分地位于全景图像201的至少一个盲点区域227内。如果所述对象在第一图像部分203的外部或者部分地在第一图像部分203的外部和/或在第二图像部分209的外部或者部分地在第二图像部分209的外部，则所述对象位于盲点区域227内。
如果确定所述对象至少部分地位于盲点区域227内，则所述方法进一步包括以下步骤：调整第一边界207的至少一个部分229和/或第二边界213的至少一个部分231，以便将所述对象包含在第一图像部分203和/或第二图像部分209中。
权利要求书、说明书和附图中披露的特征，单独地或彼此任意组合地，对于所要求保护的发明的不同实施方式来说可能是必要的。
附图标记
100 方法
101-113 步骤
201 全景图像
203 图像部分
205 图像
207 边界
209 图像部分
211 图像
213 边界
215 图像部分
217 图像
219 边界
221 图像部分
223 图像
225 边界
227 盲点区域
229 边界的一部分
231 边界的一部分

Claims (10)

1.用于获得至少部分地显示在由至少两个车载传感器获得的至少两个图像中的对象的3D信息的方法，所述方法包括以下步骤：
接收由第一传感器设备获得的至少一个第一图像；
接收由第二传感器设备获得的至少一个第二图像；
通过组合来自至少所述第一图像和所述第二图像的信息来生成共享3D空间；
识别所述共享3D空间中的至少一个对象，由此所述对象至少部分地在所述第一图像中并且至少部分地在所述第二图像中显示；
确定所述对象的至少一个3D信息；并且
基于所确定的所述3D信息执行至少一个动作。
2.如权利要求1所述的方法，其进一步包括以下步骤：
(i)接收由至少一个第三传感器设备获得的至少一个第三图像，优选地所述至少一个第三图像为多个第三图像，优选地所述至少一个第三传感器为多个第三传感器设备；
(ii)至少部分地在所述第一图像上应用失真校正，特别地基于所述第一传感器设备的至少一个预定参数应用所述失真校正，特别地所述失真校正是透镜畸变校正，尤其地所述预定参数是透镜参数；
(iii)至少部分地在所述第二图像上应用失真校正，特别地基于所述第二传感器设备的至少一个预定参数应用所述失真校正，特别地所述失真校正是透镜失真校正，尤其地所述预定参数是透镜参数；
(iv)至少部分地在所述第三图像上应用失真校正，特别地基于所述第三传感器设备的至少一个预定参数应用所述失真校正，特别地所述失真校正是透镜失真校正，尤其地所述预定参数是透镜参数；
和/或
(v)至少部分地接收一个全景图像，由全景图像处理器至少部分地生成至少一个全景图像，为至少一个驾驶员辅助系统至少部分地生成至少一个全景图像和/或通过至少一个驾驶员辅助系统至少部分地显示至少一个全景图像，其中特别地所述全景图像至少部分地基于至少所述第一图像、所述第二图像和/或所述第三图像。
3.如前述权利要求中任一项所述的方法，其中
(i)生成所述共享3D空间进一步包括以下步骤：执行所述第一图像、所述第二图像和/或所述第三图像的3D数据映射，特别地所述执行是至少部分地执行，和/或确定相应图像的共享视野的至少一部分；
(ii)生成所述共享3D空间进一步包括以下步骤：匹配至少部分地显示在所述第一图像、所述第二图像和/或所述第三图像中的对象，所述对象为所述至少一个对象，尤其地所述匹配借助于以下手段进行：(a)图像特征配准，特别地所述图像特征配准是具有较大视差的图像特征配准，(b)随时间进行的跟踪，(c)确定的对象运动结构，和/或(d)至少一种基于随机样本共识(RANSAC)的方法；
(iii)所述共享3D空间至少部分地是、包括和/或表示所述车辆的环境的至少一部分的模型，尤其地所述至少一部分是所述车辆的周围区域的至少一部分；
(iv)至少部分地基于所述共享3D空间确定所述3D信息；
和/或
(v)所述3D信息至少部分地包括至少一个深度信息和/或距离；
(vi)所述距离是测量的所述对象相对于至少一个参考点的距离，尤其地所述至少一个参考点是至少部分地位于所述车辆上或所述车辆处的至少一个参考点；
和/或
(vii)所述全景图像至少部分地包括至少一个第一图像部分，其中所述第一图像部分至少部分地由至少包括以下的步骤获得：至少部分地沿着至少一个第一边界剪切所述第一图像；至少一个第二图像部分，其中所述第二图像部分至少部分地由至少包括以下的步骤获得：至少部分地沿着至少一个第二边界剪切所述第二图像；和/或至少一个第三图像部分，其中所述第三图像部分至少部分地由至少包括以下的步骤获得：沿着至少一个第三边界剪切所述第三图像。
4.如前述权利要求中任一项所述的方法，其中执行所述动作包括以下步骤：
(i)确定所述对象是否至少部分地位于所述全景图像的至少一个盲点区域内，其中特别地，如果所述对象在所述第一图像部分的外部和/或部分地在所述第一图像部分的外部和/或在所述第二图像部分的外部和/或部分地在所述第二图像部分的外部，则所述对象位于所述盲点区域内；并且优选地，响应于所述对象至少部分地位于所述盲点区域内的所述确定，特别地进一步包括以下步骤：调整所述第一边界和/或所述第二边界的至少一部分以便将所述对象至少部分地包含在所述第一图像部分和/或所述第二图像部分中；
(ii)触发信号设备，以在所述对象的所述3D信息超过和/或低于第一阈值时通知所述车辆的驾驶员关于所述对象的情况；
(iii)利用所述对象的所述3D信息增强以下应用中的至少一种：全景应用、停车应用、远视应用，特别地所述停车应用是距离在1.5米和2米之间的停车应用，特别地所述远视应用是超过20米的远视应用；
(iv)根据所述对象的所述3D信息，特别是在所述对象的所述3D信息超过和/或低于第二阈值时，重新整理所述全景图像的至少一部分，特别地所述重新整理借助于以下手段进行：改变所述全景图像的缩放级别，尤其地所述改变是增大和/或减小；至少部分地在所述全景图像上突出显示所述对象；和/或至少部分地在所述全景图像上分离所述对象；
和/或
(v)将所述对象的所述3D信息至少部分地转发给至少一个高级驾驶员辅助系统。
5.用于获得显示在由至少两个车载传感器获得的至少两个图像中的对象的3D信息的设备，所述设备包括适于执行根据前述权利要求中任一项所述的方法的步骤的至少一个处理器。
6.用于获得显示在由至少两个车载传感器获得的至少两个图像中的对象的3D信息的系统，所述系统包括：
至少一个第一传感器设备；
至少一个第二传感器设备；以及
至少一个根据权利要求5所述的设备。
7.如权利要求6所述的系统，其中
(i)所述系统进一步包括至少一个第三传感器设备，优选地所述至少一个第三传感器为多个第三传感器设备；
(ii)所述系统进一步包括至少一个驾驶员辅助系统和/或至少一个信号设备；
(iii)至少一个鸟瞰系统处理器和/或至少一个全景图像处理器；
和/或
(iv)所述系统进一步包括适于执行以下应用中的至少一种的至少一个设备：全景应用、停车应用、远视应用，特别地所述停车应用是距离在1.5米和2米之间的停车应用，特别地所述远视应用是超过20米的远视应用。
8.如前述权利要求中任一项所述的系统，其中
(i)所述第一传感器设备适于至少部分地获得至少第一图像；
(ii)所述第一传感器设备至少部分地包括和/或表示至少一个第一相机、至少一个第一相机监视系统(cms)相机、至少一个第一镜替换相机、至少一个第一后备相机、所述车辆的高级驾驶员辅助系统的至少一个第一相机、提供至少一个鸟瞰图像的至少一个第一鸟瞰图像处理器、提供至少一个全景图像的至少一个第一全景图像处理器、至少一个第一雷达设备、至少一个第一激光雷达设备和/或至少一个第一超声波设备；
(iii)所述第一传感器设备至少部分地包括至少一个鱼眼镜头和/或在第一位置处附接或可附接到所述车辆；
(iv)所述第二传感器设备适于至少部分地获得至少第二图像；
(ii)所述第二传感器设备至少部分地包括和/或表示至少一个第二相机、至少一个第二相机监视系统(cms)相机、至少一个第二镜替换相机、至少一个第二备用相机、所述车辆的高级驾驶员辅助系统的至少一个第二相机、提供至少一个鸟瞰图像的至少一个第二鸟瞰图像处理器、提供至少一个全景图像的至少一个第二全景图像处理器、至少一个第二雷达设备、至少一个第二激光雷达设备和/或至少一个第二超声波设备；
(vi)所述第三传感器设备至少部分地包括至少一个鱼眼镜头和/或在第三位置处附接或可附接到所述车辆；
(vii)所述第三传感器设备适于至少部分地获得至少第三图像；
(viii)所述第三传感器设备至少部分地包括和/或表示至少一个第三相机、至少一个第三相机监视系统(cms)相机、至少一个第三镜替换相机、至少一个第三备用相机、所述车辆的高级驾驶员辅助系统的至少一个第三相机、提供至少一个鸟瞰图像的至少一个第三鸟瞰图像处理器、提供至少一个全景图像的至少一个第三全景图像处理器、至少一个第三雷达设备、至少一个第三激光雷达设备和/或至少一个第三超声波设备；
(ix)所述第二传感器设备至少部分地包括至少一个鱼眼镜头和/或在第二位置处附接或可附接到所述车辆；
和/或
(x)所述第一传感器设备和所述第二传感器设备具有基本相同的全局视野，所述第一传感器设备和所述第三传感器设备具有基本相同的全局视野，所述第二传感器设备和所述第三传感器设备具有基本相同的全局视野，由所述第一传感器设备获得的所述第一图像与由所述第二传感器设备获得的所述第二图像具有较大的交叠区域，由所述第一传感器设备获得的所述第一图像与由所述第三传感器设备获得的所述第三图像具有较大的交叠区域和/或由所述第二传感器设备获得的所述第二图像与由所述第三传感器设备获得的所述第三图像具有较大的交叠区域。
9.车辆，特别地所述车辆是机动车辆，所述车辆至少部分地包括根据权利要求5所述的设备和/或根据前述权利要求6至8中任一项所述的系统。
10.如权利要求9所述的车辆，其中所述第一传感器设备在第一位置处至少部分地附接到所述车辆，所述第二传感器设备在第二位置处至少部分地附接到所述车辆和/或所述第三传感器设备在第三位置处至少部分地附接到所述车辆。
CN201910289596.4A 2018-04-12 2019-04-11 获取对象的3d信息的方法、系统和设备 Active CN110378836B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018108751.9A DE102018108751B4 (de) 2018-04-12 2018-04-12 Verfahren, System und Vorrichtung zum Erhalten von 3D-Information von Objekten
DE102018108751.9 2018-04-12

Publications (2)

Publication Number Publication Date
CN110378836A true CN110378836A (zh) 2019-10-25
CN110378836B CN110378836B (zh) 2021-09-24

Family

ID=66809418

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910289596.4A Active CN110378836B (zh) 2018-04-12 2019-04-11 获取对象的3d信息的方法、系统和设备

Country Status (4)

Country Link
US (1) US10733464B2 (zh)
CN (1) CN110378836B (zh)
DE (1) DE102018108751B4 (zh)
GB (1) GB2574697B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3523777A4 (en) * 2016-12-06 2019-11-13 SZ DJI Technology Co., Ltd. SYSTEM AND METHOD FOR CONFIGURING A WIDE ANGLE IMAGE
US11544895B2 (en) * 2018-09-26 2023-01-03 Coherent Logix, Inc. Surround view generation
CN113378867B (zh) * 2020-02-25 2023-08-22 北京轻舟智航智能技术有限公司 一种异步数据融合的方法、装置、存储介质及电子设备
US11757997B2 (en) * 2021-01-19 2023-09-12 Seek Xr, Inc. Systems and methods for facilitating shared extended reality experiences

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090175492A1 (en) * 2008-01-08 2009-07-09 Yong-Sheng Chen Image synthesis system for a vehicle and the manufacturing method thereof
CN102045546A (zh) * 2010-12-15 2011-05-04 广州致远电子有限公司 一种全景泊车辅助系统
CN104057882A (zh) * 2013-03-22 2014-09-24 通用汽车环球科技运作有限责任公司 基于双摄像机的前方路缘观察系统
CN104859538A (zh) * 2013-10-22 2015-08-26 通用汽车环球科技运作有限责任公司 车辆图像显示系统中基于视觉的物体感测和突出显示
US20160180590A1 (en) * 2014-12-23 2016-06-23 Lntel Corporation Systems and methods for contextually augmented video creation and sharing
CN106994936A (zh) * 2016-01-22 2017-08-01 广州求远电子科技有限公司 一种3d全景泊车辅助系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1696669B1 (en) * 2005-02-24 2013-07-03 Aisin Seiki Kabushiki Kaisha Vehicle surrounding monitoring device
JP2007235642A (ja) * 2006-03-02 2007-09-13 Hitachi Ltd 障害物検知システム
US8106755B1 (en) * 2008-02-14 2012-01-31 Epsilon Lambda Electronics Corp. Triple-function vehicle safety sensor system
JP5165631B2 (ja) * 2009-04-14 2013-03-21 現代自動車株式会社 車両周囲画像表示システム
DE102011077143A1 (de) 2011-06-07 2012-12-13 Robert Bosch Gmbh Fahrzeugkamerasystem und Verfahren zur Bereitstellung eines lückenlosen Bildes der Fahrzeugumgebung
US9834143B2 (en) 2013-05-23 2017-12-05 GM Global Technology Operations LLC Enhanced perspective view generation in a front curb viewing system
DE102013018543A1 (de) 2013-11-05 2015-05-07 Mekra Lang Gmbh & Co. Kg Fahrerassistenzsystem für Fahrzeuge, insbesondere Nutzfahrzeuge
JP5846268B1 (ja) * 2014-08-12 2016-01-20 株式会社リコー 画像処理システム、画像処理装置、プログラムおよび撮像システム
DE102014012250B4 (de) * 2014-08-19 2021-09-16 Adc Automotive Distance Control Systems Gmbh Verfahren zur Bilderverarbeitung und -darstellung
US9866752B2 (en) * 2015-06-02 2018-01-09 Qualcomm Incorporated Systems and methods for producing a combined view from fisheye cameras
US10040394B2 (en) * 2015-06-17 2018-08-07 Geo Semiconductor Inc. Vehicle vision system
DE102015223176A1 (de) 2015-11-24 2017-05-24 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur Ermittlung von Verdeckungsbereichen in der Fahrzeugumgebung eines Fahrzeuges
DE102017201000A1 (de) * 2017-01-23 2018-07-26 Robert Bosch Gmbh Verfahren zum Kombinieren einer Vielzahl von Kamerabildern

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090175492A1 (en) * 2008-01-08 2009-07-09 Yong-Sheng Chen Image synthesis system for a vehicle and the manufacturing method thereof
CN102045546A (zh) * 2010-12-15 2011-05-04 广州致远电子有限公司 一种全景泊车辅助系统
CN104057882A (zh) * 2013-03-22 2014-09-24 通用汽车环球科技运作有限责任公司 基于双摄像机的前方路缘观察系统
CN104859538A (zh) * 2013-10-22 2015-08-26 通用汽车环球科技运作有限责任公司 车辆图像显示系统中基于视觉的物体感测和突出显示
US20160180590A1 (en) * 2014-12-23 2016-06-23 Lntel Corporation Systems and methods for contextually augmented video creation and sharing
CN106994936A (zh) * 2016-01-22 2017-08-01 广州求远电子科技有限公司 一种3d全景泊车辅助系统

Also Published As

Publication number Publication date
US20190318178A1 (en) 2019-10-17
GB2574697B (en) 2021-10-20
DE102018108751B4 (de) 2023-05-04
DE102018108751A1 (de) 2019-10-17
CN110378836B (zh) 2021-09-24
GB2574697A (en) 2019-12-18
US10733464B2 (en) 2020-08-04
GB201904934D0 (en) 2019-05-22

Similar Documents

Publication Publication Date Title
CN110378836A (zh) 获取对象的3d信息的方法、系统和设备
JP6833630B2 (ja) 物体検出装置、物体検出方法およびプログラム
US8880344B2 (en) Method for displaying images on a display device and driver assistance system
EP2544449B1 (en) Vehicle perimeter monitoring device
CN112224132B (zh) 一种车用全景环视障碍物预警方法
US11740093B2 (en) Lane marking localization and fusion
KR102365501B1 (ko) 이미지 센서의 외재적 파라미터를 교정하기 위한 방법 및 장치
US20110187844A1 (en) Image irradiation system and image irradiation method
JP4869745B2 (ja) 俯角算出装置、俯角算出方法、俯角算出プログラムおよび画像処理装置
US10166923B2 (en) Image generation device and image generation method
NL2004996C2 (nl) Werkwijze voor het vervaardigen van een digitale foto, waarbij ten minste een deel van de beeldelementen positieinformatie omvatten en een dergelijke digitale foto.
EP1961613A2 (en) Driving support method and driving support device
KR20100113959A (ko) 차량 주위 화상 표시 시스템
JP2012503817A (ja) 画像をぼかす方法及び構成
JP6820561B2 (ja) 画像処理装置、表示装置、ナビゲーションシステム、画像処理方法及びプログラム
US10996469B2 (en) Method and apparatus for providing driving information of vehicle, and recording medium
CN109416884B (zh) 识别区域推定装置、识别区域推定方法及识别区域推定程序
CN102196242A (zh) 具有图像增强功能的自适应场景图像辅助系统
JP2009211624A (ja) 運転支援装置、運転支援方法及びコンピュータプログラム
KR20200071960A (ko) 카메라 및 라이다 센서 융합을 이용한 객체 검출 방법 및 그를 위한 장치
CN111277796A (zh) 图像处理方法、车载视觉辅助系统及存储设备
JP4475015B2 (ja) 車両周辺監視装置及び車両周辺監視方法
JP2015154125A (ja) 車両周辺画像表示装置、車両周辺画像表示方法
KR102003387B1 (ko) 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체
US20230104858A1 (en) Image generation apparatus, image generation method, and non-transitory computer-readable medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant