CN102574485B - 用于交通状况的视频数据和距离数据的组合可视显示的方法和装置 - Google Patents

用于交通状况的视频数据和距离数据的组合可视显示的方法和装置 Download PDF

Info

Publication number
CN102574485B
CN102574485B CN201080044467.6A CN201080044467A CN102574485B CN 102574485 B CN102574485 B CN 102574485B CN 201080044467 A CN201080044467 A CN 201080044467A CN 102574485 B CN102574485 B CN 102574485B
Authority
CN
China
Prior art keywords
image section
distance
image
data
distortion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201080044467.6A
Other languages
English (en)
Other versions
CN102574485A (zh
Inventor
M·施奈德
V·尼姆茨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN102574485A publication Critical patent/CN102574485A/zh
Application granted granted Critical
Publication of CN102574485B publication Critical patent/CN102574485B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/002—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle
    • B60Q9/004—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle using wave sensors
    • B60Q9/005—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle using wave sensors using a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种用于组合地可视显示车辆所处的交通状况的视频数据和距离数据的方法。该方法包括：从车辆摄取一环境区段的摄像机图像数据以及感测反映该车辆与处于该环境区段内的至少一个对象之间的至少一个距离的距离数据。该方法规定，根据所述至少一个距离使所述摄像机图像数据的至少一个图像区段畸变，然后显示畸变的至少一个图像区段。本发明还涉及一种用于实施本发明方法的装置。

Description

用于交通状况的视频数据和距离数据的组合可视显示的方法和装置
现有技术
为了支持车辆驾驶员，已知，将距离传感器安装在车辆外部并且将这样获得的距离信息以声学方式或以视觉方式在车辆部位驾驶员显示。同样已知，使用视频摄像机来保证驾驶员有更好的车辆视野。这种用于支持驾驶员的摄像机例如朝向后方，以便改善通过后视镜所不能及的视野，或者安装在车辆前部并朝向前方，以便例如在夜间行驶时改善透过挡风玻璃的可见图像。摄像机支持驾驶员的其它已知的措施是一些系统，其中，借助摄像机图像来识别交通标志并且尤其识别车道走向、为驾驶员显示或者提示可能的错误。
此外已知，基于传感器的距离识别机构(例如超声或雷达装置)与图像数据组合。此外，为了突出通过视频图像内的形状识别所感测到的重要对象，通过用人为对象替代该形状来突出。此外，使用这种人为对象如箭头或框以插入图像内。此外已知，借助传感器所感测的距离信息同样被插入图像中，例如作为数值或其它人为对象如距离条。例如文献DE 102 41 464A1说明了一种系统，在该系统中例如在显示图像旁设置有指示区，其反映由传感器感测中得到的提示。那里描述的其它措施是分别作为人为对象插入到图像中的辅助线或距离标记。
这种组合系统覆盖了视频感测的环境的其它图像区域或者分散了对其它特征的注意，因为置于摄像机图像数据上的人为对象在观看时突出或覆盖了其下面的图像信息。基于视频的系统的缺点还在于，需要驾驶员的全部注意力，特别是在图像仅包含了对于估计大小和距离不足够的特征的情况下，因此分散了对视频图像内的图像信息的注意。距离范围的插入也分散了驾驶员对原本显示的环境的注意，因为两种不同等级的信息(图形简化的人共对象和对环境的图像描述)同时向驾驶员显示。有时除了要处理的声音报警外还加剧了使驾驶员必须从实际图像信息反射注意并信赖附加的对象或传感器信息的问题。
发明内容
因此，本发明的任务是，设计一种视频数据和传感器距离数据的组合显示，其中，距离数据不遮挡驾驶员对真实图像数据的获取。
该任务通过所附的独立权利要求来解决。
本发明所基于的方案是，不是部分视频数据被附加的对象覆盖或者添加附加的对象以使其突出，而且使用距离数据来实际支持图像数据的突出，其中，图像信息被完全保留。这根据本发明通过用几何转换即用扭曲突出图像数据来实现。以此方式使图像数据不被遮挡，尤其是没有会妨碍对实际摄像机图像的理解的附加对象插入到相应的图像区域中或附近。
这提高了图像内容的主观可理解性，尤其是因为没有附加的人为对象叠加到摄像机图像数据上。根据本发明，摄像机图像内容被几何适配，其中该适配通过几何转换来实施，转换的强度取决于基于传感器的距离数据。在根据本发明的几何适配中，摄像机图像数据仅在其比例、其图像大小或取向方面被改变，但完全保持。尤其是，图像数据既不被所述对象覆盖，也不被以这样的方式施加以所述对象：使得观察者从原始真实图像数据分散注意力或由于遮盖而妨碍对图像特征的识别。
因此，根据本发明提出了一种用于组合地可视显示车辆所处交通状况的视频数据和距离数据的方法。这些视频数据和距离数据是从车辆向外感测到的数据，尤其是，用于感测视频数据的摄像机和用于感测距离数据的传感器安置在车辆上或在车辆内。视频摄像机可以设置在座舱内或者也可以设置在座舱外并且显示从一个位于车辆上或车辆内的点的视角出发的图像数据。传感器优选设置在车辆的外侧，使得由此设置的传感器数据确定相对于车辆外侧的距离。传感器可以使用超声或雷达或微波发射器/接收器组合，或者作为单个的传感器，或者优选作为传感器阵列，该阵列例如沿着一个或两个保险杠延伸或沿着车辆侧面延伸。距离数据例如通过对发射的超声信号或雷达信号等的渡越时间测量来获取。交通状况通过位于车辆附近的物体(例如可借助传感器或者视频感测的其它车辆)形成。除车辆外也可以考虑固定物体如护柱或其它交通措施或者建筑物。此外本发明方法还包括从车辆摄取环境区段的摄像机图像数据的步骤。在此，从车辆的视角、例如从座舱内的在挡风玻璃上或者在车辆后端部上的一个点出发感测图像数据，例如作为视频数据或时间上相继的静态图像数据，其中，该环境区段相应于摄像机的感测角度。在此，在环境区段内显示的交通状况由摄像机按照摄像机感测角度来拍摄。此外，与摄像机图像数据的摄取同时地或至少时间上相近地感测距离数据，这些距离数据至少反映了车辆与环境区段内的对象之间的距离。优选地，针对每个存在于环境区段内的对象感测距离。如果该环境区段具有不能借助距离传感器感测的子区段或部位，反映车辆与传感器有效距离内的至少一个对象之间的距离，其中，将通过传感器有效距离得到的范围与该环境区段叠加。因此，感测距离数据不仅位于感测距离数据的距离传感器装置的有效距离内而且位于由摄像机图像数据反映的环境区段内的对象的距离数据。如果一个对象尽管位于摄像机图像数据的环境区段内、但在用于测量距离的传感器的有效距离外，则给该对象对应分配一个距离，该距离至少与距离传感器的有效距离等大，使得距离数据的感测也可以考虑传感器感测范围外的对象，然而它们位于摄像机图像数据内或者说在由摄像机所感测的环境区段内。
根据本发明，摄像机图像数据的图像区段依赖于所述至少一个所感测的距离而畸变。该依赖性通过畸变强度关于距离的函数形成。该函数将距离映射到畸变强度，该函数优选是单调下降函数，由此在距离较大的情况下与较小距离相比畸变更小。尤其当畸变设计为放大(放大因子﹥1)时是这种情况。如果选择缩小作为畸变(图像大小倍增因子＜1)，则所述依赖性为单调上升函数，由此图像区段在距离较大情况下比在距离较小情况下也更强烈地缩小。由于缩小和放大作为畸变处理除了符号之外彼此相当，因此下面尤其考虑在垂直方向上、水平方向上或两个方向上的拉伸。
根据一个优选实施方式，该畸变包括如偏移、拉伸、压缩、旋转或它们的任意组合等畸变处理。在此要注意，压缩处理除了符号之外相当于拉伸处理。这些处理涉及从接受的可被视为未畸变的摄像机图像出发的变换。除了所述畸变处理之外也可以实施其它的或复杂的畸变处理，例如这样的变换：其中，相应的图像区段的中心在变换之后相比于边缘区段面积增大。该畸变处理(或其组合)被应用到一个图像区段上，该图像区段可以相应于被摄像机拍摄的整个环境区段，或者该图像区段是摄像机图像数据所反映的图像的一个部分。因此，该图像区段或者相应于由摄像机拍摄的整个图像，或者相应于一个部分区段，但其中畸变处理也会涉及多个图像区段，所述多个图像区段各相应于整个摄像机图像数据的一个部分区段。当设置了多个图像区段时，则这些图像区段优选彼此直接相互衔接或者仅部分重叠，并且总体填满由摄像机图像数据反映的整个图像。该畸变处理以按照单调下降函数与距离相关的强度来实施。这尤其涉及偏移、拉伸或旋转。由此，在距离较小的情况下畸变处理以比距离大的情况下更大的强度实施。替换地也可以使用单调上升函数，该函数尤其涉及“压缩”畸变处理，以便使距离较远的图像区段与具有小距离的图像区段相比更强烈地压缩(例如缩小)。在“拉伸”畸变处理情况下，强度相应于放大因子(＞1)，在“旋转”畸变处理情况下强度相应于旋转角度(相对于原始图像)，而在“偏移”畸变处理情况下，强度相应于相对于原始图像(以及也相对于其它畸变较小的图像区段)的偏移距离。在“压缩”畸变处理情况下，强度相应于长宽比或其倒数。其它畸变处理是放大、缩小和一般性缩放，其中当畸变处理相当于缩小时，该函数是单调上升函数。在具有多个图像区段的情况下，这些图像区段优选受到相同的畸变处理(即使有时以不同的强度)。替换地可以针对边缘区域选择不同于摄像机图像数据的图像的中间区段的畸变处理。
根据本发明的另一实施方式，分别针对环境区段的多个不同的区域感测距离数据。这通过在一个车辆区段上排列的距离传感器或间距传感器(例如水平地、以相同的彼此间距在车辆外侧、尤其在后保险杠上)来实现。这些区域相应于各个传感器的对应传感器区域，这些传感器区域通过传感器的有效距离和接收特征来定义。环境区段的各个不同的区域优选部分重叠并且彼此并排地优选在环境区段的整个宽度上延伸。在此以相同方式将摄像机图像数据划分成多个不同的图像区段，使得所述至少一个图像区段包括多个不同的图像区段。这些图像区段可以至少部分地重叠，总体上完全包围整个摄像机图像并且优选直接相互排列。所述多个图像区段尤其可以是一些垂直的条，它们直接相互邻接并且这样覆盖整个由摄像机感测的图像。畸变的步骤包括：多个图像区段中的至少一个图像区段根据距离数据畸变，这些距离数据涉及处于环境区段的与该图像区段基本对应或与该图像区段绝大部分重叠的区域中的对象。优选地，图像区段的全部或至少一些畸变，分别按照适合于各个图像区段的强度畸变。针对各个图像区段所感测的距离被视为适合的强度。所述各个图像区段和环境区段的对应的、通过传感器的灵敏度范围预给定的区域不必一定相同，而是也可以至少部分地重叠。尤其可以是，由传感器监视的环境区段完全(或者仅部分地)处于对应的图像区段内，而未将其完全填满。原则上当使用多个传感器时，希望传感器与从属的各个图像区段之间相互对应配置。传感器的灵敏度范围与摄像机图像的相关区段的百分之百对应并不是一定必要的。
根据尤其可以与前述实施方式组合的另一实施方式，针对环境区段的不同区域中的至少两个(它们从各传感器的有效距离和调节特性得出)分别感测从属的距离数据(通过分别对应的传感器)。同样地，为此感测多个图像区段中的至少两个，分别根据处于对应图像区段中的至少一个对象的距离数据。所述至少两个图像区段或多个图像区段分别根据处于相应图像区段或环境区段区域中的至少一个对象的对应距离数据来畸变。尤其是，多个图像区段中的至少两个根据处于环境区段的对应区域中的至少一个对象的距离数据而畸变，其中该区域对应于相应的图像区段，基本上相当于该图像区段或与该图像区段绝大部分重叠。
根据另一实施方式，环境区段划分成一些沿着摄像机图像数据的水平线彼此衔接的图像区段。优选地，这些图像区段直接彼此衔接或仅微量重叠。被称作摄像机图像数据的水平线的是通过摄像机相对于车辆底面或者从车辆本身位置出发的取向定义的水平线。例如被称作水平线的是在一垂直于重力方向的平面内的一条直线或在车辆的与地面接触的部位所处的平面内的一条直线。各个图像区段分别根据各自对应的距离数据畸变。畸变后的相邻图像区段可以根据其按照单个距离规定的畸变来显示。或者使畸变后的相邻图像区段不相互适配，或者使畸变后的相邻图像区段的畸变至少在图像区段的边缘区域针对相邻图像区段适配，其中，在图像区段的交界区域(垂直)设置一种强度的畸变，该强度在两个相邻图像区段之间的过渡处连续演变。由此使相邻图像区段的边缘区域在畸变强度方面彼此适配，以便避免相邻图像区段的突然的畸变改变。两个相邻图像区段之间的不同畸变强度的这样设计的适配例如可以线性地走向，其中在边缘区段中畸变强度随着越来越接近相邻图像区段而逼近相邻图像区段的畸变。除了用于适配的线性内插方法外，也可以使用更复杂的多项式适配或多个样本点。
除了摄像机图像数据本身的畸变外也可以改变颜色信息。在此情况下该方法规定，摄像机图像数据的至少一个图像区段的颜色信息根据所述至少一个距离来改变，其中，随着距离减小，颜色信息相对于原始颜色信息增强地改变。该改变可以向预给定的颜色改变取向，其中，起先在感测的距离大的情况下在改变小的情况下基本上显示以原始色调显示，随着距离减小颜色信息增强地先得到黄色成分并且随后得到红色成分。尤其可以是，感测的距离越小红色成分月提高。因此，颜色信息与距离的相关性相当于如上面所描述的畸变强度。感测的距离越小则改变越大(相应地畸变强度越大)，其中在距离大的情况下的改变(小畸变)相当于拍摄的图像的原始颜色信息，随着畸变程度增加(即随着距离减小)颜色越来越多的改变，优选通过警示色调(如黄以及用于附加增强突出的红色调)的增强突出或越来越强化。颜色信息的改变涉及一个图像区段，优选多个图像区段中的一个图像区段，例如图像区段的一个子区段，其中子区段显示距离所涉及的对象。尤其是，对象周围、对象本身或对象包括其周围在图像内可以按照本发明方法来改变。在此，被称作周围的是一边缘带，该边缘带直接或间接围绕对象并且例如具有恒定的宽度。因此，替换地，对象区域本身根据本发明在其颜色信息方面根据所感测的对应距离被改变。
本发明的一个特别优选的实施方式规定，通过随着在图像区段内所感测的对象的距离减小而仅在垂直方向上、仅在水平方向上或在两个方向上(例如在水平或垂直方向上以相同或不同的畸变因子)放大图像区段来设置畸变。与此替换地或组合地，当在图像区段内没有感测到对象时也可以缩小图像区段，或者随着对象的距离增加而更强地缩小图像区段，其中该对象在图像区段内被感测。缩小仅在摄像机图像数据的垂直方向上、仅在水平方向上或在两个方向上进行。在沿水平和垂直方向上缩小的情况下，针对这两个方向上的缩小因子可以不同。
根据另一优选实施方式，摄像机图像数据的或至少一个图像区段的畸变包括在摄像机图像数据的图像下边沿与可视显示的最下边沿之间设置、也就是说添加一个下边缘，该可视显示反映摄像机图像数据和它下面的下边缘。因此，原始摄像机图像数据这样畸变：产生一图像(可视显示)，其不仅反映原始摄像机图像数据而且反映附加边缘，其中例如可以缩小摄像机图像数据，以便为该附加边缘提供位置。该缩小尤其可以设置为压缩。
在可视显示中(在输出的图像内)添加的所述下边缘具有一高度，该高度随着针对处于在边缘上方显示的图像区段中的对象所感测的距离而增大。因此，当在该边缘上方在该图像区段中显示一个被测定了大距离的对象时，给该下边缘设置大的高度，而当图像区段具有被测定了小距离的对象时给该下边缘设置小的高度。这尤其可以与这里所描述的实施方式组合，在这些实施方式中多个图像区段并排地显示，它们被对应分配了与不同的传感器和不同的距离。在该情况下，当针对不同的图像区段感测不同的距离时，该边缘不是对于所有图像区段具有相同的高度，而且在其演变(通过所述高度确定)方面取决于针对处于相应边缘区域上方的各个图像区段感测的各个距离。在边缘内部优选不反映摄像机图像数据作为摄像机图像数据的成像。必要时可以在边缘内部显示附加信息。作为与上面所描述的实施方式的组合，可以设置具有颜色信息的边缘，该边缘反映对象的接近，其中，当对象近(距离小)时相应边缘区域的相应色调比感测到大距离时包含更多的黄色调或红色调(或其它警示色调)。
因此，该畸变尤其包括摄像机图像数据的图像下边沿与可视显示的最下边沿(它们一起规定整个图像)之间的下边缘的畸变，其中该可视显示反映摄像机图像数据和位于其下的下边缘。在此下边缘具有颜色(或者整个边缘或者其设置在相应图像区段下的个别区段)，该颜色根据按照预定的演变随着针对在该边缘上方显示的图像区段中的对象所感测的距离而变化。该下边缘反映该颜色。尤其是该下边缘不将摄像机图像数据以摄像机图像数据的成像形式反映。从摄像机图像数据导出的数据可以作为图形的或数字的信息设置在该边缘中，但优选摄像机图像的图像数据本身不存在于该下边缘中。
本发明所基于的方案还通过一种用于实施本发明方法的、用于组合地可视显示视频数据和距离数据的装置。该装置包括图像输入端，其构建用于输入摄像机图像数据和将摄像机图像数据转发给图像处理单元，该图像处理单元被设置为该装置的一部分。为此，图像输入端与图像处理单元相连。该装置还包括用于输入距离信息的距离输入端。在图像输入端上可连接一车辆摄像机，而在距离输入端上可连接一与距离传感器连接并获知距离数据的设备。替换地，距离输入端可以直接与传感器连接，在此情况下该装置承担各个距离的确定。在两种情况下都装备了用于输入距离信息的距离输入端，其中，距离信息反映所感测的距离。图像处理单元与距离输入端连接，以便得到距离信息。该装置还包括输出端，其与图像处理单元连接并且构建用于输出图像显示数据。图像显示数据反映畸变的图像区段，该图像区段是由图像处理单元设置的畸变步骤的结果。尤其是，图像处理单元被构建用于对施加到图像输入端上的摄像机图像数据实施畸变步骤。该图像处理单元因此构建为用于根据本发明对图像数据进行几何变换，尤其用于实施至少一种上面所述畸变处理。在此，由图像处理单元根据施加到距离输入端上的距离信息实施畸变。优选地，图像处理单元被构建用于使摄像机图像数据按照图像区段来畸变，其中，每个图像区段具有一个对应的距离信息，该距离信息地针对每个图像区段单独地规定畸变程度。为此，图像处理单元可以包括一个划分设备，以便根据摄像机图像数据的全部图像信息设置各个图像区段，它们分别单独地根据各自的距离信息畸变。距离信息因此可以在向量的意义上设置，其中，每个向量项单一地对应于一个单个的距离传感器。
最后，根据本发明的装置被构建用于在输出端上输出至少一个畸变的图像区段。尤其是，该装置被构建用于在使用多个图像区段的情况下在输出端上输出生成的组合的图像，尤其是所有图像区段的组合的可视显示的图像数据，必要时包括根据本发明添加给图像的边缘。组合几何变换或代替几何变换，该装置、尤其是图像处理单元被构建用于如上所述根据距离信息来改变摄像机图像数据的颜色信息。
根据另一实施方式，该装置还可包括呈显示屏形式的显示单元。本发明装置的实现可以借助软件来设置，该软件实现所述功能中的至少一些并且与处理器一起实现所述装置以及方法。本发明的其它实施可以包括可编程的或不可编程的电路，它们根据传感器的回声数据计算距离信息。在借助处理器装置实现的情况下，该处理器装置也可以用于实施车辆的其它功能。由于图像处理基本上基于颜色信息的畸变或改变，所以在图像分辨率400×300像素、时钟频率小于40MHz的情况下可以使用常用的处理器，因为本发明装置要求常用处理器的计算功率，相当于22-36MHz的时钟频率。因此，本发明装置可以设置有已设置在车辆中的媒体控制器(例如导航、中央显示，…)，它们在80MHz-200MHz的时钟频率下工作并且因此为承担根据本发明的功能提供了足够的计算功率。该实现可以借助可编程的电路如ASIC或FPGA来设置，尤其借助专门针对视频应用的处理器或者被泊车辅助系统使用的处理器。
附图说明
图1示出了用于阐述本发明方法的场景；
图2a和2b示出了拍摄的(图2a)和畸变的(图2b)示例性摄像机图像数据；
图3a示出了示例性的畸变演变；以及
图3b示出了对应的示例性距离数据。
具体实施方式
图1中示出的场景表示出车辆2内部的根据本发明的装置1，在该车辆2上布置了多个传感器3a-3e。此外在车辆2上布置了一摄像机4。摄像机4摄取一个环境区段的图像，该环境区段由摄像机4的拍摄角度5定义。环境区段5形成摄像机的整个图像或图像区段。传感器以相同的方式感测该环境区段的多个不同的区域6a-6e，其中给每个传感器3a-3e对应分配一个区域6a-6e。图1中所示的不同区域6a-6e为了更简单而通过一根虚线分开。然而在实际实施中，各个不同的区域其相邻的边缘处部分地重叠，其中，在重叠的情况下对重叠的区域进行相应距离数据的内插。
此外在该环境区段中存在对象7、8例如立柱，以及其它对象12、12'例如呈树木形式。对象7、8处于该环境区段的可被传感器3a-3e感测的区域内，而对象12、12'处于传感器的有效距离之外，但仍在能被摄像机感测的环境区段内。
环境区段的被传感器3a-3e感测的各个区域分别具有张角，该张角例如对于传感器3c用附图标记11示出。对象8处于同时也定义区域6c的该张角中。该对象8距车辆10一个距离d1，而对象7距车辆10一个距离d2。此外传感器还感测，对象8在对应的传感器3c的区域6c中存在，对象7在传感器3e的区域6e中存在。在车辆2中还设置有显示屏9，在该显示屏上显示根据本发明生成的视频图像10。图1中所示的图像仅为示例，详细的解释从图2a和2b中得到。
如从图1中得知，距离信息d1、d2优选与方向信息或与位置信息组合，借助方向信息或位置信息可以确定对象7、8所在的位置，以便将其对应分配给环境区段6的区域6a、6c。位置或角度例如可以借助三角测量来感测，优选由装置1感测。从图1中还看到，也可称作探测区的环境区段6在其整体上被划分成具有所定义的张角11的方向区，以便在由传感器探测的对象7、8与摄像机图像数据的所属图像区段或所属对象区段之间建立对应关系。此外从图1可获知，本发明用于合适地、受支持地描述对象7、8、12、12'，这些对象或者处于超声传感器3a-3e的探测区域6内并且同时可以被摄像机4感测，参见对象7、8，或者包括探测区域6之外的、能被摄像机4感测而不能被传感器3a-3e感测的对象。如果对象处于探测区域外，即在环境区段的可被传感器3a-3e感测的不同区域6a-6e之外，则对于这些对象而言不存在可以与图像数据根据本发明组合的区段信息。摄像机4的图像数据被传送给装置1，该装置将这些数据进行几何处理，以便在显示器9上输出，其中，可由传感器感测的区域中的至少一个要存在对象，以便感测相应的区段信息并且实施根据本发明的畸变。
在图2a中反映了图1中所示的交通状况，如被摄像机4感测的那样。换言之，图2a示出了如自车辆向外从环境区段拍摄的那样的摄像机图像数据。对象12、12'如已看到的那样处于传感器3a-3e的有效距离之外并且因此不处于被确定距离数据的不同的区域中。图2a中所示的虚线说明能够被感测距离数据的不同区域的、由有效距离定义的端部。区域6a-6f从左向右划分成相继的角度区段，使得尽管对象12、12'可以被摄像机感测，然而对应的区域6b、6d/6e由于传感器的有效距离有限而在对象12、12'的所在位置之外。然而对象7、8处于用虚线表示的传感器有效距离之内，使得这些对象处于可对这些对象7、8建立距离数据的不同区域6c、6f内。因此，针对区域6c和6e存在对象7、8的最终信息(Abschlussinformation)，其中，对象7、8也存在于摄像机图像数据之内。从图2a中可看到，对象7在区域6e中比对象8明显更接近车辆。
在图2b中示出根据本发明的合成的、畸变的显示。可看到，对于处于可被感测距离数据的区域之外的对象12、12'而言基本上没有畸变。在图2b中所示的畸变至少在与对象12、12'的对齐线上基本上不存在。然而针对对象7和8感测距离，这些距离导致畸变，畸变通过D1和D2来表示。通过有目的的畸变，即垂直压缩设置有对象7、8的垂直图像条，对象7、8朝着下部图像边缘偏移，以便让观察者得到更能意识到的印象。距离D1和D2显示保留的对下图像边沿的接近。尤其是，曲线13示出了与对象7、8的距离有关的压缩，以便将对象7、8拉至更接近下部图像边缘。可看到，由于对象7在环境区段中的距离更小，对象7的图像区段畸变得明显更接近下部图像边缘，参见对象7处的曲线13的变化走向。相同地可看到，对象8朝着下部图像边沿通过畸变而偏移，然而比对象7偏移得少。然而对象7、8相比于对象12、12'明显更接近图像边缘畸变，对象12，12'几乎不朝下部图像边缘畸变或偏移。
尤其在图2b中示出，在线13之下设置一边缘，其中，线13说明压缩程度。线13之下的该边缘指示所感测的摄像机图像的下部图像边沿并且被添加到要显示的图像中，使得该图像一方面显示畸变的图像区段(在线13之上)，并且其还显示下边缘(在线13之下)，其中，对于该边缘的在其上方显示了相对于车辆小距离地设置的对象7、8区域，边缘的高度减小。距离D1、D2指示在具有近距离设置的对象7、8的相应图像区段之下的边缘区域的边缘的强烈变细。
图3a用于阐明在图2b中所示的畸变的图像反映，并且尤其描述要显示的畸变图像的图像构建。图3借助畸变的栅格网示出了摄像机图像数据显像的一个区域，其中该栅格网描述相对于原始感测的摄像机图像的畸变。一个具有坐标x、y的点一方面通过添加下边缘而向上偏移，另一方面根据对应的距离附加地通过缩放而偏移。对于所感测的、根据本发明的畸变的摄像机图像，包括边缘在内，产生高度H。图3a示出的畸变是垂直畸变，图3a中示出的图像是一种未设置水平畸变的方法的结果。根据本发明，对于x轴区段xi，由传感器感测一个距离，从该距离计算出畸变。该畸变导致相应的区段拉伸，使得距下部图像端部的距离减小到距离Di。在不畸变地显示的情况下边缘设置有高度D0，然而其可以按照所感测的距离减小。换言之，在图3a中的绘制有D0的位置处，以因子1(或其它常数)通过垂直压缩而畸变(即不压缩或以基本压缩因子压缩)，而在位置xi处感测到小距离的对象，以较大的因子拉伸，也就是说以大于1的值或以大于常数K的值拉伸。K尤其可以是1/2，因此相当于压缩到一半图像高度。在图3a的右侧图像边缘处可看到，在那里显示了一个被以相对于车辆的小距离感测到的对象，使得相应的图像区段强烈地向下拉伸。同样可以通过与位置Di的比较看出，右侧图像边缘处的拉伸比位置Di处的拉伸强度更大。图3a中设置的拉伸从上部图像边缘开始并且使所示的图像区段按照所感测的距离向下畸变。
图3b中针对不同图像区段示出对应的感测距离，这些距离沿着x轴绘出。该距离作为感测到的距离d示出并且传感器的最大有效距离以dmax示出。所感测的距离di相应于环境区段的被感测距离数据的区域11。此外还说明了一些另外的区域，针对这些区域描述了所有在该区段中被感测的对象的一个(最小)距离。如果在同一区域中感测多个对象，则将该最小距离视为该区域的距离。
根据本发明的另一实施方式，作为畸变处理不是拉伸，而是实施水平压缩。该实施方式也可以借助图3a来描述，但其中栅格网表示或强或弱压缩的、反映环境区段的摄像机图像区段。从针对高度H设计的摄像机图像数据出发，首先将图像数据垂直压缩一半。但该压缩根据所感测的距离而减小，其中，压缩的减小随着距离减小而增加。压缩因子例如由一恒定因子(其规定基本压缩)(例如在垂直方向上)和一取决于所感测的距离的变化值得出。该值借助一常数计算出，该常数例如说明最大有效距离，从该最大有效距离减去当前针对该图像区段所感测的距离。该差除以最大有效距离并且接着与一校正因子相乘。该校正因子例如这样设置：使得当所感测的距离基本上为零时得到总和为1。恒定的基本因子尤其可以为1.5，要乘的因子也可以为1.5，使得根据压缩的强度不同当对象的距离基本为零时图像或者仅在第一图像半部上延伸(当感测的距离大于有效距离时)或者在整个图像高度H上延伸。
图像点的内插优选这样设置：使得所感测的摄像机图像数据的输出图像点例如在其相似性因子方面被感测，针对由于压缩而合并的图像点感测最大亮度值并且将该最大亮度值设置为相应图像点的亮度值。代替最大值图像，也可以求得算术平均值或几何平均值。一个特别优选的实施方式规定，整个摄像机图像数据的个别图像区段一些直接彼此排列的垂直条，它们包括由这些摄像机图像数据描述的图像的整个高度。在压缩或拉伸时或者一般而言畸变时则整个条垂直畸变，而不进行水平畸变。如已经注意并且从图2b和3a中看到的那样，相邻图像区段的边缘区域可以在其畸变方面流畅地彼此适配。这样，例如图3b针对不同的图像区段示出离散的、不同的距离值，但它们基于图像区段的相邻边缘区域处的连续适配而导致连续演变的畸变过程。
针对图3a和3b选取因子F作为基本压缩因子，其首先对于每个图像区段是不同的，并且基于根据沿着x轴(水平轴)的位置将相邻图像区段适配成连续的拉伸演变而适配于这种连续演变。该在适配相邻图像区段之前针对每个图像区段计算的因子F为：
F＝1/2+(1/2×(dmax-di):dmax)。
在此，F为输出压缩因子，dmax为传感器的最大有效距离并且di为在对应的图像区段中所感测的对象的距离。项(dmax-di)理解为这样的项：它只能取正值或为0，其中当di>dmax时该项为0。这相当于如下情况：对象处于有效距离之外并且因此传感器自动地给出最大有效距离作为结果。直至感测到小于有效距离的距离di，该项说明接近车辆，该接近被考虑到缩放中。在距离处于有效距离之外时，该距离本身不再被考虑到压缩因子中，而是取一个恒定的压缩因子，其在上述情况下相应于1/2。
通常，在传感器、传感器的敏感范围(即取向)与摄像图像数据的图像区段之间存在直接相关性。这通过将摄像机相对于所使用的传感器以固定的空间取向布置来实现。例如在摄像机可摆转的情况下，该方法还包括将借助传感器对对象感测距离的感测区域与显示相应对象的图像区域相对应。该对应例如可以通过形状识别或通过图像适配方法来设置。

Claims (9)

1.一种用于组合地可视显示车辆(2)所处的交通状况的视频数据和距离数据的方法，包括：
从车辆出发摄取一环境区段(5)的摄像机图像数据；
感测距离数据，所述距离数据反映所述车辆(2)与处于所述环境区段(5)内的至少一个对象(7，8，12，12')之间的至少一个距离；其特征在于，
根据所述至少一个距离(di)使所述摄像机图像数据的至少一个图像区段畸变；并且
显示畸变后的所述至少一个图像区段(10)，其中，所述畸变包括：至少一个图像区段的偏移、拉伸、压缩、旋转或这些畸变处理的任意组合，其中，所述畸变处理以一强度实施，该强度按照单调下降函数与距离相关，由此在距离小的情况下畸变处理以比在距离大的情况更大的强度实施。
2.根据权利要求1所述的方法，其中，感测距离数据包括：借助在该车辆(2)的一个车辆区段上排列的距离传感器(3a-3e)分别针对该环境区段的多个不同的区域(6a-e)感测距离数据；其中，所述至少一个图像区段包括多个不同的图像区段，并且，所述畸变包括：所述多个图像区段中的一个图像区段根据距离数据(di)畸变，所述距离数据涉及存在于所述环境区段的相当于该图像区段或者与该图像区段绝大部分重叠的区域(11)中的对象(7，8，12，12')。
3.根据权利要求2所述的方法，其中，针对所述环境区段的不同区域中的至少两个区域分别感测对应的距离数据(di)，所述多个图像区段中的至少两个分别根据至少一个处于对应图像区段中的对象(7，8，12，12')的距离数据(di)畸变，并且所述环境区段的对应区域基本相当于对应的图像区段或者与该图像区段绝大部分重叠。
4.根据权利要求1至3中任一项所述的方法，其中，该环境区段沿着摄像机图像数据的水平线划分成一些彼此衔接的图像区段，所述距离数据(di)分别对应于所述图像区段，其中，各个图像区段按照各自对应的距离数据畸变，并且畸变后的相邻图像区段不彼此适配或者畸变后的相邻图像区段的畸变至少在图像区段的垂直边缘区域彼此适配，其中，在图像区段的交界区域上设置这样的畸变：在两个相邻图像区段之间的过渡处具有畸变强度的连续演变。
5.根据权利要求1至3中任一项所述的方法，该方法还包括：根据所述至少一个距离改变所述摄像机图像数据的至少一个图像区段的颜色信息，或者根据所述至少一个距离改变摄像机图像数据的所述图像区段的至少一个对象区域的颜色信息，其中该对象区域显示被感测距离的对象，或者改变至少一个边缘区域的颜色信息，所述边缘区域处于所述图像区段之上、之下或旁边并且所述边缘区域不将摄像机图像数据作为图像显示反映。
6.根据权利要求1至3中任一项所述的方法，其中，该畸变包括：随着在图像区段内所感测的对象的距离(di)的减小，仅在垂直方向上、仅在水平方向上或在水平和垂直方向上放大该图像区段；如果在图像区段内没有感测到对象或者者随着在图像区段内所感测的对象(7，8，12，12')的距离(di)的增大，仅在摄像机图像数据的垂直方向(y)上、仅在水平方向(x)上或在水平和垂直两个方向上缩小该图像区段。
7.根据权利要求1至3中任一项所述的方法，其中，该畸变包括：在摄像机图像数据的图像下边沿与可视显示的最下边沿之间设置一下边缘，该可视显示反映摄像机图像数据和位于其下的该下边缘，其中，该下边缘具有高度(D0，Di)，该高度随着针对在该边缘上方显示的图像区段中的对象感测的距离而增大，并且该下边缘不将摄像机图像数据作为其成像反映。
8.根据权利要求1至3中任一项所述的方法，其中，该畸变包括：在摄像机图像数据的图像下边沿与可视显示的最下边沿之间设置一下边缘，该可视显示反映摄像机图像数据和位于其下的该下边缘，其中，该下边缘具有颜色，该颜色根据预定的走向随着针对在该边缘上方显示的图像区段中的对象感测的距离而改变，该下边缘反映该颜色并且不将摄像机图像数据作为其成像反映。
9.一种用于实施根据上述权利要求之一所述的方法组合地可视显示视频数据和距离数据的装置，该装置包括：图像输入端，其被构建用于将摄像机图像数据输入到该装置的与该图像输入端连接的图像处理单元(1)中；距离输入端，其被构建用于将反映所感测的距离的距离信息输入到与该距离输入端连接的图像处理单元；输出端，其与图像处理单元(1)连接并且被构建用于输出反映畸变的图像区段的图像显示数据，其中，所述图像处理单元被构建用于根据在所述距离输入端上输入的距离信息对在所述图像输入端上输入的摄像机图像数据实施畸变步骤，其中，所述图像处理单元被构建用于根据所述至少一个距离(di)使所述摄像机图像数据的至少一个图像区段畸变，其中，所述畸变包括：至少一个图像区段的偏移、拉伸、压缩、旋转或这些畸变处理的任意组合，其中，所述畸变处理以一强度实施，该强度按照单调下降函数与距离相关，由此在距离小的情况下畸变处理以比在距离大的情况更大的强度实施，并且，该图像处理单元还被构建用于将这样畸变的至少一个图像区段在输出端上输出。
CN201080044467.6A 2009-10-01 2010-09-27 用于交通状况的视频数据和距离数据的组合可视显示的方法和装置 Active CN102574485B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102009045233.8 2009-10-01
DE102009045233A DE102009045233A1 (de) 2009-10-01 2009-10-01 Verfahren und Vorrichtung zur kombinierten visuellen Anzeige von Video- und Abstandsdaten einer Verkehrssituation
PCT/EP2010/064215 WO2011039129A1 (de) 2009-10-01 2010-09-27 Verfahren und vorrichtung zur kombinierten visuellen anzeige von video- und abstandsdaten einer verkehrssituation

Publications (2)

Publication Number Publication Date
CN102574485A CN102574485A (zh) 2012-07-11
CN102574485B true CN102574485B (zh) 2015-09-09

Family

ID=43332533

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080044467.6A Active CN102574485B (zh) 2009-10-01 2010-09-27 用于交通状况的视频数据和距离数据的组合可视显示的方法和装置

Country Status (5)

Country Link
EP (1) EP2483107B1 (zh)
JP (1) JP5404932B2 (zh)
CN (1) CN102574485B (zh)
DE (1) DE102009045233A1 (zh)
WO (1) WO2011039129A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104270571B (zh) * 2014-10-20 2018-06-01 联想(北京)有限公司 图像处理方法以及电子设备
US8648702B2 (en) 2010-08-20 2014-02-11 Denso International America, Inc. Combined time-of-flight and image sensor systems
DE102014111126A1 (de) * 2014-08-05 2016-02-11 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erzeugen einer Umgebungskarte eines Umgebungsbereichs eines Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102014018040A1 (de) 2014-12-05 2016-06-09 Mekra Lang Gmbh & Co. Kg Sichtsystem
CN108292469B (zh) * 2015-12-09 2021-02-05 笠原一 位置信息确定方法、装置以及计算机存储介质
DE102016001103A1 (de) * 2016-02-02 2017-08-03 Audi Ag Beleuchtungseinrichtung für ein Fahrzeug und zugehöriges Betriebsverfahren
CN107640090A (zh) * 2016-07-22 2018-01-30 中兴通讯股份有限公司 一种行车安全控制方法及装置
DE102017117287A1 (de) 2017-07-31 2019-01-31 Mekra Lang Gmbh & Co. Kg Sichtsystem mit fahrsituationsbedingter sichtfeld-/sichtbereicheinblendung
CN108008553A (zh) * 2017-11-22 2018-05-08 深圳市华星光电技术有限公司 一种Mura检测校正方法和系统
DE102020129676A1 (de) 2020-11-11 2022-05-12 Bayerische Motoren Werke Aktiengesellschaft Visualisierung der umgebung eines kraftfahrzeugs in einer umgebungsanzeige

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3855552B2 (ja) * 1999-08-26 2006-12-13 松下電工株式会社 車両周辺障害物監視装置
CN1922641A (zh) * 2004-02-23 2007-02-28 瓦莱奥开关传感器有限公司 用于摄像机图像的图形处理的方法及报警装置
CN101167104A (zh) * 2005-04-28 2008-04-23 宝马股份公司 用于图形显示汽车周围环境的方法
DE102007011539A1 (de) * 2007-03-09 2008-09-11 Volkswagen Ag Fahrzeug mit einer Monitoreinheit und Verfahren zum Betreiben einer fahrzeugeigenen Monitoreinheit
EP2058762A2 (en) * 2007-11-09 2009-05-13 Alpine Electronics, Inc. Method and apparatus for generating bird's-eye image

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002074399A (ja) * 2000-08-28 2002-03-15 Sony Corp 画像編集システム及び画像編集方法、並びに記憶媒体
JP3608527B2 (ja) * 2001-05-15 2005-01-12 株式会社豊田中央研究所 周辺状況表示装置
DE10221513B4 (de) * 2002-05-14 2004-03-11 Ce-Sys Gmbh Ilmenau Verfahren zur Darstellung von Bildern mit verändertem Breite-Höhe-Verhältnis
DE10241464A1 (de) 2002-09-06 2004-03-18 Robert Bosch Gmbh Vorrichtung zur Umfelderfassung eines Fahrzeugs
JP2004240480A (ja) * 2003-02-03 2004-08-26 Matsushita Electric Ind Co Ltd 運転支援装置
DE102005013706A1 (de) * 2005-03-24 2006-09-28 Daimlerchrysler Ag Vorrichtung zur Unterstützung des Einparkens eines Fahrzeugs
DE102006031895B4 (de) * 2006-07-07 2014-03-27 Continental Automotive Gmbh Anzeigesystem zur Visualisierung von Fahrzeugabständen
JP5053043B2 (ja) * 2007-11-09 2012-10-17 アルパイン株式会社 車両周辺画像生成装置および車両周辺画像の歪み補正方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3855552B2 (ja) * 1999-08-26 2006-12-13 松下電工株式会社 車両周辺障害物監視装置
CN1922641A (zh) * 2004-02-23 2007-02-28 瓦莱奥开关传感器有限公司 用于摄像机图像的图形处理的方法及报警装置
CN101167104A (zh) * 2005-04-28 2008-04-23 宝马股份公司 用于图形显示汽车周围环境的方法
DE102007011539A1 (de) * 2007-03-09 2008-09-11 Volkswagen Ag Fahrzeug mit einer Monitoreinheit und Verfahren zum Betreiben einer fahrzeugeigenen Monitoreinheit
EP2058762A2 (en) * 2007-11-09 2009-05-13 Alpine Electronics, Inc. Method and apparatus for generating bird's-eye image

Also Published As

Publication number Publication date
JP5404932B2 (ja) 2014-02-05
JP2013506897A (ja) 2013-02-28
EP2483107B1 (de) 2014-03-12
DE102009045233A1 (de) 2011-04-28
EP2483107A1 (de) 2012-08-08
WO2011039129A1 (de) 2011-04-07
CN102574485A (zh) 2012-07-11

Similar Documents

Publication Publication Date Title
CN102574485B (zh) 用于交通状况的视频数据和距离数据的组合可视显示的方法和装置
KR101811157B1 (ko) 사발형 영상 시스템
US8514282B2 (en) Vehicle periphery display device and method for vehicle periphery image
KR101911610B1 (ko) 어떤 차량의 차량 주변을 왜곡 없이 표시하기 위한 방법 및 장치
JP4879031B2 (ja) 運転支援システム、画像処理装置及びずれ検出方法
JP2021170826A (ja) 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置
EP3368373B1 (en) Filling in surround view areas blocked by mirrors or other vehicle parts
US20070046450A1 (en) Obstacle detector for vehicle
US11188768B2 (en) Object detection apparatus, object detection method, and computer readable recording medium
JP5208147B2 (ja) 車載カメラのカメラキャリブレーション装置
US20130107052A1 (en) Driver Assistance Device Having a Visual Representation of Detected Objects
JP7072641B2 (ja) 路面検出装置、路面検出装置を利用した画像表示装置、路面検出装置を利用した障害物検知装置、路面検出方法、路面検出方法を利用した画像表示方法、および路面検出方法を利用した障害物検知方法
US8660737B2 (en) Vehicle handling assistant apparatus
US20100066516A1 (en) Image displaying in-vehicle system, image displaying control in-vehicle apparatus and computer readable medium comprising program for the same
JP2002359838A (ja) 運転支援装置
US10783665B2 (en) Apparatus and method for image processing according to vehicle speed
KR101705558B1 (ko) Avm 시스템의 공차 보정 장치 및 방법
CN111819571A (zh) 具有经调整适配的投影面的全景环视系统
US20150158430A1 (en) Operating a Head-Up Display of a Vehicle and Image Determining System for the Head-Up Display
CN108534747B (zh) 车载摄像头视野比例计算方法、系统及计算机可读载体
CN110400255B (zh) 车辆全景影像的生成方法、系统和车辆
CN113516590B (zh) 一种基于电子外后镜的图像合成方法及存储介质
JP2012247225A (ja) 検出装置及び検出方法
JP2007069777A (ja) 障害物検出システム
JP6855254B2 (ja) 画像処理装置、画像処理システム、及び、画像処理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant