CN112339771A - 一种泊车过程展示方法、装置及车辆 - Google Patents

一种泊车过程展示方法、装置及车辆 Download PDF

Info

Publication number
CN112339771A
CN112339771A CN202011075349.3A CN202011075349A CN112339771A CN 112339771 A CN112339771 A CN 112339771A CN 202011075349 A CN202011075349 A CN 202011075349A CN 112339771 A CN112339771 A CN 112339771A
Authority
CN
China
Prior art keywords
vehicle
display area
dimensional scene
scene image
center
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011075349.3A
Other languages
English (en)
Other versions
CN112339771B (zh
Inventor
高通
武金科
曹艳娜
许东春
魏宏
王香香
郭炳全
袁立东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Great Wall Motor Co Ltd
Original Assignee
Great Wall Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Great Wall Motor Co Ltd filed Critical Great Wall Motor Co Ltd
Priority to CN202011075349.3A priority Critical patent/CN112339771B/zh
Publication of CN112339771A publication Critical patent/CN112339771A/zh
Priority to US18/010,398 priority patent/US20230249620A1/en
Priority to EP21876979.2A priority patent/EP4155155A4/en
Priority to PCT/CN2021/122272 priority patent/WO2022073461A1/zh
Application granted granted Critical
Publication of CN112339771B publication Critical patent/CN112339771B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06—Automatic manoeuvring for parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明提供了一种泊车过程展示方法、装置及车辆，包括：建立用于反映车辆所处场景的二维场景影像；确定二维场景影像中的展示区域，并对展示区域进行展示；识别处于二维场景影像中的车位；在所有车位中的目标车位和/或车辆的部分或全部区域，处于展示区域之外的情况下，调整二维场景影像中展示区域的中心与预设坐标系的原点的相对位置，使得车辆和目标车位的全部区域处于展示区域。本发明实施例中，通过调整展示区域的中心与二维场景影像的坐标系原点的相对位置，从而改变展示区域相对于二维场景影像的位置，以使得车辆和目标车位的全部区域处于展示区域，从而降低泊车过程中泊车影像的完整性缺失的问题所发生的几率。

Description

一种泊车过程展示方法、装置及车辆
技术领域
本发明涉及汽车技术领域，特别涉及一种泊车过程展示方法、装置及车辆。
背景技术
随着私有汽车的大力普及，自动泊车技术的发展为用户停车难的问题提供了解决之道。
现有的自动泊车技术，是利用车辆的自动泊车功能，通过泊入/泊出指令，将车辆泊入/泊出至车位中，泊车过程中，车辆的车载终端会的显示屏以固定视野范围的展示窗口展示车载摄像头拍摄的泊车画面。
但是，在目前的方案中，由于车载终端的显示屏的展示窗口的视野范围为固定范围，则在泊车过程中的一些情况下，会由于车辆、车位超出展示窗口的视野范围，而产生车辆、车位无法在泊车影像中完整展示的问题。
发明内容
有鉴于此，本发明旨在提出一种泊车过程展示方法、装置及车辆，以解决现有技术中在泊车过程中的一些情况下，会由于车辆、车位超出展示窗口的视野范围，而产生车辆、车位无法在泊车影像中完整展示的问题。
为达到上述目的，本发明的技术方案是这样实现的：
一种泊车过程展示方法，应用于车辆中的车载终端，所述方法包括：
建立用于反映所述车辆所处场景的二维场景影像，所述二维场景影像基于预设坐标系建立；
确定所述二维场景影像中的展示区域，并对所述展示区域进行展示，所述展示区域包括所述车辆；
识别处于所述二维场景影像中的车位；
在所有所述车位中的目标车位和/或所述车辆的部分或全部区域，处于所述展示区域之外的情况下，调整所述二维场景影像中所述展示区域的中心与所述预设坐标系的原点的相对位置，使得所述车辆和所述车位的全部区域处于所述展示区域。
一种泊车过程展示装置，应用于车辆中的车载终端，所述装置包括：
建立模块，用于建立用于反映所述车辆所处场景的二维场景影像，所述二维场景影像基于预设坐标系建立；
确定模块，用于确定所述二维场景影像中的展示区域，并对所述展示区域进行展示，所述展示区域包括所述车辆；
识别模块，用于识别处于所述二维场景影像中的车位；
调整模块，用于在所有所述车位中的目标车位和/或所述车辆的部分或全部区域，处于所述展示区域之外的情况下，调整所述二维场景影像中所述展示区域的中心与所述预设坐标系的原点的相对位置，使得所述车辆和所述车位的全部区域处于所述展示区域。
一种车辆，所述车辆包括车载终端，所述车辆还包括所述的泊车过程展示装置
相对于现有技术，本发明所述的一种泊车过程展示方法、装置及车辆具有以下优势：
本发明实施例提供的一种泊车过程展示方法、装置及车辆，包括：建立用于反映车辆所处场景的二维场景影像，二维场景影像基于预设坐标系建立；确定二维场景影像中的展示区域，并对展示区域进行展示，展示区域包括车辆；识别处于二维场景影像中的车位；在所有车位中的目标车位和/或车辆的部分或全部区域，处于展示区域之外的情况下，调整二维场景影像中展示区域的中心与预设坐标系的原点的相对位置，使得车辆和目标车位的全部区域处于展示区域。本发明实施例中，由于车载终端的显示器的显示范围有限，为了保证泊车过程中展示区域展示的泊车影像的完整性，本发明实施例可以通过在展示区域中的目标车位和/或车辆的影像不完整的情况下，调整展示区域的中心与二维场景影像的坐标系原点的相对位置，从而改变展示区域相对于二维场景影像的位置，以使得车辆和目标车位的全部区域处于展示区域，从而降低泊车过程中泊车影像的完整性缺失的问题所发生的几率。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例所述的一种泊车过程展示方法的步骤流程图；
图2为本发明实施例所述的一种车辆的结构图；
图3为本发明实施例所述的一种车载终端的结构框图；
图4为本发明实施例所述的一种二维场景影像的示意图；
图5为本发明实施例所述的另一种二维场景影像的示意图；
图6为本发明实施例所述的另一种二维场景影像的示意图；
图7为本发明实施例所述的另一种泊车过程展示方法的步骤流程图；
图8为本发明实施例所述的另一种二维场景影像的示意图；
图9为本发明实施例所述的另一种二维场景影像的示意图；
图10为本发明实施例所述的一种泊车过程展示装置的结构框图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面将参考附图并结合实施例来详细说明本发明。
参照图1，示出了本发明实施例所述的一种泊车过程展示方法的步骤流程图。
本发明实施例提供的一种泊车过程展示方法，应用于车辆中的车载终端。
步骤101，建立用于反映所述车辆所处场景的二维场景影像，所述二维场景影像基于预设坐标系建立。
在本发明实施例中，参照图2，示出了本发明实施例所述的一种车辆的结构图，包括：车辆10、广角传感器11和车载终端12，广角传感器11的数量可以为多个，多个广角传感器11设置在车辆10的外表面，广角传感器11采集的数据可以发送至车载终端12。优选的，可以设置四个广角传感器11，四个广角传感器11分别设置在车辆10的四个边角位置处。
广角传感器11是一种采集影像数据的传感器，其拍摄视野较广，可以采集车辆10周围环境的影像，布置的多个广角传感器11可以给车载终端12提供车辆周围360度的实时影像，从而为驾驶员提供更广的视野范围，尽可能的消除视野盲区。
进一步的，参照图3，示出了本发明实施例所述的一种车载终端的架构框图，车载终端包括：三维场景建立模块、二维场景转换模块、视角截取模块、运动关系控制器模块、影像显示模块。
其中，三维场景建立模块可以基于广角传感器采集的环境信息，建立车辆所处场景的三维场景影像，三维场景影像可以被影像显示模块进行显示，以提供给用户三维场景的感知。
二维场景建立模块可以基于三维场景建立模块建立的三维场景影像，并根据泊车场景下设定的俯视视角，将三维场景影像映射至俯视视角下的平面的二维场景影像。
运动关系控制器模块则可以对车辆的移动参数，如速度、方向、轨迹等信息进行采集。
由于车载终端的显示器的视野范围有限，一次可能仅能展示二维场景影像中的部分区域，则视角截取模块则可以基于运动关系控制器模块采集的车辆的移动参数，以控制该部分区域的选取，并尽可能使得待泊入的车位和车辆同时处于该部分区域中。
影像显示模块则可以对视角截取模块选取的二维场景影像中的部分区域进行展示，以提供给用户对泊车过程的感知。
在该步骤中，车载终端的二维场景建立模块可以根据泊车场景下设定的俯视视角，将三维场景影像映射至俯视视角下的平面的二维场景影像，且二维场景影像可以基于预设坐标系建立，如直角坐标系，参照图4，示出了本发明实施例所述的一种二维场景影像的示意图，在三维场景影像的基础上，构建得到了俯视视角下的包括车辆10的二维场景影像20，基于XY直角坐标系，可以为二维场景影像20中各个物体的位置赋予参照。
步骤102，确定所述二维场景影像中的展示区域，并对所述展示区域进行展示，所述展示区域包括所述车辆。
在本发明实施例中，由于车载终端的显示器的视野范围有限，一次可能仅能展示二维场景影像中的部分区域，则可以通过车载终端的视角截取模块选取二维场景影像中预定尺寸的展示区域，并由车载终端的影像显示模块对展示区域进行展示。展示区域的尺寸可以由车载终端的显示器的尺寸或分辨率计算得到。
具体的，参照图4，由于是泊车场景，则选取的展示区域21中需包括车辆10，另外，在初始状态下(即图4所示状态)，车辆10的中心可以与二维场景影像20的XY直角坐标系的原点重合，且展示区域21的中心也可以与该原点重合，这样车载终端可以在初始状态下，展示一个以车辆10为中心的展示区域21，以便用户了解泊车开始前车辆周边的环境情况。当然，根据实际需求，初始状态下，展示区域的中心、坐标系的原点、车辆的中心也可以不重合，而保持预定的相对位置关系，本发明实施例对此不作限定。
步骤103，识别处于所述二维场景影像中的车位。
在该步骤中，车载终端可以基于图像特征识别技术，识别出处于二维场景影像中的所有车位。
具体的，车载终端可以将标准车位的图像特征，与二维场景影像中各个区域的图像特征进行匹配，将二维场景影像中与标准车位的图像特征匹配的区域，确定为车位所处区域。
步骤104，在所有所述车位中的目标车位和/或所述车辆的部分或全部区域，处于所述展示区域之外的情况下，调整所述二维场景影像中所述展示区域的中心与所述预设坐标系的原点的相对位置，使得所述车辆和所述目标车位的全部区域处于所述展示区域。
在本发明实施例中，目标车位可以为所有车位中待泊入/泊出的车位，当二维场景影像中存在多个车位的情况下，目标车位可以由用户自行选取，也可以由车载终端根据实际策略进行选取，如将与车辆距离最近，且车辆和车位的方位符合泊入/泊出条件的车位，确定为目标车位。例如，图4中，车载终端识别到二维场景影像20中有两个车位：车位22和车位23，则可以根据用户的选取操作，将车位23作为目标车位，也可以自动将与车辆10最近的车位22作为目标车位。
由于车载终端的显示器的显示视野范围固定，且泊车过程中车辆是处于移动状态的，则参照图5，示出了本发明实施例所述的另一种二维场景影像的示意图，假设车位22为目标车位，车辆10沿Y轴方向移动，若车辆10移动过程中，展示区域21的中心o保持与车辆10的中心重合，则在车辆10移动的过程中，目标车位22可能会全部(图5所示)或部分移出展示区域21的范围，导致目标车位22的影像丢失。同理，若车辆10移动过程中，展示区域的中心o不与车辆10的中心重合，而保持与坐标系的原点重合，则在车辆10移动的过程中，车辆10可能会全部或部分移出展示区域21的范围，导致车辆10的影像丢失。
因此，本发明实施例可以根据二维场景影像中目标车位和车辆的方位，调整二维场景影像中展示区域的中心与坐标系的原点的相对位置，从而在泊车过程中，使得车辆和目标车位的全部区域处于展示区域，以降低车辆、目标车位的影像丢失带来的泊车体验度下降的问题。
例如，在图5所示情况的基础上，车辆10沿Y轴方向移动，则为了防止目标车位22被移出展示区域21，参照图6，示出了本发明实施例所述的另一种二维场景影像的示意图，可以将展示区域21的中心o沿背离于Y轴方向的方向移动，改变展示区域21的中心o与坐标系原点之间的位置关系，从而使得车辆10和目标车位22同时处于展示区域21中，以保证泊车环节中，泊车影像的完整性。
综上所述，本发明实施例提供的一种泊车过程展示方法，包括：建立用于反映车辆所处场景的二维场景影像，二维场景影像基于预设坐标系建立；确定二维场景影像中的展示区域，并对展示区域进行展示，展示区域包括车辆；识别处于二维场景影像中的车位；在所有车位中的目标车位和/或车辆的部分或全部区域，处于展示区域之外的情况下，调整二维场景影像中展示区域的中心与预设坐标系的原点的相对位置，使得车辆和目标车位的全部区域处于展示区域。本发明实施例中，由于车载终端的显示器的显示范围有限，为了保证泊车过程中展示区域展示的泊车影像的完整性，本发明实施例可以通过在展示区域中的目标车位和/或车辆的影像不完整的情况下，调整展示区域的中心与二维场景影像的坐标系原点的相对位置，从而改变展示区域相对于二维场景影像的位置，以使得车辆和目标车位的全部区域处于展示区域，从而降低泊车过程中泊车影像的完整性缺失的问题所发生的几率。
参照图7，示出了本发明实施例所述的另一种泊车过程展示方法的步骤流程图。本发明实施例提供的泊车过程展示方法，应用于车辆中的车载终端。其中，参照图2，车辆10安装有至少一个广角传感器11。
步骤201，获取所述广角传感器采集的环境信息。
广角传感器是一种采集影像数据的传感器，其拍摄视野较广，可以采集车辆周围环境的环境信息，环境信息可以包括点云数据，点云数据是通过测量仪器得到的环境中物体外观表面的点数据集合，用于构建三维场景影像，布置的多个广角传感器可以给车载终端提供车辆周围360度的实时影像，从而为驾驶员提供更广的视野范围，尽可能的消除视野盲区。
步骤202，根据所述环境信息，构建用于反映所述车辆所处场景的三维场景影像。
在本发明实施例中，参照图2，车载终端的三维场景模块可以利用环境信息中的点云数据，构建反映车辆所处场景的三维场景影像，具体的，三维场景影像的构建过程可以利用点云数据的拟合操作实现，并可以采用深度学习模型作为辅助。
步骤203，将所述三维场景影像映射至预设尺寸的二维场景影像中，得到用于反映所述车辆所处场景的二维场景影像。
在本发明实施例中，参照图2，二维场景建立模块可以基于三维场景建立模块建立的三维场景影像，并根据泊车场景下设定的俯视视角，将三维场景影像映射至俯视视角下的平面的二维场景影像。
具体的，由于在俯视视角下，对于车辆的移动轨迹和车辆、车位的轮廓具有较清楚的展示效果，则泊车场景可以默认以俯视视角作为展示视角。
步骤204，根据所述车载终端的显示屏的尺寸，确定所述展示区域的尺寸。
在本发明实施例中，参照图2，由于车载终端的显示器的视野范围有限，一次可能仅能将二维场景影像中的部分区域作为展示区域进行展示，则视角截取模块则可以首先根据车载终端的显示屏的尺寸，确定展示区域的尺寸，使得展示区域的尺寸至少不超出车载终端的显示器的视野范围的限制，如，展示区域的尺寸可以由车载终端的显示器的尺寸或分辨率计算得到。
步骤205，根据所述展示区域的尺寸，在所述二维场景影像中确定所述展示区域，并对所述展示区域进行展示。
在本发明实施例中，参照图2，在视角截取模块确定了展示区域的尺寸之后，可以对展示区域在二维场景影像中的具体位置进行选取，一般情况下，尽可能使得待泊入的车位和车辆同时处于该展示区域中，在其他情况下，根据实际需求，展示区域也可以处于二维场景影像中的默认固定位置。
步骤206，在所述二维场景影像中，设置所述展示区域的中心、所述车辆的中心、所述原点重合。
其中，在所述车辆移动的过程中，所述展示区域的中心与所述车辆的中心保持重合，或所述展示区域的中心与所述原点保持重合。
在本发明实施例中，在初始状态下(即图4所示状态)，可以设置车辆10的中心与二维场景影像20的XY直角坐标系的原点重合，且设置展示区域21的中心与该原点重合，这样车载终端可以在初始状态下，展示一个以车辆10为中心的展示区域21，以便用户了解泊车开始前车辆周边的环境情况。
进一步的，由于二维场景影像可以根据实时的环境信息进行更新，则在一种实现情况下，可以在车辆移动的过程中，将展示区域的中心与车辆的中心保持重合，以达到保持车辆处于展示区域的中心的效果，方便于对车辆周边的环境情况得到尽可能广的范围的感知，例如，车辆移动的过程中，将展示区域的中心与车辆的中心保持重合，可以便于在车辆周围的环境中寻找合适的车位。在另一种实现情况下，可以在车辆移动的过程中，将展示区域的中心与原点保持重合，这样展示区域可以处于二维场景影像的中心区域，使得车辆在移动的过程中的移动轨迹可以清楚的展现在展示区域中，便于对车辆的行进、倒车等操作进行直观的展现。
步骤207，识别处于所述二维场景影像中的车位。
该步骤具体可以参照上述步骤103，此处不再赘述。
步骤208，在所有所述车位中的目标车位和/或所述车辆的部分或全部区域，处于所述展示区域之外的情况下，调整所述二维场景影像中所述展示区域的中心与所述预设坐标系的原点的相对位置，使得所述车辆和所述目标车位的全部区域处于所述展示区域。
该步骤具体可以参照上述步骤104，此处不再赘述。
可选的，步骤208可以包括：
子步骤2081、在所述目标车位的部分或全部区域处于所述展示区域之外的情况下，识别所述二维场景影像中所述车辆的移动方向。
在本发明实施例中，车载终端可以基于图像特征识别技术，识别出处于二维场景影像中的所有车位，目标车位可以为所有车位中待泊入/泊出的车位，当二维场景影像中存在多个车位的情况下，目标车位可以由用户自行选取，也可以由车载终端根据实际策略进行选取，如将与车辆距离最近，且车辆和车位的方位符合泊入/泊出条件的车位，确定为目标车位。
参照图2，车载终端的运动关系控制器模块可以采集车辆的移动参数，如速度、方向、轨迹等信息，并在目标车位的部分或全部区域处于展示区域之外的情况下，利用移动参数识别二维场景影像中车辆的移动方向。
子步骤2082、若所述目标车位处于所述车辆移动方向所指向的一侧，则将所述展示区域的中心沿所述移动方向移动，从而改变所述展示区域的中心与所述原点的相对位置。
在该步骤中，参照图8，示出了本发明实施例所述的另一种二维场景影像的示意图，假设车位24为目标车位，车辆10沿Y轴方向移动，且目标车位24处于车辆10移动方向所指向的一侧，且目标车位24全部移出展示区域21的范围，导致目标车位24的影像丢失。
因此，本发明实施例可以根据二维场景影像中目标车位、车辆的方位和车辆的移动方向，调整二维场景影像中展示区域的中心与坐标系的原点的相对位置，具体将图8中展示区域21的中心o沿移动方向移动，改变展示区域21的中心o与所述原点的相对位置，得到图9中展示区域21的中心o与所述原点的新的相对位置，从而在泊车过程中，使得车辆10和目标车位24的全部区域处于展示区域(如图9所示)，以降低车辆、目标车位的影像丢失带来的泊车体验度下降的问题。
子步骤2083、若所述目标车位处于背离于所述车辆移动方向所指向的一侧，则将所述展示区域的中心沿背离于所述移动方向的方向移动，从而改变所述展示区域的中心与所述原点的相对位置。
在该步骤中，参照图5，假设车位22为目标车位，车辆10沿Y轴方向移动，且目标车位22处于背离于车辆10移动方向所指向的一侧，且目标车位22全部移出展示区域21的范围，导致目标车位22的影像丢失。
因此，本发明实施例可以根据二维场景影像中目标车位、车辆的方位和车辆的移动方向，调整二维场景影像中展示区域的中心与坐标系的原点的相对位置，具体将图5中展示区域21的中心o沿背离于移动方向的方向移动，改变展示区域21的中心o与所述原点的相对位置，得到图6中展示区域21的中心o与所述原点的新的相对位置，从而在泊车过程中，使得车辆10和目标车位22的全部区域处于展示区域(如图6所示)，以降低车辆、目标车位的影像丢失带来的泊车体验度下降的问题。
需要说明的是，调整二维场景影像中展示区域的中心与坐标系的原点的相对位置的操作可以具体由图2中车载终端的视角截取模块实现。
可选的，步骤208可以包括：
子步骤2084、根据所述车辆的移动速度，确定用于移动所述展示区域的中心的调整速度。
子步骤2085、根据所述调整速度移动所述展示区域的中心，从而调整所述展示区域的中心与所述原点的相对位置。
在本发明实施例中，参照图2，车载终端的运动关系控制器模块还可以采集车辆的移动速度，且在调整二维场景影像中展示区域的中心与坐标系的原点的相对位置的过程中，移动展示区域的中心的调整速度可以根据车辆的移动速度计算得出，从而使得展示区域的画面动态效果更符合车辆实际运行情况，提高了泊车影像的展示效果。
可选的，在步骤205之后，所述方法还可以包括：
步骤209、在所述展示区域中，若所述展示区域的中心与所述原点保持重合，且识别到所述车辆与所述展示区域的边缘之间的距离处于预设距离范围，则将所述展示区域的中心与所述原点保持重合，调整为将当前的所述展示区域的中心与所述车辆的中心的相对位置保持固定。
在本发明实施例中，在设定了展示区域的中心与所述原点保持重合的情况下，这样展示区域可以处于二维场景影像的中心区域，使得车辆在移动的过程中的移动轨迹可以清楚的展现在展示区域中，便于对车辆的行进、倒车等操作进行直观的展现。
则在展示区域的中心与所述原点保持重合的情况下，若识别到车辆的移动轨迹以使得车辆与展示区域的边缘之间的距离处于预设距离范围(如1m至1.5m)之间，则可以认为当前车辆即将移出展示区域的范围。
为了保证展示区域中车辆的影像不丢失，本发明实施例可以将当前展示区域的中心与车辆之间的相对位置进行固定，并将展示区域的中心与所述原点保持重合的模式调整为将当前的所述展示区域的中心与所述车辆的中心的相对位置保持固定的模式，此时展示区域中车辆行驶动作停止，车辆处于展示区域中的固定位置，这样设计是因为再向前移动车辆的环视功能可能会受到影响，用户无法再影像中确认到车辆移动方向是否有障碍物，将展示区域的中心与所述原点保持重合的模式调整为将当前的所述展示区域的中心与所述车辆的中心的相对位置保持固定的模式，如当前的展示区域的中心与车辆的中心的相对位置为展示区域的中心处于车辆的中心的后方，且与车辆的中心间隔10米，则可以在后续车辆移动的过程中，保持展示区域的中心与车辆的中心的这种相对位置，这样可以使得车辆周围的至少部分环境信息不丢失，从而达到识别车辆移动方向上的障碍物的目的。
综上所述，本发明实施例提供的一种泊车过程展示方法，包括：建立用于反映车辆所处场景的二维场景影像，二维场景影像基于预设坐标系建立；确定二维场景影像中的展示区域，并对展示区域进行展示，展示区域包括车辆；识别处于二维场景影像中的车位；在所有车位中的目标车位和/或车辆的部分或全部区域，处于展示区域之外的情况下，调整二维场景影像中展示区域的中心与预设坐标系的原点的相对位置，使得车辆和目标车位的全部区域处于展示区域。本发明实施例中，由于车载终端的显示器的显示范围有限，为了保证泊车过程中展示区域展示的泊车影像的完整性，本发明实施例可以通过在展示区域中的目标车位和/或车辆的影像不完整的情况下，调整展示区域的中心与二维场景影像的坐标系原点的相对位置，从而改变展示区域相对于二维场景影像的位置，以使得车辆和目标车位的全部区域处于展示区域，从而降低泊车过程中泊车影像的完整性缺失的问题所发生的几率。
在上述实施例的基础上，本发明实施例还提供了一种泊车过程展示装置。
参照图10，示出了本发明实施例所述的应用于移动终端的一种泊车过程展示装置的结构框图，具体可以包括如下模块：
建立模块301，用于建立用于反映所述车辆所处场景的二维场景影像，所述二维场景影像基于预设坐标系建立；
可选的，所述车辆安装有至少一个广角传感器，所述建立模块301，包括：
获取子模块，用于获取所述广角传感器采集的环境信息；
构建子模块，用于根据所述环境信息，构建用于反映所述车辆所处场景的三维场景影像；
映射子模块，用于将所述三维场景影像映射至预设尺寸的二维场景影像中，得到用于反映所述车辆所处场景的二维场景影像。
确定模块302，用于确定所述二维场景影像中的展示区域，并对所述展示区域进行展示，所述展示区域包括所述车辆；
可选的，所述确定模块302包括：
尺寸确定子模块，用于根据所述车载终端的显示屏的尺寸，确定所述展示区域的尺寸；
区域确定子模块，用于根据所述展示区域的尺寸，在所述二维场景影像中确定所述展示区域。
识别模块303，用于识别处于所述二维场景影像中的车位；
调整模块304，用于在所有所述车位中的目标车位和/或所述车辆的部分或全部区域，处于所述展示区域之外的情况下，调整所述二维场景影像中所述展示区域的中心与所述预设坐标系的原点的相对位置，使得所述车辆和所述目标车位的全部区域处于所述展示区域。
可选的，所述调整模块304包括：
识别子模块，用于在所述目标车位的部分或全部区域处于所述展示区域之外的情况下，识别所述二维场景影像中所述车辆的移动方向；
移动子模块，用于将所述展示区域的中心沿背离于所述移动方向的方向移动，从而改变所述展示区域的中心与所述原点的相对位置。
可选的，所述调整模块304包括：
速度识别子模块，用于根据所述车辆的移动速度，确定用于移动所述展示区域的中心的调整速度；
调整子模块，用于根据所述调整速度移动所述展示区域的中心，从而调整所述展示区域的中心与所述原点的相对位置。
可选的，所述装置还包括：
固定模块，用于在所述展示区域中，若所述展示区域的中心与所述原点保持重合，且识别到所述车辆与所述展示区域的边缘之间的距离处于预设距离范围，则将所述展示区域的中心与所述原点保持重合，调整为将当前的所述展示区域的中心与所述车辆的中心的相对位置保持固定。
可选的，所述装置还包括：
默认设定模块，用于在所述二维场景影像中，设置所述展示区域的中心、所述车辆的中心、所述原点重合；
其中，在所述车辆移动的过程中，所述展示区域的中心与所述车辆的中心保持重合，或所述展示区域的中心与所述原点保持重合。
综上所述，本申请提供的一种泊车过程展示装置，包括：建立用于反映车辆所处场景的二维场景影像，二维场景影像基于预设坐标系建立；确定二维场景影像中的展示区域，并对展示区域进行展示，展示区域包括车辆；识别处于二维场景影像中的车位；在所有车位中的目标车位和/或车辆的部分或全部区域，处于展示区域之外的情况下，调整二维场景影像中展示区域的中心与预设坐标系的原点的相对位置，使得车辆和目标车位的全部区域处于展示区域。本发明实施例中，由于车载终端的显示器的显示范围有限，为了保证泊车过程中展示区域展示的泊车影像的完整性，本发明实施例可以通过在展示区域中的目标车位和/或车辆的影像不完整的情况下，调整展示区域的中心与二维场景影像的坐标系原点的相对位置，从而改变展示区域相对于二维场景影像的位置，以使得车辆和目标车位的全部区域处于展示区域，从而降低泊车过程中泊车影像的完整性缺失的问题所发生的几率。
参照图2，本发明实施例还提供一种车辆10，所述车辆10包括车载终端12，车辆还包括泊车过程展示装置。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种泊车过程展示方法，应用于车辆中的车载终端，其特征在于，所述方法包括：
建立用于反映所述车辆所处场景的二维场景影像，所述二维场景影像基于预设坐标系建立；
确定所述二维场景影像中的展示区域，并对所述展示区域进行展示，所述展示区域包括所述车辆；
识别处于所述二维场景影像中的车位；
在所有所述车位中的目标车位和/或所述车辆的部分或全部区域，处于所述展示区域之外的情况下，调整所述二维场景影像中所述展示区域的中心与所述预设坐标系的原点的相对位置，使得所述车辆和所述目标车位的全部区域处于所述展示区域。
2.根据权利要求1所述的方法，其特征在于，在所有所述车位中的目标车位的部分或全部区域处于所述展示区域之外的情况下，调整所述二维场景影像中所述展示区域的中心与所述预设坐标系的原点的相对位置，包括：
在所述目标车位的部分或全部区域处于所述展示区域之外的情况下，识别所述二维场景影像中所述车辆的移动方向；
若所述目标车位处于所述车辆移动方向所指向的一侧，则将所述展示区域的中心沿所述移动方向移动，从而改变所述展示区域的中心与所述原点的相对位置；
若所述目标车位处于背离于所述车辆移动方向所指向的一侧，则将所述展示区域的中心沿背离于所述移动方向的方向移动，从而改变所述展示区域的中心与所述原点的相对位置。
3.根据权利要求1所述的方法，其特征在于，在所述确定所述二维场景影像中的展示区域，并对所述展示区域进行展示之后，所述方法还包括：
在所述展示区域中，若所述展示区域的中心与所述原点保持重合，且识别到所述车辆与所述展示区域的边缘之间的距离处于预设距离范围，则将所述展示区域的中心与所述原点保持重合，调整为将当前的所述展示区域的中心与所述车辆的中心的相对位置保持固定。
4.根据权利要求1所述的方法，其特征在于，所述调整所述二维场景影像中所述展示区域的中心与所述预设坐标系的原点的相对位置，包括：
根据所述车辆的移动速度，确定用于移动所述展示区域的中心的调整速度；
根据所述调整速度移动所述展示区域的中心，从而调整所述展示区域的中心与所述原点的相对位置。
5.根据权利要求1至4任一项所述的方法，其特征在于，在所述确定所述二维场景影像中的展示区域后，所述方法还包括：
在所述二维场景影像中，设置所述展示区域的中心、所述车辆的中心、所述原点重合；
其中，在所述车辆移动的过程中，所述展示区域的中心与所述车辆的中心保持重合，或所述展示区域的中心与所述原点保持重合。
6.根据权利要求1所述的方法，其特征在于，所述车辆安装有至少一个广角传感器，所述建立用于反映所述车辆所处场景的二维场景影像，包括：
获取所述广角传感器采集的环境信息；
根据所述环境信息，构建用于反映所述车辆所处场景的三维场景影像；
将所述三维场景影像映射至预设尺寸的二维场景影像中，得到用于反映所述车辆所处场景的二维场景影像。
7.根据权利要求1所述的方法，其特征在于，所述确定所述二维场景影像中的展示区域，包括：
根据所述车载终端的显示屏的尺寸，确定所述展示区域的尺寸；
根据所述展示区域的尺寸，在所述二维场景影像中确定所述展示区域。
8.一种泊车过程展示装置，应用于车辆中的车载终端，其特征在于，所述装置包括：
建立模块，用于建立用于反映所述车辆所处场景的二维场景影像，所述二维场景影像基于预设坐标系建立；
确定模块，用于确定所述二维场景影像中的展示区域，并对所述展示区域进行展示，所述展示区域包括所述车辆；
识别模块，用于识别处于所述二维场景影像中的车位；
调整模块，用于在所有所述车位中的目标车位和/或所述车辆的部分或全部区域，处于所述展示区域之外的情况下，调整所述二维场景影像中所述展示区域的中心与所述预设坐标系的原点的相对位置，使得所述车辆和所述目标车位的全部区域处于所述展示区域。
9.根据权利要求8所述的装置，其特征在于，所述调整模块包括：
识别子模块，用于在所述目标车位的部分或全部区域处于所述展示区域之外的情况下，识别所述二维场景影像中所述车辆的移动方向；
移动子模块，用于将所述展示区域的中心沿背离于所述移动方向的方向移动，从而改变所述展示区域的中心与所述原点的相对位置。
10.一种车辆，所述车辆包括车载终端，其特征在于，所述车辆还包括如权利要求8至9任一所述的泊车过程展示装置。
CN202011075349.3A 2020-10-09 2020-10-09 一种泊车过程展示方法、装置及车辆 Active CN112339771B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202011075349.3A CN112339771B (zh) 2020-10-09 2020-10-09 一种泊车过程展示方法、装置及车辆
US18/010,398 US20230249620A1 (en) 2020-10-09 2021-09-30 Parking process display method and device, and vehicle
EP21876979.2A EP4155155A4 (en) 2020-10-09 2021-09-30 METHOD AND DEVICE FOR DISPLAYING A PARKING PROCESS AND VEHICLE
PCT/CN2021/122272 WO2022073461A1 (zh) 2020-10-09 2021-09-30 泊车过程展示方法、装置及车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011075349.3A CN112339771B (zh) 2020-10-09 2020-10-09 一种泊车过程展示方法、装置及车辆

Publications (2)

Publication Number Publication Date
CN112339771A true CN112339771A (zh) 2021-02-09
CN112339771B CN112339771B (zh) 2022-01-07

Family

ID=74361399

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011075349.3A Active CN112339771B (zh) 2020-10-09 2020-10-09 一种泊车过程展示方法、装置及车辆

Country Status (4)

Country Link
US (1) US20230249620A1 (zh)
EP (1) EP4155155A4 (zh)
CN (1) CN112339771B (zh)
WO (1) WO2022073461A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022073461A1 (zh) * 2020-10-09 2022-04-14 长城汽车股份有限公司 泊车过程展示方法、装置及车辆
CN117601848A (zh) * 2023-12-20 2024-02-27 广州车全影电子科技有限公司 基于汽车全景的泊车控制方法、系统、介质及设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010002013U (ko) * 1999-06-30 2001-01-26 정몽규 자동차용 흡배기 밸브의 태핏 장착구조
CN1591257A (zh) * 2003-08-29 2005-03-09 爱信精机株式会社 停车辅助装置
DE102011105884A1 (de) * 2011-06-28 2013-01-03 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Einparken eines Fahrzeugs
CN103568946A (zh) * 2012-08-06 2014-02-12 现代摩比斯株式会社 具有泊车定位功能的车辆后方摄像头系统及利用其的泊车支持系统
US20150258989A1 (en) * 2012-11-06 2015-09-17 Panasonic Intellectual Property Management Co., Ltd. Parking assist device
CN109693666A (zh) * 2019-02-02 2019-04-30 中国第一汽车股份有限公司 一种用于泊车的人机交互系统及泊车方法
CN110239524A (zh) * 2019-05-23 2019-09-17 浙江吉利控股集团有限公司 自动泊车方法、装置、系统及终端
CN110293962A (zh) * 2019-05-08 2019-10-01 重庆长安汽车股份有限公司 基于全景影像的自动泊车车位显示方法及系统
CN111591283A (zh) * 2020-04-13 2020-08-28 长城汽车股份有限公司 一种监控车辆运动轨迹的方法、装置及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5380941B2 (ja) * 2007-10-01 2014-01-08 日産自動車株式会社 駐車支援装置及び方法
JP5798392B2 (ja) * 2011-06-27 2015-10-21 クラリオン株式会社 駐車支援装置
CN110794970B (zh) * 2019-11-07 2023-08-25 广州小鹏汽车科技有限公司 一种自动泊车界面的三维显示方法、系统及车辆
CN111559371B (zh) * 2020-05-15 2021-12-07 广州智鹏车联网科技有限公司 三维泊车的显示方法、车辆和存储介质
CN112339771B (zh) * 2020-10-09 2022-01-07 长城汽车股份有限公司 一种泊车过程展示方法、装置及车辆

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010002013U (ko) * 1999-06-30 2001-01-26 정몽규 자동차용 흡배기 밸브의 태핏 장착구조
CN1591257A (zh) * 2003-08-29 2005-03-09 爱信精机株式会社 停车辅助装置
DE102011105884A1 (de) * 2011-06-28 2013-01-03 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Einparken eines Fahrzeugs
CN103568946A (zh) * 2012-08-06 2014-02-12 现代摩比斯株式会社 具有泊车定位功能的车辆后方摄像头系统及利用其的泊车支持系统
US20150258989A1 (en) * 2012-11-06 2015-09-17 Panasonic Intellectual Property Management Co., Ltd. Parking assist device
CN109693666A (zh) * 2019-02-02 2019-04-30 中国第一汽车股份有限公司 一种用于泊车的人机交互系统及泊车方法
CN110293962A (zh) * 2019-05-08 2019-10-01 重庆长安汽车股份有限公司 基于全景影像的自动泊车车位显示方法及系统
CN110239524A (zh) * 2019-05-23 2019-09-17 浙江吉利控股集团有限公司 自动泊车方法、装置、系统及终端
CN111591283A (zh) * 2020-04-13 2020-08-28 长城汽车股份有限公司 一种监控车辆运动轨迹的方法、装置及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022073461A1 (zh) * 2020-10-09 2022-04-14 长城汽车股份有限公司 泊车过程展示方法、装置及车辆
CN117601848A (zh) * 2023-12-20 2024-02-27 广州车全影电子科技有限公司 基于汽车全景的泊车控制方法、系统、介质及设备

Also Published As

Publication number Publication date
US20230249620A1 (en) 2023-08-10
EP4155155A4 (en) 2023-12-06
CN112339771B (zh) 2022-01-07
EP4155155A1 (en) 2023-03-29
WO2022073461A1 (zh) 2022-04-14

Similar Documents

Publication Publication Date Title
CN110174093B (zh) 定位方法、装置、设备和计算机可读存储介质
KR102022388B1 (ko) 실세계 물체 정보를 이용한 카메라 공차 보정 시스템 및 방법
EP1961613B1 (en) Driving support method and driving support device
CN101404122B (zh) 驾驶支援装置以及驾驶支援方法
CN103140377B (zh) 用于在显示装置上显示图像的方法和驾驶员辅助系统
CN112965503A (zh) 多路摄像头融合拼接方法、装置、设备及存储介质
US8553081B2 (en) Apparatus and method for displaying an image of vehicle surroundings
CN109949439B (zh) 行车实景信息标注方法、装置、电子设备和介质
CN105580359B (zh) 预测前进道路提示装置以及预测前进道路提示方法
CN112339771B (zh) 一种泊车过程展示方法、装置及车辆
EP2200312A1 (en) Video display device and video display method
CN110293965A (zh) 泊车方法和控制装置、车载设备及计算机可读介质
CN109703465B (zh) 车载图像传感器的控制方法和装置
CN110750153A (zh) 一种无人驾驶车辆的动态虚拟化装置
CN113320474A (zh) 基于全景图像及人机交互的自动泊车方法及装置
CN113459951A (zh) 车外环境显示方法和装置、车辆、设备和存储介质
CN108973858B (zh) 用于确保行驶路线安全的装置
CN113646769A (zh) 用于图像归一化的系统和方法
JP2012230522A (ja) 画像処理装置及び画像処理方法
EP3349201B1 (en) Parking assist method and vehicle parking assist system
CN114103812A (zh) 倒车入库引导系统及方法
CN113362232A (zh) 车辆全景环视图像生成方法和系统
US20190266416A1 (en) Vehicle image system and method for positioning vehicle using vehicle image
CN113011212A (zh) 图像识别方法、装置及车辆
CN111845713A (zh) 一种基于车载3d全景环视的泊车路线规划方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant