CN111683840B - 可移动平台的交互方法、系统、可移动平台及存储介质 - Google Patents

可移动平台的交互方法、系统、可移动平台及存储介质 Download PDF

Info

Publication number
CN111683840B
CN111683840B CN201980008059.6A CN201980008059A CN111683840B CN 111683840 B CN111683840 B CN 111683840B CN 201980008059 A CN201980008059 A CN 201980008059A CN 111683840 B CN111683840 B CN 111683840B
Authority
CN
China
Prior art keywords
display
image
movable platform
visual image
dimensional visual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980008059.6A
Other languages
English (en)
Other versions
CN111683840A (zh
Inventor
徐彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN111683840A publication Critical patent/CN111683840A/zh
Application granted granted Critical
Publication of CN111683840B publication Critical patent/CN111683840B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Abstract

一种可移动平台的交互方法、系统、可移动平台及存储介质，其中，该方法包括：将同一时刻传感器采集的三维点云数据投影至相机采集的图像数据中进行融合处理，得到融合图像(S301)；对所述融合图像进行渲染，确定可移动平台所处周围环境的三维可视化图像(S302)；在显示界面上输出所述可移动平台所处周围环境的三维可视化图像(S303)。通过该方法，可以实现对可移动平台周围环境进行三维可视化显示，改善了用户的使用体验。

Description

可移动平台的交互方法、系统、可移动平台及存储介质
技术领域
本发明涉及控制技术领域，尤其涉及一种可移动平台的交互方法、系统、可移动平台及存储介质。
背景技术
目前，像汽车这类可移动平台的电子传感器系统显示/交互方式仍处于比较简易的层次。例如，对于倒车雷达系统(超声波系统)，通常会通过声音向驾驶员提示大致的距离，离障碍物越近声音越响以加重警示效果；对于中控系统，通常是提供导航功能和娱乐功能，以及倒车影像功能，驾驶员从中控系统中获取的信息较少；对于仪表板显示系统，通常是提供一些汽车零部件运行状态的信息，如提示驾驶员车门处于开启/关闭状态等，现有的电子仪表盘虽然能提供更多更丰富的信息，但基本仍处于将原有的中控显示信息集成至仪表盘中，例如在仪表盘中提供导航功能，并未有更多地显示或交互功能。
随着汽车辅助驾驶技术及自动驾驶技术的发展，汽车对于周围环境的感知能力越来越强，传统的传感器系统显示/交互方式已经难以更多地展现现在传感器系统所获取的信息，因此，如何提供配合传感器系统提供一种更好地显示交互方式以提高驾驶安全性和用户体验，具有重要意义。
发明内容
本发明实施例提供了一种可移动平台的交互方法、系统、可移动平台及存储介质，可以通过显示界面显示可移动平台周围环境的三维可视化图像，改善了用户的使用体验。
第一方面，本发明实施例提供了一种可移动平台的交互方法，应用于可移动平台，所述交互系统上设置有显示界面，所述方法包括：
将传感器采集的三维点云数据投影至相机采集的图像数据中进行融合处理，得到融合图像；
对所述融合图像进行渲染，确定所述可移动平台所处周围环境的三维可视化图像；
在所述显示界面上输出所述可移动平台所处周围环境的三维可视化图像。
第二方面，本发明实施例提供了一种交互系统，应用于可移动平台，所述交互系统上设置有显示界面，所述系统包括：一个或多个处理器，共同地或单独地工作，所述处理器用于执行以下操作：
将传感器采集的三维点云数据投影至相机采集的图像数据中进行融合处理，得到融合图像；
对所述融合图像进行渲染，确定所述可移动平台所处周围环境的三维可视化图像；
在所述显示界面上输出所述可移动平台所处周围环境的三维可视化图像。
第三方面，本发明实施例提供了一种可移动平台，包括：机身；配置在机身上的动力系统，用于为可移动平台提供移动动力；
处理器，用于将传感器采集的三维点云数据投影至相机采集的图像数据中进行融合处理，得到融合图像；对所述融合图像进行渲染，确定所述可移动平台所处周围环境的三维可视化图像；在显示界面上输出所述可移动平台所处周围环境的三维可视化图像。
第四方面，本发明实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面所述的方法。
本发明实施例中，交互系统可以将传感器采集的三维点云数据投影至相机采集的图像数据中进行融合处理得到融合图像，并对所述融合图像进行渲染，确定可移动平台所处周围环境的三维可视化图像，从而在显示界面上输出所述可移动平台所处周围环境的三维可视化图像。通过这种实施方式，可以改善用户的使用体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种交互系统的显示界面示意图；
图2是本发明实施例提供的一种交互系统的结构示意图；
图3是本发明实施例提供的一种可移动平台的交互方法的流程示意图；
图4是本发明实施例提供的另一种可移动平台的交互方法的流程示意图；
图5是本发明实施例提供的一种可移动平台处于倒车模式时的三维可视化图像的显示界面；
图6是本发明实施例提供的一种可移动平台处于变道状态时的三维可视化图像的显示界面；
图7是本发明实施例提供的一种可移动平台处于加速状态时的三维可视化图像的显示界面；
图8是本发明实施例提供的一种交互系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
本发明实施例中提供的可移动平台的交互方法可以由一种交互系统执行，所述交互系统可以包括可移动平台和交互设备。在某些实施例中，所述交互设备可以设置在所述可移动平台上；在某些实施例中，所述交互设备可以独立于所述可移动平台。示例的，该交互设备可以设置在与所述可移动平台建立通信连接的手机、平板电脑、智能手表等终端上。在一种实施方式中，该交互设备还可以设置在云处理器中。在其他实施例中，所述交互设备可以应用于无人车、无人机、机器人、无人船等其他设备上。
本发明实施例针对不同的运动场景构建一个完整的简便的观察可移动平台周边环境的三维显示界面，以方便驾驶者快速了解周边环境，消除驾驶盲区，去除驾驶员在传统汽车上切换查看不同传感器的时间，提高驾驶安全性，提高驾驶体验。
在一个实施例中，所述交互设备可以将传感器采集的三维点云数据投影至相机采集的图像数据中进行融合处理，得到融合图像，并对所述融合图像进行渲染，确定所述可移动平台所处周围环境的三维可视化图像，从而在所述显示界面上输出所述可移动平台所处周围环境的三维可视化图像。具体地，所述交互设备可以将同一时刻传感器采集的三维点云数据投影至相机采集的图像护具中进行融合处理。这样，用户可以在一个显示界面上获取三维可视化图像，从而获取同一时刻的可移动品台所处周围环境的三维点云信息和/或图像信息。
在一个实施例中，所述交互设备可以设置于可移动平台中便于用户操作的任意位置。通过将所述交互设备设置于可移动平台中便于用户操作的位置，以便驾驶员或乘客可以方便查看所述交互设备上显示界面显示的内容信息以及方便通过所述交互设备控制三维可视化图像的显示角度。
在一个实施例中，所述可移动平台上可以设置一个或多个传感器，所述传感器用于采集所述可移动平台周围环境的点云数据；在某些实施例中，所述可移动平台上包括相机等拍摄装置，用于拍摄可移动平台周围环境的图像数据。
具体可以图1为例对所述交互系统的显示界面进行示意性说明，图1是本发明实施例提供的一种交互系统的显示界面示意图。如图1所示，所述交互系统的显示界面包括包括显示区域11和触控区域12。在某些实施例中，所述显示区域11用于显示可移动平台周围环境的三维可视化图像。在某些实施例中，所述触控区域12包括角度显示图标和传感器类型图标；所述角度显示图标包括倒车显示121、左变道显示122、右变道显示123、加速显示124等图标，用于指示显示三维可视化图像的视角；所述传感器类型图标包括图像传感器125、激光雷达126、毫米波雷达127、超声波雷达128等，用于供用户选择采集点云数据的传感器的类型。
本发明实施例可以根据可移动平台的运动状态，确定三维可视化图像在显示界面显示的视角，以提高可移动平台移动过程中的安全性。
下面结合附图2对本发明实施例提出的交互系统进行示意性说明。
请参见图2，图2是本发明实施例提供的一种交互系统的结构示意图，如图2所示的交互系统包括：可移动平台21和交互设备22，所述可移动平台21上设置有交互设备22，所述可移动平台21可以包括动力系统211，所述动力系统211用于为可移动平台21提供运行的动力。
本发明实施例中，交互设备22设置于可移动平台21中，所述交互设备22上设置有显示界面，所述交互设备22与可移动平台21连接。所述交互设备22的显示界面包括显示区域和触控区域，所述显示区域用于显示所述可移动平台21周围环境的三维可视化图像，所述触控区域包括角度显示图标和传感器类型图标。所述交互设备22可以根据用户在触控区域选择的传感器类型图标，获取用户选择的该传感器采集的三维点云数据，在所述交互设备可以获取相机采集的图像数据。所述交互系统22通过将所述三维点云数据投影至所述图像数据中进行融合处理，得到融合图像，并对所述融合图像进行渲染，得到所述可移动平台所处周围环境的三维可视化图像，从而在所述显示界面的显示区域上输出所述可移动平台所处周围环境的三维可视化图像。
下面结合附图对本发明实施例提供的可移动平台的交互方法进行示意性说明。
具体请参见图3，图3是本发明实施例提供的一种可移动平台的交互方法的流程示意图，所述方法可以由交互系统执行，所述交互系统上设置有显示界面，所述交互系统与所述可移动平台通信连接。具体地，本发明实施例的所述方法包括如下步骤。
S301：将传感器采集的三维点云数据投影至相机采集的图像数据中进行融合处理，得到融合图像。
本发明实施例中，交互系统可以将传感器采集的三维点云数据投影至相机采集的图像数据中进行融合处理，得到融合图像。在某些实施例中，所述传感器包括但不限于图像传感器、激光雷达、毫米波雷达、超声波雷达中的任意一种或多种。
在一些实施例中，交互系统在将传感器采集的三维点云数据投影至相机采集的图像数据中进行融合处理之前，可以获取用户对所述触控区域中传感器类型图标的触控操作，以根据对所述传感器类型图标的触控操作，确定与所述触控操作所选取的传感器类型图标对应的目标传感器，并获取所述目标传感器采集的三维点云数据。在某些实施例中，所述触控操作包括但不限于对所述传感器类型图标的点击操作、滑动操作、拖动操作。
以图1为例，假设交互系统获取到用户对所述触控区域12中的激光雷达126的图标的触控操作，则可以确定所述可移动平台上的激光雷达126为目标传感器，并获取所述激光雷达126采集到的所述可移动平台周围环境对应的三维点云数据。
可见，通过用户自主选取采集可移动平台周围环境的点云数据的传感器，提高了采集点云数据的灵活性以及改善了用户的使用体验。
在一个实施例中，交互系统在将传感器采集的三维点云数据投影至相机采集的图像数据中进行融合处理之前，如果没有获取到用户对所述触控区域中传感器类型图标的触控操作，则可以根据预设类型的传感器采集所述三维点云数据。
在一个实施例中，所述交互系统将传感器采集的三维点云数据投影至相机采集的图像数据中进行融合处理，得到融合图像时，可以确定所述采集的图像数据与所述三维点云数据之间的坐标转换关系，并基于所述坐标转换关系，将所述图像数据对应的点云数据与所述三维点云数据转换到相同坐标系下，以及将转换到相同坐标系后的三维点云数据投影至所述图像数据中进行融合处理，得到融合图像。
在一种实施方式中，所述交互系统将所述图像数据对应的点云数据与所述三维点云数据转换到相同坐标系下，以及将转换到相同坐标系后的三维点云数据投影至所述图像数据中进行融合处理时，可以对所述图像数据进行坐标变换，并将坐标变换后的图像数据与所述三维点云数据进行融合；或者，对所述三维点云数据进行坐标变换，并将坐标变换后的三维点云数据与所述图像数据进行融合。
可见，通过这种实施方式，可以提高三维点云数据与所述图像数据进行融合处理的灵活性。
S302：对所述融合图像进行渲染，确定可移动平台所处周围环境的三维可视化图像。
本发明实施例中，交互系统可以对所述融合图像进行渲染，确定所述可移动平台所处周围环境的三维可视化图像。
在一个实施例中，所述交互系统在对所述融合图像进行渲染，确定所述可移动平台所处周围环境的三维可视化图像时，可以将所述融合图像投影至二维平面，得到至少一个投影图像，并根据所述至少一个投影图像，确定所述可移动平台所处周围环境的障碍物信息，以及根据所述障碍物信息确定所述三维可视化图像。
在一些实施例中，所述交互系统在根据所述障碍物信息确定所述三维可视化图像时，可以根据所述障碍物的位置以及障碍物与所述可移动平台的距离，确定三维可视化图像。
在某些实施例中，所述障碍物信息包括障碍物的位置信息、尺寸信息、距离信息中任意一种或多种。在某些实施例中，所述障碍物包括行人、车辆、动物、植物中的任意一种或多种。
S303：在显示界面上输出所述可移动平台所处周围环境的三维可视化图像。
本发明实施例中，交互系统可以在所述显示界面上输出所述可移动平台所处周围环境的三维可视化图像。在某些实施例中，所述显示界面包括显示区域和触控区域，所述触控区域包括角度显示图标和传感器类型图标。在某些实施例中，所述显示界面可以是触摸显示界面。
在一个实施例中，所述交互系统在所述显示界面上输出所述可移动平台所处周围环境的三维可视化图像时，可以在所述显示界面上的显示区域输出所述可移动平台所处周围环境的三维可视化图像。以图1为例，所述交互系统可以在所述显示界面上的显示区域11输出所述可移动平台所处周围环境的三维可视化图像。
在一个实施例中，所述交互系统在所述显示界面上的显示区域输出所述可移动平台所处周围环境的三维可视化图像时，可以获取用户对所述触控区域中角度显示图标的触控操作，并根据所述触控操作生成与所述触控操作对应的角度显示指令，并将所述三维可视化图像按照所述角度显示指令所指示的显示视角显示在所述显示界面的显示区域上。在某些实施例中，所述触控操作包括但不限于对所述角度显示图标的点击操作、滑动操作、拖动操作。
以图1为例，如果交互系统获取到用户对所述触控区域12中倒车显示121图标的触控操作，则可以根据所述触控操作生成与所述倒车显示121图标对应的角度显示指令，并将所述三维可视化图像按照所述角度显示指令所指示的显示视角显示在所述显示界面的显示区域上。
在一个实施例中，所述交互系统在所述显示界面上输出所述可移动平台所处周围环境的三维可视化图像时，可以获取所述可移动平台的当前运动状态，并根据所述当前运动状态，确定所述三维可视化图像的显示视角，从而按照所述显示视角，在所述显示界面的显示区域显示所述三维可视化图像。
本发明实施例中，交互系统可以将传感器采集的三维点云数据投影至相机采集的图像数据中进行融合处理得到融合图像，并对所述融合图像进行渲染，确定所述可移动平台所处周围环境的三维可视化图像，从而在所述显示界面上输出所述可移动平台所处周围环境的三维可视化图像。通过这种实施方式，可以输出所述可移动平台所处周围环境的三维可视化图像，改善了用户的使用体验。
具体请参见图4，图4是本发明实施例提供的另一种可移动平台的交互方法的流程示意图，所述方法可以由交互系统执行，所述交互系统的解释如前所述。具体地，本发明实施例的所述方法与图3所述的方法的区别在于，本发明实施例是对根据可移动平台的运动状态确定三维可视化图像的显示视角进行示意性说明，本发明实施例的所述方法包括如下步骤。
S401：将传感器采集的三维点云数据投影至相机采集的图像数据中进行融合处理，得到融合图像。
本发明实施例中，交互系统可以将传感器采集的三维点云数据投影至相机采集的图像数据中进行融合处理，得到融合图像。
S402：对所述融合图像进行渲染，确定可移动平台所处周围环境的三维可视化图像。
本发明实施例中，交互系统可以对所述融合图像进行渲染，确定所述可移动平台所处周围环境的三维可视化图像。
S403：获取所述可移动平台的当前运动状态。
本发明实施例中，交互系统可以获取所述可移动平台的当前运动状态。在某些实施例中，所述可移动平台的当前运动状态包括但不限于倒车状态、变道状态、刹车状态、加速状态、减速状态中的任意一种或多种。
S404：根据所述当前运动状态，确定所述三维可视化图像的显示视角。
本发明实施例中，所述交互系统可以根据所述当前运动状态，确定所述三维可视化图像的显示视角。
在一个实施例中，所述当前运动状态包括倒车状态，所述交互系统在根据所述当前运动状态，确定所述三维可视化图像的显示视角时，可以确定所述可移动平台的当前运动状态，当确定出所述可移动平台处于倒车状态时，可以确定所述三维可视化图像的显示视角为显示距离所述可移动平台的第一预设区域内的三维可视化图像。
在一个实施例中，所述交互系统可以在所述可移动平台处于倒车状态时，如果在显示的三维可视化图像中检测到距离所述可移动平台的第一预设区域内存在障碍物，则显示所述三维可视化图像中的障碍物，以及所述障碍物与所述可移动平台的距离。
在一个实施例中，所述交互系统在确定所述可移动平台处于倒车状态时，可以根据获取到用户对触控区域的角度显示图标中的倒车显示图标的触控操作，来确定所述可移动平台处于倒车状态。
在其他实施例中，所述交互系统可以根据获取到的倒车档位信息、轮胎的转动方向信息等确定所述可移动平台处是否用于倒车状态，在此对如何确定可移动平台是否处于倒车状态不做具体限定。
具体可以图5为例对可移动平台处于倒车状态时的显示视角进行说明，图5是本发明实施例提供的一种可移动平台处于倒车状态时的三维可视化图像的显示界面。如图5所示，所述可移动平台为车辆51，所述三维可视化图像的显示视角为显示距离车辆51车尾距离所述可移动平台的第一预设区域52，在所述第一预设区域52内检测到障碍物521以及障碍物521距离所述车辆51车尾的距离为1m。
可见，通过在倒车状态时显示距离车尾第一预设区域内的周围环境信息，并显示在所述第一预设区域内的障碍物，以及障碍物距离车尾的距离，可以提醒用户在倒车时障碍物的位置和距离车尾的位置，避免撞击障碍物，提高可移动平台在倒车状态下的安全性。
在一个实施例中，所述当前运动状态包括变道状态，所述交互系统在根据所述当前运动状态，确定所述三维可视化图像的显示视角时，如果确定出所述可移动平台处于变道状态，则可以确定所述三维可视化图像的显示视角为显示变道的车道在第二预设区域内的三维可视化图像。
在一个实施例中，所述交互系统在确定所述可移动平台处于变道状态时，可以根据获取到用户对触控区域的角度显示图标中的变道显示图标的触控操作，来确定所述可移动平台处于变道状态。
在一个实施例中，所述变道显示图标包括左变道显示图标和右变道显示图标，如果所述交互系统获取到用户对触控区域中的左变道显示图标的触控操作，则可以确定所述可移动平台处于向左变道的状态；如果所述交互系统获取到用户对触控区域中的右变道显示图标的触控操作，则可以确定所述可移动平台处于向右变道的状态。
在其他实施例中，所述交互系统可以根据获取到的转弯灯信息(如左转弯灯打开或右转弯等打开)、轮胎转动角度、轮胎转动方向等信息确定所述可移动平台是否处于变道状态，在此对如何确定可移动平台是否处于变道状态不做具体限定。
具体可以图6为例对可移动平台处于变道状态时的显示视角进行说明，图6是本发明实施例提供的一种可移动平台处于变道状态时的三维可视化图像的显示界面。如图6所示，所述可移动平台为车辆61，当前车道62，左变道的车道63，左变道的车道63包括车辆64，所述三维可视化图像的显示视角为显示左变道的车道63在第二预设区域内65的三维可视化图像，所述左变道的车道63在第二预设区域内65检测到障碍物为车辆64，并确定出车辆64距离所述车辆61的距离为10m。
可见，通过在可移动平台处于变道状态时，显示变道的车道在第二预设区域内的三维可视化图像，并显示在所述第二预设区域内的障碍物，以及障碍物距离车尾的距离，可以提醒用户在变道时障碍物的位置以及障碍物与可移动平台的距离，便于用户判断障碍物与可移动平台的距离是否在安全距离范围内，以避免变道过程中撞击障碍物，提高可移动平台在变道状态下的安全性。
在一个实施例中，所述当前运动状态包括加速状态，所述交互系统在根据所述当前运动状态，确定所述三维可视化图像的显示视角时，如果确定出所述可移动平台处于加速状态，则可以确定所述三维可视化图像的显示视角为显示距离所述可移动平台的第三预设区域内的三维可视化图像。
在一个实施例中，所述交互系统在确定所述可移动平台处于加速状态时，可以根据获取到用户对触控区域的角度显示图标中的加速显示图标的触控操作，来确定所述可移动平台处于加速状态。
在其他实施例中，所述交互系统可以根据获取到可以平台的速度信息来确定所述可移动平台是否处于加速状态或减速状态。
具体可以图7为例对可移动平台处于加速状态时的显示视角进行说明，图7是本发明实施例提供的一种可移动平台处于加速状态时的三维可视化图像的显示界面。如图7所示，可移动平台为车辆70，所述三维可视化图像的显示视角为显示所述车辆70车头(即加速方向)在第三预设区域77内的三维可视化图像，其中，在所述加速方向的第三预设区域77内检测到当前车道71包括车辆72，车辆72与车辆70的距离为15m，左变道的车道73包括车辆74，车辆74与车辆70的距离为5m，右变道的车道75包括车辆76，车辆76与车辆70的距离为10m。
可见，通过在可移动平台处于加速状态时显示距离车头第三预设区域内的周围环境信息，并显示在所述第三预设区域内的障碍物，以及障碍物距离车尾的距离，可以提醒用户在加速时障碍物的位置和距离车头的位置，避免撞击障碍物，提高可移动平台在加速状态下的安全性。
S405：按照所述显示视角，在显示界面的显示区域显示所述三维可视化图像。
本发明实施例中，所述交互系统可以按照所述显示视角，在所述显示界面的显示区域显示所述三维可视化图像。
本发明实施例中，交互系统可以获取可移动平台的当前运动状态，根据所述当前运动状态，确定所述可移动平台周围环境的三维可视化图像的显示视角，并按照所述显示视角在所述显示界面的显示区域显示所述三维可视化图像。通过这种实施方式，可以实现根据可移动平台的运动状态，自动确定三维可视化图像的显示视角，提高三维可视化图像的显示效率和灵活性。
请参见图8，图8是本发明实施例提供的一种交互系统的结构示意图，所述交互系统应用于可移动平台，所述交互系统上设置了显示界面，所述系统包括存储器801、一个或多个处理器802和数据接口803；
所述存储器801可以包括易失性存储器(volatile memory)；存储器801也可以包括非易失性存储器(non-volatile memory)；存储器801还可以包括上述种类的存储器的组合。所述处理器802可以是中央处理器(central processing unit，CPU)。所述处理器802还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specificintegrated circuit，ASIC)，可编程逻辑器件(programmable logic device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complex programmable logic device，CPLD)，现场可编程逻辑门阵列(field-programmable gate array，FPGA)或其任意组合。
所述处理器802，用于调用所述程序指令，当所述程序指令被执行时，可以用于执行：
将传感器采集的三维点云数据投影至相机采集的图像数据中进行融合处理，得到融合图像；
对所述融合图像进行渲染，确定所述可移动平台所处周围环境的三维可视化图像；
在所述显示界面上输出所述可移动平台所处周围环境的三维可视化图像。
进一步地，所述显示界面包括显示区域；所述处理器802在所述显示界面上输出所述可移动平台所处周围环境的三维可视化图像时，具体用于：
在所述显示界面上的显示区域输出所述可移动平台所处周围环境的三维可视化图像。
进一步地，所述显示界面包括显示区域和触控区域，所述触控区域包括角度显示图标和传感器类型图；所述处理器802在所述显示界面上的显示区域输出所述可移动平台所处周围环境的三维可视化图像时，具体用于：
获取用户对所述触控区域中角度显示图标和/或传感器类型图标的触控操作；
根据所述触控操作生成与所述触控操作对应的角度显示指令，并将所述三维可视化图像按照所述角度显示指令所指示的显示视角显示在所述显示界面的显示区域上。
进一步地，所述触控操作包括如下至少一种：点击操作、滑动操作、拖动操作。
进一步地，所述处理器802在所述显示界面上输出所述可移动平台所处周围环境的三维可视化图像时，具体用于：
获取所述可移动平台的当前运动状态；
根据所述当前运动状态，确定所述三维可视化图像的显示视角；
按照所述显示视角，在所述显示界面的显示区域显示所述三维可视化图像。
进一步地，所述当前运动状态包括倒车状态，所述处理器802根据所述当前运动状态，确定所述三维可视化图像的显示视角时，具体用于：
当确定所述可移动平台处于倒车状态时，确定所述三维可视化图像的显示视角为显示距离所述可移动平台的第一预设区域内的三维可视化图像。
进一步地，所述当前运动状态包括变道状态，所述处理器802根据所述当前运动状态，确定所述三维可视化图像的显示视角时，具体用于：
当确定所述可移动平台处于变道状态时，确定所述三维可视化图像的显示视角为显示变道的车道在第二预设区域内的三维可视化图像。
进一步地，所述当前运动状态包括加速状态，所述处理器802根据所述当前运动状态，确定所述三维可视化图像的显示视角时，具体用于：
当确定所述可移动平台处于加速状态时，确定所述三维可视化图像的显示视角为显示距离所述可移动平台的第三预设区域内的三维可视化图像。
进一步地，所述当前运动状态包括倒车状态、变道状态、刹车状态、加速状态、减速状态中的任意一种或多种。
进一步地，所述处理器802将传感器采集的三维点云数据投影至相机采集的图像数据中进行融合处理，得到融合图像之前，还用于：
获取用户对所述触控区域中传感器类型图标的触控操作；
确定与所述触控操作所选取的传感器类型图标对应的目标传感器，并获取所述目标传感器采集的三维点云数据。
进一步地，所述处理器802将传感器采集的三维点云数据投影至相机采集的图像数据中进行融合处理，得到融合图像时，具体用于：
确定所述图像数据与所述三维点云数据之间的坐标转换关系；
基于所述坐标转换关系，将所述图像数据对应的点云数据与所述三维点云数据转换到相同坐标系下；
将转换到相同坐标系后的三维点云数据投影至所述图像数据中进行融合处理，得到融合图像。
进一步地，所述处理器802对所述融合图像进行渲染，确定所述可移动平台所处周围环境的三维可视化图像时，具体用于：
将所述融合图像投影至二维平面，得到至少一个投影图像；
根据所述至少一个投影图像，确定所述可移动平台所处周围环境的障碍物信息；
根据所述障碍物信息确定所述三维可视化图像。
进一步地，所述障碍物信息包括障碍物的位置信息、尺寸信息、距离信息中任意一种或多种。
进一步地，所述障碍物包括行人、车辆、动物、植物中的任意一种或多种。
进一步地，所述传感器包括图像传感器、激光雷达、毫米波雷达、超声波雷达中的任意一种或多种。
本发明实施例中，交互系统可以将传感器采集的三维点云数据投影至相机采集的图像数据中进行融合处理得到融合图像，并对所述融合图像进行渲染，确定所述可移动平台所处周围环境的三维可视化图像，从而在所述显示界面上输出所述可移动平台所处周围环境的三维可视化图像。通过这种实施方式，可以提高可移动平台移动过程中的安全性。
本发明实施例还提供了一种可移动平台，包括：机身；配置在机身上的动力系统，用于为可移动平台提供移动动力；处理器，用于将传感器采集的三维点云数据投影至相机采集的图像数据中进行融合处理，得到融合图像；对所述融合图像进行渲染，确定所述可移动平台所处周围环境的三维可视化图像；在显示界面上输出所述可移动平台所处周围环境的三维可视化图像。
进一步地，所述显示界面包括显示区域；所述处理器在所述显示界面上输出所述可移动平台所处周围环境的三维可视化图像时，具体用于：
在所述显示界面上的显示区域输出所述可移动平台所处周围环境的三维可视化图像。
进一步地，所述显示界面包括显示区域和触控区域，所述触控区域包括角度显示图标和传感器类型图；所述处理器在所述显示界面上的显示区域输出所述可移动平台所处周围环境的三维可视化图像时，具体用于：
获取用户对所述触控区域中角度显示图标和/或传感器类型图标的触控操作；
根据所述触控操作生成与所述触控操作对应的角度显示指令，并将所述三维可视化图像按照所述角度显示指令所指示的显示视角显示在所述显示界面的显示区域上。
进一步地，所述触控操作包括如下至少一种：点击操作、滑动操作、拖动操作。
进一步地，所述处理器在所述显示界面上输出所述可移动平台所处周围环境的三维可视化图像时，具体用于：
获取所述可移动平台的当前运动状态；
根据所述当前运动状态，确定所述三维可视化图像的显示视角；
按照所述显示视角，在所述显示界面的显示区域显示所述三维可视化图像。
进一步地，所述当前运动状态包括倒车状态，所述处理器根据所述当前运动状态，确定所述三维可视化图像的显示视角时，具体用于：
当确定所述可移动平台处于倒车状态时，确定所述三维可视化图像的显示视角为显示距离所述可移动平台的第一预设区域内的三维可视化图像。
进一步地，所述当前运动状态包括变道状态，所述处理器根据所述当前运动状态，确定所述三维可视化图像的显示视角时，具体用于：
当确定所述可移动平台处于变道状态时，确定所述三维可视化图像的显示视角为显示变道的车道在第二预设区域内的三维可视化图像。
进一步地，所述当前运动状态包括加速状态，所述处理器根据所述当前运动状态，确定所述三维可视化图像的显示视角时，具体用于：
当确定所述可移动平台处于加速状态时，确定所述三维可视化图像的显示视角为显示距离所述可移动平台的第三预设区域内的三维可视化图像。
进一步地，所述当前运动状态包括倒车状态、变道状态、刹车状态、加速状态、减速状态中的任意一种或多种。
进一步地，所述处理器将传感器采集的三维点云数据投影至相机采集的图像数据中进行融合处理，得到融合图像之前，还用于：
获取用户对所述触控区域中传感器类型图标的触控操作；
确定与所述触控操作所选取的传感器类型图标对应的目标传感器，并获取所述目标传感器采集的三维点云数据。
进一步地，所述处理器将传感器采集的三维点云数据投影至相机采集的图像数据中进行融合处理，得到融合图像时，具体用于：
确定所述图像数据与所述三维点云数据之间的坐标转换关系；
基于所述坐标转换关系，将所述图像数据对应的点云数据与所述三维点云数据转换到相同坐标系下；
将转换到相同坐标系后的三维点云数据投影至所述图像数据中进行融合处理，得到融合图像。
进一步地，所述处理器对所述融合图像进行渲染，确定所述可移动平台所处周围环境的三维可视化图像时，具体用于：
将所述融合图像投影至二维平面，得到至少一个投影图像；
根据所述至少一个投影图像，确定所述可移动平台所处周围环境的障碍物信息；
根据所述障碍物信息确定所述三维可视化图像。
进一步地，所述障碍物信息包括障碍物的位置信息、尺寸信息、距离信息中任意一种或多种。
进一步地，所述障碍物包括行人、车辆、动物、植物中的任意一种或多种。
进一步地，所述传感器包括图像传感器、激光雷达、毫米波雷达、超声波雷达中的任意一种或多种。
本发明实施例中，可移动平台可以将传感器采集的三维点云数据投影至相机采集的图像数据中进行融合处理得到融合图像，并对所述融合图像进行渲染，确定所述可移动平台所处周围环境的三维可视化图像，从而在所述显示界面上输出所述可移动平台所处周围环境的三维可视化图像。通过这种实施方式，可以提高可移动平台移动过程中的安全性。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例中描述的方法，也可实现本发明所对应实施例的系统，在此不再赘述。
所述计算机可读存储介质可以是前述任一实施例所述的系统的内部存储单元，例如系统的硬盘或内存。所述计算机可读存储介质也可以是所述系统的外部存储设备，例如所述设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，所述计算机可读存储介质还可以既包括所述设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述终端所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
需要说明的是，在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可以理解，硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名词的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”或“包括”为一开放式用语，故应解释成“包含但不限定于”。说明书后续描述为实施本发明的较佳实施方式，然所述描述乃以说明书的一般原则为目的，并非用以限定本发明的范围。本发明的保护范围当视所附权利要求所界定者为准。
需要说明的是，当组件被称为“固定于”另一个组件，它可以直接在另一个组件上或者也可以存在居中的组件。当一个组件被认为是“连接”另一个组件，它可以是直接连接到另一个组件或者可能同时存在居中组件。当一个元件被认为是“电连接”另一个元件，它可以是接触连接，例如，可以是导线连接的方式，也可以是非接触式连接，例如，可以是非接触式耦合的方式，可以是通过一些接口，装置或单元的间接耦合或通信连接。除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
以上所揭露的仅为本发明部分实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (29)

1.一种可移动平台的交互方法，其特征在于，应用于可移动平台，所述可移动平台的交互系统上设置有显示界面，所述显示界面包括显示区域和触控区域，所述触控区域包括角度显示图标和传感器类型图，所述方法包括：
获取用户对所述触控区域中所述传感器类型图标的触控操作；
确定与所述触控操作所选取的传感器类型图标对应的目标传感器，并获取所述目标传感器采集的三维点云数据；
将所述目标传感器采集的三维点云数据投影至与相机采集的图像数据中进行融合处理，得到融合图像；
确定所述可移动平台周围的障碍物信息；
对所述融合图像进行渲染，并基于所述障碍物信息确定三维可视化图像，所述三维可视化图像包括所述可移动平台和所述可移动平台周围的障碍物；
获取所述可移动平台的当前运动状态，所述当前运动状态包括倒车状态、变道状态、刹车状态、加速状态、减速状态中的任意一种或多种；
根据所述当前运动状态，确定所述三维可视化图像的显示视角；
基于所述显示视角，在所述显示界面上的显示区域输出所述三维可视化图像；
所述在所述显示界面上的显示区域输出所述三维可视化图像，包括：
获取用户对所述触控区域中角度显示图标和/或传感器类型图标的触控操作；
根据所述触控操作生成与所述触控操作对应的角度显示指令，并将所述三维可视化图像按照所述角度显示指令所指示的显示视角显示在所述显示界面的显示区域上。
2.根据权利要求1所述的方法，其特征在于，
所述触控操作包括如下至少一种：点击操作、滑动操作、拖动操作。
3.根据权利要求1所述的方法，其特征在于，所述当前运动状态包括倒车状态，所述根据所述当前运动状态，确定所述三维可视化图像的显示视角，包括：
当确定所述可移动平台处于倒车状态时，确定所述三维可视化图像的显示视角为显示距离所述可移动平台的第一预设区域内的三维可视化图像。
4.根据权利要求1所述的方法，其特征在于，所述当前运动状态包括变道状态，所述根据所述当前运动状态，确定所述三维可视化图像的显示视角，包括：
当确定所述可移动平台处于变道状态时，确定所述三维可视化图像的显示视角为显示变道的车道在第二预设区域内的三维可视化图像。
5.根据权利要求1所述的方法，其特征在于，所述当前运动状态包括加速状态，所述根据所述当前运动状态，确定所述三维可视化图像的显示视角，包括：
当确定所述可移动平台处于加速状态时，确定所述三维可视化图像的显示视角为显示距离所述可移动平台的第三预设区域内的三维可视化图像。
6.根据权利要求1所述的方法，其特征在于，所述将传感器采集的三维点云数据投影至相机采集的图像数据中进行融合处理，得到融合图像，包括：
确定所述图像数据与所述三维点云数据之间的坐标转换关系；
基于所述坐标转换关系，将所述图像数据对应的点云数据与所述三维点云数据转换到相同坐标系下；
将转换到相同坐标系后的三维点云数据投影至所述图像数据中进行融合处理，得到融合图像。
7.根据权利要求1所述的方法，其特征在于，所述对所述融合图像进行渲染，并基于所述障碍物信息确定三维可视化图像，包括：
将所述融合图像投影至二维平面，得到至少一个投影图像；
根据所述至少一个投影图像，确定所述可移动平台所处周围环境的障碍物信息；
根据所述障碍物信息确定所述三维可视化图像。
8.根据权利要求1所述的方法，其特征在于，所述障碍物信息包括障碍物的位置信息、尺寸信息、距离信息中任意一种或多种。
9.根据权利要求1所述的方法，其特征在于，
所述传感器包括图像传感器、激光雷达、毫米波雷达、超声波雷达中的任意一种或多种。
10.一种交互系统，其特征在于，应用于可移动平台，所述交互系统上设置有显示界面，所述显示界面包括显示区域和触控区域，所述触控区域包括角度显示图标和传感器类型图，所述系统包括：一个或多个处理器，共同地或单独地工作，所述处理器用于执行以下操作：
获取用户对所述触控区域中所述传感器类型图标的触控操作；
确定与所述触控操作所选取的传感器类型图标对应的目标传感器，并获取所述目标传感器采集的三维点云数据；
将所述目标传感器采集的三维点云数据投影至与相机采集的图像数据中进行融合处理，得到融合图像；
确定所述可移动平台周围的障碍物信息；
对所述融合图像进行渲染，并基于所述障碍物信息确定三维可视化图像，所述三维可视化图像包括所述可移动平台和所述可移动平台周围的障碍物；
获取所述可移动平台的当前运动状态，所述当前运动状态包括倒车状态、变道状态、刹车状态、加速状态、减速状态中的任意一种或多种；
根据所述当前运动状态，确定所述三维可视化图像的显示视角；
基于所述显示视角，在所述显示界面上的显示区域输出所述三维可视化图像；
所述处理器在所述显示界面上的显示区域输出所述三维可视化图像时，具体用于：
获取用户对所述触控区域中角度显示图标和/或传感器类型图标的触控操作；
根据所述触控操作生成与所述触控操作对应的角度显示指令，并将所述三维可视化图像按照所述角度显示指令所指示的显示视角显示在所述显示界面的显示区域上。
11.根据权利要求10所述的系统，其特征在于，
所述触控操作包括如下至少一种：点击操作、滑动操作、拖动操作。
12.根据权利要求10所述的系统，其特征在于，所述当前运动状态包括倒车状态，所述处理器根据所述当前运动状态，确定所述三维可视化图像的显示视角时，具体用于：
当确定所述可移动平台处于倒车状态时，确定所述三维可视化图像的显示视角为显示距离所述可移动平台的第一预设区域内的三维可视化图像。
13.根据权利要求10所述的系统，其特征在于，所述当前运动状态包括变道状态，所述处理器根据所述当前运动状态，确定所述三维可视化图像的显示视角时，具体用于：
当确定所述可移动平台处于变道状态时，确定所述三维可视化图像的显示视角为显示变道的车道在第二预设区域内的三维可视化图像。
14.根据权利要求10所述的系统，其特征在于，所述当前运动状态包括加速状态，所述处理器根据所述当前运动状态，确定所述三维可视化图像的显示视角时，具体用于：
当确定所述可移动平台处于加速状态时，确定所述三维可视化图像的显示视角为显示距离所述可移动平台的第三预设区域内的三维可视化图像。
15.根据权利要求10所述的系统，其特征在于，所述处理器将传感器采集的三维点云数据投影至相机采集的图像数据中进行融合处理，得到融合图像之前，还用于：
获取用户对所述触控区域中传感器类型图标的触控操作；
确定与所述触控操作所选取的传感器类型图标对应的目标传感器，并获取所述目标传感器采集的三维点云数据。
16.根据权利要求10所述的系统，其特征在于，所述处理器将传感器采集的三维点云数据投影至相机采集的图像数据中进行融合处理，得到融合图像时，具体用于：
确定所述图像数据与所述三维点云数据之间的坐标转换关系；
基于所述坐标转换关系，将所述图像数据对应的点云数据与所述三维点云数据转换到相同坐标系下；
将转换到相同坐标系后的三维点云数据投影至所述图像数据中进行融合处理，得到融合图像。
17.根据权利要求10所述的系统，其特征在于，所述处理器对所述融合图像进行渲染，并基于所述障碍物信息确定三维可视化图像时，具体用于：
将所述融合图像投影至二维平面，得到至少一个投影图像；
根据所述至少一个投影图像，确定所述可移动平台所处周围环境的障碍物信息；
根据所述障碍物信息确定所述三维可视化图像。
18.根据权利要求10所述的系统，其特征在于，所述障碍物信息包括障碍物的位置信息、尺寸信息、距离信息中任意一种或多种。
19.根据权利要求10所述的系统，其特征在于，
所述传感器包括图像传感器、激光雷达、毫米波雷达、超声波雷达中的任意一种或多种。
20.一种可移动平台，其特征在于，所述可移动平台的交互系统上设置有显示界面，所述显示界面包括显示区域和触控区域，所述触控区域包括角度显示图标和传感器类型图，包括：
机身；
配置在机身上的动力系统，用于为可移动平台提供移动动力；
处理器，用于：获取用户对所述触控区域中所述传感器类型图标的触控操作；确定与所述触控操作所选取的传感器类型图标对应的目标传感器，并获取所述目标传感器采集的三维点云数据；将所述目标传感器采集的三维点云数据投影至与相机采集的图像数据中进行融合处理，得到融合图像；确定所述可移动平台周围的障碍物信息；对所述融合图像进行渲染，并基于所述障碍物信息确定三维可视化图像，所述三维可视化图像包括所述可移动平台和所述可移动平台周围的障碍物；获取所述可移动平台的当前运动状态，所述当前运动状态包括倒车状态、变道状态、刹车状态、加速状态、减速状态中的任意一种或多种；根据所述当前运动状态，确定所述三维可视化图像的显示视角；基于所述显示视角，在所述显示界面上的显示区域输出所述三维可视化图像；
所述处理器在所述显示界面上的显示区域输出所述三维可视化图像时，具体用于：
获取用户对所述触控区域中角度显示图标和/或传感器类型图标的触控操作；
根据所述触控操作生成与所述触控操作对应的角度显示指令，并将所述三维可视化图像按照所述角度显示指令所指示的显示视角显示在所述显示界面的显示区域上。
21.根据权利要求20所述的可移动平台，其特征在于，
所述触控操作包括如下至少一种：点击操作、滑动操作、拖动操作。
22.根据权利要求20所述的可移动平台，其特征在于，所述当前运动状态包括倒车状态，所述处理器根据所述当前运动状态，确定所述三维可视化图像的显示视角时，具体用于：
当确定所述可移动平台处于倒车状态时，确定所述三维可视化图像的显示视角为显示距离所述可移动平台的第一预设区域内的三维可视化图像。
23.根据权利要求20所述的可移动平台，其特征在于，所述当前运动状态包括变道状态，所述处理器根据所述当前运动状态，确定所述三维可视化图像的显示视角时，具体用于：
当确定所述可移动平台处于变道状态时，确定所述三维可视化图像的显示视角为显示变道的车道在第二预设区域内的三维可视化图像。
24.根据权利要求20所述的可移动平台，其特征在于，所述当前运动状态包括加速状态，所述处理器根据所述当前运动状态，确定所述三维可视化图像的显示视角时，具体用于：
当确定所述可移动平台处于加速状态时，确定所述三维可视化图像的显示视角为显示距离所述可移动平台的第三预设区域内的三维可视化图像。
25.根据权利要求20所述的可移动平台，其特征在于，
所述当前运动状态包括倒车状态、变道状态、刹车状态、加速状态、减速状态中的任意一种或多种。
26.根据权利要求20所述的可移动平台，其特征在于，所述处理器对所述融合图像进行渲染，并基于所述障碍物信息确定三维可视化图像时，具体用于：
将所述融合图像投影至二维平面，得到至少一个投影图像；
根据所述至少一个投影图像，确定所述可移动平台所处周围环境的障碍物信息；
根据所述障碍物信息确定所述三维可视化图像。
27.根据权利要求20所述的可移动平台，其特征在于，所述障碍物信息包括障碍物的位置信息、尺寸信息、距离信息中任意一种或多种。
28.根据权利要求20所述的可移动平台，其特征在于，
所述传感器包括图像传感器、激光雷达、毫米波雷达、超声波雷达中的任意一种或多种。
29.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至13任一项所述方法。
CN201980008059.6A 2019-06-26 2019-06-26 可移动平台的交互方法、系统、可移动平台及存储介质 Active CN111683840B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/092989 WO2020258073A1 (zh) 2019-06-26 2019-06-26 可移动平台的交互方法、系统、可移动平台及存储介质

Publications (2)

Publication Number Publication Date
CN111683840A CN111683840A (zh) 2020-09-18
CN111683840B true CN111683840B (zh) 2024-04-30

Family

ID=72433275

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980008059.6A Active CN111683840B (zh) 2019-06-26 2019-06-26 可移动平台的交互方法、系统、可移动平台及存储介质

Country Status (3)

Country Link
US (1) US11922583B2 (zh)
CN (1) CN111683840B (zh)
WO (1) WO2020258073A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11547323B2 (en) * 2020-02-14 2023-01-10 Siemens Healthcare Gmbh Patient model estimation from camera stream in medicine
CN113378867B (zh) * 2020-02-25 2023-08-22 北京轻舟智航智能技术有限公司 一种异步数据融合的方法、装置、存储介质及电子设备
CN114756162B (zh) * 2021-01-05 2023-09-05 成都极米科技股份有限公司 触控系统及方法、电子设备及计算机可读存储介质
CN113593023B (zh) * 2021-07-14 2024-02-02 中国科学院空天信息创新研究院 三维制图方法、装置、设备及存储介质
CN114373060B (zh) * 2022-03-23 2022-06-28 超节点创新科技(深圳)有限公司 行李模型生成方法与设备
CN114816169B (zh) * 2022-06-29 2022-11-04 荣耀终端有限公司 桌面图标的显示方法、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102303605A (zh) * 2011-06-30 2012-01-04 中国汽车技术研究中心 基于多传感器信息融合的碰撞及偏离预警装置及预警方法
US9098754B1 (en) * 2014-04-25 2015-08-04 Google Inc. Methods and systems for object detection using laser point clouds
CN107194962A (zh) * 2017-04-01 2017-09-22 深圳市速腾聚创科技有限公司 点云与平面图像融合方法及装置
CN107972585A (zh) * 2017-11-30 2018-05-01 惠州市德赛西威汽车电子股份有限公司 结合雷达信息的自适应3d环视场景重建系统与方法
KR20180066618A (ko) * 2016-12-09 2018-06-19 (주)엠아이테크 자율주행차량을 위한 거리 데이터와 3차원 스캔 데이터의 정합 방법 및 그 장치
CN109085598A (zh) * 2018-08-13 2018-12-25 吉利汽车研究院（宁波）有限公司 用于车辆的障碍物探测系统
CN109683170A (zh) * 2018-12-27 2019-04-26 驭势科技（北京）有限公司 一种图像行驶区域标注方法、装置、车载设备及存储介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004198211A (ja) * 2002-12-18 2004-07-15 Aisin Seiki Co Ltd 移動体周辺監視装置
JP4596978B2 (ja) * 2005-03-09 2010-12-15 三洋電機株式会社 運転支援システム
US8060271B2 (en) * 2008-06-06 2011-11-15 Toyota Motor Engineering & Manufacturing North America, Inc. Detecting principal directions of unknown environments
JP2010033108A (ja) * 2008-07-24 2010-02-12 Sony Corp 画像処理システム、撮像装置、画像処理方法及びコンピュータプログラム
US8564663B2 (en) * 2009-04-14 2013-10-22 Bae Systems Information And Electronic Systems Integration Inc. Vehicle-mountable imaging systems and methods
US8686873B2 (en) * 2011-02-28 2014-04-01 Toyota Motor Engineering & Manufacturing North America, Inc. Two-way video and 3D transmission between vehicles and system placed on roadside
JP5983547B2 (ja) * 2013-07-02 2016-08-31 株式会社デンソー ヘッドアップディスプレイ及びプログラム
US20150195398A1 (en) * 2014-01-04 2015-07-09 Eric Schimpff Collision avoidance system for electronic handheld devices
US20170111587A1 (en) * 2015-10-14 2017-04-20 Garmin Switzerland Gmbh Navigation device wirelessly coupled with auxiliary camera unit
JP6418199B2 (ja) * 2016-04-27 2018-11-07 トヨタ自動車株式会社 車両の自動運転システム
US10579067B2 (en) * 2017-07-20 2020-03-03 Huawei Technologies Co., Ltd. Method and system for vehicle localization
CN107966700A (zh) * 2017-11-20 2018-04-27 天津大学 一种用于无人驾驶汽车的前方障碍物检测系统及方法
CN109767452A (zh) * 2018-12-24 2019-05-17 深圳市道通智能航空技术有限公司 一种目标定位方法和装置、无人机
US11351917B2 (en) * 2019-02-13 2022-06-07 Ford Global Technologies, Llc Vehicle-rendering generation for vehicle display based on short-range communication

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102303605A (zh) * 2011-06-30 2012-01-04 中国汽车技术研究中心 基于多传感器信息融合的碰撞及偏离预警装置及预警方法
US9098754B1 (en) * 2014-04-25 2015-08-04 Google Inc. Methods and systems for object detection using laser point clouds
KR20180066618A (ko) * 2016-12-09 2018-06-19 (주)엠아이테크 자율주행차량을 위한 거리 데이터와 3차원 스캔 데이터의 정합 방법 및 그 장치
CN107194962A (zh) * 2017-04-01 2017-09-22 深圳市速腾聚创科技有限公司 点云与平面图像融合方法及装置
CN107972585A (zh) * 2017-11-30 2018-05-01 惠州市德赛西威汽车电子股份有限公司 结合雷达信息的自适应3d环视场景重建系统与方法
CN109085598A (zh) * 2018-08-13 2018-12-25 吉利汽车研究院（宁波）有限公司 用于车辆的障碍物探测系统
CN109683170A (zh) * 2018-12-27 2019-04-26 驭势科技（北京）有限公司 一种图像行驶区域标注方法、装置、车载设备及存储介质

Also Published As

Publication number Publication date
US20210366202A1 (en) 2021-11-25
CN111683840A (zh) 2020-09-18
WO2020258073A1 (zh) 2020-12-30
US11922583B2 (en) 2024-03-05

Similar Documents

Publication Publication Date Title
CN111683840B (zh) 可移动平台的交互方法、系统、可移动平台及存储介质
CN109278742B (zh) 车辆和自动泊车方法、系统
CN111674380B (zh) 远程挪车系统、方法、车辆及存储介质
CN110794970B (zh) 一种自动泊车界面的三维显示方法、系统及车辆
JP6014442B2 (ja) 画像生成装置、画像表示システム、および、画像生成方法
US9863775B2 (en) Vehicle localization system
CN110831819B (zh) 泊车辅助方法以及泊车辅助装置
CN109733284B (zh) 一种应用于车辆的安全泊车辅助预警方法及系统
CN111201558B (zh) 用于示出车辆的周围环境的方法
RU2735340C1 (ru) Способ управления парковкой и устройство управления парковкой
DE112018004507T5 (de) Informationsverarbeitungseinrichtung, bewegungseinrichtung und verfahren und programm
JP6365385B2 (ja) 立体物検出装置及び立体物検出方法
US20180165838A1 (en) System and method for generating a semantically meaningful two-dimensional image from three-dimensional data
CN111216127A (zh) 一种机器人控制方法、装置、服务器及介质
CN113168691A (zh) 信息处理装置、信息处理方法、程序、移动体控制装置和移动体
CN110751336B (zh) 无人载具的避障方法、避障装置及无人载具
JP2019079397A (ja) 車載装置、情報処理システム、及び情報処理方法
CN107139918A (zh) 一种车辆碰撞提示方法及车辆
CN107117099A (zh) 一种车辆碰撞提示方法及车辆
CN116783462A (zh) 一种自动驾驶系统的性能测试方法
CN112124092A (zh) 驻车辅助系统
CN112356850A (zh) 一种基于盲点检测的预警方法、装置及电子设备
CN112106017A (zh) 一种车辆的交互方法、设备、系统及可读存储介质
CN115416665A (zh) 手势控车方法、装置、车辆及存储介质
CN107925747B (zh) 车辆用图像处理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant