CN114758100A - 显示方法、装置、电子设备和计算机可读存储介质 - Google Patents
显示方法、装置、电子设备和计算机可读存储介质 Download PDFInfo
- Publication number
- CN114758100A CN114758100A CN202210359967.3A CN202210359967A CN114758100A CN 114758100 A CN114758100 A CN 114758100A CN 202210359967 A CN202210359967 A CN 202210359967A CN 114758100 A CN114758100 A CN 114758100A
- Authority
- CN
- China
- Prior art keywords
- target
- searched
- preset
- device information
- augmented reality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
Abstract
本申请涉及一种显示方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括:在所述电子设备显示车辆内部实际空间的增强现实画面,从所述增强现实画面中获取所述车辆内部实际空间中待查找器件对应的特征对象;从所述特征对象中获取所述待查找器件的目标器件信息;基于所述目标器件信息确定所述待查找器件在所述增强现实画面中的目标位置,并在所述目标位置处显示所述目标器件信息。采用本方法能够快速查找到车辆内部器件的位置。
Description
技术领域
本申请涉及计算机技术领域,特别是涉及一种显示方法、装置、电子设备和计算机可读存储介质。
背景技术
随着车辆驾驶技术的日渐成熟,汽车不仅仅只是一个人们用于出行的工具,汽车厂商开始越来越重视车内体验。迅速而便捷的使用车内的各种设备器件,包括空调、充电接口、USB(Universal Serial Bus,通用串行总线)接口或者储物箱,对乘客来说也是车内体验的重要一环,许多初次乘车的乘客并不知道如何去找到这些设备。除此之外,不同车厂对于车内设备的布局存在差异,在一台车上的经验不一定能顺利转移到另一台不同品牌的车上。比如有些车的USB接口安装在前排中央扶手箱内部,有些车的USB接口则安装在副仪表下部储物盒内部。
然而,传统的方法,无法快速地查找到车辆内部器件的位置。
发明内容
本申请实施例提供了一种显示方法、装置、电子设备、计算机可读存储介质和计算机程序产品,可以快速查找到车辆内部器件的位置。
第一方面,本申请提供了一种显示方法,应用于具有增强现实功能的电子设备;所述方法包括:
在所述电子设备显示车辆内部实际空间的增强现实画面,从所述增强现实画面中获取所述车辆内部实际空间中待查找器件对应的特征对象;
从所述特征对象中获取所述待查找器件的目标器件信息;
基于所述目标器件信息确定所述待查找器件在所述增强现实画面中的目标位置,并在所述目标位置处显示所述目标器件信息。
第二方面,本申请提供了一种显示装置,应用于具有增强现实功能的电子设备;所述装置包括:
显示模块,用于在所述电子设备显示车辆内部实际空间的增强现实画面,
获取模块,用于从所述增强现实画面中获取所述车辆内部实际空间中待查找器件对应的特征对象,
所述获取模块还用于从所述特征对象中获取所述待查找器件的目标器件信息;
所述显示模块还用于基于所述目标器件信息确定所述待查找器件在所述增强现实画面中的目标位置,并在所述目标位置处显示所述目标器件信息。
第三方面,本申请提供了一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如上述的显示方法的步骤。
第四方面,本申请提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上述的方法的步骤。
第五方面,本申请提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述的方法的步骤。
上述显示方法、装置、电子设备、计算机可读存储介质和计算机程序产品,应用于具有增强现实功能的电子设备,该电子设备可以显示车辆内部实际空间的增强现实画面,从增强现实画面中获取车辆内部实际空间中待查找器件对应的特征对象,并从特征对象中获取待查找器件的目标器件信息,那么,基于目标器件信息可以快速而准确地确定出待查找器件在增强现实画面中的目标位置,并在该目标位置处显示目标器件信息,可以快速地查找到该待查找器件的位置和信息,避免因人为查找该待查找器件而导致的查找速度慢,甚至无法找到的问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中显示方法的应用环境图;
图2为一个实施例中显示方法的流程图;
图3为一个实施例中增强现实标签的示意图;
图4为一个实施例中叠加目标器件信息的增强现实画面的示意图;
图5为一个实施例中步骤从特征对象中获取待查找器件的目标器件信息的流程图;
图6为另一个实施例中显示方法的流程图;
图7为一个实施例中显示装置的结构框图;
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例提供的显示方法,可以应用于如图1所示的应用环境中。以电子设备为终端为例,终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上,也可以放在云上或其他网络服务器上。终端102具有增强现实功能,在终端102显示车辆内部实际空间的增强现实画面,从增强现实画面中获取车辆内部实际空间中待查找器件对应的特征对象,并将特征对象发送至服务器104,以指示服务器104从特征对象中获取待查找器件的目标器件信息,并将目标器件信息返回至终端102;终端102基于目标器件信息确定待查找器件在增强现实画面中的目标位置,并在目标位置处显示目标器件信息。其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、AR(Augmented Reality,增强现实)眼镜、物联网设备和便携式可穿戴设备,物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在另一个实施例中,电子设备具有增强现实功能,在电子设备显示车辆内部实际空间的增强现实画面,从增强现实画面中获取车辆内部实际空间中待查找器件对应的特征对象;从特征对象中获取待查找器件的目标器件信息;基于目标器件信息确定待查找器件在增强现实画面中的目标位置,并在目标位置处显示目标器件信息。其中,电子设备可以是终端,也可以是服务器,终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、AR(Augmented Reality,增强现实)眼镜、物联网设备和便携式可穿戴设备,物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图2所示,提供了一种显示方法,应用于具有增强现实功能的电子设备;包括以下步骤:
步骤202,在电子设备显示车辆内部实际空间的增强现实画面,从增强现实画面中获取车辆内部实际空间中待查找器件对应的特征对象。
增强现实(Augmented Reality,简称AR),增强现实技术也被称为扩增现实,增强现实技术是促使真实世界信息和虚拟世界信息内容之间综合在一起的较新的技术内容,其将原本在现实世界的空间范围中比较难以进行体验的实体信息在电脑等科学技术的基础上,实施模拟仿真处理,叠加将虚拟信息内容在真实世界中加以有效应用,并且在这一过程中能够被人类感官所感知,从而实现超越现实的感官体验。
增强现实画面是将虚拟信息内容叠加在真实世界中而融合得到的画面。可以理解的是,增强现实画面中包括车辆内部实际空间中各个器件、车辆内部实际空间中各个生物体和叠加的各个虚拟信息等,不限于此。其中。虚拟信息可以包括车辆内部实际空间中各个器件的名称、各个器件的状态参数和预设的其他虚拟信息等,不限于此。
待查找器件是车辆内部实际空间中,电子设备操作者所要查找的器件。待查找器件可以是车辆内部空间中的空调、充电接口、USB接口或者储物箱等器件,不限于此。
特征对象指的是包含待查找器件特征的对象。特征对象具体可以是增强现实标签、包含待查找器件的图像帧、或者图形码等,不限于此。增强现实标签是一种基准标记系统,是黑白栅格化图像的形态,多用于相机标定,机器人定位,增强现实等场景。增强现实标签通过改变其中黑色和白色小方块的排列方式可以编码一定的信息。图3为一个实施例中增强现实标签的示意图。
具体地,电子设备打开增强现实功能,通过增强现实功能获取到车辆内部实际空间的信息,显示该车辆内部实际空间的增强现实画面,从该增强现实画面中获取车辆内部实际空间中待查找器件对应的特征对象。
步骤204,从特征对象中获取待查找器件的目标器件信息。
目标器件信息是待查找器件的相关信息。目标器件信息至少包括待查找器件的标识,以及电子设备和待查找器件之间的距离的其中一种。目标器件信息还可以包括待查找器件的位置信息和待查找器件的状态参数中的至少一种。
若特征对象为增强现实标签,电子设备则获取对增强现实标签的解码算法,采用该解码算法对增强现实标签进行解码,提取出待查找器件的面部器件信息。
若特征对象为包含待查找器件的图像帧,电子设备则将该图像帧与各个预设图像进行匹配,确定出相匹配的预设图像,并将该预设图像中的预设器件信息作为待查找器件的目标器件信息。其中,预设图像是预先对车辆内部实际空间拍摄得到的图像,预设器件信息是预设图像中包含的器件的信息。
步骤206,基于目标器件信息确定待查找器件在增强现实画面中的目标位置,并在目标位置处显示目标器件信息。
具体地,电子设备从目标器件信息中获取待查找器件的位置信息,基于该位置信息可以确定出待查找器件在增强现实画面中的目标位置,那么,在该目标位置处可以显示目标器件信息,则电子设备的操作者可以从增强现实画面中准确地查找到该待查找器件。
在一个实施例中,如图4所示,待查找器件分别为空调、2个储物箱、USB接口和充电接口,电子设备确定各个待查找器件在增强现实画面中的目标位置,并在目标位置处显示目标器件信息;其中,目标器件信息包括待查找器件的标识,以及电子设备和待查找器件之间的距离。
例如,在待查找器件为空调的目标位置处显示“空调1.5米”,表示该待查找器件为空调,并且该空调与电子设备之间的距离为1.5米。
又如,在待查找器件为储物箱的目标位置处显示“储物箱1米”,表示该待查找器件为储物箱,并且该储物箱与电子设备之间的距离为1米。
又如,在待查找器件为USB接口的目标位置处显示“USB接口0.75米”,表示该待查找器件为USB接口,并且该USB接口与电子设备之间的距离为0.75米。
又如,在待查找器件为储物箱的目标位置处显示“储物箱0.5米”,表示该待查找器件为储物箱,并且该储物箱与电子设备之间的距离为0.5米。
又如,在待查找器件为充电口的目标位置处显示“充电口0.5米”,表示该待查找器件为充电口,并且该充电口与电子设备之间的距离为0.5米。
上述显示方法,应用于具有增强现实功能的电子设备,该电子设备可以显示车辆内部实际空间的增强现实画面,从增强现实画面中获取车辆内部实际空间中待查找器件对应的特征对象,并从特征对象中获取待查找器件的目标器件信息,那么,基于目标器件信息可以快速而准确地确定出待查找器件在增强现实画面中的目标位置,并在该目标位置处显示目标器件信息,可以快速地查找到该待查找器件的位置和信息,避免因人为查找该待查找器件而导致的查找速度慢,甚至无法找到的问题。并且,通过上述显示方法,使用具有增强现实功能的电子设备便能够清晰直观地定位和查看到车辆内部所有的基础设备,比如空调、USB接口和充电口。
可选地,上述显示方法不涉及到对汽车内部结构的任何改变,可以应用于任何品牌的车辆中,具有通用性;不需要额外的设备,通过具有增强现实功能的电子设备便能够便捷迅速地查找到车内设备,具有轻便性;通过具有增强现实功能的电子设备便能够清晰地的理解增强现实画面中显示的目标器件信息的目的,即帮助查找和定位车内的器件,避免繁琐的操作,具有易用性。
可选地,电子设备还可以与车辆中的车机连接,可以通过车机获取到待查找器件的状态信息,并在增强现实画面中的目标位置处显示该待查找器件的状态信息。其中,状态信息包括使用状态、温度和湿度等信息。例如,待查找器件为空调,则空调的状态信息可以空调的温度。又如,待查找器件为充电口,则充电口的状态信息可以是充电口是否被占用。
可选地,电子设备还可以对待查找器件进行控制。例如,电子设备可以实时操控空调的风向。
在一个实施例中,在车辆内部的器件的预设范围内布置增强现实标签,该增强现实标签中编码有对应的器件的信息。若电子设备的操作者需要获取待查找器件的位置,则控制具有增强现实功能的电子设备打开摄像头,通过摄像头扫描该增强现实标签,采用解码算法从增强现实标签中提取出待查找器件的目标器件信息,并在电子设备显示的增强现实画面中确定出待查找器件的目标位置,在该目标位置处显示出目标器件信息,则电子设备的操作者可以快速地了解到该待查找器件的位置和信息。
可以理解的是,即使待查找器件被遮挡,则电子设备也可以通过增强现实标签确定出待查找器件的目标位置并显示目标器件信息,从而可以确定出被遮挡的待查找器件的位置和信息。
若特征对象为增强现实标签,则目标器件信息还可以包括待查找器件和电子设备之间的距离。电子设备可以采用单目测距算法或者双目测距算法,估算出增强现实标签和电子设备之间的距离,该距离也为待查找器件和电子设备之间的距离。
可以理解的是,电子设备识别增强现实标签的计算机视觉技术对计算力要求较低,因此适合直接部署在具有增强现实功能的电子设备上,可以快速并准确地显示出待查找器件的位置和信息。
在一个实施例中,特征对象为包含待查找器件的图像帧;如图5所示,从特征对象中获取待查找器件的目标器件信息,包括:
步骤502,获取图像帧的目标特征。
目标特征至少包括图像帧的图像特征和拍摄图像帧时的姿态特征的其中一种。图像特征可以图像帧的颜色、纹理信息和亮度等特征,不限于此。姿态特征可以包括拍摄图像帧时的角速度、加速度和角度等,不限于此。
电子设备可以通过图像传感器获取图像帧的图像特征,通过惯性测量单元(Inertia Measurement Unit,IMU)获取图像帧的姿态特征。
进一步地,目标特征还可以包括图像帧的拍摄参数等特征,不限于此。拍摄参数如光圈、曝光时间等,不限于此。
步骤504,将目标特征与车辆内部预设空间的预设特征进行匹配,确定与目标特征相匹配的匹配特征;车辆内部预设空间是对车辆内部实际空间中预先拍摄的各个预设图像融合生成的。
电子设备对车辆内部实际空间中预先拍摄,得到各个预设图像,将各个预设图像进行融合,生成车辆内部预设空间。进一步地,电子设备对车辆内部实际空间的各个视角预先拍摄,得到各个视角的预设图像,通过3D车内模型将各个视角的预设图像进行融合,生成车辆内部预设空间。其中,车辆内部预设空间为3D图像,即360度全视角图像。
具体地,电子设备从车辆内部预设空间的各个预设图像中获取各个预设特征,将目标特征与各个预设特征进行匹配,确定出与目标特征相匹配的匹配特征。
步骤506,基于匹配特征获取待查找器件的目标器件信息。
具体地,电子设备将匹配特征对应的器件信息作为待查找器件的目标器件信息。
在本实施例中,电子设备获取图像帧的目标特征,将目标特征与车辆内部预设空间的预设特征进行匹配,确定与目标特征相匹配的匹配特征,则基于匹配特征可以准确地获取待查找器件的目标器件信息。
在一个实施例中,基于匹配特征获取待查找器件的目标器件信息,包括:基于匹配特征,确定图像帧在车辆内部预设空间中相匹配的目标视角;获取车辆内部预设空间中目标视角内的预设器件信息,并将预设器件信息作为待查找器件的目标器件信息。
电子设备从该匹配特征在车辆内部预设空间中的位置,可以确定出该匹配特征的拍摄视角,从而将该匹配特征的拍摄视角作为图像帧在车辆内部预设空间中相匹配的目标视角,则该目标视角内的预设器件即为电子设备所要查找的待查找器件,因此获取车辆内部预设空间中目标视角内的预设器件信息,并将预设器件信息作为待查找器件的目标器件信息,可以快速准确地定位待查找器件的位置,以及获取到该待查找器件的信息。
在另一个实施例中,电子设备确定该匹配特征所在的预设图像,并将该预设图像中的预设预设器件信息作为待查找器件的目标器件信息。
可以理解的是,目标特征与匹配特征相匹配,即目标特征所在的图像帧与匹配特征所在的预设图像相匹配,可以认为匹配特征所在的预设图像的拍摄视角为图像帧的拍摄视角,因此可以将该预设图像中的预设预设器件信息作为待查找器件的目标器件信息。
在一个实施例中,在获取预设空间中目标视角内的预设器件信息之前,还包括:在车辆内部预设空间中显示每个器件的预设器件信息;针对车辆内部预设空间每一个视角的预设图像,若检测到预设图像中存在预设器件信息被遮挡,则确定被遮挡的预设器件信息在预设图像的最表层位置,并在预设图像的最表层位置显示被遮挡的预设器件信息。
预设器件信息是车辆内部预设空间中所包含的预设器件的信息。预设器件信息至少包括预设器件的标识,以及电子设备和预设器件之间的距离的其中一种。预设器件信息还可以包括预设器件的位置信息和预设器件的状态参数中的至少一种。
可以理解的是,针对车辆内部预设空间每一个视角的预设图像,若检测到预设图像中存在预设器件信息被遮挡,则确定被遮挡的预设器件信息在预设图像的最表层位置,并在预设图像的最表层位置显示被遮挡的预设器件信息,可以避免电子设备在显示增强现实画面时无法显示完整的目标器件信息,从而实现更准确地、更全面地显示待查找器件的信息。
在一个实施例中,特征对象为包含待查找器件的图像帧;从特征对象中获取待查找器件的目标器件信息,包括:将图像帧发送至服务器,以指示服务器从图像帧中获取目标特征,将目标特征与车辆内部预设空间的预设特征进行匹配,确定与目标特征相匹配的匹配特征,并基于匹配特征获取待查找器件的目标器件信息;车辆内部预设空间是对车辆内部实际空间中预先拍摄的各个预设图像融合生成的;获取服务器发送的待查找器件的目标器件信息。
可选地,服务器可以是车辆内部的车载计算机,通过无线局域网或者蓝牙等方式与电子设备实现通信。服务器也可以固定摆放在地球上的某一位置,通过因特网或者卫星链路等方式与电子设备实现通信。
电子设备可以通过摄像头实时获取视频流,将视频流发送至服务器;其中,视频流包括一个或者多个图像帧。
服务器可以采用特征提取算法从图像帧中获取目标特征,将目标特征与车辆内部预设空间的预设特征进行匹配,确定与目标特征相匹配的匹配特征,并基于匹配特征获取待查找器件的目标器件信息;车辆内部预设空间是对车辆内部实际空间中预先拍摄的各个预设图像融合生成的;获取服务器发送的待查找器件的目标器件信息。其中,特征提取算法可以是SIFT(Scale Invariant Feature Transform)或者SURF(Speed Up RobustFeature)等,不限于此。
可选地,服务器基于匹配特征,确定图像帧在车辆内部预设空间中相匹配的目标视角;获取车辆内部预设空间中目标视角内的预设器件信息,并将预设器件信息作为待查找器件的目标器件信息。
可选地,服务器在车辆内部预设空间中显示每个器件的预设器件信息;针对车辆内部预设空间每一个视角的预设图像,若检测到预设图像中存在预设器件信息被遮挡,则确定被遮挡的预设器件信息在预设图像的最表层位置,并在预设图像的最表层位置显示被遮挡的预设器件信息。
其中,目标特征至少包括图像帧的图像特征和拍摄图像帧时的姿态特征的其中一种。图像特征可以图像帧的颜色、纹理信息和亮度等特征,不限于此。姿态特征可以包括拍摄图像帧时的角速度、加速度和角度等,不限于此。
可选地,目标特征还可以包括图像帧的拍摄参数等特征,不限于此。拍摄参数如光圈、曝光时间等,不限于此。
在本实施例中,电子设备将图像帧发送至服务器,则服务器可以对图像帧进行处理,从而快速获取到待查找器件的目标器件信息并返回至电子设备中,那么电子设备可以更快速更准确地获取到待查找器件的目标器件信息。
在一个实施例中,如图6所示,电子设备获取视频流,并将该视频流发送至服务器;该视频流表示电子设备的实时视角,视频流包括一个或者多个图像帧,图像帧包括待查找器件。服务器从视频流的图像帧中提取出目标特征,将目标特征与车辆内部预设空间的预设特征进行匹配,确定与目标特征最匹配的匹配特征,也即服务器找到将实时视角与各个预设特征的预存视角进行比较,找到匹配度最高的预存视角,该预存视角是与目标特征最匹配的匹配特征的视角。服务器获取该预设特征对应的器件信息作为待查找器件的目标器件信息,并将该目标器件信息发送至电子设备中。电子设备接收到该目标器件信息,基于目标器件信息确定待查找器件在增强现实画面中的目标位置,并在目标位置处显示目标器件信息。在图6中待查找器件为USB接口,则电子设备获取到该USB接口的目标器件信息为USB接口的位置信息、USB接口的标识和USB接口与电子设备之间的距离,电子设备可以从目标器件信息的位置信息中确定USB接口在增强现实画面中的目标位置,并在目标位置显示USB接口的标识和USB接口与电子设备之间的距离“USB接口0.75米”。
在一个实施例中,上述方法还包括:获取指定器件的查找请求;在增强现实画面中指定器件的位置处,显示指定器件的器件信息,并去除增强显示画面中除指定器件之外的其他器件的器件信息。
指定器件可以根据需要进行设置。例如,指定器件可以空调、充电口、USB接口或储物箱等。
可以理解的是,在增强现实画面中指定器件的位置处,显示指定器件的器件信息,并去除增强显示画面中除指定器件之外的其他器件的器件信息,可以排除其他器件的显示干扰,更准确地显示需要的指定器件的器件信息。
可选地,电子设备还支持通过输入语音获取指定器件的查找请求,从而精确查找到语音中指定器件的位置,在该位置处显示该指定器件的器件信息,则电子设备的操作者可以从该显示的器件信息快速地获取到该指定器件的位置和信息。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的显示方法的显示装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个显示装置实施例中的具体限定可以参见上文中对于显示方法的限定,在此不再赘述。
在一个实施例中,如图7所示,提供了一种显示装置,应用于具有增强现实功能的电子设备;该装置包括:显示模块702和获取模块704,其中:
显示模块702,用于在电子设备显示车辆内部实际空间的增强现实画面。
获取模块704,用于从增强现实画面中获取车辆内部实际空间中待查找器件对应的特征对象。
获取模块704还用于从特征对象中获取待查找器件的目标器件信息。
显示模块702还用于基于目标器件信息确定待查找器件在增强现实画面中的目标位置,并在目标位置处显示目标器件信息。
上述显示装置,应用于具有增强现实功能的电子设备,该电子设备可以显示车辆内部实际空间的增强现实画面,从增强现实画面中获取车辆内部实际空间中待查找器件对应的特征对象,并从特征对象中获取待查找器件的目标器件信息,那么,基于目标器件信息可以快速而准确地确定出待查找器件在增强现实画面中的目标位置,并在该目标位置处显示目标器件信息,可以快速地查找到该待查找器件的位置和信息,避免因人为查找该待查找器件而导致的查找速度慢,甚至无法找到的问题。
在一个实施例中,特征对象为包含待查找器件的图像帧;上述获取模块704还用于获取图像帧的目标特征;将目标特征与车辆内部预设空间的预设特征进行匹配,确定与目标特征相匹配的匹配特征;车辆内部预设空间是对车辆内部实际空间中预先拍摄的各个预设图像融合生成的;基于匹配特征获取待查找器件的目标器件信息。
在一个实施例中,上述获取模块704还用于基于匹配特征,确定图像帧在车辆内部预设空间中相匹配的目标视角;获取车辆内部预设空间中目标视角内的预设器件信息,并将预设器件信息作为待查找器件的目标器件信息。
在一个实施例中,上述显示模块702还用于在车辆内部预设空间中显示每个器件的预设器件信息;针对车辆内部预设空间每一个视角的预设图像,若检测到预设图像中存在预设器件信息被遮挡,则确定被遮挡的预设器件信息在预设图像的最表层位置,并在预设图像的最表层位置显示被遮挡的预设器件信息。
在一个实施例中,目标特征至少包括图像帧的图像特征和拍摄图像帧时的姿态特征的其中一种。
在一个实施例中,特征对象为包含待查找器件的图像帧;上述获取模块704还用于将图像帧发送至服务器,以指示服务器从图像帧中获取目标特征,将目标特征与车辆内部预设空间的预设特征进行匹配,确定与目标特征相匹配的匹配特征,并基于匹配特征获取待查找器件的目标器件信息;车辆内部预设空间是对车辆内部实际空间中预先拍摄的各个预设图像融合生成的;获取服务器发送的待查找器件的目标器件信息。
在一个实施例中,特征对象为待查找器件对应的增强现实标签,或者包含待查找器件的图像帧;目标器件信息至少包括待查找器件的标识,以及电子设备和待查找器件之间的距离的其中一种。
在一个实施例中,上述获取模块704还用于获取指定器件的查找请求;上述显示模块702还用于在增强现实画面中指定器件的位置处,显示指定器件的器件信息,并去除增强显示画面中除指定器件之外的其他器件的器件信息。
上述显示装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图8所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种显示方法。该计算机设备的显示单元用于形成视觉可见的画面,可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图8中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行显示方法的步骤。
本申请实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行显示方法。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (12)
1.一种显示方法,其特征在于,应用于具有增强现实功能的电子设备;所述方法包括:
在所述电子设备显示车辆内部实际空间的增强现实画面,从所述增强现实画面中获取所述车辆内部实际空间中待查找器件对应的特征对象;
从所述特征对象中获取所述待查找器件的目标器件信息;
基于所述目标器件信息确定所述待查找器件在所述增强现实画面中的目标位置,并在所述目标位置处显示所述目标器件信息。
2.根据权利要求1所述的方法,其特征在于,所述特征对象为包含所述待查找器件的图像帧;
所述从所述特征对象中获取所述待查找器件的目标器件信息,包括:
获取所述图像帧的目标特征;
将所述目标特征与车辆内部预设空间的预设特征进行匹配,确定与所述目标特征相匹配的匹配特征;所述车辆内部预设空间是对所述车辆内部实际空间中预先拍摄的各个预设图像融合生成的;
基于所述匹配特征获取所述待查找器件的目标器件信息。
3.根据权利要求2所述的方法,其特征在于,所述基于所述匹配特征获取所述待查找器件的目标器件信息,包括:
基于所述匹配特征,确定所述图像帧在所述车辆内部预设空间中相匹配的目标视角;
获取所述车辆内部预设空间中目标视角内的预设器件信息,并将所述预设器件信息作为所述待查找器件的目标器件信息。
4.根据权利要求3所述的方法,其特征在于,在所述获取所述预设空间中目标视角内的预设器件信息之前,还包括:
在所述车辆内部预设空间中显示每个器件的预设器件信息;
针对所述车辆内部预设空间每一个视角的预设图像,若检测到所述预设图像中存在预设器件信息被遮挡,则确定所述被遮挡的预设器件信息在所述预设图像的最表层位置,并在所述预设图像的最表层位置显示所述被遮挡的预设器件信息。
5.根据权利要求2至4中任一项所述的方法,其特征在于,所述目标特征至少包括所述图像帧的图像特征和拍摄所述图像帧时的姿态特征的其中一种。
6.根据权利要求1所述的方法,其特征在于,所述特征对象为包含所述待查找器件的图像帧;
所述从所述特征对象中获取所述待查找器件的目标器件信息,包括:
将所述图像帧发送至服务器,以指示所述服务器从所述图像帧中获取目标特征,将所述目标特征与车辆内部预设空间的预设特征进行匹配,确定与所述目标特征相匹配的匹配特征,并基于所述匹配特征获取所述待查找器件的目标器件信息;所述车辆内部预设空间是对所述车辆内部实际空间中预先拍摄的各个预设图像融合生成的;
获取所述服务器发送的所述待查找器件的目标器件信息。
7.根据权利要求1所述的方法,其特征在于,所述特征对象为所述待查找器件对应的增强现实标签,或者包含所述待查找器件的图像帧;所述目标器件信息至少包括所述待查找器件的标识,以及所述电子设备和所述待查找器件之间的距离的其中一种。
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取指定器件的查找请求;
在所述增强现实画面中所述指定器件的位置处,显示所述指定器件的器件信息,并去除所述增强显示画面中除所述指定器件之外的其他器件的器件信息。
9.一种显示装置,其特征在于,应用于具有增强现实功能的电子设备;所述装置包括:
显示模块,用于在所述电子设备显示车辆内部实际空间的增强现实画面,
获取模块,用于从所述增强现实画面中获取所述车辆内部实际空间中待查找器件对应的特征对象,
所述获取模块还用于从所述特征对象中获取所述待查找器件的目标器件信息;
所述显示模块还用于基于所述目标器件信息确定所述待查找器件在所述增强现实画面中的目标位置,并在所述目标位置处显示所述目标器件信息。
10.一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,其特征在于,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至8中任一项所述的显示方法的步骤。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的方法的步骤。
12.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210359967.3A CN114758100A (zh) | 2022-04-07 | 2022-04-07 | 显示方法、装置、电子设备和计算机可读存储介质 |
PCT/CN2022/142211 WO2023193482A1 (zh) | 2022-04-07 | 2022-12-27 | 显示方法、装置、电子设备和计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210359967.3A CN114758100A (zh) | 2022-04-07 | 2022-04-07 | 显示方法、装置、电子设备和计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114758100A true CN114758100A (zh) | 2022-07-15 |
Family
ID=82329756
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210359967.3A Pending CN114758100A (zh) | 2022-04-07 | 2022-04-07 | 显示方法、装置、电子设备和计算机可读存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN114758100A (zh) |
WO (1) | WO2023193482A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200001475A1 (en) * | 2016-01-15 | 2020-01-02 | Irobot Corporation | Autonomous monitoring robot systems |
WO2023193482A1 (zh) * | 2022-04-07 | 2023-10-12 | Oppo广东移动通信有限公司 | 显示方法、装置、电子设备和计算机可读存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107992814A (zh) * | 2017-11-28 | 2018-05-04 | 北京小米移动软件有限公司 | 对象寻找方法及装置 |
US10706633B2 (en) * | 2018-12-06 | 2020-07-07 | Toyota Motor Engineering & Manufacturing North America, Inc. | Augmented reality systems and methods for vehicle inspection |
CN111093034B (zh) * | 2019-12-31 | 2021-08-31 | 维沃移动通信有限公司 | 物品查找方法及电子设备 |
CN111652678B (zh) * | 2020-05-27 | 2023-11-14 | 腾讯科技(深圳)有限公司 | 物品信息显示方法、装置、终端、服务器及可读存储介质 |
CN112541467A (zh) * | 2020-12-21 | 2021-03-23 | 杭州光粒科技有限公司 | 信息显示方法、装置及设备、存储介质 |
CN114758100A (zh) * | 2022-04-07 | 2022-07-15 | Oppo广东移动通信有限公司 | 显示方法、装置、电子设备和计算机可读存储介质 |
-
2022
- 2022-04-07 CN CN202210359967.3A patent/CN114758100A/zh active Pending
- 2022-12-27 WO PCT/CN2022/142211 patent/WO2023193482A1/zh unknown
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200001475A1 (en) * | 2016-01-15 | 2020-01-02 | Irobot Corporation | Autonomous monitoring robot systems |
US11662722B2 (en) * | 2016-01-15 | 2023-05-30 | Irobot Corporation | Autonomous monitoring robot systems |
WO2023193482A1 (zh) * | 2022-04-07 | 2023-10-12 | Oppo广东移动通信有限公司 | 显示方法、装置、电子设备和计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2023193482A1 (zh) | 2023-10-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11250631B1 (en) | Systems and methods for enhancing and developing accident scene visualizations | |
CN110475107A (zh) | 车辆全景可视摄像机投影的失真校正 | |
JP6411505B2 (ja) | 全焦点画像を生成するための方法および装置 | |
CN109683699B (zh) | 基于深度学习实现增强现实的方法、装置及移动终端 | |
WO2023193482A1 (zh) | 显示方法、装置、电子设备和计算机可读存储介质 | |
US9843810B2 (en) | Method of using laser scanned point clouds to create selective compression masks | |
WO2022165809A1 (zh) | 一种训练深度学习模型的方法和装置 | |
AU2015265416A1 (en) | Method and system for image georegistration | |
JP6096634B2 (ja) | 仮想現実を用いた3次元地図表示システム | |
CN112819875B (zh) | 单目深度估计的方法、装置及电子设备 | |
US9529803B2 (en) | Image modification | |
CN113205515B (zh) | 目标检测方法、装置、及计算机存储介质 | |
CN115031758A (zh) | 实景导航方法、装置、设备及存储介质、程序产品 | |
CN114332830A (zh) | 图像处理方法、装置及介质 | |
WO2017113729A1 (zh) | 360度图像加载方法、加载模块及移动终端 | |
CN108430032B (zh) | 一种实现vr/ar设备位置共享的方法及设备 | |
CN105814604B (zh) | 用于提供位置信息或移动信息以用于控制车辆的至少一种功能的方法和系统 | |
CN109785439A (zh) | 人脸素描图像生成方法及相关产品 | |
US20180150957A1 (en) | Multi-spectrum segmentation for computer vision | |
CN115797438A (zh) | 目标定位方法、装置、计算机设备、存储介质和程序产品 | |
CN115222815A (zh) | 障碍物距离检测方法、装置、计算机设备和存储介质 | |
CN113065999B (zh) | 车载全景图生成方法、装置、图像处理设备及存储介质 | |
JP2006085270A (ja) | 画像分析システム及び画像分析方法 | |
JP6208977B2 (ja) | 情報処理装置、通信端末およびデータ取得方法 | |
CN111815783A (zh) | 虚拟场景的呈现方法及装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |