CN112862976B - 一种数据处理方法、装置及电子设备 - Google Patents

一种数据处理方法、装置及电子设备 Download PDF

Info

Publication number
CN112862976B
CN112862976B CN201911101585.5A CN201911101585A CN112862976B CN 112862976 B CN112862976 B CN 112862976B CN 201911101585 A CN201911101585 A CN 201911101585A CN 112862976 B CN112862976 B CN 112862976B
Authority
CN
China
Prior art keywords
information
target
preset target
bounding box
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911101585.5A
Other languages
English (en)
Other versions
CN112862976A (zh
Inventor
钟耳顺
黄科佳
颜鹏鹏
陈国雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Supermap Software Co ltd
Original Assignee
Supermap Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Supermap Software Co ltd filed Critical Supermap Software Co ltd
Priority to CN201911101585.5A priority Critical patent/CN112862976B/zh
Publication of CN112862976A publication Critical patent/CN112862976A/zh
Application granted granted Critical
Publication of CN112862976B publication Critical patent/CN112862976B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Instructional Devices (AREA)

Abstract

本发明提供了一种数据处理方法、装置及电子设备,从目标图像中识别出预设目标的第一位置信息以及采集得到所述目标图像的设备的三维姿态信息,构建包括所述预设目标的包围盒,基于所述第一位置信息以及所述三维姿态信息,在所述包围盒中确定与所述预设目标对应的目标显示位置,将与所述预设目标相关的待显示信息展示在所述目标显示位置。通过本发明,可以将需要显示的地图、三维场景、视频等信息投射展示在包围盒上,实现了信息的投射展示。

Description

一种数据处理方法、装置及电子设备
技术领域
本发明涉及增强现实AR(Augmented Reality)领域,更具体的说,涉及一种数据处理方法、装置及电子设备。
背景技术
智慧城市是利用各种信息技术或创新概念,将城市的系统和服务打通、集成,以提升资源运用的效率,优化城市管理和服务,以及改善市民生活质量。而城市地图作为智慧城市的重要组成部分,在对于位置信息展示方面有着重要的意义。在对移动应用程序以立即访问数据,通信渠道等,以便人们可以做很多事情,如避免交通堵塞,到找到停车位,以及报告破损道路违规停车等。
增强现实(AR)能够用于城市地图的一种技术。它借助先进的计算机视觉和对象识别技术,将交互式数字元素(如炫目的视觉叠加,模糊触觉反馈或其他感官投射)融入现实世界,增强自然环境或情境,使用户周围现实世界的信息变得可交互式和数字化操纵,并且为用户提供丰富的感知体验。但目前的AR产品缺乏地图、三维场景、视频等信息的投射展示。
发明内容
有鉴于此,本发明提供一种数据处理方法、装置及电子设备,以解决AR产品缺乏地图、三维场景、视频等信息的投射展示的问题。
为解决上述技术问题,本发明采用了如下技术方案:
一种数据处理方法,包括:
从目标图像中识别出预设目标的第一位置信息以及采集得到所述目标图像的设备的三维姿态信息;
构建包括所述预设目标的包围盒;
基于所述第一位置信息以及所述三维姿态信息,在所述包围盒中确定与所述预设目标对应的目标显示位置;
将与所述预设目标相关的待显示信息展示在所述目标显示位置。
可选地,所述构建包括所述预设目标的包围盒,包括:
获取所述预设目标的实际三维信息、所述设备与所述预设目标的实际相对位置;
将所述第一位置信息转换成世界坐标系下的第二位置信息;所述第一位置信息为图像坐标系下的数据;
基于所述预设目标的实际三维信息、所述相对位置以及所述第二位置信息,生成初始包围盒;
将所述初始包围盒从世界坐标系转换到图像坐标系下,得到所述包围盒。
可选地,基于所述第一位置信息以及所述三维姿态信息,在所述包围盒中确定与所述预设目标对应的目标显示位置,包括:
在所述包围盒中,以所述第一位置信息作为射线的起点;
将所述三维姿态信息中的姿态角作为射线的方向,并根据射线的起点和方向绘制得到射线;
将所述射线与所述包围盒相交的平面作为所述预设目标显示位置。
可选地,将与所述预设目标相关的待显示信息展示在所述目标显示位置,包括:
获取与所述预设目标相关的待显示信息;所述待显示信息包括图片、地图、视频和三维场景图中的一个;
将所述待显示信息映射在所述目标显示位置。
可选地,在所述从目标图像中识别出预设目标的第一位置信息以及采集得到所述目标图像的设备的三维姿态信息之前,还包括:
获取目标图像;
识别所述目标图像中的每一目标;
获取预设目标筛选指令;所述预设目标筛选指令包括需要筛选的预设目标;
从所述目标中筛选出所述预设目标。
可选地,在将与所述预设目标相关的待显示信息展示在所述目标显示位置之后,还包括:
获取点击所述目标显示位置生成的查询指令;
查询并显示与所述待显示信息相关的数据以及数据输入界面;所述数据输入界面用于输入与所述待显示信息相关的信息。
一种数据处理装置,包括:
数据识别模块,用于从目标图像中识别出预设目标的第一位置信息以及采集得到所述目标图像的设备的三维姿态信息;
包围盒构建模块,用于构建包括所述预设目标的包围盒;
位置确定模块,用于基于所述第一位置信息以及所述三维姿态信息,在所述包围盒中确定与所述预设目标对应的目标显示位置;
信息展示模块,用于将与所述预设目标相关的待显示信息展示在所述目标显示位置。
可选地,所述包围盒构建模块包括:
信息获取子模块,用于获取所述预设目标的实际三维信息、所述设备与所述预设目标的实际相对位置;
信息转换子模块,用于将所述第一位置信息转换成世界坐标系下的第二位置信息;所述第一位置信息为图像坐标系下的数据;
包围盒生成子模块,用于基于所述预设目标的实际三维信息、所述相对位置以及所述第二位置信息,生成初始包围盒;
坐标转换子模块,用于将所述初始包围盒从世界坐标系转换到图像坐标系下,得到所述包围盒。
可选地,所述位置确定模块包括:
起点设置子模块,用于在所述包围盒中,以所述第一位置信息作为射线的起点;
射线绘制子模块,用于将所述三维姿态信息中的姿态角作为射线的方向,并根据射线的起点和方向绘制得到射线;
位置确定子模块,用于将所述射线与所述包围盒相交的平面作为所述预设目标显示位置。
可选地,所述信息展示模块用于将与所述预设目标相关的待显示信息展示在所述目标显示位置时,具体用于:
获取与所述预设目标相关的待显示信息,将所述待显示信息映射在所述目标显示位置;所述待显示信息包括图片、地图、视频和三维场景图中的一个。
可选地,还包括数据筛选模块,所述数据筛选模块包括:
图像获取子模块,用于获取目标图像;
目标识别子模块,用于识别所述目标图像中的每一目标;
指令获取子模块,用于获取预设目标筛选指令;所述预设目标筛选指令包括需要筛选的预设目标;
数据筛选子模块,用于从所述目标中筛选出所述预设目标。
可选地,还包括:
数据查询模块,用于获取点击所述目标显示位置生成的查询指令,查询并显示与所述待显示信息相关的数据以及数据输入界面;所述数据输入界面用于输入与所述待显示信息相关的信息。
一种电子设备,包括:存储器和处理器;
其中,所述存储器用于存储程序;
处理器调用程序并用于:
从目标图像中识别出预设目标的第一位置信息以及采集得到所述目标图像的设备的三维姿态信息;
构建包括所述预设目标的包围盒;
基于所述第一位置信息以及所述三维姿态信息,在所述包围盒中确定与所述预设目标对应的目标显示位置;
将与所述预设目标相关的待显示信息展示在所述目标显示位置。
相较于现有技术,本发明具有以下有益效果:
本发明提供了一种数据处理方法、装置及电子设备,从目标图像中识别出预设目标的第一位置信息以及采集得到所述目标图像的设备的三维姿态信息,构建包括所述预设目标的包围盒,基于所述第一位置信息以及所述三维姿态信息,在所述包围盒中确定与所述预设目标对应的目标显示位置,将与所述预设目标相关的待显示信息展示在所述目标显示位置。通过本发明,可以将需要显示的地图、三维场景、视频等信息投射展示在包围盒上,实现了信息的投射展示。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种数据处理方法的方法流程图;
图2为本发明实施例提供的另一种数据处理方法的方法流程图;
图3为本发明实施例提供的一种信息展示效果图;
图4为本发明实施例提供的一种人机交互界面的场景示意图;
图5为本发明实施例提供的一种包围盒生成的场景示意图;
图6为本发明实施例提供的一种数据处理装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供了一种数据处理方法,主要用于实现在AR上实现地图、三维场景和视频的投射展示。
现在通常是通过对标记(带有特征信息)图案的实时检测来估计相机相对于标记图案的姿态,然后依据此姿态将普通文字图片信息变换与视频图像重叠就实现了在真实标记图案上展示虚拟信息的效果。但是该方案依赖对标记图案的检测,往往需要实现创建实体或电子的标记图案,并且预先对标记图案进行匹配(相当于对图案进行检测和记录其特有特征的过程)才能使用。本发明实施例通过AR投射算法,找到空间中射线与包围盒交点的位置,通过三维变换将二维视频平面变换到三维空间中交点的位置,实现投射效果。其中三维变换参数及视频平面在三维空间中方向自主可控。通过本发明实施例可以不需要对图像案件标记,减少了人员工作量。
本实施例提出的AR投射算法,基于视觉图像感知和空间射线算法,结合空间矩阵变换的原理,将地图和三维模型所在平面转换为空间矩阵的一个方程式,实现了POI在任意位置和任意方向的展示,其中的POI不仅限于地图,三维模型,图片,矢量文字等。
参照图1,数据处理方法可以包括:
S11、从目标图像中识别出预设目标的第一位置信息以及采集得到所述目标图像的设备的三维姿态信息。
在实际应用中,可以使用设备,如手机、平板电脑PAD、个人计算机PC等进行图像采集,如想要采集道路上的车辆,则使用手机对着道路进行拍摄,得到拍摄的一个图像,此时可以称为目标图像。
通过设备相机实时获取场景图像进行目标检测。由于本实施例是基于移动和嵌入式设备,所以采用深度学习移动端框架TensorFlowLite,它赋予了这些设备在终端本地运行机器学习模型的能力,从而不再需要向云端服务器发送数据。这样一来,不但节省了网络流量、减少了时间开销,而且还充分帮助用户保护自己的隐私和敏感信息。
通过深度学习识别得到目标图像中的目标,如车辆、行人、垃圾桶、绿化带等等,可以识别到目标的位置信息和目标的类别信息,其中,目标的位置信息是指目标在目标图像中的位置,利用已有的深度学习框架,可以在目标图像中检测出的目标周围画上矩形框,并且可以获得这个矩形框的像素坐标。这样就可以利用矩形框的中心点像素坐标代替这个目标在屏幕位置的像素坐标。
所述的类别信息就是目标所属类型的名称,目前有常见的有车辆,行人,树木,动物,植物,水果,手机,电脑,显示器、红绿灯、井盖、垃圾箱、广告牌等等类别。
检测到多个目标之后,需要从中找到用户想要检测的预设目标,可以在此时或者是采集目标图像之前,就获取用户设定的预设目标筛选指令,该指令中携带有需要检测或筛选的预设目标,如车辆、垃圾桶、指示牌等等。然后从众多的目标中筛选出预设目标,与此同时,获取该预设目标的第一位置信息。对于预设目标的类别信息,类别信息属于被检测目标属性的一种。被检测目标属性还包括其真实GPS位置、所属人员、所属区域等。投射的目标就是要将被检测目标的属性并结合其他辅助信息通过AR的方式放置在AR场景中便于直观展示和交互。
另外,在检测物体像素时,设备在三维空间内是有姿态的,姿态由设备三轴方位确定。设备中设置有IMU(Inertial measurement unit,惯性测量单元),也即传感器,可以测量得到设备的三维姿态信息。由于不同设备的传感器型号,参数和性能等都不一致,所以采用低通滤波来对采样值滤波。
S12、构建包括所述预设目标的包围盒。
包围盒是一种求解离散点集最优包围空间的算法,基本思想是用体积稍大且特性简单的几何体(称为包围盒)来近似地代替复杂的几何对象。本实施例中,使用包围盒来表示预设目标的真实位置。
S13、基于所述第一位置信息以及所述三维姿态信息,在所述包围盒中确定与所述预设目标对应的目标显示位置。
在实际应用中,采用空间射线算法绘制射线,在所述包围盒中,以所述第一位置信息作为射线的起点,将所述三维姿态信息中的姿态角作为射线的方向,并根据射线的起点和方向绘制得到射线,将所述射线与所述包围盒相交的平面作为所述预设目标显示位置。
具体的,三维姿态信息获取完成以后,首先找到之前在目标检测中相机二维平面内预设目标所占据屏幕像素的几何中心点出发,向OpenGL ES(嵌入式系统开放图形库,OpenGL for Embedded Systems)场景中引发一条射线,与空间物体包围盒相交,就获取到所要展示的POI的空间位置。其中物体检测,和方向计算性能的要求非常高,所以采用生成C++动态库形式加载到应用程序中。
S14、将与所述预设目标相关的待显示信息展示在所述目标显示位置。
在实际应用中,由于空间射线算法中创建的POI位置具有深度信息,结合设备的当前位置和设备的方位角就可以计算出POI与当前位置的距离,在此基础上通过映射关系就可以将POI所在的空间位置和设备当前位置在AR场景中直观的现实出来,从而达到真实位置和AR场景融合的效果。
在实际展示过程中,首先获取与所述预设目标相关的待显示信息;所述待显示信息可以是图片、地图、视频和三维场景图中的一个。目标显示位置就是包围盒的一个平面,由于采用平面显示,就可以在那个平面上显示各种信息,如图片、地图、视频和三维场景图等等。
具体展示的效果图可以参照图3,图3中,实际拍摄得到的图像中电脑是关机状态,电脑使用视频透射到电脑的显示屏幕上,实现了真实场景与视频的融合。需要说明的是,为了展示简单化,图3仅显示了视频的具体一帧图像。
在AR投射完成后,为了能够保持在任意角度观察创建好的POI并且其位置保持不变的效果,需要实时计算当前设备的姿态角,然后通过实时改变AR场景中的视角,能够实时融合投射创建的POI和真实场景。
此外,还可以实现人机交互功能,具体的,在将与所述预设目标相关的待显示信息展示在所述目标显示位置之后,还包括:获取点击所述目标显示位置生成的查询指令;查询并显示与所述待显示信息相关的数据以及数据输入界面;所述数据输入界面用于输入与所述待显示信息相关的信息。
具体的,主要基于射线算法和设备姿态实现对系统的便捷访问和控制,为用户提供方便的访问和控制场景的接口。通过触碰在AR投射模块中创建好的POI,然后产生交互界面,具体可以参照图4,以交通标志牌为例,乐意显示交通标志牌的具体信息,在此基础上可以进行业务操作,创建可扩展、可自定义的交互界面,人性化访问沉浸式增强现实世界。如图4中的语音输入、文字输入界面等等,用户可以输入信息,并且还可以将信息上报。
就移动执法来说,需要对着违章停车,乱堆垃圾等事件位置进行拍照上报。通过交互模块,能够轻松的在界面上通过访问本地货云端数据进行增删查改和同步。在实时性,交互性,友好型等方面都有了极大的提高。
本实施例中,从目标图像中识别出预设目标的第一位置信息以及采集得到所述目标图像的设备的三维姿态信息,构建包括所述预设目标的包围盒,基于所述第一位置信息以及所述三维姿态信息,在所述包围盒中确定与所述预设目标对应的目标显示位置,将与所述预设目标相关的待显示信息展示在所述目标显示位置。通过本发明,可以将需要显示的地图、三维场景、视频等信息投射展示在包围盒上,实现了信息的投射展示。
上述介绍了包围盒,在实际应用中,参照图2,包围盒的构建过程可以是:
S21、获取所述预设目标的实际三维信息、所述设备与所述预设目标的实际相对位置。
以预设目标为车辆为例,预设目标的实际三维信息可以是车辆的长宽高。
所述设备与所述预设目标的实际相对位置是指设备对与色号目标拍照时,设备与车辆的实际相对距离,如车辆位于设备的东南方向且距离3米的地方。
S22、将所述第一位置信息转换成世界坐标系下的第二位置信息。
设备在对车辆拍照时,是以设备的相机所在平面的图像坐标系下,即第一位置信息为图像坐标系下的数据。
但是构建的车辆的包围盒是在实际场景下的包围盒,即是在世界坐标系下的包围盒,则需要将第一位置信息转换成世界坐标系下的第二位置信息。具体转换过程为使用世界坐标系与图像坐标系的转换公式对第一位置信息进行转换即可。
S23、基于所述预设目标的实际三维信息、所述相对位置以及所述第二位置信息,生成初始包围盒。
以图5的车辆为例,首先通过深度学习,会识别车辆,通过车辆所占屏幕像素坐标,再通过设备,如手机位置移动计算出车辆在三维空间中的特征点(点云)信息。由于这些点具有三维坐标,分别选取这些特征点集合中x,y,z坐标的最大最小值,最后计算出包围这个物体的长方体包围盒,用于后续射线相交算法的数学计算。
S24、将所述初始包围盒从世界坐标系转换到图像坐标系下,得到所述包围盒。
具体的,投射的过程分为两部分:
1)通过屏幕图像计算被检测目标的世界坐标系中三维位置。
2)将三维位置的坐标转换到屏幕像素坐标系(即图像坐标系)下的坐标。
由于最终需要展示成设备屏幕的图像,这个图像包含了原始视频画面和叠加在视频画面上的的投射图案。最终到屏幕上的投射图案和原始视频画面一样也是二维的。
投射图案是依据包围盒与射线相交计算的位置,然后在此位置上绘制POI(地图,三维模型,文字等,这个时候都是三维的),然后通过三维变换将POI三维坐标转换到屏幕二维像素坐标。
使用世界坐标系与图像坐标系的转换公式,将初始包围盒从世界坐标系转换到图像坐标系下,即可得到最终的包围盒。具体包围盒的结构可以参照图5,图5是以车辆为例,最终得到的包围盒。
本实施例中,构建了包围盒,进而可以使用本实施例中构建的包围盒进行信息的投射和展示。
可选的,在上述数据处理方法的实施例的基础上,本发明的另一实施例提供了一种数据处理装置,参照图6,可以包括:
数据识别模块11,用于从目标图像中识别出预设目标的第一位置信息以及采集得到所述目标图像的设备的三维姿态信息;
包围盒构建模块12,用于构建包括所述预设目标的包围盒;
位置确定模块13,用于基于所述第一位置信息以及所述三维姿态信息,在所述包围盒中确定与所述预设目标对应的目标显示位置;
信息展示模块14,用于将与所述预设目标相关的待显示信息展示在所述目标显示位置。
进一步,所述位置确定模块包括:
起点设置子模块,用于在所述包围盒中,以所述第一位置信息作为射线的起点;
射线绘制子模块,用于将所述三维姿态信息中的姿态角作为射线的方向,并根据射线的起点和方向绘制得到射线;
位置确定子模块,用于将所述射线与所述包围盒相交的平面作为所述预设目标显示位置。
进一步,所述信息展示模块用于将与所述预设目标相关的待显示信息展示在所述目标显示位置时,具体用于:
获取与所述预设目标相关的待显示信息,将所述待显示信息映射在所述目标显示位置;所述待显示信息包括图片、地图、视频和三维场景图中的一个。
进一步,还包括:
数据查询模块,用于获取点击所述目标显示位置生成的查询指令,查询并显示与所述待显示信息相关的数据以及数据输入界面;所述数据输入界面用于输入与所述待显示信息相关的信息。
进一步,还包括数据筛选模块,所述数据筛选模块包括:
图像获取子模块,用于获取目标图像;
目标识别子模块,用于识别所述目标图像中的每一目标;
指令获取子模块,用于获取预设目标筛选指令;所述预设目标筛选指令包括需要筛选的预设目标;
数据筛选子模块,用于从所述目标中筛选出所述预设目标。
本实施例中,从目标图像中识别出预设目标的第一位置信息以及采集得到所述目标图像的设备的三维姿态信息,构建包括所述预设目标的包围盒,基于所述第一位置信息以及所述三维姿态信息,在所述包围盒中确定与所述预设目标对应的目标显示位置,将与所述预设目标相关的待显示信息展示在所述目标显示位置。通过本发明,可以将需要显示的地图、三维场景、视频等信息投射展示在包围盒上,实现了信息的投射展示。
需要说明的是,本实施例中的各个模块和子模块的工作过程,请参照上述实施例中的相应说明,在此不再赘述。
在上述数据处理装置的实施例的基础上,所述包围盒构建模块包括:
信息获取子模块,用于获取所述预设目标的实际三维信息、所述设备与所述预设目标的实际相对位置;
信息转换子模块,用于将所述第一位置信息转换成世界坐标系下的第二位置信息;所述第一位置信息为图像坐标系下的数据;
包围盒生成子模块,用于基于所述预设目标的实际三维信息、所述相对位置以及所述第二位置信息,生成初始包围盒;
坐标转换子模块,用于将所述初始包围盒从世界坐标系转换到图像坐标系下,得到所述包围盒。
本实施例中,构建了包围盒,进而可以使用本实施例中构建的包围盒进行信息的投射和展示。
需要说明的是,本实施例中的各个模块和子模块的工作过程,请参照上述实施例中的相应说明,在此不再赘述。
可选的,在上述数据处理方法的实施例的基础上,本发明的另一实施例提供了一种电子设备,包括:存储器和处理器;
其中,所述存储器用于存储程序;
处理器调用程序并用于:
从目标图像中识别出预设目标的第一位置信息以及采集得到所述目标图像的设备的三维姿态信息;
构建包括所述预设目标的包围盒;
基于所述第一位置信息以及所述三维姿态信息,在所述包围盒中确定与所述预设目标对应的目标显示位置;
将与所述预设目标相关的待显示信息展示在所述目标显示位置。
本实施例中,从目标图像中识别出预设目标的第一位置信息以及采集得到所述目标图像的设备的三维姿态信息,构建包括所述预设目标的包围盒,基于所述第一位置信息以及所述三维姿态信息,在所述包围盒中确定与所述预设目标对应的目标显示位置,将与所述预设目标相关的待显示信息展示在所述目标显示位置。通过本发明,可以将需要显示的地图、三维场景、视频等信息投射展示在包围盒上,实现了信息的投射展示。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (11)

1.一种数据处理方法,其特征在于,包括:
从目标图像中识别出预设目标的第一位置信息以及采集得到所述目标图像的设备的三维姿态信息;
构建包括所述预设目标的包围盒,其中,包括:获取所述预设目标的实际三维信息、所述设备与所述预设目标的实际相对位置,将所述第一位置信息转换成世界坐标系下的第二位置信息,所述第一位置信息为图像坐标系下的数据,基于所述预设目标的实际三维信息、所述相对位置以及所述第二位置信息,生成初始包围盒,将所述初始包围盒从世界坐标系转换到图像坐标系下,得到所述包围盒;
基于所述第一位置信息以及所述三维姿态信息,在所述包围盒中确定与所述预设目标对应的目标显示位置;
将与所述预设目标相关的待显示信息展示在所述目标显示位置。
2.根据权利要求1所述的数据处理方法,其特征在于,基于所述第一位置信息以及所述三维姿态信息,在所述包围盒中确定与所述预设目标对应的目标显示位置,包括:
在所述包围盒中,以所述第一位置信息作为射线的起点;
将所述三维姿态信息中的姿态角作为射线的方向, 并根据射线的起点和方向绘制得到射线;
将所述射线与所述包围盒相交的平面作为所述预设目标显示位置。
3.根据权利要求1所述的数据处理方法,其特征在于,将与所述预设目标相关的待显示信息展示在所述目标显示位置,包括:
获取与所述预设目标相关的待显示信息;所述待显示信息包括图片、地图、视频和三维场景图中的一个;
将所述待显示信息映射在所述目标显示位置。
4.根据权利要求1所述的数据处理方法,其特征在于,在所述从目标图像中识别出预设目标的第一位置信息以及采集得到所述目标图像的设备的三维姿态信息之前,还包括:
获取目标图像;
识别所述目标图像中的每一目标;
获取预设目标筛选指令;所述预设目标筛选指令包括需要筛选的预设目标;
从所述目标中筛选出所述预设目标。
5.根据权利要求1所述的数据处理方法,其特征在于,在将与所述预设目标相关的待显示信息展示在所述目标显示位置之后,还包括:
获取点击所述目标显示位置生成的查询指令;
查询并显示与所述待显示信息相关的数据以及数据输入界面;所述数据输入界面用于输入与所述待显示信息相关的信息。
6.一种数据处理装置,其特征在于,包括:
数据识别模块,用于从目标图像中识别出预设目标的第一位置信息以及采集得到所述目标图像的设备的三维姿态信息;
包围盒构建模块,用于构建包括所述预设目标的包围盒;所述包围盒构建模块包括:信息获取子模块,用于获取所述预设目标的实际三维信息、所述设备与所述预设目标的实际相对位置;信息转换子模块,用于将所述第一位置信息转换成世界坐标系下的第二位置信息;所述第一位置信息为图像坐标系下的数据;包围盒生成子模块,用于基于所述预设目标的实际三维信息、所述相对位置以及所述第二位置信息,生成初始包围盒;坐标转换子模块,用于将所述初始包围盒从世界坐标系转换到图像坐标系下,得到所述包围盒;
位置确定模块,用于基于所述第一位置信息以及所述三维姿态信息,在所述包围盒中确定与所述预设目标对应的目标显示位置;
信息展示模块,用于将与所述预设目标相关的待显示信息展示在所述目标显示位置。
7.根据权利要求6所述的数据处理装置,其特征在于,所述位置确定模块包括:
起点设置子模块,用于在所述包围盒中,以所述第一位置信息作为射线的起点;
射线绘制子模块,用于将所述三维姿态信息中的姿态角作为射线的方向, 并根据射线的起点和方向绘制得到射线;
位置确定子模块,用于将所述射线与所述包围盒相交的平面作为所述预设目标显示位置。
8.根据权利要求6所述的数据处理装置,其特征在于,所述信息展示模块用于将与所述预设目标相关的待显示信息展示在所述目标显示位置时,具体用于:
获取与所述预设目标相关的待显示信息,将所述待显示信息映射在所述目标显示位置;所述待显示信息包括图片、地图、视频和三维场景图中的一个。
9.根据权利要求6所述的数据处理装置,其特征在于,还包括数据筛选模块,所述数据筛选模块包括:
图像获取子模块,用于获取目标图像;
目标识别子模块,用于识别所述目标图像中的每一目标;
指令获取子模块,用于获取预设目标筛选指令;所述预设目标筛选指令包括需要筛选的预设目标;
数据筛选子模块,用于从所述目标中筛选出所述预设目标。
10.根据权利要求6所述的数据处理装置,其特征在于,还包括:
数据查询模块,用于获取点击所述目标显示位置生成的查询指令,查询并显示与所述待显示信息相关的数据以及数据输入界面;所述数据输入界面用于输入与所述待显示信息相关的信息。
11.一种电子设备,其特征在于,包括:存储器和处理器;
其中,所述存储器用于存储程序;
处理器调用程序并用于:
从目标图像中识别出预设目标的第一位置信息以及采集得到所述目标图像的设备的三维姿态信息;
构建包括所述预设目标的包围盒,其中,包括:获取所述预设目标的实际三维信息、所述设备与所述预设目标的实际相对位置,将所述第一位置信息转换成世界坐标系下的第二位置信息,所述第一位置信息为图像坐标系下的数据,基于所述预设目标的实际三维信息、所述相对位置以及所述第二位置信息,生成初始包围盒,将所述初始包围盒从世界坐标系转换到图像坐标系下,得到所述包围盒;
基于所述第一位置信息以及所述三维姿态信息,在所述包围盒中确定与所述预设目标对应的目标显示位置;
将与所述预设目标相关的待显示信息展示在所述目标显示位置。
CN201911101585.5A 2019-11-12 2019-11-12 一种数据处理方法、装置及电子设备 Active CN112862976B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911101585.5A CN112862976B (zh) 2019-11-12 2019-11-12 一种数据处理方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911101585.5A CN112862976B (zh) 2019-11-12 2019-11-12 一种数据处理方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN112862976A CN112862976A (zh) 2021-05-28
CN112862976B true CN112862976B (zh) 2023-09-08

Family

ID=75984345

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911101585.5A Active CN112862976B (zh) 2019-11-12 2019-11-12 一种数据处理方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN112862976B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101539804A (zh) * 2009-03-11 2009-09-23 上海大学 基于增强虚拟现实与异型屏的实时人机互动方法及系统
CN107111979A (zh) * 2014-12-19 2017-08-29 微软技术许可有限责任公司 三维可视化系统中的带辅助的对象放置
CN109325978A (zh) * 2017-07-31 2019-02-12 深圳市腾讯计算机系统有限公司 增强现实显示的方法、姿态信息的确定方法及装置
CN109918465A (zh) * 2019-03-01 2019-06-21 北京超图软件股份有限公司 一种地理数据处理方法及装置
CN110286906A (zh) * 2019-06-25 2019-09-27 网易(杭州)网络有限公司 用户界面显示方法、装置、存储介质与移动终端
CN110336973A (zh) * 2019-07-29 2019-10-15 联想(北京)有限公司 信息处理方法及其装置、电子设备和介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101539804A (zh) * 2009-03-11 2009-09-23 上海大学 基于增强虚拟现实与异型屏的实时人机互动方法及系统
CN107111979A (zh) * 2014-12-19 2017-08-29 微软技术许可有限责任公司 三维可视化系统中的带辅助的对象放置
CN109325978A (zh) * 2017-07-31 2019-02-12 深圳市腾讯计算机系统有限公司 增强现实显示的方法、姿态信息的确定方法及装置
CN109918465A (zh) * 2019-03-01 2019-06-21 北京超图软件股份有限公司 一种地理数据处理方法及装置
CN110286906A (zh) * 2019-06-25 2019-09-27 网易(杭州)网络有限公司 用户界面显示方法、装置、存储介质与移动终端
CN110336973A (zh) * 2019-07-29 2019-10-15 联想(北京)有限公司 信息处理方法及其装置、电子设备和介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
虚拟装配信息增强技术研究;首中华;《中国优秀硕士学位论文全文数据库》(第5期);1-62 *

Also Published As

Publication number Publication date
CN112862976A (zh) 2021-05-28

Similar Documents

Publication Publication Date Title
US20230289026A1 (en) System and Method of Indicating the Distance or the Surface of an Image of a Geographical Object
CN110073313B (zh) 使用母设备和至少一个伴随设备与环境交互
CN108304075B (zh) 一种在增强现实设备进行人机交互的方法与设备
CN110300292B (zh) 投影畸变校正方法、装置、系统及存储介质
KR101932537B1 (ko) 3차원 전자지도상에 촬영영상을 표시하는 방법 및 장치
US9268410B2 (en) Image processing device, image processing method, and program
JP6096634B2 (ja) 仮想現実を用いた3次元地図表示システム
JP6310149B2 (ja) 画像生成装置、画像生成システム及び画像生成方法
EP3748533A1 (en) Method, apparatus, and storage medium for obtaining object information
CN107329671B (zh) 模型显示方法和装置
US10949069B2 (en) Shake event detection system
JP7043601B2 (ja) 環境モデルを生成するための方法および装置ならびに記憶媒体
CN113892129B (zh) 创建三维外观的虚拟视差
CN107851308A (zh) 用于识别目标物体的系统和方法
CN113205515B (zh) 目标检测方法、装置、及计算机存储介质
JP6686547B2 (ja) 画像処理システム、プログラム、画像処理方法
WO2016010818A1 (en) Image modification
CN112749613A (zh) 视频数据处理方法、装置、计算机设备及存储介质
CN110807413B (zh) 目标显示方法以及相关装置
WO2016012044A1 (en) Method and system for augmenting television watching experience
CN114758100A (zh) 显示方法、装置、电子设备和计算机可读存储介质
CN111127661B (zh) 一种数据处理方法、装置及电子设备
CN112862976B (zh) 一种数据处理方法、装置及电子设备
CN110196638B (zh) 基于目标检测和空间投影的移动端增强现实方法和系统
CN109472873B (zh) 三维模型的生成方法、装置、硬件装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant