CN112308766A - 一种图像数据展示方法、装置、电子设备及存储介质 - Google Patents
一种图像数据展示方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112308766A CN112308766A CN202011118414.6A CN202011118414A CN112308766A CN 112308766 A CN112308766 A CN 112308766A CN 202011118414 A CN202011118414 A CN 202011118414A CN 112308766 A CN112308766 A CN 112308766A
- Authority
- CN
- China
- Prior art keywords
- image
- window
- data
- visual angle
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000000007 visual effect Effects 0.000 claims abstract description 99
- 238000012545 processing Methods 0.000 claims abstract description 45
- 239000011159 matrix material Substances 0.000 claims description 110
- 230000001960 triggered effect Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 238000003672 processing method Methods 0.000 abstract 1
- 238000009877 rendering Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 102100029469 WD repeat and HMG-box DNA-binding protein 1 Human genes 0.000 description 1
- 101710097421 WD repeat and HMG-box DNA-binding protein 1 Proteins 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
- G06T3/047—Fisheye or wide-angle transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请实施例提供一种图像数据展示方法、装置、电子设备及存储介质,涉及智慧城市技术领域。其中方法包括:根据历史操作数据确定数据展示界面中的第一窗口和第二窗口的大小和位置;通过数据展示界面的第一窗口显示大视角下的第一视角图像,通过第二窗口显示小视角下的第二视角图像;根据用户在第二窗口上的控制操作确定第二视角图像在第一视角图像对应的第一图像模型内的三维导航区域;处理三维导航区域,得到导航图像,并在第一窗口内突出显示导航图像,导航图像表示第二视角图像在第一视角图像中的位置。本申请实施例可提高用户的操作效率,提高对图像内容的理解效率,便于引导用户快速定位所关注区域,提升用户体验。
Description
技术领域
本申请涉及智慧城市技术领域,具体涉及一种图像数据展示方法、装置、电子设备及存储介质。
背景技术
在传统的视频监控中,主要是2D平面图片的展示,但是随着计算机技术的崛起,鱼眼图像在监控行业中的优势越发明显。传统的平面摄像头中只能监控一个方位的场景,但鱼眼摄像头由于拥有更广的视角,能监控到视野更加广阔,这样原本需要多个平面摄像头监控的场地,现在只需要一个鱼眼摄像头就可以解决,大大节约了硬件成本。
由于鱼眼摄像头拥有更广的视角,所拍摄得到的鱼眼图像(图像数据)往往具有很大的畸变,且拍摄得到的鱼眼图像通常通过圆形来展示,不太好理解,需要专业技术人员才能看懂,导致鱼眼图像的应用不能很好的推广开来。
发明内容
本申请实施例提供一种图像数据展示方法和装置,可提高对图像数据内容的理解效率,且提高用户定位图像数据中所关注区域的速度。
本申请实施例提供了一种图像数据展示方法,包括:
根据历史操作数据确定数据展示界面中的第一窗口和第二窗口的大小和位置;
通过所述数据展示界面的第一窗口显示大视角下的第一视角图像,通过所述第二窗口显示小视角下的第二视角图像;
根据用户在第二窗口上的控制操作确定所述第二视角图像在所述第一视角图像对应的第一图像模型内的三维导航区域;
处理所述三维导航区域,得到导航图像,并在第一窗口内突出显示所述导航图像,所述导航图像表示所述第二视角图像在所述第一视角图像中的位置。
本申请实施例还提供了一种数据展示装置,包括:
第一确定模块,用于根据历史操作数据确定数据展示界面中的第一窗口和第二窗口的大小和位置;
图像展示模块,用于通过所述数据展示界面的第一窗口显示大视角下的第一视角图像,通过所述第二窗口显示小视角下的第二视角图像;
第二确定模块,用于根据用户在第二窗口上的控制操作确定所述第二视角图像在所述第一视角图像对应的第一图像模型内的三维导航区域;
处理展示模块,用于处理所述三维导航区域,得到导航图像,并在第一窗口内突出显示所述导航图像,所述导航图像表示所述第二视角图像在所述第一视角图像中的位置。
本申请实施例还提供了一种电子设备,所述电子设备包括:一个或多个处理器;存储器;以及一个或多个计算机程序,其中所述处理器和所述存储器相连接,所述一个或多个计算机程序被存储于所述存储器中,并配置为由所述处理器执行上述所述的图像数据展示方法。
本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时,实现上述任一种图像数据展示方法中的步骤。
本申请实施例通过根据历史操作数据确定数据展示界面中的第一窗口和第二窗口的大小和位置;通过数据展示界面的第一窗口显示大视角下的第一视角图像,通过第二窗口显示小视角下的第二视角图像;根据用户在第二窗口上的控制操作确定第二视角图像在第一视角图像对应的第一图像模型内的三维导航区域;处理三维导航区域,得到导航图像,并在第一窗口内突出显示导航图像,导航图像表示第二视角图像在第一视角图像中的位置。本申请实施例首先根据历史操作数据确定数据展示界面中的第一窗口和第二窗口的大小和位置,确定的第一窗口和第二窗口的大小和位置考虑了用户的历史操作数据,使得第一窗口和第二窗口的大小和位置的确定符合用户操作习惯,提高用户的操作效率;另一方面,确定第二视角图像在第一视角图像对应的第一图像模型内的三维导航区域,并进行处理,得到导航图像,如此,确定第二视角图像在第一视角图像中的位置,根据导航图像使得用户可以很清晰的知道第二窗口内显示的第二视角图像,处于第一窗口内显示的第一视角图像中的哪个位置,以建立不同视角下的图像之间的关联关系,提高对图像内容的理解效率,且便于用户调整所观看的区域,便于引导用户快速找到所关注区域,提高用户定位所关注区域的速度,提升用户体验。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的图像数据展示系统的场景示意图;
图2是本申请实施例提供的图像数据展示方法的流程示意图;
图3是本申请实施例提供的图像数据展示方法的子流程示意图;
图4a至图4b是本申请实施例提供的初始界面的示意图;
图5a是本申请实施例提供的初始界面的界面操作效果示意图;
图5b是本申请实施例提供的初始界面的划分效果示意图;
图6是本申请实施例提供的填充初始界面后得到的数据展示界面的示意图;
图7是本申请实施例提供的鱼眼摄像头直接采集的图像数据的示意图;
图8是本申请实施例提供的透视投影的成像原理示意图;
图9是本申请实施例提供的大视角的示意图;
图10是本申请实施例提供的小视角的示意图;
图11是本申请实施例提供的数据展示界面展示图像的示意图;
图12是本申请实施例提供的数据展示装置的结构示意图;
图13是本申请实施例提供的第一确定模块的结构示意图;
图14是本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供一种图像数据展示方法、装置、电子设备和存储介质。本申请实施例提供的任一种数据展示装置,可以集成在电子设备中。该电子设备包括但不限于智能手机、平板电脑、笔记本电脑、智能电视、智能机器人、个人计算机(PC,PersonalComputer)、可穿戴设备、服务器计算机、车载终端,等等。
本申请实施例中的第一视角图像和第二视角图像,可以是对普通摄像头(各种平面摄像头等)采集的图像数据进行处理后得到的不同视角下的图像,还可以是对鱼眼摄像头采集的图像数据进行处理后得到的不同视角下的图像。因为鱼眼摄像头采集的图像数据不容易理解,因此,本申请实施例中将以对鱼眼摄像头采集的图像数据进行处理为例进行说明;普通摄像头采集的图像数据的处理一致,将不再赘述。
请参阅图1,是本申请实施例提供的图像数据展示系统的场景示意图。该数据展示系统包括鱼眼摄像头和电子设备。鱼眼摄像头的数量可以为一个或多个,电子设备也可以为一个或者多个,鱼眼摄像头与电子设备可以直接连接,也可以通过网络连接,如图1实施例中的鱼眼摄像头与电子设备通过网络连接。
鱼眼摄像头可进行拍摄,以得到鱼眼图像的初始图像数据,并将拍摄的初始图像数据发送至电子设备;电子设备接收鱼眼摄像头拍摄的初始图像数据,在一实施例中,将所接收的初始图像数据直接作为鱼眼摄像头采集的图像数据,在另一实施例中,将所接收的初始图像数据进行畸变校正,以得到鱼眼摄像头采集的图像数据,接着对图像数据进行相应处理并进行图像数据展示。其中,校正的目的是为了降低或者消除初始图像数据中的畸变。
图2是本申请实施例提供的图像数据展示方法的流程示意图。该图像数据展示方法运行于电子设备中,该图像数据展示方法包括如下步骤:
101,根据历史操作数据确定数据展示界面中的第一窗口和第二窗口的大小和位置。
其中,历史操作数据可以是用户在数据展示界面上的历史操作数据,还可以是用户在数据展示界面所对应的初始界面上的历史操作数据。为了更好的确定用户操作习惯,降低已确定的数据展示界面上的已有控件对用户操作习惯的影响,以数据展示界面所对应的初始界面上的历史操作数据为准,本申请实施例以初始界面上的历史操作数据为例进行说明。
可根据历史操作数据确定数据展示界面中的第一窗口和第二窗口的大小和位置,可以理解地,确定的第一窗口和第二窗口的大小和位置考虑了用户的历史操作数据,使得第一窗口和第二窗口的大小和位置的确定符合用户操作习惯,提高用户在数据展示界面上的操作效率。
在一实施例中,根据历史操作数据确定数据展示界面中的第一窗口和第二窗口的大小和位置的步骤,包括步骤201~205。如图3所示。
201,生成数据展示界面对应的初始界面。
初始界面是与数据展示界面相同尺寸的界面。
具体地,生成数据展示界面对应的初始界面的步骤,包括:获取数据展示界面的显示尺寸;根据数据展示界面的显示尺寸确定初始界面的显示尺寸;根据初始界面的显示尺寸生成数据展示界面的初始界面。
在一些情况下,当数据展示界面存在无效操作区域时,具体地,生成数据展示界面对应的初始界面的步骤,包括:获取数据展示界面中有效操作区域的尺寸和位置,以及数据显示界面的显示尺寸;根据数据展示界面的显示尺寸确定初始界面的显示尺寸;根据初始界面的显示尺寸生成数据展示界面的初始界面;根据有效操作区域的尺寸和位置,确定初始界面内用于采集历史操作数据的有效采集区域的尺寸和位置。其中,无效操作区域指的是数据展示界面上即使操作也不响应该操作的区域。
其中,所生成的初始界面可以为空白界面,如图4a所示;或者所生成的初始界面为包括均匀分布有相同操作单位区域的界面,如图4b所示。其中,单位区域是指初始界面(UI)中可以被操作的最小区域。
202,通过初始界面接收当前用户的历史操作数据。
用户可在初始界面上进行操作,通过初始界面接收当前用户的历史操作数据。其中,历史操作数据可以是预设时间内的操作数据。
203,根据初始界面中各单位区域内被触发的历史操作数据,将初始界面划分为至少两个操作热度不同的显示区域。
初始界面中各单位区域可通过用户手指来触发,也可通过鼠标或激光笔等具有指针的输入设备来触发。触发各单位区域的操作可以是点击操作、双击操作以及长按操作中的至少一种。用户在对初始界面中的各单位区域进行操作后,电子设备即可整合分析所有操作数据以得到历史操作数据。例如,电子设备屏幕上显示的初始界面为空白界面,用户使用鼠标在该空白界面中的任意区域进行点击操作后,电子设备可基于该点击操作分析得到对应的操作数据,如操作位置,若用户在预设时间内持续或间断对该空白界面进行操作,则电子设备可获取到该预设时间内初始界面被触发的历史操作数据,如包括操作次数、操作位置等数据。
得到历史操作数据后,将初始界面划分为至少两个操作热度不同的显示区域。其中,显示区域是指显示界面中相对独立的界面子区域;操作热度是指显示区域被操作的程度,不同显示区域的操作热度可按单位时间内被操作的操作次数计算,也可按操作次数占比计算,例如,20%、80%等。
根据历史操作数据中的操作位置和需独立显示的展示窗口的窗口数量来划分显示区域,根据历史操作数据中的操作次数来确定显示区域的操作热度。如图5a所示,初始界面被触发的操作位置体现为各个圆点的位置,该位置可以换算成初始界面上的坐标信息,如此,各个圆点的位置即为历史操作的操作坐标。假设需显示的展示窗口的窗口数量为三个,则将初始界面划分为3个显示区域,该3个显示区域的位置和大小由历史操作数据中的操作位置来确定。初始界面被触发的操作次数体现为圆点的总数量。如图5b所示,初始界面划分为3个独立显示的显示区域。其中,区域(1)中包括7个被触发的圆点,区域(2)包括3个被触发的圆点,区域(3)包括1个被触发的圆点,对应的操作热度大小关系为:区域(1)大于区域(2),区域(2)>区域(3)。
204,根据图像数据展示功能中的各展示窗口的历史操作频率数据,将各展示窗口标记为操作需求度不同的展示窗口,展示窗口包括第一窗口和第二窗口。
历史操作频率数据是指各展示窗口在预设时长内被操作的频率数,例如,过去24小时内使用次数为5。操作需求度是指各展示窗口需要被操作的程度,不同展示窗口的操作需求度可按单位时间内被操作的操作次数计算,也可按操作次数占比计算,例如20%、80%等。其中,展示窗口包括第一窗口和第二窗口。
电子设备获取图像数据展示中各展示窗口的历史操作频率数据,并根据该历史操作频率数据,将各展示窗口标记为操作需求度不同的展示窗口,确定操作需求度的依据为各展示窗口的历史操作频率数据,历史操作频率数据中的数值越大,表示操作需求度越高,历史操作频率数据中的数值越小,表示操作需求度越低。根据历史操作频率数据,对各展示窗口标记上其专属的操作需求度,便可根据该操作需求度确定各展示窗口在显示界面中所属的显示区域,进而将展示窗口填充至其所属的显示区域,得到对应的数据展示界面。
如独立显示的展示窗口的数量为两个:一个第一窗口和一个第二窗口,第一窗口的操作需求度高于第二窗口。如独立显示的展示窗口的数量为三个:一个第一窗口和两个第二窗口,两个第二窗口分别为第二窗口一和第二窗口二,第一窗口操作需求度高于第二窗口,第二窗口一的操作需求度高于第二窗口二等。需要注意的是,虽然有两个第二窗口,那该两个第二窗口是独立的,所以实质上独立显示的展示窗口的数量为三个。该两个第二窗口后文中都用于显示小视角下的第二视角图像。
205,根据操作热度和操作需求度的对应关系,在初始界面对应的不同操作热度的显示区域内显示对应操作需求度的展示窗口,得到数据展示界面。
预先设置操作热度和操作需求度的对应关系,并获取预先设置的对应关系。本申请实施例中操作热度和操作需求度的对应关系是高操作热度对高操作需求度、低操作热度对低操作需求度的对应关系。在初始界面对应的不同显示区域内填充对应操作需求度的展示窗口,并显示对应的展示窗口,得到数据展示界面。需要注意的是,该处的数据展示界面上并没有显示任何图像。
请参看图6,为本申请实施例提供的不同显示区域内填充不同展示窗口的界面示意图。该初始界面中显示区域的数量为三个,该三个显示区域的操作热度大小关系为:区域(1)大于区域(2),区域(2)>区域(3)。同时,若各展示窗口的操作需求度大小关系为:第一窗口大于第二窗口一,第二窗口一大于第二窗口二。根据操作热度和操作需求度的对应关系,将第一窗口填充至区域(1),将第二窗口一填充至区域(2),将第二窗口二填充至区域(3)。图6所示的界面,即为数据展示界面。其中,本申请实施例中涉及的是在第二窗口上的控制操作,需要注意的是,在第一窗口上也可以进行控制操作。
根据操作热度和操作需求度的对应关系,在初始界面对应的不同操作热度的显示区域内显示对应操作需求度的展示窗口,展示窗口的确定考虑了操作热度和操作需求度,使得展示窗口符合用户操作习惯,提高界面操作效率。
102,通过数据展示界面的第一窗口显示大视角下的第一视角图像,通过第二窗口显示小视角下的第二视角图像。
第一窗口中包括第一显示控件,在第一显示控件中显示大视角下的第一视角图像,第二窗口中包括第二显示控件,在第二显示控件中显示小视角下的第二视角图像。
第一视角图像是根据第一投影矩阵和第一图像模型将摄像头采集的图像数据进行处理后得到的。其中,以图像数据为鱼眼摄像头采集的图像数据为例进行说明。
其中,鱼眼摄像头采集的图像数据比平面摄像头拍摄得到的图像包括更多的信息,如若鱼眼摄像头的视角为180度,则拍摄角度刚好为半球,得到的图像以圆形呈现在二维平面上。图7为本申请实施例提供的鱼眼摄像头直接采集得到的初始图像数据的示意图,中间的圆形区域即为鱼眼摄像头拍摄得到的初始图像。图7中鱼眼摄像头朝向天空,所拍摄得到的图像包括天空以及鱼眼摄像头所处位置周围的建筑物、树木等。
需要注意的是,本申请涉及的图像模型等都指的是在虚拟场景中的图像模型。在虚拟场景中,通常需要构建物体坐标系,并在物体坐标系中建立模型(俗称建模)。本申请实施例中建立的第一图像模型为球形;在其他情况下,可根据具体使用场景对应不同形状的图像模型,如长方体,第一视角图像可以是长方体某个面上对应的视角图像等。以第一图像模型为球形为例进行说明,可以简单理解为第一图像模型是按照经度分为n个圆,每个圆上分配m个点所形成的球形,如n=180,m=30等。需要注意的是,n越大,m越大,所形成的球形越圆。
建立好模型后,可构建投影矩阵。在虚拟场景中,物体(或者模型,在模型上进行纹理贴图后即显示为物体)所在的坐标系称为物体坐标系,相机坐标系是以相机的聚焦中心为原点建立的三维坐标系,还对应有一个世界坐标系。虚拟相机、物体等都处于世界坐标系下。世界坐标系里面的虚拟相机、物体、模型,虚拟相机的广角、仰角、镜头到近平面和远平面的距离等的关系都体现在投影矩阵中。
如图8所示,为本申请实施例提供的透视投影的成像原理图。其中,虚拟相机的镜头到近平面11的距离,即点0和点1之间的距离,虚拟相机的镜头到远平面12的距离,即点0和点2之间的距离。虚拟相机的位置点可简单理解为0点在世界坐标系中的坐标。
第一投影矩阵可通过如下方式确定:获取设置的第一虚拟相机的初始参数,该初始参数包括第一虚拟相机的位置、欧拉角、第一虚拟相机的镜头到投影面(也可称为近平面)的距离、第一虚拟相机的镜头到远平面的距离等;根据第一虚拟相机的初始参数确定第一投影矩阵。如根据第一虚拟相机的初始参数,利用数学库来确定第一投影矩阵,如将第一虚拟相机的初始参数,输入至GLM(OpenGL Mathematics)数据库的对应函数中,利用该函数计算第一投影矩阵。需要注意的是,根据所设置的第一虚拟相机的初始参数确定的第一投影矩阵,也可以理解为初始第一投影矩阵。在本申请实施例中,由于初始第一投影矩阵一直都没有改变,因此第一投影矩阵即为初始第一投影矩阵。
确定了第一图像模型和第一投影矩阵后,根据第一投影矩阵和第一图像模型将鱼眼摄像头采集的图像数据进行处理,得到大视角下的第一视角图像。具体地,通过CPU将第一投影矩阵、图像数据和第一图像模型拷贝至图形处理器(Graphics Processing Unit,GPU)中,以根据第一投影矩阵、第一图像模型和图像数据,利用图形处理器将图像数据处理为大视角下的第一视角图像。例如,通过CPU将第一图像模型中的顶点传输至顶点着色器中,将第一图像模型中的纹理坐标拷贝至片元着色器中,并根据图像数据确定纹理坐标所对应的纹理单元,利用GPU进行渲染,得到大视角下的第一视角图像。
其中,大视角指的是进行渲染后,视野内至少可以看到完整的图像数据的视角。可以简单理解,大视角是将第一虚拟相机放置于第一图像模型外侧的较远处,从而视野内所看到的第一图像模型所对应的完整平面图像的视角。大视角本质上就是把第一图像模型放入至第一虚拟相机的视锥体内所对应的视角。在大视角中,第一虚拟相机位于第一图像模型的外侧。
如图9所示,第一虚拟相机21位于第一图像模型20的外侧,视锥体即为近平面22和远平面23之间的梯形区域,第一图像模型20完全处于视锥体中。该步骤中得到大视角下的第一视角图像,以便于用户从整体上对图像数据的内容进行理解。
小视角下的第二视角图像是根据第二投影矩阵、第二图像模型和图像数据生成的。其中,第二图像模型与第一图像模型相同,第二投影矩阵与第一投影矩阵不同。
其中,与第一投影矩阵一样,第二投影矩阵也存在初始第二投影矩阵,即第二投影矩阵的初始值。初始第二投影矩阵可通过如下方式确定:获取设置的第二虚拟相机的初始参数,该初始参数包括第二虚拟相机的位置、欧拉角、第二虚拟相机的镜头到近平面的距离、第二虚拟相机的镜头到远平面的距离等;根据第二虚拟相机的初始参数确定初始第二投影矩阵。该初始第二投影矩阵也可预先进行设定。其中,初始第一投影矩阵和初始第二投影矩阵不相同。第二投影矩阵的值并不一定是初始值,因为会根据用户可在第二窗口上进行控制操作改变该第二投影矩阵的值。
根据第二投影矩阵、第二图像模型和图像数据生成小视角下的第二视角图像的步骤,包括:通过CPU将第二投影矩阵、图像数据和第二图像模型拷贝至GPU中,以根据第二投影矩阵和第二图像模型,以及图像数据生成小视角下的第二视角图像。具体地,通过CPU将第二图像模型中的顶点传输至顶点着色器中,将第二图像模型中的纹理坐标拷贝至片元着色器中,根据图像数据确定纹理坐标所对应的纹理单元,利用GPU进行渲染,生成小视角下的第二视角图像。
其中,小视角指的是进行渲染后,视野内可以看到局部的图像数据的视角。可以简单理解,小视角是将第二虚拟相机放置于第二图像模型内部,从而视野内所看到的第二图像模型投影后所对应的局部平面图像的视角。
如图10所示,第二虚拟相机31位于第二图像模型30的内部,视锥体即为近平面32和远平面33之间的梯形区域,第二图像模型30的部分处于视锥体中,处于视锥体的部分即为下文中的三维导航区域。需要注意的是,第二图像模型30和第一图像模型20相同,在该图中,为了方便,第一图像模型20和第二图像模型30只是示意而已。
该步骤中得到大视角下的第一视角图像,以便于用户从整体上对图像数据的内容进行理解。
该步骤中得到小视角下的第二视角图像,便于用户从局部上(小视角上)对图像数据的内容进行理解,提高对图像数据内容的理解效率。
如图11所示,为本申请实施例提供的数据展示界面的示意图。数据展示界面40上包括位于数据展示界面左侧的一个第一窗口41和位于第一窗口41右侧的两个第二窗口42。在第一窗口41中的第一显示控件上展示的是第一视角图像。可参看图7,展示的第一视角图像与图像数据相对应/一致。若在数据展示界面上,仅有一个第二窗口42,那么在该第二窗口内展示一个小视角下的第二视角图像。若在数据展示界面上,包括多个第二窗口42,则在多个第二窗口上展示不同小视角下的第二视角图像。多个第二窗口中,每个第二窗口42所对应的小视角不同,所展示的第二视角图像也显示为不同的图像。
103,根据用户在第二窗口上的控制操作确定第二视角图像在第一视角图像对应的第一图像模型内的三维导航区域。
其中,第一视角图像对应的第一图像模型,理解为利用该第一图像模型进行处理,处理之后得到第一视角图像,如第一图像模型为球形。第二视角图像在第一图像模型内的三维导航区域,指的是第二视角图像所对应的模型中的点在第一图像模型中的位置区域。该三维导航区域指的是三维点所形成的的区域。
用户可以在数据展示界面的第二窗口上进行控制操作。该控制操作可以通过用户在第二窗口上进行滑动触摸操作来实现;还可以通过语音方式来实现,如在数据展示界面上检测到语音,并对语音进行识别,得到“向左滑动2cm”等指令,并根据指令来完成控制操作;还可以通过检测用户在第二窗口上的手势,根据手势来实现控制操作等。
在一实施例中,根据用户在第二窗口上的控制操作确定第二视角图像在第一视角图像对应的第一图像模型内的三维导航区域的步骤,包括:
根据用户在第二窗口上的控制操作确定第二投影矩阵;根据第二投影矩阵和第二图像模型,以及图像数据更新小视角下的第二视角图像,并在第二窗口显示第二视角图像;根据第二投影矩阵和第一图像模型确定第二视角图像在第一视角图像对应的第一图像模型内的三维导航区域。
其中,根据用户在第二窗口上的控制操作确定第二投影矩阵的步骤,包括:根据用户在数据展示界面的第二窗口上的控制操作,确定控制操作所对应的操作参数;根据操作参数确定第二投影矩阵。可以理解地,根据操作参数确定的第二投影矩阵是更新后的第二投影矩阵。具体地,根据操作参数和上一次确定的第二投影矩阵确定更新后的第二投影矩阵。
根据控制操作,确定的操作参数如包括操作加速度、操作距离,等等。根据操作参数确定操作角度,根据操作角度和前一次确定的第二投影矩阵确定(更新后的)第二投影矩阵。如检测到用户在图11的右侧上方的第二窗口42上的控制操作,根据该控制操作来确定(更新后的)第二投影矩阵。
以上所述的根据投影矩阵(分别为第一投影矩阵和第二投影矩阵)和图像模型(分别为第一图像模型和第二图像模型)来确定的第一视角图像或者第二视角图像,是通过透视投影的成像原理所得到的图像。如图8所示,图像模型中在近平面11和远平面12之间的点投影到近平面后,可以在我们视野内被看到。
根据透视投影的成像原理,我们视野可以看到的部分,其实就是图像模型上的顶点乘以投影矩阵后,落在近平面上的顶点,经过归一化、裁剪、以及纹理贴图最终展现出来的效果。因此,若想确定第二视角图像在第一视角图像对应第一图像模型内的三维导航区域,则可通过逆向思维将问题转换为:确定第一图像模型上的哪些顶点可投影至第二投影矩阵的近平面上,确定这些顶点后,将这些顶点所对应的区域作为三维导航区域,对三维导航区域对应的纹理坐标突出指定显示。进一步的,若想确定第一图像模型上的哪些顶点可投影至第二投影矩阵的近平面上,可通过第二投影矩阵和第一图像模型来确定。
在一种情况下,根据第二投影矩阵和第一图像模型确定第二视角图像在第一视角图像对应的第一图像模型内的三维导航区域的步骤,包括:根据第二投影矩阵和第一图像模型,从第一图像模型的顶点中,确定投影至第二投影矩阵对应近平面中的导航顶点;将导航顶点所对应的区域作为第二视角图像在第一视角图像对应的第一图像模型内的三维导航区域。导航顶点所对应的区域理解为导航顶点所在的区域。
导航顶点理解为第一图像模型中的,可以投影至第二投影矩阵的近平面中的顶点。具体地,根据第二投影矩阵和第一图像模型,从第一图像模型的顶点中,确定投影至第二投影矩阵对应近平面中的导航顶点的步骤,可通过CPU来执行,具体包括以下步骤:遍历第一图像模型中的每个顶点;从每个顶点(多个顶点)中确定投影至所述第二投影矩阵对应近平面中的导航顶点。
其中,从每个顶点中确定投影至所述第二投影矩阵对应近平面中的导航顶点的步骤,包括:根据第二投影矩阵,确定每个顶点投影后的坐标,如将第一图像模型中的顶点乘以第二投影矩阵后,得到每个顶点投影后的坐标;检测每个顶点投影后的坐标是否在第二投影矩阵对应近平面的范围内;若是,则将该顶点确定为导航顶点;若否,则将该顶点确定为非导航顶点。其中,导航顶点投影到第二投影矩阵的近平面之后可被用户看到,而非导航顶点投用后不可被用户看到。
具体地,若第一图像模型按照经度分为180个圆,每个圆上分配30个点,则CPU遍历第一图像转换模型中的每个顶点,即遍历的顶点数量为180*30,每遍历一个顶点时,根据第二投影矩阵和该顶点,确定该顶点是否为导航顶点。具体地,利用第二投影矩阵和该顶点的顶点坐标进行相乘,以确定该顶点投影后的坐标,若投影后的坐标在第二投影矩阵对应的近平面的范围内,则确定为导航顶点,否则,确定该顶点为非导航顶点。可以理解地,第二投影矩阵确定后,第二投影矩阵所对应的近平面的范围也是确定的。若投影后坐标(x1,y1,z1)中的x1和y1的坐标在[-1,1]的范围内,即-1≤x1≤1,且-1≤y1≤1,则确定投影后的坐标在第二投影矩阵对应的近平面的范围内。确定了导航顶点后,将导航顶点所对应的区域作为第二视角图像对应第一图像模型内的导航区域。需要注意的是,这里不需要判断z1投影后的坐标,因此近平面是二维的,所有的z轴坐标是相等的。z1投影后的坐标后续会用来做景深,以实现近大远小的效果。
可以简单理解,在第一图像模型外侧,利用第一投影矩阵与第一图像模型的顶点相乘,经过裁剪渲染等后为第一视角图像;在第二图像模型内部,利用第二投影矩阵与第二图像模型的顶点相乘,经过裁剪渲染等后为第二视角图像;那么利用内部的第二投影矩阵和第一图像模型相乘之后,就可以得出第一图像模型中的哪些顶点可投影至第二投影矩阵的近平面上,将所得到的顶点作为导航顶点。
其中,得到的导航顶点为三维点。将导航顶点所在的区域作为第二视角图像在第一视角图像对应的第一图像模型内的三维导航区域。
104,处理三维导航区域,得到导航图像,并在第一窗口内突出显示导航图像,导航图像表示第二视角图像在第一视角图像中的位置。
具体地,处理三维导航区域,得到导航图像,并在第一窗口内突出显示导航图像的步骤,包括:确定导航顶点所对应的纹理坐标;将纹理坐标拷贝至GPU中,以使GPU根据所述纹理坐标通过预设方式处理(即渲染)三维导航区域,得到导航图像,以在第一窗口内突出显示导航图像。其中,通过CPU计算出导航顶点后,确定导航顶点所对应的纹理坐标,并将导航顶点所对应的纹理坐标通过CPU拷贝至GPU中,以使GPU通过预设方式处理导航顶点所对应的三维导航区域,得到导航图像,以在第一窗口内突出显示导航图像。导航图像,表示第二视角图像在第一视角图像中的位置。
其中,获取第一窗口中的第三显示控件,将第三显示控件设置于第一显示控件之上,以通过第三显示控件显示导航图像。
其中,根据所述纹理坐标通过预设方式处理三维导航区域,得到导航图像,以在第一窗口内突出显示导航图像的步骤,包括:获取第一预设纹理,该第一预设纹理包括预设颜色或者预设图片;在第一窗口内利用GPU根据第一预设纹理、纹理坐标渲染三维导航区域,得到导航图像,以突出显示导航图像。具体地,将纹理坐标所对应的纹理设置为第一预设纹理,利用GPU根据所设置的纹理(即第一预设纹理)渲染三维导航区域。如此,通过预设颜色或者预设图片渲染三维导航区域,得到导航图像,达到突出显示导航图像的目的。
进一步地,根据所述纹理坐标通过预设方式处理三维导航区域,得到导航图像,以在第一窗口内突出显示导航图像的步骤,包括:获取第一预设纹理和第一预设透明度,该第一预设纹理包括预设颜色或者预设图片;在第一窗口内利用GPU根据第一预设纹理、第一预设透明度、纹理坐标渲染三维导航区域,得到导航图像,以突出显示导航图像。具体地,将纹理坐标所对应的纹理设置为第一预设纹理,并设置第一预设纹理的透明度为第一预设透明度;利用GPU根据所设置的纹理渲染三维导航区域。如此,将三维导航区域渲染为第一预设纹理,且显示的透明度为第一预设透明度,达到突出显示导航图像的目的。
进一步地,将三维导航区域之外的区域作为非三维导航区域,具体地,根据所述纹理坐标通过预设方式处理三维导航区域,得到导航图像,以在第一窗口内突出显示导航图像的步骤,包括:
获取第一预设纹理、第一预设透明度,以及第二预设透明度,其中,第二预设透明度小于第一预设透明度,第一预设纹理为预设颜色或者预设图片;在第一窗口内利用GPU根据第一预设纹理、第一预设透明度和纹理坐标渲染三维导航区域,得到导航图像,以突出显示导航图像的目的;利用GPU将非三维导航区域渲染为第二预设透明度。其中,利用GPU根据第一预设纹理、第一预设透明度和纹理坐标渲染三维导航区域,具体包括:将纹理坐标所对应的纹理设置为第一预设纹理,并设置第一预设纹理的透明度为第一预设透明度,利用GPU根据所设置的纹理渲染三维导航区域,以将三维导航区域渲染为第一预设纹理,且显示的透明度为第一预设透明度。
可以理解地,为了不遮挡第一视角图像中非三维导航区域所对应的区域,以提高显示效果,将第二预设透明度设置为0.8以下,如可设置第二预设透明度为0。为了突出显示导航图像,可将第一预设透明度设置为(0,1)之间,为了不会将第一视角图像中导航图像所对应的区域完全覆盖,以提高用户体验,可设置第一预设透明度为0.8。其中,预设颜色可以设置为红色,以突出显示导航图像。
如图11中的左图所示,导航图像43和渲染后的非三维导航区域位于第一视角图像之上,且当前第一预设透明度不为1,通过导航图像43还可以看到位于导航图像43之下的第一视角图像对应的部分区域,位于导航图像43之下的第一视角图像对应的部分区域,与第二视角图像一致。由于第二预设透明度为0,因此,渲染后的非三维导航区域是透明的,并不能被人眼看到。
在其他的一些情况下,将三维导航区域之外的区域作为非三维导航区域,具体地,根据所述纹理坐标通过预设方式处理三维导航区域,得到导航图像,以在第一窗口内突出显示导航图像的步骤,包括:
获取第一预设纹理、第一预设透明度,以及第二预设纹理、第二预设透明度,其中,第二预设透明度小于第一预设透明度,第一预设纹理为第一预设颜色或者第一预设图片,第二预设纹理为第二预设颜色或者第二预设图片;在第一窗口内利用GPU根据第一预设纹理、第一预设透明度、纹理坐标渲染三维导航区域,得到导航图像,以突出显示导航图像;在第一窗口内利用GPU根据第二预设纹理、第二预设透明度渲染非三维导航区域。
其中,利用GPU根据第一预设纹理、第一预设透明度、纹理坐标渲染三维导航区域,包括:将纹理坐标所对应的纹理设置为第一预设纹理,并设置第一预设纹理的透明度为第一预设透明度;根据所设置的纹理渲染三维导航区域,以将三维导航区域渲染为第一预设纹理,且显示的透明度为第一预设透明度。利用GPU根据第二预设纹理、第二预设透明度渲染非三维导航区域,包括:将非三维导航区域所对应的纹理设置为第二预设纹理,并设置第二预设纹理的透明度为第二预设透明度;根据所设置的纹理渲染非三维导航区域,以将非三维导航区域渲染为第二预设纹理,且显示的透明度为第二预设透明度。其中,第一预设透明度、第二预设透明度的设置可参看上文中的描述;第一预设纹理和第二预设纹理可相同,也可不同。将三维导航区域突出显示,将非三维导航区域也利用第二预设纹理进行渲染,并设置为第二预设透明度。
上述实施例中区分三维导航区域和非三维导航区域,进一步突出显示导航图像,提高用户体验。
如此,通过将当前第二窗口上显示的第二视角图像对应于第一视角图像中的位置进行突出显示,即根据导航图像使得用户可以很清晰的知道第二窗口内显示的第二视角图像,处于第一窗口内显示的第一视角图像中的哪个位置,以建立不同视角下的图像之间的关联关系,进一步提高对图像数据内容的理解效率,且便于用户调整所观看的区域,便于引导用户快速找到所关注区域,提高用户定位图像数据中所关注区域的速度,提升用户体验。
需要注意的是,本申请实施例中的第一投影矩阵和第二投影矩阵对应为MVP矩阵,其中,MVP=prespective*view*model。model矩阵对应的是图像模型的操作矩阵。view矩阵主要对应的是虚拟相机的位置点、朝向等,prespective矩阵对应的是虚拟相机的欧拉角、近平面、远平面等信息。
根据上述实施例所描述的方法,本实施例将从图像展示装置的角度进一步进行描述,该图像展示装置具体可以作为独立的实体来实现,也可以集成在电子设备中来实现。
如图12所示,该图像展示装置包括第一确定模块301、图像展示模块302、第二确定模块303以及处理展示模块304。
第一确定模块301,用于根据历史操作数据确定数据展示界面中的第一窗口和第二窗口的大小和位置。
在一实施例中,如图13所示,第一确定模块301,包括生成单元3011、接收单元3012、界面划分单元3013、标记单元3014以及窗口展示单元3015。
生成单元3011,用于生成数据展示界面对应的初始界面。
在一实施例中,生成单元3011,具体用于:获取数据展示界面的显示尺寸;根据数据展示界面的显示尺寸确定初始界面的显示尺寸;根据初始界面的显示尺寸生成数据展示界面的初始界面。或者生成单元3011,具体用于获取数据展示界面中有效操作区域的尺寸和位置,以及数据显示界面的显示尺寸;根据数据展示界面的显示尺寸确定初始界面的显示尺寸;根据初始界面的显示尺寸生成数据展示界面的初始界面;根据有效操作区域的尺寸和位置,确定初始界面内用于采集历史操作数据的有效采集区域的尺寸和位置。
接收单元3012,用于通过所述初始界面接收所述当前用户的历史操作数据。
界面划分单元3013,用于根据所述初始界面那种各单位区域内被触发的历史操作数据,将所述数据展示界面划分为至少两个操作热度不同的显示区域;
标记单元3014,用于根据图像数据展示中的各展示窗口的历史操作频率数据,将各展示窗口标记为操作需求度不同的展示窗口,所述展示窗口包括第一窗口和第二窗口。
窗口展示单元3015,用于根据操作热度和所述操作需求度的对应关系,在所述初始界面的不同操作热度的显示区域内显示对应操作需求度的展示窗口,得到数据展示界面。
图像展示模块302,用于通过数据展示界面的第一窗口显示大视角下的第一视角图像,通过第二窗口显示小视角下的第二视角图像。
第二确定模块303,用于根据用户在第二窗口上的控制操作确定第二视角图像在第一视角图像对应的第一图像模型内的三维导航区域。
其中,第二确定模块303,包括:矩阵确定单元、图像更新展示单元以及区域确定单元。其中,矩阵确定单元,用于根据用户在第二窗口上的控制操作确定第二投影矩阵。更新处理展示单元,用于根据第二投影矩阵和第二图像模型,以及图像数据更新小视角下的第二视角图像,并在第二窗口显示第二视角图像。区域确定单元,用于根据第二投影矩阵和第一图像模型确定第二视角图像在第一视角图像对应的第一图像模型内的三维导航区域。
具体地,区域确定单元,具体用于根据第二投影矩阵和第一图像模型,从第一图像模型的顶点中,确定投影至第二投影矩阵对应近平面中的导航顶点;将导航顶点所对应的区域作为第二视角图像在第一视角图像对应的第一图像模型内的三维导航区域。
其中,根据第二投影矩阵和第一图像模型,从第一图像模型的顶点中,确定投影至第二投影矩阵对应近平面中的导航顶点的步骤,具体包括以下步骤:遍历第一图像模型中的每个顶点;从每个顶点(多个顶点)中确定投影至所述第二投影矩阵对应近平面中的导航顶点。
其中,从每个顶点中确定投影至所述第二投影矩阵对应近平面中的导航顶点的步骤,包括:根据第二投影矩阵,确定每个顶点投影后的坐标,如将第一图像模型中的顶点乘以第二投影矩阵后,得到每个顶点投影后的坐标;检测每个顶点投影后的坐标是否在第二投影矩阵对应近平面的范围内;若是,则将该顶点确定为导航顶点;若否,则将该顶点确定为非导航顶点。
处理展示模块304,用于处理三维导航区域,得到导航图像,并在第一窗口内突出显示导航图像,导航图像表示第二视角图像在第一视角图像中的位置。
具体地,处理展示模块304,包括纹理确定单元和区域处理单元。其中,纹理确定单元,用于确定导航顶点所对应的纹理坐标。区域处理单元,用于将纹理坐标拷贝至GPU中,以使GPU根据所述纹理坐标通过预设方式处理(即渲染)三维导航区域,得到导航图像,以在第一窗口内突出显示导航图像。
所述图像展示装置还包括第一处理模块、第二处理模块。其中,第一处理模块,用于将图像数据进行处理后得到大视角下的第一视角图像,具体地,根据第一投影矩阵和第一图像模型将图像数据进行处理后得到大视角下的第一视角图像。第二处理模块,用于根据第二投影矩阵和图像数据生成小视角下的第二视角图像,具体地,根据第二投影矩阵、第二投影模型和图像数据生成小视角下的第二视角图像。
具体实施时,以上各个单元可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现。以上装置和各单元的具体实现过程,以及所达到的有益效果,可以参考前述方法实施例中的相应描述,为了描述的方便和简洁,在此不再赘述。
本申请实施例还提供一种电子设备,如图14所示,其示出了本申请实施例所涉及的电子设备的结构示意图,具体来讲:
该电子设备可以包括一个或者一个以上处理核心的处理器901、一个或一个以上计算机可读存储介质的存储器902、射频(Radio Frequency,RF)电路903、电源904、输入单元905、以及显示单元906等部件。本领域技术人员可以理解,图中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器901是该电子设备的控制中心,包括中央处理器和图形处理器,中央处理器和图形处理器相连接。其中,中央处理器利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器902内的软件程序和/或模块,以及调用存储在存储器902内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。可选的,中央处理器可包括一个或多个处理核心;优选的,中央处理器可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解地是,上述调制解调处理器也可以不集成到中央处理器中。图形处理器,主要实现对中央处理器传递过来的数据进行处理,如渲染等。
存储器902可用于存储软件程序(计算机程序)以及模块,处理器901通过运行存储在存储器902的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器902可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器902可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器902还可以包括存储器控制器,以提供处理器901对存储器902的访问。
RF电路903可用于收发信息过程中,信号的接收和发送,特别地,将基站的下行信息接收后,交由一个或者一个以上处理器901处理;另外,将涉及上行的数据发送给基站。通常,RF电路903包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(SIM)卡、收发信机、耦合器、低噪声放大器(LNA,Low Noise Amplifier)、双工器等。此外,RF电路903还可以通过无线通信与网络和其他设备通信。所述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(GSM,Global System of Mobilecommunication)、通用分组无线服务(GPRS,General Packet Radio Service)、码分多址(CDMA,Code Division Multiple Access)、宽带码分多址(WCDMA,Wideband CodeDivision Multiple Access)、长期演进(LTE,Long Term Evolution)、电子邮件、短消息服务(SMS,Short Messaging Service)等。
电子设备还包括给各个部件供电的电源904(比如电池),优选的,电源904可以通过电源管理系统与处理器901逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源904还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该电子设备还可包括输入单元905,该输入单元905可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地,在一个具体地实施例中,输入单元905可包括触敏表面以及其他输入设备。触敏表面,也称为触摸显示屏或者触控板,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面上或在触敏表面附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触敏表面可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器901,并能接收处理器901发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面。除了触敏表面,输入单元905还可以包括其他输入设备。具体地,其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
该电子设备还可包括显示单元906,该显示单元906可用于显示由用户输入的信息或提供给用户的信息以及电子设备的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元906可包括显示面板,可选的,可以采用液晶显示器(LCD,Liquid Crystal Display)、有机发光二极管(OLED,Organic Light-Emitting Diode)等形式来配置显示面板。进一步的,触敏表面可覆盖显示面板,当触敏表面检测到在其上或附近的触摸操作后,传送给处理器901以确定触摸事件的类型,随后处理器901根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图中,触敏表面与显示面板是作为两个独立的部件来实现输入和输入功能,但是在某些实施例中,可以将触敏表面与显示面板集成而实现输入和输出功能。
尽管未示出,电子设备还可以包括摄像头(需要注意的是,该处的摄像头与上述所述的虚拟相机不同,该处的摄像头指的是硬件)、蓝牙模块等,在此不再赘述。具体在本实施例中,电子设备中的处理器901会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器902中,并由处理器901来运行存储在存储器902中的应用程序,从而实现各种功能,如下:
根据历史操作数据确定数据展示界面中的第一窗口和第二窗口的大小和位置;通过所述数据展示界面的第一窗口显示大视角下的第一视角图像,通过所述第二窗口显示小视角下的第二视角图像;根据用户在第二窗口上的控制操作确定所述第二视角图像在所述第一视角图像对应的第一图像模型内的三维导航区域;处理所述三维导航区域,得到导航图像,并在第一窗口内突出显示所述导航图像,所述导航图像表示所述第二视角图像在所述第一视角图像中的位置。
该电子设备可以实现本申请实施例所提供的图像数据展示方法任一实施例中的步骤,因此,可以实现本申请实施例所提供的任一图像数据展示方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令(计算机程序)来完成,或通过指令(计算机程序)控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。为此,本发明实施例提供一种存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本发明实施例所提供的图像数据展示方法中任一实施例的步骤。
其中,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令,可以执行本发明实施例所提供的任一图像数据展示方法实施例中的步骤,因此,可以实现本发明实施例所提供的任一图像数据展示方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
以上对本申请实施例所提供的一种图像数据展示方法、装置、电子设备以及存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种图像数据展示方法,其特征在于,包括:
根据历史操作数据确定数据展示界面中的第一窗口和第二窗口的大小和位置;
通过所述数据展示界面的第一窗口显示大视角下的第一视角图像,通过所述第二窗口显示小视角下的第二视角图像;
根据用户在第二窗口上的控制操作确定所述第二视角图像在所述第一视角图像对应的第一图像模型内的三维导航区域;
处理所述三维导航区域,得到导航图像,并在第一窗口内突出显示所述导航图像,所述导航图像表示所述第二视角图像在所述第一视角图像中的位置。
2.根据权利要求1所述的图像数据展示方法,其特征在于,所述根据历史操作数据确定数据展示界面中的第一窗口和第二窗口的大小和位置的步骤,包括:
生成所述数据展示界面对应的初始界面;
通过所述初始界面接收所述当前用户的历史操作数据;
根据所述初始界面中各单位区域内被触发的历史操作数据,将所述初始界面划分为至少两个操作热度不同的显示区域;
根据图像数据展示中的各展示窗口的历史操作频率数据,将各展示窗口标记为操作需求度不同的展示窗口,所述展示窗口包括第一窗口和第二窗口;
根据操作热度和所述操作需求度的对应关系,在所述初始界面对应的不同操作热度的显示区域内显示对应操作需求度的展示窗口,得到所述数据展示界面。
3.根据权利要求1所述的图像数据展示方法,其特征在于,所述根据用户在第二窗口上的控制操作确定所述第二视角图像对应所述第一视角图像对应的第一图像模型内的三维导航区域的步骤,包括:
根据用户在第二窗口上的控制操作确定第二投影矩阵;
根据所述第二投影矩阵和第二图像模型,以及鱼眼摄像头采集的图像数据更新小视角下的第二视角图像,并在所述第二窗口显示所述第二视角图像,所述第二投影矩阵和第一视角图像对应的第一投影矩阵不相同,所述第一图像模型和所述第二图像模型相同;
根据所述第二投影矩阵和所述第一图像模型确定所述第二视角图像在所述第一视角图像对应的第一图像模型内的三维导航区域。
4.根据权利要求3所述的图像数据展示方法,其特征在于,所述根据所述第二投影矩阵和所述第一图像模型确定所述第二视角图像在所述第一视角图像对应的第一图像模型内的三维导航区域的步骤,包括:
根据所述第二投影矩阵和所述第一图像模型,从所述第一图像模型的顶点中,确定投影至所述第二投影矩阵对应投影面中的导航顶点;
将所述导航顶点所对应的区域作为所述第二视角图像对应所述第一图像模型内的三维导航区域。
5.根据权利要求4所述的图像数据展示方法,其特征在于,所述根据所述第二投影矩阵和所述第一图像模型,从所述第一图像模型的顶点中,确定投影至所述第二投影矩阵对应投影面中的导航顶点的步骤,包括:
遍历所述第一图像模型中的每个顶点;
从所述顶点中确定投影至所述第二投影矩阵对应投影面中的导航顶点。
6.根据权利要求1所述的图像数据展示方法,其特征在于,所述第一视角图像是根据第一投影矩阵和第一图像模型将鱼眼摄像头采集的图像数据进行处理后得到的。
7.一种图像数据展示装置,其特征在于,包括:
第一确定模块,用于根据历史操作数据确定数据展示界面中的第一窗口和第二窗口的大小和位置;
图像展示模块,用于通过所述数据展示界面的第一窗口显示大视角下的第一视角图像,通过所述第二窗口显示小视角下的第二视角图像;
第二确定模块,用于根据用户在第二窗口上的控制操作确定所述第二视角图像在所述第一视角图像对应的第一图像模型内的三维导航区域;
处理展示模块,用于处理所述三维导航区域,得到导航图像,并在第一窗口内突出显示所述导航图像,所述导航图像表示所述第二视角图像在所述第一视角图像中的位置。
8.根据权利要求7所述的图像数据展示装置,其特征在于,所述第一确定模块,包括:
生成单元,用于生成所述数据展示界面对应的初始界面;
接收单元,用于通过所述初始界面接收所述当前用户的历史操作数据;
界面划分单元,用于根据所述初始界面那种各单位区域内被触发的历史操作数据,将所述数据展示界面划分为至少两个操作热度不同的显示区域;
标记单元,用于根据图像数据展示中的各展示窗口的历史操作频率数据,将各展示窗口标记为操作需求度不同的展示窗口,所述展示窗口包括第一窗口和第二窗口;
窗口展示单元,用于根据操作热度和所述操作需求度的对应关系,在所述初始界面对应的不同操作热度的显示区域内显示对应操作需求度的展示窗口,得到所述数据展示界面。
9.一种电子设备,其特征在于,包括:一个或多个处理器;存储器;以及一个或多个计算机程序,其中所述处理器和所述存储器相连接,所述一个或多个计算机程序被存储于所述存储器中,并配置为由所述处理器执行上述权利要求1至6任一项所述的图像数据展示方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时,实现上述权利要求1至6任一项所述的图像数据展示方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011118414.6A CN112308766B (zh) | 2020-10-19 | 2020-10-19 | 一种图像数据展示方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011118414.6A CN112308766B (zh) | 2020-10-19 | 2020-10-19 | 一种图像数据展示方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112308766A true CN112308766A (zh) | 2021-02-02 |
CN112308766B CN112308766B (zh) | 2023-11-24 |
Family
ID=74327901
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011118414.6A Active CN112308766B (zh) | 2020-10-19 | 2020-10-19 | 一种图像数据展示方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112308766B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114579023A (zh) * | 2021-12-13 | 2022-06-03 | 北京市建筑设计研究院有限公司 | 一种建模方法、装置及电子设备 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013089751A1 (en) * | 2011-12-15 | 2013-06-20 | Intel Corporation | Techniques for enhancing multiple view performance in a three dimensional pipeline |
WO2014043814A1 (en) * | 2012-09-21 | 2014-03-27 | Tamaggo Inc. | Methods and apparatus for displaying and manipulating a panoramic image by tiles |
US20140115535A1 (en) * | 2012-10-18 | 2014-04-24 | Dental Imaging Technologies Corporation | Overlay maps for navigation of intraoral images |
CN104268887A (zh) * | 2014-09-30 | 2015-01-07 | 深圳市科松电子有限公司 | 一种适用于多场景切换的相机姿态标定方法和装置 |
US20160080699A1 (en) * | 2014-09-17 | 2016-03-17 | Kay-Ulrich Scholl | Object visualization in bowl-shaped imaging systems |
US20180144547A1 (en) * | 2015-06-30 | 2018-05-24 | Matterport, Inc. | Mobile capture visualization incorporating three-dimensional and two-dimensional imagery |
CN108133454A (zh) * | 2016-12-01 | 2018-06-08 | 阿里巴巴集团控股有限公司 | 空间几何模型图像切换方法、装置、系统及交互设备 |
US20180270417A1 (en) * | 2017-03-15 | 2018-09-20 | Hiroshi Suitoh | Image processing apparatus, image capturing system, image processing method, and recording medium |
US10270959B1 (en) * | 2014-11-03 | 2019-04-23 | Alarm.Com Incorporated | Creating preview images for controlling pan and tilt cameras |
-
2020
- 2020-10-19 CN CN202011118414.6A patent/CN112308766B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013089751A1 (en) * | 2011-12-15 | 2013-06-20 | Intel Corporation | Techniques for enhancing multiple view performance in a three dimensional pipeline |
WO2014043814A1 (en) * | 2012-09-21 | 2014-03-27 | Tamaggo Inc. | Methods and apparatus for displaying and manipulating a panoramic image by tiles |
US20140115535A1 (en) * | 2012-10-18 | 2014-04-24 | Dental Imaging Technologies Corporation | Overlay maps for navigation of intraoral images |
US20160080699A1 (en) * | 2014-09-17 | 2016-03-17 | Kay-Ulrich Scholl | Object visualization in bowl-shaped imaging systems |
CN104268887A (zh) * | 2014-09-30 | 2015-01-07 | 深圳市科松电子有限公司 | 一种适用于多场景切换的相机姿态标定方法和装置 |
US10270959B1 (en) * | 2014-11-03 | 2019-04-23 | Alarm.Com Incorporated | Creating preview images for controlling pan and tilt cameras |
US20180144547A1 (en) * | 2015-06-30 | 2018-05-24 | Matterport, Inc. | Mobile capture visualization incorporating three-dimensional and two-dimensional imagery |
CN108133454A (zh) * | 2016-12-01 | 2018-06-08 | 阿里巴巴集团控股有限公司 | 空间几何模型图像切换方法、装置、系统及交互设备 |
US20180270417A1 (en) * | 2017-03-15 | 2018-09-20 | Hiroshi Suitoh | Image processing apparatus, image capturing system, image processing method, and recording medium |
Non-Patent Citations (2)
Title |
---|
RAMI ALKHAWAJI,ETC: "Video analysis for Yellow Box Junction violation: Requirements, challenges and solutions", 《2016 IEEE INTERNATIONAL SMART CITIES CONFERENCE (ISC2)》 * |
魏金明,等: "基于AE的二三维一体化GIS技术研究", 《城市勘测》, pages 89 - 92 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114579023A (zh) * | 2021-12-13 | 2022-06-03 | 北京市建筑设计研究院有限公司 | 一种建模方法、装置及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN112308766B (zh) | 2023-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3955212A1 (en) | Shadow rendering method and apparatus, computer device and storage medium | |
US10055879B2 (en) | 3D human face reconstruction method, apparatus and server | |
WO2019184889A1 (zh) | 增强现实模型的调整方法、装置、存储介质和电子设备 | |
CN109165606B (zh) | 一种车辆信息的获取方法、装置以及存储介质 | |
CN111833243B (zh) | 一种数据展示方法、移动终端和存储介质 | |
CN112017133B (zh) | 一种图像展示方法、装置及电子设备 | |
CN111813290B (zh) | 一种数据处理方法、装置以及电子设备 | |
CN112150560B (zh) | 确定消失点的方法、装置及计算机存储介质 | |
KR102633468B1 (ko) | 핫스팟 맵 표시 방법 및 장치, 그리고 컴퓨터 기기와 판독 가능한 저장 매체 | |
EP3618006B1 (en) | Image processing method and apparatus | |
CN108665510B (zh) | 连拍图像的渲染方法、装置、存储介质及终端 | |
CN110717964B (zh) | 场景建模方法、终端及可读存储介质 | |
CN112308103B (zh) | 生成训练样本的方法和装置 | |
CN112308768B (zh) | 一种数据处理方法、装置、电子设备以及存储介质 | |
CN112308766B (zh) | 一种图像数据展示方法、装置、电子设备及存储介质 | |
CN113409468A (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
CN109842722B (zh) | 一种图像处理方法及终端设备 | |
CN112308767B (zh) | 一种数据展示方法、装置、存储介质以及电子设备 | |
CN113592997B (zh) | 基于虚拟场景的物体绘制方法、装置、设备及存储介质 | |
CN113350792B (zh) | 虚拟模型的轮廓处理方法、装置、计算机设备及存储介质 | |
CN112308757B (zh) | 一种数据展示方法和移动终端 | |
CN112181230A (zh) | 一种数据展示方法、装置以及电子设备 | |
CN112184543B (zh) | 一种用于鱼眼摄像头的数据展示方法和装置 | |
CN109194943B (zh) | 一种图像处理方法及终端设备 | |
CN108540726B (zh) | 连拍图像的处理方法、装置、存储介质及终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |