CN106873933B - 显示方法及电子设备 - Google Patents

显示方法及电子设备 Download PDF

Info

Publication number
CN106873933B
CN106873933B CN201710104361.4A CN201710104361A CN106873933B CN 106873933 B CN106873933 B CN 106873933B CN 201710104361 A CN201710104361 A CN 201710104361A CN 106873933 B CN106873933 B CN 106873933B
Authority
CN
China
Prior art keywords
panoramic image
image
target
source
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710104361.4A
Other languages
English (en)
Other versions
CN106873933A (zh
Inventor
盛兴东
高江涛
王琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN201710104361.4A priority Critical patent/CN106873933B/zh
Publication of CN106873933A publication Critical patent/CN106873933A/zh
Priority to US15/905,206 priority patent/US10764493B2/en
Application granted granted Critical
Publication of CN106873933B publication Critical patent/CN106873933B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1415Digital output to display device ; Cooperation and interconnection of the display device with other functional units with means for detecting differences between the image stored in the host and the images displayed on the displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Abstract

本发明实施例提供了一种显示方法及电子设备,电子设备显示源全景影像,在获取到从源全景影像切换至目的全景影像的切换指令后,会依据显示源全景影像的过程中的显示视角,确定目的全景影像的初始显示视角,且在切换至目的全景影像时,显示目的全景影像位于初始显示视角的图像,实现了两个影像之间的切换显示。

Description

显示方法及电子设备
技术领域
本发明涉及虚拟现实技术,更具体涉及显示方法及电子设备。
背景技术
随着VR(Virtual Reality,虚拟现实)技术的不断发展,越来越多的电子设备融入了VR功能。为了用户能够更好的体验VR技术,可以在电子设备中导入通过全景相机拍摄的影像,或,利用电子设备虚拟影像,例如图像和视频,从而可以身临其境的体验各种场景,例如观看球赛、看房子等。
用户携带电子设备观看影像时,涉及影像之间的切换。目前,急需一种影像之间切换的显示方法。
发明内容
有鉴于此,本发明提供了一种显示方法及电子设备,以克服现有技术中急需一种影像之间切换的显示方法的问题。
为实现上述目的,本发明提供如下技术方案:
一种显示方法,应用于电子设备,所述显示方法包括:
显示源全景影像;
获取从源全景影像切换至目的全景影像的切换指令;
依据显示所述源全景影像的过程中的显示视角,确定所述目的全景影像的初始显示视角;
在切换至所述目的全景影像时,显示所述目的全景影像位于所述初始显示视角的影像。
其中,所述依据显示所述源全景影像的过程中的显示视角,确定所述目的全景影像的初始显示视角包括:
将以所述源全景影像对应的第一观测位置为起点,以所述目的全景影像对应的第二观测位置为终点的连线方向,确定为所述初始显示视角。
其中,所述依据显示所述源全景影像的过程中的显示视角,确定所述目的全景影像的初始显示视角包括:
获取切换至所述目的全景影像前所述源全景影像的显示视角;
依据所述切换至所述目的全景影像前所述源全景影像的显示视角,确定所述初始显示视角。
其中,所述依据所述切换至所述目的全景影像前所述源全景影像的显示视角,确定所述初始显示视角包括:
确定以所述显示视角显示的所述源全景影像中的视角范围影像;
确定出所述目的全景影像中,与所述视角范围影像中相匹配的特征点最多的匹配影像;
依据所述视角范围影像与所述匹配影像,确定所述初始显示视角。
其中,所述依据显示所述源全景影像的过程中的显示视角,确定所述目的全景影像的初始显示视角包括:
从所述源全景影像中确定追踪目标;
确定所述追踪目标在所述目的全景影像中的目标位置;
将对应所述目标位置的视角确定为所述初始显示视角。
其中,所述依据显示所述源全景影像的过程中的显示视角,确定所述目的全景影像的初始显示视角包括:
确定从源全景影像切换至目的全景影像过程中,所述电子设备的偏移角度;
获取以所述显示视角显示所述源全景影像中的视角范围影像,与所述源全景影像对应的第一观测位置的相对位置;
基于所述相对位置以及所述偏移角度,确定所述初始显示视角。
其中,所述显示所述目的全景影像位于所述初始显示视角的图像包括:
将所述目的全景影像与所述源全景影像相匹配的匹配区域进行组合,获得至少一个组合影像;
依次显示所述源全景影像、所述至少一个组合影像、所述目的全景影像中,位于所述初始显示视角的图像。
一种电子设备,包括:
显示器,用于显示全景影像多个视角的图像;
所述处理器,用于:
控制所述显示器显示源全景影像;
获取从源全景影像切换至目的全景影像的切换指令;
依据显示所述源全景影像的过程中的显示视角,确定所述目的全景影像的初始显示视角;
控制所述显示器在切换至所述目的全景影像时,显示所述目的全景影像位于所述初始显示视角的图像。
其中,所述处理器在依据显示所述源全景影像的过程中的显示视角,确定所述目的全景影像的初始显示视角时,具体用于:
将以所述源全景影像对应的第一观测位置为起点,以所述目的全景影像对应的第二观测位置为终点的连线方向,确定为所述初始显示视角;
或,
获取切换至所述目的全景影像前所述源全景影像的显示视角;
依据所述切换至所述目的全景影像前所述源全景影像的显示视角,确定所述初始显示视角;
或,
从所述源全景影像中确定追踪目标;
确定所述追踪目标在所述目的全景影像中的目标位置;
依据所述目的全景影像对应的所述第二观测位置以及所述目标位置,确定所述初始显示视角;
或,
确定从源全景影像切换至目的全景影像过程中,所述电子设备的偏移角度;
获取以所述显示视角显示所述源全景影像中的视角范围影像,与所述源全景影像对应的第一观测位置的相对位置;
基于所述相对位置以及所述偏移角度,确定所述初始显示视角。
其中,所述处理器在显示所述目的全景影像位于所述初始显示视角的图像时,具体用于:
将所述目的全景影像与所述源全景影像相匹配的匹配区域进行组合,获得至少一个组合影像;
依次显示所述源全景影像、所述至少一个组合影像、所述目的全景影像中,位于所述初始显示视角的图像。
经由上述的技术方案可知,与现有技术相比,本发明实施例提供了一种显示方法,电子设备显示源全景影像,在获取到从源全景影像切换至目的全景影像的切换指令后,会依据显示源全景影像的过程中的显示视角,确定目的全景影像的初始显示视角,且在切换至目的全景影像时,显示目的全景影像位于初始显示视角的图像,实现了两个影像之间的切换显示。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种显示方法的流程示意图;
图2为本发明实施例提供的一种显示方法中初始显示视角的方向示意图;
图3为本发明实施例提供的以同一显示视角显示源全景影像和目的全景影像的示意图;
图4为本发明实施例提供的显示方法中依据所述切换至所述目的全景影像前所述源全景影像的显示视角,确定所述初始显示视角的一种实现方式的方法流程示意图;
图5为以图4所示方式确定的初始显示视角显示目的全景影像时的目的影像的示意图;
图6为本发明实施例提供的一种显示方法中依据显示所述源全景影像的过程中的显示视角,确定所述目的全景影像的初始显示视角的一种实现方法流程图;
图7为本发明实施例提供的显示方法中显示所述目的全景影像位于所述初始显示视角的图像的一种实现方式的方法流程示意图;
图8为本发明实施例提供的一种源全景影像和目的全景影像之间的融合示意图;
图9为本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供的一种用于各影像之间切换显示的显示方法,可以应用于电子设备,例如VR设备、具有VR功能的智能电视、具有VR功能的计算机等等。
如图1所示,为本发明实施例提供的一种显示方法的流程示意图,该方法包括:
步骤S101:显示源全景影像。
电子设备中存储的全景影像可以是通过360°全景相机拍摄获得的实际影像,也可以是电子设备制作出的全景影像。
步骤S102:获取从源全景影像切换至目的全景影像的切换指令。
源全景影像和目的全景影像是相对而言的,例如从全景影像1切换至全景影像2,则全景影像1为源全景影像,全景影像2为目的全景影像。
电子设备生成“从源全景影像切换至目的全景影像的切换指令”的方法有多种,本发明实施例提供但不限于以下几种。
第一种:用户携带电子设备或与电子设备配套的VR眼镜时,电子设备可以检测到用户旋转角度(若用户头部携带电子设备或与电子设备配套的VR眼镜,则可以检测用户头部的转动角度)。具体的电子设备中可以包括陀螺仪,陀螺仪可以检测用户的旋转角度,从而生成“从源全景影像切换至目的全景影像的切换指令”。
第二种,电子设备以显示视角显示源全景影像的过程中,用户可以通过手势控制切换,即预先在电子设备中存储切换手势,当用户产生相应切换手势时,生成“从源全景影像切换至目的全景影像的切换指令”。
第三种,用户携带电子设备或与电子设备配套的VR眼镜走动,电子设备可以检测到用户的走动方位,从而生成“从源全景影像切换至目的全景影像的切换指令”。
第四种,根据全景影像中的内容自动切换,即根据各全景影像中的内容自动确定哪一全景影像为目的全景影像,以及,根据源全景影像中的内容确定什么时刻进行切换,从而实现自动切换。
例如,用户希望从不同视角观看某个感兴趣的目标。例如,在进行全景足球直播中,用户从一个全景影像切换到另外一个全景影像时,希望始终看到的是足球或者某个球员所在的方向。此时,当源全景影像中没有用户感兴趣的目标时,确定需要进行切换;将具有用户感兴趣的目标的全景影像,确定为目的全景影像,并切换至目的全景影像。
步骤S103:依据显示所述源全景影像的过程中的显示视角,确定所述目的全景影像的初始显示视角。
由于源全景影像包括360°的全景影像,因此显示视角可以是指角度,可选的,可以建立空间坐标系,来确定以哪个角度显示源全景影像。
以不同的角度显示源全景影像中的影像不同,且影像的弯折程度不同。
假设建立球坐标系,显示视角可以为(0,60,0),表示仰视。若源全景影像包括天空的影像,则以该显示视角可以看到天空的影像。
显示视角还可以是指以该显示视角显示的源全景影像的视角范围影像相对于整体360°的源全景影像的位置。
例如,视角范围影像在源全景影像的左上角位置,或右上角位置等等。
显示视角还可以是指以该显示视角显示的源全景影像的视角范围影像相对于拍摄源全景影像的360°全景相机的位置。
当电子设备中的全景影像是由360°全景相机拍摄的实际影像时,以该显示视角显示的源全景影像中的视角范围影像,相对于360°全景相机的实际地理位置。例如,视角范围影像在360°全景相机的正东方向。
可以理解的是,用户在观看源全景影像时,由于人眼能够观测的范围有限,所以仅能观测源全景影像中的部分影像,相应的电子设备也可以仅显示源全景影像的相应部分影像,即显示视角不同,电子设备显示的源全景影像的部分影像不同,即源全景影像可以有多个不同的显示视角,本发明实施例中所提及的显示视角是指与距离当前时间最近的显示视角,即在生成“从源全景影像切换至目的全景影像的切换指令”时,源全景影像的最终的显示视角。
也正是因为对于同一全景影像而言,可能有多个显示视角,所以将在切换至目的全景影像时,与目的全景影像对应的最开始的显示视角称为初始显示视角。
在切换至目的全景影像后,目的全景影像的显示视角可能会发生变化。
步骤S104:在切换至所述目的全景影像时,显示所述目的全景影像位于所述初始显示视角的影像。
可以理解的是用户携带电子设备或与电子设备配套的VR眼镜,可以查看目的全景影像的360°影像,但是在某一时刻,电子设备仅显示目的全景影像中的部分影像,初始显示视角就确定了显示目的全景影像中哪部分的影像。
本发明实施例提供了一种显示方法,电子设备显示源全景影像,在获取到从源全景影像切换至目的全景影像的切换指令后,会依据显示源全景影像的过程中的显示视角,确定目的全景影像的初始显示视角,且在切换至目的全景影像时,显示目的全景影像位于初始显示视角的图像,实现了两个影像之间的切换显示。
可以理解的是,不同应用场景初始显示视角的确定方法不同。下面将以不同的应用场景为例,对初始显示视角的确定方法进行说明。
第一种应用场景,防止各全景影像之间切换时的跳跃性。
下面以看房子为例对各全景影像之间的切换具有跳跃性的过程进行说明。
假设用户当前观看的影像为门口处的影像,当用户需要看客厅的影像时,会将用户当前观看的影像切换成客厅的影像,若客厅的影像的初始显示视角是从客厅至门口,则对用户来讲,具有视觉上的跳跃性,因为对于用户来讲,应该是从门口至客厅。由于具有视觉上的跳跃性,对于用户来讲影像不是连续性的,用户为了确认当前是否切换正确,可能会反复切换两个影像。在观看全景影像时,需要对电子设备进行反复操作,导致电子设备数据处理效率下降。
因此,上述显示方法实施例中“依据显示所述源全景影像的过程中的显示视角,确定所述目的全景影像的初始显示视角”可以包括:将以所述源全景影像对应的第一观测位置为起点,以所述目的全景影像对应的第二观测位置为终点的连线方向,确定为所述初始显示视角。
若电子设备中存储的全景影像是通过360°全景相机拍摄的实际影像,则第一观测位置为拍摄源全景影像的360°全景相机所在的位置;第二观测位置为拍摄目的全景影像的360°全景相机所在的位置。
若电子设备中存储的全景影像是电子设备虚拟制作的,则第一观测位置为制作源全景影像时的基准位置,即以基准位置作为观测点虚拟出源全景影像;相应的,第二观测位置为制作目的全景影像时的基准位置。
如图2所示,为本发明实施例提供的一种显示方法中初始显示视角的方向示意图。图2中A点为第一观测位置,B点为第二观测位置,A点与B点的连线的矢量方向,即图2所示的实线箭头所示的方向,即为初始显示视角。
若A点为第二观测位置,B点为第一观测位置,则图2中虚线箭头所示的方向,即为初始显示视角。
结合上述具体的应用场景,则门口处的影像对应第一观测位置,客厅的影像对应第二观测位置,此时初始显示视角如图2所示的实线箭头所示的方向。
这种应用场景中,源全景影像和目的全景影像中可以有共同的影像,也可以没有共同的影像。两个全景影像在切换过程中,更加符合人的逻辑思维。
第二种应用场景,源全景影像位于显示视角的影像包含目的全景影像中部分影像。
下面以一具体例子进行说明,例如,源全景影像位于显示视角的影像包括某一物体,例如一个表格;目的全景影像也包括该表格,假设表格贴在客厅。源全景影像位于显示视角的影像是包含客厅门口和表格的影像。而用户最终目的是查看该表格,则用户可以从客厅门口不断接近表格,直至停在该表格前面。在这个过程中,显示视角一直是表格所在的方向。只不过随着用户的移动,电子设备显示的影像在不断发生变化。如图3所示,为本发明实施例提供的以同一显示视角显示源全景影像和目的全景影像的示意图。
图3中视角范围影像31是源全景影像位于显示视角的影像。目的影像32是目的全景影像的位于该显示视角的影像。
视角范围影像31中包括门口311以及表格312。
图3中视角范围影像31是远距离观测表格,目的影像32是近距离观测表格。从图3中可以看出由于是近距离观看,目的影像32的显示的表格的面积大于视角范围影像31中的表格,但是目的影像32显示的影像的范围小于视角范围影像31显示的影像的范围。
在实际应用中,用户携带电子设备或与电子设备配套的VR眼镜进行影像观看过程中,可以无需走动。电子设备中可以具有相应的向前走,或,向后走,或,向左走,或,向右走等等物理按键或虚拟按键,用户可以通过这些按键模拟自己运动的场景。
因此,上述显示方法实施例中“依据显示所述源全景影像的过程中的显示视角,确定所述目的全景影像的初始显示视角”可以包括:获取切换至所述目的全景影像前所述源全景影像的显示视角;依据所述切换至所述目的全景影像前所述源全景影像的显示视角,确定所述初始显示视角。
甚至可以将切换至所述目的全景影像前所述源全景影像的显示视角,确定为所述初始显示视角。
第二种应用场景中源全景影像和目的全景影像中有相同的影像。
第三种应用场景,是基于第二种应用场景之上的,即在源全景影像位于显示视角的影像包含目的全景影像中部分影像的情况下,如何以最佳的视角显示目的全景影像。
如图4所示,为本发明实施例提供的显示方法中依据所述切换至所述目的全景影像前所述源全景影像的显示视角,确定所述初始显示视角的一种实现方式的方法流程示意图,该方法包括:
步骤S401:确定以所述显示视角显示的所述源全景影像中的视角范围影像。
仍以图3为例,假设图3中视角范围影像31即为步骤S401中以所述显示视角显示的所述源全景影像中的视角范围影像。
步骤S402:确定出所述目的全景影像中,与所述视角范围影像中相匹配的特征点最多的匹配影像。
假设匹配影像为视角范围影像31中的虚线框框出的区域33。
步骤S403:依据所述视角范围影像与所述匹配影像,确定所述初始显示视角。
可以将匹配影像相对应的视角,确定为所述初始显示视角。
例如,将匹配影像在源全景影像中的位置,确定为初始显示视角。
将源全景影像仅显示匹配影像的显示视角,确定为初始显示视角。
如图5所示,为以图4所示方式确定的初始显示视角显示目的全景影像时的目的影像的示意图。
图3与图5对比可知,图5中表格位于目的影像的正中间,从而更好更完整的展示在用户面前,图3中表格位于目的影像的左上角。
第四种应用场景,电子设备预先存储有全景影像中各部分影像,与该全景影像相应的观测位置的相对位置。
若电子设备中的各全景影像是由360°全景相机拍摄的,则360°全景相机在拍摄过程中,会记录全景影像中各部分影像与360°全景相机的相对位置。
若电子设备中各全景影像是虚拟制作的,则会记录全景影像中各部分影像与该全景影像的基准位置的相对位置。
上述显示方法实施例中“依据显示所述源全景影像的过程中的显示视角,确定所述目的全景影像的初始显示视角”包括:
确定从源全景影像切换至目的全景影像过程中,所述电子设备的偏移角度;获取以所述显示视角显示所述源全景影像中的视角范围影像,与所述源全景影像对应的第一观测位置的相对位置;基于所述相对位置以及所述偏移角度,确定所述初始显示视角。
电子设备中可以包括陀螺仪,陀螺仪可以检测电子设备的偏移角度。假设视角范围影像相对于第一观测位置的方向为正东方向,偏移角度向右侧偏移45°,则初始显示视角为东北方向。
第五种应用场景,用户只关心全景影像中的某一热点目标。
用户希望从不同视角观看某个感兴趣的目标或者位置。例如,在进行全景足球直播中,用户从一个全景影像切换到另外一个全景影像时,希望始终看到的是足球或者某个球员所在的方向。针对这种应用场景,通过对每个全景影像增加一个热点视角来实现更好的用户体验。
如图6所示,为本发明实施例提供的一种显示方法中依据显示所述源全景影像的过程中的显示视角,确定所述目的全景影像的初始显示视角的一种实现方法流程图。该方法包括:
步骤S601:从所述源全景影像中确定追踪目标。
电子设备显示源全景影像时,用户可以通过相应的预设手势确定追踪目标,或者,在电子设备或与电子设备配套的VR眼镜上设置有控制装置,用户可以通过该控制装置(例如按钮或触摸板)确定追踪目标。
步骤S602:确定所述追踪目标在所述目的全景影像中的目标位置。
可以通过图像比对的方式,在源全景影像中获得追踪目标的特征,将目的全景影像中具有相应特征的物体作为追踪目标。
电子设备中预先存储了多个全景影像,目的全景影像的获取方法如下:
从各全景影像中,确定出包括所述追踪目标的各追踪全景影像;确定所述追踪目标在各追踪全景影像中的追踪位置信息;依据追踪位置信息确定各追踪全景影像之间的切换顺序。依据各追踪全景影像之间的切换顺序,确定目的全景影像。
追踪位置信息即追踪目标的运动方向信息。
步骤S603:将对应所述目标位置的视角确定为所述初始显示视角。
若电子设备中的全景影像是由360°全景相机拍摄获得的,则上述初始显示视角可以是拍摄目的全景影像的360°全景相机所在位置与目标位置的连线方向。
可以理解的是,源全景影像和目的全景影像之间可能具有相同的影像,如图3所示,视角范围影像31为源全景影像中的部分影像;目的影像32为目的全景影像中的部分影像。视角范围影像31和目的影像32中都包括表格。
可以理解的是,用户在正常生活中,若从远处走向某一物体,这个物体在用户的视野范围内会慢慢变大,下面的详细介绍一种实现上述效果的方法。即从源全景影像平滑过渡至目的全景影像。
如图7所示,为本发明实施例提供的显示方法中显示所述目的全景影像位于所述初始显示视角的图像的一种实现方式的方法流程示意图,该方法包括:
步骤S701:将所述目的全景影像与所述源全景影像相匹配的匹配区域进行组合,获得至少一个组合影像。
组合影像,是指从源全景影像切换至目的全景影像,依次显示的渲染影像。组合影像的个数越多,从视角范围影像31平滑过渡至目的影像32的过程就越平滑。
组合影像的获得方法包括:
依据各个组合影像显示的时间顺序信息,将属于目的全景影像中的匹配影像,与属于源全景影像中的匹配影像,进行仿射变换,获得至少一个组合影像,属于目的全景影像中的匹配影像,与属于源全景影像中的匹配影像中像素点的总行数相同,且像素点的总列数相同。
步骤S702:依次显示所述源全景影像、所述至少一个组合影像、所述目的全景影像中,位于所述初始显示视角的图像。
如图8所示,为本发明实施例提供的一种源全景影像和目的全景影像之间的融合示意图。
图8中示出了源全景影像中的视角范围影像81和目的全景影像的目的影像82。
首先对视角范围影像81和目的影像82分别进行放射变换,得到与视角范围影像81对应的第一影像83;与目的影像82对应的第二影像84。然后将第一影像83和第二影像84进行匹配,获得匹配影像。
视角范围影像81和目的影像82的匹配影像包括表格86,图8中示出了视角范围影像81和目的影像82中两个表格的匹配方式,如虚线所示。
第一影像83中包括匹配影像831,第二影像84中包括匹配影像841,如图8中实线框框出的部分。
将第一影像83中的匹配影像831和第二影像84中的匹配影像841进行融合,即获得一组合影像85。
将第一影像83中的匹配影像831和第二影像84中的匹配影像841进行融合的公式如下:
(MXk(i,j),MYk(i,j))=alphak*(IAX(i,j),IAY(i,j))+(1-alphak)(IBX(i,j),IBY(i,j));
alphak=(N-k)/(N+1)
其中,i为大于等于0小于匹配影像中像素点的总行数的正整数,j为大于等于0小于匹配影像中像素点的总列数的正整数,(MXk(i,j),MYk(i,j))为第k个组合影像中像素点(i,j)的像素值,(IAX(i,j),IAY(i,j))为目的全景影像中的匹配影像的像素点(i,j)的像素值,(IBX(i,j),IBY(i,j))为源全景影像中的匹配影像的像素点(i,j)的像素值,alphak为第k个组合影像的加权权值,N为组合影像的总数目,k为大于等于1小于等于N的正整数。
本发明实施例还提供了一种与显示方法相对应的电子设备,如图9所示为本发明实施例提供的电子设备的结构示意图,该电子设备包括:
显示器91,用于显示全景影像多个视角的图像;
所述处理器92,用于:
控制所述显示器显示源全景影像;
获取从源全景影像切换至目的全景影像的切换指令;
依据显示所述源全景影像的过程中的显示视角,确定所述目的全景影像的初始显示视角;
控制所述显示器在切换至所述目的全景影像时,显示所述目的全景影像位于所述初始显示视角的图像。
可选的,所述处理器在依据显示所述源全景影像的过程中的显示视角,确定所述目的全景影像的初始显示视角时,具体用于:
将以所述源全景影像对应的第一观测位置为起点,以所述目的全景影像对应的第二观测位置为终点的连线方向,确定为所述初始显示视角;
或,
获取切换至所述目的全景影像前所述源全景影像的显示视角;
依据所述切换至所述目的全景影像前所述源全景影像的显示视角,确定所述初始显示视角;
或,
从所述源全景影像中确定追踪目标;
确定所述追踪目标在所述目的全景影像中的目标位置;
依据所述目的全景影像对应的所述第二观测位置以及所述目标位置,确定所述初始显示视角;
或,
确定从源全景影像切换至目的全景影像过程中,所述电子设备的偏移角度;
获取以所述显示视角显示所述源全景影像中的视角范围影像,与所述源全景影像对应的第一观测位置的相对位置;
基于所述相对位置以及所述偏移角度,确定所述初始显示视角。
可选的,所述处理器在依据所述切换至所述目的全景影像前所述源全景影像的显示视角,确定所述初始显示视角时,具体用于:
确定以所述显示视角显示的所述源全景影像中的视角范围影像;
确定出所述目的全景影像中,与所述视角范围影像中相匹配的特征点最多的匹配影像;
依据所述视角范围影像与所述匹配影像,确定所述初始显示视角。
可选的,所述处理器在显示所述目的全景影像位于所述初始显示视角的图像时,具体用于:
将所述目的全景影像与所述源全景影像相匹配的匹配区域进行组合,获得至少一个组合影像;
依次显示所述源全景影像、所述至少一个组合影像、所述目的全景影像中,位于所述初始显示视角的图像。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (4)

1.一种显示方法,其特征在于,应用于电子设备,所述显示方法包括:
显示源全景影像;
获取从源全景影像切换至目的全景影像的切换指令;
依据显示所述源全景影像的过程中的显示视角,确定所述目的全景影像的初始显示视角;所述目的全景影像的初始显示视角用于确定显示目的全景影像中的影像;
在切换至所述目的全景影像时,显示所述目的全景影像位于所述初始显示视角的影像;
所述依据显示所述源全景影像的过程中的显示视角,确定所述目的全景影像的初始显示视角包括:
获取切换至所述目的全景影像前所述源全景影像的显示视角;
确定以所述显示视角显示的所述源全景影像中的视角范围影像;
确定出所述目的全景影像中,与所述视角范围影像中相匹配的特征点最多的匹配影像;
依据所述视角范围影像与所述匹配影像,确定所述初始显示视角;
或,所述依据显示所述源全景影像的过程中的显示视角,确定所述目的全景影像的初始显示视角包括:
从所述源全景影像中确定追踪目标;
确定所述追踪目标在所述目的全景影像中的目标位置;
将对应所述目标位置的视角确定为所述初始显示视角。
2.根据权利要求1所述显示方法,其特征在于,所述显示所述目的全景影像位于所述初始显示视角的图像包括:
将所述目的全景影像与所述源全景影像相匹配的匹配区域进行组合,获得至少一个组合影像;
依次显示所述源全景影像、所述至少一个组合影像、所述目的全景影像中,位于所述初始显示视角的图像。
3.一种电子设备,其特征在于,包括:
显示器,用于显示全景影像多个视角的图像;
处理器,用于:
控制所述显示器显示源全景影像;
获取从源全景影像切换至目的全景影像的切换指令;
依据显示所述源全景影像的过程中的显示视角,确定所述目的全景影像的初始显示视角;所述目的全景影像的初始显示视角用于确定显示目的全景影像中的影像;
控制所述显示器在切换至所述目的全景影像时,显示所述目的全景影像位于所述初始显示视角的图像;
所述处理器在依据显示所述源全景影像的过程中的显示视角,确定所述目的全景影像的初始显示视角时,具体用于:
获取切换至所述目的全景影像前所述源全景影像的显示视角;
确定以所述显示视角显示的所述源全景影像中的视角范围影像;
确定出所述目的全景影像中,与所述视角范围影像中相匹配的特征点最多的匹配影像;
依据所述视角范围影像与所述匹配影像,确定所述初始显示视角;
或,
从所述源全景影像中确定追踪目标;
确定所述追踪目标在所述目的全景影像中的目标位置;
依据所述目的全景影像对应的第二观测位置以及所述目标位置,确定所述初始显示视角。
4.根据权利要求3所述电子设备,其特征在于,所述处理器在显示所述目的全景影像位于所述初始显示视角的图像时,具体用于:
将所述目的全景影像与所述源全景影像相匹配的匹配区域进行组合,获得至少一个组合影像;
依次显示所述源全景影像、所述至少一个组合影像、所述目的全景影像中,位于所述初始显示视角的图像。
CN201710104361.4A 2017-02-24 2017-02-24 显示方法及电子设备 Active CN106873933B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710104361.4A CN106873933B (zh) 2017-02-24 2017-02-24 显示方法及电子设备
US15/905,206 US10764493B2 (en) 2017-02-24 2018-02-26 Display method and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710104361.4A CN106873933B (zh) 2017-02-24 2017-02-24 显示方法及电子设备

Publications (2)

Publication Number Publication Date
CN106873933A CN106873933A (zh) 2017-06-20
CN106873933B true CN106873933B (zh) 2020-12-18

Family

ID=59169382

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710104361.4A Active CN106873933B (zh) 2017-02-24 2017-02-24 显示方法及电子设备

Country Status (2)

Country Link
US (1) US10764493B2 (zh)
CN (1) CN106873933B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110191347B (zh) * 2019-05-06 2021-06-04 复旦大学 基于特征点检测的全景视频的传输方法
CN110290360B (zh) * 2019-08-01 2021-02-23 浙江开奇科技有限公司 用于全景视频影像的影像拼接方法及终端设备
CN111263177A (zh) * 2020-01-22 2020-06-09 杭州皮克皮克科技有限公司 一种视频互动直播方法及系统
CN111447462B (zh) * 2020-05-20 2022-07-05 上海科技大学 基于视角切换的视频直播方法、系统、存储介质及终端
CN112232899A (zh) * 2020-09-25 2021-01-15 北京五八信息技术有限公司 一种数据处理方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN204405948U (zh) * 2014-11-14 2015-06-17 西安中科微光医疗技术有限公司 一种可眼部控制的虚拟显示头盔
CN205507244U (zh) * 2016-04-18 2016-08-24 重庆汉沙科技有限公司 一种用于观看实景720度全景照片的头戴设备
CN105929968A (zh) * 2016-05-27 2016-09-07 捷开通讯(深圳)有限公司 一种基于图像变换的行为干预的实现方法及系统
CN105955457A (zh) * 2016-04-19 2016-09-21 北京小鸟看看科技有限公司 一种头戴显示设备的用户界面布局方法和头戴显示设备
CN106339980A (zh) * 2016-08-22 2017-01-18 乐视控股(北京)有限公司 基于汽车的vr显示装置、方法及汽车
CN106405845A (zh) * 2016-12-08 2017-02-15 广东佳居乐厨房科技有限公司 一种虚拟现实体验装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN204405948U (zh) * 2014-11-14 2015-06-17 西安中科微光医疗技术有限公司 一种可眼部控制的虚拟显示头盔
CN205507244U (zh) * 2016-04-18 2016-08-24 重庆汉沙科技有限公司 一种用于观看实景720度全景照片的头戴设备
CN105955457A (zh) * 2016-04-19 2016-09-21 北京小鸟看看科技有限公司 一种头戴显示设备的用户界面布局方法和头戴显示设备
CN105929968A (zh) * 2016-05-27 2016-09-07 捷开通讯(深圳)有限公司 一种基于图像变换的行为干预的实现方法及系统
CN106339980A (zh) * 2016-08-22 2017-01-18 乐视控股(北京)有限公司 基于汽车的vr显示装置、方法及汽车
CN106405845A (zh) * 2016-12-08 2017-02-15 广东佳居乐厨房科技有限公司 一种虚拟现实体验装置

Also Published As

Publication number Publication date
US20180249075A1 (en) 2018-08-30
CN106873933A (zh) 2017-06-20
US10764493B2 (en) 2020-09-01

Similar Documents

Publication Publication Date Title
CN106873933B (zh) 显示方法及电子设备
US10574889B2 (en) Information processing device, information processing method, and program
CN106803966B (zh) 一种多人网络直播方法、装置及其电子设备
US10687119B2 (en) System for providing multiple virtual reality views
CN107872731B (zh) 全景视频播放方法及装置
US20200092536A1 (en) Systems and Methods for Creating an Immersive Video Content Environment
US9728011B2 (en) System and method for implementing augmented reality via three-dimensional painting
CN106791906B (zh) 一种多人网络直播方法、装置及其电子设备
CN107111371B (zh) 一种展示全景视觉内容的方法、装置及终端
JP2019114147A (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
CN113286138A (zh) 一种全景视频显示方法及显示设备
CN110730340B (zh) 基于镜头变换的虚拟观众席展示方法、系统及存储介质
US20210144358A1 (en) Information-processing apparatus, method of processing information, and program
US20230353717A1 (en) Image processing system, image processing method, and storage medium
CN112954443A (zh) 全景视频的播放方法、装置、计算机设备和存储介质
CN114625468B (zh) 增强现实画面的展示方法、装置、计算机设备及存储介质
JP5687670B2 (ja) 表示制御システム、ゲームシステム、表示制御装置、及びプログラム
KR20150066941A (ko) 선수 정보 제공 장치 및 이를 이용한 선수 정보 제공 방법
JP6031016B2 (ja) 映像表示装置及び映像表示プログラム
JP7375542B2 (ja) 制御装置、制御システム、および制御プログラム
US20230269483A1 (en) Electronic device and electronic device control method
WO2022226745A1 (zh) 拍摄方法、控制装置、拍摄设备及存储介质
JP5646033B2 (ja) 画像表示装置および画像表示方法
JP7233887B2 (ja) 画像処理装置
JP2019086578A (ja) Vr動画表示システムにおけるメニュー表示と動画切替

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant