CN111949114A - 图像处理方法、装置及终端 - Google Patents
图像处理方法、装置及终端 Download PDFInfo
- Publication number
- CN111949114A CN111949114A CN201910402507.2A CN201910402507A CN111949114A CN 111949114 A CN111949114 A CN 111949114A CN 201910402507 A CN201910402507 A CN 201910402507A CN 111949114 A CN111949114 A CN 111949114A
- Authority
- CN
- China
- Prior art keywords
- motion
- image
- target
- posture data
- position posture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 22
- 230000033001 locomotion Effects 0.000 claims abstract description 149
- 238000000034 method Methods 0.000 claims description 23
- 230000003287 optical effect Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 9
- 230000001131 transforming effect Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 13
- 230000008569 process Effects 0.000 description 11
- 238000003384 imaging method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 208000002173 dizziness Diseases 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Studio Devices (AREA)
Abstract
本发明实施例提供一种图像处理方法、装置及终端,该图像处理方法包括:获取拍摄设备的第一运动和位置姿态数据,以及获取观看设备的第二运动和位置姿态数据;根据所述第一运动和位置姿态数据以及所述第二运动和位置姿态数据,从拍摄图像中截取与用户视线对应的目标处理图像,所述拍摄图像是由所述拍摄设备拍摄得到,对所述目标处理图像进行处理,得到目标显示图像;对所述目标显示图像进行显示。本发明的实施例,可以在保证图像显示效果的前提下,减小相关图像处理算法的搜索空间,从而有效提高图像处理的性能和速度。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种图像处理方法、装置及终端。
背景技术
由于在现实世界里面,“场景”是相对静止的,在人活动的过程中,通过头部的运动、眼部的运动、身体的移动和抖动等等动作,使得眼前的“场景”形成相对稳定并连贯的画面,不会有任何眩晕和不适应的感觉。但在虚拟现实(Virtual Reality,VR)设备中,VR设备显示的画面要与佩戴者身体运动、头部转动,甚至眼睛的运动、视线方向和聚焦点完全同步,同时满足足够高的画面清晰度和帧率,才会使佩戴者有良好的使用体验和逼真的感受。但目前为止,VR设备的画面显示还远远不能达到上述的同步显示和变换效果,给佩戴者的实际使用带来了很多的挑战和问题。
发明内容
本发明实施例提供一种图像处理方法、装置及终端,以在保证图像显示效果的前提下,有效提高图像处理的性能和速度。
第一方面,本发明实施例提供了一种图像处理方法,包括:
获取拍摄设备的第一运动和位置姿态数据,以及获取观看设备的第二运动和位置姿态数据;
根据所述第一运动和位置姿态数据以及所述第二运动和位置姿态数据,从拍摄图像中截取与用户视线对应的目标处理图像,其中,所述拍摄图像是由所述拍摄设备拍摄得到;
对所述目标处理图像进行处理,得到目标显示图像;
对所述目标显示图像进行显示。
第二方面,本发明实施例提供了一种图像处理装置,包括:
获取模块,用于获取拍摄设备的第一运动和位置姿态数据,以及获取观看设备的第二运动和位置姿态数据;
截取模块,用于根据所述第一运动和位置姿态数据以及所述第二运动和位置姿态数据,从拍摄图像中截取与用户视线对应的目标处理图像,其中,所述拍摄图像是由所述拍摄设备拍摄得到;
处理模块,用于对所述目标处理图像进行处理,得到目标显示图像;
显示模块,用于对所述目标显示图像进行显示。
第三方面,本发明实施例提供了一种终端,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其中,所述计算机程序被所述处理器执行时可实现上述图像处理方法的步骤。
第四方面,本发明实施例提供了一种计算机可读存储介质,其上存储有计算机程序,其中,所述计算机程序被处理器执行时可实现上述图像处理方法的步骤。
本发明实施例中,通过从拍摄图像中截取与用户视线对应的目标处理图像,并对目标处理图像进行处理及显示,不仅可以利用相关设备的运动和位置姿态数据进行画面运动影响的去除,保证图像显示效果,还可以减小相关图像处理算法的搜索空间,从而有效提高图像处理的性能和速度。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例的图像处理方法的流程图;
图2为本发明实施例的图像处理装置的结构示意图;
图3为本发明实施例的终端的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了保证图像显示效果,目前可采用如下图像处理方式:采用图像去抖动、去模糊等算法实时对拍摄图像进行处理,以提升显示效果。但是此图像处理方式所涉及的算法复杂,实时处理的运算量很大,因此造成图像处理的性能差,图像处理速度慢。
本发明实施例的目的在于提供一种图像处理方法、装置及终端,其从拍摄图像中截取与用户视线对应的目标处理图像,并对目标处理图像进行处理及显示。由于图像显示过程中,用户所关注的内容通常为用户视线对应的图像,而用户视线对应的图像可能仅为拍摄图像的一小部分,因此借助本发明实施例的图像处理方式,不仅可以利用相关设备的运动和位置姿态数据进行画面运动影响的去除,保证图像显示效果,还可以减小相关图像处理算法的搜索空间,从而有效提高图像处理的性能和速度。
请参见图1,图1是本发明实施例提供的一种图像处理方法的流程图,该方法应用于终端,如图1所示,该方法包括如下步骤:
步骤101:获取拍摄设备的第一运动和位置姿态数据,以及获取观看设备的第二运动和位置姿态数据。
本发明至少一个实施例中,拍摄设备例如为VR拍摄设备,观看设备例如为VR观看设备。
可选的,第一运动和位置姿态数据至少包括拍摄设备的运动数据和拍摄设备的位置姿态数据。该运动数据比如包括运动方向、运动速度、转动角速度等。该位置姿态数据比如包括位置信息、偏转角度等。第一运动和位置姿态数据可以是由拍摄设备对应的传感器组件检测得到。该拍摄设备对应的传感器组件可以是安装在拍摄设备上的,或者安装在与拍摄设备连接固定的设备上的高性能和高精度的惯性传感器件或模组。该惯性传感器件或模组可选用9轴惯性传感器,同时采集加速度、陀螺仪和磁力计等数据。
可选的,第二运动和位置姿态数据至少包括观看设备的运动数据和观看设备的位置姿态数据。该运动数据比如包括运动方向、运动速度、转动角速度等。该位置姿态数据比如包括位置信息、偏转角度等。第二运动和位置姿态数据可以是由观看设备对应的传感器组件检测得到。该观看设备对应的传感器组件可以是安装在观看设备上的,或者安装在与观看设备连接固定的设备上的高性能和高精度的惯性传感器件或模组。该惯性传感器件或模组可选用9轴惯性传感器,同时采集加速度、陀螺仪和磁力计等数据。
在一个可选的实施例中,第一运动和位置姿态数据,和/或第二运动和位置姿态数据可以是实时采集并由相应图像处理装置获取,也可以是以打标签的方式在视频的每一帧即图像中记录并由相应图像处理装置获取。第一运动和位置姿态数据,和/或第二运动和位置姿态数据可选为时序表达的一组6元组序列,对应于采样时刻的运动和位置姿态数据,即可以包含6个参数,分别为对应参考坐标系的空间位置(x,y,z),以及空间姿态角度(α,β,γ)。
步骤102:根据所述第一运动和位置姿态数据以及所述第二运动和位置姿态数据,从拍摄图像中截取与用户视线对应的目标处理图像。
其中,所述拍摄图像是由所述拍摄设备拍摄得到。
步骤103:对所述目标处理图像进行处理,得到目标显示图像。
本发明至少一个实施例中,在对目标处理图像进行处理时,可以利用第一运动和位置姿态数据以及第二运动和位置姿态数据进行处理。而在利用第一运动和位置姿态数据以及第二运动和位置姿态数据,对目标处理图像进行处理时,可采用如下处理方式:借助现有的图像处理算法(比如去运动、去抖动、去模糊等相关算法),利用第一运动和位置姿态数据以及第二运动和位置姿态数据,对目标处理图像进行处理,从而至少实现目标处理图像的矫正、去模糊和微调等,至少解决因图像拍摄及观看环节的画面视点和光轴的运动,导致的画面运动和抖动的问题。
步骤104:对所述目标显示图像进行显示。
可选的,在得到目标显示图像之后,可以直接对目标显示图像进行显示。
本发明实施例的图像处理方法,通过从拍摄图像中截取与用户视线对应的目标处理图像,并对目标处理图像进行处理及显示,可以至少利用相关设备的运动和位置姿态数据进行画面运动影响的去除,从而保证图像显示效果,还可以减小相关图像处理算法的搜索空间,从而有效提高图像处理的性能和速度。
本发明至少一个实施例中,可选的,上述步骤102可包括:
对所述第一运动和位置姿态数据以及所述第二运动和位置姿态数据进行变换处理,得到与所述第一运动和位置姿态数据对应的第三运动和位置姿态数据,和与所述第二运动和位置姿态数据对应的第四运动和位置姿态数据,其中,所述第三运动和位置姿态数据以及所述第四运动和位置姿态数据为同一个目标坐标系下的数据;
根据所述第三运动和位置姿态数据以及所述第四运动和位置姿态数据,确定所述拍摄图像的显示区域中的视线关注点;
确定所述拍摄图像的显示区域中的所述视线关注点对应的目标局部区域;
从所述拍摄图像中截取所述目标局部区域对应的图像;
其中,所述目标局部区域对应的图像为所述目标处理图像。
这样,借助视线关注点的确定,可以准确确定出目标处理图像。
需说明的是,上述变换处理可包括以下至少一项:空间坐标变换、仿射变换、透视变换等相关变换。而为了准确实现对第一运动和位置姿态数据以及第二运动和位置姿态数据的变换处理,在开启拍摄设备和观看设备时,可对拍摄设备对应的传感器组件和观看设备对应的传感器组件进行一键式校准操作,以绑定拍摄设备对应的空间坐标系与观看设备对应的空间坐标系之间的空间转换关系。后续在对第一运动和位置姿态数据以及第二运动和位置姿态数据进行变换处理时,可以基于绑定的空间转换关系进行变换处理,从而得到同一个目标坐标系下第三运动和位置姿态数据以及第四运动和位置姿态数据。此目标坐标系可以基于实际需求设置。
可理解的,考虑到拍摄设备的成像原理,拍摄图像等效于平行于拍摄设备焦平面的一个显示成像平面,拍摄设备的第一运动和位置姿态数据控制并决定了对应的显示成像平面在目标坐标系中的位置和空间姿态。而观看设备的第二运动和位置姿态数据决定了其空间姿态和朝向并决定了观看平面,视线光轴方向为垂直于观看平面,视线光轴方向与显示成像平面的交点为视线关注点,即用户的视线关注点。
可选的,上述根据第三运动和位置姿态数据以及第四运动和位置姿态数据,确定拍摄图像的显示区域中的视线关注点的过程可为:
根据所述第三运动和位置姿态数据,确定所述目标坐标系下的图像显示平面,和根据所述第四运动和位置姿态数据,确定所述目标坐标系下的视线光轴方向;
将所述视线光轴方向与所述图像显示平面的交点确定为所述视线关注点。
这样,可以准确确定出拍摄图像的显示区域中的视线关注点。
本发明至少一个实施例中,在确定出视线关注点后,可以基于预设条件,直接将以视线关注点为中心的预设区域确定为目标局部区域,该预设区域可以理解为用户最佳观看区域,可以基于观看设备情况预先设置,通常与用户到显示图像的距离等相关。
进一步的,由于拍摄设备和观看设备的运动以及位置姿态的变化,显示图像会出现抖动、运动等现象,因此为了保证图像处理效果,在确定目标处理图像时,可将用户最佳观看区域以及一定邻域对应的图像确定为目标处理图像。
可选的,上述确定拍摄图像的显示区域中的视线关注点对应的目标局部区域的过程可包括:
将所述拍摄图像的显示区域中的以所述视线关注点为中心的预设区域确定为初始局部区域;
根据所述第三运动和位置姿态数据以及所述第四运动和位置姿态数据,确定所述初始局部区域的目标邻区域;
将包括所述初始局部区域和所述目标邻区域的区域确定为所述目标局部区域。
其中,在根据第三运动和位置姿态数据以及第四运动和位置姿态数据确定目标邻区域时,可首先利用第三运动和位置姿态数据以及第四运动和位置姿态数据定位显示图像中视点和光轴的方位,然后基于预设时间(比如拍摄图像的时间间隔)内图像中视点和光轴的方位的变化量,确定目标邻区域,以保证用户所关注内容都处于目标处理图像内。
这样,由于在确定目标处理图像时,考虑了初始局部区域及其目标邻区域,因此可以在减小相关图像处理算法的搜索空间的基础上,减小运动对所需图像内容造成的影响,保证所需图像内容的完整性,实现稳定的成像和显示。
请参见图2,图2是本发明实施例提供的一种图像处理装置的结构示意图,如图2所示,该图像处理装置包括:
获取模块21,用于获取拍摄设备的第一运动和位置姿态数据,以及获取观看设备的第二运动和位置姿态数据;
截取模块22,用于根据所述第一运动和位置姿态数据以及所述第二运动和位置姿态数据,从拍摄图像中截取与用户视线对应的目标处理图像,其中,所述拍摄图像是由所述拍摄设备拍摄得到;
处理模块23,用于对所述目标处理图像进行处理,得到目标显示图像;
显示模块24,用于对所述目标显示图像进行显示。
本发明实施例的图像处理装置,通过从拍摄图像中截取与用户视线对应的目标处理图像,并对目标处理图像进行处理及显示,不仅可以利用相关设备的运动和位置姿态数据进行画面运动影响的去除,从而保证图像显示效果,还可以减小相关图像处理算法的搜索空间,从而有效提高图像处理的性能和速度。
可选的,所述截取模块23包括:
第一处理单元,用于对所述第一运动和位置姿态数据以及所述第二运动和位置姿态数据进行变换处理,得到与所述第一运动和位置姿态数据对应的第三运动和位置姿态数据,和与所述第二运动和位置姿态数据对应的第四运动和位置姿态数据,其中,所述第三运动和位置姿态数据以及所述第四运动和位置姿态数据为同一个目标坐标系下的数据;
第一确定单元,用于根据所述第三运动和位置姿态数据以及所述第四运动和位置姿态数据,确定所述拍摄图像的显示区域中的视线关注点;
第二确定单元,用于确定所述拍摄图像的显示区域中的所述视线关注点对应的目标局部区域;
截取单元,用于从所述拍摄图像中截取所述目标局部区域对应的图像;
其中,所述目标局部区域对应的图像为所述目标处理图像。
可选的,所述第二确定单元包括:
第一确定子单元,用于将所述拍摄图像的显示区域中的以所述视线关注点为中心的预设区域确定为初始局部区域;
第二确定子单元,用于根据所述第三运动和位置姿态数据以及所述第四运动和位置姿态数据,确定所述初始局部区域的目标邻区域;
第三确定子单元,用于将包括所述初始局部区域和所述目标邻区域的区域确定为所述目标局部区域。
可选的,所述第一确定单元包括:
第四确定子单元,用于根据所述第三运动和位置姿态数据,确定所述目标坐标系下的图像显示平面,和根据所述第四运动和位置姿态数据,确定所述目标坐标系下的视线光轴方向;
第五确定子单元,用于将所述视线光轴方向与所述图像显示平面的交点确定为所述视线关注点。
可选的,所述第一运动和位置姿态数据是由所述拍摄设备对应的传感器组件检测得到;
所述第二运动和位置姿态数据是由所述观看设备对应的传感器组件检测得到。
此外,本发明实施例还提供了一种终端,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其中,所述计算机程序被所述处理器执行时可实现上述图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
具体的,参见图3所示,本发明实施例还提供了一种终端,包括总线31、收发机32、天线33、总线接口34、处理器35和存储器36。
在本发明实施例中,所述终端还包括:存储在存储器36上并可在处理器35上运行的计算机程序。
具体的,所述计算机程序被处理器35执行时可实现如下步骤:
获取拍摄设备的第一运动和位置姿态数据,以及获取观看设备的第二运动和位置姿态数据;
根据所述第一运动和位置姿态数据以及所述第二运动和位置姿态数据,从拍摄图像中截取与用户视线对应的目标处理图像,其中,所述拍摄图像是由所述拍摄设备拍摄得到;
对所述目标处理图像进行处理,得到目标显示图像;
对所述目标显示图像进行显示。
在图3中,总线架构(用总线31来代表),总线31可以包括任意数量的互联的总线和桥,总线31将包括由处理器35代表的一个或多个处理器和存储器36代表的存储器的各种电路链接在一起。总线31还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口34在总线31和收发机32之间提供接口。收发机32可以是一个元件,也可以是多个元件,比如多个接收器和发送器,提供用于在传输介质上与各种其他装置通信的单元。经处理器35处理的数据通过天线33在无线介质上进行传输,进一步,天线33还接收数据并将数据传送给处理器35。
处理器35负责管理总线31和通常的处理,还可以提供各种功能,包括定时,外围接口,电压调节、电源管理以及其他控制功能。而存储器36可以被用于存储处理器35在执行操作时所使用的数据。
可选的,处理器35可以是CPU、ASIC、FPGA或CPLD。
本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体,可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (11)
1.一种图像处理方法,其特征在于,包括:
获取拍摄设备的第一运动和位置姿态数据,以及获取观看设备的第二运动和位置姿态数据;
根据所述第一运动和位置姿态数据以及所述第二运动和位置姿态数据,从拍摄图像中截取与用户视线对应的目标处理图像,其中,所述拍摄图像是由所述拍摄设备拍摄得到;
对所述目标处理图像进行处理,得到目标显示图像;
对所述目标显示图像进行显示。
2.根据权利要求1所述的方法,其特征在于,所述根据所述第一运动和位置姿态数据以及所述第二运动和位置姿态数据,从拍摄图像中截取与用户视线对应的目标处理图像,包括:
对所述第一运动和位置姿态数据以及所述第二运动和位置姿态数据进行变换处理,得到与所述第一运动和位置姿态数据对应的第三运动和位置姿态数据,和与所述第二运动和位置姿态数据对应的第四运动和位置姿态数据,其中,所述第三运动和位置姿态数据以及所述第四运动和位置姿态数据为同一个目标坐标系下的数据;
根据所述第三运动和位置姿态数据以及所述第四运动和位置姿态数据,确定所述拍摄图像的显示区域中的视线关注点;
确定所述拍摄图像的显示区域中的所述视线关注点对应的目标局部区域;
从所述拍摄图像中截取所述目标局部区域对应的图像;
其中,所述目标局部区域对应的图像为所述目标处理图像。
3.根据权利要求2所述的方法,其特征在于,所述确定所述拍摄图像的显示区域中的所述视线关注点对应的目标局部区域,包括:
将所述拍摄图像的显示区域中的以所述视线关注点为中心的预设区域确定为初始局部区域;
根据所述第三运动和位置姿态数据以及所述第四运动和位置姿态数据,确定所述初始局部区域的目标邻区域;
将包括所述初始局部区域和所述目标邻区域的区域确定为所述目标局部区域。
4.根据权利要求2所述的方法,其特征在于,根据所述第三运动和位置姿态数据以及所述第四运动和位置姿态数据,确定所述拍摄图像的显示区域中的视线关注点,包括:
根据所述第三运动和位置姿态数据,确定所述目标坐标系下的图像显示平面,和根据所述第四运动和位置姿态数据,确定所述目标坐标系下的视线光轴方向;
将所述视线光轴方向与所述图像显示平面的交点确定为所述视线关注点。
5.根据权利要求1至4中任一项所述的方法,其特征在于,所述第一运动和位置姿态数据是由所述拍摄设备对应的传感器组件检测得到;
所述第二运动和位置姿态数据是由所述观看设备对应的传感器组件检测得到。
6.一种图像处理装置,其特征在于,包括:
获取模块,用于获取拍摄设备的第一运动和位置姿态数据,以及获取观看设备的第二运动和位置姿态数据;
截取模块,用于根据所述第一运动和位置姿态数据以及所述第二运动和位置姿态数据,从拍摄图像中截取与用户视线对应的目标处理图像,其中,所述拍摄图像是由所述拍摄设备拍摄得到;
处理模块,用于对所述目标处理图像进行处理,得到目标显示图像;
显示模块,用于对所述目标显示图像进行显示。
7.根据权利要求6所述的装置,其特征在于,所述截取模块包括:
第一处理单元,用于对所述第一运动和位置姿态数据以及所述第二运动和位置姿态数据进行变换处理,得到与所述第一运动和位置姿态数据对应的第三运动和位置姿态数据,和与所述第二运动和位置姿态数据对应的第四运动和位置姿态数据,其中,所述第三运动和位置姿态数据以及所述第四运动和位置姿态数据为同一个目标坐标系下的数据;
第一确定单元,用于根据所述第三运动和位置姿态数据以及所述第四运动和位置姿态数据,确定所述拍摄图像的显示区域中的视线关注点;
第二确定单元,用于确定所述拍摄图像的显示区域中的所述视线关注点对应的目标局部区域;
截取单元,用于从所述拍摄图像中截取所述目标局部区域对应的图像;
其中,所述目标局部区域对应的图像为所述目标处理图像。
8.根据权利要求7所述的装置,其特征在于,所述第二确定单元包括:
第一确定子单元,用于将所述拍摄图像的显示区域中的以所述视线关注点为中心的预设区域确定为初始局部区域;
第二确定子单元,用于根据所述第三运动和位置姿态数据以及所述第四运动和位置姿态数据,确定所述初始局部区域的目标邻区域;
第三确定子单元,用于将包括所述初始局部区域和所述目标邻区域的区域确定为所述目标局部区域。
9.根据权利要求7所述的装置,其特征在于,所述第一确定单元包括:
第四确定子单元,用于根据所述第三运动和位置姿态数据,确定所述目标坐标系下的图像显示平面,和根据所述第四运动和位置姿态数据,确定所述目标坐标系下的视线光轴方向;
第五确定子单元,用于将所述视线光轴方向与所述图像显示平面的交点确定为所述视线关注点。
10.一种终端,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述计算机程序被所述处理器执行时实现如权利要求1至5中任一项所述的图像处理方法的步骤。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的图像处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910402507.2A CN111949114A (zh) | 2019-05-15 | 2019-05-15 | 图像处理方法、装置及终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910402507.2A CN111949114A (zh) | 2019-05-15 | 2019-05-15 | 图像处理方法、装置及终端 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111949114A true CN111949114A (zh) | 2020-11-17 |
Family
ID=73336581
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910402507.2A Pending CN111949114A (zh) | 2019-05-15 | 2019-05-15 | 图像处理方法、装置及终端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111949114A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113438421A (zh) * | 2021-06-30 | 2021-09-24 | Oppo广东移动通信有限公司 | 图像处理方法、装置、终端和可读存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009020266A (ja) * | 2007-07-11 | 2009-01-29 | Sharp Corp | 映像表示装置 |
US20140072274A1 (en) * | 2012-09-07 | 2014-03-13 | Nintendo Co., Ltd. | Computer-readable storage medium having information processing program stored therein, information processing apparatus, information processing system, and information processing method |
CN107707817A (zh) * | 2017-09-27 | 2018-02-16 | 维沃移动通信有限公司 | 一种视频拍摄方法及移动终端 |
CN107835404A (zh) * | 2017-11-13 | 2018-03-23 | 歌尔科技有限公司 | 基于头戴式虚拟现实设备的图像显示方法、设备及系统 |
CN109656367A (zh) * | 2018-12-24 | 2019-04-19 | 深圳超多维科技有限公司 | 一种应用于vr场景下的图像处理方法、装置及电子设备 |
CN109688325A (zh) * | 2018-12-04 | 2019-04-26 | 维沃移动通信有限公司 | 一种图像显示方法及终端设备 |
-
2019
- 2019-05-15 CN CN201910402507.2A patent/CN111949114A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009020266A (ja) * | 2007-07-11 | 2009-01-29 | Sharp Corp | 映像表示装置 |
US20140072274A1 (en) * | 2012-09-07 | 2014-03-13 | Nintendo Co., Ltd. | Computer-readable storage medium having information processing program stored therein, information processing apparatus, information processing system, and information processing method |
CN107707817A (zh) * | 2017-09-27 | 2018-02-16 | 维沃移动通信有限公司 | 一种视频拍摄方法及移动终端 |
CN107835404A (zh) * | 2017-11-13 | 2018-03-23 | 歌尔科技有限公司 | 基于头戴式虚拟现实设备的图像显示方法、设备及系统 |
CN109688325A (zh) * | 2018-12-04 | 2019-04-26 | 维沃移动通信有限公司 | 一种图像显示方法及终端设备 |
CN109656367A (zh) * | 2018-12-24 | 2019-04-19 | 深圳超多维科技有限公司 | 一种应用于vr场景下的图像处理方法、装置及电子设备 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113438421A (zh) * | 2021-06-30 | 2021-09-24 | Oppo广东移动通信有限公司 | 图像处理方法、装置、终端和可读存储介质 |
CN113438421B (zh) * | 2021-06-30 | 2023-02-17 | Oppo广东移动通信有限公司 | 图像处理方法、装置、终端和可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102448284B1 (ko) | 헤드 마운트 디스플레이 추적 시스템 | |
RU2638776C1 (ru) | Устройство генерирования изображения и способ | |
CN106998409B (zh) | 一种图像处理方法、头戴显示器以及渲染设备 | |
JP6263623B2 (ja) | 画像生成方法及びデュアルレンズ装置 | |
JP6090786B2 (ja) | 背景差分抽出装置及び背景差分抽出方法 | |
CN109743626B (zh) | 一种图像显示方法、图像处理方法和相关设备 | |
WO2017020150A1 (zh) | 一种图像处理方法、装置及摄像机 | |
KR20160122702A (ko) | 정보 처리 장치, 정보 처리 방법 및 프로그램 | |
CN107404615B (zh) | 图像录制方法及电子设备 | |
WO2016002657A1 (ja) | 画像生成装置および画像生成方法 | |
CN113875220B (zh) | 拍摄防抖方法、装置、终端及存储介质 | |
CN112655202B (zh) | 用于头戴式显示器的鱼眼镜头的减小带宽立体失真校正 | |
JP2017017689A (ja) | 全天球動画の撮影システム、及びプログラム | |
CN103985103A (zh) | 一种生成全景图片的方法和装置 | |
US9843689B1 (en) | Self stabilizing projector | |
CN111669499B (zh) | 一种视频防抖方法、装置及视频采集设备 | |
CN112640419B (zh) | 跟随方法、可移动平台、设备和存储介质 | |
JP2014215755A (ja) | 画像処理システム、画像処理装置及び画像処理方法 | |
CN109978945B (zh) | 一种增强现实的信息处理方法和装置 | |
CN110650284B (zh) | 图像拍摄控制方法、装置、设备及存储介质 | |
CN112672058B (zh) | 拍摄方法及装置 | |
CN112017242B (zh) | 显示方法及装置、设备、存储介质 | |
RU2020126876A (ru) | Устройство и способ формирования изображений вида | |
CN111949114A (zh) | 图像处理方法、装置及终端 | |
CN114390186A (zh) | 视频拍摄方法及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |