CN117176935A - 图像处理方法、装置、电子设备及可读存储介质 - Google Patents
图像处理方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN117176935A CN117176935A CN202311148561.1A CN202311148561A CN117176935A CN 117176935 A CN117176935 A CN 117176935A CN 202311148561 A CN202311148561 A CN 202311148561A CN 117176935 A CN117176935 A CN 117176935A
- Authority
- CN
- China
- Prior art keywords
- image
- equivalent
- binocular camera
- parameters
- electronic device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 20
- 238000012545 processing Methods 0.000 claims abstract description 41
- 238000000034 method Methods 0.000 claims abstract description 36
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 5
- 230000001131 transforming effect Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 description 16
- 230000008569 process Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000003190 augmentative effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本申请公开了一种图像处理方法、装置、电子设备及可读存储介质,属于图像处理技术领域,其中,方法包括:获取第二电子设备的双目摄像头的参数,以及通过双目摄像头采集的第一图像和第二图像;基于第一等效观看距离和双目摄像头的参数,确定等效视差;基于等效视差分别对第一图像和第二图像进行图像处理,得到第三图像和第四图像;通过第一电子设备的第一显示组件显示第三图像,并通过第一电子设备的第二显示组件显示第四图像。
Description
技术领域
本申请属于图像处理技术领域,具体涉及一种图像处理方法、装置、电子设备及可读存储介质。
背景技术
视频透视(Video See Through,VST)直播可以分享当前场景的第一人称视角,让观看端最大限度获得与直播端等效的视觉交互体验。
在观看端使用与直播端不同型号的虚拟现实(Virtual Reality,VR)设备,或使用相同型号的VR设备但设备的一致性较差的情况下,由于直播端获取的源图像基于直播端的显示系统处理过,处理过的图像适用于直播端的显示系统,但是不适用于观看端设备的显示系统,导致适用于直播端的图像在观看端显示时,显示效果较差。
发明内容
本申请实施例的目的是提供一种图像处理方法、装置、电子设备及可读存储介质,能够提高在一设备上获取的图像在另一设备上显示时的显示效果。
第一方面,本申请实施例提供了一种图像处理方法,该方法包括:
获取第二电子设备的双目摄像头的参数,以及通过所述双目摄像头采集的第一图像和第二图像;
基于第一等效观看距离和所述双目摄像头的参数,确定等效视差,所述第一等效观看距离根据所述第一图像和所述第二图像确定;
基于所述等效视差分别对所述第一图像和第二图像进行图像处理,得到第三图像和第四图像;
通过所述第一电子设备的第一显示组件显示所述第三图像,并通过所述第一电子设备的第二显示组件显示所述第四图像。
第二方面,本申请实施例提供了一种图像处理装置,包括:
第一获取模块,用于获取第二电子设备的双目摄像头的参数,以及通过所述双目摄像头采集的第一图像和第二图像;
确定模块,用于基于第一等效观看距离和所述双目摄像头的参数,确定等效视差,所述第一等效观看距离根据所述第一图像和所述第二图像确定;
处理模块,用于基于所述等效视差分别对所述第一图像和第二图像进行图像处理,得到第三图像和第四图像;
显示模块,用于通过所述第一电子设备的第一显示组件显示所述第三图像,并通过所述第一电子设备的第二显示组件显示所述第四图像。
第三方面,本申请实施例提供了一种电子设备,该电子设备包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面,本申请实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第五方面,本申请实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法。
第六方面,本申请实施例提供一种程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如第一方面所述的方法。
在本申请实施例中,获取第二电子设备的双目摄像头的参数,以及通过所述双目摄像头采集的第一图像和第二图像;基于第一等效观看距离和所述双目摄像头的参数,确定等效视差,所述第一等效观看距离根据所述第一图像和所述第二图像确定;基于所述等效视差分别对所述第一图像和第二图像进行图像处理,得到第三图像和第四图像;通过所述第一电子设备的第一显示组件显示所述第三图像,并通过所述第一电子设备的第二显示组件显示所述第四图像。上述中,由第一电子设备对第二电子设备的双目摄像头采集的图像进行图像处理,得到适配于第一电子设备的第一显示组件和第二显示组件显示的目标图像,以提高通过第二电子设备获取的图像在第一电子设备上显示时的显示效果。
附图说明
图1是本申请实施例提供的人眼在不同情况下所视区域对比示意图;
图2是本申请实施例提供的图像处理方法的流程图;
图3是本申请实施例提供的图像处理装置的结构图;
图4是本申请实施例提供的电子设备的一结构图;
图5是本申请实施例提供的电子设备的另一结构图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
近几年元宇宙概念的火爆,VR一体机需求逐渐增加,而VR设备当前最重要的技术突破点正是如何实现高沉浸感的虚实结合。由于增强现实(Augmented Reality,AR)眼镜的光学透视(Optical See Through,OST)方案存在一些天然的技术短板和瓶颈,现阶段VST已经取代OST成为现阶段MR更主流的技术方案。
以安装了双目RGB用以实现VST的VR头显为例,该方案分为三步:
(1)双目相机实时拍摄现实世界场景;
(2)对左右目图像进行某些处理,在VR头显的显示屏上显示出来;
(3)显示的内容通过光机lens(即凸透镜)将光线投到人的左右眼上。
人眼接收到光线后,若满足合像要求,则可以在头显中获得接近现实世界的视觉体验。
VST直播是未来的一种新型直播交互方式,具体如下:
直播端——支持VST的设备;
观看端——支持VR,但不一定支持VST的设备;
VST直播的目的是分享当前场景的第一人称视角,让观看端最大限度获得与直播端等效的视觉交互体验,可能是未来用XR设备实时分享个人生活、稀缺经历的产品形态,现阶段业界应该还没有这类产品,所以暂时未见到有已成型的技术方案。
可以预见的一般性解决方案是类似于手机直播的实现方式,直接把欲显示到显示屏的左右目图像做为直播数据源上传网络,观看端也直接使用下载的图像作为VR设备的显示源直接上屏。
如图1所示,图中标号1所示为显示屏凸透镜(即display lens),标号2所示为显示屏(即display),标号3所示为摄像头凸透镜(即camera lens),VST的质量目标是让B所视位置尽可能接近A所视位置,其中一个很重要的技术是上述(2)中实现的算法,这步如果没有实现或实现得不好会导致出现C所视位置的情况,即与A的视觉体验不等效。
上文提到的VST直播方案,若观看端使用与直播端不同型号的VR设备,或使用相同型号的VR设备但设备的一致性效差,则观看端的显示效果会很差,原因是该直播数据源图像已经基于原设备的显示系统为合像准确已做了一定的后处理(包括裁剪、缩放、warp等),不适用于观看端设备的显示系统,造成的问题是:轻则合像结果与真实场景差异大,不符合人眼预期导致晕3D,重则显示效果完全错误,无3D效果。
本发明在观看端VR设备使用了额外信息修正了显示效果,对比一般性方案,能更好地适配不同设备难以有效还原直播场景的问题。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的图像处理方法进行详细地说明。
图2是本申请实施例提供的图像处理方法的流程图,本实施例中的图像处理方法,应用于第一电子设备,包括如下步骤:
步骤101,获取第二电子设备的双目摄像头的参数,以及通过所述双目摄像头采集的第一图像和第二图像。
第一电子设备和第二电子设备均可以是VR设备,例如,第一电子设备是观看端的VR设备,第二电子设备是直播端的VR设备。第二电子设备的双目摄像头对同一场景进行采集,得到第一图像和第二图像。第一图像和第二图像可以是第二电子设备对采集得到的图像进行畸变消除处理后的图像。
双目摄像头的参数可以包括所述双目摄像头的焦距、所述双目摄像头的基线与人眼之间的距离,所述双目摄像头的基线长度等等。
步骤102,基于第一等效观看距离和所述双目摄像头的参数,确定等效视差,所述第一等效观看距离根据所述第一图像和所述第二图像确定。
第一等效观看距离可以由第一电子设备或第二电子设备确定,在此不做限定。例如,第一电子设备或第二电子设备在确定第一等效观看距离时,可以是根据第一图像和第二图像确定深度图,对于深度图中的每个像素的像素值,确定一个等效观看距离。等效观看距离可以理解为人眼裸眼观看图像时感受到的距离。
在获取多个第二等效观看距离之后,可以对多个第二等效观看距离进行筛选,得到第一等效观看距离,或者,基于多个第二等效观看距离进行计算,得到第一等效观看距离,在此不做限定。
基于第一等效观看距离和双目摄像头的参数,确定等效视差,例如,等效视差=B*F/D,其中,B为双目摄像头的基线长度,F为双目摄像头的焦距,D为第一等效观看距离。
步骤103,基于所述等效视差分别对所述第一图像和第二图像进行图像处理,得到第三图像和第四图像。
分别对所述第一图像和第二图像进行图像处理,例如裁剪、缩放、仿射变换等等,得到第三图像和第四图像。第三图像和第四图像的视差为等效视差。
步骤104,通过所述第一电子设备的第一显示组件显示所述第三图像,并通过所述第一电子设备的第二显示组件显示所述第四图像。
第一电子设备的显示组件包括第一显示组件和第二显示组件,通过第一显示组件显示第三图像,通过第二显示组件显示第四图像。
本实施例中,获取第二电子设备的双目摄像头的参数,以及通过所述双目摄像头采集的第一图像和第二图像;基于第一等效观看距离和所述双目摄像头的参数,确定等效视差,所述第一等效观看距离根据所述第一图像和所述第二图像确定;基于所述等效视差分别对所述第一图像和第二图像进行图像处理,得到第三图像和第四图像;通过所述第一电子设备的第一显示组件显示所述第三图像,并通过所述第一电子设备的第二显示组件显示所述第四图像。上述中,由第一电子设备对第二电子设备的双目摄像头采集的图像进行图像处理,得到适配于第一电子设备的第一显示组件和第二显示组件显示的目标图像,以提高通过第二电子设备获取的图像在第一电子设备上显示时的显示效果。
在本申请一实施例中,所述双目摄像头的参数包括所述双目摄像头的焦距以及所述双目摄像头的基线长度;
所述基于第一等效观看距离和所述双目摄像头的参数,确定等效视差,包括:
根据所述第一等效观看距离、所述双目摄像头的焦距以及所述双目摄像头的基线长度,计算得到等效视差。
例如,等效视差=B*F/D,其中,B为双目摄像头的基线长度,F为双目摄像头的焦距,D为第一等效观看距离。
本实施例中,根据第二电子设备的双目摄像头的参数进行计算,得到等效视差,后续可以根据等效视差得到适配第一电子设备的第一显示组件和第二显示组件的图像,可以提高图像在第一电子设备上的显示效果。
在本申请一实施例中,距离集合可以由第二电子设备计算,之后将距离集合发送给第一电子设备,即,在所述基于第一等效观看距离和所述双目摄像头的参数,确定等效视差之前,所述方法还包括:
接收所述第二电子设备发送的所述第一等效观看距离。
具体地,第二电子设备计算得到第一等效观看距离的过程包括:基于所述第一图像和所述第二图像,得到深度图;将所述深度图中的每个像素的像素值与第一距离相加,得到多个像素对应的多个第二等效观看距离,第一距离为所述双目摄像头的基线与人眼之间的距离;根据所述多个第二等效观看距离,得到所述第一等效观看距离。
例如,深度图中某个像素的像素值(即深度值)为d1,第一距离为d2,该像素对应的等效观看距离d=d1+d2。根据上述方式,可以计算深度图中每个像素对应的等效观看距离。
根据所述多个第二等效观看距离,得到所述第一等效观看距离,具体地,可以设置一个距离区间范围,筛选出位于距离区间范围的等效观看距离,例如,距离区间范围可以是3米-5米,将值为3米-5米的第二等效观看距离筛选出,也可以是将第一图像或第二图像中间区域的像素对应的第二等效观看距离筛选出,对筛选出的第二等效观看距离求取均值,将均值作为第一等效观看距离,或者,对筛选出的第二等效观看距离进行从大到小或从小到大排序,将排序的中位数作为第一等效观看距离。
上述中,第一等效观看距离由第二电子设备计算得到,在第二电子设备向多个第一电子设备发送采集图像时,可以将第一等效观看距离发送给每个第一电子设备,第一电子设备可以直接使用,不用再次计算,实现一次计算,多次使用,可避免重复计算。
在本申请又一实施例中,第一等效观看距离也可以由第一电子设备计算,此种情况下,所述双目摄像头的参数包括所述双目摄像头的基线与人眼之间的第一距离;
在所述获取第二电子设备的双目摄像头的参数,以及通过所述双目摄像头采集的第一图像和第二图像之后,所述基于第一等效观看距离和所述双目摄像头的参数,确定等效视差之前,所述方法还包括:
基于所述第一图像和所述第二图像,得到深度图;
将所述深度图中的每个像素的像素值与所述第一距离相加,得到多个像素对应的多个第二等效观看距离;
根据所述多个第二等效观看距离,得到所述第一等效观看距离。
例如,深度图中某个像素的像素值(即深度值)为d1,第一距离为d2,该像素对应的等效观看距离d=d1+d2。根据上述方式,可以计算深度图中每个像素对应的等效观看距离。
根据所述多个第二等效观看距离,得到所述第一等效观看距离,具体地,可以设置一个距离区间范围,筛选出位于距离区间范围的等效观看距离,例如,距离区间范围可以是3米-5米,将值为3米-5米的第二等效观看距离筛选出,也可以是将第一图像或第二图像中间区域的像素对应的第二等效观看距离筛选出,对筛选出的第二等效观看距离求取均值,将均值作为第一等效观看距离,或者,对筛选出的第二等效观看距离进行从大到小或从小到大排序,将排序的中位数作为第一等效观看距离。
本实施例中,第二电子设备将双目摄像头的参数、第一图像和第二图像发送个第一电子设备,由第一电子设备计算得到第一等效观看距离,可以减少传输第一等效观看距离的数据传输量,节省传输资源。
在本申请又一实施例中,基于所述等效视差分别对所述第一图像和第二图像进行图像处理,得到第三图像和第四图像,包括:
基于所述等效视差分别对所述第一图像和第二图像进行裁剪、缩放和仿射变换,得到第五图像和第六图像;
对所述第五图像采用所述第一显示组件的凸透镜参数进行反畸变校正,得到所述第三图像;
对所述第六图像采用所述第二显示组件的凸透镜参数进行反畸变校正,得到所述第四图像。
上述中,根据等效视差分别对第一图像和第二图像进行裁剪、缩放和仿射变换,例如,对第一图像的感兴趣区域或者图像中间区域进行裁剪,在将裁剪得到的图像放大填满整个图像区域,对第二图像也采用相似的方式进行处理,得到第五图像和第六图像,第五图像和第六图像满足等效视差。
为提高图像显示效果,可以分别对第五图像和第六图像进行反畸变校正。
反畸变校正方式可以是:①由标定获取第一显示组件的凸透镜对第五图像各个像素点产生畸变的影响为map(p1,p2,p3…)=p1’,p2’,p3’…,其中,p1为第五图像中的像素的位置;p1’表示对p1进行校正后得到的新位置。
②为了避免从第一显示组件的凸透镜中看到畸变,先对第五图像采用一个与map相抵消的映射map’进行处理,即确保map(map’(p1,p2,p3))=p1,p2,p3,map’是map的逆操作。
同样地,通过第二显示组件的凸透镜参数对第六图像进行反畸变校正。
本实施例中,通过采用显示组件的凸透镜参数对第五图像和第六图像做反畸变校正,使之与凸透镜产生的畸变抵消,可以提高图像显示效果。
本申请实施例提供的图像处理方法,由于在第一电子设备上显示的图像兼顾了第一电子设备本身的显示组件的参数,即兼顾了观看端的显示系统,可以避免直播端(即第二电子设备)和第一电子设备各自的显示组件的显示参数,例如凸透镜参数不一致带来的畸变合像等问题,优化了深度还原、双目立体效果,在观看端有效还原了VST直播端第一视角的场景。
本申请实施例提供的图像处理方法,执行主体可以为图像处理装置。本申请实施例中以图像处理装置执行图像处理方法为例,说明本申请实施例提供的图像处理装置。如图3所示,图像处理装置300包括:
第一获取模块301,用于获取第二电子设备的双目摄像头的参数,以及通过所述双目摄像头采集的第一图像和第二图像;
确定模块302,用于基于第一等效观看距离和所述双目摄像头的参数,确定等效视差,所述第一等效观看距离根据所述第一图像和所述第二图像确定;
处理模块303,用于基于所述等效视差分别对所述第一图像和第二图像进行图像处理,得到第三图像和第四图像;
显示模块304,用于通过所述第一电子设备的第一显示组件显示所述第三图像,并通过所述第一电子设备的第二显示组件显示所述第四图像。
可选地,所述双目摄像头的参数包括所述双目摄像头的焦距以及所述双目摄像头的基线长度;
所述确定模块302,用于根据所述第一等效观看距离、所述双目摄像头的焦距以及所述双目摄像头的基线长度,得到等效视差。
可选地,所述装置300还包括:
接收模块,用于接收所述第二电子设备发送的所述第一等效观看距离。
可选地,所述双目摄像头的参数包括所述双目摄像头的基线与人眼之间的第一距离;
所述装置300还包括:
第二获取模块,用于基于所述第一图像和所述第二图像,得到深度图;
第三获取模块,用于将所述深度图中的每个像素的像素值与所述第一距离相加,得到多个像素对应的多个第二等效观看距离;
第四获取模块,用于根据所述多个第二等效观看距离,得到所述第一等效观看距离。
可选地,所述处理模块303,包括:
处理子模块,用于基于所述等效视差分别对所述第一图像和第二图像进行裁剪、缩放和仿射变换,得到第五图像和第六图像;
第一校正子模块,用于对所述第五图像采用所述第一显示组件的凸透镜参数进行反畸变校正,得到所述第三图像;
第二校正子模块,用于对所述第六图像采用所述第二显示组件的凸透镜参数进行反畸变校正,得到所述第四图像。
本申请实施例提供的图像处理装置300能够实现前述方法实施例实现的各个过程,并能达到相同的技术效果,为避免重复,这里不再赘述。
本申请实施例中的图像处理装置300可以是电子设备,也可以是电子设备中的部件,例如集成电路或芯片。该电子设备可以是电子设备,也可以为除电子设备之外的其他设备。示例性的,电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device,MID)、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobilepersonal computer,UMPC)、上网本或者个人数字助理(personal digital assistant,PDA)等,还可以为服务器、网络附属存储器(Network Attached Storage,NAS)、个人计算机(personal computer,PC)、电视机(television,TV)、柜员机或者自助机等,本申请实施例不作具体限定。
本申请实施例中的图像处理装置300可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统,可以为ios操作系统,还可以为其他可能的操作系统,本申请实施例不作具体限定。
可选地,如图4所示,本申请实施例还提供一种电子设备400,包括处理器401和存储器402,存储器402上存储有可在所述处理器401上运行的程序或指令,该程序或指令被处理器401执行时实现上述图像处理方法实施例的各个步骤,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要说明的是,本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图5为实现本申请实施例的一种电子设备的硬件结构图。
该电子设备500包括但不限于:射频单元501、网络模块502、音频输出单元503、输入单元504、传感器505、显示单元506、用户输入单元507、接口单元508、存储器509、以及处理器510等部件。
本领域技术人员可以理解,电子设备500还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器510逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图5中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。
其中,处理器510,用于获取第二电子设备的双目摄像头的参数,以及通过所述双目摄像头采集的第一图像和第二图像;
基于第一等效观看距离和所述双目摄像头的参数,确定等效视差,所述第一等效观看距离根据所述第一图像和所述第二图像确定;
基于所述等效视差分别对所述第一图像和第二图像进行图像处理,得到第三图像和第四图像;
显示单元506,用于通过第一显示组件显示所述第三图像,并通过第二显示组件显示所述第四图像,所述显示单元包括第一显示组件和第二显示组件。
可选地,所述双目摄像头的参数包括所述双目摄像头的焦距以及所述双目摄像头的基线长度;
处理器510,用于根据所述第一等效观看距离、所述双目摄像头的焦距以及所述双目摄像头的基线长度,得到等效视差。
可选地,射频单元501,用于接收所述第二电子设备发送的所述第一等效观看距离。
可选地,所述双目摄像头的参数包括所述双目摄像头的基线与人眼之间的第一距离;
相应地,处理器510,用于基于所述第一图像和所述第二图像,得到深度图;
将所述深度图中的每个像素的像素值与所述第一距离相加,得到多个像素对应的多个第二等效观看距离;
根据所述多个第二等效观看距离,得到所述第一等效观看距离。
可选地,处理器510,用于:
基于所述等效视差分别对所述第一图像和第二图像进行裁剪、缩放和仿射变换,得到第五图像和第六图像;
对所述第五图像采用所述第一显示组件的凸透镜参数进行反畸变校正,得到所述第三图像;
对所述第五图像采用所述第二显示组件的凸透镜参数进行反畸变校正,得到所述第四图像。
本申请实施例提供的电子设备能够实现前述方法实施例实现的各个过程,为避免重复,这里不再赘述。
应理解的是,本申请实施例中,输入单元504可以包括图形处理器(GraphicsProcessing Unit,GPU)5041和麦克风5042,图形处理器5041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元506可包括显示面板5061,可以采用液晶显示器、有机发光二极管等形式来配置显示面板5061。用户输入单元507包括触控面板5071以及其他输入设备5072中的至少一种。触控面板5071,也称为触摸屏。触控面板5071可包括触摸检测装置和触摸控制器两个部分。其他输入设备5072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。
存储器509可用于存储软件程序以及各种数据。存储器509可主要包括存储程序或指令的第一存储区和存储数据的第二存储区,其中,第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外,存储器509可以包括易失性存储器或非易失性存储器,或者,存储器509可以包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM,DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DRRAM)。本申请实施例中的存储器509包括但不限于这些和任意其它适合类型的存储器。
处理器510可包括一个或多个处理单元;可选地,处理器510集成应用处理器和调制解调处理器,其中,应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作,调制解调处理器主要处理无线通信信号,如基带处理器。可以理解的是,上述调制解调处理器也可以不集成到处理器510中。
本申请实施例还提供一种可读存储介质,所述可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。
本申请实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
本申请实施例提供一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如上述图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台电子设备(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。
Claims (10)
1.一种图像处理方法,其特征在于,应用于第一电子设备,所述方法包括:
获取第二电子设备的双目摄像头的参数,以及通过所述双目摄像头采集的第一图像和第二图像;
基于第一等效观看距离和所述双目摄像头的参数,确定等效视差,所述第一等效观看距离根据所述第一图像和所述第二图像确定;
基于所述等效视差分别对所述第一图像和第二图像进行图像处理,得到第三图像和第四图像;
通过所述第一电子设备的第一显示组件显示所述第三图像,并通过所述第一电子设备的第二显示组件显示所述第四图像。
2.根据权利要求1所述的方法,其特征在于,所述双目摄像头的参数包括所述双目摄像头的焦距以及所述双目摄像头的基线长度;
所述基于第一等效观看距离和所述双目摄像头的参数,确定等效视差,包括:
根据所述第一等效观看距离、所述双目摄像头的焦距以及所述双目摄像头的基线长度,计算得到等效视差。
3.根据权利要求1所述的方法,其特征在于,在所述基于第一等效观看距离和所述双目摄像头的参数,确定等效视差之前,所述方法还包括:
接收所述第二电子设备发送的所述第一等效观看距离。
4.根据权利要求1所述的方法,其特征在于,所述双目摄像头的参数包括所述双目摄像头的基线与人眼之间的第一距离;
在所述获取第二电子设备的双目摄像头的参数,以及通过所述双目摄像头采集的第一图像和第二图像之后,所述基于第一等效观看距离和所述双目摄像头的参数,确定等效视差之前,所述方法还包括:
基于所述第一图像和所述第二图像,得到深度图;
将所述深度图中的每个像素的像素值与所述第一距离相加,得到多个像素对应的多个第二等效观看距离;
根据所述多个第二等效观看距离,得到所述第一等效观看距离。
5.根据权利要求1-4中任一项所述的方法,其特征在于,基于所述等效视差分别对所述第一图像和第二图像进行图像处理,得到第三图像和第四图像,包括:
基于所述等效视差分别对所述第一图像和第二图像进行裁剪、缩放和仿射变换,得到第五图像和第六图像;
对所述第五图像采用所述第一显示组件的凸透镜参数进行反畸变校正,得到所述第三图像;
对所述第六图像采用所述第二显示组件的凸透镜参数进行反畸变校正,得到所述第四图像。
6.一种图像处理装置,应用于第一电子设备,其特征在于,包括:
第一获取模块,用于获取第二电子设备的双目摄像头的参数,以及通过所述双目摄像头采集的第一图像和第二图像;
确定模块,用于基于第一等效观看距离和所述双目摄像头的参数,确定等效视差,所述第一等效观看距离根据所述第一图像和所述第二图像确定;
处理模块,用于基于所述等效视差分别对所述第一图像和第二图像进行图像处理,得到第三图像和第四图像;
显示模块,用于通过所述第一电子设备的第一显示组件显示所述第三图像,并通过所述第一电子设备的第二显示组件显示所述第四图像。
7.根据权利要求6所述的装置,其特征在于,所述双目摄像头的参数包括所述双目摄像头的焦距以及所述双目摄像头的基线长度;
所述确定模块,用于根据所述第一等效观看距离、所述双目摄像头的焦距以及所述双目摄像头的基线长度,计算得到等效视差。
8.根据权利要求6或7所述的装置,其特征在于,所述处理模块,包括:
处理子模块,用于基于所述等效视差分别对所述第一图像和第二图像进行裁剪、缩放和仿射变换,得到第五图像和第六图像;
第一校正子模块,用于对所述第五图像采用所述第一显示组件的凸透镜参数进行反畸变校正,得到所述第三图像;
第二校正子模块,用于对所述第六图像采用所述第二显示组件的凸透镜参数进行反畸变校正,得到所述第四图像。
9.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1至5中任一项所述的图像处理方法的步骤。
10.一种可读存储介质,其特征在于,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如权利要求1至5中任一项所述的图像处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311148561.1A CN117176935A (zh) | 2023-09-06 | 2023-09-06 | 图像处理方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311148561.1A CN117176935A (zh) | 2023-09-06 | 2023-09-06 | 图像处理方法、装置、电子设备及可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117176935A true CN117176935A (zh) | 2023-12-05 |
Family
ID=88939172
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311148561.1A Pending CN117176935A (zh) | 2023-09-06 | 2023-09-06 | 图像处理方法、装置、电子设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117176935A (zh) |
-
2023
- 2023-09-06 CN CN202311148561.1A patent/CN117176935A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109120984B (zh) | 弹幕显示方法、装置、终端及服务器 | |
CN109743626B (zh) | 一种图像显示方法、图像处理方法和相关设备 | |
CN108282648B (zh) | 一种vr渲染方法、装置、穿戴式设备及可读存储介质 | |
CN112182299B (zh) | 一种视频中精彩片段的获取方法、装置、设备和介质 | |
CN110288692B (zh) | 光照渲染方法和装置、存储介质及电子装置 | |
CN110941332A (zh) | 表情驱动方法、装置、电子设备及存储介质 | |
CN112017222A (zh) | 视频全景拼接与三维融合方法及装置 | |
CN111835982B (zh) | 图像获取方法、图像获取装置、电子设备及存储介质 | |
CN103795961A (zh) | 会议电视网真系统及其图像处理方法 | |
CN115103175B (zh) | 图像传输方法、装置、设备及介质 | |
CN113015007A (zh) | 视频插帧方法、装置及电子设备 | |
CN111179159A (zh) | 消除视频中目标影像的方法、装置、电子设备及存储介质 | |
CN117115287A (zh) | 图像生成方法、装置、电子设备及可读存储介质 | |
CN109981903B (zh) | 一种图像处理方法及电子设备 | |
CN115937291B (zh) | 一种双目图像的生成方法、装置、电子设备及存储介质 | |
CN117176935A (zh) | 图像处理方法、装置、电子设备及可读存储介质 | |
CN113810755B (zh) | 全景视频预览的方法、装置、电子设备及存储介质 | |
US20150215602A1 (en) | Method for ajdusting stereo image and image processing device using the same | |
CN112672058B (zh) | 拍摄方法及装置 | |
CN115049572A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
CN113784217A (zh) | 视频播放方法、装置、设备和存储介质 | |
CN113810624A (zh) | 视频生成的方法、装置和电子设备 | |
CN112418942A (zh) | 广告显示方法、装置及电子设备 | |
CN112738398A (zh) | 一种图像防抖方法、装置和电子设备 | |
KR101864454B1 (ko) | 이미지 처리 장치에서 이미지를 합성하는 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |