CN110490820B - 图像处理方法和装置、电子设备、存储介质 - Google Patents
图像处理方法和装置、电子设备、存储介质 Download PDFInfo
- Publication number
- CN110490820B CN110490820B CN201910726220.5A CN201910726220A CN110490820B CN 110490820 B CN110490820 B CN 110490820B CN 201910726220 A CN201910726220 A CN 201910726220A CN 110490820 B CN110490820 B CN 110490820B
- Authority
- CN
- China
- Prior art keywords
- image frame
- output
- pixel point
- distortion
- virtual reality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 160
- 230000002441 reversible effect Effects 0.000 claims abstract description 58
- 238000012937 correction Methods 0.000 claims abstract description 52
- 238000000034 method Methods 0.000 claims abstract description 33
- 230000008569 process Effects 0.000 claims abstract description 15
- 238000004590 computer program Methods 0.000 claims description 11
- 230000003287 optical effect Effects 0.000 abstract description 20
- 238000007654 immersion Methods 0.000 abstract description 11
- 230000007613 environmental effect Effects 0.000 abstract description 8
- 230000000694 effects Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 16
- 239000007787 solid Substances 0.000 description 16
- 238000005516 engineering process Methods 0.000 description 12
- 229910003460 diamond Inorganic materials 0.000 description 8
- 239000010432 diamond Substances 0.000 description 8
- 241000226585 Antennaria plantaginifolia Species 0.000 description 7
- 241000282414 Homo sapiens Species 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011982 device technology Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 231100001261 hazardous Toxicity 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G06T5/80—
Abstract
本申请涉及一种图像处理方法，包括：在虚拟现实设备工作的过程中，判断所述虚拟现实设备中待输出的图像帧是否需要校正；当判定所述图像帧需要校正时，对所述图像帧进行反向畸变处理；当判定所述图像帧不需要校正时，对所述图像帧不做畸变处理或进行正向畸变处理。本申请还公开了一种图像处理装置、电子设备以及计算机可读存储介质。本申请有选择性地校正光学透镜所导致的画面变形，使得画面更好的符合环境需求，增强虚拟与现实的沉浸感。
Description
技术领域
本申请涉及电子设备技术领域，特别是涉及一种图像处理方法和装置、电子设备、计算机可读存储介质。
背景技术
随着电子科学技术和计算机图形技术的不断发展，人类与计算机等电子多媒体设备的交互手段变得越来越丰富，虚拟现实技术便是近年来逐步走向成熟的交互技术。虚拟现实技术是一种将计算机技术、仿真技术、图形图像技术、传感测量技术集于一体的综合技术，以虚拟的三维交互环境为基本特征，具有低成本、高安全性、可反复操作等优点。
在虚拟现实设备中，一般利用光学透镜扩大用户的视野范围，以为用户带来沉浸性、交互性和想象性的体验。但是，光学透镜会导致画面产生变形。
发明内容
本申请实施例提供一种图像处理方法和装置、电子设备、计算机可读存储介质，有选择性地校正光学透镜所导致的画面变形，使得画面更好的符合环境需求，增强虚拟与现实的沉浸感。
一种图像处理方法，所述方法包括：
在虚拟现实设备工作的过程中，判断所述虚拟现实设备中待输出的图像帧是否需要校正；
当判定所述图像帧需要校正时，对所述图像帧进行反向畸变处理；
当判定所述图像帧不需要校正时，对所述图像帧不做畸变处理或进行正向畸变处理；
其中，所述反向畸变处理是与所述虚拟现实设备的镜片导致的畸变方向相反的畸变处理，所述正向畸变处理是与所述虚拟现实设备的镜片导致的畸变方向相同的畸变处理。
一种图像处理装置，所述装置包括：
判断模块，用于在虚拟现实设备工作的过程中，判断所述虚拟现实设备中待输出的图像帧是否需要校正；
反向畸变模块，用于当判定所述图像帧需要校正时，对所述图像帧进行反向畸变处理；
正向畸变模块，用于当判定所述图像帧不需要校正时，对所述图像帧不做畸变处理或进行正向畸变处理；
其中，所述反向畸变处理是与所述虚拟现实设备的镜片导致的畸变方向相反的畸变处理，所述正向畸变处理是与所述虚拟现实设备的镜片导致的畸变方向相同的畸变处理。
一种电子设备，所述电子设备包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：
在虚拟现实设备工作的过程中，判断所述虚拟现实设备中待输出的图像帧是否需要校正；
当判定所述图像帧需要校正时，对所述图像帧进行反向畸变处理；
当判定所述图像帧不需要校正时，对所述图像帧不做畸变处理或进行正向畸变处理；
其中，所述反向畸变处理是与所述虚拟现实设备的镜片导致的畸变方向相反的畸变处理，所述正向畸变处理是与所述虚拟现实设备的镜片导致的畸变方向相同的畸变处理。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
在虚拟现实设备工作的过程中，判断所述虚拟现实设备中待输出的图像帧是否需要校正；
当判定所述图像帧需要校正时，对所述图像帧进行反向畸变处理；
当判定所述图像帧不需要校正时，对所述图像帧不做畸变处理或进行正向畸变处理；
其中，所述反向畸变处理是与所述虚拟现实设备的镜片导致的畸变方向相反的畸变处理，所述正向畸变处理是与所述虚拟现实设备的镜片导致的畸变方向相同的畸变处理。
本实施例中的图像处理方法和装置、电子设备、计算机可读存储介质，在虚拟现实设备工作的过程中，判断虚拟现实设备中待输出的图像帧是否需要校正，当判定所述图像帧需要校正时，对图像帧进行反向畸变处理，当判定图像帧不需要校正时，对图像帧不做畸变处理或进行正向畸变处理，由于反向畸变处理是与虚拟现实设备的镜片导致的畸变方向相反的畸变处理，正向畸变处理是与虚拟现实设备的镜片导致的畸变方向相同的畸变处理，这样，有选择性地校正了光学透镜所导致的画面变形，使得画面更好的符合环境需求，增强虚拟与现实的沉浸感。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中图像处理方法的流程图；
图2为一个实施例中光学镜片的作用示意图；
图3A为一个实施例中光学镜片导致的图像畸变的示意图；
图3B为另一个实施例中光学镜片导致的图像畸变的示意图；
图4为一个实施例中反向畸变处理效果示意图；
图5为一个实施例中反向畸变处理原理示意图；
图6为一个实施例中正向畸变处理效果示意图；
图7为一个实施例中正向畸变处理原理示意图；
图8为另一个实施例中图像处理方法的流程图；
图9为一个实施例中图像处理装置的结构框图；
图10为一个实施例中电子设备的内部结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例中的图像处理方法可应用于电子设备，该电子设备可为虚拟现实设备等。该电子设备针对需要校正的图像帧进行反向畸变处理，针对不需要校正的图像帧不做畸变处理或进行正向畸变处理，有选择性地校正光学透镜所导致的画面变形，使得画面更好的符合环境需求，增强虚拟与现实的沉浸感。
图1为一个实施例中图像处理方法的流程图。图1所示的图像处理方法可应用于上述电子设备中，包括：
步骤102，在虚拟现实设备工作的过程中，判断所述虚拟现实设备中待输出的图像帧是否需要校正。
其中，虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，使用户沉浸到该环境中。虚拟现实设备是应用虚拟现实技术的硬件设备，虚拟现实设备包括显示屏，显示屏用于输出虚拟现实图像。
由于显示屏的像素数和屏幕大小是固定的，使得用户的视场角受限。如图2所示，在显示屏靠近人眼的一侧设置光学镜片，光学镜片用于提升用户的视场角。但是，光学镜片会使进入人眼的图像产生变形，本实施例中将这种变形现象称为畸变。如图3(A)和图3(B)所示，图3(A)为光学镜片导致的桶形畸变，图3(B)为光学镜片导致的枕形畸变。
校正是指对虚拟现实图像进行处理，使得通过光学镜片进入人眼的图像为未变形的图像。如图4所示，以枕形畸变为例，校正后进入人眼的图像为未变形的图像。
具体地，在虚拟现实图像中，校正后的图像会给用户带来良好的视觉体验，但在一些场景中，畸变的图像反而带来更好的视觉体验，比如在一些探险类游戏场景中，畸变的图像会带来更多的趣味性。因此，可对图像帧选择性地进行校正，以提高虚拟现实设备的显示效果。
在虚拟现实设备工作的过程中，在图像帧从显示屏输出之前，判断图像帧是否需要校正。判断图像帧是否需要的校正的方式可以是：判断虚拟现实设备中待输出的图像帧是否满足预设校正条件。其中，预设校正条件是预先设定的条件，当判定图像帧满足该预设校正条件时，判定图像帧需要校正；当判定图像帧不满足该预设校正条件时，判定图像帧不需要校正。预设校正条件可根据实际应用进行设定，本发明不做具体限定。
步骤104，当判定所述图像帧需要校正时，对所述图像帧进行反向畸变处理。
其中，反向畸变处理是与虚拟现实设备的镜片导致的畸变方向相反的畸变处理。光学镜片使得进入人眼的图像产生畸变效果，在图像帧从显示屏输出之前，对图像帧进行反向畸变处理，以抵消镜片产生的畸变效果。如图4所示，反向畸变处理使得变形的图像恢复正常。
具体地，对所述图像帧进行反向畸变处理的方式可以是：校正图像帧中各个像素点的显示参数，其中，所述图像帧中各个像素点的显示参数包括各个像素点的像素值和坐标值。
反向畸变处理与像素点和中心像素点之间的距离有关。以枕形畸变为例，反向畸变处理的原理为：针对待校正的像素点，加大像素点与中心像素点之间的距离，得到像素点的新的坐标值，利用新坐标处的像素值更新像素点的原坐标处的像素值，这样就实现了反向畸变处理效果。如图5所示，图5为一个实施例中单点畸变校正示意图。正方形为校正范围，空心圆为像素中心点所在的坐标，实心三角形为被反向畸变处理的像素点所在的坐标，空心三角形为实心三角形处的像素点经过反向畸变处理后所在的坐标。具体地，将像素点由实心三角形处移动至空心三角形处，将空心三角形处的像素值赋予实心三角形处的像素值，即完成反向畸变处理。
画面的畸变程度主要依赖于反向畸变系数，合理地选择反向畸变系数能够使图像更好的抵消镜片产生的畸变效果。由于镜片对于不同波长的光线有不同的折射率，因此畸变程度也不完全相同，反向畸变系数可由虚拟现实设备使用的镜片确定。以液晶显示屏为例，液晶显示屏是许多组红、蓝、绿三种颜色的LED灯组成的，通过调节三种颜色的LED灯的亮暗便能组成不同颜色的像素点的像素值，因此可针对红、蓝、绿三种颜色的光波分别进行校正。
步骤106，当判定所述图像帧不需要校正时，对所述图像帧不做畸变处理或进行正向畸变处理。
在虚拟现实图像中，在一些场景中，畸变的图像反而带来更好的视觉体验，比如在一些探险类游戏场景中，畸变的图像会带来更多的趣味性。因此，当判定图像帧不需要校正时，对图像帧不做畸变处理或进行正向畸变处理。
其中，正向畸变处理是与虚拟现实设备的镜片导致的畸变方向相同的畸变处理。光学镜片使得进入人眼的图像产生畸变效果，在图像帧从显示屏输出之前，对图像帧进行正向畸变处理，以加强镜片产生的畸变效果。如图6所示，正向畸变处理使得变形的图像更加扭曲。
具体地，对所述图像帧进行正向畸变处理的方式可以是：更改图像帧中各个像素点的显示参数，其中，所述图像帧中各个像素点的显示参数包括各个像素点的像素值和坐标值。
与反向畸变处理类似，正向畸变处理与像素点和中心像素点之间的距离有关。以枕形畸变为例，正向畸变处理的原理为：针对待正向畸变处理的像素点，减小像素点与中心像素点之间的距离，得到像素点的新的坐标值，利用新坐标处的像素值更新像素点的原坐标处的像素值，这样就实现了正向畸变处理效果。如图7所示，图7为另一实施例中单点畸变校正示意图。正方形为校正范围，空心椭圆为像素中心点所在的坐标，实心菱形为被正向畸变处理的像素点所在的坐标，空心菱形为实心菱形处的像素点经过正向畸变处理后所在的坐标。具体地，将像素点由实心菱形处移动至空心菱形处，将空心菱形处的像素值赋予实心菱形处的像素值，即完成正向畸变处理。
画面的畸变程度主要依赖于正向畸变系数，合理地选择正向畸变系数能够使图像更好的抵消镜片产生的畸变效果。正向畸变系数可根据实际应用进行设置，以达到用户想要的视觉效果。
本实施例中的图像处理方法，针对需要校正的图像帧进行反向畸变处理，针对不需要校正的图像帧不做畸变处理或进行正向畸变处理，有选择性地校正光学镜片所导致的画面变形，使得画面更好的符合环境需求，增强虚拟与现实的沉浸感。
在一个实施例中，所述判断所述虚拟现实设备中待输出的图像帧是否需要校正，包括：判断所述虚拟现实设备中待输出的图像帧是否满足预设校正条件；其中，当判定所述图像帧满足所述预设校正条件时，判定所述图像帧需要校正；当判定所述图像帧不满足所述预设校正条件时，判定所述图像帧不需要校正。
其中，预设校正条件为预设设定的条件，当判定图像帧满足该预设校正条件时，判定图像帧需要校正；当判定图像帧不满足该预设校正条件时，判定图像帧不需要校正。
具体地，预设校正条件可根据实际应用进行设定，本发明不做具体限定。比如，在出厂前，可对需要校正的视频帧进行标识，赋予需要校正的视频帧预设标识，在图像帧从显示屏输出之前，检测该图像帧是否包括预设标识，若包括，则对该视频帧进行校正。比如，预先设置需要校正的视频帧的类型，该类型可为视频帧中的元素、视频帧的场景、视频帧的音乐、视频帧的编解码类型等，在图像帧从显示屏输出之前，检测该图像帧是否属于需要校正的类型，若是，则对该视频帧进行校正。
可以理解，也可预先设置预设不校正条件，其中，当判定图像帧满足预设不校正条件时，判定所述图像帧不需要校正；当判定图像帧不满足预设不校正条件时，判定图像帧需要校正。
预设不校正条件也可根据实际应用进行设定，本发明不做具体限定。比如，在出厂前，可对不需要校正的视频帧进行标识，赋予不需要校正的视频帧预定标识，在图像帧从显示屏输出之前，检测该图像帧是否包括预定标识，若包括，则不对该视频帧进行畸变处理，或进行正向畸变处理。比如，预先设置不需要校正的视频帧的类型，该类型可为视频帧中的元素、视频帧的场景、视频帧的音乐、视频帧的编解码类型等，在图像帧从显示屏输出之前，检测该图像帧是否属于不需要校正的类型，若是，则不对该视频帧进行畸变处理，或进行正向畸变处理。
本实施例中的图像处理方法，通过预设校正条件判断虚拟现实设备中待输出的图像帧是否需要校正，实现对虚拟现实图像有选择性地校正。
在一个实施例中，所述判断所述虚拟现实设备中待输出的图像帧是否满足预设校正条件，包括：判断所述虚拟现实设备中待输出的图像帧是否包括预设标识、预设元素、或所述图像帧是否为预设场景中的至少一个；其中，当所述图像帧包括所述预设标识、所述预设元素、或所述图像帧为所述预设场景中的至少一个时，判定所述图像帧满足所述预设校正条件。
其中，预设标识用于标识需要校正的图像帧，预设标识可为文字、数字、字母等，本申请不做具体限定。具体地，在出厂前，可对需要校正的视频帧进行标识，赋予需要校正的视频帧预设标识，在图像帧从显示屏输出之前，检测该图像帧是否包括预设标识，若包括，则对该视频帧进行校正。
其中，预设元素可以为预先指定的元素，若视频帧中包括该元素，则需要被校正。预设元素可以是预设人物、预设物体、预设文字等。比如预设元素为预设人物，当视频帧中包括该预设人物时，则对该视频帧进行校正。
其中，预设场景是指预先指定的场景，若图像帧在该场景下，则需要被校正。预设场景可以是恐怖氛围的场景、危险氛围的场景等。比如预设场景为恐怖氛围的场景，当视频帧的当前的场景为恐怖氛围的场景，则对该视频帧进行校正。
本实施例中的图像处理方法，通过预设标识、预设元素、预设场景判断虚拟现实设备中待输出的图像帧是否需要校正，实现对虚拟现实图像有选择性地校正，使得画面更好的符合环境需求，增强虚拟与现实的沉浸感。
在一个实施例中，所述当判定所述图像帧需要校正时，对所述图像帧进行反向畸变处理，包括：当判定所述图像帧需要校正时，获取所述虚拟现实设备的反向畸变参数和所述图像帧中各个像素点的显示参数；根据所述反向畸变参数和所述图像帧中各个像素点的显示参数确定所述图像帧中各个像素点的第一目标显示参数。
其中，所述图像帧中各个像素点的显示参数包括各个像素点的像素值和坐标值，第一目标显示参数是指所述图像帧中各个像素点被反向畸变处理后的显示参数。
其中，反向畸变参数用于确定视频帧的畸变程度。在极坐标体系(r,θ)中，利用如下补偿过程来实现畸变补偿：(r,θ)→(f(r)r,θ)。其中，f(r)＝k0+k1r2+k2r4+k3r6，r为像素点到中心像素点之间的距离，k0、k1、k2、k3为反向畸变系数，范围在0到1之间。从上述表达式中可得反向畸变处理与θ无关，与像素点和中心像素点之间的距离有关。
以枕形畸变为例，反向畸变处理的原理为：针对待校正的像素点，加大像素点与中心像素点之间的距离，得到像素点的新的坐标值，利用新坐标处的像素值更新像素点的原坐标处的像素值，这样就实现了反向畸变处理效果。如图5所示，图5为一个实施例中单点畸变校正示意图。正方形为校正范围，空心圆为像素中心点所在的坐标，实心三角形为被反向畸变处理的像素点所在的坐标，空心三角形为实心三角形处的像素点经过反向畸变处理后所在的坐标。具体地，将像素点由实心三角形处移动至空心三角形处，将空心三角形处的像素值赋予实心三角形处的像素值，即完成反向畸变处理。
画面的畸变程度主要依赖于反向畸变系数，合理地选择反向畸变系数能够使图像更好的抵消镜片产生的畸变效果。由于镜片对于不同波长的光线有不同的折射率，因此畸变程度也不完全相同，反向畸变系数可由虚拟现实设备使用的镜片确定。以液晶显示屏为例，液晶显示屏是许多组红、蓝、绿三种颜色的LED灯组成的，通过调节三种颜色的LED灯的亮暗便能组成不同颜色的像素点的像素值，因此可针对红、蓝、绿三种颜色的光波分别进行校正。
本实施例中的图像处理方法，针对需要校正的图像帧进行反向畸变处理，保证虚拟现实图像的显示效果。
在一个实施例中，所述当判定所述图像帧不需要校正时，对所述图像帧进行正向畸变处理，包括：当判定所述图像帧不需要校正时，获取所述虚拟现实设备的正向畸变参数和所述图像帧中各个像素点的显示参数；根据所述正向畸变参数和所述图像帧中各个像素点的显示参数确定所述图像帧中各个像素点的第二目标显示参数。
其中，所述图像帧中各个像素点的显示参数包括各个像素点的像素值和坐标值，第二目标显示参数是指所述图像帧中各个像素点被正向畸变处理后的显示参数。
其中，正向畸变参数用于确定视频帧的畸变程度。在极坐标体系(r,θ)中，利用如下补偿过程来实现畸变补偿：(r,θ)→(f(r)r,θ)。其中，f(r)＝k4+k5r2+k6r4+k7r6，r为像素点到中心像素点之间的距离，k4、k5、k6、k7为正向畸变系数，范围在0到1之间。从上述表达式中可得正向畸变处理与θ无关，与像素点和中心像素点之间的距离有关。
以枕形畸变为例，正向畸变处理的原理为：针对待正向畸变处理的像素点，减小像素点与中心像素点之间的距离，得到像素点的新的坐标值，利用新坐标处的像素值更新像素点的原坐标处的像素值，这样就实现了正向畸变处理效果。
画面的畸变程度主要依赖于正向畸变系数，合理地选择正向畸变系数能够使图像更好的抵消镜片产生的畸变效果。正向畸变系数可根据实际应用进行设置，以达到用户想要的视觉效果。
本实施例中的图像处理方法，针对不需要校正的图像帧进行正向畸变处理，增强虚拟与现实的沉浸感和代入感。
在一个实施例中，所述图像帧中各个像素点的显示参数包括各个像素点的像素值和坐标值；所述根据所述正向畸变参数和所述图像帧中各个像素点的显示参数确定所述图像帧中各个像素点的第二目标显示参数，包括：根据所述正向畸变参数和所述坐标值确定所述图像帧中各个像素点的目标坐标值，根据所述图像帧中各个像素点的目标像素值更新所述像素值，得到所述图像帧中各个像素点的第二目标显示参数。
其中，目标坐标值是指所述图像帧中各个像素点被正向畸变处理后的坐标值，目标像素值是指所述图像帧中各个像素点被正向畸变处理后的像素值。
具体地，如图7所示，图7为另一实施例中单点畸变校正示意图。正方形为校正范围，空心椭圆为像素中心点所在的坐标，实心菱形为被正向畸变处理的像素点所在的坐标，空心菱形为实心菱形处的像素点经过正向畸变处理后所在的坐标。具体地，将像素点由实心菱形处移动至空心菱形处，将空心菱形处的像素值赋予实心菱形处的像素值，即完成正向畸变处理。
本实施例中的图像处理方法，针对不需要校正的图像帧进行正向畸变处理，增强虚拟与现实的沉浸感和代入感。
在一个实施例中，所述根据所述正向畸变参数和所述坐标值确定所述图像帧中各个像素点的目标坐标值，包括：根据所述正向畸变参数确定所述图像帧中各个像素点与所述图像帧的中心像素点之间的目标距离；根据所述目标距离和所述坐标值确定所述图像帧中各个像素点的目标坐标值。
其中，目标距离是指所述图像帧中各个像素点被正向畸变处理后与图像帧的中心像素点之间的距离。
正向畸变参数用于确定视频帧的畸变程度。在极坐标体系(r,θ)中，利用如下补偿过程来实现畸变补偿：(r,θ)→(f(r)r,θ)。其中，f(r)＝k4+k5r2+k6r4+k7r6，r为像素点到中心像素点之间的距离，k4、k5、k6、k7为正向畸变系数，范围在0到1之间。从上述表达式中可得正向畸变处理与θ无关，与像素点和中心像素点之间的距离有关。
以枕形畸变为例，正向畸变处理的原理为：针对待正向畸变处理的像素点，减小像素点与中心像素点之间的距离，得到像素点的目标坐标值，利用目标坐标处的像素值更新像素点的原坐标处的像素值，这样就实现了正向畸变处理效果。
本实施例中的图像处理方法，针对不需要校正的图像帧进行正向畸变处理，增强虚拟与现实的沉浸感和代入感。
如图8所示，下面结合具体实施例进行举例说明：
步骤802，在虚拟现实设备工作的过程中，判断所述虚拟现实设备中待输出的图像帧是否包括预定标识、预定元素、或所述图像帧是否为预定场景中的至少一个；
步骤804，当所述图像帧包括所述预定标识、所述预定元素、或所述图像帧为所述预定场景中的至少一个时，对所述图像帧不做畸变处理或进行正向畸变处理。
其中，预定标识用于标识不需要校正的图像帧，预定标识可为文字、数字、字母等，本发明不做具体限定。具体地，在出厂前，可对不需要校正的视频帧进行标识，赋予不需要校正的视频帧预定标识，在图像帧从显示屏输出之前，检测该图像帧是否包括预定标识，若包括，则对图像帧不做畸变处理或进行正向畸变处理。
其中，预定元素是指预先指定的元素，若视频帧中包括该元素，则不需要被校正。预定元素可以是预定人物、预定物体、预定文字等。比如预定元素为预定人物，当视频帧中包括该预定人物时，则对图像帧不做畸变处理或进行正向畸变处理。
其中，预定场景是指预先指定的场景，若图像帧在该场景下，则不需要被校正。预定场景可以是恐怖氛围的场景、危险氛围的场景等。比如预定场景为恐怖氛围的场景，当视频帧的当前的场景为恐怖氛围的场景，则对图像帧不做畸变处理或进行正向畸变处理。
本实施例中的图像处理方法，针对不需要校正的图像帧不做畸变处理或进行正向畸变处理，有选择性地校正光学透镜所导致的画面变形，使得画面更好的符合环境需求，增强虚拟与现实的沉浸感。
应该理解的是，虽然图2和图8的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2和图8中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图9为一个实施例中图像处理装置900的结构框图。如图9所示，一种图像处理装置，包括判断模块902、反向畸变模块904和正向畸变模块906。其中：
判断模块902，用于在虚拟现实设备工作的过程中，判断所述虚拟现实设备中待输出的图像帧是否需要校正；
反向畸变模块904，用于当判定所述图像帧需要校正时，对所述图像帧进行反向畸变处理；
正向畸变模块906，用于当判定所述图像帧不需要校正时，对所述图像帧不做畸变处理或进行正向畸变处理；
其中，所述反向畸变处理是与所述虚拟现实设备的镜片导致的畸变方向相反的畸变处理，所述正向畸变处理是与所述虚拟现实设备的镜片导致的畸变方向相同的畸变处理。
本实施中的图像处理装置900，针对需要校正的图像帧进行反向畸变处理，针对不需要校正的图像帧不做畸变处理或进行正向畸变处理，有选择性地校正光学透镜所导致的画面变形，使得画面更好的符合环境需求，增强虚拟与现实的沉浸感。
在一个实施例中，所述判断模块902还用于判断所述虚拟现实设备中待输出的图像帧是否满足预设校正条件；其中，当判定所述图像帧满足所述预设校正条件时，判定所述图像帧需要校正；当判定所述图像帧不满足所述预设校正条件时，判定所述图像帧不需要校正。
在一个实施例中，所述判断模块902还用于判断所述虚拟现实设备中待输出的图像帧是否包括预设标识、预设元素、或所述图像帧是否为预设场景中的至少一个；其中，当所述图像帧包括所述预设标识、所述预设元素、或所述图像帧为所述预设场景中的至少一个时，判定所述图像帧满足所述预设校正条件。
在一个实施例中，所述反向畸变模块904，还用于当判定所述图像帧需要校正时，获取所述虚拟现实设备的反向畸变参数和所述图像帧中各个像素点的显示参数；根据所述反向畸变参数和所述图像帧中各个像素点的显示参数确定所述图像帧中各个像素点的第一目标显示参数。
在一个实施例中，所述正向畸变模块906，还用于当判定所述图像帧不需要校正时，获取所述虚拟现实设备的正向畸变参数和所述图像帧中各个像素点的显示参数；根据所述正向畸变参数和所述图像帧中各个像素点的显示参数确定所述图像帧中各个像素点的第二目标显示参数。
在一个实施例中，所述正向畸变模块906，还用于根据所述正向畸变参数和所述坐标值确定所述图像帧中各个像素点的目标坐标值，根据所述图像帧中各个像素点的目标像素值更新所述像素值，得到所述图像帧中各个像素点的第二目标显示参数。
在一个实施例中，所述正向畸变模块906，还用于根据所述正向畸变参数确定所述图像帧中各个像素点与所述图像帧的中心像素点之间的目标距离；根据所述目标距离和所述坐标值确定所述图像帧中各个像素点的目标坐标值。
上述图像处理装置中各个模块的划分仅用于举例说明，在其他实施例中，可将图像处理装置按照需要划分为不同的模块，以完成上述图像处理装置的全部或部分功能。
关于图像处理装置的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
图10为一个实施例中电子设备的内部结构示意图。如图10所示，该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以上各个实施例所提供的一种图像处理方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。
本申请实施例中提供的图像处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行图像处理方法的步骤。
一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行图像处理方法。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (12)
1.一种图像处理方法，其特征在于，所述方法包括：
在虚拟现实设备工作的过程中，确定所述虚拟现实设备中待输出的图像帧的类型；图像帧的类型是根据图像帧中的元素和图像帧的场景中的至少一个划分得到；
当所述待输出的图像帧的类型为需要校正的类型时，确定所述待输出的图像帧中待进行反向畸变处理的像素点，利用所述待进行反向畸变处理的像素点与中心像素点之间的距离，更改所述待进行反向畸变处理的像素点的像素值；
当所述待输出的图像帧的类型为无需校正的类型时，对所述待输出的图像帧不做畸变处理，或者确定待进行正向畸变处理的像素点，利用所述待进行正向畸变处理的像素点与所述中心像素点之间的距离，更改所述待进行正向畸变处理的像素点的像素值；
其中，所述反向畸变处理是与所述虚拟现实设备的镜片导致的畸变方向相反的畸变处理，所述正向畸变处理是与所述虚拟现实设备的镜片导致的畸变方向相同的畸变处理。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
判断所述虚拟现实设备中待输出的图像帧是否满足预设校正条件；
其中，当判定所述待输出的图像帧满足所述预设校正条件时，判定所述待输出的图像帧需要校正；当判定所述待输出的图像帧不满足所述预设校正条件时，判定所述待输出的图像帧不需要校正。
3.根据权利要求2所述的方法，其特征在于，所述判断所述虚拟现实设备中待输出的图像帧是否满足预设校正条件，包括：
判断所述虚拟现实设备中待输出的图像帧是否包括预设标识、预设元素、或所述待输出的图像帧是否为预设场景中的至少一个；
其中，当所述待输出的图像帧包括所述预设标识、所述预设元素、或所述待输出的图像帧为所述预设场景中的至少一个时，判定所述待输出的图像帧满足所述预设校正条件。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当所述待输出的图像帧的类型为需要校正的类型时，获取所述虚拟现实设备的反向畸变参数和所述待输出的图像帧中各个像素点的显示参数；
根据所述反向畸变参数和所述待输出的图像帧中各个像素点的显示参数，确定所述待输出的图像帧中各个像素点的第一目标显示参数。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当所述待输出的图像帧的类型为无需校正的类型时，获取所述虚拟现实设备的正向畸变参数和所述待输出的图像帧中各个像素点的显示参数；
根据所述正向畸变参数和所述待输出的图像帧中各个像素点的显示参数，确定所述待输出的图像帧中各个像素点的第二目标显示参数。
6.根据权利要求5所述的方法，其特征在于，所述待输出的图像帧中各个像素点的显示参数包括各个像素点的像素值和坐标值；
所述根据所述正向畸变参数和所述待输出的图像帧中各个像素点的显示参数，确定所述待输出的图像帧中各个像素点的第二目标显示参数，包括：
根据所述正向畸变参数和所述坐标值确定所述待输出的图像帧中各个像素点的目标坐标值，根据所述待输出的图像帧中各个像素点的目标像素值更新所述像素值，得到所述待输出的图像帧中各个像素点的第二目标显示参数。
7.根据权利要求6所述的方法，其特征在于，所述根据所述正向畸变参数和所述坐标值确定所述待输出的图像帧中各个像素点的目标坐标值，包括：
根据所述正向畸变参数确定所述待输出的图像帧中各个像素点与所述待输出的图像帧的中心像素点之间的目标距离；
根据所述目标距离和所述坐标值确定所述待输出的图像帧中各个像素点的目标坐标值。
8.一种图像处理装置，其特征在于，所述装置包括：
判断模块，用于在虚拟现实设备工作的过程中，确定所述虚拟现实设备中待输出的图像帧的类型；图像帧的类型是根据图像帧中的元素和图像帧的场景中的至少一个划分得到；
反向畸变模块，用于当所述待输出的图像帧的类型为需要校正的类型时，确定所述待输出的图像帧中待进行反向畸变处理的像素点，利用所述待进行反向畸变处理的像素点与中心像素点之间的距离，更改所述待进行反向畸变处理的像素点的像素值；
正向畸变模块，用于当所述待输出的图像帧的类型为无需校正的类型时，对所述待输出的图像帧不做畸变处理，或者确定待进行正向畸变处理的像素点，利用所述待进行正向畸变处理的像素点与所述中心像素点之间的距离，更改所述待进行正向畸变处理的像素点的像素值；
其中，所述反向畸变处理是与所述虚拟现实设备的镜片导致的畸变方向相反的畸变处理，所述正向畸变处理是与所述虚拟现实设备的镜片导致的畸变方向相同的畸变处理。
9.根据权利要求8所述的装置，其特征在于，所述判断模块还用于：判断所述虚拟现实设备中待输出的图像帧是否满足预设校正条件；其中，当判定所述待输出的图像帧满足所述预设校正条件时，判定所述待输出的图像帧需要校正；当判定所述待输出的图像帧不满足所述预设校正条件时，判定所述待输出的图像帧不需要校正。
10.根据权利要求9所述的装置，其特征在于，所述判断模块还用于：判断所述虚拟现实设备中待输出的图像帧是否包括预设标识、预设元素、或所述待输出的图像帧是否为预设场景中的至少一个；其中，当所述待输出的图像帧包括所述预设标识、所述预设元素、或所述待输出的图像帧为所述预设场景中的至少一个时，判定所述待输出的图像帧满足所述预设校正条件。
11.一种电子设备，所述电子设备包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述的方法的步骤。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910726220.5A CN110490820B (zh) | 2019-08-07 | 2019-08-07 | 图像处理方法和装置、电子设备、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910726220.5A CN110490820B (zh) | 2019-08-07 | 2019-08-07 | 图像处理方法和装置、电子设备、存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110490820A CN110490820A (zh) | 2019-11-22 |
| CN110490820B true CN110490820B (zh) | 2022-04-12 |
Family
ID=68550132
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910726220.5A Active CN110490820B (zh) | 2019-08-07 | 2019-08-07 | 图像处理方法和装置、电子设备、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110490820B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6339466B1 (en) * | 1998-06-08 | 2002-01-15 | Fuji Photo Film Co., Ltd. | Image processing apparatus |
| CN103813088A (zh) * | 2012-11-13 | 2014-05-21 | 联想(北京)有限公司 | 信息处理的方法及电子设备 |
| CN105005972A (zh) * | 2015-06-30 | 2015-10-28 | 广东欧珀移动通信有限公司 | 一种基于拍摄距离的畸变校正方法及移动终端 |
| CN105160632A (zh) * | 2015-06-30 | 2015-12-16 | 广东欧珀移动通信有限公司 | 一种畸变校正方法及移动终端 |
| CN105793892A (zh) * | 2014-12-09 | 2016-07-20 | 深圳市大疆创新科技有限公司 | 一种图像处理方法、装置及摄像设备 |
| CN107610044A (zh) * | 2017-08-29 | 2018-01-19 | 歌尔科技有限公司 | 图像处理方法、计算机可读存储介质及虚拟现实头戴设备 |
| CN107888899A (zh) * | 2017-10-30 | 2018-04-06 | 杭州联络互动信息科技股份有限公司 | 用于虚拟现实设备中图像获取方法、装置和虚拟现实设备 |
| CN108090880A (zh) * | 2017-12-29 | 2018-05-29 | 杭州联络互动信息科技股份有限公司 | 一种图像的反畸变处理方法以及装置 |
| CN109410140A (zh) * | 2018-10-24 | 2019-03-01 | 京东方科技集团股份有限公司 | 一种畸变校正方法、装置、系统及计算机可读存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013219544A (ja) * | 2012-04-09 | 2013-10-24 | Ricoh Co Ltd | 画像処理装置、画像処理方法、及び画像処理プログラム |
-
2019
- 2019-08-07 CN CN201910726220.5A patent/CN110490820B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6339466B1 (en) * | 1998-06-08 | 2002-01-15 | Fuji Photo Film Co., Ltd. | Image processing apparatus |
| CN103813088A (zh) * | 2012-11-13 | 2014-05-21 | 联想(北京)有限公司 | 信息处理的方法及电子设备 |
| CN105793892A (zh) * | 2014-12-09 | 2016-07-20 | 深圳市大疆创新科技有限公司 | 一种图像处理方法、装置及摄像设备 |
| CN105005972A (zh) * | 2015-06-30 | 2015-10-28 | 广东欧珀移动通信有限公司 | 一种基于拍摄距离的畸变校正方法及移动终端 |
| CN105160632A (zh) * | 2015-06-30 | 2015-12-16 | 广东欧珀移动通信有限公司 | 一种畸变校正方法及移动终端 |
| CN107610044A (zh) * | 2017-08-29 | 2018-01-19 | 歌尔科技有限公司 | 图像处理方法、计算机可读存储介质及虚拟现实头戴设备 |
| CN107888899A (zh) * | 2017-10-30 | 2018-04-06 | 杭州联络互动信息科技股份有限公司 | 用于虚拟现实设备中图像获取方法、装置和虚拟现实设备 |
| CN108090880A (zh) * | 2017-12-29 | 2018-05-29 | 杭州联络互动信息科技股份有限公司 | 一种图像的反畸变处理方法以及装置 |
| CN109410140A (zh) * | 2018-10-24 | 2019-03-01 | 京东方科技集团股份有限公司 | 一种畸变校正方法、装置、系统及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110490820A (zh) | 2019-11-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109934776B (zh) | 模型生成方法、视频增强方法、装置及计算机可读存储介质 | |
| CN111028137B (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
| US20190325564A1 (en) | Image blurring methods and apparatuses, storage media, and electronic devices | |
| CN109803172B (zh) | 一种直播视频的处理方法、装置及电子设备 | |
| US20150138222A1 (en) | Image processing device and multi-projection system | |
| US11069322B2 (en) | Display method and display device, visible light communication transmission method and device | |
| CN109817170B (zh) | 像素补偿方法、装置和终端设备 | |
| CN111489322B (zh) | 给静态图片加天空滤镜的方法及装置 | |
| CN108090880A (zh) | 一种图像的反畸变处理方法以及装置 | |
| CN107564063B (zh) | 一种基于卷积神经网络的虚拟物显示方法及装置 | |
| CN111353956B (zh) | 图像修复方法、装置、计算机设备及存储介质 | |
| CN115552451A (zh) | 用于增强现实的多层二次投影技术 | |
| CN107833193A (zh) | 一种基于refinement‑network深度学习模型的单透镜全局图像复原方法 | |
| CN113538271A (zh) | 图像显示方法、装置、电子设备和计算机可读存储介质 | |
| CN113327193A (zh) | 图像处理方法、装置、电子设备和介质 | |
| CN110490820B (zh) | 图像处理方法和装置、电子设备、存储介质 | |
| US20230106679A1 (en) | Image Processing Systems and Methods | |
| CN115049572A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
| CN109410308A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN112532872B (zh) | 调整摄像头参数的方法、装置、存储介质及电子设备 | |
| CN103943092A (zh) | 一种显示单元内屏幕颜色校正方法及系统 | |
| CN107590790A (zh) | 一种基于对称边缘填充的简单透镜边缘区域去模糊方法 | |
| CN107392860A (zh) | 图像增强方法和设备、ar设备 | |
| CN103929584B (zh) | 图像校正方法及图像校正电路 | |
| CN113744130B (zh) | 一种人脸图像生成方法、存储介质及终端设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |