CN113496458A - 图像的处理方法、装置、设备以及存储介质 - Google Patents
图像的处理方法、装置、设备以及存储介质 Download PDFInfo
- Publication number
- CN113496458A CN113496458A CN202010192889.3A CN202010192889A CN113496458A CN 113496458 A CN113496458 A CN 113496458A CN 202010192889 A CN202010192889 A CN 202010192889A CN 113496458 A CN113496458 A CN 113496458A
- Authority
- CN
- China
- Prior art keywords
- image
- local
- fisheye image
- fisheye
- original
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 59
- 238000000034 method Methods 0.000 claims abstract description 42
- 238000009877 rendering Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 10
- 238000013461 design Methods 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 4
- 241000251468 Actinopterygii Species 0.000 description 3
- 238000012217 deletion Methods 0.000 description 3
- 230000037430 deletion Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000013403 standard screening design Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
- G06T3/047—Fisheye or wide-angle transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请提供一种图像的处理方法、装置、设备以及存储介质。该方法通过获取实时拍摄的原始鱼眼图像，并对原始鱼眼图像进行渲染处理，得到整体鱼眼图像，再根据整体鱼眼图像中预设的局部选择框对原始鱼眼图像中对应的待展开区域进行鱼眼展开，得到局部展开图像，将整体鱼眼图像和局部展开图像进行拼接显示，得到多个不同角度的、或者原始鱼眼图像中不同细节处的局部展开图像，并将整体鱼眼图像和局部展开图像一同显示，使用户从视频图像中能够获得更全面的信息，提高了用户体验。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像的处理方法、装置、设备以及存储介质。
背景技术
随着图像处理技术的不断发展，用户对于监控视频中能够提供的视频画面的全面性和清晰度有着越来越高的要求。
在实际应用场景中，在视频监控中常通过鱼眼摄像头采集鱼眼视频图像，以获取超出人眼所能看到的范围的广角图像，现有技术中，对鱼眼摄像头采集的鱼眼视频图像进行鱼眼展开，并显示展开后的视频图像，能够使用户从视频中获取更多的图像信息。
然而，现有技术中所提供的鱼眼图像的角度是单一的，所能提供的视频图像的内容受到较大的限制，导致用户体验较低。
发明内容
本申请提供一种图像的处理方法、装置、设备以及存储介质，能够针对同一原始鱼眼图像，得到多个不同角度的、原始画面中不同细节处的鱼眼展开图像。
第一方面，本申请实施例提供一种图像的处理方法，包括：
获取实时拍摄的原始鱼眼图像；
对所述原始鱼眼图像进行渲染处理，得到整体鱼眼图像；
根据所述整体鱼眼图像中的预设的局部选择框，对所述原始鱼眼图像中对应的待展开区域进行鱼眼展开，得到局部展开图像；所述局部选择框用于指示所述原始鱼眼图像中的待开展区域；
将所述整体鱼眼图像和所述局部展开图像进行拼接显示。
在一种具体的实现方式中，所述对所述原始鱼眼图像进行渲染处理，得到整体鱼眼图像，包括：
根据预设的显示比例，对所述原始鱼眼图像进行裁剪，得到整体鱼眼图像，使所述整体鱼眼图像匹配显示区域。
在一种具体的实现方式中，所述对所述原始鱼眼图像的待展开区域进行鱼眼展开，得到局部展开图像，包括：
对所述原始鱼眼图像的待展开区域进行裁剪，得到所述待展开区域对应的局部鱼眼图像；
对所述局部鱼眼图像进行二维变换，得到所述局部展开图像。
在一种具体的实现方式中，所述将所述整体鱼眼图像和所述局部展开图像进行拼接显示，包括：
将所述整体鱼眼图像缩小后置于第一图层的第一目标区域，将所述第一目标区域之外的图层区域进行透明处理；
将所述局部展开图像缩小后置于第二图层的第二目标区域，将所述第二目标区域之外的图层区域进行透明处理；
将所述第一图层和所述第二图层叠加显示于显示器的显示区域；
其中，所述第一目标区域与所述第二目标区域不重叠。
进一步地，在所述对所述原始鱼眼图像进行渲染处理，得到整体鱼眼图像之后，还包括：
接收用户在所述整体鱼眼图像中对任一局部区域的选中操作；
响应于所述选中操作，生成与所述局部区域对应的局部选择框；
将所述局部选择框显示于所述整体鱼眼图像的所述局部区域上。
可选的，在所述将所述整体鱼眼图像和所述局部展开图像进行拼接显示之后，所述方法还包括：
接收用户对所述局部选择框的调整操作；所述调整操作包括移动所述局部选择框的位置或改变所述局部选择框的大小；
响应于所述调整操作，调整与所述局部选择框对应的待展开区域的位置或大小。
进一步地，在所述将所述整体鱼眼图像和所述局部展开图像进行拼接显示之前，所述方法还包括：
根据所述待展开区域的数量，确定所述第一目标区域的位置坐标和区域大小以及所述第二目标区域的位置坐标和区域大小。
第二方面，本申请实施例提供一种图像的处理装置，所述装置包括：
获取模块，用于获取实时拍摄的原始鱼眼图像；
处理模块，用于对所述原始鱼眼图像进行渲染处理，得到整体鱼眼图像；
所述处理模块还用于根据所述整体鱼眼图像中的预设的局部选择框，对所述原始鱼眼图像中对应的待展开区域进行鱼眼展开，得到局部展开图像；所述局部选择框用于指示所述原始鱼眼图像中的待开展区域；
显示模块，用于将所述整体鱼眼图像和所述局部展开图像进行拼接显示。
第三方面，本申请实施例提供一种电子设备，包括：鱼眼摄像头、显示器、存储器和处理器；
所述摄像头用于实时拍摄原始鱼眼图像；
所述显示器用于根据所述处理器的控制显示对应的内容；
所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，使得所述持利器执行如第一方面所述的图像的处理方法。
第四方面，本申请实施例提供一种存储介质，包括：可读存储介质和计算机程序，所述计算机程序用于实现第一方面所述的图像的处理方法。
本申请实施例提供的一种图像的处理方法，通过获取实时拍摄的原始鱼眼图像，并对原始鱼眼图像进行渲染处理，得到整体鱼眼图像，再根据整体鱼眼图像中预设的局部选择框对原始鱼眼图像中对应的待展开区域进行鱼眼展开，得到局部展开图像，将整体鱼眼图像和局部展开图像进行拼接显示，得到多个不同角度的、或者原始鱼眼图像中不同细节处的局部展开图像，并将整体鱼眼图像和局部展开图像一同显示，使用户从视频图像中能够获得更全面的信息，提高了用户体验。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种图像的处理方法实施例一的流程示意图；
图2为本申请实施例提供的一种图像的处理方法实施例二的流程示意图；
图3为本申请实施例提供的一种图层叠加的显示效果示意图；
图4为本申请实施例提供的一种图层叠加的显示效果示意图；
图5为本申请实施例提供的一种图像的处理方法实施例三的流程示意图；
图6为本申请实施例提供的一种图像的处理方法实施例四的流程示意图；
图7为本申请实施例提供的一种图像的处理方法的数据流示意图；
图8为本申请实施例提供的一种图像的处理装置实施例一的结构示意图；
图9为本申请一实施例提供的电子设备的硬件结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本文中使用的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请的说明书中通篇提到的“一实施例”或“另一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一实施例中”或“本实施例中”未必一定指相同的实施例。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
在当前的监控设备中，通常采用鱼眼摄像头对目标监控区域进行图像采集，鱼眼摄像头具有视场角大、可容纳场景多、可适应狭小空间拍摄等优点，常见的鱼眼摄像头能够达到120度到180度的视场角，有的鱼眼摄像头甚至可以达到360度的视场角，能够采集大范围无死角的监控图像。基于采集到的鱼眼图像的丰富的图像数据，监控设备需要对每一帧的鱼眼图像进行不同程度的鱼眼展开处理以呈现给用户复合人眼视觉的图像，进一步地，同时针对不同的区域进行鱼眼展开处理，能够呈现给用户不同的图像细节，满足用户需要获取的图像信息。本申请实施例可应用于上述场景之中，能够根据用户的需求，为用户呈现所需查看区域的鱼眼展开图像，且同时呈现出整体的鱼眼图像以及一至多个局部的展开图像，使用户从不同区域或者不同角度获取图像信息，提高了用户体验，且丰富了监控设备的可交互性。
本申请的执行主体为一种具有图像处理能力的电子设备，该电子设备可应用于任一具有鱼眼摄像头的终端设备，例如手机、笔记本、平板、个人计算机、智能可穿戴产品、智能家居产品、安防监控设备等，或者，可应用于一种医疗设备，或者，可应用于一种工业控制设备，或者，可应用于一种服务器等。本申请提供一种图像的处理方法，能够针对同一原始鱼眼图像，得到多个不同角度的、原始鱼眼图像中不同细节处的展开图像，下面通过几个具体的实施例进行说明。
图1为本申请实施例提供的一种图像的处理方法实施例一的流程示意图。为了呈现出用户所需的图像细节，本实施例在向用户展示整体鱼眼图像的同时，按照预设的局部选择框将原始鱼眼图像中对应的待展开区域进行鱼眼展开，并将展开后的局部展开图像与整体鱼眼图像一同显示于显示器的显示区域中。如图1所示，该图像的处理方法包括：
S101：获取实时拍摄的原始鱼眼图像。
在本步骤中，获取原始鱼眼图像以提供图像处理的对象。获取原始鱼眼图像可通过电子设备中设置的或者与电子设备连接的图像采集装置，例如鱼眼摄像头，实时采集目标物体的图像，得到原始鱼眼图像；或者，可接收外部设备发送的原始鱼眼图像。应理解，该原始鱼眼图像为视频中的一帧图像，该视频可以是监控视频、游戏视频、家庭影像等等。本方案对视频的内容不做限制，且本方案中对原始鱼眼图像所做的任何处理均可应用于视频中的每一帧图像。
S102：对原始鱼眼图像进行渲染处理，得到整体鱼眼图像。
在本步骤中，对于采集得到的原始鱼眼图像，需要根据其所要显示的显示区域进行适应性的裁剪，使其能够匹配显示区域。该显示区域的显示比例，即长宽比是预先确定的，应理解，在不同的应用场景中，可设置整体鱼眼图像与不同数量的局部展开图像一同进行拼接显示，那么根据局部展开图像的数量确定如何划分整个显示区域，即能够确定每个图像所对应的显示区域的长宽比，根据整体鱼眼图像所对应的显示区域的长宽比对原始鱼眼图像进行裁剪，以使整体鱼眼图像达到更好的显示效果。
可选的，对原始鱼眼图像的渲染处理，还可以包括颜色渲染、纹理渲染、阴影渲染等，以实现整体鱼眼图像较好的呈现效果。
S103：根据整体鱼眼图像中预设的局部选择框，对原始鱼眼图像中对应的待展开区域进行鱼眼展开，得到局部展开图像。
其中，局部选择框显示于整体鱼眼图像中，用于指示原始鱼眼图像中的待开展区域，应理解，整体鱼眼图像为原始鱼眼图像经过渲染后得到的，整体鱼眼图像中的每个区域在原始鱼眼图像中均存在与之对应的区域，因此，整体鱼眼图像中的局部选择框与原始鱼眼图像中的待展开区域对应，局部选择框为对待展开区域的一种标记方式。
通过对原始鱼眼图像中对应的待展开区域进行鱼眼展开，得到相对于整体鱼眼图像的局部展开图像。预设的局部选择框的数量为一至多个，相应的，该局部展开图像的数量也为一至多个，对于局部展开图像的数量本方案不做限制。
可选的，在实际应用场景中，预设的待展开区域的数量大于等于两个时，可以布局于原始鱼眼图像的同一横轴线或纵轴线上，或者布局于原始鱼眼图像的不同角落处，每个待展开区域可以重叠，本方案对待展开区域的数量、布局以及大小不做限制。
S104：将整体鱼眼图像和局部展开图像进行拼接显示。
在本步骤中，可将得到的整体鱼眼图像和至少一个局部展开图像进行拼接，得到最终的显示画面，并通过显示器进行显示，本方案对于拼接的顺序不做要求。
示例性的，可通过开放式图形库(Open Graphics Library，OpenGL)，对原始鱼眼图像进行渲染处理，由本地渲染窗口管理接口(Embedded-System Graphics Library，EGL)为OpenGL渲染提供画布，即提供离屏缓冲区，作为OpenGL离屏渲染的接口。本实施例中，将原始鱼眼图像输入OpenGL，由OpenGL输出处理过得到的整体鱼眼图像和局部展开图像，并将整体鱼眼图像存储于离屏缓冲区，再将离屏缓冲区中存储的整体鱼眼图像和局部展开图像发送至显示区域对应的内存中，等待电子设备通过读取显示区域对应的内存中的数据进行显示。
为了实现整体鱼眼图像和局部展开图像的拼接显示，示例性的，对整体鱼眼图像和局部展开图像均需要做图层处理，将整体鱼眼图像缩小后置于第一图层的第一目标区域，并将第一目标区域之外的图层区域进行透明处理，相应的，将局部展开图像缩小后置于第二图层的第二目标区域，并将第二目标区域之外的图层区域进行透明处理。可选的，通过OpenGL完成图层处理过程，将处理后的整体鱼眼图像和局部展开图像存入显示区域对应的内存中，电子设备同时读取内存中存储的整体鱼眼图像和局部展开图像，实现整体鱼眼图像和局部展开图像的叠加显示，由于第一目标区域和第二目标区域不重叠，则在显示器中呈现的为拼接显示的显示效果。
本实施例提供的一种图像的处理方法，通过获取实时拍摄的原始鱼眼图像，并对原始鱼眼图像进行渲染处理，得到整体鱼眼图像，根据整体鱼眼图像中预设的局部选择框，对原始鱼眼图像中对应的待展开区域进行鱼眼展开，得到局部展开图像，最后将整体鱼眼图像和局部展开图像进行拼接显示，实现了对同一原始鱼眼图像进行渲染处理，得到多个不同角度的、或者原始鱼眼图像中不同细节处的展开图像，使用户从视频图像中能够获得更全面的信息，提高了用户体验。
在上述实施例的基础上，本实施例对于如何确定整体鱼眼图像和局部展开图像在各自图层中的目标区域的位置，提供一种具体的实现方式：根据待展开区域的数量，确定第一目标区域的位置坐标和区域大小以及第二目标区域的位置坐标和区域大小。例如待展开区域的数量为3个，即局部展开图像的数量为3，将图层4等分，第一目标区域和3个第二目标区域，应分别处于各自图层的4个不同的角，即左上角、左下角、右上角和右下角。
作为一种示例，图3为本申请实施例提供的一种图层叠加的显示效果示意图，图4为本申请实施例提供的一种图层叠加的显示效果示意图。如图3所示，以局部选择框的数量为3个为例进行说明，针对每个局部选择框所对应的待展开区域进行鱼眼展开，得到3个局部展开图像，因此，最终的显示画面中应包括4个显示区域，如图所示的显示区域1至4，整体鱼眼图像和每个局部展开图像各显示于一个显示区域。结合图4所示，整体鱼眼图像01显示于图3所示的显示区域4，那么整体鱼眼图像所在的第一目标区域应为第一图层的右下角，每个局部展开图像02可根据预设的顺序，分别显示于显示区域1至3，即每个局部展开图像02根据各自所在的显示区域的位置，确定缩小后所处于的图层位置。
图2为本申请实施例提供的一种图像的处理方法实施例二的流程示意图。如图2所示，本实施例在对原始鱼眼图像进行渲染处理，得到整体鱼眼图像的过程中，包括以下步骤：
S1031：对原始鱼眼图像的待展开区域进行裁剪，得到待展开区域对应的局部鱼眼图像。
S1032：对局部鱼眼图像进行二维变换，得到局部展开图像。
在步骤S1031和步骤S1032中，定位原始鱼眼图像的待展开区域，对待展开进行裁剪，得到局部鱼眼图像，在对局部鱼眼图像进行二维变换，得到局部展开图像。
可选的，本实施例也可以对原始鱼眼图像先进行鱼眼展开，得到整体展开图像，再定位整体展开图像中与待展开区域对应的局部区域，通过裁剪得到局部展开图像。
为了使用户能够根据需求选择或者调整需要展开的局部区域，本申请实施例提供一种个性化的方案，使用户可以通过设置或者调整局部选择框，设置待展开区域，提高了电子设备的可交互性。在图2所示实施例的基础上，作为一种示例，原始鱼眼图像是实时采集的，根据原始鱼眼图像得到的整体鱼眼图像也是一段连续的视频帧(下文简称鱼眼视频)，在整体鱼眼图像显示时，即鱼眼视频显示的过程中，用户可根据需求，在鱼眼视频的任一帧的整体鱼眼图像中对局部选择框进行操作，以实现对待展开区域的设置或者调整，并最终改变所显示的至少一个局部展开图像，可选的，电子设备可通过人机交互界面接收用户输入的操作，也可以通过输入接口接收用户通过鼠标或者遥控装置输入的操作。包括以下几种具体的实现方式：
方式一、在整体鱼眼图像中设置局部选择框：接收用户在整体鱼眼图像中对任一局部区域的选中操作，该选中操作用于指示创建局部选择框，响应于选中操作，生成与局部区域对应的局部选择框，并将局部选择框显示于整体鱼眼图像的所述局部区域上。例如，用户通过人机交互界面点击整体鱼眼图像，以点击处为中心生成预设尺寸范围的局部选择框，或者可以是用户通过人机交互界面划定生成的局部选择框等。
方式二、对整体鱼眼图像中显示的局部选择框进行调整：接收用户对任一局部选择框的调整操作，该调整操作包括移动局部选择框的位置或改变局部选择框的大小，例如，用户通过触摸人机交互界面或者操作鼠标或遥控装置拖动局部选择框，以改变局部选择框的位置或大小；响应于调整操作，调整与局部选择框对应的待展开区域的位置或大小，以调整基于待展开区域渲染得到的局部展开图像。
方式三、在整体鱼眼图像中删除局部选择框：接收用户在整体鱼眼图像中的删除操作，该删除操作用于指示删除局部选择框，例如，用户通过触摸人机交互界面或者操作鼠标或遥控装置，触发局部选择框的关闭控件，以删除局部选择框；响应于删除操作，删除与局部选择框对应的待展开区域，不需要对原始鱼眼图像的该待展开区域进行渲染处理，相当于删除对应的局部展开图像。
在一种具体的实现方式中，上述实施例中将整体鱼眼图像和至少一个局部展开图像进行拼接显示，具体可以包括：将整体鱼眼图像和至少一个局部展开图像分别存储于显示区域对应的不同的存储空间中。应理解，本方案为如图2所示的显示区域1至4分配了对应的存储空间，该存储空间可以是内存空间也可以是显卡内存空间，用于存储每个显示区域所要显示的图像。示例性的，通过对原始鱼眼图像进行渲染处理得到整体鱼眼图像和至少一个局部展开图像，将每个图像存储至用于显示该图像的显示区域所对应的内存空间中，进一步地，通过硬件拷贝模块，例如直接存储器访问(Direct Memory Access，DMA)模块，将存储空间中的数据拷贝到对应的显示区域中(具体可以是显示区域对应的显卡内存中)，使能当前显示通道在同一显示通道中，将每个鱼眼图像通过对应的显示区域进行显示，实现拼接显示的显示效果。
图5为本申请实施例提供的一种图像的处理方法实施例三的流程示意图，在上述各实施例之前，本方法还包括如图5所示的初始化步骤，具体包括：
创建图像处理线程，电子设备的显示初始化，为显示区域申请内存空间，EGL初始化以及OpenGL初始化。
图6为本申请实施例提供的一种图像的处理方法实施例四的流程示意图，如图6所示，该方法包括：
电子设备的图像处理功能使能，获取用户选择的待展开区域，根据用户选择的待展开区域的数量，计算得到显示区域的参数，包括显示区域的数量、每个显示区域的尺寸以及每个显示区域的位置坐标，根据显示区域的区域参数创建显示区域，在显示区域创建完成后，获取原始鱼眼图像的解码数据，根据选取的待展开区域，对原始鱼眼图像的整体和对应的区域进行渲染处理，得到整体鱼眼图像和至少一个局部展开图像，将整体鱼眼图像和至少一个局部展开图像拷贝至对应的显示区域，将整体鱼眼图像和至少一个局部展开图像通过对应的显示区域进行拼接显示。
图7为本申请实施例提供的一种图像的处理方法的数据流示意图，如图7所示，本方案中的原始鱼眼图像经过渲染处理，包括对整体鱼眼图像和局部展开图像进行图层处理，将处理后的整体鱼眼图像和至少一个局部展开图像存储于对应的显示区域的内存空间中，将内存空间中的图像拷贝至对应的显示区域，再将各个图像叠加显示，呈现出每个图像在各自的显示区域显示的拼接效果。
图8为本申请实施例提供的一种图像的处理装置实施例一的结构示意图，如图8所示，该图像的处理装置10包括：
获取模块11，用于获取实时拍摄的原始鱼眼图像；
处理模块12，用于对所述原始鱼眼图像进行渲染处理，得到整体鱼眼图像；
所述处理模块12还用于根据所述整体鱼眼图像中的预设的局部选择框，对所述原始鱼眼图像中对应的待展开区域进行鱼眼展开，得到局部展开图像；所述局部选择框用于指示所述原始鱼眼图像中的待开展区域；
显示模块13，用于将所述整体鱼眼图像和所述局部展开图像进行拼接显示。
本实施例提供的一种图像的处理装置10，包括获取模块11、处理模块12和显示模块13，通过获取实时拍摄的原始鱼眼图像，并对原始鱼眼图像进行渲染处理，得到整体鱼眼图像，根据整体鱼眼图像中预设的局部选择框，对原始鱼眼图像中对应的待展开区域进行鱼眼展开，得到局部展开图像，最后将整体鱼眼图像和局部展开图像进行拼接显示，实现了对同一原始鱼眼图像进行渲染处理，得到多个不同角度的、或者原始鱼眼图像中不同细节处的展开图像，使用户从视频图像中能够获得更全面的信息，提高了用户体验。
在一种可能的设计中，处理模块12具体用于：
根据预设的显示比例，对所述原始鱼眼图像进行裁剪，得到整体鱼眼图像，使所述整体鱼眼图像匹配显示区域。
在一种可能的设计中，处理模块12具体用于：
对所述原始鱼眼图像的待展开区域进行裁剪，得到所述待展开区域对应的局部鱼眼图像；
对所述局部鱼眼图像进行二维变换，得到所述局部展开图像。
在一种可能的设计中，显示模块13具体用于：
将所述整体鱼眼图像缩小后置于第一图层的第一目标区域，将所述第一目标区域之外的图层区域进行透明处理；
将所述局部展开图像缩小后置于第二图层的第二目标区域，将所述第二目标区域之外的图层区域进行透明处理；
将所述第一图层和所述第二图层叠加显示于显示器的显示区域；
其中，所述第一目标区域与所述第二目标区域不重叠。
在一种可能的设计中，获取模块11还用于接收用户在所述整体鱼眼图像中对任一局部区域的选中操作；
处理模块12还用于响应于所述选中操作，生成与所述局部区域对应的局部选择框；
显示模块13还用于将所述局部选择框显示于所述整体鱼眼图像的所述局部区域上。
在一种可能的设计中，获取模块11还用于接收用户对所述局部选择框的调整操作；所述调整操作包括移动所述局部选择框的位置或改变所述局部选择框的大小；
处理模块12还用于响应于所述调整操作，调整与所述局部选择框对应的待展开区域的位置或大小。
在一种可能的设计中，处理模块12还用于根据所述待展开区域的数量，确定所述第一目标区域的位置坐标和区域大小以及所述第二目标区域的位置坐标和区域大小。
上述实施例提供的图像的处理装置，可以执行上述方法实施例的技术方案，其实现原理和技术效果类似，本实施例此处不再赘述。
本申请实施例还提供一种电子设备，参见图9，本申请实施例仅以图9为例进行说明，并不表示本申请仅限于此。
图9为本申请一实施例提供的电子设备的硬件结构示意图。如图9所示，本实施例提供的电子设备200可以包括：鱼眼摄像头204、显示器205、存储器201以及处理器202；可选的，还可以包括总线203。其中，总线203用于实现各元件之间的连接。
所述鱼眼摄像头204用于实时拍摄原始鱼眼图像；
所述显示器205用于根据所述处理器的控制显示对应的内容；
所述存储器201存储计算机执行指令；
所述处理器202执行所述存储器201存储的计算机执行指令，使得所述处理器执行前述任一项实施例提供的图像的处理方法。
其中，存储器201和处理器202之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可以通过一条或者多条通信总线或信号线实现电性连接，如可以通过总线203连接。存储器201中存储有实现数据访问控制方法的计算机执行指令，包括至少一个可以软件或固件的形式存储于存储器201中的软件功能模块，处理器202通过运行存储在存储器201内的软件程序以及模块，从而执行各种功能应用以及数据处理。
存储器201可以是，但不限于，随机存取存储器(Random Access Memory，简称：RAM)，只读存储器(Read Only Memory，简称：ROM)，可编程只读存储器(ProgrammableRead-Only Memory，简称：PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，简称：EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，简称：EEPROM)等。其中，存储器201用于存储程序，处理器202在接收到执行指令后，执行程序。进一步地，上述存储器201内的软件程序以及模块还可包括操作系统，其可包括各种用于管理系统任务(例如内存管理、存储设备控制、电源管理等)的软件组件和/或驱动，并可与各种硬件或软件组件相互通信，从而提供其他软件组件的运行环境。
处理器202可以是一种集成电路芯片，具有信号的处理能力。上述的处理器202可以是通用处理器，包括中央处理器(Central Processing Unit，简称：CPU)、网络处理器(Network Processor，简称：NP)等。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。可以理解，图9的结构仅为示意，还可以包括比图9中所示更多或者更少的组件，或者具有与图9所示不同的配置。图9中所示的各组件可以采用硬件和/或软件实现。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机执行指令，计算机执行指令被处理器执行时可以实现上述任一方法实施例提供的图像的处理方法。
本实施例中的计算机可读存储介质可以是计算机能够存取的任何可用介质，或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备，可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如SSD)等。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (10)
1.一种图像的处理方法，其特征在于，包括：
获取实时拍摄的原始鱼眼图像；
对所述原始鱼眼图像进行渲染处理，得到整体鱼眼图像；
根据所述整体鱼眼图像中预设的局部选择框，对所述原始鱼眼图像中对应的待展开区域进行鱼眼展开，得到局部展开图像；所述局部选择框用于指示所述原始鱼眼图像中的待开展区域；
将所述整体鱼眼图像和所述局部展开图像进行拼接显示。
2.根据权利要求1所述的方法，其特征在于，所述对所述原始鱼眼图像进行渲染处理，得到整体鱼眼图像，包括：
根据预设的显示比例，对所述原始鱼眼图像进行裁剪，得到整体鱼眼图像，使所述整体鱼眼图像匹配显示区域。
3.根据权利要求1所述的方法，其特征在于，所述对所述原始鱼眼图像的待展开区域进行鱼眼展开，得到局部展开图像，包括：
对所述原始鱼眼图像的待展开区域进行裁剪，得到所述待展开区域对应的局部鱼眼图像；
对所述局部鱼眼图像进行二维变换，得到所述局部展开图像。
4.根据权利要求3所述的方法，其特征在于，所述将所述整体鱼眼图像和所述局部展开图像进行拼接显示，包括：
将所述整体鱼眼图像缩小后置于第一图层的第一目标区域，将所述第一目标区域之外的图层区域进行透明处理；
将所述局部展开图像缩小后置于第二图层的第二目标区域，将所述第二目标区域之外的图层区域进行透明处理；
将所述第一图层和所述第二图层叠加显示于显示器的显示区域；
其中，所述第一目标区域与所述第二目标区域不重叠。
5.根据权利要求1至4任一项所述的方法，其特征在于，在所述对所述原始鱼眼图像进行渲染处理，得到整体鱼眼图像之后，还包括：
接收用户在所述整体鱼眼图像中对任一局部区域的选中操作；
响应于所述选中操作，生成与所述局部区域对应的局部选择框；
将所述局部选择框显示于所述整体鱼眼图像的所述局部区域上。
6.根据权利要求1至4任一项所述的方法，其特征在于，在所述将所述整体鱼眼图像和所述局部展开图像进行拼接显示之后，所述方法还包括：
接收用户对所述局部选择框的调整操作；所述调整操作包括移动所述局部选择框的位置或改变所述局部选择框的大小；
响应于所述调整操作，调整与所述局部选择框对应的待展开区域的位置或大小。
7.根据权利要求4所述的方法，其特征在于，在所述将所述整体鱼眼图像和所述局部展开图像进行拼接显示之前，所述方法还包括：
根据所述待展开区域的数量，确定所述第一目标区域的位置坐标和区域大小以及所述第二目标区域的位置坐标和区域大小。
8.一种图像的处理装置，其特征在于，所述装置包括：
获取模块，用于获取实时拍摄的原始鱼眼图像；
处理模块，用于对所述原始鱼眼图像进行渲染处理，得到整体鱼眼图像；
所述处理模块还用于根据所述整体鱼眼图像中的预设的局部选择框，对所述原始鱼眼图像中对应的待展开区域进行鱼眼展开，得到局部展开图像；所述局部选择框用于指示所述原始鱼眼图像中的待开展区域；
显示模块，用于将所述整体鱼眼图像和所述局部展开图像进行拼接显示。
9.一种电子设备，其特征在于，包括：鱼眼摄像头、显示器、存储器和处理器；
所述摄像头用于实时拍摄原始鱼眼图像；
所述显示器用于根据所述处理器的控制显示对应的内容；
所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，使得所述持利器执行如权利要求1至7任一项所述的图像的处理方法。
10.一种存储介质，其特征在于，包括：可读存储介质和计算机程序，所述计算机程序用于实现权利要求1至7任一项所述的图像的处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010192889.3A CN113496458A (zh) | 2020-03-18 | 2020-03-18 | 图像的处理方法、装置、设备以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010192889.3A CN113496458A (zh) | 2020-03-18 | 2020-03-18 | 图像的处理方法、装置、设备以及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113496458A true CN113496458A (zh) | 2021-10-12 |
Family
ID=77993234
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010192889.3A Pending CN113496458A (zh) | 2020-03-18 | 2020-03-18 | 图像的处理方法、装置、设备以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113496458A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3066594U (ja) * | 1999-08-13 | 2000-02-25 | 株式会社アドバネット | 画像変換装置 |
| TW201428685A (zh) * | 2013-01-02 | 2014-07-16 | Vivotek Inc | 影像處理器及其魚眼影像顯示方法 |
| CN107018316A (zh) * | 2015-12-22 | 2017-08-04 | 卡西欧计算机株式会社 | 图像处理装置、图像处理方法以及程序 |
| CN109547743A (zh) * | 2017-09-22 | 2019-03-29 | 佳能株式会社 | 信息处理装置、摄像装置、信息处理方法及记录介质 |
-
2020
- 2020-03-18 CN CN202010192889.3A patent/CN113496458A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3066594U (ja) * | 1999-08-13 | 2000-02-25 | 株式会社アドバネット | 画像変換装置 |
| TW201428685A (zh) * | 2013-01-02 | 2014-07-16 | Vivotek Inc | 影像處理器及其魚眼影像顯示方法 |
| CN107018316A (zh) * | 2015-12-22 | 2017-08-04 | 卡西欧计算机株式会社 | 图像处理装置、图像处理方法以及程序 |
| CN109547743A (zh) * | 2017-09-22 | 2019-03-29 | 佳能株式会社 | 信息处理装置、摄像装置、信息处理方法及记录介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109064390B (zh) | 一种图像处理方法、图像处理装置及移动终端 | |
| WO2018188499A1 (zh) | 图像、视频处理方法和装置、虚拟现实装置和存储介质 | |
| US11272165B2 (en) | Image processing method and device | |
| CN111414225B (zh) | 三维模型远程展示方法、第一终端、电子设备及存储介质 | |
| CN108939556B (zh) | 一种基于游戏平台的截图方法及装置 | |
| CN110072087B (zh) | 基于3d地图的摄像机联动方法、装置、设备及存储介质 | |
| KR102463304B1 (ko) | 비디오 처리 방법 및 장치, 전자기기, 컴퓨터 판독 가능한 저장 매체 및 컴퓨터 프로그램 | |
| US10049490B2 (en) | Generating virtual shadows for displayable elements | |
| US11044398B2 (en) | Panoramic light field capture, processing, and display | |
| US10789766B2 (en) | Three-dimensional visual effect simulation method and apparatus, storage medium, and display device | |
| CN113206993A (zh) | 一种调整显示屏幕的方法及显示设备 | |
| CN115937379A (zh) | 一种特效生成方法、装置、电子设备及存储介质 | |
| CN113965773A (zh) | 直播展示方法和装置、存储介质及电子设备 | |
| CN110889384A (zh) | 场景切换方法及装置、电子设备和存储介质 | |
| CN109885172B (zh) | 一种基于增强现实ar的对象互动展示方法及系统 | |
| CN113496458A (zh) | 图像的处理方法、装置、设备以及存储介质 | |
| CN115311397A (zh) | 用于图像渲染的方法、装置、设备和存储介质 | |
| CN108510433B (zh) | 空间展示方法、装置及终端 | |
| CN113223186B (zh) | 实现增强现实的处理方法、设备、产品和装置 | |
| CN114710618A (zh) | 拼接图像的预览方法及装置、电子设备 | |
| CN110853143B (zh) | 场景实现方法、装置、计算机设备和存储介质 | |
| CN113552942A (zh) | 一种基于光照强度显示虚拟对象的方法及设备 | |
| CN112037339A (zh) | 图像处理方法、设备和存储介质 | |
| US20210297649A1 (en) | Image data output device, content creation device, content reproduction device, image data output method, content creation method, and content reproduction method | |
| US20240020910A1 (en) | Video playing method and apparatus, electronic device, medium, and program product |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |