CN108876729B - 一种全景图中补充天空的方法及系统 - Google Patents
一种全景图中补充天空的方法及系统 Download PDFInfo
- Publication number
- CN108876729B CN108876729B CN201810449810.3A CN201810449810A CN108876729B CN 108876729 B CN108876729 B CN 108876729B CN 201810449810 A CN201810449810 A CN 201810449810A CN 108876729 B CN108876729 B CN 108876729B
- Authority
- CN
- China
- Prior art keywords
- sky
- color
- highest point
- row
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000001502 supplementing effect Effects 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims abstract description 43
- 239000003086 colorant Substances 0.000 claims abstract description 51
- 239000013589 supplement Substances 0.000 claims abstract description 13
- 238000003860 storage Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 2
- 238000005457 optimization Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 14
- 238000005520 cutting process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005429 filling process Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009469 supplementation Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供一种全景图中补充天空的方法及系统，所述方法包括：S1，获取待补充全景图的各列像素中的天空最高点；其中，待补充全景图的最上方包含天空，天空最高点为各列像素中所在行数最小的天空像素；S2，若各列中均存在天空最高点，则将所有天空最高点的颜色中最深的颜色作为最终渐变色，根据最终渐变色、预设渐变系数和预设长宽比，从各所述列中的天空最高点开始向上对待补充全景图进行补充。本发明一方面自动为全景图补充天空，效率高；另一方面从天空最高点开始无缝补充渐变颜色的天空，更加自然。
Description
技术领域
本发明属于图像处理技术领域，更具体地，涉及一种全景图中补充天空的方法及系统。
背景技术
全景图为运用数码相机对目标场景进行多角度环视拍摄之后，再利用计算机软件对多角度环视拍摄的多张图片进行拼接而形成的图片，即全景图中包含场景多个角度信息，虽然全景是平面的，但却能给人以三维立体的空间感觉。
在拍摄全景图的过程中，相机的轻微抖动会导致拼接后的全景图的上边缘凹凸不平。此外，在相机多角度环视拍摄情况下，即使相机不抖动，拼接后的全景图的上边缘依然凹凸不平。一种处理方式是对凸凹不平的边进行切割，使其平整，如图1所示；另一种方式是用同一种颜色进行填充，使其平整，一般用黑色填充，如图2所示。第一种方式可能会切割掉前景部分，第二种方式不美观。因此，在不会切割掉前景部分的情况下，一般选择第一种方式，否则选择第二种方式。
在进行全景图拍摄时，我们一般拍摄场景中的前景部分，在上半球是天空的情况下，我们往往只拍摄下半球的部分。在将场景中各角度的图片进行拼接后，全景图的宽度远远大于高度，且天空部分过少，看起来不美观，降低视觉体验。为了使全景图更加美观，现有技术是使用计算机软件，如Photoshop软件，手动添加上半球的天空部分。手动添加天空部分需要熟悉图像处理软件，且需要花费大量时间，在所述第二种方式的情况下还需要先去掉填充部分，处理过程复杂。
综上所述，现有技术中采用计算机软件手动补充全景图中的天空部分，处理过程复杂，需要花费大量人力和时间。
发明内容
为克服上述现有全景图中补充天空的方法处理过程复杂，需要花费大量人力和时间的问题或者至少部分地解决上述问题，本发明提供一种全景图中补充天空的方法及系统。
根据本发明的第一方面，提供一种全景图中补充天空的方法，包括：
S1，获取待补充全景图的各列像素中的天空最高点；其中，待补充全景图的最上方包含天空，天空最高点为各列像素中所在行数最小的天空像素；
S2，若各所述列中均存在所述天空最高点，则将所有所述天空最高点的颜色中最深的颜色作为最终渐变色，根据所述最终渐变色、预设渐变系数和预设长宽比，从各所述列中的天空最高点开始向上对所述待补充全景图进行补充。
具体地，所述步骤S1中获取所述各列像素中的天空最高点的步骤包括：
当所述待补充全景图的上边缘各像素颜色中存在预设颜色时，将所述各列像素中不为所述预设颜色的所在行数最小的像素作为所述天空最高点；其中，所述预设颜色与所述天空像素的颜色不同；
当所述待补充全景图的上边缘各像素颜色中不存在所述预设颜色时，将所述各列像素中位于第一行的像素作为所述天空最高点。
具体地，所述步骤S1和S2之间还包括：
对于所述待补充全景图中的任一列，若该列中的天空最高点不满足预设条件中的任意一个，则将该列中天空最高点的颜色替换为该列的前一列中天空最高点的颜色；
其中，所述预设条件包括第一预设条件、第二预设条件和第三预设条件中的一个或多个；
所述第一预设条件为该列中天空最高点的颜色位于预设颜色范围内；
所述第二预设条件为该列中天空最高点与该列中天空最高点的相邻像素之间颜色距离的平均值小于第一预设阈值；
所述第三预设条件为该列中天空最高点所在的行数与该列的相邻列中天空最高点所在的行数之间的差值小于第二预设阈值。
具体地，所述步骤S2中若各所述列中均存在所述天空最高点，则将所有所述天空最高点的颜色中最深的颜色作为最终渐变色的步骤具体包括：
若各所述列中均存在所述天空最高点，则计算所有所述天空最高点的颜色对应的灰度值；
将最小灰度值对应的颜色作为最终渐变色。
具体地，所述步骤S2中根据所述最终渐变色、预设渐变系数和预设宽高比，从各所述列中的天空最高点开始向上对所述待补充全景图进行补充的步骤具体包括：
根据所述预设长宽比和所述待补充全景图的实际长度，获取所述待补充全景图的目标宽度；
在所述待补充全景图中第一行的上方补充新像素，以使所述待补充全景图的高度达到所述目标宽度，获取中间全景图；
对于所述中间全景图中的任一列，根据所述预设渐变系数和所述最终渐变色，从该列中的天空最高点开始向上填充渐变颜色，直到该列中天空最高点上方的像素都被填充为渐变颜色。
根据本发明第二方面提供一种全景图中补充天空的系统，包括：
获取模块，用于获取待补充全景图的各列像素中的天空最高点；其中，待补充全景图的最上方包含天空，天空最高点为各列像素中所在行数最小的天空像素；
补充模块，用于在各所述列中均存在所述天空最高点时，将所有所述天空最高点的颜色中最深的颜色作为最终渐变色，根据所述最终渐变色、预设渐变系数和预设长宽比，从各所述列中的天空最高点开始向上对所述待补充全景图进行补充。
具体地，所述获取模块具体用于：
当所述待补充全景图的上边缘各像素颜色中存在预设颜色时，将所述各列像素中不为所述预设颜色的所在行数最小的像素作为所述天空最高点；其中，所述预设颜色与所述天空像素的颜色不同；
当所述待补充全景图的上边缘各像素颜色中不存在所述预设颜色时，将所述各列像素中位于第一行的像素作为所述天空最高点。
具体地，所述补充模块具体用于：
根据所述预设长宽比和所述待补充全景图的实际长度，获取所述待补充全景图的目标宽度；
在所述待补充全景图中第一行的上方补充新像素，以使所述待补充全景图的高度达到所述目标宽度，获取中间全景图；
对于所述中间全景图中的任一列，根据所述预设渐变系数和所述最终渐变色，从该列中的天空最高点开始向上填充渐变颜色，直到该列中天空最高点上方的像素都被填充为渐变颜色。
根据本发明的第三方面，提供一种全景图中补充天空的设备，包括：
至少一个处理器、至少一个存储器和总线；其中，
所述处理器和存储器通过所述总线完成相互间的通信；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如前所述的方法。
根据本发明的第四方面，提供一种非暂态计算机可读存储介质，用于存储如前所述方法的计算机程序。
本发明提供一种全景图中补充天空的方法及系统，该方法通过获取待补充全景图的各列像素中的天空最高点，将所有天空最高点的颜色中最深的颜色作为最终渐变色，根据最终渐变色、预设渐变系数和预设长宽比，从各所述列中的天空最高点开始向上对待补充全景图进行补充，从而补充具有渐变颜色的天空，一方面自动为全景图补充天空，效率高；另一方面从天空最高点开始无缝补充渐变颜色的天空，更加自然。
附图说明
图1为现有技术中待补充全景图的一种示意图；
图2为现有技术中待补充全景图的一种示意图；
图3为本发明实施例提供的全景图中补充天空的方法整体流程示意图；
图4为本发明实施例提供的全景图中补充天空的方法中待补充全景图补充天空后的效果示意图；
图5为本发明实施例提供的全景图中补充天空的系统整体结构示意图；
图6为本发明实施例提供的全景图中补充天空的设备整体结构示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
在本发明的一个实施例中提供一种全景图中补充天空的方法，图3为本发明实施例提供的全景图中补充天空的方法整体流程示意图，该方法包括：S1，获取待补充全景图的各列像素中的天空最高点；其中，待补充全景图的最上方包含天空，天空最高点为各列像素中所在行数最小的天空像素；
其中，待补充全景图为需要补充天空的全景图。本实施例不限于待补充全景图的颜色模式。在拍摄全景图的过程中，相机的轻微抖动会导致拼接后的全景图的上边缘凹凸不平。此外，在相机多角度环视拍摄情况下，即使相机不抖动，拼接后的全景图的上边缘依然凹凸不平。一种处理方式是对凸凹不平的边源进行切割，使其平整；另一种处理方式是用同一种颜色进行填充，使其平整，一般用黑色填充。本实施例中的待补充全景图可能经过切割或填充处理。一般情况下需要拍摄完整的目标前景，而目标前景上方拍摄完整的标准是除了拍摄到目标前景上方，还拍摄到少部分天空背景，因此拼接后的待补充全景图的最上方包含天空，在第二种处理方式的情况下待补充全景图的最上方除了包含天空还包含填充的颜色。
获取待补充全景图的各列像素中的天空最高点。天空最高点为每一列中所在行数最小的天空像素。天空像素为待补充全景图中天空的像素，即待补充全景图中所在行数小于预设阈值且颜色在预设颜色范围内的像素。所在行数小于预设阈值的条件是因为待补充全景图的最上方包含天空，从而避免将待补充全景图中颜色为天空颜色的目标前景误认为天空。本实施例中不限于获取待补充全景图的各列像素中天空最高点的方法。
S2，若各列中均存在天空最高点，则将所有天空最高点的颜色中最深的颜色作为最终渐变色，根据最终渐变色、预设渐变系数和预设长宽比，从各所述列中的天空最高点开始向上对待补充全景图进行补充。
其中，在获取待补充全景图的各列像素中的天空最高点之后，判断待补充全景图的每一列是否都存在天空最高点。若待补充全景图的有些列不存在天空最高点，一种可能是在拍摄时最上方没有拍摄到天空，另一种可能是为了保证拼接的全景图边缘的整齐，拍摄的最上方的天空被切割掉了，此时，不再进行后续计算。若各列中均存在天空最高点，则将所有天空最高点的颜色中最深的颜色作为最终渐变色。若待补充全景图为灰度图，则判断颜色最深的标准是灰度值最小；若待补充全景图为彩色，则判断颜色最深的标准为彩色对应的灰度值最小。彩色对应的灰度值可以通过将待补充全景图的颜色模式转换为灰度模式获取。
预设长宽比为预先设定的一个常数，表示待补充全景图的实际长度与目标宽度之间的比值。实际长度为模板全景图补充前的长度。目标宽度为待补充全景图补充天空之后的宽度。根据预设长宽比可以获取待补充全景图的目标宽度，从而确定待补充全景图需要补充的天空部分。预设渐变系数为预设设定的渐变系数，预设渐变系数根据大量测试获取，以使填充的渐变色更加自然。例如使用的渐变系数为0.05，区间在0.01到0.2的范围。待补充全景图的宽度越大，预设渐变系数越小；待补充全景图的宽度越小，预设渐变系数越大。根据预设渐变系数从待补充全景图中各列的天空最高点开始向上填充为渐变颜色，直到需要补充的天空部分都被填充为渐变颜色。图4为图1中待补充全景图补充天空后的效果图。渐变颜色的起始颜色为各列的天空最高点的颜色。
本实施例通过获取待补充全景图的各列像素中的天空最高点，将所有天空最高点的颜色中最深的颜色作为最终渐变色，根据最终渐变色、预设渐变系数和预设长宽比，从各所述列中的天空最高点开始向上对待补充全景图进行补充，从而补充具有渐变颜色的天空，一方面自动为全景图补充天空，效率高；另一方面从天空最高点开始无缝补充渐变颜色的天空，更加自然。
在上述实施例的基础上，本实施例中步骤S1中获取各列像素中的天空最高点的步骤包括：当待补充全景图的上边缘各像素颜色中存在预设颜色时，将各列像素中不为预设颜色的所在行数最小的像素作为天空最高点；其中，预设颜色与天空像素的颜色不同；当待补充全景图的上边缘各像素颜色中不存在预设颜色时，将各列像素中位于第一行的像素作为天空最高点。
具体地，由于待补充全景图可能经过切割或填充处理。当待补充全景图为填充后获取的全景图时，由于填充前待补充全景图的最上方都为天空，填充后待补充全景图的最上方处理包含天空还包含填充的预设颜色。其中，预设颜色与天空像素的颜色不同。此时，通过判断待补充全景图的上边缘各像素颜色中是否存在预设颜色获知待补充全景图预先是否经过填充处理。当待补充全景图的上边缘各像素颜色中存在预设颜色时，则获知待补充全景图预先经过填充处理，则将各列像素中不为预设颜色的所在行数最小的像素作为天空最高点。当待补充全景图的上边缘各像素颜色中存在预设颜色时，则获知待补充全景图预先经过切割处理或没有经过处理，则直接将各列像素中位于第一行的像素作为天空最高点。
在上述各实施例的基础上，步骤S1和S2之间还包括：对于待补充全景图中的任一列，若该列中的天空最高点不满足预设条件中的任意一个，则将该列中天空最高点的颜色替换为该列的前一列中天空最高点的颜色；其中，预设条件包括第一预设条件、第二预设条件和第三预设条件中的一个或多个；第一预设条件为该列中天空最高点的颜色位于预设颜色范围内；第二预设条件为该列中天空最高点与该列中天空最高点的相邻像素之间颜色距离的平均值小于第一预设阈值；第三预设条件为该列中天空最高点所在的行数与该列的相邻列中天空最高点所在的行数之间的差值小于第二预设阈值。
具体地，由于待补充全景图在拼接过程中有瑕疵，或拼接成的待补充全景图中有些天空部分是残缺的，因此需要对各列中的天空最高点进行优化。具体按照从前到后的顺序，依次判断待补充全景图中各列的天空最高点是否满足预设条件。若各列中的天空最高点不满足预设条件中的任意一个，则将当前列中天空最高点的颜色替换为当前列的前一列中天空最高点的颜色。由于对各天空最高点是按照从前到后的顺序依次优化，因此当前列的前一列中天空最高点的颜色一定满足三个预设条件。本实施例中从前到后的顺序是指从第一列到第二列，再到第三列…一直到最后一列的顺序。
预设条件包括第一预设条件、第二预设条件和第三预设条件中的一个或多个。第一预设条件为该列中天空最高点的颜色位于预设颜色范围内，从而确保天空最高点为天空像素。预设颜色范围根据实际天空的颜色范围确定。第二预设条件为该列中天空最高点与该列中天空最高点的相邻像素之间颜色距离的平均值小于第一预设阈值，从而确保天空最高点不为噪声。相邻像素为天空最高点的四邻域或八邻域。例如，当待补充全景图为RGB颜色模式时，假设任一天空最高点x的颜色为(R1，G1，B1)，A的任一相邻像素y的颜色为(R2，G2，B2)，则x和y之间的颜色距离为
第三预设条件为该列中天空最高点所在的行数与该列的相邻列中天空最高点所在的行数之间的差值小于第二预设阈值。本实施例通过对各天空最高点进行优化，从而使得后续基于天空最高点的天空补充更自然。
在上述各实施例的基础上，本实施例中步骤S2中若各列中均存在天空最高点，则将所有天空最高点的颜色中最深的颜色作为最终渐变色的步骤具体包括：若各列中均存在天空最高点，则计算所有天空最高点的颜色对应的灰度值；将最小灰度值对应的颜色作为最终渐变色。
具体地，根据待补充全景图的颜色模式与灰度颜色模式之间的转换公式，计算所有天空最高点的颜色对应的灰度值。本实施例不限于天空最高点的颜色模式。将最小灰度值对应的转换前的颜色作为最终渐变色。
在上述各实施例的基础上，本实施例中步骤S2中根据最终渐变色、预设渐变系数和预设宽高比，从各列中的天空最高点开始向上对待补充全景图进行补充的步骤具体包括：根据预设长宽比和待补充全景图的实际长度，获取待补充全景图的目标宽度；在待补充全景图中第一行的上方补充新像素，以使待补充全景图的高度达到目标宽度，获取中间全景图；对于中间全景图中的任一列，根据所述预设渐变系数和所述最终渐变色，从该列中的天空最高点开始向上填充渐变颜色，直到该列中天空最高点上方的像素都被填充为渐变颜色。
具体地，例如预设长宽比为2，待补充全景图的实际长度为8000像素，则待补充全景图的目标宽度为8000/2＝4000像素。在待补充全景图中第一行的上方补充新像素，以使待补充全景图的高度达到目标宽度。将补充后新像素后的待补充全景图作为中间全景图。中间全景图为对待补充全景图补充天空的中间结果。然后对中间全景图填充渐变色。从中间全局图中各列的天空最高点开始，以各列的天空最高点为起始渐变色，向上填充渐变色，直到天空最高点上方的像素都被填充为渐变颜色。如果待补充全景图预先经过填充颜色处理以使边缘整齐，则填充的预设颜色会自动被覆盖掉。本实施例实现全景图中天空部分的补充，且补充的天空为渐变色，更加自然。
在本发明的另一个实施例中提供一种全景图中补充天空的系统，图5为本发明实施例提供的全景图中补充天空的系统整体结构示意图，该系统包括获取模块1和补充模块2；其中：
获取模块1用于获取待补充全景图的各列像素中的天空最高点；其中，待补充全景图的最上方包含天空，天空最高点为各列像素中所在行数最小的天空像素；
其中，待补充全景图为需要补充天空的全景图，本实施例不限于待补充全景图的颜色模式。在拍摄全景图的过程中，相机的轻微抖动会导致拼接后的全景图的上边缘凹凸不平。此外，在相机多角度环视拍摄情况下，即使相机不抖动，拼接后的全景图的上边缘依然凹凸不平。一种处理方式是对凸凹不平的边进行切割，使其平整；另一种处理方式是用同一种颜色进行填充，使其平整，一般用黑色填充。本实施例中的待补充全景图可能经过切割或填充处理。一般情况下需要拍摄完整的目标前景，而目标前景上方拍摄完整的标准是除了拍摄到目标前景上方，还拍摄到少部分天空背景，因此拼接后的待补充全景图的最上方包含天空，在第二种处理方式的情况下待补充全景图的最上方除了包含天空还包含填充的颜色。
获取模块1获取待补充全景图的各列像素中的天空最高点。天空最高点为每一列中所在行数最小的天空像素。天空像素为待补充全景图中天空的像素，即待补充全景图中所在行数小于预设阈值且颜色在预设颜色范围内的像素。所在行数小于预设阈值的条件是因为待补充全景图的最上方包含天空，从而避免将待补充全景图中颜色为天空颜色的目标前景误认为天空。本实施例中不限于获取待补充全景图的各列像素中天空最高点的方法。
补充模块2用于在各列中均存在所述天空最高点时，将所有天空最高点的颜色中最深的颜色作为最终渐变色，根据最终渐变色、预设渐变系数和预设长宽比，从各列中的天空最高点开始向上对待补充全景图进行补充。
其中，补充模块2在获取待补充全景图的各列像素中的天空最高点之后，判断待补充全景图的每一列是否都存在天空最高点。若待补充全景图的有些列不存在天空最高点，一种可能是在拍摄时最上方没有拍摄到天空，另一种可能是为了保证拼接的全景图边缘的整齐，拍摄的最上方的天空被切割掉了，此时，不再进行后续计算。若各列中均存在天空最高点，则将所有天空最高点的颜色中最深的颜色作为最终渐变色。若待补充全景图为灰度图，则判断颜色最深的标准是灰度值最小；若待补充全景图为彩色，则判断颜色最深的标准为彩色对应的灰度值最小。彩色对应的灰度值可以通过将待补充全景图的颜色模式转换为灰度模式获取。
预设长宽比为预先设定的一个常数，表示待补充全景图的实际长度与目标宽度之间的比值。实际长度为模板全景图补充前的长度。目标宽度为待补充全景图补充天空之后的宽度。补充模块2根据预设长宽比可以获取待补充全景图的目标宽度，从而确定待补充全景图需要补充的天空部分。根据预设渐变系数从待补充全景图中各列的天空最高点开始向上填充为渐变颜色，直到需要补充的天空部分都被填充为渐变颜色。渐变颜色的起始颜色为各列的天空最高点的颜色。
本实施例通过获取待补充全景图的各列像素中的天空最高点，将所有天空最高点的颜色中最深的颜色作为最终渐变色，根据最终渐变色、预设渐变系数和预设长宽比，从各所述列中的天空最高点开始向上对待补充全景图进行补充，从而补充具有渐变颜色的天空，一方面自动为全景图补充天空，效率高；另一方面从天空最高点开始无缝补充渐变颜色的天空，更加自然。
在上述实施例的基础上，本实施例中获取模块具体用于：当待补充全景图的上边缘各像素颜色中存在预设颜色时，将各列像素中不为预设颜色的所在行数最小的像素作为天空最高点；其中，预设颜色与天空像素的颜色不同；当待补充全景图的上边缘各像素颜色中不存在预设颜色时，将各列像素中位于第一行的像素作为天空最高点。
具体地，由于待补充全景图可能经过切割或填充处理。当待补充全景图为预先填充处理获取的全景图时，由于填充前待补充全景图的最上方都为天空，填充后待补充全景图的最上方处理包含天空还包含填充的预设颜色。其中，预设颜色与天空像素的颜色不同。此时，获取模块通过判断待补充全景图的上边缘各像素颜色中是否存在预设颜色获知待补充全景图预先是否经过填充处理。当待补充全景图的上边缘各像素颜色中存在预设颜色时，则获知待补充全景图预先经过填充处理，则将各列像素中不为预设颜色的所在行数最小的像素作为天空最高点。当待补充全景图的上边缘各像素颜色中存在预设颜色时，则获知待补充全景图预先经过切割处理或没有经过处理，则直接将各列像素中位于第一行的像素作为天空最高点。
在上述实施例的基础上，本实施例中补充模块具体用于：根据预设长宽比和待补充全景图的实际长度，获取待补充全景图的目标宽度；在待补充全景图中第一行的上方补充新像素，以使待补充全景图的高度达到目标宽度，获取中间全景图；对于中间全景图中的任一列，根据预设渐变系数和所述最终渐变色，从该列中的天空最高点开始向上填充渐变颜色，直到该列中天空最高点上方的像素都被填充为渐变颜色。
具体地，例如预设长宽比为2，待补充全景图的实际长度为8000像素，则待补充全景图的目标宽度为8000/2＝4000像素。补充模块在待补充全景图中第一行的上方补充新像素，以使待补充全景图的高度达到目标宽度。将补充后新像素后的待补充全景图作为中间全景图。中间全景图为对待补充全景图补充天空的中间结果。然后补充模块对中间全景图填充渐变色。从中间全局图中各列的天空最高点开始，以各列的天空最高点为起始渐变色，向上填充渐变色，直到天空最高点上方的像素都被填充为渐变颜色。如果待补充全景图预先经过填充颜色处理以使边缘整齐，则填充的预设颜色会自动被覆盖掉。本实施例实现待补充全景图中天空的无法补充，且补充的天空为渐变色，更加自然。
在上述实施例的基础上，本实施例中还包括优化模块，用于对于所述待补充全景图中的任一列，若该列中的天空最高点不满足预设条件中的任意一个，则将该列中天空最高点的颜色替换为该列的前一列中天空最高点的颜色；其中，所述预设条件包括第一预设条件、第二预设条件和第三预设条件中的一个或多个；所述第一预设条件为该列中天空最高点的颜色位于预设颜色范围内；所述第二预设条件为该列中天空最高点与该列中天空最高点的相邻像素之间颜色距离的平均值小于第一预设阈值；所述第三预设条件为该列中天空最高点所在的行数与该列的相邻列中天空最高点所在的行数之间的差值小于第二预设阈值。
在上述实施例的基础上，本实施例中补充模块进一步具体用于：若各所述列中均存在所述天空最高点，则计算所有所述天空最高点的颜色对应的灰度值；将最小灰度值对应的颜色作为最终渐变色。
本实施例提供一种全景图中补充天空的设备，图6为本发明实施例提供的全景图中补充天空的设备整体结构示意图，该设备包括：至少一个处理器61、至少一个存储器62和总线63；其中，
处理器61和存储器62通过总线63完成相互间的通信；
存储器62存储有可被处理器61执行的程序指令，所述处理器调用所述程序指令能够执行上述各方法实施例所提供的方法，例如包括：S1，获取待补充全景图的各列像素中的天空最高点；其中，待补充全景图的最上方包含天空，天空最高点为各列像素中所在行数最小的天空像素；S2，若各列中均存在天空最高点，则将所有天空最高点的颜色中最深的颜色作为最终渐变色，根据最终渐变色、预设渐变系数和预设长宽比，从各所述列中的天空最高点开始向上对待补充全景图进行补充。
本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：S1，获取待补充全景图的各列像素中的天空最高点；其中，待补充全景图的最上方包含天空，天空最高点为各列像素中所在行数最小的天空像素；S2，若各列中均存在天空最高点，则将所有天空最高点的颜色中最深的颜色作为最终渐变色，根据最终渐变色、预设渐变系数和预设长宽比，从各所述列中的天空最高点开始向上对待补充全景图进行补充。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的全景图中补充天空的设备实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后，本申请的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种全景图中补充天空的方法，其特征在于，包括：
步骤S1，获取待补充全景图的各列像素中的天空最高点；其中，待补充全景图的最上方包含天空，天空最高点为各列像素中所在行数最小的天空像素；
步骤S2，若各所述列中均存在所述天空最高点，则将所有所述天空最高点的颜色中最深的颜色作为最终渐变色，根据所述最终渐变色、预设渐变系数和预设长宽比，从各所述列中的天空最高点开始向上对所述待补充全景图进行补充；
所述步骤S1中获取所述各列像素中的天空最高点的步骤包括：
当所述待补充全景图的上边缘各像素颜色中存在预设颜色时，将所述各列像素中不为所述预设颜色的所在行数最小的像素作为所述天空最高点；其中，所述预设颜色与所述天空像素的颜色不同；
当所述待补充全景图的上边缘各像素颜色中不存在所述预设颜色时，将所述各列像素中位于第一行的像素作为所述天空最高点；
所述步骤S1和S2之间还包括：
对于所述待补充全景图中的任一列，若该列中的天空最高点不满足预设条件中的任意一个，则将该列中天空最高点的颜色替换为该列的前一列中天空最高点的颜色；
其中，所述预设条件包括第一预设条件、第二预设条件和第三预设条件中的一个或多个；
所述第一预设条件为该列中天空最高点的颜色位于预设颜色范围内；
所述第二预设条件为该列中天空最高点与该列中天空最高点的相邻像素之间颜色距离的平均值小于第一预设阈值；
所述第三预设条件为该列中天空最高点所在的行数与该列的相邻列中天空最高点所在的行数之间的差值小于第二预设阈值。
2.根据权利要求1所述的方法，其特征在于，所述步骤S2中若各所述列中均存在所述天空最高点，则将所有所述天空最高点的颜色中最深的颜色作为最终渐变色的步骤具体包括：
若各所述列中均存在所述天空最高点，则计算所有所述天空最高点的颜色对应的灰度值；
将最小灰度值对应的颜色作为最终渐变色。
3.根据权利要求1或2所述的方法，其特征在于，所述步骤S2中根据所述最终渐变色、预设渐变系数和预设宽高比，从各所述列中的天空最高点开始向上对所述待补充全景图进行补充的步骤具体包括：
根据所述预设长宽比和所述待补充全景图的实际长度，获取所述待补充全景图的目标宽度；
在所述待补充全景图中第一行的上方补充新像素，以使所述待补充全景图的高度达到所述目标宽度，获取中间全景图；
对于所述中间全景图中的任一列，根据所述预设渐变系数和所述最终渐变色，从该列中的天空最高点开始向上填充渐变颜色，直到该列中天空最高点上方的像素都被填充为渐变颜色。
4.一种全景图中补充天空的系统，其特征在于，包括：
获取模块，用于获取待补充全景图的各列像素中的天空最高点；其中，待补充全景图的最上方包含天空，天空最高点为各列像素中所在行数最小的天空像素；
补充模块，用于在各所述列中均存在所述天空最高点时，将所有所述天空最高点的颜色中最深的颜色作为最终渐变色，根据所述最终渐变色、预设渐变系数和预设长宽比，从各所述列中的天空最高点开始向上对所述待补充全景图进行补充；
优化模块，用于对于所述待补充全景图中的任一列，若该列中的天空最高点不满足预设条件中的任意一个，则将该列中天空最高点的颜色替换为该列的前一列中天空最高点的颜色；其中，所述预设条件包括第一预设条件、第二预设条件和第三预设条件中的一个或多个；所述第一预设条件为该列中天空最高点的颜色位于预设颜色范围内；所述第二预设条件为该列中天空最高点与该列中天空最高点的相邻像素之间颜色距离的平均值小于第一预设阈值；所述第三预设条件为该列中天空最高点所在的行数与该列的相邻列中天空最高点所在的行数之间的差值小于第二预设阈值；
获取模块具体用于：当待补充全景图的上边缘各像素颜色中存在预设颜色时，将各列像素中不为预设颜色的所在行数最小的像素作为天空最高点；其中，预设颜色与天空像素的颜色不同；当待补充全景图的上边缘各像素颜色中不存在预设颜色时，将各列像素中位于第一行的像素作为天空最高点。
5.根据权利要求4所述的系统，其特征在于，所述获取模块具体用于：
当所述待补充全景图的上边缘各像素颜色中存在预设颜色时，将所述各列像素中不为所述预设颜色的所在行数最小的像素作为所述天空最高点；其中，所述预设颜色与所述天空像素的颜色不同；
当所述待补充全景图的上边缘各像素颜色中不存在所述预设颜色时，将所述各列像素中位于第一行的像素作为所述天空最高点。
6.根据权利要求4或5所述的系统，其特征在于，所述补充模块具体用于：
根据所述预设长宽比和所述待补充全景图的实际长度，获取所述待补充全景图的目标宽度；
在所述待补充全景图中第一行的上方补充新像素，以使所述待补充全景图的高度达到所述目标宽度，获取中间全景图；
对于所述中间全景图中的任一列，根据所述预设渐变系数和所述最终渐变色，从该列中的天空最高点开始向上填充渐变颜色，直到该列中天空最高点上方的像素都被填充为渐变颜色。
7.一种全景图中补充天空的设备，其特征在于，包括：
至少一个处理器、至少一个存储器和总线；其中，
所述处理器和存储器通过所述总线完成相互间的通信；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至3任一所述的方法。
8.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至3任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810449810.3A CN108876729B (zh) | 2018-05-11 | 2018-05-11 | 一种全景图中补充天空的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810449810.3A CN108876729B (zh) | 2018-05-11 | 2018-05-11 | 一种全景图中补充天空的方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108876729A CN108876729A (zh) | 2018-11-23 |
| CN108876729B true CN108876729B (zh) | 2021-02-09 |
Family
ID=64333711
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810449810.3A Active CN108876729B (zh) | 2018-05-11 | 2018-05-11 | 一种全景图中补充天空的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108876729B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112529814B (zh) * | 2020-12-21 | 2024-02-02 | 杭州海康威视数字技术股份有限公司 | 一种全景图的天空背景填补方法、装置及存储介质 |
| CN114900621B (zh) * | 2022-04-29 | 2024-08-13 | 北京字跳网络技术有限公司 | 特效视频确定方法、装置、电子设备及存储介质 |
| CN114782648A (zh) * | 2022-04-29 | 2022-07-22 | 北京字跳网络技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103141078A (zh) * | 2010-10-05 | 2013-06-05 | 索尼电脑娱乐公司 | 图像显示装置及图像显示方法 |
| CN105513027A (zh) * | 2016-01-06 | 2016-04-20 | 天脉聚源（北京）科技有限公司 | 一种模糊处理方法及装置 |
| CN106791351A (zh) * | 2015-11-24 | 2017-05-31 | 腾讯科技（深圳）有限公司 | 全景图像处理方法和装置 |
-
2018
- 2018-05-11 CN CN201810449810.3A patent/CN108876729B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103141078A (zh) * | 2010-10-05 | 2013-06-05 | 索尼电脑娱乐公司 | 图像显示装置及图像显示方法 |
| CN106791351A (zh) * | 2015-11-24 | 2017-05-31 | 腾讯科技（深圳）有限公司 | 全景图像处理方法和装置 |
| CN105513027A (zh) * | 2016-01-06 | 2016-04-20 | 天脉聚源（北京）科技有限公司 | 一种模糊处理方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 基于全景视图管理的3D图像拼接方法研究与实现;沈柯;《中国优秀硕士学位论文全文数据库信息科技辑》;20160415;正文第5，40，44页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108876729A (zh) | 2018-11-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11455516B2 (en) | Image lighting methods and apparatuses, electronic devices, and storage media | |
| US7557812B2 (en) | Multilevel texture processing method for mapping multiple images onto 3D models | |
| CN108876729B (zh) | 一种全景图中补充天空的方法及系统 | |
| CN108022223B (zh) | 一种基于对数映射函数分块处理融合的色调映射方法 | |
| CN109862389B (zh) | 一种视频处理方法、装置、服务器及存储介质 | |
| CN109817170B (zh) | 像素补偿方法、装置和终端设备 | |
| US11750935B2 (en) | Systems and methods of image enhancement | |
| CN103778900B (zh) | 一种图像处理方法及系统 | |
| US11263805B2 (en) | Method of real-time image processing based on rendering engine and a display apparatus | |
| CN108024105A (zh) | 图像色彩调节方法、装置、电子设备及存储介质 | |
| CN113039576A (zh) | 图像增强系统和方法 | |
| CN112508812A (zh) | 图像色偏校正方法、模型训练方法、装置及设备 | |
| CN110838088B (zh) | 一种基于深度学习的多帧降噪方法、装置及终端设备 | |
| KR20230074136A (ko) | 세일리언시 기반 캡처 또는 이미지 프로세싱 | |
| CN110717980A (zh) | 区域三维重建方法、装置及计算机可读存储介质 | |
| CN114331927A (zh) | 一种图像处理方法、存储介质及终端设备 | |
| CN112489103A (zh) | 一种高分辨率深度图获取方法及系统 | |
| CN112446817A (zh) | 图片融合方法及装置 | |
| KR101513931B1 (ko) | 구도의 자동보정 방법 및 이러한 구도의 자동보정 기능이 탑재된 영상 장치 | |
| US20180012066A1 (en) | Photograph processing method and system | |
| CN117897723A (zh) | 用于学习局部图像增强的色调曲线的系统和方法 | |
| CN111382772B (zh) | 一种图像处理方法、装置及终端设备 | |
| CN108833876B (zh) | 一种立体图像内容重组方法 | |
| CN113706665B (zh) | 一种图像处理方法和装置 | |
| Lim et al. | Shallow water image enhancement using predominant colour scheme |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A method and system of sky supplement in panorama Effective date of registration: 20210610 Granted publication date: 20210209 Pledgee: Guanggu Branch of Wuhan Rural Commercial Bank Co.,Ltd. Pledgor: WUHAN INFOEARTH INFORMATION Co.,Ltd. Registration number: Y2021420000034 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Date of cancellation: 20220812 Granted publication date: 20210209 Pledgee: Guanggu Branch of Wuhan Rural Commercial Bank Co.,Ltd. Pledgor: WUHAN INFOEARTH INFORMATION CO.,LTD. Registration number: Y2021420000034 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A method and system for supplementing the sky in a panorama Effective date of registration: 20220826 Granted publication date: 20210209 Pledgee: Guanggu Branch of Wuhan Rural Commercial Bank Co.,Ltd. Pledgor: WUHAN INFOEARTH INFORMATION CO.,LTD. Registration number: Y2022420000276 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Date of cancellation: 20230714 Granted publication date: 20210209 Pledgee: Guanggu Branch of Wuhan Rural Commercial Bank Co.,Ltd. Pledgor: WUHAN INFOEARTH INFORMATION CO.,LTD. Registration number: Y2022420000276 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A Method and System of Supplementing Sky in Panorama Effective date of registration: 20230718 Granted publication date: 20210209 Pledgee: Guanggu Branch of Wuhan Rural Commercial Bank Co.,Ltd. Pledgor: WUHAN INFOEARTH INFORMATION CO.,LTD. Registration number: Y2023420000306 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Granted publication date: 20210209 Pledgee: Guanggu Branch of Wuhan Rural Commercial Bank Co.,Ltd. Pledgor: WUHAN INFOEARTH INFORMATION CO.,LTD. Registration number: Y2023420000306 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A method and system for supplementing the sky in panoramic images Granted publication date: 20210209 Pledgee: Guanggu Branch of Wuhan Rural Commercial Bank Co.,Ltd. Pledgor: WUHAN INFOEARTH INFORMATION CO.,LTD. Registration number: Y2024980032209 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right |