CN109584158A - 一种全景照片自动拼合方法 - Google Patents

一种全景照片自动拼合方法 Download PDF

Info

Publication number
CN109584158A
CN109584158A CN201811247594.0A CN201811247594A CN109584158A CN 109584158 A CN109584158 A CN 109584158A CN 201811247594 A CN201811247594 A CN 201811247594A CN 109584158 A CN109584158 A CN 109584158A
Authority
CN
China
Prior art keywords
photo
group
sequence
value
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811247594.0A
Other languages
English (en)
Other versions
CN109584158B (zh
Inventor
肖猛
梁兴
严居斌
尹磊
郭春松
邹栋
李奕
何萍
鲁贵文
刘瑶林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Become Capital Electricity Power Engineering Design Co Ltd
Original Assignee
Become Capital Electricity Power Engineering Design Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Become Capital Electricity Power Engineering Design Co Ltd filed Critical Become Capital Electricity Power Engineering Design Co Ltd
Priority to CN201811247594.0A priority Critical patent/CN109584158B/zh
Publication of CN109584158A publication Critical patent/CN109584158A/zh
Application granted granted Critical
Publication of CN109584158B publication Critical patent/CN109584158B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

为了提升照相拼合的自动化和智能化水平，本发明提供了一种全景照片自动拼合方法。本发明能够针对保存为.jpeg、.jpg、.png、.bmp等数码照片格式的照片进行自动拼合，从而突破了只有自身带有拼合功能的照相设备才能实现照相自动拼合的弊端，使得图片自动拼合技术的自动化和智能化水平大大提升。尤其是应用本发明后，照片的尺寸、形状和规格可以是任意的、彼此不一致的，极大地丰富了人机交互体验。

Description

一种全景照片自动拼合方法
技术领域
本发明涉及图像处理技术领域，更具体地，涉及一种全景照片自动拼合方法。
背景技术
随着电子技术以及计算机应用技术的成熟，大量的智能设备，例如，数码相机、平板电脑、智能移动电话、个人计算机(PC，Personal Computer)中装载有大量的应用程序，能够在日常生活中为广大用户带来极大的便利。其中，应用程序的开发人员为了满足用户不断增长的界面美感需求，需要在该应用程序的代码编写过程中，使用大量的图片资源，以使应用程序界面美观、动画流畅。以应用程序加载可执行文件对应的界面为例，可执行文件是指在特定操作系统上面，可以被该操作系统运行的文件，包含由多个不同逻辑单元(例如资源段、代码段、常量段)组合在一起的可执行文件段(节)，其中，资源段又包括：对话框、快捷键、菜单、字符串、版本信息以及图片资源等。由于在可执行文件加载(运行)过程中需要使用大量的图片资源，图片资源的大量使用会使得可执行文件的资源段的容量增大非常多，所需资源空间大，从而导致可执行文件非常大。而大容量的资源段不仅导致应用程序在启动时速度非常慢，还需要消耗操作系统的大量内存、内核对象等资源，导致智能设备中各应用程序运行缓慢，运行效率低，降低了用户的业务体验。
现有技术中，申请号为CN201510378755.X的中国发明专利申请公开了一种拼合图片资源的方法及图片资源拼合装置。方法包括：按照预设的图片尺寸阈值调整应用程序运行所需的图片资源；以预定义的分割线将一空白图片模板划分为多个空白图片子模板，所述空白图片子模板的尺寸与图片尺寸阈值相同；依次将调整的图片资源置于对应的空白图片子模板中，构建空白图片子模板与调整的图片资源的映射关系，生成拼合的图片资源；在应用程序加载图片资源时，查询映射关系得到待加载图片资源所在的空白图片子模板，从所述得到的空白图片子模板中提取所述待加载的图片资源进行加载。然而，该方法需要规定照片的规格和尺寸(通常尺寸往往限制于形状)，从而使得模板的划分成为了非规则照片拼合的阻碍。此外，对于映射的产生该技术方案也不具备较强的可操作性。
发明内容
为了提升图片拼合的自动化水平和智能化水平，本发明提供了一种全景照片自动拼合方法，包括：
(A)对照片进行归类识别；
(B)对经过识别的照片进行拼合。
进一步地，所述步骤(A)包括：
(101)将M张照片以第一随机方式分成多个m1组，其中至少m1-1组包括N张照片，记该包括N张照片的组为第一标准组，包括照片数非N的那一组记为第一非标准组；
(102)对各标准组进行如下处理：对组内的第一照片进行前景处理得到第一背景图BK_1；对第二照片进行前景处理得到第二背景图BK_2；以此类推，对第N照片进行前景处理得到第N背景图BK_N；以BK_1、BK_2、…、BK_N组成数列，计算该数列中每个背景图的红色像素Rx、绿色像素Gx、蓝色像素Bx、白色像素Wx、色温Kx和饱和度Sx，其中x＝1，2，…，N，以色温Kx和饱和度Sx分别组成序列K和S，以红色像素Rx、绿色像素Gx、蓝色像素Bx、白色像素Wx分别组成红色像素序列R、绿色像素序列G、蓝色像素序列B和白色像素序列W；
(103)取序列K中的最小值和最大值并将序列K中的各元素从小到大进行排列，再以此经过排列的序列K中各背景图的顺序将序列S中的各背景图对应的饱和度Sx重新排列；
(104)设序列S中的最小值和最大值对应的背景图的饱和度分别为Sp和Sq，其中p和q均为大于或等于1且小于N的正整数，计累积次数Num为{1，2，…，N}的算术平均数的下整数,在经过上述处理的序列S中Sp和Sq之间的各饱和度范围内以Sp和Sq的几何平均值为初始值对((Sp*Ri+Sp*Gi+Sq*Bi+Sq*Wi)/(Sq*Ri+Sq*Gi+Sp*Bi+Sp*Wi))*(Sq/Sp)+((Sp*Ri+Sp*Bi+Sq*Gi+Sq*Wi)/(Sq*Ri+Sq*Bi+Sp*Gi+Sp*Wi))*(Sq/Sp)+((Sp*Ri+Sp*Wi+Sq*Bi+Sq*Bi)/(Sq*Ri+Sq*Wi+Sp*Bi+Sp*Bi))*(Sp/Sq)进行Num次迭代，对得到的最终迭代值取上整数M后再加上Num得到的和取几何平均值再取上整数，将得到的值赋给Num，且该最终迭代值的除以Num得到的值记作饱和度平均值S平；
(105)取序列S中的最小值和最大值并将序列S中的各元素从小到大进行排列，再以此经过排列的序列S中各背景图的顺序将序列K中的各背景图对应的饱和度Kx重新排列；
(106)设序列K中的最小值和最大值对应的背景图的色温分别为Kp和Kq，其中p和q均为大于或等于1且小于N的正整数，在经过上述处理的序列K中Kp和Kq之间的各色温范围内以Kp和Kq的几何平均值为初始值对((Kp*Ri+Kp*Gi+Kq*Bi+Kq*Wi)/(Kq*Ri+Kq*Gi+Kp*Bi+Kp*Wi))*(Kq/Kp)+((Kp*Ri+Kp*Bi+Kq*Gi+Kq*Wi)/(Kq*Ri+Kq*Bi+Kp*Gi+Kp*Wi))*(Kq/Kp)+((Kp*Ri+Kp*Wi+Kq*Bi+Kq*Bi)/(Kq*Ri+Kq*Wi+Kp*Bi+Kp*Bi))*(Kp/Kq)进行Num次迭代，对得到的最终迭代值除以此时的Num得到的值记作色温平均值K平；
(107)对色温序列K中的各个元素除以色温平均值K平的模值，对饱和度序列S中的各个元素除以饱和度平均值S平的模值，从而分别得到第二色温序列K’和第二饱和度序列S’；
(108)计算数列K’的标准差αk和方差βk；计算数列S’的标准差αs和方差βs；确定αk和βk是否均小于预设第一阈值且αk和βk是否均小于第二阈值，若均小于则保持该标准组，否则将该标准组记为待重新组合组；
(109)将各所述待重新组合组中的全部照片，如果待重新组合组的数量非零的话，以及第一非标准组中的全部照片，共同以不同于第一随机方式的第二随机方式分成m2组，其中至少m2-1组包括(N-1)张照片，记该包括(N-1)张照片的组为第二标准组，包括照片数非N的那一组记为第二非标准组；
(110)重复步骤(102)至步骤(109)，直到同时满足以下两个条件为止：
条件一：N＝1；
条件二：αk、βk均小于第一阈值，或αs和βs均小于第二阈值；
(111)确定经过步骤(110)后得到的各标准组为第X标准组和第X非标准组，则对于每两个第X标准组分别计算各个第X标准组的αk*αs且计算这两个αk*αs之间的差值的平方的和是否小于预设归类阈值，如果是则进行这两个第X标准组的合并；
(112)将该合并得到的组作为一个新的第X标准组来替代被合并的两个第X标准组，再重复步骤(111)，从而最终对于所述M张照片得到e组最终标准组和一个最终非标准组，其中e为大于1且小于N的正整数；
(113)将所述e组最终标准组内各个照片替换为对应的原照片。
进一步地，所述步骤(B)包括：
(201)对e组最终标准组中的照片进行边缘模糊化处理；
(202)根据模糊化处理结果对照片进行拼合。
进一步地，所述步骤(201)包括：
(2011)对所述最终标准组的每一张照片L，L为大于1且小于N的正整数，获得该照片边缘模糊化区域像素Lr，该边缘模糊化区域像素Lr包括如下序列：红色像素RxLr、绿色像素GxLr、蓝色像素BxLr、白色像素WxLr，所述边缘区域为该照片边缘向该照片中心方向的一邻域，在从照片边缘区域到照片中心的方向上，该邻域的长度为照片边缘到照片中心长度的1/10；
(2012)在角度Angle对应的方向上，其中Angle取值范围为从45°～315°且变化间隔为90°，对于各个照片L的各个边缘区域Lr，计算在角度Angle的方向上红色像素RxL两两之间的相似度SimRxL、绿色像素两两之间的相似度SimGxL、蓝色像素两两之间的相似度SimBxL、白色像素两两之间的相似度SimWxL；
(2013)对于各个边缘区域Lr，以SimRxL*SimGxL*SimBxL*SimWxL最小的边缘区域Lr为初始值，取2个照片的边缘区域Lr1、Lr2的相似度，计算这2个照片的边缘区域的相似度的乘积差，即SimRxL_Lr1*SimGxL_Lr1*SimBxL_Lr1*SimWxL_Lr1-
SimRxL_Lr2*SimGxL_Lr2*SimBxL_Lr2*SimWxL_Lr2，将所得到的差进行排序，将得到的排序对应的各个照片的边缘区域的相似度再次进行上述乘积差计算，且再次进行排序，得到在角度Angle上整理后的照片序列；
(2014)以步骤(2012)到步骤(2013)的方式，遍历Angle的其他取值，遍历过程中Angle＝Angle+90°，得到在所有角度Angle上整理后的照片序列。
进一步地，所述步骤(202)包括：
(2021)将照片Pi在315°～45°角度范围内对应的模糊化区域与照片Pj在135°～225°角度范围内对应的边缘模糊化区域像素进行卷积，卷积值的模值小于预设阈值的将照片Pj设置于第一备选库，否则如果j≠N则令j＝j+1，其中i为1，2，…，N的正整数，j为1，2，…，N的正整数，且j≠i；
(2022)将照片Pi在45°～135°角度范围内对应的模糊化区域与照片Pj在225°～315°角度范围内对应的边缘模糊化区域像素进行卷积，卷积值的模值小于预设阈值的将照片Pj设置于第二备选库，否则如果j≠N则令j＝j+1；
(2023)从第一备选库中选出照片Pk1，在45°～135°角度范围内照片Pk1对应的模糊化区域与照片Pm在225°～315°角度范围内对应的模糊化区域进行卷积，卷积值的模值小于预设阈值的将照片Pm设置于第三备选库，其中m为1，2，…，N的正整数且m≠k1，m≠k2，如果m≠N则令m＝m+1并再次令照片pk1与照片Pm进行上述卷积再判断是否将照片Pm设置于第三备选库，重复该过程直至m＝N-1为止；所述照片Pk1来自所有照片除了第一备选库和第二备选库之外剩余的照片；
(2024)从第二备选库中选出照片Pk2，在315°～45°角度范围内照片Pk2对应的模糊化区域与照片Pn在135°～225°角度范围内对应的模糊化区域进行卷积，卷积值的模值小于预设阈值的将照片Pn设置于第四备选库，其中n为1，2，…，N的正整数且n≠k1，n≠k2，如果n≠N则令n＝n+1，并再次令照片pk2与照片Pn进行上述卷积再判断是否将照片Pn设置于第四备选库，重复该过程直至n＝N-1为止；所述照片Pk2来自所有照片除了第一备选库、第二备选库和第三备选库之外剩余的照片；
(2025)确定第三备选库与第四备选库是否存在相同的照片，即同一照片，如果存在则将第三备选库和第四备选库清空并用全部同一照片设置到第三备选库；否则令k1＝k1+1并重复步骤(2023)和步骤(2024)直至k1＝N-1；
(2026)确定第三备选库与第四备选库是否存在相同的照片，即同一照片，如果存在则将第三备选库和第四备选库清空并用全部同一照片设置到第三备选库；否则令k2＝k2+1并重复步骤(2023)和步骤(2024)直至k2＝N-1；
(2027)若所述同一照片数量大于1，则将模糊化区域减小1/2，清空第一备选库至第四备选库并重复步骤(2021)至步骤(2027)，直至同一照片数量等于1为止；
(2028)将所述同一照片替换为照片Pk1，清空第一备选库至第四备选库并重复步骤(2021)至步骤(2027)，直至第三备选库和第四备选库不存在所述同一照片为止；
(2029)重复步骤(2021)至步骤(2028)，其中每次重复时照片Pi、Pj、Pk1、Pk2、Pm、Pn涉及到的角度范围均增加90°，直到恢复到Pi照片在角度315°～45°角度范围、Pj在135°～225°角度范围、Pk1在45°～135°角度范围、Pk2在315°～45°角度范围、Pm在225°～315°角度范围且Pn在135°～225°角度范围为止。
进一步地，所述步骤(A)中前景处理包括：
识别人脸并确定人脸位置；
识别与所述被识别的人脸相关联的身体轮廓；
在照片中去除被识别的人脸及以及被识别的身体轮廓。
进一步地，所述不同照片的像素序列的两两之间的相似度是通过计算两个照片的像素序列之间的互相关系数表征的。
本发明具有如下的有益效果：能够针对保存为.jpeg、.jpg、.png、.bmp等数码照片格式的照片进行自动拼合，从而突破了只有自身带有拼合功能的照相设备才能实现照相自动拼合的弊端，使得图片自动拼合技术的自动化和智能化水平大大提升。尤其是应用本发明后，照片的尺寸、形状和规格可以是任意的、彼此不一致的，极大地丰富了人机交互体验。
附图说明
图1示出了根据本发明的拼合方法的流程框图。
具体实施方式
本发明提供了一种全景照片自动拼合方法，包括：
(A)对照片进行归类识别；
(B)对经过识别的照片进行拼合。
优选地，所述步骤(A)包括：
(101)将M张照片以第一随机方式分成多个m1组，其中至少m1-1组包括N张照片，记该包括N张照片的组为第一标准组，包括照片数非N的那一组记为第一非标准组；
(102)对各标准组进行如下处理：对组内的第一照片进行前景处理得到第一背景图BK_1；对第二照片进行前景处理得到第二背景图BK_2；以此类推，对第N照片进行前景处理得到第N背景图BK_N；以BK_1、BK_2、…、BK_N组成数列，计算该数列中每个背景图的红色像素Rx、绿色像素Gx、蓝色像素Bx、白色像素Wx、色温Kx和饱和度Sx，其中x＝1，2，…，N，以色温Kx和饱和度Sx分别组成序列K和S，以红色像素Rx、绿色像素Gx、蓝色像素Bx、白色像素Wx分别组成红色像素序列R、绿色像素序列G、蓝色像素序列B和白色像素序列W；
(103)取序列K中的最小值和最大值并将序列K中的各元素从小到大进行排列，再以此经过排列的序列K中各背景图的顺序将序列S中的各背景图对应的饱和度Sx重新排列；
(104)设序列S中的最小值和最大值对应的背景图的饱和度分别为Sp和Sq，其中p和q均为大于或等于1且小于N的正整数，计累积次数Num为{1，2，…，N}的算术平均数的下整数,在经过上述处理的序列S中Sp和Sq之间的各饱和度范围内以Sp和Sq的几何平均值为初始值对((Sp*Ri+Sp*Gi+Sq*Bi+Sq*Wi)/(Sq*Ri+Sq*Gi+Sp*Bi+Sp*Wi))*(Sq/Sp)+((Sp*Ri+Sp*Bi+Sq*Gi+Sq*Wi)/(Sq*Ri+Sq*Bi+Sp*Gi+Sp*Wi))*(Sq/Sp)+((Sp*Ri+Sp*Wi+Sq*Bi+Sq*Bi)/(Sq*Ri+Sq*Wi+Sp*Bi+Sp*Bi))*(Sp/Sq)进行Num次迭代，对得到的最终迭代值取上整数M后再加上Num得到的和取几何平均值再取上整数，将得到的值赋给Num，且该最终迭代值的除以Num得到的值记作饱和度平均值S平；
(105)取序列S中的最小值和最大值并将序列S中的各元素从小到大进行排列，再以此经过排列的序列S中各背景图的顺序将序列K中的各背景图对应的饱和度Kx重新排列；
(106)设序列K中的最小值和最大值对应的背景图的色温分别为Kp和Kq，其中p和q均为大于或等于1且小于N的正整数，在经过上述处理的序列K中Kp和Kq之间的各色温范围内以Kp和Kq的几何平均值为初始值对((Kp*Ri+Kp*Gi+Kq*Bi+Kq*Wi)/(Kq*Ri+Kq*Gi+Kp*Bi+Kp*Wi))*(Kq/Kp)+((Kp*Ri+Kp*Bi+Kq*Gi+Kq*Wi)/(Kq*Ri+Kq*Bi+Kp*Gi+Kp*Wi))*(Kq/Kp)+((Kp*Ri+Kp*Wi+Kq*Bi+Kq*Bi)/(Kq*Ri+Kq*Wi+Kp*Bi+Kp*Bi))*(Kp/Kq)进行Num次迭代，对得到的最终迭代值除以此时的Num得到的值记作色温平均值K平；
(107)对色温序列K中的各个元素除以色温平均值K平的模值，对饱和度序列S中的各个元素除以饱和度平均值S平的模值，从而分别得到第二色温序列K’和第二饱和度序列S’；
(108)计算数列K’的标准差αk和方差βk；计算数列S’的标准差αs和方差βs；确定αk和βk是否均小于预设第一阈值且αk和βk是否均小于第二阈值，若均小于则保持该标准组，否则将该标准组记为待重新组合组；
(109)将各所述待重新组合组中的全部照片，如果待重新组合组的数量非零的话，以及第一非标准组中的全部照片，共同以不同于第一随机方式的第二随机方式分成m2组，其中至少m2-1组包括(N-1)张照片，记该包括(N-1)张照片的组为第二标准组，包括照片数非N的那一组记为第二非标准组；
(110)重复步骤(102)至步骤(109)，直到同时满足以下两个条件为止：
条件一：N＝1；
条件二：αk、βk均小于第一阈值，或αs和βs均小于第二阈值；
(111)确定经过步骤(110)后得到的各标准组为第X标准组和第X非标准组，则对于每两个第X标准组分别计算各个第X标准组的αk*αs且计算这两个αk*αs之间的差值的平方的和是否小于预设归类阈值，如果是则进行这两个第X标准组的合并；
(112)将该合并得到的组作为一个新的第X标准组来替代被合并的两个第X标准组，再重复步骤(111)，从而最终对于所述M张照片得到e组最终标准组和一个最终非标准组，其中e为大于1且小于N的正整数；
(113)将所述e组最终标准组内各个照片替换为对应的原照片。
优选地，所述步骤(B)包括：
(201)对e组最终标准组中的照片进行边缘模糊化处理；
(202)根据模糊化处理结果对照片进行拼合。
优选地，所述步骤(201)包括：
(2011)对所述最终标准组的每一张照片L，L为大于1且小于N的正整数，获得该照片边缘模糊化区域像素Lr，该边缘模糊化区域像素Lr包括如下序列：红色像素RxLr、绿色像素GxLr、蓝色像素BxLr、白色像素WxLr，所述边缘区域为该照片边缘向该照片中心方向的一邻域，在从照片边缘区域到照片中心的方向上，该邻域的长度为照片边缘到照片中心长度的1/10；
(2012)在角度Angle对应的方向上，其中Angle取值范围为从45°～315°且变化间隔为90°，对于各个照片L的各个边缘区域Lr，计算在角度Angle的方向上红色像素RxL两两之间的相似度SimRxL、绿色像素两两之间的相似度SimGxL、蓝色像素两两之间的相似度SimBxL、白色像素两两之间的相似度SimWxL；
(2013)对于各个边缘区域Lr，以SimRxL*SimGxL*SimBxL*SimWxL最小的边缘区域Lr为初始值，取2个照片的边缘区域Lr1、Lr2的相似度，计算这2个照片的边缘区域的相似度的乘积差，即SimRxL_Lr1*SimGxL_Lr1*SimBxL_Lr1*SimWxL_Lr1-SimRxL_Lr2*SimGxL_Lr2*SimBxL_Lr2*SimWxL_Lr2，将所得到的差进行排序，将得到的排序对应的各个照片的边缘区域的相似度再次进行上述乘积差计算，且再次进行排序，得到在角度Angle上整理后的照片序列；
(2014)以步骤(2012)到步骤(2013)的方式，遍历Angle的其他取值，遍历过程中Angle＝Angle+90°，得到在所有角度Angle上整理后的照片序列。
优选地，所述步骤(202)包括：
(2021)将照片Pi在315°～45°角度范围内对应的模糊化区域与照片Pj在135°～225°角度范围内对应的边缘模糊化区域像素进行卷积，卷积值的模值小于预设阈值的将照片Pj设置于第一备选库，否则如果j≠N则令j＝j+1，其中i为1，2，…，N的正整数，j为1，2，…，N的正整数，且j≠i；
(2022)将照片Pi在45°～135°角度范围内对应的模糊化区域与照片Pj在225°～315°角度范围内对应的边缘模糊化区域像素进行卷积，卷积值的模值小于预设阈值的将照片Pj设置于第二备选库，否则如果j≠N则令j＝j+1；
(2023)从第一备选库中选出照片Pk1，在45°～135°角度范围内照片Pk1对应的模糊化区域与照片Pm在225°～315°角度范围内对应的模糊化区域进行卷积，卷积值的模值小于预设阈值的将照片Pm设置于第三备选库，其中m为1，2，…，N的正整数且m≠k1，m≠k2，如果m≠N则令m＝m+1并再次令照片pk1与照片Pm进行上述卷积再判断是否将照片Pm设置于第三备选库，重复该过程直至m＝N-1为止；所述照片Pk1来自所有照片除了第一备选库和第二备选库之外剩余的照片；
(2024)从第二备选库中选出照片Pk2，在315°～45°角度范围内照片Pk2对应的模糊化区域与照片Pn在135°～225°角度范围内对应的模糊化区域进行卷积，卷积值的模值小于预设阈值的将照片Pn设置于第四备选库，其中n为1，2，…，N的正整数且n≠k1，n≠k2，如果n≠N则令n＝n+1，并再次令照片pk2与照片Pn进行上述卷积再判断是否将照片Pn设置于第四备选库，重复该过程直至n＝N-1为止；所述照片Pk2来自所有照片除了第一备选库、第二备选库和第三备选库之外剩余的照片；
(2025)确定第三备选库与第四备选库是否存在相同的照片，即同一照片，如果存在则将第三备选库和第四备选库清空并用全部同一照片设置到第三备选库；否则令k1＝k1+1并重复步骤(2023)和步骤(2024)直至k1＝N-1；
(2026)确定第三备选库与第四备选库是否存在相同的照片，即同一照片，如果存在则将第三备选库和第四备选库清空并用全部同一照片设置到第三备选库；否则令k2＝k2+1并重复步骤(2023)和步骤(2024)直至k2＝N-1；
(2027)若所述同一照片数量大于1，则将模糊化区域减小1/2，清空第一备选库至第四备选库并重复步骤(2021)至步骤(2027)，直至同一照片数量等于1为止；
(2028)将所述同一照片替换为照片Pk1，清空第一备选库至第四备选库并重复步骤(2021)至步骤(2027)，直至第三备选库和第四备选库不存在所述同一照片为止；
(2029)重复步骤(2021)至步骤(2028)，其中每次重复时照片Pi、Pj、Pk1、Pk2、Pm、Pn涉及到的角度范围均增加90°，直到恢复到Pi照片在角度315°～45°角度范围、Pj在135°～225°角度范围、Pk1在45°～135°角度范围、Pk2在315°～45°角度范围、Pm在225°～315°角度范围且Pn在135°～225°角度范围为止。
优选地，所述步骤(A)中前景处理包括：
识别人脸并确定人脸位置；
识别与所述被识别的人脸相关联的身体轮廓；
在照片中去除被识别的人脸及以及被识别的身体轮廓。
优选地，所述不同照片的像素序列的两两之间的相似度是通过计算两个照片的像素序列之间的互相关系数表征的。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种全景照片自动拼合方法，包括：
(A)对照片进行归类识别；
(B)对经过识别的照片进行拼合。
2.根据权利要求1所述的方法，其特征在于，所述步骤(A)包括：
(101)将M张照片以第一随机方式分成多个m1组，其中至少m1-1组包括N张照片，记该包括N张照片的组为第一标准组，包括照片数非N的那一组记为第一非标准组；
(102)对各标准组进行如下处理：对组内的第一照片进行前景处理得到第一背景图BK_1；对第二照片进行前景处理得到第二背景图BK_2；以此类推，对第N照片进行前景处理得到第N背景图BK_N；以BK_1、BK_2、…、BK_N组成数列，计算该数列中每个背景图的红色像素Rx、绿色像素Gx、蓝色像素Bx、白色像素Wx、色温Kx和饱和度Sx，其中x＝1，2，…，N，以色温Kx和饱和度Sx分别组成序列K和S，以红色像素Rx、绿色像素Gx、蓝色像素Bx、白色像素Wx分别组成红色像素序列R、绿色像素序列G、蓝色像素序列B和白色像素序列W；
(103)取序列K中的最小值和最大值并将序列K中的各元素从小到大进行排列，再以此经过排列的序列K中各背景图的顺序将序列S中的各背景图对应的饱和度Sx重新排列；
(104)设序列S中的最小值和最大值对应的背景图的饱和度分别为Sp和Sq，其中p和q均为大于或等于1且小于N的正整数，计累积次数Num为{1，2，…，N}的算术平均数的下整数,在经过上述处理的序列S中Sp和Sq之间的各饱和度范围内以Sp和Sq的几何平均值为初始值对((Sp*Ri+Sp*Gi+Sq*Bi+Sq*Wi)/(Sq*Ri+Sq*Gi+Sp*Bi+Sp*Wi))*(Sq/Sp)+((Sp*Ri+Sp*Bi+Sq*Gi+Sq*Wi)/(Sq*Ri+Sq*Bi+Sp*Gi+Sp*Wi))*(Sq/Sp)+((Sp*Ri+Sp*Wi+Sq*Bi+Sq*Bi)/(Sq*Ri+Sq*Wi+Sp*Bi+Sp*Bi))*(Sp/Sq)进行Num次迭代，对得到的最终迭代值取上整数M后再加上Num得到的和取几何平均值再取上整数，将得到的值赋给Num，且该最终迭代值的除以Num得到的值记作饱和度平均值S平；
(105)取序列S中的最小值和最大值并将序列S中的各元素从小到大进行排列，再以此经过排列的序列S中各背景图的顺序将序列K中的各背景图对应的饱和度Kx重新排列；
(106)设序列K中的最小值和最大值对应的背景图的色温分别为Kp和Kq，其中p和q均为大于或等于1且小于N的正整数，在经过上述处理的序列K中Kp和Kq之间的各色温范围内以Kp和Kq的几何平均值为初始值对((Kp*Ri+Kp*Gi+Kq*Bi+Kq*Wi)/(Kq*Ri+Kq*Gi+Kp*Bi+Kp*Wi))*(Kq/Kp)+((Kp*Ri+Kp*Bi+Kq*Gi+Kq*Wi)/(Kq*Ri+Kq*Bi+Kp*Gi+Kp*Wi))*(Kq/Kp)+((Kp*Ri+Kp*Wi+Kq*Bi+Kq*Bi)/(Kq*Ri+Kq*Wi+Kp*Bi+Kp*Bi))*(Kp/Kq)进行Num次迭代，对得到的最终迭代值除以此时的Num得到的值记作色温平均值K平；
(107)对色温序列K中的各个元素除以色温平均值K平的模值，对饱和度序列S中的各个元素除以饱和度平均值S平的模值，从而分别得到第二色温序列K’和第二饱和度序列S’；
(108)计算数列K’的标准差αk和方差βk；计算数列S’的标准差αs和方差βs；确定αk和βk是否均小于预设第一阈值且αk和βk是否均小于第二阈值，若均小于则保持该标准组，否则将该标准组记为待重新组合组；
(109)将各所述待重新组合组中的全部照片，如果待重新组合组的数量非零的话，以及第一非标准组中的全部照片，共同以不同于第一随机方式的第二随机方式分成m2组，其中至少m2-1组包括(N-1)张照片，记该包括(N-1)张照片的组为第二标准组，包括照片数非N的那一组记为第二非标准组；
(110)重复步骤(102)至步骤(109)，直到同时满足以下两个条件为止：
条件一：N＝1；
条件二：αk、βk均小于第一阈值，或αs和βs均小于第二阈值；
(111)确定经过步骤(110)后得到的各标准组为第X标准组和第X非标准组，则对于每两个第X标准组分别计算各个第X标准组的αk*αs且计算这两个αk*αs之间的差值的平方的和是否小于预设归类阈值，如果是则进行这两个第X标准组的合并；
(112)将该合并得到的组作为一个新的第X标准组来替代被合并的两个第X标准组，再重复步骤(111)，从而最终对于所述M张照片得到e组最终标准组和一个最终非标准组，其中e为大于1且小于N的正整数；
(113)将所述e组最终标准组内各个照片替换为对应的原照片。
3.根据权利要求1所述的方法，其特征在于，所述步骤(B)包括：
(201)对e组最终标准组中的照片进行边缘模糊化处理；
(202)根据模糊化处理结果对照片进行拼合。
4.根据权利要求3所述的方法，其特征在于，所述步骤(201)包括：
(2011)对所述最终标准组的每一张照片L，L为大于1且小于N的正整数，获得该照片边缘模糊化区域像素Lr，该边缘模糊化区域像素Lr包括如下序列：红色像素RxLr、绿色像素GxLr、蓝色像素BxLr、白色像素WxLr，所述边缘区域为该照片边缘向该照片中心方向的一邻域，在从照片边缘区域到照片中心的方向上，该邻域的长度为照片边缘到照片中心长度的1/10；
(2012)在角度Angle对应的方向上，其中Angle取值范围为从45°～315°且变化间隔为90°，对于各个照片L的各个边缘区域Lr，计算在角度Angle的方向上红色像素RxL两两之间的相似度SimRxL、绿色像素两两之间的相似度SimGxL、蓝色像素两两之间的相似度SimBxL、白色像素两两之间的相似度SimWxL；
(2013)对于各个边缘区域Lr，以SimRxL*SimGxL*SimBxL*SimWxL最小的边缘区域Lr为初始值，取2个照片的边缘区域Lr1、Lr2的相似度，计算这2个照片的边缘区域的相似度的乘积差，即SimRxL_Lr1*SimGxL_Lr1*SimBxL_Lr1*SimWxL_Lr1-SimRxL_Lr2*SimGxL_Lr2*SimBxL_Lr2*SimWxL_Lr2，将所得到的差进行排序，将得到的排序对应的各个照片的边缘区域的相似度再次进行上述乘积差计算，且再次进行排序，得到在角度Angle上整理后的照片序列；
(2014)以步骤(2012)到步骤(2013)的方式，遍历Angle的其他取值，遍历过程中Angle＝Angle+90°，得到在所有角度Angle上整理后的照片序列。
5.根据权利要求4所述的方法，其特征在于，所述步骤(202)包括：
(2021)将照片Pi在315°～45°角度范围内对应的模糊化区域与照片Pj在135°～225°角度范围内对应的边缘模糊化区域像素进行卷积，卷积值的模值小于预设阈值的将照片Pj设置于第一备选库，否则如果j≠N则令j＝j+1，其中i为1，2，…，N的正整数，j为1，2，…，N的正整数，且j≠i；
(2022)将照片Pi在45°～135°角度范围内对应的模糊化区域与照片Pj在225°～315°角度范围内对应的边缘模糊化区域像素进行卷积，卷积值的模值小于预设阈值的将照片Pj设置于第二备选库，否则如果j≠N则令j＝j+1；
(2023)从第一备选库中选出照片Pk1，在45°～135°角度范围内照片Pk1对应的模糊化区域与照片Pm在225°～315°角度范围内对应的模糊化区域进行卷积，卷积值的模值小于预设阈值的将照片Pm设置于第三备选库，其中m为1，2，…，N的正整数且m≠k1，m≠k2，如果m≠N则令m＝m+1并再次令照片pk1与照片Pm进行上述卷积再判断是否将照片Pm设置于第三备选库，重复该过程直至m＝N-1为止；所述照片Pk1来自所有照片除了第一备选库和第二备选库之外剩余的照片；
(2024)从第二备选库中选出照片Pk2，在315°～45°角度范围内照片Pk2对应的模糊化区域与照片Pn在135°～225°角度范围内对应的模糊化区域进行卷积，卷积值的模值小于预设阈值的将照片Pn设置于第四备选库，其中n为1，2，…，N的正整数且n≠k1，n≠k2，如果n≠N则令n＝n+1，并再次令照片pk2与照片Pn进行上述卷积再判断是否将照片Pn设置于第四备选库，重复该过程直至n＝N-1为止；所述照片Pk2来自所有照片除了第一备选库、第二备选库和第三备选库之外剩余的照片；
(2025)确定第三备选库与第四备选库是否存在相同的照片，即同一照片，如果存在则将第三备选库和第四备选库清空并用全部同一照片设置到第三备选库；否则令k1＝k1+1并重复步骤(2023)和步骤(2024)直至k1＝N-1；
(2026)确定第三备选库与第四备选库是否存在相同的照片，即同一照片，如果存在则将第三备选库和第四备选库清空并用全部同一照片设置到第三备选库；否则令k2＝k2+1并重复步骤(2023)和步骤(2024)直至k2＝N-1；
(2027)若所述同一照片数量大于1，则将模糊化区域减小1/2，清空第一备选库至第四备选库并重复步骤(2021)至步骤(2027)，直至同一照片数量等于1为止；
(2028)将所述同一照片替换为照片Pk1，清空第一备选库至第四备选库并重复步骤(2021)至步骤(2027)，直至第三备选库和第四备选库不存在所述同一照片为止；
(2029)重复步骤(2021)至步骤(2028)，其中每次重复时照片Pi、Pj、Pk1、Pk2、Pm、Pn涉及到的角度范围均增加90°，直到恢复到Pi照片在角度315°～45°角度范围、Pj在135°～225°角度范围、Pk1在45°～135°角度范围、Pk2在315°～45°角度范围、Pm在225°～315°角度范围且Pn在135°～225°角度范围为止。
6.根据权利要求2所述的方法，其特征在于，所述步骤(A)中前景处理包括：
识别人脸并确定人脸位置；
识别与所述被识别的人脸相关联的身体轮廓；
在照片中去除被识别的人脸及以及被识别的身体轮廓。
7.根据权利要求4所述的方法，其特征在于，所述不同照片的像素序列的两两之间的相似度是通过计算两个照片的像素序列之间的互相关系数表征的。
CN201811247594.0A 2018-10-25 2018-10-25 一种全景照相用自动拼合方法 Active CN109584158B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811247594.0A CN109584158B (zh) 2018-10-25 2018-10-25 一种全景照相用自动拼合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811247594.0A CN109584158B (zh) 2018-10-25 2018-10-25 一种全景照相用自动拼合方法

Publications (2)

Publication Number Publication Date
CN109584158A true CN109584158A (zh) 2019-04-05
CN109584158B CN109584158B (zh) 2023-04-07

Family

ID=65920444

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811247594.0A Active CN109584158B (zh) 2018-10-25 2018-10-25 一种全景照相用自动拼合方法

Country Status (1)

Country Link
CN (1) CN109584158B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104349142A (zh) * 2014-11-03 2015-02-11 南京航空航天大学 一种基于分层表达的无人机视频自适应传输方法
CN106210647A (zh) * 2016-08-02 2016-12-07 中睿通信规划设计有限公司 基于航拍构建基站覆盖区域全景影像的方法及系统
CN106327453A (zh) * 2015-06-30 2017-01-11 北京金山安全软件有限公司 一种拼合图片资源的方法及图片资源拼合装置
TWI639136B (zh) * 2017-11-29 2018-10-21 國立高雄科技大學 即時視訊畫面拼接方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104349142A (zh) * 2014-11-03 2015-02-11 南京航空航天大学 一种基于分层表达的无人机视频自适应传输方法
CN106327453A (zh) * 2015-06-30 2017-01-11 北京金山安全软件有限公司 一种拼合图片资源的方法及图片资源拼合装置
CN106210647A (zh) * 2016-08-02 2016-12-07 中睿通信规划设计有限公司 基于航拍构建基站覆盖区域全景影像的方法及系统
TWI639136B (zh) * 2017-11-29 2018-10-21 國立高雄科技大學 即時視訊畫面拼接方法

Also Published As

Publication number Publication date
CN109584158B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
Digne et al. Feature-preserving surface reconstruction and simplification from defect-laden point sets
CN108352083B (zh) 用于拉伸成3d对象的2d图像处理
CN102129693B (zh) 基于色彩直方图和全局对比度的图像视觉显著性计算方法
US9401032B1 (en) Image-based color palette generation
Xiao et al. Fast shadow removal using adaptive multi‐scale illumination transfer
US7940988B2 (en) Adaptive sampling region
US20150379743A1 (en) Image-based color palette generation
US9460123B1 (en) Systems and methods for generating an arrangement of images based on image analysis
CN109472832B (zh) 一种配色方案生成方法、装置及智能机器人
Gerstner et al. Pixelated image abstraction with integrated user constraints
US10019848B2 (en) Edge preserving color smoothing of 3D models
CN106874818B (zh) 一种数字对象唯一标识符doi识别方法与装置
CN110569859B (zh) 一种服装图像的颜色特征提取方法
Liu et al. Salient critical points for meshes
CN107507158A (zh) 一种图像处理方法和装置
CN111450529A (zh) 游戏地图的获取方法、装置、存储介质及电子装置
Liu et al. Generating classic mosaics with graph cuts
GB2543776A (en) Systems and methods for processing images of objects
CN109584158A (zh) 一种全景照片自动拼合方法
GB2543777A (en) Systems and methods for processing images of objects
CN104537607B (zh) 基于二叉树及分层排序的自动高效照片拼贴方法
CN105760424A (zh) 用于存储企业产品关键数据的数据库建立方法
CN107223259A (zh) 基于树的图像存储系统
Ding et al. Intrinsic image estimation using near-L 0 sparse optimization
CN114494467A (zh) 图像色彩迁移方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant