CN110290365A - 一种多投影边缘融合系统及边缘融合方法 - Google Patents

一种多投影边缘融合系统及边缘融合方法 Download PDF

Info

Publication number
CN110290365A
CN110290365A CN201910629964.5A CN201910629964A CN110290365A CN 110290365 A CN110290365 A CN 110290365A CN 201910629964 A CN201910629964 A CN 201910629964A CN 110290365 A CN110290365 A CN 110290365A
Authority
CN
China
Prior art keywords
individual
fused
information
image
population
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910629964.5A
Other languages
English (en)
Other versions
CN110290365B (zh
Inventor
汪婷
何丹
徐山峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianhe College of Guangdong Polytechnic Normal University
Original Assignee
Tianhe College of Guangdong Polytechnic Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianhe College of Guangdong Polytechnic Normal University filed Critical Tianhe College of Guangdong Polytechnic Normal University
Priority to CN201910629964.5A priority Critical patent/CN110290365B/zh
Publication of CN110290365A publication Critical patent/CN110290365A/zh
Application granted granted Critical
Publication of CN110290365B publication Critical patent/CN110290365B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/3147Multi-projection systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种多投影边缘融合系统,包括投影显示单元,用于投影显示待融合画面,包括:模型构建模块,用于根据所述待融合画面,确定三次B样条融合曲线模型并获得控制点坐标信息;信息处理模块,用于根据所述模型控制点信息,进行遗传编码及种群初始化;提取模块,用于根据所述待融合画面,提取所有个体融合输出后的叠加带信息;融合效果判断模块,用于判断是否满足叠加带融合效果。本发明可以能够满实现大部分形状的融合曲线,具有更高是环境适应能力,且实现自动评判、自动反馈调节;全程无需人工干预,有效加快调节过程,降低人力成本。

Description

一种多投影边缘融合系统及边缘融合方法
技术领域
本发明涉及图像处理领域,具体而言,涉及一种多投影边缘融合系统及边缘融合方法。
背景技术
多投影融合技术是解决当前超大屏幕显示的一种有效方法,该方法将多个投影单元的较小投影区域通过几何校正、投影单元亮度一致性调节以及边缘融合等多个步骤的预处理后构成一个超大的显示模块。边缘融合是在几何校正、投影单元亮度一致性调节的基础上解决投影单元重叠部分亮度一致性的必要手段。传统的边缘融合方法多采用幂函数的方式给出,该方法虽然能够有效简化边缘融合的计算过程,但其曲线形状较为单一,实际应用,特别是在高流明值投影场景中,该边缘融合方法在多种纯色画面中边缘过渡效果并不理想。
经过大量检索发现一些典型的现有技术,如专利CN100403786C,提供了一种大屏幕上拼接显示的图像边缘融合方法,采用多台投影机在大屏幕上并列拼接投射一幅大画面,利用图像处理器将要显示的画面分割成与投影机的数量和各自位置相对应的多个子图像,各相邻的子图像的衔接边缘部分具有相同的图像内容,投影图像时将具有相同图像内容的边缘部分重叠,同时采用光学(物理)调制和电子增益调节对重叠区域进行亮度均匀化处理。可见该技术方案采用,多个投影机实现大屏幕上真正的无缝拼接显示,保证了大屏幕显示的高亮度和高分辨率,只是解决了图像融合是重叠区域的亮度均匀化问题,并不能很好边缘过渡效果差的问题。或如专利CN104182194A代表了着眼于种拼接显示效果良好、拼接效率,在整个图像边缘融合处理过程中,直接获取主屏幕桌面图片信号源,节省从显示图像上截屏所需的处理时间,采用多线程遍历运算,支持多通道同时处理,提高了处理效率,另外采用包括顶点矫正处理、几何矫正处理和像素RGB色彩矫正在内的多种矫正功能处理。又如一种典型的案例CN103578090B,提供了一种自适应图像融合方法和基于该方法的白线检测方法和使用该方法系统,包括:获取同一场景的灰度图像和偏光图像;基于训练集图像生成场景分布图模型,并基于该场景分布图模型计算灰度图像和偏光图像的场景权重;基于所计算的场景权重融合所述灰度图像和偏光图像。该技术方案着眼于基于场景分类来融合不同种类的图像,改进白线检测技术,以提高图像融合的效果。
可见,如何更好实现图像的边缘融合效果,其实际应用中的亟待处理的实际问题还有很多未提出具体的解决方案。
发明内容
为了克服现有技术的不足提供了一种多投影边缘融合系统及边缘融合方法,本发明的具体技术方案如下:
一种多投影边缘融合系统,包括投影显示单元,用于投影显示待融合画面,还包括:模型构建模块,用于根据所述待融合画面,确定三次B样条融合曲线模型并获得控制点坐标信息;参数调节模块,用于根据所述待融合画面,确定图像获取装置参数;信息处理模块,用于根据所述模型控制点信息,进行遗传编码及种群初始化;提取模块,用于根据所述待融合画面,提取所有个体融合输出后的叠加带信息;融合效果判断模块,用于根据所述叠加带信息,计算得到个体适应度值,并根据所述个体适应度值判断是否满足叠加带融合效果,若不满足叠加带融合效果,则根据遗传算法生成新一代种群,并由所述提取模块及融合效果判断模块再次执行相应操作;若满足叠加带融合效果,则取最优个体,并结束边缘融合调节。
可选的,所述多投影边缘融合系统还包括:参数调节模块,用于根据所述待融合画面,确定图像获取装置参数。
另外,本发明还提供了一种边缘融合方法,应用于所述多投影边缘融合系统,包括:根据待融合画面,确定三次B样条融合曲线模型并获得控制点坐标信息;根据模型控制点信息,进行遗传编码及种群初始化;根据所述待融合画面,提取所有个体融合输出后的叠加带信息;根据所述叠加带信息,计算得到个体适应度值,并根据所述个体适应度值判断是否满足叠加带融合效果,若不满足叠加带融合效果,则根据遗传算法生成新一代种群,并由所述提取模块及融合效果判断模块再次执行相应操作;若满足叠加带融合效果,则取最优个体,并结束边缘融合调节。
可选的,所述获得控制点坐标信息,还包括:根据获取的所述控制点坐标信息,提取得到所述控制点的坐标值并按X轴坐标值大小排序,且连续控制点坐标间的X轴距离相等。
可选的,还包括根据待融合画面,确定图像获取装置参数,包括:获取包括四个边角点及叠加带区域四个顶点特殊标定的待融合图像,并根据所述特殊标定提取所述待融合图像的投影部分;根据所述待融合图像的投影部分,判断是否已根据所述带融合图像的投影部分计算仿射变换矩阵逆矩阵,若已计算仿射变换矩阵逆矩阵,则根据所述仿射变换矩阵的逆矩阵,校正所述投影部分,得到校正后待融合图像;若未计算仿射变换矩阵的逆矩阵,则根据所述特殊标定的信息计算所述待融合图像的投影部分的仿射变换矩阵,并进一步计算其仿射变换矩阵逆矩阵;根据所述特殊标定提取非叠加区域,计算得到非叠加区域亮度平均值,并根据所述非叠加区域亮度平均值计算得到所述非叠加区域亮度方差值;将所述非叠加区域亮度方差值与预设非叠加区域亮度方差值进行比较,并判断非叠加区域亮度方差值是否小于预设非叠加区域亮度方差值,若非叠加区域亮度方差值大于预设非叠加区域亮度方差值,则继续调节所述图像获取装置的参数,反之,停止所述图像获取装置参数的调节。
可选的,所述根据模型控制点信息,进行遗传编码及种群初始化,包括:根据所述三次B样条曲线控制点坐标信息,采用浮点数编码方式对所述控制点的y坐标进行染色体遗传编码,且每条染色体的基因数等于三次B样条曲线控制点的个数;且在初始化生成初始种群的过程中每条染色体中每一段基因的范围为[0,1]。
可选的,所述提取所有个体融合输出后的叠加带信息,包括:遍历种群中的所有个体,获取第一个个体,并提取该个体的基因段生成三次B样条曲线控制点,生成得到融合曲线;遍历叠加带区域起始位置至终止位置的所有像素点,并计算得到所述所有像素的亮度权重值,并将每个像素与各自的亮度权重值进行乘运算后输出;获取边缘融合后的图像,并根据所述仿射变换逆矩阵校正所述边缘融合后的图像,得到校正后边缘融合图像;根据所述特殊标定的信息,提取校正后边缘融合图像中的叠加区域信息,并判断是否所有个体的叠加带信息均已提取,若是,则提取所有个体融合输出后的叠加带信息,并结束提取所有个体融合输出后的叠加带信息的操作,否则,获取下一个个体,直至判断所有个体的叠加带信息均已提取。
可选的,所述根据所述个体适应度值判断是否满足叠加带融合效果,若不满足叠加带融合效果,则继续提取所述个体融合输出后的叠加带信息,对种群进行调节;若满足叠加带融合效果,则取最优个体,并结束边缘融合调节,包括:遍历所有个体输出后的叠加带信息,获取第一个个体的叠加带信息;获取非叠加区域的亮度平均值并置为叠加区域的亮度平均值,且根据所述叠加区域的亮度平均值计算得到叠加区域的亮度方差值;根据个体适应度函数计算个体的适应度,并存入适应度列表,并根据所述适应度列表轮询判断个体的适应度值均已计算,若否,获取下一个个体的叠加带信息;获取所述适应度列表中的最大值,判断其是否大于或等于预设适应度列表值,若否,则根据遗传算法生成新一代的种群,进入新一轮的融合调节过程,若是,则融合调节过程结束。
可选的,所述根据遗传算法生成新一代的种群,包括:根据个体的适应度值,并结合轮盘赌方法对当前种群进行选择操作、交叉操作和/或变异操作生成新的种群个体。
本发明所取得的有益效果包括:1、通过采用三次B样条曲线调节模型,能够满实现大部分形状的融合曲线,具有更高是环境适应能力;2、通过遗传算法与相机自动拍摄相结合,实现自动评判、自动反馈调节;全程无需人工干预,有效加快调节过程,降低人力成本;3、还可以有效降低图像边缘融合处理的难度,减少投影图像边缘的锯齿;4、通过软融合的方式,无需添加物理遮光片,即可实现多投射源边缘融合,且采用重叠投射机制,可以实现无缝拼接和整体亮度平衡。
附图说明
从以下结合附图的描述可以进一步理解本发明,将重点放在示出实施例的原理上。
图1是本发明实施例之一中多投影边缘融合系统的一结构示意图;
图2是本发明实施例之一中多投影边缘融合系统的另一结构示意图;
图3是本发明实施例之一中边缘融合方法的流程示意图;
图4是本发明实施例之一中图像获取装置参数确定流程图;
图5是本发明实施例之一中个体融合输出后叠加带信息提取流程示意图;
图6是本发明实施例之一中叠加带融合效果评判流程示意图。
具体实施方式
为了使得本发明的目的、技术方案及优点更加清楚明白,以下结合其实施例,对本发明进行进一步详细说明;应当理解,此处所描述的具体实施例仅用于解释本发明,并不用于限定本发明。对于本领域技术人员而言,在查阅以下详细描述之后,本实施例的其它系统、方法和/或特征将变得显而易见。旨在所有此类附加的系统、方法、特征和优点都包括在本说明书内、包括在本发明的范围内,并且受所附权利要求书的保护。在以下详细描述描述了所公开的实施例的另外的特征,并且这些特征根据以下将详细描述将是显而易见的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件;在本发明的描述中,需要理解的是,若有术语“上”、“下”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或组件必须具有特定的方位、以特定的方位构造和操作,因此附图中描述位置关系的用语仅用于示例性说明,不能理解为对本专利的限制,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语的具体含义。
本发明为一种多投影边缘融合系统及边缘融合方法,根据图1-6所示讲述以下实施例:
实施例一:
本实施例提供了一种多投影边缘融合系统,包括投影显示单元,用于投影显示待融合画面,还包括:模型构建模块,用于根据所述待融合画面,确定三次B样条融合曲线模型并获得控制点坐标信息;参数调节模块,用于根据所述待融合画面,确定图像获取装置参数;信息处理模块,用于根据所述模型控制点信息,进行遗传编码及种群初始化;提取模块,用于根据所述待融合画面,提取所有个体融合输出后的叠加带信息;融合效果判断模块,用于根据所述叠加带信息,计算得到个体适应度值,并根据所述个体适应度值判断是否满足叠加带融合效果,若不满足叠加带融合效果,则继续提取所述个体融合输出后的叠加带信息,对种群进行调节;若满足叠加带融合效果,则取最优个体,并结束边缘融合调节。
需要说明的是,本发明实施例中的多投影边缘融合系统可以用于实现下述方法实施例中的全部技术方案,其各个功能模块的功能可以根据上述方法实施例中的方法具体实现,其具体实现过程可参照上述实施例中的相关描述,此处不再赘述。
另外,本发明还提供了一种边缘融合方法,应用于所述多投影边缘融合系统,包括:
S101:根据待融合画面,确定三次B样条融合曲线模型并获得控制点坐标信息;
S102:根据模型控制点信息,进行遗传编码及种群初始化;
S103根据所述待融合画面,提取所有个体融合输出后的叠加带信息;
S104:根据所述叠加带信息,计算得到个体适应度值,并根据所述个体适应度值判断是否满足叠加带融合效果,若不满足叠加带融合效果,则根据遗传算法生成新一代种群,并由所述提取模块及融合效果判断模块再次执行相应操作;若满足叠加带融合效果,则取最优个体,并结束边缘融合调节。
其中,所述获得控制点坐标信息,还包括:根据获取的所述控制点坐标信息,提取得到所述控制点的坐标值并按X轴坐标值大小排序,且连续控制点坐标间的X轴距离相等。
其中,还包括根据待融合画面,确定图像获取装置参数,包括:
S201:获取包括四个边角点及叠加带区域四个顶点特殊标定的待融合图像,并根据所述特殊标定提取所述待融合图像的投影部分;
S202:根据所述待融合图像的投影部分,判断是否已根据所述带融合图像的投影部分计算仿射变换矩阵逆矩阵,若已计算仿射变换矩阵逆矩阵,则根据所述仿射变换矩阵的逆矩阵,校正所述投影部分,得到校正后待融合图像;若未计算仿射变换矩阵的逆矩阵,则根据所述特殊标定的信息计算所述待融合图像的投影部分的仿射变换矩阵,并进一步计算其仿射变换矩阵逆矩阵;
S203:根据所述特殊标定提取非叠加区域,计算得到非叠加区域亮度平均值,并根据所述非叠加区域亮度平均值计算得到所述非叠加区域亮度方差值;
S204:将所述非叠加区域亮度方差值与预设非叠加区域亮度方差值进行比较,并判断非叠加区域亮度方差值是否小于预设非叠加区域亮度方差值,若非叠加区域亮度方差值大于预设非叠加区域亮度方差值,则继续调节所述图像获取装置的参数,反之,停止所述图像获取装置参数的调节。
其中,所述根据模型控制点信息,进行遗传编码及种群初始化,包括:根据所述三次B样条曲线控制点坐标信息,采用浮点数编码方式对所述控制点的y坐标进行染色体遗传编码,且每条染色体的基因数等于三次B样条曲线控制点的个数;且在初始化生成初始种群的过程中每条染色体中每一段基因的范围为[0,1]。
其中,所述提取所有个体融合输出后的叠加带信息,包括:
S301:遍历种群中的所有个体,获取第一个个体,并提取该个体的基因段生成三次B样条曲线控制点,生成得到融合曲线;
S302:遍历叠加带区域起始位置至终止位置的所有像素点,并计算得到所述所有像素的亮度权重值,并将每个像素与各自的亮度权重值进行乘运算后输出;
S303:获取边缘融合后的图像,并根据所述仿射变换逆矩阵校正所述边缘融合后的图像,得到校正后边缘融合图像;
S304:根据所述特殊标定的信息,提取校正后边缘融合图像中的叠加区域信息,并判断是否所有个体的叠加带信息均已提取,若是,则提取所有个体融合输出后的叠加带信息,并结束提取所有个体融合输出后的叠加带信息的操作,否则,获取下一个个体,直至判断所有个体的叠加带信息均已提取。
其中,所述根据所述个体适应度值判断是否满足叠加带融合效果,若不满足叠加带融合效果,则根据遗传算法生成新一代种群,并由所述提取模块及融合效果判断模块再次执行相应操作;若满足叠加带融合效果,则取最优个体,并结束边缘融合调节,包括:
S401:遍历所有个体输出后的叠加带信息,获取第一个个体的叠加带信息;
S402:获取非叠加区域的亮度平均值并置为叠加区域的亮度平均值,且根据所述叠加区域的亮度平均值计算得到叠加区域的亮度方差值;
S403:根据个体适应度函数计算个体的适应度,并存入适应度列表,并根据所述适应度列表轮询判断个体的适应度值均已计算,若否,获取下一个个体的叠加带信息;
S404:获取所述适应度列表中的最大值,判断其是否大于或等于预设适应度列表值,若否,则根据遗传算法生成新一代的种群,根据个体的适应度值,并结合轮盘赌方法对当前种群进行选择、交叉、变异等操作生成新的种群个体,进入新一轮的融合调节过程,若是,则融合调节过程结束。
实施例二:
本实施例提供了一种多投影边缘融合系统,包括投影显示单元,用于投影显示待融合画面,还包括:模型构建模块,用于根据所述待融合画面,确定三次B样条融合曲线模型并获得控制点坐标信息;参数调节模块,用于根据所述待融合画面,确定图像获取装置参数;信息处理模块,用于根据所述模型控制点信息,进行遗传编码及种群初始化;提取模块,用于根据所述待融合画面,提取所有个体融合输出后的叠加带信息;融合效果判断模块,用于根据所述叠加带信息,计算得到个体适应度值,并根据所述个体适应度值判断是否满足叠加带融合效果,若不满足叠加带融合效果,则根据遗传算法生成新一代种群,并由所述提取模块及融合效果判断模块再次执行相应操作;若满足叠加带融合效果,则取最优个体,并结束边缘融合调节。本发明采用三次B样条曲线调节模型,能够满实现大部分形状的融合曲线,具有更高是环境适应能力;通过遗传算法与相机自动拍摄相结合,实现自动评判、自动反馈调节;全程无需人工干预,有效加快调节过程,降低人力成本。
需要说明的是,本发明实施例中的多投影边缘融合系统可以用于实现下述方法实施例中的全部技术方案,其各个功能模块的功能可以根据上述方法实施例中的方法具体实现,其具体实现过程可参照上述实施例中的相关描述,此处不再赘述。
另外,本发明还提供了一种边缘融合方法,应用于所述多投影边缘融合系统,包括:
S101:根据待融合画面,确定三次B样条融合曲线模型并获得控制点坐标信息;
S102:根据模型控制点信息,进行遗传编码及种群初始化;
S103:根据所述待融合画面,提取所有个体融合输出后的叠加带信息;
S104:根据所述叠加带信息,计算得到个体适应度值,并根据所述个体适应度值判断是否满足叠加带融合效果,若不满足叠加带融合效果,则根据遗传算法生成新一代种群,并由所述提取模块及融合效果判断模块再次执行相应操作;若满足叠加带融合效果,则取最优个体,并结束边缘融合调节。在实际应用中,特别是在高流明值投影场景中,该边缘融合方法可以在多种纯色画面中边缘过渡效果更理想。
具体的,所述控制点坐标信息为XY坐标系中的坐标信息,且控制点坐标(X,Y)满足:
Y=wight;
(X,Y)∈[0,1];
其中,d表示叠加带中任意一个像素点到叠加带起始位置的距离;L表示叠加带的宽度;wight表示d像素点的亮度权重值。
其中,所述获得控制点坐标信息,还包括:根据获取的所述控制点坐标信息,提取得到所述控制点的坐标值并按X轴坐标值大小排序,且除了融合曲线首尾两端的两个控制点外,其他连续控制点坐标间的X轴距离相等。
其中,还包括根据待融合画面,确定图像获取装置参数,包括:所述投影显示单元投影一张四个边角点及叠加带区域四个顶点特殊标定的待融合画面到屏幕上,同时所述图像获取装置响应开启获取图像的功能,特别地,为了获取更多的动态范围和图像细节,所述获取图像的功能可以为HDR功能,也即通过所述图像获取装置获取的图像为HDR图像,且所述图像获取优选的为相机、手机或其它具有图像获取功能的装置。
S201:所述图像获取装置获取包括四个边角点及叠加带区域四个顶点特殊标定的待融合图像,并根据所述特殊标定提取所述待融合图像的投影部分;
S202:根据所述待融合图像的投影部分,判断是否已根据所述带融合图像的投影部分计算仿射变换矩阵逆矩阵,若已计算仿射变换矩阵逆矩阵,则根据所述仿射变换矩阵的逆矩阵,校正所述投影部分,得到校正后待融合图像;若未计算仿射变换矩阵的逆矩阵,则根据所述特殊标定的信息计算所述待融合图像的投影部分的仿射变换矩阵,并进一步计算其仿射变换矩阵逆矩阵,并进行保存,便于后续图像边缘融合步骤中调用,极大地提高了图像边缘融合处理的效率;
S203:根据所述特殊标定提取非叠加区域,计算得到非叠加区域亮度平均值,并根据所述非叠加区域亮度平均值计算得到所述非叠加区域亮度方差值;
S204:将所述非叠加区域亮度方差值与预设非叠加区域亮度方差值进行比较,并判断非叠加区域亮度方差值是否小于预设非叠加区域亮度方差值,若非叠加区域亮度方差值大于预设非叠加区域亮度方差值,则继续调节所述图像获取装置的参数,如调节图像获取装置的曝光值等参数,反之,停止所述图像获取装置参数的调节。具体的,所述亮度平均值及亮度方差值得计算方式如下:
(1)所述亮度平均值计算方法如下:
其中,E表示待计算的亮度平均值,n表示像素总数,lj表示第j个像素的亮度值。
(2)所述亮度方差值计算方法如下:
其中,σ表示待计算的亮度方差值,E表示亮度平均值,n表示像素总数,lj表示第j个像素的亮度值。
其中,所述根据模型控制点信息,进行遗传编码及种群初始化,包括:根据所述三次B样条曲线控制点坐标信息,采用浮点数编码方式对所述控制点的y坐标进行染色体遗传编码,且每条染色体的基因数等于三次B样条曲线控制点的个数;且在初始化生成初始种群的过程中每条染色体中每一段基因的范围为[0,1]。
其中,所述提取所有个体融合输出后的叠加带信息,包括:
S301:遍历种群中的所有个体,获取第一个个体,并提取该个体的基因段生成三次B样条曲线控制点,生成得到融合曲线;
S302:遍历叠加带区域起始位置至终止位置的所有像素点,并计算得到所述所有像素的亮度权重值,并将每个像素与各自的亮度权重值进行乘运算后输出;
S303:获取边缘融合后的图像,并根据所述仿射变换逆矩阵校正所述边缘融合后的图像,得到校正后边缘融合图像;
S304根据所述特殊标定的信息,提取校正后边缘融合图像中的叠加区域信息,并判断是否所有个体的叠加带信息均已提取,若是,则提取所有个体融合输出后的叠加带信息,并结束提取所有个体融合输出后的叠加带信息的操作,否则,获取下一个个体,并进行提取所述第一个个体叠加带信息的步骤,直至判断所有个体的叠加带信息均已提取。
其中,所述根据所述个体适应度值判断是否满足叠加带融合效果,若不满足叠加带融合效果,则继续提取所述个体融合输出后的叠加带信息,对种群进行调节;若满足叠加带融合效果,则取最优个体,并结束边缘融合调节,包括:
S401:遍历所有个体输出后的叠加带信息,获取第一个个体的叠加带信息;
S402:获取非叠加区域的亮度平均值并置为叠加区域的亮度平均值,且根据所述叠加区域的亮度平均值计算得到叠加区域的亮度方差值;
S403:根据个体适应度函数计算个体的适应度,并存入适应度列表,并根据所述适应度列表轮询判断个体的适应度值均已计算,若否,获取下一个个体的叠加带信息,并转步骤S402,直至所有个体的适应度值均已计算;
S404:获取所述适应度列表中的最大值,判断其是否大于或等于预设适应度列表值,优选的所述适应度列表值为1.0,若否,则根据遗传算法生成新一代的种群,根据个体的适应度值,并结合轮盘赌方法对当前种群进行选择操作、交叉操作和/或变异操作生成新的种群个体,进入新一轮的融合调节过程,若是,则融合调节过程结束。其中,所述个体适应度函数满足:
其中,f表示个体适应度,σd表示个体叠加区域的亮度方差值,σf表示非叠加区域的亮度方差值。
综上所述,本发明公开的一种多投影边缘融合系统及边缘融合方法,所产生的有益技术效果包括:1、通过采用三次B样条曲线调节模型,能够满实现大部分形状的融合曲线,具有更高是环境适应能力;2、通过遗传算法与相机自动拍摄相结合,实现自动评判、自动反馈调节;全程无需人工干预,有效加快调节过程,降低人力成本;3、还可以有效降低图像边缘融合处理的难度,减少投影图像边缘的锯齿;4、通过软融合的方式,无需添加物理遮光片,即可实现多投射源边缘融合,且采用重叠投射机制,可以实现无缝拼接和整体亮度平衡。
虽然上面已经参考各种实施例描述了本发明,但是应当理解,在不脱离本发明的范围的情况下,可以进行许多改变和修改。也就是说上面讨论的方法,系统和设备是示例。各种配置可以适当地省略,替换或添加各种过程或组件。例如,在替代配置中,可以以与所描述的顺序不同的顺序执行方法,和/或可以添加,省略和/或组合各种部件。而且,关于某些配置描述的特征可以以各种其他配置组合,如可以以类似的方式组合配置的不同方面和元素。此外,随着技术发展其中的元素可以更新,即许多元素是示例,并不限制本发明公开或权利要求的范围。
在说明书中给出了具体细节以提供对包括实现的示例性配置的透彻理解。然而,可以在没有这些具体细节的情况下实践配置,例如,已经示出了众所周知的电路,过程,算法,结构和技术而没有不必要的细节,以避免模糊配置。该描述仅提供示例配置,并且不限制权利要求的范围,适用性或配置。相反,前面对配置的描述将为本领域技术人员提供用于实现所描述的技术的使能描述。在不脱离本发明公开的精神或范围的情况下,可以对元件的功能和布置进行各种改变。
综上,其旨在上述详细描述被认为是例示性的而非限制性的,并且应当理解,以下权利要求(包括所有等同物)旨在限定本发明的精神和范围。以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后,技术人员可以对本发明作各种改动或修改,这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (10)

1.一种多投影边缘融合系统,包括投影显示单元,用于投影显示待融合画面,其特征在于,包括:
模型构建模块,用于根据所述待融合画面,确定三次B样条融合曲线模型并获得控制点坐标信息;
信息处理模块,用于根据所述模型控制点信息,进行遗传编码及种群初始化;
提取模块,用于根据所述待融合画面,提取所有个体融合输出后的叠加带信息;
融合效果判断模块,用于根据所述叠加带信息,计算得到个体适应度值,并根据所述个体适应度值判断是否满足叠加带融合效果,若不满足叠加带融合效果,则根据遗传算法生成新一代种群,并由所述提取模块及融合效果判断模块再次执行相应操作;若满足叠加带融合效果,则取最优个体,并结束边缘融合调节。
2.如权利要求1所述的多投影边缘融合系统,其特征在于,还包括:参数调节模块,用于根据所述待融合画面,确定图像获取装置参数。
3.一种边缘融合方法,应用于权利要求1-2任一项所述的多投影边缘融合系统,其特征在于,包括:
根据待融合画面,确定三次B样条融合曲线模型并获得控制点坐标信息;
根据模型控制点信息,进行遗传编码及种群初始化;
根据所述待融合画面,提取所有个体融合输出后的叠加带信息;
根据所述叠加带信息,计算得到个体适应度值,并根据所述个体适应度值判断是否满足叠加带融合效果,若不满足叠加带融合效果,则根据遗传算法生成新一代种群,并由所述提取模块及融合效果判断模块再次执行相应操作;若满足叠加带融合效果,则取最优个体,并结束边缘融合调节。
4.如权利要求3所述的边缘融合方法,其特征在于,所述获得控制点坐标信息,还包括:
根据获取的所述控制点坐标信息,提取得到所述控制点的坐标值并按X轴坐标值大小排序,且连续控制点坐标间的X轴距离相等。
5.如前述权利要求之一所述的边缘融合方法,其特征在于,还包括根据待融合画面,确定图像获取装置参数。
6.如前述权利要求之一所述的边缘融合方法,其特征在于,所述根据待融合画面,确定图像获取装置参数,包括:
获取包括四个边角点及叠加带区域四个顶点特殊标定的待融合图像,并根据所述特殊标定提取所述待融合图像的投影部分;
根据所述待融合图像的投影部分,判断是否已根据所述带融合图像的投影部分计算仿射变换矩阵逆矩阵,若已计算仿射变换矩阵逆矩阵,则根据所述仿射变换矩阵的逆矩阵,校正所述投影部分,得到校正后待融合图像;若未计算仿射变换矩阵的逆矩阵,则根据所述特殊标定的信息计算所述待融合图像的投影部分的仿射变换矩阵,并进一步计算其仿射变换矩阵逆矩阵;
根据所述特殊标定提取非叠加区域,计算得到非叠加区域亮度平均值,并根据所述非叠加区域亮度平均值计算得到所述非叠加区域亮度方差值;
将所述非叠加区域亮度方差值与预设非叠加区域亮度方差值进行比较,并判断非叠加区域亮度方差值是否小于预设非叠加区域亮度方差值,若非叠加区域亮度方差值大于预设非叠加区域亮度方差值,则继续调节所述图像获取装置的参数,反之,停止所述图像获取装置参数的调节。
7.如前述权利要求之一所述的边缘融合方法,其特征在于,所述根据模型控制点信息,进行遗传编码及种群初始化,包括:
根据所述三次B样条曲线控制点坐标信息,采用浮点数编码方式对所述控制点的y坐标进行染色体遗传编码,且每条染色体的基因数等于三次B样条曲线控制点的个数;
且在初始化生成初始种群的过程中每条染色体中每一段基因的范围为[0,1]。
8.如前述权利要求之一所述的边缘融合方法,其特征在于,所述提取所有个体融合输出后的叠加带信息,包括:
遍历种群中的所有个体,获取第一个个体,并提取该个体的基因段生成三次B样条曲线控制点,生成得到融合曲线;
遍历叠加带区域起始位置至终止位置的所有像素点,并计算得到所述所有像素的亮度权重值,并将每个像素与各自的亮度权重值进行乘运算后输出;
获取边缘融合后的图像,并根据所述仿射变换逆矩阵校正所述边缘融合后的图像,得到校正后边缘融合图像;
根据所述特殊标定的信息,提取校正后边缘融合图像中的叠加区域信息,并判断是否所有个体的叠加带信息均已提取,若是,则提取所有个体融合输出后的叠加带信息,并结束提取所有个体融合输出后的叠加带信息的操作,否则,获取下一个个体,直至判断所有个体的叠加带信息均已提取。
9.如前述权利要求之一所述的边缘融合方法,其特征在于,所述根据所述个体适应度值判断是否满足叠加带融合效果,若不满足叠加带融合效果,则根据遗传算法生成新一代种群,并由所述提取模块及融合效果判断模块再次执行相应操作;若满足叠加带融合效果,则取最优个体,并结束边缘融合调节,包括:
遍历所有个体输出后的叠加带信息,获取第一个个体的叠加带信息;
获取非叠加区域的亮度平均值并置为叠加区域的亮度平均值,且根据所述叠加区域的亮度平均值计算得到叠加区域的亮度方差值;
根据个体适应度函数计算个体的适应度,并存入适应度列表,并根据所述适应度列表轮询判断个体的适应度值均已计算,若否,获取下一个个体的叠加带信息;
获取所述适应度列表中的最大值,判断其是否大于或等于预设适应度列表值,若否,则根据遗传算法生成新一代的种群,进入新一轮的融合调节过程,若是,则融合调节过程结束。
10.如前述权利要求之一所述的边缘融合方法,其特征在于,所述根据遗传算法生成新一代的种群,包括:
根据个体的适应度值,并结合轮盘赌方法对当前种群进行选择操作、交叉操作和/或变异操作生成新的种群个体。
CN201910629964.5A 2019-07-12 2019-07-12 一种边缘融合方法 Active CN110290365B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910629964.5A CN110290365B (zh) 2019-07-12 2019-07-12 一种边缘融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910629964.5A CN110290365B (zh) 2019-07-12 2019-07-12 一种边缘融合方法

Publications (2)

Publication Number Publication Date
CN110290365A true CN110290365A (zh) 2019-09-27
CN110290365B CN110290365B (zh) 2021-02-02

Family

ID=68022240

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910629964.5A Active CN110290365B (zh) 2019-07-12 2019-07-12 一种边缘融合方法

Country Status (1)

Country Link
CN (1) CN110290365B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112565722A (zh) * 2020-10-24 2021-03-26 北京博睿维讯科技有限公司 一种基于图像融合的融合带调校方法、装置及系统
CN112783325A (zh) * 2021-01-25 2021-05-11 江苏华实广告有限公司 基于多投影系统的人机互动方法、系统以及存储介质
CN112911258A (zh) * 2021-01-27 2021-06-04 秦皇岛视听机械研究所有限公司 一种基于b样条曲线的投影图像边缘亮度调节方法
CN115379180A (zh) * 2021-05-17 2022-11-22 成都极米科技股份有限公司 一种投影画面调整方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102308590A (zh) * 2009-02-05 2012-01-04 富士胶片株式会社 三维图像输出装置和三维图像输出方法
CN103971329A (zh) * 2014-05-26 2014-08-06 电子科技大学 一种基于遗传优化细胞神经网络的多源图像融合方法
CN104021559A (zh) * 2014-06-17 2014-09-03 西安电子科技大学 基于互信息和Harris角点检测的图像配准方法
CN104601915A (zh) * 2014-06-13 2015-05-06 威盛电子股份有限公司 投影系统及其亮度调整方法
CN106851253A (zh) * 2017-01-23 2017-06-13 合肥安达创展科技股份有限公司 基于场景模型和多幕异形智能拼接技术营造立体影像系统
CN108198135A (zh) * 2018-01-02 2018-06-22 佛山科学技术学院 一种全景图像拼接最优缝合线搜索方法
CN110769214A (zh) * 2018-08-20 2020-02-07 成都极米科技股份有限公司 基于帧差值的自动跟踪投影方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102308590A (zh) * 2009-02-05 2012-01-04 富士胶片株式会社 三维图像输出装置和三维图像输出方法
CN103971329A (zh) * 2014-05-26 2014-08-06 电子科技大学 一种基于遗传优化细胞神经网络的多源图像融合方法
CN104601915A (zh) * 2014-06-13 2015-05-06 威盛电子股份有限公司 投影系统及其亮度调整方法
CN104021559A (zh) * 2014-06-17 2014-09-03 西安电子科技大学 基于互信息和Harris角点检测的图像配准方法
CN106851253A (zh) * 2017-01-23 2017-06-13 合肥安达创展科技股份有限公司 基于场景模型和多幕异形智能拼接技术营造立体影像系统
CN108198135A (zh) * 2018-01-02 2018-06-22 佛山科学技术学院 一种全景图像拼接最优缝合线搜索方法
CN110769214A (zh) * 2018-08-20 2020-02-07 成都极米科技股份有限公司 基于帧差值的自动跟踪投影方法及装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112565722A (zh) * 2020-10-24 2021-03-26 北京博睿维讯科技有限公司 一种基于图像融合的融合带调校方法、装置及系统
CN112783325A (zh) * 2021-01-25 2021-05-11 江苏华实广告有限公司 基于多投影系统的人机互动方法、系统以及存储介质
CN112911258A (zh) * 2021-01-27 2021-06-04 秦皇岛视听机械研究所有限公司 一种基于b样条曲线的投影图像边缘亮度调节方法
CN112911258B (zh) * 2021-01-27 2023-02-21 秦皇岛视听机械研究所有限公司 一种基于b样条曲线的投影图像边缘亮度调节方法
CN115379180A (zh) * 2021-05-17 2022-11-22 成都极米科技股份有限公司 一种投影画面调整方法、装置、设备及存储介质
CN115379180B (zh) * 2021-05-17 2023-09-12 成都极米科技股份有限公司 一种投影画面调整方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN110290365B (zh) 2021-02-02

Similar Documents

Publication Publication Date Title
CN110290365A (zh) 一种多投影边缘融合系统及边缘融合方法
US9137504B2 (en) System and method for projecting multiple image streams
US7800628B2 (en) System and method for generating scale maps
US7271853B2 (en) Apparatus and method for correcting distortion of image and image displayer using the same
US20070291184A1 (en) System and method for displaying images
CN106875339A (zh) 一种基于长条形标定板的鱼眼图像拼接方法
CN104639911B (zh) 一种全景视频拼接方法及装置
US20020071042A1 (en) Method of image processing and electronic camera
CN112085659B (zh) 一种基于球幕相机的全景拼接融合方法、系统及存储介质
EP0750819A1 (en) A system for implanting an image into a video stream
EP1903498B1 (en) Creating a panoramic image by stitching a plurality of images
JP2003219324A (ja) 画像補正データ算出方法、画像補正データ算出装置及びマルチプロジェクションシステム
JP2013247601A (ja) 画像投影装置および画像処理方法
CN107305312A (zh) 投影亮度和对比的自动调整系统及方法
CN106060491A (zh) 一种投影图像颜色校正方法及装置
CN107665483A (zh) 免定标便捷的单目镜头鱼眼图像畸变矫正方法
US20120243776A1 (en) Image processing apparatus, image processing method, and program
CN109741289A (zh) 一种图像融合方法和vr设备
CN105827975B (zh) 一种用于全景视频拼接的颜色在线校正方法
CN110290364A (zh) 侧投模式下的无极变焦方法、装置及可读存储介质
CN104954716B (zh) 一种基于多投影成像的穹顶球幕投影成像系统
CN109196853A (zh) 信息处理装置、信息处理方法以及程序
CN110276717A (zh) 一种图像的拼接方法及终端
CN104469226B (zh) 投影融合的方法及融合设备
CN102238315B (zh) 视频流的对比度调整方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant