CN113192003B - 一种拼接图像质量评价方法 - Google Patents

一种拼接图像质量评价方法 Download PDF

Info

Publication number
CN113192003B
CN113192003B CN202110323106.5A CN202110323106A CN113192003B CN 113192003 B CN113192003 B CN 113192003B CN 202110323106 A CN202110323106 A CN 202110323106A CN 113192003 B CN113192003 B CN 113192003B
Authority
CN
China
Prior art keywords
sti
representation
image
spliced
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110323106.5A
Other languages
English (en)
Other versions
CN113192003A (zh
Inventor
田崇祯
邵枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Bio Newvision Medical Equipment Ltd
Shenzhen Hongyue Information Technology Co ltd
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN202110323106.5A priority Critical patent/CN113192003B/zh
Publication of CN113192003A publication Critical patent/CN113192003A/zh
Application granted granted Critical
Publication of CN113192003B publication Critical patent/CN113192003B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种拼接图像质量评价方法，其在训练阶段提取鬼影失真、错位失真、倾斜失真、几何失真构成局部特征矢量，提取颜色分布的广义高斯分布模型和颜色直方图的均值、标准差和斜度构成全局特征矢量，将局部特征矢量和全局特征矢量构成特征矢量，然后利用支持向量回归对所有拼接图像的特征矢量进行训练，构造拼接图像的支持向量回归训练模型；在测试阶段通过测试集中的拼接图像的特征矢量，根据拼接图像的支持向量回归训练模型，预测得到拼接图像的客观质量评价预测值，由于获得的特征矢量具有较强的稳定性且能较好地反映拼接图像的失真情况，因此有效地提高了客观评价结果与人眼主观感知之间的相关性。

Description

一种拼接图像质量评价方法
技术领域
本发明涉及一种图像质量评价方法，尤其是涉及一种拼接图像质量评价方法。
背景技术
图像拼接是一种将多张具有重叠部分的图像拼成一幅大型高分辨率图像的技术。近年来，随着虚拟现实技术的快速发展，图像拼接现已成为模式识别、计算机视觉、图像处理等领域的热点问题。沉浸式体验的关键在于为用户提供全方位的场景图像，全景图像的质量直接决定了虚拟现实技术在各领域的应用效果，因此有必要对拼接得到的全景图像进行有效地质量评价。
尽管图像质量评价方法越来越成熟，但这些评价方法主要考虑扩散失真对图像质量的影响，而拼接图像的失真主要来自于由于误配准导致的错位、鬼影等局部误差，及缩放、平移等扭曲失真，这是传统的图像质量评价方法所不考虑的。现有的拼接图像质量评价方法只考虑单个或多个失真的影响，而缺乏对拼接图像失真全面的考虑。因此如何在评价过程中有效地提取出视觉特征，使得客观评价结果更加感觉符合人类视觉系统，是在对拼接图像进行客观质量评价过程中需要研究解决的问题。
发明内容
本发明所要解决的技术问题是提供一种拼接图像质量评价方法，其能够有效地提高客观评价结果与人眼主观感知之间的相关性。
本发明解决上述技术问题所采用的技术方案为：一种拼接图像质量评价方法，其特征在于包括以下步骤：
步骤1：选取N个视点的多视点图像，将多视点图像的第
Figure BDA0002993552050000012
个视点的视图记为
Figure BDA0002993552050000011
令Isti表示由N个视点的多视点图像拼接得到的拼接图像；其中，N为正整数，N＞1，
Figure BDA0002993552050000021
Isti的宽度为Width且高度为Height；
步骤2：采用尺度不变特征转换，提取出多视点图像的不同视点的视图中的所有特征点，将
Figure BDA0002993552050000022
中的第
Figure BDA0002993552050000023
个特征点记为
Figure BDA0002993552050000024
将
Figure BDA0002993552050000025
中的所有特征点构成的集合记为
Figure BDA0002993552050000026
然后采用随机抽样一致方法，建立多视点图像的相邻视点的视图中的特征点之间的匹配关系，将多视点图像的第γ个视点的视图
Figure BDA0002993552050000027
中的第q(γ)个特征点
Figure BDA0002993552050000028
与多视点图像的第γ+1个视点的视图
Figure BDA0002993552050000029
中的匹配特征点的偏移向量记为
Figure BDA00029935520500000210
Figure BDA00029935520500000211
其中，
Figure BDA00029935520500000212
为正整数，
Figure BDA00029935520500000213
表示
Figure BDA00029935520500000215
中的特征点的总个数，
Figure BDA00029935520500000216
表示
Figure BDA00029935520500000217
的横坐标位置，
Figure BDA00029935520500000218
表示
Figure BDA00029935520500000219
的纵坐标位置，1≤γ≤N-1，q(γ)为正整数，1≤q(γ)≤Q(γ)，Q(γ)表示
Figure BDA00029935520500000220
中的特征点的总个数，
Figure BDA00029935520500000221
表示
Figure BDA00029935520500000222
的横坐标位置，
Figure BDA00029935520500000223
表示
Figure BDA00029935520500000224
的纵坐标位置，
Figure BDA00029935520500000225
用于表示水平方向，
Figure BDA00029935520500000226
用于表示垂直方向，
Figure BDA00029935520500000227
表示
Figure BDA00029935520500000228
的水平偏移量，
Figure BDA00029935520500000229
表示
Figure BDA00029935520500000230
的垂直偏移量；
步骤3：采用尺度不变特征转换，提取出Isti中的所有特征点；然后采用随机抽样一致方法，建立多视点图像的不同视点的视图中的特征点与Isti中的特征点之间的匹配关系，将
Figure BDA00029935520500000231
中的第
Figure BDA00029935520500000232
个特征点
Figure BDA00029935520500000233
与Isti中的匹配特征点的偏移向量记为
Figure BDA00029935520500000234
Figure BDA00029935520500000235
其中，
Figure BDA00029935520500000236
表示
Figure BDA00029935520500000237
的水平偏移量，
Figure BDA0002993552050000031
表示
Figure BDA0002993552050000032
的垂直偏移量；
步骤4：计算Isti的鬼影失真，记为fgho，
Figure BDA0002993552050000033
Figure BDA0002993552050000034
Figure BDA0002993552050000035
其中，D和B均为中间变量，符号“||||2”为求取矩阵的2-范数符号，
Figure BDA0002993552050000036
表示多视点图像的第γ个视点的视图
Figure BDA0002993552050000037
中的第q(γ)个特征点
Figure BDA0002993552050000038
与Isti中的匹配特征点的偏移向量，
Figure BDA0002993552050000039
表示多视点图像的第γ+1个视点的视图
Figure BDA00029935520500000310
中坐标位置为
Figure BDA00029935520500000311
的特征点与Isti中的匹配特征点的偏移向量；
步骤5：计算Isti的错位失真，记为fdis，
Figure BDA00029935520500000312
其中，
Figure BDA00029935520500000313
表示多视点图像的第γ+1个视点的视图
Figure BDA00029935520500000314
中的第q(γ+1)个特征点
Figure BDA00029935520500000315
的纵坐标位置，1≤q(γ+1)≤Q(γ+1)，Q(γ+1)表示
Figure BDA00029935520500000316
中的特征点的总个数；
步骤6：计算Isti的倾斜失真，记为fske，
Figure BDA00029935520500000317
其中，对
Figure BDA00029935520500000318
中的所有特征点按特征点的横坐标位置的大小进行排序，选择横坐标位置最小的5％的特征点和横坐标位置最大的5％的特征点，将所选择的横坐标位置最小的5％的特征点随机与所选择的横坐标位置最大的5％的特征点一一对应两两连接，构成
Figure BDA00029935520500000319
条直线，将
Figure BDA00029935520500000320
对应的所有直线构成的集合记为
Figure BDA0002993552050000041
Figure BDA0002993552050000042
表示
Figure BDA0002993552050000043
中的第
Figure BDA0002993552050000044
条直线，
Figure BDA0002993552050000045
表示
Figure BDA0002993552050000047
对应的直线的数量，
Figure BDA0002993552050000048
的值等于所选择的横坐标位置最小的5％的特征点的数量或所选择的横坐标位置最大的5％的特征点的数量；根据
Figure BDA0002993552050000049
中的每个特征点与Isti中的匹配特征点的偏移向量，获得
Figure BDA00029935520500000410
中的每条直线的两个特征点在Isti中的匹配特征点，进而获得
Figure BDA00029935520500000411
中的每条直线在Isti中的匹配直线，
Figure BDA00029935520500000412
表示
Figure BDA00029935520500000413
在Isti中的匹配直线，符号“<>”表示内积操作符号，符号“||||”为求取矩阵的1-范数符号；
步骤7：计算Isti的几何失真，记为fgeo，
Figure BDA00029935520500000414
其中，
Figure BDA00029935520500000415
表示
Figure BDA00029935520500000416
的几何失真，
Figure BDA00029935520500000417
Figure BDA00029935520500000418
对应表示
Figure BDA00029935520500000419
的第1个元素、第2个元素、第4个元素、第5个元素、第7个元素、第8个元素，符号“||”表示取绝对值操作符号，
Figure BDA00029935520500000420
表示
Figure BDA00029935520500000421
与Isti之间的相似性变换矩阵，
Figure BDA00029935520500000422
为
Figure BDA00029935520500000423
的转置，
Figure BDA00029935520500000424
为
Figure BDA00029935520500000425
的逆，
Figure BDA00029935520500000426
Figure BDA00029935520500000427
和
Figure BDA00029935520500000428
对应表示
Figure BDA0002993552050000051
中的第1个特征点
Figure BDA0002993552050000052
的横坐标位置和纵坐标位置，
Figure BDA0002993552050000053
和
Figure BDA0002993552050000054
对应表示
Figure BDA0002993552050000055
中的第
Figure BDA0002993552050000056
个特征点
Figure BDA0002993552050000057
的横坐标位置和纵坐标位置，A1、A2、A3、A4、A5、A6、A7、A8均为中间变量，
Figure BDA0002993552050000058
Figure BDA0002993552050000059
表示
Figure BDA00029935520500000510
中的第1个特征点
Figure BDA00029935520500000511
与Isti中的匹配特征点的偏移向量
Figure BDA00029935520500000512
的水平偏移量，
Figure BDA00029935520500000513
Figure BDA00029935520500000514
表示
Figure BDA00029935520500000515
中的第1个特征点
Figure BDA00029935520500000516
与Isti中的匹配特征点的偏移向量
Figure BDA00029935520500000517
的垂直偏移量，
Figure BDA00029935520500000518
Figure BDA00029935520500000519
表示
Figure BDA00029935520500000520
中的第
Figure BDA00029935520500000521
个特征点
Figure BDA00029935520500000522
与Isti中的匹配特征点的偏移向量
Figure BDA00029935520500000523
的水平偏移量，
Figure BDA00029935520500000524
Figure BDA00029935520500000525
表示
Figure BDA00029935520500000526
中的第
Figure BDA00029935520500000527
个特征点
Figure BDA00029935520500000528
与Isti中的匹配特征点的偏移向量
Figure BDA00029935520500000529
的垂直偏移量，
Figure BDA00029935520500000530
Figure BDA00029935520500000531
Figure BDA00029935520500000532
Figure BDA00029935520500000533
Figure BDA0002993552050000061
Figure BDA0002993552050000062
的维数为
Figure BDA0002993552050000063
Figure BDA0002993552050000064
的维数为
Figure BDA0002993552050000066
的维数为8×1；
步骤8：根据fgho、fdis、fske和fgeo，获得Isti的局部特征矢量，记为Flocal，Flocal＝[fgho，fdis，fske，fgeo]；其中，Flocal的维数为1×4，符号“[]”为矢量表示符号，[fgho，fdis，fske，fgeo]表示将fgho、fdis、fske和fgeo连接起来形成一个特征矢量；
步骤9：计算Isti的全局特征矢量，记为Fglobal；其中，Fglobal的维数为1×11；
步骤10：根据Flocal和Fglobal，获得Isti的特征矢量，记为F，F＝[Flocal，Fglobal]；其中，F的维数为1×15；
步骤11：将n′幅拼接图像及每幅拼接图像对应的原始多视点图像构成拼接图像集合；然后采用主观质量评价方法，获取拼接图像集合中的每幅拼接图像的平均主观评分差值，将拼接图像集合中的第i幅拼接图像的平均主观评分差值记为DMOSi；并按照步骤1至步骤10的过程，以相同的方式获取拼接图像集合中的每幅拼接图像的特征矢量，将拼接图像集合中的第i幅拼接图像的特征矢量记为Fi；其中，n′为正整数，n′＞1，i为正整数，1≤i≤n′，DMOSi∈[0，100]，Fi的维数为1×15；
步骤12：从拼接图像集合中随机选择m幅拼接图像构成训练集；然后将训练集中的所有拼接图像的特征矢量和平均主观评分差值构成训练样本数据集合；接着采用支持向量回归作为机器学习的方法，对训练样本数据集合中的所有特征矢量进行训练，使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小，拟合得到最优的权重矢量
Figure BDA0002993552050000067
和最优的偏置项
Figure BDA0002993552050000068
再利用得到的最优的权重矢量
Figure BDA0002993552050000069
和最优的偏置项
Figure BDA00029935520500000610
构造拼接图像的支持向量回归训练模型，记为
Figure BDA00029935520500000612
其中，m为正整数，1≤m＜n′，
Figure BDA0002993552050000071
为函数表示形式，Finp表示拼接图像的支持向量回归训练模型的输入矢量，为拼接图像的特征矢量，Finp的维数为1×15，
Figure BDA0002993552050000072
为
Figure BDA0002993552050000073
的转置，
Figure BDA0002993552050000074
表示拼接图像的支持向量回归训练模型的输入矢量Finp的线性函数；
步骤13：将拼接图像集合中剩余的n′-m幅拼接图像构成测试集；然后将测试集中的所有拼接图像的特征矢量构成测试样本数据集合；接着根据构造得到的拼接图像的支持向量回归训练模型，对测试样本数据集合中的每个特征矢量进行测试，预测得到测试样本数据集合中的每个特征矢量对应的拼接图像的客观质量评价预测值，将测试样本数据集合中的第η个特征矢量对应的拼接图像的客观质量评价预测值记为qualityη，
Figure BDA0002993552050000075
其中，η为正整数，1≤η≤n′-m，Fη表示测试样本数据集合中的第η个特征矢量，Fη的维数为1×15，
Figure BDA0002993552050000076
表示Fη的线性函数；
步骤14：重复执行步骤12至步骤13共number次，并使拼接图像集合中的每幅拼接图像至少有一次属于测试集，经过number次执行后计算拼接图像集合中的每幅拼接图像的若干个客观质量评价预测值的平均值，再将拼接图像集合中的每幅拼接图像的若干个客观质量评价预测值的平均值作为该幅拼接图像的最终的客观质量评价预测值；其中，number为正整数，number之100。
所述的步骤9中，Fglobal的获取过程为：
步骤9_1：对多视点图像的N个视点的视图进行去除重叠区域操作，在进行去除重叠区域操作后再重组得到重组的多视点图像，记为
Figure BDA0002993552050000077
其中，1≤x′≤Width′，1≤y′≤Height′，Width′表示重组的多视点图像的宽度，Height′表示重组的多视点图像的高度，
Figure BDA0002993552050000078
表示
Figure BDA0002993552050000079
中坐标位置为(x′，y′)的像素点的像素值；
步骤9_2：对
Figure BDA00029935520500000710
进行归一化操作，将
Figure BDA00029935520500000711
经归一化操作后得到的图像记为
Figure BDA00029935520500000712
将
Figure BDA00029935520500000713
中坐标位置为(x′，y′)的像素点的像素值记为
Figure BDA00029935520500000714
并对Isti进行归一化操作，将Isti经归一化操作后得到的图像记为
Figure BDA0002993552050000081
将
Figure BDA0002993552050000082
中坐标位置为(x，y)的像素点的像素值记为
Figure BDA0002993552050000083
其中，μorg表示
Figure BDA0002993552050000084
中的所有像素点的像素值的均值，
Figure BDA0002993552050000085
σorg表示
Figure BDA0002993552050000086
中的所有像素点的像素值的标准差，
Figure BDA0002993552050000087
1≤x≤Width，1≤y≤Height，Isti(x，y)表示Isti中坐标位置为(x，y)的像素点的像素值，μsti表示Isti中的所有像素点的像素值的均值，
Figure BDA0002993552050000088
σsti表示Isti中的所有像素点的像素值的标准差，
Figure BDA0002993552050000089
步骤93：采用广义高斯分布模型对
Figure BDA00029935520500000810
的颜色分布进行拟合，拟合得到
Figure BDA00029935520500000811
的拟合曲线，记为Corg(h)，
Figure BDA00029935520500000812
并采用广义高斯分布模型对
Figure BDA00029935520500000813
的颜色分布进行拟合，拟合得到
Figure BDA00029935520500000814
的拟合曲线，记为Csti(h)，
Figure BDA00029935520500000815
其中，0≤h≤255，αorg表示拟合曲线Corg(h)的尺度参数，βorg表示拟合曲线Corg(h)的形状参数，exp()表示以自然基数e为底的指数函数，符号“||”为取绝对值符号，
Figure BDA00029935520500000816
t为积分变量，αsti表示拟合曲线Csti(h)的尺度参数，βsti表示拟合曲线Csti(h)的形状参数，
Figure BDA00029935520500000817
步骤94：将
Figure BDA0002993552050000091
在YUV颜色空间的Y分量、U分量和V分量对应记为
Figure BDA0002993552050000092
和
Figure BDA0002993552050000093
并将Isti在YUV颜色空间的Y分量、U分量和V分量对应记为
Figure BDA0002993552050000094
和
Figure BDA0002993552050000095
其中，
Figure BDA0002993552050000096
表示
Figure BDA0002993552050000097
中坐标位置为(x′，y′)的像素点的像素值，
Figure BDA0002993552050000098
表示
Figure BDA0002993552050000099
中坐标位置为(x′，y′)的像素点的像素值，
Figure BDA00029935520500000910
表示
Figure BDA00029935520500000911
中坐标位置为(x′，y′)的像素点的像素值，
Figure BDA00029935520500000912
表示
Figure BDA00029935520500000913
中坐标位置为(x，y)的像素点的像素值，
Figure BDA00029935520500000914
表示
Figure BDA00029935520500000915
中坐标位置为(x，y)的像素点的像素值，
Figure BDA00029935520500000916
表示
Figure BDA00029935520500000917
中坐标位置为(x，y)的像素点的像素值；
步骤95：计算
Figure BDA00029935520500000918
的直方图分布，记为
Figure BDA00029935520500000919
计算
Figure BDA00029935520500000920
的直方图分布，记为
Figure BDA00029935520500000921
计算
Figure BDA00029935520500000922
的直方图分布，记为
Figure BDA00029935520500000923
计算
Figure BDA00029935520500000924
的直方图分布，记为
Figure BDA00029935520500000925
计算
Figure BDA00029935520500000926
的直方图分布，记为
Figure BDA00029935520500000927
计算
Figure BDA00029935520500000928
的直方图分布，记为
Figure BDA00029935520500000929
其中，
Figure BDA00029935520500000930
表示
Figure BDA00029935520500000931
中的第j个直方图节点的出现概率，
Figure BDA00029935520500000932
表示
Figure BDA00029935520500000933
中的第j个直方图节点的出现概率，
Figure BDA00029935520500000934
表示
Figure BDA00029935520500000935
中的第j个直方图节点的出现概率，
Figure BDA00029935520500000936
表示
Figure BDA00029935520500000937
中的第j个直方图节点的出现概率，
Figure BDA00029935520500000938
表示
Figure BDA00029935520500000939
中的第j个直方图节点的出现概率，
Figure BDA00029935520500000940
表示
Figure BDA00029935520500000941
中的第j个直方图节点的出现概率；
步骤96：计算
Figure BDA00029935520500000942
的均值、标准差和斜度，对应记为
Figure BDA00029935520500000943
和
Figure BDA00029935520500000944
Figure BDA00029935520500000945
计算
Figure BDA00029935520500000946
的均值、标准差和斜度，对应记为
Figure BDA0002993552050000101
和
Figure BDA0002993552050000102
Figure BDA0002993552050000103
计算
Figure BDA0002993552050000104
的均值、标准差和斜度，对应记为
Figure BDA0002993552050000105
和
Figure BDA0002993552050000106
Figure BDA0002993552050000107
计算
Figure BDA0002993552050000108
的均值、标准差和斜度，对应记为
Figure BDA0002993552050000109
和
Figure BDA00029935520500001010
Figure BDA00029935520500001011
计算
Figure BDA00029935520500001012
的均值、标准差和斜度，对应记为
Figure BDA00029935520500001013
和
Figure BDA00029935520500001014
Figure BDA00029935520500001015
计算
Figure BDA00029935520500001016
的均值、标准差和斜度，对应记为
Figure BDA00029935520500001017
和
Figure BDA00029935520500001018
Figure BDA00029935520500001019
步骤9_7：将αorg、βorg、
Figure BDA00029935520500001020
和
Figure BDA00029935520500001021
按序排列构成
Figure BDA00029935520500001022
的特征矢量，记为Forg，
Figure BDA00029935520500001023
并将αsti、βsti、
Figure BDA00029935520500001024
Figure BDA00029935520500001025
和
Figure BDA00029935520500001026
按序排列构成Isti的特征矢量，记为Fsti，
Figure BDA00029935520500001027
步骤9_8：计算Isti的全局特征矢量Fglobal，Fglobal＝Forg-Fsti。
与现有技术相比，本发明的优点在于：
本发明方法在训练阶段，考虑到匹配误差、扭曲失真等局部失真及颜色、模糊等全局失真对拼接图像质量的影响，提取鬼影失真、错位失真、倾斜失真、几何失真构成局部特征矢量，提取颜色分布的广义高斯分布模型和颜色直方图的均值、标准差和斜度构成全局特征矢量，并将局部特征矢量和全局特征矢量结合构成拼接图像的特征矢量，然后利用支持向量回归对所有拼接图像的特征矢量进行训练，构造拼接图像的支持向量回归训练模型；在测试阶段，通过计算测试集中的拼接图像的特征矢量，并根据训练阶段构造的拼接图像的支持向量回归训练模型，预测得到测试集中的拼接图像的客观质量评价预测值，由于获得的特征矢量具有较强的稳定性且能够较好地反映拼接图像的失真情况，因此有效地提高了客观评价结果与人眼主观感知之间的相关性。
附图说明
图1为本发明方法的总体实现框图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种拼接图像质量评价方法，其总体实现框图如图1所示，其包括以下步骤：
步骤1：选取N个视点的多视点图像，将多视点图像的第
Figure BDA0002993552050000111
个视点的视图记为
Figure BDA0002993552050000112
令Isti表示由N个视点的多视点图像拼接得到的拼接图像；其中，N为正整数，N＞1，在本实施例中取N＝5，
Figure BDA0002993552050000113
Isti的宽度为Width且高度为Height。
步骤2：采用现有的尺度不变特征转换(Scale Invariant Feature Transform，SIFT)，提取出多视点图像的不同视点的视图中的所有特征点，将
Figure BDA0002993552050000114
中的第
Figure BDA0002993552050000115
个特征点记为
Figure BDA0002993552050000116
将
Figure BDA0002993552050000117
中的所有特征点构成的集合记为
Figure BDA0002993552050000118
然后采用现有的随机抽样一致(Random Samplc Consensus，RANSAC)方法，建立多视点图像的相邻视点的视图中的特征点之间的匹配关系，将多视点图像的第γ个视点的视图
Figure BDA0002993552050000121
中的第q(γ)个特征点
Figure BDA0002993552050000122
与多视点图像的第γ+1个视点的视图
Figure BDA0002993552050000123
中的匹配特征点的偏移向量记为
Figure BDA0002993552050000124
Figure BDA0002993552050000125
其中，
Figure BDA0002993552050000126
为正整数，
Figure BDA0002993552050000127
表示
Figure BDA0002993552050000128
中的特征点的总个数，
Figure BDA0002993552050000129
表示
Figure BDA00029935520500001210
的横坐标位置，
Figure BDA00029935520500001211
表示
Figure BDA00029935520500001212
的纵坐标位置，1≤γ≤N-1，q(γ)为正整数，1≤q(γ)≤Q(γ)，Q(γ)表示
Figure BDA00029935520500001213
中的特征点的总个数，
Figure BDA00029935520500001214
表示
Figure BDA00029935520500001215
的横坐标位置，
Figure BDA00029935520500001216
表示
Figure BDA00029935520500001217
的纵坐标位置，
Figure BDA00029935520500001218
用于表示水平方向，
Figure BDA00029935520500001219
用于表示垂直方向，
Figure BDA00029935520500001220
表示
Figure BDA00029935520500001221
的水平偏移量，
Figure BDA00029935520500001222
表示
Figure BDA00029935520500001223
的垂直偏移量。
步骤3：采用现有的尺度不变特征转换(Scale Invariant Feature Transform，SIFT)，提取出Isti中的所有特征点；然后采用现有的随机抽样一致(Random SampleConsensus，RANSAC)方法，建立多视点图像的不同视点的视图中的特征点与Isti中的特征点之间的匹配关系，将
Figure BDA00029935520500001224
中的第
Figure BDA00029935520500001225
个特征点
Figure BDA00029935520500001226
与Isti中的匹配特征点的偏移向量记为
Figure BDA00029935520500001227
Figure BDA00029935520500001228
其中，
Figure BDA00029935520500001229
表示
Figure BDA00029935520500001230
的水平偏移量，
Figure BDA00029935520500001231
表示
Figure BDA00029935520500001232
的垂直偏移量。
步骤4：计算Isti的鬼影失真，记为fgho，
Figure BDA00029935520500001233
Figure BDA00029935520500001234
Figure BDA00029935520500001235
其中，D和B均为中间变量，符号“||||2”为求取矩阵的2-范数符号，
Figure BDA0002993552050000131
表示多视点图像的第γ个视点的视图
Figure BDA0002993552050000132
中的第q(γ)个特征点
Figure BDA0002993552050000133
与Isti中的匹配特征点的偏移向量，
Figure BDA0002993552050000134
表示多视点图像的第γ+1个视点的视图
Figure BDA0002993552050000135
中坐标位置为
Figure BDA0002993552050000136
的特征点与Isti中的匹配特征点的偏移向量。
步骤5：计算Isti的错位失真，记为fdis，
Figure BDA0002993552050000137
其中，
Figure BDA0002993552050000138
表示多视点图像的第γ+1个视点的视图
Figure BDA0002993552050000139
中的第q(γ+1)个特征点
Figure BDA00029935520500001310
的纵坐标位置，1≤q(γ+1)≤Q(γ+1)，Q(γ+1)表示
Figure BDA00029935520500001311
中的特征点的总个数。
步骤6：计算Isti的倾斜失真，记为fske，
Figure BDA00029935520500001312
其中，对
Figure BDA00029935520500001313
中的所有特征点按特征点的横坐标位置的大小进行排序，选择横坐标位置最小的5％的特征点和横坐标位置最大的5％的特征点，将所选择的横坐标位置最小的5％的特征点随机与所选择的横坐标位置最大的5％的特征点一一对应两两连接，构成
Figure BDA00029935520500001314
条直线，即：将从横坐标位置最小的5％的特征点中随机选择的一个特征点与从横坐标位置最大的5％的特征点中随机选择的一个特征点连接构成一条直线，将
Figure BDA00029935520500001315
对应的所有直线构成的集合记为
Figure BDA00029935520500001316
表示
Figure BDA00029935520500001317
中的第
Figure BDA00029935520500001318
条直线，
Figure BDA00029935520500001319
表示
Figure BDA00029935520500001320
对应的直线的数量，
Figure BDA00029935520500001321
的值等于所选择的横坐标位置最小的5％的特征点的数量或所选择的横坐标位置最大的5％的特征点的数量；根据
Figure BDA0002993552050000141
中的每个特征点与Isti中的匹配特征点的偏移向量，获得
Figure BDA0002993552050000142
中的每条直线的两个特征点在Isti中的匹配特征点，进而获得
Figure BDA0002993552050000143
中的每条直线在Isti中的匹配直线，
Figure BDA0002993552050000144
表示
Figure BDA0002993552050000145
在Isti中的匹配直线，符号“<>”表示内积操作符号，符号“||||”为求取矩阵的1-范数符号。
步骤7：计算Isti的几何失真，记为fgeo，
Figure BDA0002993552050000146
其中，
Figure BDA0002993552050000147
表示
Figure BDA0002993552050000148
的几何失真，
Figure BDA0002993552050000149
Figure BDA00029935520500001410
对应表示
Figure BDA00029935520500001411
的第1个元素、第2个元素、第4个元素、第5个元素、第7个元素、第8个元素，符号“||”表示取绝对值操作符号，
Figure BDA00029935520500001412
表示
Figure BDA00029935520500001413
与Isti之间的相似性变换矩阵，
Figure BDA00029935520500001414
为
Figure BDA00029935520500001415
的转置，
Figure BDA00029935520500001416
为
Figure BDA00029935520500001417
的逆，
Figure BDA00029935520500001418
Figure BDA00029935520500001419
和
Figure BDA00029935520500001420
对应表示
Figure BDA00029935520500001421
中的第1个特征点
Figure BDA00029935520500001422
的横坐标位置和纵坐标位置，
Figure BDA00029935520500001423
和
Figure BDA00029935520500001424
对应表示
Figure BDA00029935520500001425
中的第
Figure BDA00029935520500001426
个特征点
Figure BDA00029935520500001427
的横坐标位置和纵坐标位置，A1、A2、A3、A4、A5、A6、A7、A8均为中间变量，
Figure BDA00029935520500001428
Figure BDA00029935520500001429
表示
Figure BDA00029935520500001430
中的第1个特征点
Figure BDA00029935520500001431
与Isti中的匹配特征点的偏移向量
Figure BDA0002993552050000151
的水平偏移量，
Figure BDA0002993552050000152
Figure BDA0002993552050000153
表示
Figure BDA0002993552050000154
中的第1个特征点
Figure BDA0002993552050000155
与Isti中的匹配特征点的偏移向量
Figure BDA0002993552050000156
的垂直偏移量，
Figure BDA0002993552050000157
Figure BDA0002993552050000158
表示
Figure BDA0002993552050000159
中的第
Figure BDA00029935520500001510
个特征点
Figure BDA00029935520500001511
与Isti中的匹配特征点的偏移向量
Figure BDA00029935520500001512
的水平偏移量，
Figure BDA00029935520500001513
Figure BDA00029935520500001514
表示
Figure BDA00029935520500001515
中的第
Figure BDA00029935520500001516
个特征点
Figure BDA00029935520500001517
与Isti中的匹配特征点的偏移向量
Figure BDA00029935520500001518
的垂直偏移量，
Figure BDA00029935520500001519
Figure BDA00029935520500001520
Figure BDA00029935520500001521
Figure BDA00029935520500001522
Figure BDA00029935520500001523
Figure BDA00029935520500001524
的维数为
Figure BDA00029935520500001525
的维数为
Figure BDA0002993552050000161
的维数为8×1。
步骤8：根据fgho、fdis、fske和fgeo，获得Isti的局部特征矢量，记为Flocal，Flocal＝[fgho，fdis，fske，fgeo]；其中，Flocal的维数为1×4，符号“[]”为矢量表示符号，[fgho，fdis，fske，fgeo]表示将fgho、fdis、fske和fgeo连接起来形成一个特征矢量。
步骤9：计算Isti的全局特征矢量，记为Fglobal；其中，Fglobal的维数为1×11。
在本实施例中，步骤9中，Fglobal的获取过程为：
步骤91：对多视点图像的N个视点的视图进行去除重叠区域操作，在进行去除重叠区域操作后再重组得到重组的多视点图像，记为
Figure BDA0002993552050000162
其中，1≤x′≤Width′，1≤y′≤Height′，Width′表示重组的多视点图像的宽度，Height′表示重组的多视点图像的高度，
Figure BDA0002993552050000163
表示
Figure BDA0002993552050000164
中坐标位置为(x′，y′)的像素点的像素值。
步骤92：对
Figure BDA0002993552050000165
进行归一化操作，将
Figure BDA0002993552050000166
经归一化操作后得到的图像记为
Figure BDA0002993552050000167
将
Figure BDA0002993552050000168
中坐标位置为(x′，y′)的像素点的像素值记为
Figure BDA0002993552050000169
并对Isti进行归一化操作，将Isti经归一化操作后得到的图像记为
Figure BDA00029935520500001610
将
Figure BDA00029935520500001611
中坐标位置为(x，y)的像素点的像素值记为
Figure BDA00029935520500001612
其中，μorg表示
Figure BDA00029935520500001613
中的所有像素点的像素值的均值，
Figure BDA00029935520500001614
σorg表示
Figure BDA00029935520500001615
中的所有像素点的像素值的标准差，
Figure BDA00029935520500001616
1≤x≤Width，1≤y≤Height，Isti(x，y)表示Isti中坐标位置为(x，y)的像素点的像素值，μsti表示Isti中的所有像素点的像素值的均值，
Figure BDA0002993552050000171
σsti表示Isti中的所有像素点的像素值的标准差，
Figure BDA0002993552050000172
步骤9_3：采用广义高斯分布模型对
Figure BDA0002993552050000173
的颜色分布进行拟合，拟合得到
Figure BDA0002993552050000174
的拟合曲线，记为Corg(h)，
Figure BDA0002993552050000175
并采用广义高斯分布模型对
Figure BDA0002993552050000176
的颜色分布进行拟合，拟合得到
Figure BDA0002993552050000177
的拟合曲线，记为Csti(h)，
Figure BDA0002993552050000178
其中，0≤h≤255，αorg表示拟合曲线Corg(h)的尺度参数，βorg表示拟合曲线Corg(h)的形状参数，exp()表示以自然基数e为底的指数函数，e＝2.17…，符号“||”为取绝对值符号，
Figure BDA0002993552050000179
t为积分变量，αsti表示拟合曲线Csti(h)的尺度参数，βsti表示拟合曲线Csti(h)的形状参数，
Figure BDA00029935520500001710
步骤94：将
Figure BDA00029935520500001711
在YUV颜色空间的Y分量、U分量和V分量对应记为
Figure BDA00029935520500001712
和
Figure BDA00029935520500001713
并将Isti在YUV颜色空间的Y分量、U分量和V分量对应记为
Figure BDA00029935520500001714
和
Figure BDA00029935520500001715
其中，
Figure BDA00029935520500001716
表示
Figure BDA00029935520500001717
中坐标位置为(x′，y′)的像素点的像素值，
Figure BDA00029935520500001718
表示
Figure BDA00029935520500001719
中坐标位置为(x′，y′)的像素点的像素值，
Figure BDA00029935520500001720
表示
Figure BDA00029935520500001721
中坐标位置为(x′，y′)的像素点的像素值，
Figure BDA00029935520500001722
表示
Figure BDA00029935520500001723
中坐标位置为(x，y)的像素点的像素值，
Figure BDA00029935520500001724
表示
Figure BDA00029935520500001725
中坐标位置为(x，y)的像素点的像素值，
Figure BDA00029935520500001726
表示
Figure BDA00029935520500001727
中坐标位置为(x，y)的像素点的像素值。
步骤95：计算
Figure BDA0002993552050000181
的直方图分布，记为
Figure BDA0002993552050000182
计算
Figure BDA0002993552050000183
的直方图分布，记为
Figure BDA0002993552050000184
计算
Figure BDA0002993552050000185
的直方图分布，记为
Figure BDA0002993552050000186
计算
Figure BDA0002993552050000187
的直方图分布，记为
Figure BDA0002993552050000188
计算
Figure BDA0002993552050000189
的直方图分布，记为
Figure BDA00029935520500001810
计算
Figure BDA00029935520500001811
的直方图分布，记为
Figure BDA00029935520500001812
其中，
Figure BDA00029935520500001813
表示
Figure BDA00029935520500001814
中的第j个直方图节点的出现概率，
Figure BDA00029935520500001815
表示
Figure BDA00029935520500001816
中的第j个直方图节点的出现概率，
Figure BDA00029935520500001817
表示
Figure BDA00029935520500001818
中的第j个直方图节点的出现概率，
Figure BDA00029935520500001819
表示
Figure BDA00029935520500001820
中的第j个直方图节点的出现概率，
Figure BDA00029935520500001821
表示
Figure BDA00029935520500001822
中的第j个直方图节点的出现概率，
Figure BDA00029935520500001823
表示
Figure BDA00029935520500001824
中的第j个直方图节点的出现概率。
步骤96：计算
Figure BDA00029935520500001825
的均值、标准差和斜度，对应记为
Figure BDA00029935520500001826
和
Figure BDA00029935520500001828
Figure BDA00029935520500001829
计算
Figure BDA00029935520500001830
的均值、标准差和斜度，对应记为
Figure BDA00029935520500001831
和
Figure BDA00029935520500001832
Figure BDA00029935520500001833
Figure BDA00029935520500001834
计算
Figure BDA00029935520500001835
的均值、标准差和斜度，对应记为
Figure BDA00029935520500001836
和
Figure BDA00029935520500001837
Figure BDA00029935520500001838
Figure BDA00029935520500001839
计算
Figure BDA00029935520500001840
的均值、标准差和斜度，对应记为
Figure BDA00029935520500001841
和
Figure BDA00029935520500001842
Figure BDA00029935520500001843
Figure BDA0002993552050000191
计算
Figure BDA0002993552050000192
的均值、标准差和斜度，对应记为
Figure BDA0002993552050000193
和
Figure BDA0002993552050000194
Figure BDA0002993552050000195
Figure BDA0002993552050000196
计算
Figure BDA0002993552050000197
的均值、标准差和斜度，对应记为
Figure BDA0002993552050000198
和
Figure BDA0002993552050000199
Figure BDA00029935520500001910
Figure BDA00029935520500001911
步骤9_7：将αorg、βorg、
Figure BDA00029935520500001912
和
Figure BDA00029935520500001913
按序排列构成
Figure BDA00029935520500001914
的特征矢量，记为Forg，
Figure BDA00029935520500001915
并将αsti、βsti、
Figure BDA00029935520500001916
Figure BDA00029935520500001917
和
Figure BDA00029935520500001918
按序排列构成Isti的特征矢量，记为Fsti，
Figure BDA00029935520500001919
步骤9_8：计算Isti的全局特征矢量Fglobal，Fglobal＝Forg-Fsti。
步骤10：根据Flocal和Fglobal，获得Isti的特征矢量，记为F，F＝[Flocal，Fglobal]；其中，F的维数为1×15。
步骤11：将n′幅拼接图像及每幅拼接图像对应的原始多视点图像构成拼接图像集合；然后采用主观质量评价方法，获取拼接图像集合中的每幅拼接图像的平均主观评分差值，将拼接图像集合中的第i幅拼接图像的平均主观评分差值记为DMOSi；并按照步骤1至步骤10的过程，以相同的方式获取拼接图像集合中的每幅拼接图像的特征矢量，将拼接图像集合中的第i幅拼接图像的特征矢量记为Fi；其中，n′为正整数，n′＞1，i为正整数，1≤i≤n′，DMOSi∈[0，100]，Fi的维数为1×15。
步骤12：从拼接图像集合中随机选择m幅拼接图像构成训练集；然后将训练集中的所有拼接图像的特征矢量和平均主观评分差值构成训练样本数据集合；接着采用支持向量回归作为机器学习的方法，对训练样本数据集合中的所有特征矢量进行训练，使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小，拟合得到最优的权重矢量
Figure BDA0002993552050000201
和最优的偏置项
Figure BDA0002993552050000202
再利用得到的最优的权重矢量
Figure BDA0002993552050000203
和最优的偏置项
Figure BDA0002993552050000204
构造拼接图像的支持向量回归训练模型，记为
Figure BDA0002993552050000205
其中，m为正整数，1≤m＜n′，
Figure BDA0002993552050000206
为函数表示形式，Finp表示拼接图像的支持向量回归训练模型的输入矢量，为拼接图像的特征矢量，Finp的维数为1×15，
Figure BDA0002993552050000207
为
Figure BDA0002993552050000208
的转置，
Figure BDA0002993552050000209
表示拼接图像的支持向量回归训练模型的输入矢量Finp的线性函数。
步骤13：将拼接图像集合中剩余的n′-m幅拼接图像构成测试集；然后将测试集中的所有拼接图像的特征矢量构成测试样本数据集合；接着根据构造得到的拼接图像的支持向量回归训练模型，对测试样本数据集合中的每个特征矢量进行测试，预测得到测试样本数据集合中的每个特征矢量对应的拼接图像的客观质量评价预测值，将测试样本数据集合中的第η个特征矢量对应的拼接图像的客观质量评价预测值记为qualityη，
Figure BDA00029935520500002010
其中，η为正整数，1≤η≤n′-m，Fη表示测试样本数据集合中的第η个特征矢量，Fη的维数为1×15，
Figure BDA00029935520500002011
表示Fη的线性函数。
步骤14：重复执行步骤12至步骤13共number次，并使拼接图像集合中的每幅拼接图像至少有一次属于测试集，经过number次执行后计算拼接图像集合中的每幅拼接图像的若干个客观质量评价预测值的平均值，再将拼接图像集合中的每幅拼接图像的若干个客观质量评价预测值的平均值作为该幅拼接图像的最终的客观质量评价预测值；其中，number为正整数，number≥100。
为了进一步说明本发明方法的可行性和有效性，对本发明方法进行试验。
在本实施例中，采用本发明方法对印度科学研究所建立的拼接图像质量评价数据库进行测试。该数据库包含26个不同的场景，每个场景有4幅或5幅具有重叠区域的多视点图像。通过选择不同的拼接算法或者改变算法中的不同参数，得到了264幅不同质量的拼接图像，并给出了每幅拼接图像的平均主观评分差值。
在本实施例中，利用评估图像质量评价方法的3个常用客观参量作为评价指标，即非线性回归条件下的Pearson相关系数(Pearson linear correlation coefficient，PLCC)、Spearman相关系数(Spearman rank order correlationcoefficient，SROCC)、均方误差(rootmeansquared error，RMSE)，PLCC和RMSE反映客观质量评价预测值的准确性，SROCC反映其单调性。表1给出了采用本发明方法得到的客观质量评价预测值与平均主观评分差值之间的相关性。
表1采用本发明方法得到的客观质量评价预测值与平均主观评分差值之间的Pearson相关系数比较、Spearman相关系数和均方误差比较
Pearson相关系数 Spearman相关系数 均方误差
本发明方法 0.8532 0.8406 6.7551
从表1中可以看出，采用本发明方法得到的客观质量评价预测值与平均主观评分差值之间的相关性是很高的，充分表明了本发明方法的客观评价结果与人眼主观感知的结果较为一致，足以说明本发明方法的可行性和有效性。

Claims (2)

1.一种拼接图像质量评价方法，其特征在于包括以下步骤：
步骤1：选取N个视点的多视点图像，将多视点图像的第
Figure FDA0002993552040000011
个视点的视图记为
Figure FDA0002993552040000012
令Isti表示由N个视点的多视点图像拼接得到的拼接图像；其中，N为正整数，N＞1，
Figure FDA0002993552040000013
Isti的宽度为Width且高度为Height；
步骤2：采用尺度不变特征转换，提取出多视点图像的不同视点的视图中的所有特征点，将
Figure FDA0002993552040000014
中的第
Figure FDA0002993552040000015
个特征点记为
Figure FDA0002993552040000016
Figure FDA0002993552040000017
将
Figure FDA0002993552040000018
中的所有特征点构成的集合记为
Figure FDA0002993552040000019
然后采用随机抽样一致方法，建立多视点图像的相邻视点的视图中的特征点之间的匹配关系，将多视点图像的第γ个视点的视图
Figure FDA00029935520400000110
中的第q(γ)个特征点
Figure FDA00029935520400000111
与多视点图像的第γ+1个视点的视图
Figure FDA00029935520400000112
中的匹配特征点的偏移向量记为
Figure FDA00029935520400000113
Figure FDA00029935520400000114
其中，
Figure FDA00029935520400000115
为正整数，
Figure FDA00029935520400000116
Figure FDA00029935520400000117
表示
Figure FDA00029935520400000118
中的特征点的总个数，
Figure FDA00029935520400000119
表示
Figure FDA00029935520400000120
的横坐标位置，
Figure FDA00029935520400000121
表示
Figure FDA00029935520400000122
的纵坐标位置，1≤γ≤N-1，q(γ)为正整数，1≤q(γ)≤Q(γ)，Q(γ)表示
Figure FDA00029935520400000123
中的特征点的总个数，
Figure FDA00029935520400000124
表示
Figure FDA00029935520400000125
的横坐标位置，
Figure FDA00029935520400000126
表示
Figure FDA00029935520400000127
的纵坐标位置，
Figure FDA00029935520400000128
用于表示水平方向，
Figure FDA00029935520400000129
用于表示垂直方向，
Figure FDA00029935520400000130
表示
Figure FDA00029935520400000131
的水平偏移量，
Figure FDA00029935520400000132
表示
Figure FDA00029935520400000133
的垂直偏移量；
步骤3：采用尺度不变特征转换，提取出Isti中的所有特征点；然后采用随机抽样一致方法，建立多视点图像的不同视点的视图中的特征点与Isti中的特征点之间的匹配关系，将
Figure FDA00029935520400000134
中的第
Figure FDA00029935520400000135
个特征点
Figure FDA00029935520400000136
与Isti中的匹配特征点的偏移向量记为
Figure FDA00029935520400000137
Figure FDA0002993552040000021
其中，
Figure FDA0002993552040000022
表示
Figure FDA0002993552040000023
的水平偏移量，
Figure FDA0002993552040000024
表示
Figure FDA0002993552040000025
的垂直偏移量；
步骤4：计算Isti的鬼影失真，记为fgho，
Figure FDA0002993552040000026
Figure FDA0002993552040000027
Figure FDA0002993552040000028
其中，D和B均为中间变量，符号“|| ||2”为求取矩阵的2-范数符号，
Figure FDA0002993552040000029
表示多视点图像的第γ个视点的视图
Figure FDA00029935520400000210
中的第q(γ)个特征点
Figure FDA00029935520400000211
与Isti中的匹配特征点的偏移向量，
Figure FDA00029935520400000212
表示多视点图像的第γ+1个视点的视图
Figure FDA00029935520400000213
中坐标位置为
Figure FDA00029935520400000214
的特征点与Isti中的匹配特征点的偏移向量；
步骤5：计算Isti的错位失真，记为fdis，
Figure FDA00029935520400000215
其中，
Figure FDA00029935520400000216
表示多视点图像的第γ+1个视点的视图
Figure FDA00029935520400000217
中的第q(γ+1)个特征点
Figure FDA00029935520400000218
的纵坐标位置，1≤q(γ+1)≤Q(γ+1)，Q(γ+1)表示
Figure FDA00029935520400000219
中的特征点的总个数；
步骤6：计算Isti的倾斜失真，记为fske，
Figure FDA00029935520400000220
其中，对
Figure FDA00029935520400000221
中的所有特征点按特征点的横坐标位置的大小进行排序，选择横坐标位置最小的5％的特征点和横坐标位置最大的5％的特征点，将所选择的横坐标位置最小的5％的特征点随机与所选择的横坐标位置最大的5％的特征点一一对应两两连接，构成
Figure FDA0002993552040000031
条直线，将
Figure FDA0002993552040000032
对应的所有直线构成的集合记为
Figure FDA0002993552040000033
Figure FDA0002993552040000034
表示
Figure FDA0002993552040000035
中的第
Figure FDA0002993552040000036
条直线，
Figure FDA0002993552040000037
Figure FDA0002993552040000038
表示
Figure FDA0002993552040000039
对应的直线的数量，
Figure FDA00029935520400000310
的值等于所选择的横坐标位置最小的5％的特征点的数量或所选择的横坐标位置最大的5％的特征点的数量；根据
Figure FDA00029935520400000311
中的每个特征点与Isti中的匹配特征点的偏移向量，获得
Figure FDA00029935520400000312
中的每条直线的两个特征点在Isti中的匹配特征点，进而获得
Figure FDA00029935520400000313
中的每条直线在Isti中的匹配直线，
Figure FDA00029935520400000314
表示
Figure FDA00029935520400000315
在Isti中的匹配直线，符号“<>”表示内积操作符号，符号“|| ||”为求取矩阵的1-范数符号；
步骤7：计算Isti的几何失真，记为fgeo，
Figure FDA00029935520400000316
其中，
Figure FDA00029935520400000317
表示
Figure FDA00029935520400000318
的几何失真，
Figure FDA00029935520400000319
Figure FDA00029935520400000320
对应表示
Figure FDA00029935520400000321
的第1个元素、第2个元素、第4个元素、第5个元素、第7个元素、第8个元素，符号“| |”表示取绝对值操作符号，
Figure FDA00029935520400000322
表示
Figure FDA00029935520400000323
与Isti之间的相似性变换矩阵，
Figure FDA00029935520400000324
为
Figure FDA00029935520400000325
的转置，
Figure FDA00029935520400000326
为
Figure FDA00029935520400000327
的逆，
Figure FDA0002993552040000041
Figure FDA0002993552040000042
和
Figure FDA0002993552040000043
对应表示
Figure FDA0002993552040000044
中的第1个特征点
Figure FDA0002993552040000045
的横坐标位置和纵坐标位置，
Figure FDA0002993552040000046
和
Figure FDA0002993552040000047
对应表示
Figure FDA0002993552040000048
中的第
Figure FDA0002993552040000049
个特征点
Figure FDA00029935520400000410
的横坐标位置和纵坐标位置，A1、A2、A3、A4、A5、A6、A7、A8均为中间变量，
Figure FDA00029935520400000411
Figure FDA00029935520400000412
表示
Figure FDA00029935520400000413
中的第1个特征点
Figure FDA00029935520400000414
与Isti中的匹配特征点的偏移向量
Figure FDA00029935520400000415
的水平偏移量，
Figure FDA00029935520400000416
Figure FDA00029935520400000417
表示
Figure FDA00029935520400000418
中的第1个特征点
Figure FDA00029935520400000419
与Isti中的匹配特征点的偏移向量
Figure FDA00029935520400000420
的垂直偏移量，
Figure FDA00029935520400000421
Figure FDA00029935520400000422
表示
Figure FDA00029935520400000423
中的第
Figure FDA00029935520400000424
个特征点
Figure FDA00029935520400000425
与Isti中的匹配特征点的偏移向量
Figure FDA00029935520400000426
的水平偏移量，
Figure FDA00029935520400000427
Figure FDA00029935520400000428
表示
Figure FDA00029935520400000429
中的第
Figure FDA00029935520400000430
个特征点
Figure FDA00029935520400000431
与Isti中的匹配特征点的偏移向量
Figure FDA00029935520400000432
的垂直偏移量，
Figure FDA00029935520400000433
Figure FDA0002993552040000051
Figure FDA0002993552040000052
Figure FDA0002993552040000053
Figure FDA0002993552040000054
Figure FDA0002993552040000055
的维数为
Figure FDA0002993552040000056
Figure FDA0002993552040000057
的维数为
Figure FDA0002993552040000058
Figure FDA0002993552040000059
的维数为8×1；
步骤8：根据fgho、fdis、fske和fgeo，获得Isti的局部特征矢量，记为Flocal，Flocal＝[fgho,fdis,fske,fgeo]；其中，Flocal的维数为1×4，符号“[]”为矢量表示符号，[fgho,fdis,fske,fgeo]表示将fgho、fdis、fske和fgeo连接起来形成一个特征矢量；
步骤9：计算Isti的全局特征矢量，记为Fglobal；其中，Fglobal的维数为1×11；
步骤10：根据Flocal和Fglobal，获得Isti的特征矢量，记为F，F＝[Flocal,Fglobal]；其中，F的维数为1×15；
步骤11：将n'幅拼接图像及每幅拼接图像对应的原始多视点图像构成拼接图像集合；然后采用主观质量评价方法，获取拼接图像集合中的每幅拼接图像的平均主观评分差值，将拼接图像集合中的第i幅拼接图像的平均主观评分差值记为DMOSi；并按照步骤1至步骤10的过程，以相同的方式获取拼接图像集合中的每幅拼接图像的特征矢量，将拼接图像集合中的第i幅拼接图像的特征矢量记为Fi；其中，n'为正整数，n'＞1，i为正整数，1≤i≤n'，DMOSi∈[0,100]，Fi的维数为1×15；
步骤12：从拼接图像集合中随机选择m幅拼接图像构成训练集；然后将训练集中的所有拼接图像的特征矢量和平均主观评分差值构成训练样本数据集合；接着采用支持向量回归作为机器学习的方法，对训练样本数据集合中的所有特征矢量进行训练，使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小，拟合得到最优的权重矢量
Figure FDA0002993552040000061
和最优的偏置项
Figure FDA0002993552040000062
再利用得到的最优的权重矢量
Figure FDA0002993552040000063
和最优的偏置项
Figure FDA0002993552040000064
构造拼接图像的支持向量回归训练模型，记为
Figure FDA0002993552040000065
Figure FDA0002993552040000066
其中，m为正整数，1≤m＜n'，
Figure FDA00029935520400000614
为函数表示形式，Finp表示拼接图像的支持向量回归训练模型的输入矢量，为拼接图像的特征矢量，Finp的维数为1×15，
Figure FDA0002993552040000067
为
Figure FDA0002993552040000068
的转置，
Figure FDA0002993552040000069
表示拼接图像的支持向量回归训练模型的输入矢量Finp的线性函数；
步骤13：将拼接图像集合中剩余的n'-m幅拼接图像构成测试集；然后将测试集中的所有拼接图像的特征矢量构成测试样本数据集合；接着根据构造得到的拼接图像的支持向量回归训练模型，对测试样本数据集合中的每个特征矢量进行测试，预测得到测试样本数据集合中的每个特征矢量对应的拼接图像的客观质量评价预测值，将测试样本数据集合中的第η个特征矢量对应的拼接图像的客观质量评价预测值记为qualityη，
Figure FDA00029935520400000610
Figure FDA00029935520400000611
其中，η为正整数，1≤η≤n'-m，Fη表示测试样本数据集合中的第η个特征矢量，Fη的维数为1×15，
Figure FDA00029935520400000612
表示Fη的线性函数；
步骤14：重复执行步骤12至步骤13共number次，并使拼接图像集合中的每幅拼接图像至少有一次属于测试集，经过number次执行后计算拼接图像集合中的每幅拼接图像的若干个客观质量评价预测值的平均值，再将拼接图像集合中的每幅拼接图像的若干个客观质量评价预测值的平均值作为该幅拼接图像的最终的客观质量评价预测值；其中，number为正整数，number≥100。
2.根据权利要求1所述的一种拼接图像质量评价方法，其特征在于所述的步骤9中，Fglobal的获取过程为：
步骤9_1：对多视点图像的N个视点的视图进行去除重叠区域操作，在进行去除重叠区域操作后再重组得到重组的多视点图像，记为
Figure FDA00029935520400000613
其中，1≤x'≤Width',1≤y'≤Height'，Width'表示重组的多视点图像的宽度，Height'表示重组的多视点图像的高度，
Figure FDA0002993552040000071
表示
Figure FDA0002993552040000072
中坐标位置为(x',y')的像素点的像素值；
步骤9_2：对
Figure FDA0002993552040000073
进行归一化操作，将
Figure FDA0002993552040000074
经归一化操作后得到的图像记为
Figure FDA0002993552040000075
将
Figure FDA0002993552040000076
中坐标位置为(x',y')的像素点的像素值记为
Figure FDA0002993552040000077
Figure FDA0002993552040000078
并对Isti进行归一化操作，将Isti经归一化操作后得到的图像记为
Figure FDA0002993552040000079
将
Figure FDA00029935520400000710
中坐标位置为(x,y)的像素点的像素值记为
Figure FDA00029935520400000711
Figure FDA00029935520400000712
其中，μorg表示
Figure FDA00029935520400000713
中的所有像素点的像素值的均值，
Figure FDA00029935520400000714
σorg表示
Figure FDA00029935520400000715
中的所有像素点的像素值的标准差，
Figure FDA00029935520400000716
1≤x≤Width,1≤y≤Height，Isti(x,y)表示Isti中坐标位置为(x,y)的像素点的像素值，μsti表示Isti中的所有像素点的像素值的均值，
Figure FDA00029935520400000717
σsti表示Isti中的所有像素点的像素值的标准差，
Figure FDA00029935520400000718
步骤9_3：采用广义高斯分布模型对
Figure FDA00029935520400000719
的颜色分布进行拟合，拟合得到
Figure FDA00029935520400000720
的拟合曲线，记为Corg(h)，
Figure FDA00029935520400000721
并采用广义高斯分布模型对
Figure FDA00029935520400000722
的颜色分布进行拟合，拟合得到
Figure FDA00029935520400000723
的拟合曲线，记为Csti(h)，
Figure FDA0002993552040000081
其中，0≤h≤255，αorg表示拟合曲线Corg(h)的尺度参数，βorg表示拟合曲线Corg(h)的形状参数，exp()表示以自然基数e为底的指数函数，符号“| |”为取绝对值符号，
Figure FDA0002993552040000082
t为积分变量，αsti表示拟合曲线Csti(h)的尺度参数，βsti表示拟合曲线Csti(h)的形状参数，
Figure FDA0002993552040000083
步骤9_4：将
Figure FDA0002993552040000084
在YUV颜色空间的Y分量、U分量和V分量对应记为
Figure FDA0002993552040000085
Figure FDA0002993552040000086
和
Figure FDA0002993552040000087
并将Isti在YUV颜色空间的Y分量、U分量和V分量对应记为
Figure FDA0002993552040000088
Figure FDA0002993552040000089
和
Figure FDA00029935520400000810
其中，
Figure FDA00029935520400000811
表示
Figure FDA00029935520400000812
中坐标位置为(x',y')的像素点的像素值，
Figure FDA00029935520400000813
表示
Figure FDA00029935520400000814
中坐标位置为(x',y')的像素点的像素值，
Figure FDA00029935520400000815
表示
Figure FDA00029935520400000816
中坐标位置为(x',y')的像素点的像素值，
Figure FDA00029935520400000817
表示
Figure FDA00029935520400000818
中坐标位置为(x,y)的像素点的像素值，
Figure FDA00029935520400000819
表示
Figure FDA00029935520400000820
中坐标位置为(x,y)的像素点的像素值，
Figure FDA00029935520400000821
表示
Figure FDA00029935520400000822
中坐标位置为(x,y)的像素点的像素值；
步骤9_5：计算
Figure FDA00029935520400000823
的直方图分布，记为
Figure FDA00029935520400000824
计算
Figure FDA00029935520400000825
的直方图分布，记为
Figure FDA00029935520400000826
计算
Figure FDA00029935520400000827
的直方图分布，记为
Figure FDA00029935520400000828
计算
Figure FDA00029935520400000829
的直方图分布，记为
Figure FDA00029935520400000830
计算
Figure FDA00029935520400000831
的直方图分布，记为
Figure FDA00029935520400000832
计算
Figure FDA00029935520400000833
的直方图分布，记为
Figure FDA00029935520400000834
其中，
Figure FDA00029935520400000835
表示
Figure FDA00029935520400000836
中的第j个直方图节点的出现概率，
Figure FDA00029935520400000837
表示
Figure FDA00029935520400000838
中的第j个直方图节点的出现概率，
Figure FDA00029935520400000839
表示
Figure FDA00029935520400000840
中的第j个直方图节点的出现概率，
Figure FDA00029935520400000841
表示
Figure FDA00029935520400000842
中的第j个直方图节点的出现概率，
Figure FDA00029935520400000843
表示
Figure FDA0002993552040000091
中的第j个直方图节点的出现概率，
Figure FDA0002993552040000092
表示
Figure FDA0002993552040000093
中的第j个直方图节点的出现概率；
步骤9_6：计算
Figure FDA0002993552040000094
的均值、标准差和斜度，对应记为
Figure FDA0002993552040000095
Figure FDA0002993552040000096
和
Figure FDA0002993552040000097
Figure FDA0002993552040000098
Figure FDA0002993552040000099
Figure FDA00029935520400000910
计算
Figure FDA00029935520400000911
的均值、标准差和斜度，对应记为
Figure FDA00029935520400000912
Figure FDA00029935520400000913
和
Figure FDA00029935520400000914
Figure FDA00029935520400000915
Figure FDA00029935520400000916
Figure FDA00029935520400000917
计算
Figure FDA00029935520400000918
的均值、标准差和斜度，对应记为
Figure FDA00029935520400000919
Figure FDA00029935520400000920
和
Figure FDA00029935520400000921
Figure FDA00029935520400000922
Figure FDA00029935520400000923
Figure FDA00029935520400000924
计算
Figure FDA00029935520400000925
的均值、标准差和斜度，对应记为
Figure FDA00029935520400000926
Figure FDA00029935520400000927
和
Figure FDA00029935520400000928
Figure FDA00029935520400000929
计算
Figure FDA00029935520400000930
的均值、标准差和斜度，对应记为
Figure FDA00029935520400000931
和
Figure FDA00029935520400000932
Figure FDA00029935520400000933
Figure FDA00029935520400000934
计算
Figure FDA00029935520400000935
的均值、标准差和斜度，对应记为
Figure FDA00029935520400000936
Figure FDA00029935520400000937
和
Figure FDA00029935520400000938
Figure FDA00029935520400000939
Figure FDA00029935520400000940
Figure FDA00029935520400000941
步骤9_7：将αorg、βorg、
Figure FDA0002993552040000101
和
Figure FDA0002993552040000102
按序排列构成
Figure FDA0002993552040000103
的特征矢量，记为Forg，
Figure FDA0002993552040000104
并将αsti、βsti、
Figure FDA0002993552040000105
Figure FDA0002993552040000106
和
Figure FDA0002993552040000107
按序排列构成Isti的特征矢量，记为Fsti，
Figure FDA0002993552040000108
步骤9_8：计算Isti的全局特征矢量Fglobal，Fglobal＝Forg-Fsti。
CN202110323106.5A 2021-03-26 2021-03-26 一种拼接图像质量评价方法 Active CN113192003B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110323106.5A CN113192003B (zh) 2021-03-26 2021-03-26 一种拼接图像质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110323106.5A CN113192003B (zh) 2021-03-26 2021-03-26 一种拼接图像质量评价方法

Publications (2)

Publication Number Publication Date
CN113192003A CN113192003A (zh) 2021-07-30
CN113192003B true CN113192003B (zh) 2023-04-28

Family

ID=76973940

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110323106.5A Active CN113192003B (zh) 2021-03-26 2021-03-26 一种拼接图像质量评价方法

Country Status (1)

Country Link
CN (1) CN113192003B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972169A (zh) * 2022-03-30 2022-08-30 宁波大学 一种全景拼接图像质量评价方法
CN115239724B (zh) * 2022-09-22 2022-11-22 鹰驾科技（深圳）有限公司 一种360度全景环视拼接图像分析评价方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014092193A1 (ja) * 2012-12-14 2014-06-19 株式会社コンセプト 画像処理装置、画像処理方法、画像処理プログラム、プログラム及びカメラ付き移動端末装置
JPWO2014092193A1 (ja) * 2013-05-28 2017-01-12 株式会社コンセプト 画像処理装置、画像処理方法、画像処理プログラム、プログラム及びカメラ付き移動端末装置
CN108805825A (zh) * 2018-05-03 2018-11-13 宁波大学 一种重定位图像质量评价方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014092193A1 (ja) * 2012-12-14 2014-06-19 株式会社コンセプト 画像処理装置、画像処理方法、画像処理プログラム、プログラム及びカメラ付き移動端末装置
JPWO2014092193A1 (ja) * 2013-05-28 2017-01-12 株式会社コンセプト 画像処理装置、画像処理方法、画像処理プログラム、プログラム及びカメラ付き移動端末装置
CN108805825A (zh) * 2018-05-03 2018-11-13 宁波大学 一种重定位图像质量评价方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李素梅 ; 常永莉 ; 韩旭 ; 胡佳洁 ; .基于稀疏字典学习的立体图像质量评价.天津大学学报(自然科学与工程技术版).2018,(01),全文. *
王珊珊 ; 邵枫 ; 蒋刚毅 ; 郁梅 ; 彭宗举.基于双目能量响应的无参考立体图像质量评价.光电子.激光.2014,(004),全文. *

Also Published As

Publication number Publication date
CN113192003A (zh) 2021-07-30

Similar Documents

Publication Publication Date Title
CN103093444B (zh) 基于自相似性和结构信息约束的图像超分辨重建方法
CN108428227B (zh) 基于全卷积神经网络的无参考图像质量评价方法
CN104008538B (zh) 基于单张图像超分辨率方法
CN113192003B (zh) 一种拼接图像质量评价方法
CN108805825B (zh) 一种重定位图像质量评价方法
Pan et al. No-reference image quality assessment via multibranch convolutional neural networks
CN111292336B (zh) 基于分段式球面投影格式的全向图像无参考质量评价方法
CN102402784A (zh) 一种基于最近特征线流形学习的人脸图像超分辨率方法
CN112258464B (zh) 一种全参考遥感图像融合质量评价方法
CN112184672A (zh) 一种无参考图像质量评价方法及系统
CN107845064B (zh) 基于主动采样和高斯混合模型的图像超分辨重建方法
CN111641822B (zh) 一种重定位立体图像质量评价方法
CN108492275B (zh) 基于深度神经网络的无参考立体图像质量评价方法
Hu et al. Hierarchical discrepancy learning for image restoration quality assessment
CN107292331B (zh) 基于无监督特征学习的无参考屏幕图像质量评价方法
CN110930398B (zh) 一种基于Log-Gabor相似度的全参考视频质量评价方法
Fu et al. Screen content image quality assessment using Euclidean distance
CN105321175B (zh) 一种基于结构纹理稀疏表示的立体图像质量客观评价方法
CN106960432A (zh) 一种无参考立体图像质量评价方法
CN113450319B (zh) 一种基于klt技术的超分辨率重建图像质量评价方法
CN114067006B (zh) 一种基于离散余弦变换的屏幕内容图像质量评价方法
CN112950592B (zh) 基于高维离散余弦变换的无参考光场图像质量评价方法
CN114972072A (zh) 基于注意力机制的图像去马赛克方法
Ji et al. A content-based multi-scale network for single image super-resolution
CN112419234B (zh) 一种基于几何特征的重定位立体图像质量评价方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231207

Address after: 400000, 2nd Floor, No. 27-5 Fengsheng Road, Jinfeng Town, Chongqing High tech Zone, Jiulongpo District, Chongqing

Patentee after: CHONGQING BIO NEWVISION MEDICAL EQUIPMENT Ltd.

Address before: 1104, Building A, Zhiyun Industrial Park, No. 13 Huaxing Road, Henglang Community, Dalang Street, Longhua District, Shenzhen City, Guangdong Province, 518110

Patentee before: Shenzhen Hongyue Information Technology Co.,Ltd.

Effective date of registration: 20231207

Address after: 1104, Building A, Zhiyun Industrial Park, No. 13 Huaxing Road, Henglang Community, Dalang Street, Longhua District, Shenzhen City, Guangdong Province, 518110

Patentee after: Shenzhen Hongyue Information Technology Co.,Ltd.

Address before: 315211, Fenghua Road, Jiangbei District, Zhejiang, Ningbo 818

Patentee before: Ningbo University