CN114663562A - 基于人工智能和模式识别的中间画图像优化方法及系统 - Google Patents

基于人工智能和模式识别的中间画图像优化方法及系统 Download PDF

Info

Publication number
CN114663562A
CN114663562A CN202210318671.7A CN202210318671A CN114663562A CN 114663562 A CN114663562 A CN 114663562A CN 202210318671 A CN202210318671 A CN 202210318671A CN 114663562 A CN114663562 A CN 114663562A
Authority
CN
China
Prior art keywords
abnormal
edge
picture
degree
fluctuation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210318671.7A
Other languages
English (en)
Other versions
CN114663562B (zh
Inventor
李志坚
杜尔登
叶宾
王留红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei Central China Technology Development Of Electric Power Co ltd
Original Assignee
Jiangsu Yuan Zhen Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Yuan Zhen Intelligent Technology Co ltd filed Critical Jiangsu Yuan Zhen Intelligent Technology Co ltd
Priority to CN202210318671.7A priority Critical patent/CN114663562B/zh
Publication of CN114663562A publication Critical patent/CN114663562A/zh
Application granted granted Critical
Publication of CN114663562B publication Critical patent/CN114663562B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于人工智能和模式识别的中间画图像优化方法及系统，该方法的具体包括获取各段视频帧的波动指标，通过视频波动指标选取异常段视频；将获取的异常段视频中存在的异常中间画进行提取，然后进行局部边缘检测，获取波动边缘程度；根据波动边缘程度对异常部件边缘进行像素点主成分分析，将位于同一主成分方向的此类像素点合并形成同一主成分方向的边缘，将合并后的边缘依据异常程度和边缘灰度进行轮廓拟合，得到非线性曲线，采用非线性插值法，完成边缘轮廓优化；该方法具有获取波动程度准确度高，泛化能力更好，边缘细化更加准确和有效的优点，优化后的边缘消除了动画播放过程中因中间画异常造成流畅度损失的问题。

Description

基于人工智能和模式识别的中间画图像优化方法及系统
技术领域
本发明涉及中间画优化技术领域，具体涉及一种基于人工智能和模式识别的中间画图像优化方法及系统。
背景技术
动画也称连续图画，连续图画包括原画、小原画、关键帧以及中间画，这些画中起到描述故事内容最重要且最具有代表性的动作画为关键帧，一个动作的第一张和最后一张被称为原画，其余部分中，组成时间和空间的部分被称为小原画，连接原画与小原画的其他张被称为中间画，中间画是为了呈现人物，在连续图画间的动态效果图；当画师绘制中间画时，常因画师的个人习惯或画师的误操作导致原画和中间画之间出现部件不匹配的问题，比如由于画师的作画风格和自身的严谨度，原画和小原画的人物部件边缘通常会出现多条重复且不连续的线条或间断线条，造成中间画在生成的过程中出现部件边缘缺失问题，造成中间画间出现部件突变的现象，进而影响整体画面的流畅度。
基于上述问题，授权公开号为CN101436310B的中国专利公开了二维动画过程中的中间帧自动生成的方法，该方法提出了一种基于区域划分、特征点匹配和贝塞尔曲线插值的方式生成中间帧的方法。
上述公开专利虽然解决了二维动画制作软件无法在镜头中的人物形象或场景结构比较复杂的情况下自动生成中间帧的问题，但是未考虑到画师在制作画时，不同画之间的人物匹配度存在误差导致视频波动边缘程度出现异常，进而导致出现异常中间画图像，异常中间画图像直接影响整体画面的流畅度问题。
发明内容
针对现有技术存在的不足，本发明的目的在于提供一种提高整体画面流畅度的基于人工智能和模式识别的中间画图像优化方法及系统。
为了实现上述目的，本发明采用以下技术方案予以实现：
一种基于人工智能和模式识别的中间画图像优化方法，具体包括以下步骤；
对动画视频图像进行分段处理，并将每段视频的中间画和原画按照比例进行分帧处理；对每段视频中的中间画进行异常检测，获取异常中间画图像；
提取异常中间画图像，对异常中间画中异常区域的部件边缘进行检测，获取异常区域部件的边缘轮廓，将原画的部件边缘轮廓与异常区域部件的边缘轮廓进行相似性度量，获取局部异常波动程度；
对异常波动程度超过设定阈值的异常部件边缘进行像素点主成分分析，提取异常部件边缘的像素点，并利用该异常部件边缘像素点的灰度梯度方向和像素坐标得到相似性度量；根据相似性度量获取同一主成分方向的像素点，并对获取的此类像素点进行合并形成同一主成分方向的边缘；对合并后的边缘依据异常程度和边缘灰度的方式进行轮廓拟合，得到非线性曲线，采用非线性插值法，完成边缘轮廓优化。
进一步地，所述每段视频的中间画和原画按照如下比例进行分帧处理：
Figure BDA0003570712710000021
式中：N为中间画与原画的比值，Nz为中间画的数量，Ny为原画数量；当中间画和原画的比值满足上述公式时直接划分为一段；当中间画和原画的比值不满足上述公式时，则直接划为一段作为视频最后一段。
进一步地，所述获取异常中间画图像的具体步骤如下：
语义分割网络训练，对动画视频中原画和小原画的部件进行分别标注，将标注后的原画和小原画图像送入语义分割编码器和解码器进行训练，得到语义分割网络训练；
对原画中的轨目信息进行识别，获得画面切换速度v；
将分段出的中间画输入到语义分割网络中，得到中间画的人物分割区域，获取人物整体光流信息Vx和Vy，通过该人物的光流信息得到光流速度V和光流方向θ；
所述光流速度V的表示公式为：
Figure BDA0003570712710000031
式中：Vx为人物整体在x轴上的光流信息，Vy为人物整体在y轴上的光流信息；
所述光流方向θ的表示公式为：
Figure BDA0003570712710000032
式中：
Figure BDA0003570712710000033
表示第i帧中像素点的横坐标，
Figure BDA0003570712710000034
表示第i帧中像素点的纵坐标；
通过得到的光流速度V计算区域平均速度变化量：
Figure BDA0003570712710000035
将该区域平均速度变化量与画面切换速度v进行互验证，得到突变区域的异常波动程度
Figure BDA0003570712710000036
其中，p表示波动频率，通过该波动程度判断异常中间画图像。
进一步地，所述异常中间画中异常区域为人物异常区域，对该人物异常区域的部件边缘检测按照如下方法进行：
对提取的异常中间画进行人物部件细分块；
获取人物部件中的人物异常区域，对异常区域内的部件进行边缘提取，获取部件中的边缘轮廓；
对视频的原画和分段后小原画进行初始模板匹配，所述原画作为模板，获取原画各部件轮廓和人物异常区域部件的边缘轮廓的相似性度量δ：表达式为：
Figure BDA0003570712710000041
Figure BDA0003570712710000042
式中：
Figure BDA0003570712710000048
为异常边缘像素点的灰度梯度方向；Gy,Gx分别表示相邻边缘点y轴和x轴对应的灰度差值，ωk表示权重系数；
将相似性度量δ作为局部异常程度δ′。
进一步地，当异常区域内部件位置的波动程度
Figure BDA0003570712710000043
时，通过异常波动程度获取相似度优化参数τ，该相似度优化参数τ的表达式为：
Figure BDA0003570712710000044
式中：
Figure BDA0003570712710000045
表示第k个异常部件的波动程度，D1表示异常部件的自身相似度，获得优化后的局部异常程度δ′＝δ+τ。
进一步地，所述像素坐标得到相似性度量的表达式为：
Figure BDA0003570712710000046
式中：
Figure BDA0003570712710000049
为异常边缘像素点的灰度梯度方向，ε表示趋近于0的数，
Figure BDA0003570712710000047
表示像素坐标点。
进一步地，所述当异常部件边缘中相似度为1时，则说明该像素点位于同一主成分方向上。
一种基于人工智能和模式识别的中间画图像优化系统，该系统包括异常中间画筛选模块、中间画异常分析模块以及中间画优化模块；
所述异常中间画筛选模块用于对动画视频图像进行分段处理，并将每段视频的中间画和原画按照比例进行分帧处理；对每段视频中得中间画进行异常检测，获取异常中间画图像；
所述中间画异常分析模块用于提取异常中间画图像，对异常中间画中异常区域的部件边缘进行检测，获取异常区域部件的边缘轮廓，将原画的部件边缘轮廓与异常区域部件的边缘轮廓进行相似性度量，获取局部异常波动程度；
所述中间画优化模块用于对异常波动程度超过设定阈值的异常部件边缘进行像素点主成分分析，提取异常部件边缘的像素点，并利用该异常部件边缘像素点的灰度梯度方向和像素坐标得到相似性度量；根据相似性度量获取同一主成分方向的像素点，并对获取的此类像素点进行合并形成同一主成分方向的边缘；对合并后的边缘依据异常程度和边缘灰度的方式进行轮廓拟合，得到非线性曲线，采用非线性插值法，完成边缘轮廓优化。
本发明与现有技术相比，具有如下技术效果：
本发明通过轨目信息和光流信息进行得到准确的异常波动边缘程度，然后对模板匹配和对变化图像之间的匹配存在误差进行动态矫正，并利用局部波动程度进行优化，泛化能力更好，利用主成分分析方法完成波动边缘细化，使得边缘细化更加精确且有效，优化后的边缘轮廓消除了动画播放过程中因中间画原因造成流畅度损失的问题，提高了整体画面的流畅度。
附图说明
图1为本发明方法的流程框图；
图2为本发明方法中获取异常中间画的流程框图；
图3为本发明方法中人物异常区域部件边缘检测的流程框图；
图4为本发明方法中中间画优化的流程框图；
图5为本发明系统的示意图；
图6为本发明系统中异常中间画筛选模块的结构示意图；
图7为本发明系统中异常中间画分析模块的结构示意图；
图8为本发明系统中中间画优化模块的结构示意图。
具体实施方式
以下结合实施例对本发明的具体内容做进一步详细解释说明。
实施例一
本发明所针对的具体场景为：中间画智能优化场景，因画师的个人习惯或画师的误操作易导致原画和中间画之间，部件匹配存在问题，造成生成中间画间会出现部件突变的现象，影响整体画面的流畅度。
如图1所示，为了解决上述技术问题，本发明提供一种基于人工智能和模式识别的中间图像优化方法，具体包括以下步骤；
获取异常中间画图像：首先对动画视频图像进行分段处理，并将每段视频的中间画和原画按照以下比例进行分帧处理：
Figure BDA0003570712710000061
式中，N为中间画与原画的比值，Nz为中间画的数量，Ny为原画数量；具体为每段视频中应满足每一份中间画数量Nz对应5份原画数量Ny，视频最后不满足上述对应比值的直接划分为一段，将分段后的视频进行波动分析。原理：在一段视频中，原则上仅存在部分中间画和原画，通过中间画的人物背景进行遗传算法自生长，自动生成视频中的其他中间画，保证视频的流畅度和细节。
该步骤的目的是根据动画视频进行分段视频分析，获取各段视频帧的波动指标N，能够带来的好处是通过波动指标N能够快速选取异常段视频。
然后对每段异常视频段的中间画进行异常检测，首先通过语义分割网络得到中间画的人物、背景区域，然后利用稠密光流法获取不同区域的光流信息，最后利用不同区域的光流信息获取异常中间画。
参照图2，异常中间画的具体获取步骤如下：
获取语义分割网络：对原画和小原画人物区域和背景区域进行标注，人物区域的像素点标注为1，背景区域的像素点标注为0，将标注后的原画和小原画图像送入语义分割编码器和解码器进行训练，损失函数采用交叉熵，最终得到原画和小原画的人物分割区域。此处的边缘分析选用的是人物异常区域，可不仅包括人物，还应包括中间画中所有目标整体边缘与背景之间的分割，本实施例以人物作为例子进行后续说明。
获取画面切换速度v：对原画中的轨目信息进行识别，基于先验信息得到轨目信息出现在固定的右上方区域，固定大小。将轨目信息所在的区域作为轨目ROI区域，对区域内的轨目信息进行分类识别。通过霍夫直线检测获取ROI区域内的所有直线，根据直线的向量方向确定轴线和分割线，向量方向为x轴即为分割线，为y轴即为轴线，通过长度排序来确定为一次分割线、二次分割线等，通过分割线在分割轴线的间隔大小来判断画面切换速度v。
获取人物各区域的光流速度V和光流方向θ：将分段出的中间画输入到已经训练好的语义分割网络中，得到中间画的人物分割区域，对连续帧视频段进行稠密光流分析，获取人物整体光流信息Vx和Vy，通过该人物的光流信息获取人物各区域的光流速度V和光流方向θ；
光流速度V的表达是为：
Figure BDA0003570712710000071
式中：Vx为人物整体在x轴上的光流信息，Vy为人物整体在y轴上的光流信息。
光流方向θ的表达式为：
Figure BDA0003570712710000072
式中：
Figure BDA0003570712710000073
表示第i帧中像素点的横坐标，
Figure BDA0003570712710000074
表示第i帧中像素点的纵坐标，此处的该人物各区域是通过等距划分得到的，此处一个人物在不考虑尺寸问题的情况下获取6个区域的光流速度V和光流方向θ。
获取异常波动程度
Figure BDA0003570712710000088
将上述得到的6个区域稠密光流点的光流速度V和光流方向θ作为二维坐标点进行傅里叶变换，得到相同区域边缘光流点的时域和频域特征，同时计算出各区域平均速度变化量
Figure BDA0003570712710000081
其表达为：
Figure BDA0003570712710000082
其中，光流速度的获取方法为：根据多帧之间对光流点的运动距离和各帧间的时间间隔获得。然后将各区域变化量
Figure BDA0003570712710000083
与上述获取的画面切换速度v进行互验证，得到突变区域的异常波动程度
Figure BDA0003570712710000084
该异常波动程度
Figure BDA0003570712710000085
的表达式为：
Figure BDA0003570712710000086
其中，p表示波动频率，通过相邻帧之间的波动次数统计获得，获得的异常波动程度进行归一化处理，排除量纲之间的影响，通过该波动异常程度
Figure BDA0003570712710000087
判断突变区域视频段中的异常中间画，从而获取异常中间画。
举例说明，稠密光流法能够获取人物的边缘像素点作为光流点，光流点的运动实际上为人物边缘像素点的运动，正常情况下，人物各区域的波动速度应该与切换速度v保持一致，假设正常的波动频率p为3帧波动一次，波动幅度和帧间的时间间隔即为波动的速度V0，当某区域的波动频率p变为3帧波动两次，波动幅度和帧间的时间间隔得到的波动速度变为V′，波动速度之间速度差值的e次方，表征的就是该区域的异常波动程度，其中，波动幅度为通过各区域对应边缘像素点在相邻帧之间的运动距离。
上述步骤的有益效果是，通过轨目信息和光流信息可以获得更为准确的波动程度。
提取异常中间画图像：对获得的异常段视频进行异常中间画图像提取，异常中间画图像中异常区域为人物异常区域，对该人物异常区域的部件边缘进行检测，获取部件边缘波动程度。
参照图3，对该人物异常区域部件边缘检测按照如下方法进行：
获取部件中边缘轮廓：通过获取的异常中间画图像进行人物部件细分块，部件分块的方法采用MultiPose网络模型实现，具体细节可参照公知模型步骤。然后对人物异常区域内存在的部件进行边缘提取，获取部件中边缘轮廓。
获取局部异常程度：由于画师的作画风格和自身的严谨度，原画和小原画的人物部件边缘通常会出现多条重复且不连续的线条或间断线条，造成中间画在生成的过程中出现部件边缘缺失问题。根据上述信息对视频的原画和分段后的小原画进行初始模板匹配，原画作为模板，对人物各部件进行初始缺失检测，将原画中各部件轮廓和人物异常区域部件的边缘轮廓进行相似性度量，表达为：
Figure BDA0003570712710000091
式中，
Figure BDA0003570712710000092
Gy,Gx分别表示相邻边缘点y轴和x轴对应的灰度差值，ωk表示权重系数，通过轨目分割线的间隔长度l比上轨目轴线总长度lmax获得，权重越大，允许的相似度差异越大；将相似性度量δ作为局部异常程度δ′。
进一步地，对局部异常程度δ′进行优化，设定自适应阈值M1＝0.2ωk，该阈值为经验值，可根据不同的动画视频进行实时修改，根据阈值M1对异常部件进行逐图像分析，确定所有异常中间画的异常部件位置。然后通过得到的异常波动程度
Figure BDA0003570712710000093
进行验证，当异常部件位置的波动程度
Figure BDA0003570712710000094
时，说明模板匹配存在误差，通过异常波动程度
Figure BDA0003570712710000101
获取相似度优化参数τ，该相似度优化参数τ的表达式为：
Figure BDA0003570712710000102
式中：
Figure BDA0003570712710000103
表示第k个异常部件的波动程度，D1表示异常部件的自身相似度。通过该相似度优化参数τ对相似度D1的阈值M1进行优化，最终，得到优化后的局部异常程度δ′，表达式为：δ′＝δ+τ。
上述步骤的有益效果是，对模板匹配和对变化图像之间的匹配误差进行动态矫正，并利用局部波动程度进行优化，泛化能力更好。
参照图4，中间画边缘优化：设定阈值M2＝0.4，当局部异常程度δ′超过阈值M2时，对异常部件边缘进行像素点主成分分析，提取异常边缘像素点8邻域内的灰度梯度方向和像素坐标，所有边缘像素点的灰度梯度方向通过计算公式
Figure BDA0003570712710000104
进行计算获取，利用异常部件边缘像素点的灰度梯度方向
Figure BDA0003570712710000107
和像素坐标进行相似性度量，该相似性度量的表达式为：
Figure BDA0003570712710000105
式中，ε表示趋近于0的数，避免D无意义，
Figure BDA0003570712710000106
表示像素坐标点。
将异常部件边缘中相似度近似为1时，说明该像素点位于同一主成分方向，将此类像素点进行合并形成同一主成分方向的边缘。然后对合并后的边缘依据异常程度和边缘灰度的方式进行轮廓拟合，得到非线性曲线，采用非线性插值法，完成对边缘轮廓的优化。
实施例二
如图5所示，本发明提供一种基于人工智能和模式识别的中间画图像优化系统，包括异常中间画筛选模块、中间画异常分析模块以及中间画优化模块。
参照图6，异常中间画筛选模块包括动画视频分段单元和中间画异常检测单元。
动画视频分段单元用于对动画视频图像进行分段处理，并将每段视频的中间画和原画按照比例进行分帧处理。
中间画异常检测单元用于对每段视频中的中间画进行异常检测，获取异常中间画图像。
参照图7，中间画异常分析模块包括异常中间画提取单元、部件边缘检测单元以及中间画异常分析单元。
异常中间画提取单元用于提取异常中间画图像。
部件边缘检测单元用于对异常中间画中异常区域的部件边缘进行检测，获取异常区域部件的边缘轮廓。
异常中间画分析单元用于将原画的部件边缘轮廓与异常区域部件的边缘轮廓进行相似性度量，获取局部异常波动程度。
参照图8，中间画优化模块包括像素点主成分分析单元和边缘轮廓优化单元。
像素点主成分分析单元用于对异常波动程度超过设定阈值的异常部件边缘进行像素点主成分分析，提取异常部件边缘的像素点，并利用该异常部件边缘像素点的灰度梯度方向和像素坐标得到相似性度量；根据相似性度量获取同一主成分方向的像素点，并对获取的此类像素点进行合并形成同一主成分方向的边缘。
边缘轮廓优化单元用于对合并后的边缘依据异常程度和边缘灰度的方式进行轮廓拟合，得到非线性曲线，采用非线性插值法，完成边缘轮廓优化。
本发明通过轨目信息和光流信息进行得到准确的异常波动边缘程度，然后对模板匹配和变化图像之间匹配存在的误差进行动态矫正，并利用局部波动程度进行优化，提高泛化能力，利用主成分分析方法完成波动边缘细化，使得边缘细化更加精确且有效，优化后的边缘轮廓消除了动画播放过程中因中间画原因造成流畅度损失的问题，提高了整体画面的流畅度。

Claims (8)

1.一种基于人工智能和模式识别的中间画图像优化方法，其特征在于：具体包括以下步骤；
对动画视频图像进行分段处理，并将每段视频的中间画和原画按照比例进行分帧处理；对每段视频中的中间画进行异常检测，获取异常中间画图像；
提取异常中间画图像，对异常中间画中异常区域的部件边缘进行检测，获取异常区域部件的边缘轮廓，将原画的部件边缘轮廓与异常区域部件的边缘轮廓进行相似性度量，获取局部异常波动程度；
对异常波动程度超过设定阈值的异常部件边缘进行像素点主成分分析，提取异常部件边缘的像素点，并利用该异常部件边缘像素点的灰度梯度方向和像素坐标得到相似性度量；根据相似性度量获取同一主成分方向的像素点，并对获取的此类像素点进行合并形成同一主成分方向的边缘；对合并后的边缘依据异常程度和边缘灰度的方式进行轮廓拟合，得到非线性曲线，采用非线性插值法，完成边缘轮廓优化。
2.如权利要求1所述的基于人工智能和模式识别的中间画流畅度优化方法，其特征在于，所述每段视频的中间画和原画按照如下比例进行分帧处理：
Figure FDA0003570712700000011
式中：N为中间画与原画的比值，Nz为中间画的数量，Ny为原画数量；当中间画和原画的比值满足上述公式时直接划分为一段；当中间画和原画的比值不满足上述公式时，则直接划为一段作为视频最后一段。
3.如权利要求1所述的基于人工智能和模式识别的中间画图像度优化方法，其特征在于，所述获取异常中间画图像的具体步骤如下：
语义分割网络训练，对动画视频中原画和小原画的部件进行分别标注，将标注后的原画和小原画图像送入语义分割编码器和解码器进行训练，得到语义分割网络训练；
对原画中的轨目信息进行识别，获得画面切换速度v；
将分段出的中间画输入到语义分割网络中，得到中间画的人物分割区域，获取人物整体光流信息Vx和Vy，通过该人物的光流信息得到光流速度V和光流方向θ；
所述光流速度V的表示公式为：
Figure FDA0003570712700000021
式中：Vx为人物整体在x轴上的光流信息，Vy为人物整体在y轴上的光流信息；
所述光流方向θ的表示公式为：
Figure FDA0003570712700000022
式中：
Figure FDA0003570712700000023
表示第i帧中像素点的横坐标，
Figure FDA0003570712700000024
表示第i帧中像素点的纵坐标；
通过得到的光流速度V计算区域平均速度变化量：
Figure FDA0003570712700000025
将该区域平均速度变化量与画面切换速度v进行互验证，得到突变区域的异常波动程度
Figure FDA0003570712700000026
其中，p表示波动频率，通过该波动程度判断异常中间画图像。
4.如权利要求3所述的基于人工智能和模式识别的中间画图像优化方法，其特征在于，所述异常中间画中异常区域为人物异常区域，对该人物异常区域的部件边缘检测按照如下方法进行：
对提取的异常中间画进行人物部件细分块；
获取人物部件中的人物异常区域，对异常区域内的部件进行边缘提取，获取部件中的边缘轮廓；
对视频的原画和分段后小原画进行初始模板匹配，所述原画作为模板，获取原画各部件轮廓和人物异常区域部件的边缘轮廓的相似性度量δ：表达式为：
Figure FDA0003570712700000031
Figure FDA0003570712700000032
式中：
Figure FDA0003570712700000038
为异常边缘像素点的灰度梯度方向；Gy,Gx分别表示相邻边缘点y轴和x轴对应的灰度差值，ωk表示权重系数；
将相似性度量δ作为局部异常程度δ′。
5.如权利要求4所述的基于人工智能和模式识别的中间画图像优化方法，其特征在于，当异常区域内部件位置的波动程度
Figure FDA0003570712700000033
时，通过异常波动程度获取相似度优化参数τ，该相似度优化参数τ的表达式为：
Figure FDA0003570712700000034
式中：
Figure FDA0003570712700000035
表示第k个异常部件的波动程度，D1表示异常部件的自身相似度，获得优化后的局部异常程度δ′＝δ+τ。
6.如权利要求5所述的基于人工智能和模式识别的中间画图像优化方法，其特征在于，所述像素坐标得到相似性度量的表达式为：
Figure FDA0003570712700000036
式中：
Figure FDA0003570712700000039
为异常边缘像素点的灰度梯度方向，ε表示趋近于0的数，
Figure FDA0003570712700000037
表示像素坐标点。
7.如权利要求1所述的基于人工智能和模式识别的中间画图像优化方法，其特征在于，所述当异常部件边缘中相似度为1时，则说明该像素点位于同一主成分方向上。
8.一种基于人工智能和模式识别的中间画图像优化系统，其特征在于：该系统包括异常中间画筛选模块、中间画异常分析模块以及中间画优化模块；
所述异常中间画筛选模块用于对动画视频图像进行分段处理，并将每段视频的中间画和原画按照比例进行分帧处理；对每段视频中得中间画进行异常检测，获取异常中间画图像；
所述中间画异常分析模块用于提取异常中间画图像，对异常中间画中异常区域的部件边缘进行检测，获取异常区域部件的边缘轮廓，将原画的部件边缘轮廓与异常区域部件的边缘轮廓进行相似性度量，获取局部异常波动程度；
所述中间画优化模块用于对异常波动程度超过设定阈值的异常部件边缘进行像素点主成分分析，提取异常部件边缘的像素点，并利用该异常部件边缘像素点的灰度梯度方向和像素坐标得到相似性度量；根据相似性度量获取同一主成分方向的像素点，并对获取的此类像素点进行合并形成同一主成分方向的边缘；对合并后的边缘依据异常程度和边缘灰度的方式进行轮廓拟合，得到非线性曲线，采用非线性插值法，完成边缘轮廓优化。
CN202210318671.7A 2022-03-29 2022-03-29 基于人工智能和模式识别的中间画图像优化方法及系统 Active CN114663562B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210318671.7A CN114663562B (zh) 2022-03-29 2022-03-29 基于人工智能和模式识别的中间画图像优化方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210318671.7A CN114663562B (zh) 2022-03-29 2022-03-29 基于人工智能和模式识别的中间画图像优化方法及系统

Publications (2)

Publication Number Publication Date
CN114663562A true CN114663562A (zh) 2022-06-24
CN114663562B CN114663562B (zh) 2023-04-28

Family

ID=82033087

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210318671.7A Active CN114663562B (zh) 2022-03-29 2022-03-29 基于人工智能和模式识别的中间画图像优化方法及系统

Country Status (1)

Country Link
CN (1) CN114663562B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309649A (zh) * 2023-05-17 2023-06-23 青岛市妇女儿童医院（青岛市妇幼保健院、青岛市残疾儿童医疗康复中心、青岛市新生儿疾病筛查中心） 一种基于ct影像的喉部病变异常区域分割系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1040395A (ja) * 1996-07-19 1998-02-13 Hitachi Ltd 動画像の輪郭抽出方法
JP2001256508A (ja) * 2000-03-13 2001-09-21 Sharp Corp アニメーション作成装置および方法、ならびにコンピュータで実行可能なアニメーション作成方法のプログラムを記録したコンピュータ読取可能な記録媒体
CN101964116A (zh) * 2009-07-24 2011-02-02 迪士尼企业公司 紧凑的插中
KR102244187B1 (ko) * 2019-10-31 2021-04-26 한국과학기술원 예외적 움직임에 강인한 비디오 프레임 보간 방법 및 그 장치
CN113393562A (zh) * 2021-06-16 2021-09-14 黄淮学院 基于视觉传达的动画中间画智能生成方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1040395A (ja) * 1996-07-19 1998-02-13 Hitachi Ltd 動画像の輪郭抽出方法
JP2001256508A (ja) * 2000-03-13 2001-09-21 Sharp Corp アニメーション作成装置および方法、ならびにコンピュータで実行可能なアニメーション作成方法のプログラムを記録したコンピュータ読取可能な記録媒体
CN101964116A (zh) * 2009-07-24 2011-02-02 迪士尼企业公司 紧凑的插中
KR102244187B1 (ko) * 2019-10-31 2021-04-26 한국과학기술원 예외적 움직임에 강인한 비디오 프레임 보간 방법 및 그 장치
WO2021085757A1 (ko) * 2019-10-31 2021-05-06 한국과학기술원 예외적 움직임에 강인한 비디오 프레임 보간 방법 및 그 장치
CN113393562A (zh) * 2021-06-16 2021-09-14 黄淮学院 基于视觉传达的动画中间画智能生成方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309649A (zh) * 2023-05-17 2023-06-23 青岛市妇女儿童医院（青岛市妇幼保健院、青岛市残疾儿童医疗康复中心、青岛市新生儿疾病筛查中心） 一种基于ct影像的喉部病变异常区域分割系统

Also Published As

Publication number Publication date
CN114663562B (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
CN111553837B (zh) 一种基于神经风格迁移的艺术文本图像生成方法
CN112766160A (zh) 基于多级属性编码器和注意力机制的人脸替换方法
CN107273905B (zh) 一种结合运动信息的目标主动轮廓跟踪方法
CN110826389B (zh) 基于注意力3d频率卷积神经网络的步态识别方法
CN107680119A (zh) 一种基于时空上下文融合多特征及尺度滤波的跟踪算法
CN112418095A (zh) 一种结合注意力机制的面部表情识别方法及系统
CN109711268B (zh) 一种人脸图像筛选方法及设备
CN110110646A (zh) 一种基于深度学习的手势图像关键帧提取方法
CN110717896A (zh) 基于显著性标签信息传播模型的板带钢表面缺陷检测方法
CN112270691B (zh) 一种基于动态滤波器网络的单目视频结构和运动预测方法
CN108681689B (zh) 基于生成对抗网络的帧率增强步态识别方法及装置
CN104794446B (zh) 基于合成描述子的人体动作识别方法及系统
CN109544694A (zh) 一种基于深度学习的增强现实系统虚实混合建模方法
CN110110603A (zh) 一种基于面部生理信息的多模态唇读方法
CN111738178A (zh) 一种基于深度学习的戴口罩人脸表情识别方法
CN110879985B (zh) 一种抗噪声数据的人脸识别模型训练方法
CN109840905A (zh) 电力设备锈迹检测方法及系统
CN109028237A (zh) 基于双区域图像采集进行风速调节的油烟机
CN109028223A (zh) 具手势控制视觉检测功能的油烟机及油烟浓度检测方法
CN114663562B (zh) 基于人工智能和模式识别的中间画图像优化方法及系统
CN111414938A (zh) 一种板式换热器内气泡的目标检测方法
CN113011431A (zh) 一种基于MaskRCNN的汉字笔画分割提取方法及系统
CN112488165A (zh) 一种基于深度学习模型的红外行人识别方法及系统
CN113033283A (zh) 一种改进的视频分类系统
CN115830514B (zh) 一种适用于带弯曲河道的全河段表面流速计算方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20231214

Address after: 430070 Hubei Province, Wuhan city Hongshan District Luoyu Road No. 546

Patentee after: HUBEI CENTRAL CHINA TECHNOLOGY DEVELOPMENT OF ELECTRIC POWER Co.,Ltd.

Address before: 221000 room 1209, Xuzhou high tech Zone office building, No.11 Zhujiang East Road, Xuzhou high tech Industrial Development Zone, Jiangsu Province

Patentee before: JIANGSU YUAN ZHEN INTELLIGENT TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right