CN104205807B - 图像处理设备、方法以及程序 - Google Patents

图像处理设备、方法以及程序 Download PDF

Info

Publication number
CN104205807B
CN104205807B CN201380016103.0A CN201380016103A CN104205807B CN 104205807 B CN104205807 B CN 104205807B CN 201380016103 A CN201380016103 A CN 201380016103A CN 104205807 B CN104205807 B CN 104205807B
Authority
CN
China
Prior art keywords
frame
image
moving image
frame line
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201380016103.0A
Other languages
English (en)
Other versions
CN104205807A (zh
Inventor
山田英史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN104205807A publication Critical patent/CN104205807A/zh
Application granted granted Critical
Publication of CN104205807B publication Critical patent/CN104205807B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G06T3/18—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Circuits (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本技术涉及使得可以获得较高品质的循环运动图像的图像处理设备、方法以及程序。帧序列确定单元从输入运动图像材料提取转换源帧序列和转换目的地帧序列。部分帧序列确定单元从转换目的地帧序列提取具有不同长度的若干部分帧序列。匹配处理单元在转换源帧序列和部分帧序列之间执行DP匹配并且确定彼此对应的帧对。混合处理单元将各个帧对的图像混合来生成转换时段帧序列，转换时段帧序列的图像从转换源帧序列的图像转换到转换目的地帧序列的图像。循环运动图像生成单元基于运动图像材料和转换时段帧序列来生成循环运动图像。本技术可以应用于图像处理设备。

Description

图像处理设备、方法以及程序
技术领域
本技术涉及图像处理设备、方法以及程序，特别地本技术涉及被配置成能够获得较高品质的循环运动图像的图像处理设备、方法以及程序。
背景技术
例如，已知从视频图像原材料来创建并且呈现循环运动图像的视频纹理技术。该视频纹理技术是一种在重复重现数秒钟的视频原材料的情况下通过执行图像处理使得重复图像的接合点不突出来创建循环运动图像的方法。
这种循环运动图像可以在视频图像重现期间通过无缝地重现循环运动图像的末端帧和起始帧来呈现视频图像，仿佛该视频图像是无限长的视频图像，其中在所述视频图像上存储有图像的一次重复的价值。此外，由于仅保存视频图像数据的一次重复的价值就足够了，所以循环运动图像可以节省存储量和传输时间。
例如，提供了具有例如水流过瀑布或旗子在风中飘扬的视图的时段的图像，通过重复重现所述图像作为循环运动图像，观察员还可以观看所述图像而没有不协调的感觉。因此，循环运动图像适合于例如观看数码相框、用于网站的广告运动图像和用于个人计算机屏幕的风景运动图像的应用。
作为自动创建循环运动图像的方法，例如已知在NPL1中所公开的视频纹理技术。在视频纹理技术中，自动计算用于重复所述循环运动图像和所述转换帧图像的重现间隔。
更具体地，相对于在视频图像中所包括的每个帧图像，计算两个任意帧图像的相似度。此外，将具有最高的所计算的相似度的一对帧图像配置成重复重现的内点(inpoint)和外点(out point)，并且创建循环运动图像以使得其在所述两个点之间重复重现。此时，在内点和外点之前和之后的转换时段中，执行视频图像淡入淡出处理以使得内点和外点的接合点不突出。
引文列表
NPL1:Video Textures；Arno Schodl,Richard Szeliski,David H.Salesin,Irfan Essa；Proceedings of SIGGRAPH2000；pages489-498,July2000
发明内容
技术问题
然而，在上述技术中，存在其中不能获得具有足够高品质的循环运动图像的情况。
例如，在上述视频纹理技术中在包括非周期运动的视频图像被配置成循环运动图像的原材料的情况下，由于不能求得具有高相似度的内点和外点，所以在重复重现期间的接合点会变得清楚，从而结果不是优选的。因此，期望的是一种创建可以处理较多种类的视频图像原材料的循环运动图像的方法。
鉴于这样的情况设计了本技术，并且将本技术配置成能够获得较高品质的循环运动图像。
问题的解决方案
根据本技术的一个方面，提供了一种图像处理设备，所述图像处理设备创建其中图像在第一运动图像与第二运动图像之间从一个转换到另一个的转换运动图像，所述图像处理设备包括：匹配处理单元，所述匹配处理单元基于构成所述第一运动图像的帧的图像与构成所述第二运动图像的帧的图像之间的相似度来搜索具有相似图像的所述第一运动图像和所述第二运动图像的帧对；重新定位处理单元，所述重新定位处理单元基于彼此相邻的所述帧对的所述第一运动图像的帧的时间延迟和所述第二运动图像的帧的时间延迟来在时间方向上对按照时间序列排列的多个帧对进行重新定位；以及混合处理单元，所述混合处理单元通过如下方式来创建所述转换运动图像：通过将构成所重新定位的帧对的每个帧的图像进行混合而使所述构成所重新定位的帧对的每个帧的图像被配置为所述转换运动图像的帧的图像。
按照时间序列排列的所述多个帧对的所述第一运动图像的帧和所述第二运动图像的帧可以分别按照升序或降序的时间序列来排列。
所述重新定位处理单元可以执行所述重新定位使得利用如下时间延迟对彼此相邻的帧对进行定位：所述时间延迟是通过将所述彼此相邻的帧对的所述第一运动图像的帧的时间延迟与所述第二运动图像的帧的时间延迟加权相加而获得的。
用于加权相加的所述第一运动图像的帧的时间延迟的权重可以被设置成所述彼此相邻的帧对的所述第一运动图像的每个帧的权重的平均值，以及所述第一运动图像的每个帧的权重可以被创建为使得越是位于所述第一运动图像的前侧(leading side)的帧的权重越大。
当以预定帧对作为原点来改变所述第二运动图像相对于所述第一运动图像的重现速度时，匹配处理单元可以基于应当同时呈现的所述第一运动图像与所述第二运动图像的帧对之间的相似度，将若干重现速度的帧对中的任意一个帧对配置成与所述预定帧对相邻的帧对。
所述匹配处理单元可以针对彼此具有不同长度的多个第一运动图像来计算按照时间序列排列的所述多个帧对，以及所述混合处理单元可以使用在针对每个第一运动图像计算出的所述多个帧对中的、其中以关于各个帧的相似度为基础的评估为最高的帧对来创建所述转换运动图像。
所述图像处理设备还可以包括循环运动图像创建单元，所述循环运动图像创建单元基于所述转换运动图像来创建循环运动图像。
根据本技术的另一方面，提供了一种图像处理方法和程序，所述图像处理方法和程序创建其中图像在第一运动图像与第二运动图像之间从一个转换到另一个的转换运动图像，所述图像处理方法和程序包括以下步骤：基于构成所述第一运动图像的帧的图像与构成所述第二运动图像的帧的图像之间的相似度来搜索具有相似图像的所述第一运动图像和所述第二运动图像的帧对；基于彼此相邻的帧对的所述第一运动图像的帧的时间延迟和所述第二运动图像的帧的时间延迟来在时间方向上对按照时间序列排列的多个帧对进行重新定位；以及通过如下方式来创建所述转换运动图像：通过将构成所重新定位的帧对的每个帧的图像进行混合而使所述构成所重新定位的帧对的每个帧的图像被配置为所述转换运动图像的帧的图像。
在本技术的所述方面中，在创建其中图像在第一运动图像与第二运动图像之间从一个转换到另一个的转换运动图像的图像处理中，基于构成所述第一运动图像的帧的图像与构成所述第二运动图像的帧的图像之间的相似度来搜索具有相似图像的所述第一运动图像和所述第二运动图像的帧对；基于彼此相邻的帧对的所述第一运动图像的帧的时间延迟和所述第二运动图像的帧的时间延迟来在时间方向上对按照时间序列排列的多个帧对进行重新定位；以及通过将构成所重新定位的帧对的每个帧的图像进行混合而使所述构成所重新定位的帧对的每个帧的图像被配置为所述转换运动图像的帧的图像来创建所述转换运动图像。
发明的有益效果
根据本技术的各个方面，可以获得较高品质的循环运动图像。
附图说明
图1是描述了使用视频纹理技术来创建循环运动图像的图。
图2是描述二维差分值行的图。
图3是描述二维差分值行和转换代价的图。
图4是描述了使用DP匹配来搜索最小代价路径的图。
图5是描述了使用DP匹配来搜索最小代价路径的图。
图6是描述在DP平面表面上的边的倾斜极限的图。
图7是描述将边长考虑在内的代价的计算的图。
图8是描述了混合处理的图。
图9是描述了创建包括反向重现的循环运动图像的图。
图10是表示图像处理设备的配置示例的图。
图11是描述循环运动图像创建处理的流程图。
图12是示出计算机的配置示例的图。
具体实施方式
在下文中，将参照附图对应用本技术的实施方式进行描述。
<第一实施方式>
[循环运动图像的创建]
首先，将对利用视频纹理技术来创建循环运动图像进行描述。
此外，在该情况下，存在作为循环运动图像的原材料的单个运动图像(视频图像)，并且通过确定重复重现的间隔来从单个运动图像中创建循环运动图像。
例如，如图1所示，提供了运动图像MT11作为原材料，并且使用该运动图像MT11来创建循环运动图像LP11。
此外，在图1中，在表示运动图像MT11和循环运动图像LP11的矩形内的多个矩形分别表示单个帧的图像。此外，在图1中，在图中左端的帧是帧序号为最小的帧，以及在正常重现时段，按照从左端的帧到右端的帧的顺序来执行重现。例如，图中的运动图像MT11的左端的帧为第一帧，以及在右侧与该帧相邻的帧为第二帧。
在视频纹理技术中，在具有两个步骤的处理中创建循环运动图像。
首先，在第一步骤中，从运动图像MT11中确定转换源的帧行和转换目的地的帧行这两个帧行。换句话说，确定转换源和转换目的地的每个帧行(间隔)的内点与外点的对应关系。
在图1的示例中，由运动图像MT11中的五个帧形成的间隔被设置成转换源的帧行TS11，以及由运动图像MT11中的在帧行TS11之前的五个帧形成的间隔被设置成转换目的地的帧行TD11。
在该情况下，在帧行TS11和帧行TD11中，该帧行的前端帧(leading frame)和后端帧(ending frame)对应于其内点和外点。
也就是说，在帧行TS11中，前端帧FSin为内点，以及后端帧FSout为外点。另外，在帧行TD11中，前端帧FDin为内点，以及后端帧FDout为外点。
创建帧行TS11和帧行TD11，使得处于所述帧行的相同位置的帧的图像为彼此相似的图像。通常，转换源的帧行TS11是从作为原材料的运动图像MT11的末端附近选择的，以及转换目的地的帧行TD11是从运动图像MT11的始端附近选择的。
另外，在第二步骤中，基于从运动图像MT11的帧FDin到帧FSout的间隔的图像数据来创建循环运动图像LP11。
更具体地，对转换源的帧行TS11和转换目的地的帧行TD11进行混合处理，以及创建循环运动图像LP11的后半部分的间隔——即转换时段Tr——的每个帧的图像。在混合处理中，处于相同位置的帧行TS11和帧行TD11的帧的图像利用权重进行相加，并且被设置成循环运动图像LP11的转换时段Tr的每个帧的图像。
因此，例如，转换时段Tr的前端帧FBin的图像是通过将转换源的帧行TS11的前端帧FSin的图像与转换目的地的帧行TD11的前端帧FDin的图像进行混合所获得的图像。
另外，循环运动图像LP11的转换时段Tr的后端帧FBout的图像是通过将转换源的帧行TS11的后端帧FSout的图像与转换目的地的帧行TD11的后端帧FDout的图像进行混合所获得的图像。
在通过这种混合处理所获得的转换时段Tr中，每个帧的图像是从转换源的帧行TS11的图像逐渐改变(转换)成转换目的地的帧行TD11的图像的图像。
此外，将在运动图像MT11的帧FDout与帧FSin之间的间隔NT11设置成未被改变的、循环运动图像LP11的前半部分的间隔Tn，并且获得由间隔Tn和转换时段Tr形成的循环运动图像LP11。
在循环运动图像LP11的重现期间，通过在按照从间隔Tn的前端帧到转换时段Tr的后端帧的顺序重现之后再次返回至间隔Tn的前端帧来重复地重现构成循环运动图像LP11的每个帧。
此外，在循环运动图像LP11的重现期间，预先提供用于转换所需的大量帧即转换时段Tr的大量帧作为参数。此外，还预先提供最小循环运动图像长度Tr_min作为参数，所述Tr_min也就是从帧FDin到帧FSin的间隔的最小距离限制，即循环运动图像LP11的最小长度。
接下来，将描述用于确定转换源的帧行TS11和转换目的地的帧行TD11的内点和外点的方法。
首先，针对构成作为输入原材料的运动图像的任意第i个帧i的图像Fi和任意第j个帧j的图像Fj来计算图像的差分值D(i，j)。也就是，执行以下公式(1)的计算。
[公式1]
另外，在公式(1)中，Fi(x，y)表示位于图像Fi的位置(x，y)处的像素的像素值，以及Fj(x，y)表示位于图像Fj的位置(x，y)处的像素的像素值。因此，在公式(1)中，针对图像Fi和图像Fj的所有像素来计算位于图像Fi和图像Fj的相同位置处的像素之间的像素值的差的平方值，以及将所述平方值的总和(积分值)设置成帧i和帧j的差分值D(i，j)。
差分值D(i，j)表示帧i的图像Fi与帧j的图像Fj之间的相似度，并且图像越相似，则差分值D(i，j)的值越小。
在循环运动图像的创建期间，针对构成作为原材料的运动图像的所有(i，j)组合来计算差分值D(i，j)，并且将差分值D(i，j)保存为二维差分值矩阵MD。
在该情况下，二维差分值矩阵MD为例如如下矩阵：其中，如图2所示，图中的纵向方向被设置成i轴、图中的横向方向被设置成j轴，以及位置(i，j)的要素的值为差分值D(i，j)。此外，在图2中，每个方块代表二维差分值矩阵MD中的每个要素，代表要素的方块的颜色越深，则要素的值或者换言之差分值D(i，j)的值越低。
例如，在从图中的二维差分值矩阵MD的左上方到右下方延伸的对角线的每个要素中，由于帧i与帧j是相同的帧，所以要素的值(差分值D(i，j))为0。此外，由于帧i和帧j是构成同一运动图像的帧，所以二维差分值矩阵MD是关于直线i＝j对称的。
当以此方式获得二维差分值矩阵MD时，随后对在二维差分值矩阵MD上连续排列的要素行进行以下公式(2)的计算，从而计算出转换代价C(i，j)。
[公式2]
另外，在公式(2)中，Tr表示比参照图1所描述的转换时段Tr的帧的数目小1的数目。因此，在公式(2)中，将从位置(i，j)到位置(i+Tr，j+Tr)的差分值D(i，j)的总和计算为转换代价C(i，j)。
例如，在Tr＝4的情况下，重点关注图2中的位置(i，j)＝(i1，j1)，差分值D(i，j)——即在区域RC11中所包括的五个要素中的每个要素的值——的总和变成关于位置(i1，j1)的转换代价C(i1，j1)。
在该情况下，在区域RC11中所包括的要素行是在图中在对角地向下向右的方向上相邻排列的五个要素的行，其中位置(i1，j1)的要素作为要素行的前端帧。
例如，如果帧i为图1中的帧FSin，则从帧i到帧(i+Tr)变成分别构成帧行TS11的帧FSin到帧FSout。此外，如果帧j为图1中的帧FDin，则从帧j到帧第(j+Tr)变成分别构成帧行TD11的帧FDin到帧FDout。
在该情况下，关于位置(i，j)的转换代价C(i，j)是位于帧行TS11和帧行TD11的相同位置处的帧的差分值D(i，j)的总和。
因此，转换代价C(i，j)可以表示帧行TS11与帧行TD11之间的相似度。因此，如果计算其中转换代价C(i，j)为最小的位置(i，j)，以及将该帧作为其前端帧的帧的间隔设置成转换源和转换目的地的帧行，则可以获得循环运动图像，其中接合点不太可能突出。
在这样的情况下，在循环运动图像的创建期间，计算在各个位置(i，j)中转换代价C(i，j)为最小的位置(i，j)，以及将用所获得的位置(i，j)表示的帧i和帧j设置成各自均为内点的帧FSin和帧FDin。
此外，为了更详细地解释，在二维差分值矩阵MD的各个位置(i，j)中，将由最小循环运动图像长度Tr_min创建的区域或者更具体地在i＝j处的要素附近的区域排除在对转换代价C(i，j)为最小的位置(i，j)的检测之外。
此外，在视频纹理技术中，在转换代价C(i，j)的计算期间，除了对位置的差分值D(i，j)进行简单的积分之外，已经提出了一种将添加有权重的差分值D(i，j)的加权积分值设置成转换代价C(i，j)的方法，其中所述权重将在内点与外点之间的中间位置作为其最大值并且朝向这两个端点逐渐降低。
同时，在以上所述的视频纹理技术中，从作为原材料输入的运动图像搜索并且输出相似帧行，并且将相似帧行设置成用于重复的转换点即内点和外点，但是在实际意义上在图像中两个帧行彼此一致的图像非常少。
例如，即使在作为原材料的运动图像内的两个间隔中拍摄对象的运动相似的情况下、在第一位置中在作为原材料的运动图像中不包括周期性运动的情况等，也存在运动速度不同的情况。在该情况下，即使由作为原材料的运动图像来创建循环运动图像，在循环运动图像的反复重现期间，也能够清楚地识别前端帧和后端帧的接合点。
因此，为了获得较高品质的循环运动图像，如果拍摄对象的运动的速度在作为原材料的运动图像的两个相似间隔方面不同，优选的是确定还将速度考虑在内的转换点，并且对各个帧的图像执行混合处理。此外，即使拍摄对象的运动不是周期性的，如果还包括以反向方式重现运动图像的情况作为转换源和转换目的地的帧行的候选，则也存在将会发现较合适的转换源的可能性。
在该情况下，如果将所考虑的重现速度设置成N倍速度，则前者对应于重现速度增大、减小等的情况，或者换句话说正向重现对应于考虑N为0或较大的速度的情况，以及可以将后者考虑为N为负值的情况。
例如，如图3所示，在二维差分值矩阵MD的表达式中，不是通过正常速度重现的帧行的转换代价C(i，j)对应于在图中在不是45°的斜向右下的方向上排列的要素的差分值D(i，j)的积分。此外，反向重现帧行的转换代价C(i，j)对应于在图中在斜向左下的方向上排列的要素的差分值D(i，j)的积分。
此外，在图3中，纵向方向和横向方向分别表示i轴方向和j轴方向，以及在图3中，示出了与图2中所示出的二维差分值矩阵MD相同的二维差分值矩阵MD。
例如，在图3的示例中，在以非正常速度的重现速度来重现帧行中的一个帧行的情况下，差分值D(i，j)——即在区域RC21中所包括的八个要素中的每个要素的值——的和变成关于位置(i，j)的转换代价C(i，j)。在该示例中，在重现在j轴方向上的帧行中的一个帧的图像期间，重现在i轴方向上的帧行的两个帧的图像。在该情况下，所述两个帧行的长度是不同的，但由于帧行的重现速度是不同的，所以每个帧行的重现时间为相同的长度。
此外，在使帧行之一相对于其他帧行反向重现的情况下，差分值D(i，j)——即在区域RC22中所包括的六个要素中的每个要素的值——的和变成关于位置(i，j)的转换代价C(i，j)。在该示例中，在从帧序号为最小的帧行开始按顺序使在i轴方向上的帧行重现的情况下，从帧序号为最大的帧开始按顺序使在j轴方向上的帧行重现。
另外，在例如区域RC21和区域RC22中以还将重现速度考虑在内的方式来确定转换源的帧行和转换目的地的帧行的情况下，由于转换时段的长度不同，所以有必要通过对转换代价C(i，j)进行归一化来对转换源的帧行与转换目的地的帧行进行比较。
在上述方式中，如果将重现速度和重现方向考虑在内，由于可以获得较合适的间隔作为转换源的帧行和转换目的地的帧行，所以可以创建较高品质的循环运动图像。在这样的情况下，还通过将N倍速度重现考虑在内(现有技术仅考虑的在正向方向上的正常速度重现)，，将本技术配置成能够获得较高品质的循环运动图像。
此外，适合于将帧行之一设置为相对于其他帧行被反向重现的运动图像是包括其中运动不具有方向性的图像，以及例如是如下图像：例如人改变其表情的图像、动物改变其身体的方位的图像以及旗帜在风中飘扬的图像。
与此相反，包括具有方向性的运动的图像是人从左侧走向右侧等的图像。如果将这种图像设置成原材料，并且将其中使图像的一部分的间隔反向重现的帧行设置成转换源的帧行和转换目的地的帧行，则所获得的循环运动图像变得不自然。
[将重现速度考虑在内的循环运动图像的创建]
接下来，将继续进行对通过本技术来创建循环运动图像的描述。
在本技术中，当创建循环运动图像时，在调节速度N的同时创建最优转换帧图像。
首先，针对作为循环运动图像的原材料的运动图像(在下文中还称为原材料运动图像)来确定作为转换源的帧行和作为转换目的地的帧行。在下文中，作为转换源的帧行被称为转换源帧行FS，作为转换目的地的帧行被称为转换目的地帧行FD。
例如，典型地，转换源帧行FS是从原材料运动图像的末端附近选择的，转换目的地帧行FD是从原材料运动图像的起始端附近选择的。另外，预先提供构成转换源帧行FS的每个帧行和转换目的地帧行FD的每个帧行的若干帧NF作为输入参数。
在将要创建的循环运动图像中，使用转换源帧行FS和转换目的地帧行FD的一部分的间隔来对图像进行转换。另外，将用于转换所需的最小数目的帧NF_min即在循环运动图像中所包括的转换时段的最小数目的帧预先设置成输入参数。
例如，利用速度N——还包括N＝1的重现速度——来计算最优转换时段与计算从转换源帧行FS的每个帧行和转换目的地帧行FD的每个帧行内提取的部分帧行的关联以使得其代价尽可能地小一样。此外，在该情况下，所述代价为例如在公式(2)的计算中所获得的转换代价C(i，j)。
此时，如果从转换源帧行FS和转换目的地帧行FD中所提取的帧行的长度不同，则这意味着其中重现速度将会不同的转换。
例如，如果30个转换目的地帧与15个转换源帧相关联，则以N＝2的速度使转换目的地的帧行重现的同时对图像进行转换。
如果将该关联问题看作是一种比较常见的问题，则这对应于：对信号X和信号Y这两个信号进行弹性匹配。
也就是说，从信号X和信号Y中分别去除部分序列，扩充和收缩每个被除去序列的同时计算这两个序列之间的距离，以及搜索其中距离为最小的序列组合。
运动编程(DP匹配)是一种计算具有多个不同长度的这样的序列的最优对应关系的方法，以及DP匹配被用于各种领域例如声音、手势等的时间顺序模式识别以及图像模式识别。
为了执行一维信号X和信号Y的DP匹配，有必要确定所述信号之间的匹配限制。
一般地，将信号X的长度设置成J，将信号Y的长度设置成I，以及例如如图4所示，通过定义具有(I×J)个晶格点的DP平面表面，提供了晶格点之间的连接(边)，并且将称为倾斜度限制的限制施加到每个晶格点之间的连接。
此外，在图4中，纵向和横向分别表示信号X和信号Y的时间方向，并且每个圆圈代表在DP平面表面上的单个晶格点。
在该情况下，如果将图中的横向方向设置成j轴方向以及将纵向方向设置成i轴方向，则可以用ij坐标系(其中，1≤i≤I，1≤j≤J)的位置来表示DP平面表面上的每个晶格点的位置。
在图4的DP平面表面上，将位置(i，j)＝(1，1)设置成起点SP11，将位置(i，j)＝(I，J)设置成终点DP11，并且当考虑从起点SP11到终点DP11的路径时，提供用箭头Q11表示的三个路线的路径作为从每个晶格点到另一晶格点的路径。也就是说，提供了用箭头Q11示出的倾斜限制。
更具体地，可以从处于位置(i，j)的晶格点PO11转换成处于位置(i，j+1)的晶格点PO12、处于位置(i+1，j+1)的晶格点PO13或处于位置(i+2，j+1)的晶格点PO14中的任一个晶格点。换句话说，将晶格点PO11连接至从晶格点PO12到晶格点PO14的晶格点中的任一晶格点。
此外，在DP平面表面上，针对每个晶格点、晶格点之间的边或者针对每个晶格点、晶格点之间的边两者来定义代价。
此外，对沿从DP平面表面的起点SP11到终点DP11的路径的代价进行积分，使用DP匹配来计算代价为最小的路径，并且作为结果获得的路径所通过的每个晶格点组变成最优信号组合的路径。
可以将这种DP匹配应用于转换源帧行FS和转换目的地帧行FD的上述关联。
在该情况下，通过以下方式来获得转换源帧行FS与转换目的地帧行FD之间距离为最小的组合。也就是说，对从转换源帧行FS和转换目的地帧行FD去除的两个帧行进行组合，同时改变被去除帧行的长度，对每组帧行执行弹性匹配，并且如果从各组选择距离为最小的一组，则这就足够了。
然而，如果进行这样的处理，则从转换源帧行FS和转换目的地帧行FD去除的两个帧行的组合的数目变成巨大数目。在这样的情况下，通过使用DP匹配的例如下列的扩展功能，可以降低帧行的组合的数目。
也就是说，与在图4的示例中起点SP11和终点DP11被固定的DP匹配相比较，使用扩展功能的DP匹配是具有自由起点和自由终点的DP匹配以及是提供用于起点和终点的多个候选的DP匹配。
更具体地，如图5所示，扩展了DP平面表面。此外，在图5中，纵向方向和横向方向分别表示i轴方向和j轴方向，并且每个圆圈代表在DP平面表面上的单个晶格点。
在图5中，与图4中所示的DP平面表面相比较，还提供了假定起点TSP11和假定终点TDP11。
此外，在DP平面表面上，将从晶格点PO21到晶格点PO25的5个晶格点设置成相对于假定起点TSP11的真实起点候选，限定了从假定起点TSP11到晶格点(从晶格点PO21到晶格点PO25)的各个边，以及将所述边的代价设置成0。
此外，将从晶格点PO31到晶格点PO36的6个晶格点设置成相对于假定终点TDP11的真实终点候选，限定了从假定终点TDP11到晶格点(从晶格点PO31晶格点PO36)的各个边，以及将所述边的代价设置成0。
作为结果，仅通过对DP平面表面应用DP匹配，将从真实起点到真实终点的路径自动确定为总代价为最小的路径。
由于具有自由起点和自由终点的这种DP匹配，对于信号X，在信号X的部分信号中选择代价为最小的部分信号。
也就是说，在具有可变长度的信号X与具有可变长度的信号Y的弹性匹配中，由于可以固定信号X的输入，所以可以大大降低要尝试的组合的数目。此外，通过在提取所有部分信号模式的同时改变部分信号长度和部分信号起始位置来对信号Y与信号X进行弹性匹配。
换句话说，在图5中所示的DP平面表面上，由于确定了假定起点和假定终点，如果输入固定信号X，则使用DP匹配来针对从信号X中提取的每个部分信号执行匹配。因此，如果在改变从信号Y提取的部分信号的信号长度的同时对所述部分信号和作为其输入的信号X执行DP匹配，则获得可变长度信号X和可变长度信号Y的弹性匹配处理结果。
接下来，将描述用于使用上述DP匹配来创建循环运动图像的具体方法。此外，在创建循环运动图像的情况下，可以将转换源帧行FS和转换目的地帧行FD都设置成具有可变长度，但在该情况下，将对转换源帧行FS具有固定长度、仅转换目的地帧行FD具有可变长度的示例进行描述。在这样的情况下，与将两帧行都设置成具有可变长度的情况相比，可以降低计算量。
例如，提供其中帧的数目为NF的转换源帧行FS和转换目的地帧行FD，以及计算这些帧行中所包括的部分帧行的最优匹配。
在该情况下，将转换源帧行FS设置成具有固定长度，以及利用自由起点和自由终点来选择转换源帧行FS的部分帧行。
此外，关于转换目的地帧行FD，通过在转换目的地帧行FD的第一帧与第(NF－NF_min)帧之间改变部分帧行的起始位置并且在从NF_min改变至NF之的长度之间改变部分帧行的长度来确定部分帧行。此外，在下文中，存在如下情况：将从转换目的地帧行FD提取的并用于DP匹配的帧行称为部分帧行FD'。
在本技术中，例如，以与图5中的方式相同的方式根据转换源帧行FS和转换目的地帧行FD来创建DP平面表面。此时，真实起点和真实终点的一部分变成部分帧行FD'。
在该示例中，在DP平面表面上，转换源帧行FS的方向为i轴方向，部分帧行FD'(转换目的地帧行FD)的方向为j轴方向。此外，在ij坐标系中，转换源帧行FS的第K个帧的位置的i坐标被设置成i＝K，转换目的地帧行FD的第L个帧的位置的j坐标被设置成j＝L，其中所述转换目的地帧行FD的第L个帧被设置成部分帧行FD'的帧。
此外，在DP平面表面的每个位置(i，j)上设置晶格点，并且向DP平面表面提供假定起点和终点。此外，将位于位置(i，j)＝(1，1)到(1，NF－NF_min)的晶格点连接至假定起点，并且将假定终点连接至在其处i坐标为最大值并且j坐标在NF_min与其最大值之间的每个晶格点。
此外，在晶格点之间提供连接(边)，并且例如向各个晶格点之间的连接施加倾斜限制，例如图6中所示的倾斜限制。
此外，在图6中，纵向方向和横向方向分别表示i轴方向(转换源帧行FS的方向)和j轴方向(部分帧行FD'的方向)，以及每个圆圈代表单个晶格点。
在图6的示例中，可以采取从晶格点PO41到：从晶格点PO51到晶格点PO55的晶格点中的任意一个的路径。
例如，如果将晶格点PO41设置成处于位置(i，j)，晶格点PO51的位置变成位置(i+1，j+3)。换句话说，从晶格点PO41到晶格点PO51的路径变成在部分帧行FD'方向上进行三次关联，而在转换源帧行FS方向上进行一次关联。
如果将转换源帧行FS的重现速度设置成正常速度，则所述关联对应于：部分帧行FD'的重现速度变成三倍速度。换句话说，所述关联对应于：部分帧行FD'的相对重现速度变成转换源帧行FS的三倍。
因此，在从晶格点PO41前进至晶格点PO51的路径的情况下，晶格点PO41的位置(i，j)和晶格点PO51的位置(i+1，j+3)可以具有如下关系。
也就是说，将帧i和帧j设置成原点(重现起始位置)，将部分帧行FD'的重现速度设置成转换源帧行FS的重现速度的三倍，以及将转换源帧行FS和部分帧行FD'设置成假定重现。此时，在转换源帧行FS和部分帧行FD'的其中帧i和帧j不同的帧对中，在作为重现起始位置并且应当是同时呈现的第一帧对的帧i和帧j之后的帧对是帧i+1和帧j+3。
晶格点PO52相对于晶格点PO41的位置(i，j)的位置变成位置(i+1，j+2)，以及此时部分帧行FD'相对于转换源帧行FS的相对重现速度变成2倍速度。
此外，晶格点PO53相对于晶格点PO41的位置(i，j)的位置变成位置(i+1，j+1)，以及此时部分帧行FD'相对于转换源帧行FS的相对重现速度变成正常速度。
晶格点PO54相对于晶格点PO41的位置(i，j)的位置变成位置(i+2，j+1)，以及此时部分帧行FD'相对于转换源帧行FS的相对重现速度变成二分之一的速度。
此外，晶格点PO55相对于晶格点PO41的位置(i，j)的位置变成位置(i+3，j+1)，以及此时部分帧行FD'相对于转换源帧行FS的相对重现速度变成三分之一的速度。
此外，在本示例中所述的重现速度用于描述两个晶格点之间的位置关系，并且不同于通过转换源帧行FS与部分帧行FD'的总长度的差所创建的重现速度。通过帧行的总长度的差所创建的重现速度是当进行设置时为了使重现时间一致以执行从转换源到转换目的地的转换所需要的转换源帧行FS与部分帧行FD'的相对重现速度。
此外，在DP平面表面上，针对各个晶格点之间的边定义代价。
例如，在DP平面表面的每个晶格点被提供有图6中所示的倾斜限制的情况下，有必要对在DP平面表面上的从假定起点到预定晶格点的每个路径的代价进行归一化。这是由于，即使路径到达同一晶格点，如果路径不同则被添加代价的次数也会有所不同。
例如，在该情况下，假定将处于位置(i，j)的晶格点处的代价设置成由上述公式(1)获得的差分值D(i，j)的值，在实际意义上，使用如下配置：将不同代价分配给到达晶格点的每个边作为添加给边的代价。也就是说，添加给边的代价是例如对应于边的长度或者边长的缩放。另外，在晶格点处的代价是为了向边提供代价所暂时提供的代价，而未向在最终DP平面表面上的晶格点提供代价。
更具体地，将位于位置(i，j)的晶格点处的代价设置成差分值D(i，j)的值，将与该晶格点连接的边k的边长度设置成length(k)。在该情况下，如以下公式(3)所示，将通过将差分值D(i，j)乘以length(k)所获得的值设置成添加给边k的代价E(i，j，k)。
[公式3]
E(i，j，k)＝D(i，j)×|ength(k)···(3)
例如，如图7所示，在DP平面表面上，将从晶格点OP61到晶格点PO62的边k11的长度设置成length(k)。此外，将晶格点OP62的位置设置成位置(i，j)。
在该情况下，添加给边K11的代价E(i，j，k)变成针对位置(i，j)所计算的差分值D(i，j)与边K11的长度length(k)的乘积“D(i，j)×length(k)”。
在该情况下，差分值D(i，j)是通过计算上述公式(1)而获得的差分值。也就是说，差分值D(i，j)是来自转换源帧行FS的前端帧中的第i个帧的图像的每个像素的像素值与来自转换目的地帧行FD的前端帧中的第j个帧的图像的每个像素的像素值的之间的差的平方值的总和，其中所述第j个帧被设置成部分帧行FD'的帧。
差分值D(i，j)表示转换源帧行FS的图像与部分帧行FD'的图像之间的相似度，但是在确定代价E(i，j，k)的情况下，可以使用光流等来代替差分值D(i，j)。
根据这样的配置，向在DP平面表面上的每个晶格点之间的边添加代价E(i，j，k)。此时，由于从DP平面表面的起点到终点的路径的总代价是沿所述路径添加给边的代价的总值，在路径的总代价的计算期间添加代价的次数越少，在路径上选择的长边就越多。
在这样的情况下，通过将边的长度乘以差分值来设置边的代价，可以使边的代价增加一定量，由此添加代价的次数减少，从而精确地计算总代价为最小的路径。
此外，在下文中，存在如下情况：将通过对转换源帧行FS和部分帧行FD'进行DP匹配所获得的并且从DP平面表面的起点到终点的总代价为最小的路径还称为最小代价路径，以及将最小代价路径的总代价称为最小总代价。
如果转换源帧行FS与转换目的地帧行FD的DP匹配是通过确定假定起点和假定终点来执行的，则对转换源帧行FS与每个部分帧行FD'执行DP匹配。
如果对转换源帧行FS与部分帧行FD'执行DP匹配，由于针对转换目的地帧行FD中的每个部分帧行FD'获得了最小总代价，在部分帧行FD'中选择最小总代价为最小的部分帧行FD'就足够了。
然而，在每个部分帧行FD'中信号的长度或者帧的数目不同，以及由于在最小总代价的计算期间针对每个部分帧行FD'添加代价的次数不同，在不作改变的情况下不可能以合理的方式对每个最小总代价进行比较。
在这样的情况下，可以在通过将针对部分帧行FD'所计算的最小总代价除以信号长度或者部分帧行FD'的帧的数目来对最小总代价进行归一化之后,选择其中经归一化的最小总代价为最小的部分帧行FD'。
因此，在部分帧行FD'的信号长度为m以及部分帧行FD'在DP平面表面上的起始位置为位置(i，j)的情况下，通过计算下面的公式(4)来计算部分帧行FD'的最小代价路径的总代价C(i，j，m)。
[公式4]
另外，在公式(4)中，E(x，y，k)表示使用公式(3)所获得的边的代价。因此，通过将最小代价路径上的每个边的代价E(x，y，k)的总和除以部分帧行FD'的信号长度m来获得总代价C(i，j，m)。
在每个部分帧行FD'中，将其中由公式(4)计算出的总代价C(i，j，m)为最小的部分帧行FD'设置成最终转换目的地帧行FD。
在上述方式中，如果执行DP匹配，则获得作为最终转换源的转换源帧行FS和作为最终转换目的地的转换目的地帧行FD或者所选择的部分帧行FD'。
接下来，将给出将通过DP匹配所获得的转换源帧行FS和转换目的地帧行FD进行混合并重现的方式的描述。
例如，在通过将转换源帧行FS与转换目的地帧行FD进行关联将转换源的重现速度固定为1的情况下，转换目的地的重现速度变成不同的速度。
因此，如果将转换目的地帧行FD设置成转换源帧行FS的重现速度以及使通过混合帧行的各个帧的图像所获得的图像重现，则当完全转换到转换目的地时图像的连接较差。这是因为产生了在其处转换目的地的重现速度迅速从N倍速度改变为正常速度的位置。
在这样的情况下，在本技术中，在转换起始时间点处或者在转换时段的前端帧处将转换源设置成重现速度为1以及将转换目的地设置成重现速度为N，以及通过逐渐改变重现速度来创建转换时段中的每个帧，以使得在转换结束时间点处或者在转换时段的后端帧处转换源变成重现速度为1/N以及转换目的地变成重现速度为1。
在本技术中，执行以所述方式分配重现速度的处理。
也就是说，在DP匹配期间根据最小代价路径来获得与通过DP匹配所获得的转换目的地帧行FD和转换源帧行FS两者相对应的帧或者相似帧(在下文中还称为匹配帧)的行。
除了在最小代价路径上的晶格点位置的帧之外，通过在转换目的地帧行FD和转换源帧行FS的每个帧中确定与没有被设置成匹配帧的帧的其他帧行相对应的帧来获得匹配帧。
更具体地，例如获得了用图8的箭头Q31表示的DP匹配结果。在该示例中，在图中水平轴表示转换源帧行FS的帧序号i(其中，1≤i≤6)以及垂直轴表示转换目的地帧行FD的帧序号j(其中，1≤j≤7)。此外，每个圆圈代表转换源帧行FS和转换目的地帧行FD的匹配帧行。
例如，将在位置(i，j)＝(1，1)、(2，3)、(3，4)、(5，5)和(6，7)的每个位置上的匹配帧配置成通过沿最小代价路径的晶格点所表示的、通过DP匹配获得的转换源帧行FS和转换目的地帧行FD的一组帧。例如，位置(i，j)＝(1，1)表示其中转换源帧行FS的第一帧与转换目的地帧行FD的第一帧彼此对应的匹配帧。
然而，与转换源帧行FS的第四帧相对应的转换目的地帧行FD的帧和与转换目的地帧行FD的第二帧和第六帧相对应的转换源帧行FS的帧不是如那样创建的。
在这样的情况下，例如基于与最小代价路径上的晶格点相对应的每个位置(i，j)来确定与转换源帧行FS的第四帧和转换目的地帧行FD的第二帧和第六帧相对应的匹配帧。
作为结果，例如将表示其中位置(i，j)＝(1，2)、(4，4)和(5，6)的每个位置的帧对设置成匹配帧。
也就是说，将与转换目的地帧行FD的第二帧相对应的帧设置成转换源帧行FS的第一帧，以及将与转换源帧行FS的第四帧相对应的帧设置成转换目的地帧行FD的第四帧。另外，将与转换目的地帧行FD的第六帧相对应的帧设置成转换源帧行FS的第五帧。
如果接下来以如用图8的右手侧上的箭头Q32表示的方式来创建转换源帧行FS和转换目的地帧行FD的匹配帧行，则在初始状态下对匹配帧进行分配使得在不作改变的情况下以1的速度执行重现。
此外，在图8中，在右手侧上的右向方向表示时间方向，以及每个矩形代表单个帧的图像。
特别地，在矩形内写入FSi(其中，1≤i≤6)的帧表示从转换源帧行FS的前端帧开始的第i个帧，在矩形内写入FDj(其中，1≤j≤7)的帧表示从转换目的地帧行FD的前端帧开始的第j个帧。另外，在矩形内写入FBh(其中，1≤h≤7)的帧表示从转换时段的前端帧开始的、通过将转换源帧行FS与转换目的地帧行FD混合所获得的第h个帧。
此外，在下文中，将转换源帧行FS的第i个帧称为帧FSi以及将转换目的地帧行FD的第j个帧称为帧FDj。此外，在下文中，将转换时段的第h个帧称为帧FBh。
在图8中，在用箭头Q32表示的部分中，每个匹配帧以一定间隔排列。
也就是说，帧FS1与帧FD1成对、帧FS1和帧FD2成对、帧FS2和帧FD3成对以及帧FS3和帧FD4成对在右向方向上按顺序排列。
另外，帧FS4与帧FD4成对、帧FS5与帧FD5成对、帧FS5与帧FD6成对以及帧FS6与帧FD7成对在右向方向上按顺序排行到上述各个对的右侧。
将按照时间顺序排列的转换源帧行FS的帧FSi与转换目的地帧行FD的帧FDj配置成对的每个帧FSi按照增大或减小帧序号的顺序或者说按照升序或降序排列。以相同的方式，将帧FSi与帧FDj配置成对的每个帧FDj按照升序或降序排列。
此外，在用箭头Q32表示的部分中，在右向方向上排列的每个帧FSi之间示出了表示帧之间的时间延迟的数值。此外，时间延迟的单位为帧的数目。
例如，在其处排列了相同帧FS1的点之间示出了FS1帧之间的时间延迟为“0”，以及在其处排列了帧FS1和帧FS2排列的点之间示出了帧之间的时间延迟为“1”。
以同样的方式，在右向方向上排列的每个帧FDj之间示出了表示帧之间的时间延迟的数值。例如，在其处排列了相同帧FD4的点之间示出了帧之间的时间延迟FD4为“0”，以及在其处排列了帧FD1和帧FD2的点之间示出了帧之间的时间延迟为“1”。
如果匹配帧以此方式以一定间隔排列，则从该状态(初始状态)开始执行匹配帧重新定位处理，并且重新定位帧FSi与帧FDj中的每对帧。
在匹配帧重新定位处理中，将由按照时间顺序排列的帧FSi和帧FDj组成的帧对的位置从转换时段的始端移到末端，也就是从所述帧对的前端帧朝向其尾端移动，以使得转换源的帧与转换目的地的帧之间的时间延迟(间隔)逐渐变成1。
也就是说，调节每个帧对的布局位置，以使得在转换时段的起始位置(在图8中的左手侧)的附近、转换源帧行FS的各个帧FSi之间的间隔变成1，以及在转换时段的末端位置(在图8中的右手侧)的附近转换目的地帧行FD的各个帧FDj之间的间隔变成1。
在将由帧FSi和帧FDj组成的每个帧对在时间方向上定位的情况下，在图中同一帧在右向方向上连续地排列的间隔是在其处将会以时间延迟为0开始执行重现的位置。
然而，在用箭头Q32表示的状态下，即使在水平方向上排列的帧FSi之间的间隔为0的情况下，也存在处于相同位置的帧FDj之间的间隔不为0的位置。例如，在由帧FS1和帧FD1组成的帧对与由帧FS1和帧FD2组成的帧对排列的部分，帧FS1的时间延迟的为0，而帧FD1与FD2帧的时间延迟为1。
在这样的情况下，在匹配帧重新定位处理中，在转换目的地与转换源之间的时间延迟不同的位置处，利用权重来调节各个帧的布局位置之间的间隔(时间延迟)。作为结果，在转换的始端处用接近于重现速度为1的间隔来定位转换源帧行FS，以及在转换的末端处用接近于重现速度为1的间隔来定位转换目的地帧行FD。
例如，在匹配帧重新定位处理中，对被定位以使得彼此相邻的转换目的地的帧和转换源的帧的帧间隔、或者换句话说对用箭头Q32表示的时间延迟附加权重。另外，通过将经加权的帧间隔(时间延迟)进行混合，计算被更新的帧间隔。此外，对于每个帧对，重新部署帧对以使得每个帧对相对于紧接所述帧对之前的帧对以所获得的帧间隔(时间延迟)在时间方向上排列。
更具体地，向转换源帧行FS提供权重WS，以及向转换目的地帧行FD提供权重WD。
此外，为了更详细地解释，权重WS是由针对转换源帧行FS的每个帧FSi提供的权重WSi(其中，1≤i≤6)形成的，以及权重WD是由针对转换目的地帧行FD的每个帧FDj提供的权重WDj(其中，1≤j≤7)形成的。
在该情况下，创建权重WS，使得权重WS从转换源帧行FS的前端位置朝向后端位置减小。换句话说，例如，将权重WS1设置成1.0，将权重WS6设置成0.0，以及将两者之间的权重WSi设置成使用权重WS1和权重WS6进行线性插值法所计算的值。
另一方面，创建权重WD，使得权重WD从转换目的地帧行FD的前端位置朝向后端位置增大。换句话说，例如，将权重WD1设置成0.0，将权重WD7设置成1.0，以及将两者之间的权重WDj设置成使用权重WD1和权重WD7进行线性插值法所计算的值。
使用这种权重WS，以及对转换源帧行FS的帧之间的权重进行计算。帧之间的权重例如被设置成彼此相邻的帧的权重的平均值。因此，例如，帧FS1与FS2帧之间的权重被设置成(WS1+WS2)/2。以与转换源帧行FS的帧之间的权重相同的方式，通过利用权重WD来计算转换目的地帧行FD的帧之间的权重。
另外，使用所用的权重，对转换源帧行FS的帧间隔(时间延迟)和转换目的地帧行FD的帧间隔(时间延迟)进行混合处理，以及针对目的地帧对来计算被更新的帧间隔(时间延迟)。
例如，重点关注以由帧FS1和帧FD2组成的帧对为目的地，紧接所述帧对之前的帧对是由帧FS1和帧FD1组成的帧对。
因此，针对这些帧对的转换源帧行FS将同一帧FS1排列，以及关于其转换目的地帧行FD将帧FD1和帧FD2排列。
在这样的情况下，作为在帧间隔的混合处理中所使用的权重，计算帧FD1的权重WD1和帧FD2的权重WD2的平均值作为帧之间的权重(被设置成WD1或WD2)。另外，由于关于转换源帧行FS将同一帧FS1排列，所以在不作改变的情况下利用权重WS1。这样做的理由是，两个权重WS1的平均值为权重WS1。
另外，对紧接帧FS1和帧FD2的的目标帧对之前的帧对的帧间隔执行混合。
在该情况下，由于关于转换源帧行FS排列同一帧FS1，所以其帧间隔(时间延迟)为“0”。此外，由于关于转换目的地帧行FD排列FD1和帧FD2，所以其帧间隔(时间延迟)为“1”。
因此，如果通过将所计算出的权重相加来执行这些帧间隔的混合(加权相加)，则最终获得所期望的帧间隔。也就是说，计算(WS1×0)+(WD1,2×1)，从而所获得的值为最终的帧间隔。
当获得了最终的帧间隔(时间延迟)时，重新部署由帧FS1和帧FD2组成的帧对，以使得由帧FS1和帧FD2组成的目标对和紧接在其之前的由帧FS1和帧FD1组成的帧对之间的帧间隔或者说在图中在水平方向上排列的间隔变成所计算出的帧间隔。
以这种方式执行匹配帧重新定位处理，以及当重新定位用箭头Q32表示的每个帧对时，获得了用箭头Q33表示的布局。在该示例中，由帧FS1和帧FD2组成的帧对被定位在与紧接于由帧FS1和帧FD1组成的帧对基本重叠的位置。
如果执行匹配帧重新定位处理，以及重新定位每个帧对，则选择在实际意义上被重现的转换时段的每个时刻的匹配帧。
对用箭头Q33表示的每个帧对进行定位，以使得按照时间顺序排列的帧对的前端帧对的位置为转换时段的前端帧的时刻的位置。
在该情况下，例如，如用箭头Q34所表示的，在各个帧对之间，关于用虚线所示出的转换时段的每个帧的每个表示时刻，选择被定位在最接近所述时刻的位置上的帧对。在该情况下，还存在被丢弃而未被选择的帧对。
在用箭头Q34表示的示例中，帧FS1与帧FD1成对、帧FS2与帧FD3成对、帧FS3与帧FD4成对、帧FS4与帧FD4成对、帧FS5与帧FD5成对、帧FS5与帧FD6成对以及帧FS6与帧FD7成对被选择作为转换时段的每个时刻的匹配帧的对。
最终，使用混合率α来混合针对转换时段的每个时刻所选择的帧对的每个帧的图像，并且将所述图像设置成转换时段的帧的图像。此外，在图8中，在表示转换时段的时刻的虚线的位置处示出了转换时段的每个时刻处的混合率α。
在该示例中，混合率α表示与转换目的地帧行FD的每个帧FDj相乘的权重，以及随着转换时段的帧序号增大，混合率α以线性方式从α＝0.0增大到α＝1.0。
此外，在帧对的混合期间，将(1-α)作为权重与转换源帧行FS的每个帧FSi相乘。
因此，例如，重点关注转换时段的第一帧FB1，如果将转换源帧行FS的帧FS1的图像设置成FS1以及将转换目的地帧行FD的帧FD1的图像设置成FD1，则通过α×FD1+(1-α)×FS1来计算帧FB1的图像。
作为这种转换源帧行FS和转换目的地帧行FD的各个帧混合的结果，创建了转换时段的每个帧的图像。在图8中，转换时段的图像(帧行)为逐渐开始从转换源帧行FS的图像转换为转换目的地帧行FD的图像的图像。
当获得转换时段的帧行时，获得了由原材料运动图像的转换目的地帧行FD的后端帧(外点)与转换源帧行FS的起始帧(内点)之间的间隔的帧行形成的循环运动图像以及转换时段的紧接所述帧行的帧行。
此外，还可以使用与上述方法相同的计算来创建包括反向重现的循环运动。
在这样的情况下，在上述DP匹配中，可以添加仍将反向重现考虑在内的组合作为转换源帧行FS与从转换目的地帧行FD提取的部分帧行FD'的组合。
例如，循环运动图像中所包括的转换时段的帧的最小数目被设置成NF_min，以及构成转换源帧行FS和转换目的地帧行FD的各个帧行的帧的数目被设置成NF。
在该情况下，通过将从转换目的地帧行FD提取的部分帧行FD'的前端帧(起始位置)从前端帧改变到转换目的地帧行FD的第NF个帧与第(NF-NF_min)个帧之间的帧、并且改变NF_min与NF之间的部分帧行FD'的信号的长度来提取部分帧行FD'。此时，通过将从转换目的地帧行FD反向提取的帧行的显示顺序(帧的顺序)排列所获得的帧行、或者换句话说通过将每个帧从新的帧序号到先前的帧序号排列所获得的帧行被设置成部分帧行FD'。
此外，对转换源帧行FS和所获得的部分帧行FD'的每个组合执行DP匹配，从而获得了反向重现的最终转换目的地帧行FD。因此，从反向重现的转换源帧行FS和转换目的地帧行FD获得转换时段的反向重现帧行。
然而，在使用反向重现的循环运动图像被最终输出的情况下，由于需要两个转换时段，所以有必要从原材料运动图像分别创建彼此独立的正向重现转换时段和反向重现转换时段。
例如，如图9所示，使用了从原材料运动图像MT31创建包括反向重现间隔的循环运动图像LP31的配置。
在该情况下，创建了根据处于原材料运动图像MT31的末端附近的间隔FV11使用DP匹配来获得正向重现转换时段TR11或者换句话说使用在正向方向上的重现来执行图像转换的转换时段TR11的转换源帧行FS1和转换目的地帧行FD1。
此外，混合转换源帧行FS1和转换目的地帧行FD1的每个帧的图像，以及创建转换时段TR11。
此外，创建了使用DP匹配从原材料运动图像MT31的始端附近的间隔FV12来获得反向重现转换时段TR12或者换句话说使用反向重现来执行图像转换的转换时段TR12的转换源帧行FS2和转换目的地帧行FD2。此外，混合转换源帧行FS2和转换目的地帧行FD2的每个帧的图像，以及创建转换时段TR12。
此外，从紧接在原材料运动图像MT31中的转换目的地帧行FD2之后的帧到紧接在转换源帧行FS1之前的帧的间隔实际上被切割，并且被设置成循环运动图像LP31的正向重现时段TU11。
此外，根据紧接在原材料运动图像MT31中的转换源帧行FS2之前的帧到紧接在转换目的地帧行FD1之前的帧的间隔被切割，并且被切割的间隔的帧按照新的帧序号到先前的帧编号的顺序排列。此外，由作为其结果所获得的帧行形成的间隔被设置成循环运动图像LP31的反向重现时段TU12。反向重现时段TU12为其中使原材料运动图像MT31的一部分的间隔在相反方向上重现的间隔。
另外，通过将正向重现时段TU11、转换时段TR11、反向重现时段TU12和转换时段TR12按顺序连接所获得的运动图像被设置成循环运动图像LP31。
此外，在下文中，为了简化描述，将描述不包括反向重现的循环运动图像的创建。
[处理设备的配置示例]
接下来，将对应用本技术的具体实施方式进行说明。
图10是示出在其中应用本技术的图像处理设备的实施方式的配置示例。
图10中的图像处理设备11由获取单元21、帧行确定单元22、部分帧行确定单元23、匹配处理单元24、重新定位处理单元25、混合处理单元26和循环运动图像创建单元27构成。
获取单元21获取原材料运动图像，该原材料运动图像作为待创建的循环运动图像的原材料，并且将原材料运动图像提供给帧行确定单元22和循环运动图像创建单元27。
帧行确定单元22从由获取单元21提供的原材料运动图像提取转换源帧行FS和转换目的地帧行FD，并且将转换源帧行FS和转换目的地帧行FD提供给部分帧行确定单元23、匹配处理单元24和混合处理单元26。
部分帧行确定单元23从由帧行确定单元22提供的转换目的地帧行FD提取部分帧行FD'，并且将部分帧行FD'提供给匹配处理单元24。
匹配处理单元24基于来自帧行确定单元22的转换源帧行FS和转换目的地帧行FD以及来自部分帧行确定单元23的部分帧行FD'来执行弹性匹配，并且将匹配的结果提供给重新定位处理单元25。
重新定位处理单元25基于从匹配处理单元24提供的匹配结果来执行匹配帧重新定位处理，并且将处理的结果提供给混合处理单元26。
混合处理单元26基于来自重新定位处理单元25的处理结果和来自帧行确定单元22的转换源帧行FS和转换目的地帧行FD来执行混合处理，生成了构成循环运动图像的转换时段的每个帧，并且将所述帧提供给循环运动图像创建单元27。
循环运动图像创建单元27基于来自混合处理单元26的转换时段的每个帧和来自获取单元21的原材料运动图像来创建循环运动图像，并且输出循环运动图像。
[循环运动图像创建处理的描述]
顺便提及，当原材料运动图像被提供给图像处理设备11以及指示循环运动图像的创建时，由图像处理设备11执行循环运动图像创建处理，并且创建了循环运动图像。在下文中，将参照图11的流程图来描述归因于图像处理设备11的循环运动图像创建处理。
在步骤S11中，获取单元21获取所提供的原材料运动图像，并且将原材料运动图像提供给帧行确定单元22和循环运动图像创建单元27。
在步骤S12中，帧行确定单元22在由获取单元21提供的原材料运动图像中确定转换源帧行FS和转换目的地帧行FD的间隔，并且将转换源帧行FS和转换目的地帧行FD提供给部分帧行确定单元23、匹配处理单元24和混合处理单元26。
例如，预先创建了构成转换源帧行FS和转换目的地帧行FD的每个帧行的多个帧NF。在该情况下，帧行确定单元22将从原材料运动图像的前端帧到第NF个帧的间隔设置成转换目的地帧行FD，并且将由原始材料运动图像的最后NF个帧形成的间隔设置成转换源帧行FS。
此外，转换源帧行FS和转换目的地帧行FD可以分别被设置成从不同的原材料运动图像中提取。
在步骤S13中，部分帧行确定单元23从由帧行确定单元22提供的转换目的地帧行FD提取部分帧行FD'，并且将部分帧行FD'提供给匹配处理单元24。
例如，转换源帧行FS和转换目的地帧行FD的帧的数目NF，以及循环运动图像中所包括的转换时段的帧的最小数目NF_min被设置成预先被创建。
在该情况下，部分帧行确定单元23通过改变在’转换目的地帧行FD的第一帧与第(NF-NF_min)个帧之间的、部分帧行FD'的起始位置以及还改变在NF_min与NF帧之间的部分帧行FD'的长度来确定部分帧行FD。因此，由于可以将多个帧行变成部分帧行FD'，在步骤S13中，在所述帧行中，将尚未被设置成处理目标的帧行设置成部分帧行FD'。
在步骤S14中，匹配处理单元24基于来自帧行确定单元22的转换源帧行FS和转换目的地帧行FD以及来自部分帧行确定单元23的部分帧行FD'来执行弹性匹配。
例如，执行DP匹配作为弹性匹配。在这样的情况下，匹配处理单元24基于转换源帧行FS和转换目的地帧行FD来创建DP平面表面，并且将由公式(3)表示的代价E(i，j，k)提供给DP平面表面的每个边。此时，根据需要向DP平面表面提供假定起点和假定终点。
另外，匹配处理单元24搜索从DP平面表面的起点到终点的代价最小路径，并且通过计算公式(4)来计算最小代价路径的总代价C(i，j，m)。可知由公式(4)获得的总代价为基于每个匹配帧的图像的相似度的最小代价路径的评估值。
此外，在DP平面表面上的起点被设置成由转换源帧行FS的前端帧和部分帧行FD'的前端帧创建的晶格点的位置。以相同的方式，在DP平面表面上的终点被设置成由转换源帧行FS的后端帧和部分帧行FD'的后端帧创建的晶格点的位置。
在步骤S15中，匹配处理单元24确定通过步骤S14的预先处理所获得的最小代价路径的总代价C(i，j，m)是否为最小。也就是说，确定通过步骤S14的预先处理所获得的最小代价路径的总代价C(i，j，m)是否小于针对目前已经设置成处理目标的部分帧行FD'所计算出的最小代价路径的总代价C(i，j，m)。
例如，在目前已经设置成处理目标的部分帧行FD'所计算出的最小代价路径的总代价C(i，j，m)中，匹配处理单元24保存最小的总代价C(i，j，m)以及从此刻开始的匹配帧。此外，在前述步骤S14中新计算的总代价小于所保存的总代价的情况下，匹配处理单元24确定总代价是否为最小值。
在步骤S15中确定总代价为最小的情况下，在步骤S16中匹配处理单元24更新所保存的总代价C(i，j，m)和匹配帧。
也就是说，匹配处理单元24丢弃一直保存到此时的总代价和匹配帧，并且保存新计算的最小代价路径的总代价和由最小代价路径所表示的匹配帧。
通过以此方式来对最小代价路径的总代价和匹配帧执行更新，获得了其中基于总代价的评估为最高的匹配帧。当已经对总代价和匹配帧执行更新时，随后该处理前进至步骤S17。
此外，在步骤S15中确定总代价不是最小的情况下，处理前进到步骤S17，而对总代价和匹配帧不执行更新。
如果在步骤S15中确定总代价不是最小的或者在步骤S16中对总代价和匹配帧执行更新，则在步骤S17中匹配处理单元24确定是否已经针对所有部分帧行FD'执行处理。
在步骤S17中确定尚未对所有部分帧行FD'执行处理的情况下，该处理返回至步骤S13，并且重复上述处理。
与此相反，在步骤S17中确定已经针对所有部分帧行FD'执行处理的情况下，匹配处理单元24将所保存的匹配帧提供给重新定位处理单元25，以及处理前进至步骤S18。
在步骤S18中，重新定位处理单元25基于从匹配处理单元24提供的匹配帧来执行匹配帧重新定位处理，并且将该处理的结果提供给混合处理单元26。
例如，重新定位处理单元25适当地以参照图8所描述的方式使用插值法来计算匹配帧，并且将设置成匹配帧的转换源帧行FS和转换目的地帧行FD的帧对按照时间顺序排列。
例如，如图8中的箭头Q31所表示的，使用插值法来计算由帧FS1与帧FD2组成的帧对、由帧FS4与帧FD4组成的帧对以及由帧FS5与帧FD6组成的帧对，以及如箭头Q32所表示的，各个帧对被排列。
此外，对于每个帧对，重新定位处理单元25基于帧之间的时间延迟(帧间隔)与帧之间的权重、以箭头Q33表示的方式来重新部署帧对的布局。
在步骤S19中，混合处理单元26基于重新定位处理单元25的处理结果来对每个帧执行重新分配处理。
例如，混合处理单元26以参照图8所描述的方式、向转换时段的每个时刻分配单个帧对。作为结果，如图8中的箭头Q34所表示的，针对转换时段的每个时刻来创建用于时刻的混合处理的帧对。
在步骤S20中，混合处理单元26基于转换时段的每个时刻的帧对的分配结果和来自帧行确定单元22的转换源帧行FS和转换目的地帧行FD来执行混合处理，并且创建转换时段的每个帧的图像。
例如，对于转换时段的每个时刻，混合处理单元26以参照图1所描述的方式，混合被分配到所述时刻的帧对或者换句话说将转换源帧行FS的帧的图像和部分帧行FD'(转换目的地帧行FD)的帧的图像进行混合，并且设置转换时段的帧的图像。作为结果，获得了用图8中的箭头Q35所表示的转换时段的帧行。混合处理单元26将转换时段的所获得帧行提供给循环运动图像创建单元27。
在步骤S21中，循环运动图像创建单元27基于来自混合处理单元26的转换时段的帧行和来自获取单元21的原材料运动图像来创建循环运动图像。
例如，循环运动图像创建单元27通过在原材料运动图像中在转换目的地帧行FD的后端帧与转换源帧行FS的前端帧之间的间隔的帧行之后连接转换时段的帧行，来创建循环运动图像。
当循环运动图像被创建时，循环运动图像创建单元27输出所创建的循环运动图像，并且循环运动图像创建处理完成。从图像处理设备11输出的循环运动图像被重现并存储在记录介质等上。
根据上述配置，图像处理设备11通过在改变作为用于最终转换目的地帧行FD的候选的部分帧行FD'的长度及其前端帧的位置的同时对每个部分帧行FD'和转换源帧行FS执行匹配来计算最优匹配帧。
此外，图像处理设备11通过调节在所获得的匹配帧的时间方向上的呈现位置，使用混合处理来创建转换时段的帧行，并且使用转换时段的帧行来创建循环运动图像。
通过以此方式在改变部分帧行FD'的长度和其前端帧的位置的同时执行匹配，可以获得较适合的对作为转换源帧行FS和转换目的地帧行FD的对。作为结果，可以以较高的精度水平对相似帧进行转换，并且可以获得较高品质的循环运动图像作为结果。
顺便提及，上述一系列处理可以利用硬件来执行或者可以利用软件来执行。在利用软件来执行这一系列处理的情况下，在计算机上安装了配置软件的程序。在该情况下，作为计算机，可以包括：专用硬件中包括的计算机、由于在其上安装了各种程序而能够执行各种功能的通用个人计算机等。
图12是示出了使用程序来执行上述一系列处理的计算机的硬件的配置示例的框图。
在计算机中，中央处理单元(CPU)201、只读存储器(ROM)202，和随机存取存储器(RAM)203通过总线204彼此连接。
输入/输出接口205还连接至总线204、输入单元206、输出单元207、存储单元208、通信单元209和驱动装置210连接至输入/输出接口205。
输入单元206由键盘、鼠标、麦克风、成像元件等构成。输出单元207由显示器、扬声器等构成。存储单元208由硬盘、非易失性存储器等构成。通信单元209由网络接口等构成。驱动装置210驱动可移除介质211，如磁盘、光盘、磁光盘或半导体存储器。
在以上述方式配置的计算机中，上述一系列处理通过例如CPU201加载并执行通过输入/输出接口205和总线204存储在存储单元208和RAM203中的程序来执行。
例如可以将计算机(CPU201)执行的程序设置成存储在作为封装介质等的可移除介质211上。此外，可以通过有线或无线传输介质例如局域网、因特网或数字卫星广播来提供所述程序。
在计算机中，可以通过将可移除介质211安装到驱动装置210来经由输入/输出接口205将该程序安装在存储单元208上。另外，该程序可以通过有线或无线传输介质由通信单元209来接收并且安装在存储单元208上。除此之外，可以将程序预先安装在ROM202或存储单元208上。
另外，计算机执行的程序可以是其中按照本说明书中描述的次序以时间顺序执行处理的程序，或者可以是并行地或者在所需时间例如当执行警报时处执行处理的程序。
此外，本技术的实施方式并不限于上述实施方式，并且在不脱离本技术范围的范围内可以作出各种改变。
例如，本技术可以具有云计算配置，所述云计算配置通过经由网络将功能分配到多个设备以合作的方式来处理单个功能。
此外，除了通过单个设备来执行之外，在上述流程图中所描述的各个步骤可以通过被分配给多个设备来执行。
此外，在将多个处理包括在单个的步骤的情况下，除了由单个设备执行外，被包括在单个步骤中的多个处理可以通过被分配给多个设备执行的。
本技术的实施方式可以具有如下配置。
[1]一种图像处理设备，所述图像处理设备创建其中图像在第一运动图像与第二运动图像之间从一个转换到另一个的转换运动图像，所述图像处理设备包括：
匹配处理单元，所述匹配处理单元基于构成所述第一运动图像的帧的图像与构成所述第二运动图像的帧的图像之间的相似度来搜索具有相似图像的所述第一运动图像和所述第二运动图像的帧对；重新定位处理单元，所述重新定位处理单元基于彼此相邻的所述帧对的所述第一运动图像的帧的时间延迟和所述第二运动图像的帧的时间延迟来在时间方向上对按照时间序列排列的多个帧对进行重新定位；以及混合处理单元，所述混合处理单元通过如下方式来创建所述转换运动图像：通过将构成所重新定位的帧对的每个帧的图像进行混合而使所述构成所重新定位的帧对的每个帧的图像被配置为所述转换运动图像的帧的图像。
[2]根据[1]所述的图像处理设备，其中，其中，按照时间序列排列的多个所述帧对的所述第一运动图像的帧和所述第二运动图像的帧分别按照升序或降序的时间序列来排列。
[3]根据[2]所述的图像处理设备，其中，所述重新定位处理单元执行所述重新定位使得通过如下时间延迟对彼此相邻的帧对进行定位：所述时间延迟是通过将所述彼此相邻的帧对的所述第一运动图像的帧的时间延迟与所述第二运动图像的帧的时间延迟加权相加而获得的。
[4]根据[3]所述的图像处理设备，其中，用于加权相加的所述第一运动图像的帧的时间延迟的权重被设置成彼此相邻的所述帧对的所述第一运动图像的每个帧的权重的平均值，以及所述第一运动图像的每个帧的权重被创建为使得越是位于所述第一运动图像的前侧的帧的权重越大。
[5]根据[1]至[4]中的任一项所述的图像处理设备，其中，当以预定帧对作为原点来改变所述第二运动图像相对于所述第一运动图像的重现速度时，所述匹配处理单元基于应当同时呈现的所述第一运动图像与所述第二运动图像的帧对之间的相似度，将若干重现速度的帧对中的任意一个帧对配置成与所述预定帧对相邻的帧对。
[6]根据[1]至[5]中的任一项所述的图像处理设备，其中，所述匹配处理单元针对彼此具有不同长度的多个第一运动图像来计算按照时间序列排列的多个帧对，以及所述混合处理单元使用在针对每个第一运动图像计算出的多个帧对中的、其中以关于各个帧的相似度为基础的评估为最高的帧对来创建所述转换运动图像。
[7]根据[1]至[6]中的任一项所述的图像处理设备，还包括循环运动图像创建单元，所述循环运动图像创建单元基于所述转换运动图像来创建循环运动图像。
附图标记列表
11 图像处理设备
22 帧行确定单元
23 部分帧行确定单元
24 匹配处理单元
25 重新定位处理单元
26 混合处理单元
27 循环运动图像创建单元

Claims (8)

1.一种图像处理设备，所述图像处理设备创建其中图像在第一运动图像与第二运动图像之间从一个转换到另一个的转换运动图像，所述图像处理设备包括：
匹配处理单元，所述匹配处理单元基于构成所述第一运动图像的帧的图像与构成所述第二运动图像的帧的图像之间的相似度来搜索具有相似图像的所述第一运动图像和所述第二运动图像的帧对；
重新定位处理单元，所述重新定位处理单元基于彼此相邻的所述帧对的所述第一运动图像的帧的时间延迟和所述第二运动图像的帧的时间延迟来在时间方向上对按照时间序列排列的多个帧对进行重新定位；以及
混合处理单元，所述混合处理单元通过如下方式来创建所述转换运动图像：通过将构成所重新定位的帧对的每个帧的图像进行混合而使所述构成所重新定位的帧对的每个帧的图像被配置为所述转换运动图像的帧的图像。
2.根据权利要求1所述的图像处理设备，
其中，按照时间序列排列的多个所述帧对的所述第一运动图像的帧和所述第二运动图像的帧分别按照升序或降序的时间序列来排列。
3.根据权利要求2所述的图像处理设备，
其中，所述重新定位处理单元执行所述重新定位使得通过如下时间延迟对彼此相邻的帧对进行定位：所述时间延迟是通过将所述彼此相邻的帧对的所述第一运动图像的帧的时间延迟与所述第二运动图像的帧的时间延迟加权相加而获得的。
4.根据权利要求3所述的图像处理设备，
其中，用于加权相加的所述第一运动图像的帧的时间延迟的权重被设置成彼此相邻的所述帧对的所述第一运动图像的每个帧的权重的平均值，以及
所述第一运动图像的每个帧的权重被创建为使得越是位于所述第一运动图像的前侧的帧的权重越大。
5.根据权利要求2所述的图像处理设备，
其中，当以预定帧对作为原点来改变所述第二运动图像相对于所述第一运动图像的重现速度时，所述匹配处理单元基于应当同时呈现的所述第一运动图像与所述第二运动图像的帧对之间的相似度，将若干重现速度的帧对中的任意一个帧对配置成与所述预定帧对相邻的帧对。
6.根据权利要求2所述的图像处理设备，
其中，所述匹配处理单元针对彼此具有不同长度的多个第一运动图像来计算按照时间序列排列的多个帧对，以及
所述混合处理单元使用在针对每个第一运动图像计算出的多个帧对中的、其中以关于各个帧的相似度为基础的评估为最高的帧对来创建所述转换运动图像。
7.根据权利要求2所述的图像处理设备，还包括：
循环运动图像创建单元，所述循环运动图像创建单元基于所述转换运动图像来创建循环运动图像。
8.一种图像处理方法，所述图像处理方法创建其中图像在第一运动图像与第二运动图像之间从一个转换到另一个的转换运动图像，所述图像处理方法包括以下步骤：
基于构成所述第一运动图像的帧的图像与构成所述第二运动图像的帧的图像之间的相似度来搜索具有相似图像的所述第一运动图像和所述第二运动图像的帧对；
基于彼此相邻的帧对的所述第一运动图像的帧的时间延迟和所述第二运动图像的帧的时间延迟来在时间方向上对按照时间序列排列的多个帧对进行重新定位；以及
通过如下方式来创建所述转换运动图像：通过将构成所重新定位的帧对的每个帧的图像进行混合而使所述构成所重新定位的帧对的每个帧的图像被配置为所述转换运动图像的帧的图像。
CN201380016103.0A 2012-03-30 2013-03-21 图像处理设备、方法以及程序 Expired - Fee Related CN104205807B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012080973 2012-03-30
JP2012-080973 2012-03-30
PCT/JP2013/057994 WO2013146508A1 (ja) 2012-03-30 2013-03-21 画像処理装置および方法、並びにプログラム

Publications (2)

Publication Number Publication Date
CN104205807A CN104205807A (zh) 2014-12-10
CN104205807B true CN104205807B (zh) 2017-06-06

Family

ID=49259765

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380016103.0A Expired - Fee Related CN104205807B (zh) 2012-03-30 2013-03-21 图像处理设备、方法以及程序

Country Status (4)

Country Link
US (1) US9344643B2 (zh)
JP (1) JP5999454B2 (zh)
CN (1) CN104205807B (zh)
WO (1) WO2013146508A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6157758B2 (ja) * 2014-12-12 2017-07-05 三菱電機株式会社 情報処理装置及び動画再生方法及び動画再生プログラム
WO2017094527A1 (ja) * 2015-12-04 2017-06-08 日本電産株式会社 動画生成システムおよび動画表示システム
JP6411991B2 (ja) * 2015-12-16 2018-10-24 日本電信電話株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP7246236B2 (ja) * 2019-04-12 2023-03-27 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置および画像表示方法
CN111783567B (zh) * 2020-06-16 2023-07-25 西安外事学院 一种基于极值标识的时间序列分类方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101373590A (zh) * 2004-05-19 2009-02-25 索尼计算机娱乐公司 图像帧处理方法及向各种显示器显示活动图像的设备
CN101437136A (zh) * 2007-11-12 2009-05-20 恩益禧电子股份有限公司 图像处理设备
CN101897174A (zh) * 2007-12-14 2010-11-24 三洋电机株式会社 摄像装置及图像再生装置
CN102214195A (zh) * 2010-04-09 2011-10-12 索尼公司 图像处理设备、图像处理方法及程序

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003216975A (ja) * 2002-01-17 2003-07-31 Sony Corp 動作情報処理装置及び動作情報処理方法、記憶媒体、並びにコンピュータ・プログラム
WO2007129367A1 (ja) * 2006-04-25 2007-11-15 Mitsubishi Denki Kabushiki Kaisha 画像合成装置および画像合成方法
JP5510012B2 (ja) * 2010-04-09 2014-06-04 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP2012044407A (ja) * 2010-08-18 2012-03-01 Sony Corp 画像処理装置および方法、並びにプログラム
JP5733565B2 (ja) * 2011-03-18 2015-06-10 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP5924127B2 (ja) * 2012-05-24 2016-05-25 カシオ計算機株式会社 動画生成装置、動画生成方法、及び、プログラム
JP5874538B2 (ja) * 2012-06-01 2016-03-02 カシオ計算機株式会社 動画生成装置、動画生成方法、及び、プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101373590A (zh) * 2004-05-19 2009-02-25 索尼计算机娱乐公司 图像帧处理方法及向各种显示器显示活动图像的设备
CN101437136A (zh) * 2007-11-12 2009-05-20 恩益禧电子股份有限公司 图像处理设备
CN101897174A (zh) * 2007-12-14 2010-11-24 三洋电机株式会社 摄像装置及图像再生装置
CN102214195A (zh) * 2010-04-09 2011-10-12 索尼公司 图像处理设备、图像处理方法及程序

Also Published As

Publication number Publication date
US20150304573A1 (en) 2015-10-22
WO2013146508A1 (ja) 2013-10-03
US9344643B2 (en) 2016-05-17
JP5999454B2 (ja) 2016-09-28
CN104205807A (zh) 2014-12-10
JPWO2013146508A1 (ja) 2015-12-14

Similar Documents

Publication Publication Date Title
Wu et al. Nüwa: Visual synthesis pre-training for neural visual world creation
CN104205807B (zh) 图像处理设备、方法以及程序
Xue End-to-end chinese landscape painting creation using generative adversarial networks
Ye et al. Student becoming the master: Knowledge amalgamation for joint scene parsing, depth estimation, and more
CN108734120A (zh) 标注图像的方法、装置、设备和计算机可读存储介质
CN113994366A (zh) 用于视频超分辨率的多阶段多参考自举
Park et al. Hierarchical data structure for real-time background subtraction
US9710722B1 (en) System and method for adaptive pixel filtering
JP3579775B2 (ja) 映像生成装置
Hu et al. Apanet: Auto-path aggregation for future instance segmentation prediction
CN102999261A (zh) 图像处理设备、方法和程序
US20230162409A1 (en) System and method for generating images of the same style based on layout
CN111968208B (zh) 一种基于人体软组织网格模型的人体动画合成方法
US20140347373A1 (en) Method of generating terrain model and device using the same
CN110097615B (zh) 一种联合风格化和去风格化的艺术字编辑方法和系统
Wu et al. PMC-GANs: Generating multi-scale high-quality pedestrian with multimodal cascaded GANs
Lin et al. High resolution animated scenes from stills
CN113313720A (zh) 对象分割方法和装置
CN113989460A (zh) 用于增强现实场景的实时天空替换特效控制方法及装置
Li et al. Hdtr-net: A real-time high-definition teeth restoration network for arbitrary talking face generation methods
Fan et al. Autonomous Vehicle Vision 2021: ICCV Workshop Summary
Ding et al. Regional Style and Color Transfer
Qiu et al. Multi-scale Fusion for Visible Watermark Removal
CN107016623B (zh) 依托水利数据中心资源、基于物联网的水利场景分析模型
CN117241065B (zh) 视频插帧图像生成方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170606

Termination date: 20210321