CN104254875A - 信息处理装置、信息处理方法及信息处理计算机程序产品 - Google Patents
信息处理装置、信息处理方法及信息处理计算机程序产品 Download PDFInfo
- Publication number
- CN104254875A CN104254875A CN201380006639.4A CN201380006639A CN104254875A CN 104254875 A CN104254875 A CN 104254875A CN 201380006639 A CN201380006639 A CN 201380006639A CN 104254875 A CN104254875 A CN 104254875A
- Authority
- CN
- China
- Prior art keywords
- image
- region
- reference picture
- processing apparatus
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
Abstract
一种信息处理装置、方法及计算机程序产品提供用于产生运动照片的原理。该信息处理设备包括:运动区域检测器,其配置为检测处理目标图像组的图像中的运动区域。该处理目标图像组包括基本图像和多个参考图像。显示控制器使该基本图像依次与所述多个参考图像中的每一个一起显示。
Description
技术领域
本技术涉及信息处理装置、信息处理方法及信息处理计算机程序产品。
背景技术
以往,在图像和视频领域中,存在如下技术:以连续拍摄的多帧图像的每个图像运动的主对象被分别提取,并且所提取的运动的主对象被附加到任一其他静止图像并且与其结合。通过将该运动的主对象与该静止图像结合,产生新的合成运动图像并且其再现成为可能。
为了用于产生这种合成运动图像等,已经提出了从处理目标图像提取运动的主对象的图像处理装置(专利文献1)。
现有技术文献
专利文献
专利文献:日本特开2011-35636号
发明内容
技术问题
合成运动图像也具有各种类型。近年来,称为所谓“运动照片”等的技术受到关注,这是一种在静止图像中只有一部分连续运动的图像。为了产生运动照片,除了提取运动对象以外,还必须了解该对象的运动周期等。此外,还需要执行复杂的编程、图像处理等。希望能够通过简单的操作和接口执行这些类型的必要处理。
因此,本技术的一个目的是提供一种能够容易地产生所谓运动照片的信息处理装置、信息处理方法及信息处理程序。
技术方案
一种信息处理装置、方法及计算机程序产品提供用于产生运动照片的原理。该信息处理设备包括:运动区域检测器,其配置为检测处理目标图像组的连续图像中的运动区域。该处理目标图像组包括基本图像和多个参考图像。显示控制器使该基本图像依次与所述多个参考图像中的每一个一起显示。
有益效果
根据本技术,能够容易地产生所谓的运动照片。
附图说明
图1是示出根据本技术的第一实施例的信息处理装置的配置的框图。
图2是示出针对配置图像的每个块获得的对象的整个画面运动的模式的一个例子的图。
图3是用于解释用于检测该对象的运动周期性的技术的图。
图4是示出输入到该信息处理装置的图像的一个例子的图。
图5是示出由图像提取器从输入图像提取的基本图像和参考图像的一个例子的图。
图6是用于解释从该基本图像和该参考图像检测到的运动区域的图。
图7是用于解释由显示控制器执行的显示处理的图。
图8是示出根据本技术的第二实施例的信息处理装置的配置的框图。
图9是用于解释运动补偿部进行的处理的图。
图10是用于解释运动补偿部进行的处理的图。
图11是示出根据本技术的第三实施例的信息处理装置的配置的框图。
图12是用于解释用户接口的图。
图13是用于解释用户接口的图。
图14是用于解释用户输入处理器进行的处理以及显示控制器基 于由用户输入处理器设定的信息执行的显示控制的图。
具体实施方式
下面参照附图描述本技术的实施例。然而,本技术不只局限于以下实施例。将按照以下顺序进行描述。
<1、第一实施例>
[1-1、信息处理装置的配置]
[1-2、信息处理装置的处理]
<2、第二实施例>
[2-1、信息处理装置的配置]
[2-2、信息处理装置的处理]
<3、第三实施例>
[3-1、信息处理装置的配置]
[3-2、信息处理装置的处理]
<4、变形例>
<1、第一实施例>
[1-1、信息处理装置的配置]
图1是示出根据本技术的信息处理装置10的配置的框图。信息处理装置10包括例如CPU(中央处理单元)、RAM(随机访问存储器)、ROM(只读存储器)等,并且通过运行预定程序来实现。在ROM中存储由CPU读取和操作的程序等。RAM用作CPU的工作存储器。CPU根据存储在ROM中的程序执行各种处理,并且发出命令,从而起到图像提取器11、运动区域检测器13、重复周期检测器12、显示控制器14和输出成形部15的作用。
然而,信息处理装置10不只由程序来实现,还可以由通过结合具有图像提取器11、运动区域检测器13、重复周期检测器12、显示控制器14和输出形成部15的各自功能的硬件获得的专用装置来实现。
根据本技术的信息处理装置10执行产生被称为所谓“运动照片” 的图像的处理,其中在图像中只有一部分运动,并且该部分以外的部分保持静止。在本说明书中,将这种图像称为运动照片来进行说明。
将图像从外部输入到图像提取器11。输入的图像可以是通过连续拍摄获取的多个静止图像或者是构成运动图像的多帧图像。图像提取器11从所述多个输入图像中提取一个图像(下文称为基本图像),该图像构成固定显示在运动照片中的区域(下文称为固定区域),并且用作运动照片的基础。
此外,图像提取器11提取多个图像(下文称为参考图像),用于构成在运动照片中被显示为运动的区域(下文称为运动区域)。所提取的基本图像和参考图像被提供给运动区域检测器13和重复周期检测器12。在以下描述中,构成一个基本图像和多个参考图像的该系列连续图像被称为“处理目标图像组”。
当输入的图像是通过连续拍摄获取的多个静止图像时,基本图像和参考图像的提取可被进行为例如使得第一图像被看作基本图像,并且作为第二和后续图像的预定数量的图像被看作参考图像。
此外,当输入的图像是构成运动图像的多帧图像时,基本图像和参考图像的提取可被进行为使得第一帧图像被看作基本图像,并且作为第二和后续帧图像的预定数量的帧图像被看作参考图像。当基本图像的数量是1时,参考图像的数量可以是任意的,只要它是多个即可。可以预先将图像提取器11中提取为参考图像的图像的数量设置为默认值,或者可以允许用户设置并且可以将其改变为任意数量。
此外,从用户接受输入的输入部可以连接到信息处理装置10,并且可以根据通过该输入部的用户指定输入提取基本图像和参考图像。
接下来,解释重复周期检测器12。重复周期检测器12从构成一个基本图像和多个参考图像的处理目标图像组检测对象动作的周期性。当处理目标图像组具有周期性时,如果以重复该周期的方式连续显示该基本图像和参考图像(循环再现),则可以实现运动照片特有的对象的运动。重复周期检测器12检测以最低不适感觉进行的循环再现出现的周期性。重复周期检测器12等同于权利要求范围内的周期检 测器。
作为用于从处理目标图像组检测周期性的方法,存在各种方法。例如,首先,将基本图像和参考图像每个都分割为多个块,并且通过块匹配获得每个块的运动矢量。块的尺寸可以设置为例如16×16的尺寸。然而,块的尺寸不局限于此,并且可以是任意尺寸。作为选择,可以根据图像的尺寸等任意地设置块的尺寸。
然后,关于基本图像,从所有块的运动矢量中确定整个图像中占主导的一个运动矢量。这一个占主导的运动矢量被称为“整个画面运动”。例如,以块为单位的运动矢量的中值或平均值可被用作整个画面运动,或者就数量来说最常见的运动矢量被用作整个画面运动。
然后,获得基本图像的整个画面运动与参考图像的每个块的运动矢量之间的残差。然后,如果以纵坐标表示运动矢量的残差,横坐标表示参考图像距离基本图像的时间的方式在曲线图上表现该残差,则关于参考图像的每个块获得如图2中所示的曲线图。
当对象按照整个画面运动运动时,构成该对象的块的曲线图是如图2A中所示的残差一律都低的曲线图。此外,构成运动的但是其运动没有周期性的对象的块的曲线图是如图2B中所示的没有周期性并且残差具有不规则变化的曲线图。
另一方面,构成以周期性运动的对象的块的曲线图是如图2C中所示的残差的幅度以恒定间隔规律地变化的曲线图。图2A至图2C中所示的曲线图仅示出了曲线图形状的一个例子,并且不一定具有图2A至图2C中所示的形状。
然后,关于所获得的每个曲线图,在距离基本图像的时间的增加方向上移位曲线图的波形。由此,因为图2C的曲线图的波形存在周期性,所以如果如图3B中所示在距离基本图像的时间的增加方向上移位曲线图的波形,则如图3C中所示,原始波形和移位后的波形基本相互重叠。波形重叠时波形的移动量x是该块的重复周期。图3A与图2C中所示的曲线图相同。在如图2A和图2B中所示的曲线图中,无论波形在时钟增加方向上移位多少,波形都不重叠,因此没有检测 到重复周期。
此外,作为用于获得重复周期的另一个方法,例如存在如下方法:获得曲线图上具有最小值的多个最小点,并且取得在时间上彼此靠近的最小点之间的时间差,以取得该时间差的平均值。作为选择,可以通过使用离散傅立叶变换等技术进行分解为频率分量,并且其系数最大的频率可被用作重复周期。
通过这种处理,可以获得具有周期性的块和重复周期。对所有参考图像都执行该处理。重复周期由图像的数量来限定。当一个重复周期由一个基本图像和五个参考图像构成时,重复周期是六个图像。
当一个参考图像中存在多个重复周期时(例如,当存在左右往复运动的人以及左右摆动的钟摆时),例如由具有常见重复周期的块构成的对象中,在参考图像中具有较大占用区域的对象被用作重复周期。也就是说,当存在由具有周期性的块构成的多个对象时,较大对象的周期被检测出作为重复周期。这可以通过按照块的数量相互比较由具有重复周期的块构成的对象来进行。这是因为考虑到在运动照片的产生中,用户希望移动更引人注目的大的对象来产生对看它的人产生深刻印象的运动照片。
然而,不仅较大的对象的周期被检测为重复周期,而且小对象的周期也可以被检测为重复周期。此外,可以进行配置,使得当检测到多个重复周期时,将其通知给用户,并且用户可以选择重复周期。
接下来,解释运动区域检测器13。运动区域检测器13执行以下处理:评估并检测连续的基本图像和参考图像中运动的区域(运动区域),作为在运动照片中用户希望运动的区域。可以使用由重复周期检测器12获得的重复周期检测该运动区域。逐块获得的重复周期与整个图像的重复周期相同的块被看作适合于重复再现的块,并且由该块构成的区域被用作运动区域。图像中该运动区域以外的区域用作固定区域,在固定区域中对象不动。
接下来,解释显示控制器14。显示控制器14基于重复周期检测器12和运动区域检测器13的检测结果控制在连接到信息处理装置10 的外部显示部中的图像显示。显示控制器14执行显示控制以连续再现固定区域的基本图像。此外,对于运动区域,显示控制器14执行显示控制以按照由重复周期检测器12获得的重复周期重复再现从基本图像到参考图像的图像。从而输入的图像被显示为运动照片,其中只有运动区域的对象运动,而固定区域中的对象不动。
显示部的例子包括LCD(液晶显示器)、PDP(等离子体显示面板)和有机EL(电致发光)显示器。
接下来,解释输出成形部15。输出成形部15执行预定的图像处理,如渲染处理,从而输出通过显示控制器14的控制显示为运动照片的处理目标图像组,作为运动照片的数据。输出数据的格式的例子包括gif(图形交换格式)、动画gif和MPEG(运动图片专家组)。输出的运动照片数据可以类似于正常的图像数据、运动图像数据等再现在具有显示部的设备中,如个人计算机、智能电话、蜂窝电话和数字照相机。此外,它还可以再现在因特网浏览器上。
[1-2、信息处理装置的处理]
接下来,解释以上述方式配置的信息处理装置10的运动照片产生处理。将以图4中所示的多个图像被输入作为输入图像的情况为例进行解释。在该输入图像中,人在图像中从左向右移动。此外,该图像中右上部的钟摆周期性地左右摆动。
此外,如图5中所示,图像提取器11将该输入图像组中的第一图像用作基本图像,并且提取其后的五个图像用作参考图像(参考图像A至参考图像E)。五作为参考图像的数量仅是举例。如上所述,参考图像的数量可以设置为默认值,或者允许用户设置任意数量。
接下来,由重复周期检测器12从该基本图像和参考图像中检测重复周期。此外,由运动区域检测器13从该基本图像和参考图像中检测运动区域。重复周期检测器12和运动区域检测器13的检测方法如上所述。在图5中所示的处理目标图像组中,如图6中所示,周期性地左右摆动的钟摆的运动周期被检测为重复周期,并且该钟摆被检测为运动区域。该钟摆以一个基本图像和五个参考图像总共六个图像为一 个周期的方式运动。此外,该基本图像和参考图像中除了该运动区域以外的全部区域都是固定区域,其中对象不动。也就是说,该基本图像和参考图像中除了钟摆以外的所有区域都是固定区域。
此外,如图7A中所示,通过显示控制器14连续显示基本图像,该固定区域被显示为没有对象运动的静止图像。另外,如图7B中所示,该运动区域被显示为运动图像,其中通过以六个图像为单位的该基本图像和参考图像作为重复周期循环再现,该钟摆反复地左右摆动。图7A的显示和图7B的显示同时进行。从而,如图7C中所示,该处理目标图像组可以被显示为运动照片,其中人不动,只有钟摆连续地反复运动。
如上所述,输出成形部15以文件格式,如gif、动画gif或者MPEG,将显示为该运动照片的处理目标图像组输出为运动照片数据。
这样,根据本技术,仅通过输入图像而不由用户执行复杂的图像处理、编程等,就可以容易地产生运动照片。此外,该图像中的对象的运动周期被检测,并且通过与该周期匹配来进行图像的循环再现。因此,能够产生具有较小不适感的运动照片。
例如,尽管一个基本图像和五个参考图像总共六个图像被提取,但是如果重复周期由一个基本图像和三个参考图像即四个图像构成,则当进行四个图像的循环再现时,可以产生运动照片。在此情况下,剩余的两个参考图像不需要被使用,因此可以被丢弃而不被再现。
<2、第二实施例>
[2-1、信息处理装置的配置]
接下来,解释本技术的第二实施例。图8是示出根据第二实施例的信息处理装置20的配置的框图。第二实施例与第一实施例的不同之处在于它包括运动补偿部21。运动补偿部21以外的配置和处理与第一实施例中的相同,因此省略其说明。
运动补偿部21用于修正基本图像和参考图像中由图像获取时,如成像时,手等的晃动引起的图像移位。因为通常的成像是由手持式成像装置进行的,所以运动补偿部21的校正处理是必要的。如果由手等 的晃动引起的图像移位不被修正,则当基本图像和参考图像相互重叠并连续显示时,对象等的位置发生移位,并且使观看该运动照片的人感到不适。在由固定成像装置获取的图像中,图像之间的移位即使有,也是轻微的,因此不需要运动补偿部21的处理。
[2-2、信息处理装置的处理]
可以使用以往广泛使用的电子照相机晃动修正技术来执行运动补偿部21的修正处理。因此,运动补偿部21中的修正处理技术不局限于特定技术。例如,运动补偿部21可以按如下方式修正图像之间的移位。
参考图9和图10,解释运动补偿部21的处理技术的一个例子。使用图9中所示的基本图像和参考图像来具体描述运动补偿部21进行的处理。在图9中,参考图像相对于基本图像向右移位。
首先,将基本图像和参考图像分割为多个块,并且通过块匹配获得每个块的运动矢量。块的尺寸可以设置为例如16×16的尺寸。然而,块的尺寸不局限于此,并且可以是任意尺寸。作为选择,可以根据图像的尺寸等设置块的尺寸。
然后,关于基本图像和所有参考图像中的每一个,从所有块的运动矢量中确定整个图像中占主导的一个运动矢量。例如,以块为单位的运动矢量的中值或平均值可被用作整个图像的运动矢量,或者就数量来说最常见的运动矢量被用作整个图像的运动矢量。类似于第一实施例,这一个占主导的运动矢量被称为“整个画面运动”。例如,以块为单位的运动矢量的中值或平均值可被用作整个画面运动,或者就数量来说最常见的运动矢量被用作整个画面运动。
然后,如图10中所示,参考图像被移位,以消除参考图像的整个画面运动。这提供参考图像的构成与基本图像的构成的匹配。如果该运动不是零矢量,则移位后在参考图像中必然产生参考图像中不存在的区域(图10中的参考图像中,右端)。通过使用图10中所示的基本图像中的同一区域填充该区域可以实现该区域的补偿。
运动补偿部21针对所有参考图像执行上述修正处理。由此,所有 参考图像相对于基本图像的移位变得非常小,这防止了基本图像和参考图像被连续显示时使用户感到不适。如果甚至需要修正转动和缩放,则可以从每个块的运动矢量获得仿射参数。
此外,在信息处理装置20中,除了运动补偿部21的修正处理以外,与第一实施例类似地执行重复周期检测器12的处理和运动区域检测器13的处理。根据第二实施例,通过修正由手等的晃动引起的图像之间的移位来产生运动照片。因此,可以产生由对象等的移位引起的不适感较小的运动照片。
运动补偿部21的处理、重复周期检测器12的处理以及运动区域检测器13的处理每一个在概念上是独立的处理。它们的执行顺序没有限制,并且还可以并行处理。然而,通过有效地共享和使用彼此共同的必要计算结果等,还能够提高计算速度。
具体来说,在对第一实施例的描述中,重复周期检测器12执行以下处理:将基本图像和参考图像分割成多个块,并且通过块匹配获得每个块的运动矢量。与之相比,在第二实施例中,在周期检测处理和运动区域检测处理之前由运动补偿部21执行获得每个图像的运动矢量的处理。然后,重复周期检测器12转向由运动补偿部21获得的各图像的运动矢量。这可以减少在重复周期检测器12中执行的处理。此外,运动区域检测器13可以使用重复周期检测器12的检测结果进行运动区域检测。这可以实现电路规模的减小和计算速度的提高。
<3、第三实施例>
[3-1、信息处理装置的配置]
接下来,解释本技术的第三实施例。图11是示出根据第三实施例的信息处理装置30的配置的框图。第三实施例与第一实施例的不同之处在于它包括用户输入处理器31。用户输入处理器31以外的配置与第一实施例中的相同,因此省略其说明。
用户输入处理器31通过连接到信息处理装置30的输入用户接口接受区域指定输入,以将该区域设置为运动区域或者固定区域,并且将其信息发送到显示控制器14。此外,用户输入处理器31将通过输 入用户接口输入的周期设置为重复周期,并且将其信息发送到显示控制器14。然后,显示控制器14基于这些信息执行显示控制,并且以处理目标图像组可被显示为运动照片的方式执行显示控制。从而,可以产生反映用户意图的运动照片。
图12是示出用于用户输入的用户接口的一个例子的图。图12中所示的用户接口由包括触摸面板和显示器的触摸屏上显示的软件按钮配置而成。当用户对该用户接口进行输入时,表示其输入内容的预定控制信号被提供给用户输入处理器31。
图12的用户接口包括:“运动”按钮310,其用于将用户接口切换到指定运动照片中的运动区域的模式;以及“停止”按钮320,其用于将用户接口切换到指定运动照片中的固定区域的模式。
此外,该用户接口包括:重复周期输入按钮330,其用于输入重复周期(循环再现的图像的数量);以及“完成”按钮340,其用于输入修正完成。作为重复周期的循环再现图像的数量显示在重复周期输入按钮330的中心,并且可以由左和右按钮改变其值。这些按钮由触摸屏中作为图标显示的软件按钮配置而成。用户将手指等,如接触物体(例如,触笔),接触到各按钮,由此可以进行模式切换、重复周期的改变以及输入完成。此外,用户可以通过将手指等接触到触摸屏来指定区域。
“运动”按钮310和“停止”按钮320是“择一的”。当一个按钮被设置为选择/启用时,另一个按钮变为未选择/失活。当“运动”按钮310被选择时,模式变为运动区域输入模式,以在输入图像中指定希望被用作运动区域的区域。当“停止”按钮320被选择时,模式变为固定区域输入模式,以在输入图像中指定希望被用作固定区域的区域。
在运动区域输入模式中,当用户将手指接触到显示在触摸屏上的图像,并且描绘任意区域时,表示该被描述的区域的信息被提供给用户输入处理器31。然后,该被描绘的区域被用户输入处理器31设置为运动区域。为了使得容易理解用户描绘的区域,显示部,如触摸屏, 可以基于用户输入处理器31接受的并且表示所输入的区域的信息,以如图13中所示的加色方式显示该被描绘的区域(手指等经过的轨迹)。
另一方面,在固定区域输入模式中,当用户将手指接触到显示在触摸屏上的图像并且描绘任意区域时,表示该被描绘的区域的信息被提供给用户输入处理器31。然后,该被描绘的区域被用户输入处理器31设置为固定区域。在此情况下,该被描绘的区域(手指等经过的轨迹)也以如图13中所示的加色方式显示,使得能够容易地理解用户描绘的区域。
[3-2、信息处理装置的处理]
参考图14,具体描述用户输入处理器31的处理。在图14中,示出一个基本图像和五个参考图像。在这些图像中,包括作为对象的从左向右移动的人和其钟摆左右摆动的钟。
当用户希望在运动照片中移动人时,用户将手指等接触到“运动”按钮310以将用户接口设置为运动区域输入模式,之后如图14中所示用手指等描绘该人在其中运动的区域作为选择区域。然后,用户输入处理器31将该选择区域设置为运动区域,并且将表示该运动区域的信息提供给显示控制器14。对于所设置的运动区域,显示控制器14进行从基本图像到参考图像的图像循环再现,并且连续显示它们。这使该人在运动照片中反复地从左向右移动。
另一方面,当用户不希望在运动照片中移动该人时,用户将手指等接触到“停止”按钮320,以将用户接口设置为固定区域输入模式,之后如图14中所示用手指等描绘该人在其中移动的区域作为选择区域。该选择区域被用户输入处理器31设置为固定区域,并且表示该固定区域的信息被提供给显示控制器14。如上所述,针对该固定区域,显示控制器14只连续显示基本图像,从而实现运动照片中的对象不动的状态。
通过将手指等接触到触摸屏并且在基本图像和参考图像被连续再现的状态下进行输入,可以对所有基本图像和参考图像进行上述输入。
此外,用户输入处理器31基于由重复周期输入按钮330输入的重 复周期(再现图像的数量)设置重复周期。当手指等接触到重复周期输入按钮并且显示在重复周期输入按钮330的中心的重复周期(再现图像的数量)改变时,该重复周期(再现图像的数量)被如图14中所示设置。
如图14中所示,当用户输入处理器31基于用户的输入将重复周期设置为六时,显示控制器14进行基本图像和参考图像A至E,即六个图像的循环再现。当重复周期被设置为五时,基本图像和参考图像A至D,即五个图像,被循环再现。当重复周期被设置为四时,基本图像和参考图像A至C,即四个图像,被循环再现。当重复周期被设置为三时,基本图像和参考图像A和B,即三个图像,被循环再现。当重复周期被设置为二时,基本图像和参考图像A,即两个图像,被循环再现。
这样,用户可以任意设置重复周期。由此,在由重复周期检测器12评估重复周期的情况下,即使在运动照片中对象的运动中存在不适感,这也可以被修正。此外,还可以大胆地产生对象的运动不连续的运动照片。
如果运动区域、固定区域和重复周期的设置成为用户所希望的,则对“完成”按钮340进行输入,从而该运动照片的数据被输出成形部15输出。
即使当运动区域检测器13和重复周期检测器12检测到处理目标图像组中的同一区域和重复周期时,显示控制器14也可以将优先级给予来自用户输入处理器31的信息,并且基于来自用户输入处理器31的信息连续显示处理目标图像组。从而,可以将基于运动区域检测器13和重复周期检测器12的检测结果的运动照片修正为满足用户意图的运动照片。
用户接口不局限于图12和图13中所示的。可以采用任何图标,只要它允许输入上述“移动”、“停止”、“重复周期及其调节”和“完成”即可,并且可以以任何方式布置该图标。
此外,用户接口不局限于触摸屏,并且可以采用任何接口,只要 它允许输入即可。例如,鼠标、十字按钮等都是可用的。在通过鼠标、十字按钮等指定一区域的情况下,用于指定区域的框可以被显示为叠加在图像上,并且可以通过鼠标、十字按钮的操作调节该框的尺寸来指定区域。
这样,通过接受来自用户的输入并且响应于来自用户的输入设置运动区域和固定区域以产生运动照片,即使当对象的运动不是周期性的时候,也能够产生该运动对象保持连续运动的运动照片。对象不周期性地运动的情况的例子包括在一个方向上行驶的车辆和诸如水等液体的流动。
通过结合第二实施例和第三实施例,该信息处理装置可以被配置为包括运动补偿部和用户输入处理器31。
此外,可以允许用户选择基本图像。这使得可以按照用户的喜好调节作为运动对象但是在运动照片中不动的对象的位置。
参照图5具体说明这一点。在图5中假定钟摆是运动区域并且人包括在固定区域中。例如,如果将图5中的图像当中左端图像用作基本图像,则在运动照片中该人固定在左端。此外,如果将右端图像用作基本图像,则在运动照片中该人固定在右端。另外,如果将左边第四个图像(图5中,参考图像C)用作基本图像,则该人固定在该图像的大致中心附近。这是因为基本图像只被用于固定区域来循环再现,因此包括在固定区域中的人在运动照片中不动。
如果基于由用户输入处理器31设置的信息产生运动照片,则重复周期检测器12和运动区域检测器13不需要工作并且是不必要的配置。
上述信息处理装置的处理功能可以由包括处理电路的计算机实现。在此情况下,提供描述应当由该信息处理装置处理的功能的处理内容的程序。此外,该程序由计算机运行,从而在该计算机上实现上述处理功能。描述该处理内容的程序可以记录在计算机可读记录介质上,如光盘或半导体存储器。
在发布该程序时,例如可以提供或销售其中记录有该程序的便携式记录介质,如光盘或半导体存储器。此外,还可以将该程序存储在 服务器中,并且通过网络提供该程序。
运行该程序的计算机例如将记录在便携式记录介质中的该程序或者从服务器传送来的该程序存储在自己的存储装置中。然后,该计算机从自己的存储装置中读取该程序,并且根据该程序执行处理。该计算机还可以直接从便携式记录介质读取该程序,并且根据该程序执行处理。此外,该计算机还可以在每次从服务器传送来该程序时根据接收到的程序顺次执行处理。
可以允许个人计算机、成像装置,如数字照相机、智能电话、蜂窝电话、平板终端、便携式游戏机和便携式音乐播放器等设备具有上述信息处理装置的功能。此外,可以通过安装该程序以实现该信息处理装置的功能,使上述设备具有该信息处理装置的功能。
此外,可以作为存在于网络上的服务器提供的服务,即,所谓的云服务,提供该信息处理装置的功能。
将解释本技术实际应用到的若干个应用例子。首先,应用例子之一是通过照相机、智能电话等以平常拍摄静止图像的感觉轻松拍摄运动照片的功能。当照相机或智能电话的快门按钮被按下时获得的照相机图像被缓存在内部存储器等中,并且在快门释放的同时应用本技术。此时,内部缓冲器中的第一个图像可被用作基本图像,其余图像可被用作参考图像。通过自动生成和用户的修正,容易地生成一个运动照片。
另一个应用例子是通过编辑从运动图像产生运动照片的编辑功能。该例子适用于个人计算机、视频摄录机或者甚至可拍摄连续照片的数字静止照相机等。用户在再现运动图像时,寻找适合于运动照片的场景。当发现该场景时,用户指定用来构成运动照片的开始帧和结束帧,由此从它们之间的图像产生运动照片。在此情况下,因为用户能够在通过用户的眼睛观看图像时以精细的范围选择基本图像、参考图像和周期,所以能够产生具有较高完成水平的运动照片。
<4、变形例>
尽管以上具体解释了本技术的一个实施例,但是本技术不局限于 上述实施例,并且基于本技术的技术思想可以进行各种修改。
本技术还可以采用如下配置。
根据一个示例性实施例,一种信息处理装置包括:
运动区域检测器,其配置为检测处理目标图像组的图像中的运动区域,所述处理目标图像组包括基本图像和多个参考图像;以及
显示控制器,其使所述基本图像依次与所述多个参考图像中的每一个一起显示。
根据一个方面
所述运动区域检测器包括处理电路。
根据另一个方面
所述显示控制器配置为自动产生所述基本图像和所述多个参考图像并且将它们显示为运动照片。
根据另一个方面
所述显示控制器配置为在所述基本图像和所述多个参考图像中的至少一个被用户选择之后将所述基本图像和所述多个参考图像显示为运动照片。
根据另一个方面,所述装置进一步包括
显示器,所述基本图像与所述多个参考图像依次一起显示在所述显示器上。
根据另一个方面,所述装置进一步包括
图像提取器,其从数字静止照相机和视频照相机中的至少一个接收所述基本图像和所述多个参考图像。
根据另一个方面,所述装置进一步包括
图像提取器,其标识要显示的所述多个参考图像作为运动照片的运动区域的至少一部分。
根据另一个方面,所述装置进一步包括
图像提取器,其提取图像作为所述基本图像,并且示出在运动照片中固定显示并且被显示在所述运动区域以外的区域中的区域。
根据另一个方面,所述装置进一步包括
重复周期检测器,其检测包括所述基本图像和所述多个参考图像的所述处理目标图像组中对象的动作周期性。
根据另一个方面,所述装置进一步包括
运动补偿部,其配置为补充所述多个参考图像中的至少一个图像的内容,从所述基本图像在成像区域中的移位提供所述内容。
根据另一个方面,所述装置进一步包括
输入处理器,其配置为从用户接口接收信息,以调节形成由所述显示控制器显示的运动图片的所述处理目标图像组的特征,其中
基于所述信息调节所述处理目标图像组的至少一个图像。
根据另一个方面
所述信息包括响应于所述用户接口上的按钮的驱动产生的控制信号。
根据另一个方面
所述按钮是软件按钮并且是重复周期输入按钮、运动按钮、停止按钮和完成按钮中的至少一个。
根据另一个方面
所述输入处理器接收从所述用户接口的触摸屏输入的所述信息作为指定图像区域。
根据另一个方面
所述指定图像区域是由在所述触摸屏的一部分上划过并与所述触摸屏接触的接触物体指定的描绘区域。
根据另一个方面
当所述图像处理装置被设置为运动区域输入模式时,所述描绘区域指定所述运动区域。
根据另一个方面
当所述图像处理装置被设置为固定区域输入模式时,所述描绘区域指定与所述基本图像对应的固定区域。
根据另一个方面
所述显示控制器使所述触摸屏将所述指定区域显示为描绘区域。
根据图像处理方法实施例,所述方法包括
检测处理目标图像组的图像中的运动区域,所述处理目标图像组包括基本图像和多个参考图像;并且
利用显示控制器使所述基本图像依次与所述多个参考图像中的每一个一起显示。
根据非暂时性计算机可读介质实施例,所述介质中存储有计算机可读指令,当被电路执行时,所述指令使所述电路实施图像处理方法,所述图像处理方法包括
检测处理目标图像组的图像中的运动区域,所述处理目标图像组包括基本图像和多个参考图像;并且
利用显示控制器使所述基本图像依次与所述多个参考图像中的每一个一起显示。
根据信息处理装置,包括
运动区域检测器,其检测与通过多个图像的连续显示而运动的对象相对应的并且在所述多个图像中的区域,作为运动区域;以及
显示控制器,其执行显示控制,以针对所述运动区域连续显示所述多个图像,并且针对所述运动区域以外的区域连续显示所述多个图像当中的一个图像。
根据另一个方面,所述装置进一步包括
周期检测器,其检测所述多个图像被连续显示时出现的对象运动的周期性,其中
所述显示控制器执行显示控制,以针对被所述运动区域检测器检测为所述运动区域并且所述周期检测器从其检测到所述周期的区域重复所述周期的方式连续显示所述多个图像。
根据另一个方面
所述显示控制器执行显示控制,以通过连续显示在从其检测到所述多个图像的周期的范围内的图像重复所述周期的方式连续显示图像。
根据另一个方面,所述装置进一步包括
用户输入处理器,其将被用户指定为所述运动区域并且在所述多个图像中的区域设定为所述运动区域,并且将表示所述运动区域的信息提供给所述显示控制器。
根据另一个方面
所述用户输入处理器将被用户指定为所述运动区域以外的区域并且在所述多个图像中的区域设置为所述运动区域以外的区域,并且将表示所述运动区域以外的区域的信息提供给所述显示控制器。
根据另一个方面
当所述显示控制器被提供来自所述用户输入处理器的表示所述运动区域的信息和/或表示所述运动区域以外的区域的信息时,所述显示控制器基于表示所述运动区域的信息和/或表示所述运动区域以外的区域的信息执行显示控制。
根据另一个方面,所述装置进一步包括
运动补偿部,其执行修正所述多个图像当中的预定图像以外的图像相对于所述预定图像的移位的处理。
根据另一个方面
所述运动补偿部执行关于所述多个图像中的每一个计算整个图像的运动矢量并且基于所述运动矢量修正所述移位的处理。
根据另一个方面
所述运动区域检测器通过使用由所述运动补偿部获得的所述运动矢量检测所述运动区域。
根据另一个方面
所述周期检测器通过使用由所述运动补偿部获得的所述运动矢量检测所述周期性。
根据图像处理方法实施例,所述方法包括
检测与通过多个图像的连续显示而运动的对象相对应的并且在所述多个图像中的区域,作为运动区域;以及
执行显示控制,以针对所述运动区域连续显示所述多个图像,并且针对所述运动区域以外的区域连续显示所述多个图像当中的一个图 像。
根据非暂时性计算机可读介质实施例,所述介质中存储有计算机可读指令,当被电路执行时所述指令使所述电路实施图像处理方法,方法图像处理方法包括
检测与通过多个图像的连续显示而运动的对象相对应的并且在所述多个图像中的区域,作为运动区域;以及
执行显示控制,以针对所述运动区域连续显示所述多个图像,并且针对所述运动区域以外的区域连续显示所述多个图像当中的一个图像。
附图标记说明
10 、 20 、 30 :信息处理装置
11 :图像提取器
12 :重复周期检测器
13 :运动区域检测器
14 :显示控制器
15 :输出形成部
Claims (20)
1.一种信息处理装置,包括:
运动区域检测器,其配置为检测处理目标图像组的图像中的运动区域,所述处理目标图像组包括基本图像和多个参考图像;以及
显示控制器,其使所述基本图像依次与所述多个参考图像中的每一个一起被显示。
2.根据权利要求1所述的图像处理装置,其中
所述运动区域检测器包括处理电路。
3.根据权利要求1所述的图像处理装置,其中
所述显示控制器被配置为自动产生所述基本图像和所述多个参考图像并且将它们显示为运动照片。
4.根据权利要求1所述的图像处理装置,其中
所述显示控制器被配置为在所述基本图像和所述多个参考图像中的至少一个被用户选择之后将所述基本图像和所述多个参考图像显示为运动照片。
5.根据权利要求1所述的图像处理装置,进一步包括:
显示器,所述基本图像与所述多个参考图像依次一起被显示在所述显示器上。
6.根据权利要求1所述的图像处理装置,进一步包括:
图像提取器,其从数字静止照相机和视频照相机中的至少一个接收所述基本图像和所述多个参考图像。
7.根据权利要求1所述的图像处理装置,进一步包括:
图像提取器,其把要显示的所述多个参考图像标识为运动照片的运动区域的至少一部分。
8.根据权利要求1所述的图像处理装置,进一步包括:
图像提取器,其提取图像作为所述基本图像,并且示出在运动照片中被固定显示并且被显示在所述运动区域以外的区域中的区域。
9.根据权利要求1所述的图像处理装置,进一步包括:
重复周期检测器,其检测包括所述基本图像和所述多个参考图像的所述处理目标图像组中的对象的动作周期性。
10.根据权利要求1所述的图像处理装置,进一步包括:
运动补偿部,被配置为补充所述多个参考图像中的至少一个图像的内容,从所述基本图像在成像区域中的移位提供所述内容。
11.根据权利要求1所述的图像处理装置,进一步包括:
输入处理器,被配置为从用户接口接收信息,以调节形成由所述显示控制器显示的运动图片的所述处理目标图像组的特征,其中
基于所述信息调节所述处理目标图像组的至少一个图像。
12.根据权利要求11所述的图像处理装置,其中
所述信息包括响应于对所述用户接口上的按钮的致动产生的控制信号。
13.根据权利要求12所述的图像处理装置,其中
所述按钮是软件按钮并且是重复周期输入按钮、运动按钮、停止按钮以及完成按钮中的至少一个。
14.根据权利要求11所述的图像处理装置,其中
所述输入处理器接收从所述用户接口的触摸屏输入的所述信息作为指定图像区域。
15.根据权利要求1所述的图像处理装置,其中
所述指定图像区域是由在所述触摸屏的一部分上划过并与所述触摸屏的一部分接触的接触物体指定的描绘区域。
16.根据权利要求15所述的图像处理装置,其中
当所述图像处理装置被设置为运动区域输入模式时,所述描绘区域指定所述运动区域。
17.根据权利要求15所述的图像处理装置,其中
当所述图像处理装置被设置为固定区域输入模式时,所述描绘区域指定与所述基本图像对应的固定区域。
18.根据权利要求14所述的图像处理装置,其中
所述显示控制器使所述触摸屏将所述指定图像区域显示为描绘区域。
19.一种图像处理方法,包括:
检测处理目标图像组的图像中的运动区域,所述处理目标图像组包括基本图像和多个参考图像;并且
利用显示控制器使所述基本图像依次与所述多个参考图像中的每一个一起被显示。
20.一种非暂时性计算机可读介质,所述介质中存储有指令,当被电路执行时,所述指令使所述电路实施图像处理方法,所述图像处理方法包括:
检测处理目标图像组的图像中的运动区域,所述处理目标图像组包括基本图像和多个参考图像;并且
利用显示控制器使所述基本图像依次与所述多个参考图像中的每一个一起显示。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012-020908 | 2012-02-02 | ||
JP2012020908A JP2013162221A (ja) | 2012-02-02 | 2012-02-02 | 情報処理装置、情報処理方法、情報処理プログラム |
PCT/JP2013/052289 WO2013115342A2 (en) | 2012-02-02 | 2013-01-25 | Information processing device, information processing method, and information processing computer program product |
Publications (1)
Publication Number | Publication Date |
---|---|
CN104254875A true CN104254875A (zh) | 2014-12-31 |
Family
ID=48366506
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201380006639.4A Pending CN104254875A (zh) | 2012-02-02 | 2013-01-25 | 信息处理装置、信息处理方法及信息处理计算机程序产品 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10242479B2 (zh) |
EP (1) | EP2810251A2 (zh) |
JP (1) | JP2013162221A (zh) |
KR (1) | KR20140123936A (zh) |
CN (1) | CN104254875A (zh) |
WO (1) | WO2013115342A2 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107431761A (zh) * | 2015-04-14 | 2017-12-01 | 索尼公司 | 图像处理设备、图像处理方法以及图像处理系统 |
CN109410292A (zh) * | 2018-09-30 | 2019-03-01 | 深圳市创维软件有限公司 | 实现水波纹动效的方法、装置、设备及存储介质 |
CN110169741A (zh) * | 2018-06-25 | 2019-08-27 | 宁波洒哇地咔电器有限公司 | 一种清洁处理方法及设备 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2852143A1 (en) * | 2013-09-18 | 2015-03-25 | Nokia Corporation | Creating a cinemagraph |
KR102339178B1 (ko) * | 2015-08-27 | 2021-12-14 | 엘지전자 주식회사 | 이동단말기 및 그 제어방법 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5914748A (en) | 1996-08-30 | 1999-06-22 | Eastman Kodak Company | Method and apparatus for generating a composite image using the difference of two images |
WO1998041952A1 (fr) * | 1997-03-18 | 1998-09-24 | Namco Ltd. | Generateur d'images et support de donnees |
US10783528B2 (en) * | 2000-08-24 | 2020-09-22 | Facecake Marketing Technologies, Inc. | Targeted marketing system and method |
US8750382B2 (en) * | 2001-01-23 | 2014-06-10 | Kenneth Martin Jacobs | System and method for calculating 3Deeps action specs motion estimation from the motion vectors in an MPEG file |
EP1508120B1 (en) * | 2002-05-28 | 2014-08-06 | Casio Computer Co., Ltd. | Composite image output apparatus and composite image delivery apparatus |
US7034833B2 (en) * | 2002-05-29 | 2006-04-25 | Intel Corporation | Animated photographs |
US8035644B2 (en) * | 2005-04-12 | 2011-10-11 | Richardson Douglas G | Method for embedding animation in electronic mail and websites |
US7629977B1 (en) | 2005-04-12 | 2009-12-08 | Richardson Douglas G | Embedding animation in electronic mail and websites |
CN102369540A (zh) * | 2009-01-13 | 2012-03-07 | 华为技术有限公司 | 用于对象跟踪的图像处理系统和方法 |
JP2011035636A (ja) | 2009-07-31 | 2011-02-17 | Casio Computer Co Ltd | 画像処理装置及び方法 |
KR20110099414A (ko) * | 2010-03-02 | 2011-09-08 | 삼성전자주식회사 | 휴대용 단말기에서 애니메이션 효과를 제공하기 위한 장치 및 방법 |
US20140049547A1 (en) * | 2011-02-01 | 2014-02-20 | Adobe Systems Incorporated | Methods and Systems for Representing Complex Animation using Style Capabilities of Rendering Applications |
-
2012
- 2012-02-02 JP JP2012020908A patent/JP2013162221A/ja active Pending
-
2013
- 2013-01-25 CN CN201380006639.4A patent/CN104254875A/zh active Pending
- 2013-01-25 EP EP13721563.8A patent/EP2810251A2/en not_active Withdrawn
- 2013-01-25 WO PCT/JP2013/052289 patent/WO2013115342A2/en active Application Filing
- 2013-01-25 US US14/368,348 patent/US10242479B2/en active Active
- 2013-01-25 KR KR1020147020337A patent/KR20140123936A/ko not_active Application Discontinuation
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107431761A (zh) * | 2015-04-14 | 2017-12-01 | 索尼公司 | 图像处理设备、图像处理方法以及图像处理系统 |
CN107431761B (zh) * | 2015-04-14 | 2021-02-19 | 索尼公司 | 图像处理设备、图像处理方法以及图像处理系统 |
CN110169741A (zh) * | 2018-06-25 | 2019-08-27 | 宁波洒哇地咔电器有限公司 | 一种清洁处理方法及设备 |
CN109410292A (zh) * | 2018-09-30 | 2019-03-01 | 深圳市创维软件有限公司 | 实现水波纹动效的方法、装置、设备及存储介质 |
CN109410292B (zh) * | 2018-09-30 | 2023-07-07 | 深圳市创维软件有限公司 | 实现水波纹动效的方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2013115342A3 (en) | 2013-10-17 |
US10242479B2 (en) | 2019-03-26 |
US20140347370A1 (en) | 2014-11-27 |
EP2810251A2 (en) | 2014-12-10 |
WO2013115342A2 (en) | 2013-08-08 |
KR20140123936A (ko) | 2014-10-23 |
JP2013162221A (ja) | 2013-08-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20190355331A1 (en) | Managing Transitions of Adaptive Display Rates for Different Video Playback Scenarios | |
KR102225802B1 (ko) | 반응형 영상 생성방법 및 생성프로그램 | |
US11317028B2 (en) | Capture and display device | |
CN107861682A (zh) | 虚拟对象的移动控制方法和装置 | |
JP4850278B2 (ja) | コンテンツ作成支援装置、コンテンツ作成支援方法、およびシナリオファイル生成方法 | |
KR20110087300A (ko) | 화상 처리 장치, 정보 처리 장치, 화상 처리 방법, 및 정보 처리 방법 | |
JP2010134738A (ja) | 端末装置、表示制御方法および表示制御プログラム | |
CN104254875A (zh) | 信息处理装置、信息处理方法及信息处理计算机程序产品 | |
CN104394422A (zh) | 一种视频分割点获取方法及装置 | |
US20090262139A1 (en) | Video image display device and video image display method | |
KR101656167B1 (ko) | 애니메이션 재생 방법, 장치, 기기, 프로그램 및 기록매체 | |
JP7432005B2 (ja) | 二次元画像の三次元化方法、装置、機器及びコンピュータプログラム | |
CN101373590B (zh) | 图像帧处理方法及向各种显示器显示活动图像的设备 | |
KR20210028198A (ko) | 아바타 애니메이션 | |
JP5220157B2 (ja) | 情報処理装置及びその制御方法、プログラム、並びに記憶媒体 | |
KR101977893B1 (ko) | 영상컨텐츠 적용 디지털액터의 운용방법 | |
CN102479387A (zh) | 生成多媒体动画与播放该多媒体动画的方法和装置 | |
JP6494358B2 (ja) | 再生制御装置、再生制御方法 | |
KR101944454B1 (ko) | 정보처리프로그램 및 정보처리방법 | |
KR101116538B1 (ko) | 공연안무제작시스템 및 공연안무제작방법 | |
CN115499672B (zh) | 图像显示方法、装置、设备及存储介质 | |
JP2012014391A (ja) | 漫画作成支援装置、漫画作成支援方法およびプログラム | |
KR101553272B1 (ko) | 복수의 타이머를 사용하여 멀티미디어 콘텐츠를 저작하는 방법 및 복수의 타이머를 사용하여 멀티미디어 콘텐츠를 저작하는 저작 장치 | |
JP2015035663A (ja) | 動画編集装置、動画編集方法およびプログラム | |
JP2007060329A (ja) | スライドショー生成装置ならびにその制御方法およびその制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C05 | Deemed withdrawal (patent law before 1993) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20141231 |