CN107018348A - 图像处理装置以及图像选择方法 - Google Patents

图像处理装置以及图像选择方法 Download PDF

Info

Publication number
CN107018348A
CN107018348A CN201610974411.XA CN201610974411A CN107018348A CN 107018348 A CN107018348 A CN 107018348A CN 201610974411 A CN201610974411 A CN 201610974411A CN 107018348 A CN107018348 A CN 107018348A
Authority
CN
China
Prior art keywords
image
playback
indivedual
unit
total time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610974411.XA
Other languages
English (en)
Other versions
CN107018348B (zh
Inventor
小野泽将
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Publication of CN107018348A publication Critical patent/CN107018348A/zh
Application granted granted Critical
Publication of CN107018348B publication Critical patent/CN107018348B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

本发明涉及图像处理装置以及图像选择方法。即使在选择对象的图像的个别重放时间不同的情况下，也能进行用于动态图像生成的图像选择。具备图像取得部(52)、特征量算出部(53)、动态图像重放时间设定部(54)、图像重放时间设定部(55)和图像选择部(58)。图像取得部(52)取得多个图像。特征量算出部(53)评价由图像取得部(52)取得的多个图像。动态图像重放时间设定部(54)设定多个图像所构成的数据的重放总时间。图像重放时间设定部(55)对多个图像各自设定个别重放时间。图像选择部(58)基于多个图像的评价结果和个别重放时间，从多个图像选择与重放总时间相应的给定数量的图像。

Description

图像处理装置以及图像选择方法
技术领域
本发明涉及图像处理装置以及图像选择方法。
背景技术
过去，如特开2010-177731号公报记载的那样，有通过将多种图像合成来生成幻灯片那样的动态图像的技术。
但在上述的专利文献1所记载的技术中，以固定值对选择对象的图像的全部总括设定幻灯片中所显示的每1张图像的重放时间，为了配合整体的重放时间而选择图像，但在各图像的个别的重放时间不同的情况下不能进行图像选择。
发明内容
本发明鉴于这样的状况而提出，目的在于，即使在选择对象的图像的个别重放时间不同的情况下，也能进行用于动态图像生成的图像选择。
本发明的图像处理装置的特征在于，具备：图像取得单元，其取得多个图像；评价单元，其评价所述多个图像；重放总时间设定单元，其设定多个图像所构成的数据的重放总时间；个别重放时间设定单元，其对所述多个图像各自设定个别重放时间；和选择单元，其基于所述多个图像的评价结果、所述个别重放时间和所述重放总时间，从所述多个图像选择与所述重放总时间相应的给定数量的图像。
本发明的图像选择方法的特征在于，包括：图像取得步骤，取得多个图像；评价步骤，评价通过所述图像取得步骤取得的所述多个图像；重放总时间设定步骤，设定多个图像所构成的数据的重放总时间；个别重放时间设定步骤，对所述多个图像各自设定个别重放时间；和选择步骤，基于所述多个图像的评价结果、所述个别重放时间和所述重放总时间，从所述多个图像选择与所述重放总时间相应的给定数量的图像。
本发明的图像处理装置的其特征在于，具备：取得单元，其取得多个图像；个别重放时间设定单元，其对由所述取得单元取得的所述多个图像各自设定个别重放时间；重放总时间设定单元，其设定重放总时间；切换时间点设定单元，其在由所述重放总时间设定单元设定的所述重放总时间中设定图像的切换时间点；和选择单元，其基于所述切换时间点和所述重放总时间从所述多个图像中选择给定数量的图像以成为所述重放总时间内。
本发明的图像处理方法的特征在于，包括：取得步骤，取得多个图像；个别重放时间设定步骤，对通过所述取得步骤取得的所述多个图像各自设定个别重放时间；重放总时间设定步骤，设定重放总时间；切换时间点设定步骤，在通过所述重放总时间设定步骤设定的所述重放总时间中设定图像的切换时间点；和选择步骤，基于所述切换时间点和所述重放总时间来从所述多个图像选择给定数量的图像以成为所述重放总时间内。
发明的效果
根据本发明，即使在选择对象的图像的个别重放时间不同的情况下，也能进行用于动态图像生成的图像选择。
附图说明
图1是表示本发明的1个实施方式所涉及的摄像装置的硬件的构成的框图。
图2A是表示按评分最优化的具体例的示意图。
图2B是表示按评分最优化的具体例的示意图。
图3A是表示排除了冗余的按评分最优化的具体例的示意图。
图3B是表示排除了冗余的按评分最优化的具体例的示意图。
图3C是表示排除了冗余的按评分最优化的具体例的示意图。
图4(a)是用于说明进行了关键点同步最优化的情况下的图像的重放位置的示意图。
图4(b)是用于说明进行了关键点同步最优化的情况下的图像的重放位置的示意图。
图4(c)是用于说明进行了关键点同步最优化的情况下的图像的重放位置的示意图。
图5A是表示关键点同步最优化的具体例的示意图。
图5B是表示关键点同步最优化的具体例的示意图。
图5C是表示关键点同步最优化的具体例的示意图。
图6(a)是用于说明进行了高等级图像的关键点优先设定中的关键点同步最优化的情况下的图像的重放位置的示意图。
图6(b)是用于说明进行了高等级图像的关键点优先设定中的关键点同步最优化的情况下的图像的重放位置的示意图。
图6(c)是用于说明进行了高等级图像的关键点优先设定中的关键点同步最优化的情况下的图像的重放位置的示意图。
图6(d)是用于说明进行了高等级图像的关键点优先设定中的关键点同步最优化的情况下的图像的重放位置的示意图。
图7A是用于说明高等级图像的关键点优先设定中的关键点同步最优化的具体例的示意图。
图7B是用于说明高等级图像的关键点优先设定中的关键点同步最优化的具体例的示意图。
图7C是用于说明高等级图像的关键点优先设定中的关键点同步最优化的具体例的示意图。
图7D是用于说明高等级图像的关键点优先设定中的关键点同步最优化的具体例的示意图。
图8(a)是用于说明进行关键点同步最优化而存在短时间重放图像的情况下的图像的重放位置的示意图。
图8(b)是用于说明进行关键点同步最优化而存在短时间重放图像的情况下的图像的重放位置的示意图。
图8(c)是用于说明进行关键点同步最优化而存在短时间重放图像的情况下的图像的重放位置的示意图。
图9A是用于说明进行关键点同步最优化而存在短时间重放图像的情况下的重放时间调整的具体例的示意图。
图9B是用于说明进行关键点同步最优化而存在短时间重放图像的情况下的重放时间调整的具体例的示意图。
图9C是用于说明进行关键点同步最优化而存在短时间重放图像的情况下的重放时间调整的具体例的示意图。
图10是表示图1的摄像装置的功能性构成当中用于执行精彩动态图像生成处理的功能性构成的功能框图。
图11是说明具有图10的功能性构成的图1的摄像装置所执行的精彩动态图像生成处理的流程的流程图。
标号的说明
1 摄像装置
11 CPU
12 ROM
13 RAM
14 总线
15 输入输出接口
16 摄像部
17 传感器部
18 输入部
19 输出部
20 存储部
21 通信部
22 驱动器
31 可移动介质
51 模式设定部
52 图像取得部
53 特征量算出部
54 动态图像重放时间设定部
55 图像重放时间设定部
56 路径设定部
57 评分补正部
58 图像选择部
59 动态图像生成部
71 图像存储部
具体实施方式
以下，关于本发明的实施方式，利用附图进行说明。
图1是表示本发明的第1实施方式所涉及的摄像装置1的硬件的构成的框图。
摄像装置1例如构成为数字摄像机。
摄像装置1如图1所示那样具备CPU(Central Processing Unit，中央处理器)11、ROM(Read Only Memory，只读存储器)12、RAM(Random Access Memory，随机存取存储器)13、总线14、输入输出接口15、摄像部16、传感器部17、输入部18、输出部19、存储部20、通信部21和驱动器22。
CPU11遵循记录于ROM12的程序或从存储部20载入到RAM13的程序来执行各种处理。
在RAM13中还适宜存储CPU11为了执行各种处理所需的数据等。
CPU11、ROM12以及RAM13经由总线14相互连接。在该总线14另外还连接输入输出接口15。在输入输出接口15连接摄像部16、传感器部17、输入部18、输出部19、存储部20、通信部21以及驱动器22。
虽未图示，但摄像部16具备光学镜头部和图像传感器。
光学镜头部为了拍摄被摄体而由汇聚光的透镜例如聚焦透镜、变焦透镜等构成。
聚焦透镜是使被摄体像成像在图像传感器的受光面的透镜。变焦透镜是使焦距在一定的范围内自由变化的透镜。
光学镜头部另外还根据需要设置调整焦点、曝光、白平衡等设定参数的外围电路。
图像传感器由光电变换元件、AFE(Analog Front End，模拟前端)等构成。
光电变换元件例如由CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)型的光电变换元件等构成。
对光电变换元件从光学镜头部入射被摄体像。
为此，光电变换元件对被摄体像进行光电变换(摄像)并将图像信号积蓄一定时间，将积蓄的图像信号作为模拟信号依次提供给AFE。
AFE对该模拟的图像信号执行A/D(Analog/Digital，模拟/数字)变换处理等各种信号处理。
通过各种信号处理而生成数字信号，将其作为摄像部16的输出信号输出。
将这样的摄像部16的输出信号在以下称作「摄像图像的数据」。摄像图像的数据被适宜提供给CPU11、未图示的图像处理部等。
传感器部17由取得加速度、角速度的信息的加速度传感器、陀螺仪传感器这样的各种传感器构成。
在本实施方式中，在摄像部16中进行了拍摄的情况下，取得拍摄时的传感器信息，并将其与拍摄的图像建立对应来存储。
输入部18由各种按钮等构成，对应于用户的指示操作输入各种信息。
输出部19由显示器、扬声器等构成，输出图像、声音。
存储部20由硬盘或DRAM(Dynamic Random Access Memory，动态随机存取存储器)等构成，存储各种图像的数据。
通信部21控制经由包括因特网在内的网络在与其他装置(未图示)之间进行的通信。
在驱动器22适宜装备由磁盘、光盘、光磁盘或半导体存储器等构成的可移动介质31。
由驱动器22从可移动介质31读出的程序根据需要安装在存储部20。
另外，可移动介质31与存储部20同样地，还对存储部20中所存储的图像的数据等各种数据进行存储。
在如此构成的摄像装置1中，在要浏览存储的多个图像的情况下，由于浏览全部需要庞大的时间，因此具有仅选择少于存储的多个图像的总数的数量的特征性的图像以供用户浏览的功能。
在本实施方式的摄像装置1中，将选择的图像作为帧图像来动态图像化，生成仅集中了特征性的场景的概括动态图像(以下也称作「精彩动态图像」)，以供用户浏览。
[图像的组合的选择手法(按评分最优化)的基本流程]
在本实施方式中，在摄像装置1中，基于图像的拍摄时的传感器信息(加速度信息或角速度信息)、图像解析结果(脸等特定的被摄体的有无等)以及与使用状况相关的信息(重放次数、向SNS的上传信息等)这样的属性信息，来算出成为精彩动态图像的生成对象的候补的图像(以下也称作「候补图像」)的特征量。
然后基于算出的特征量来设定评分(以下称作「图像评分」)，作为图像的价值。
另外，图像评分也可以基于人的主观按照特征量算出中所用的项目唯一设定。
另外，也可以将主观的评价结果作为训练数据，基于机器学习对特征量的项目分别进行加权，按照加权来综合设定图像评分。
另外，在摄像装置1中，基于图像评分来进行等级附注。
等级为了决定生成的精彩动态图像中的图像的个别重放时间而使用。另外，等级既可以由用户任意附注，也可以按照对图像设定的图像评分来附注。
另外，在摄像装置1中，将精彩动态图像的最大重放时间作为上限，在个别重放时间的合计(合计重放时间)收纳在最大重放时间内的图像的组合中，按照图像的摄像顺序搜索成为将各图像的图像评分累计得到的评分(以下称作「累计评分」)最大的组合的路径。
在此，在本实施方式中，将在动态图像的最大重放时间的制约下，选择累计评分的最大的路径称作「按评分最优化」。
图2A以及2B是表示按评分最优化的具体例的示意图。在本示例中，精彩动态图像的最大重放时间被设定为6sec。
另外，在图2B中，作为从起点节点起的路径，将未成为从个别重放时间的组合或图像评分等观点来看合适的路径的路径表示为「淘汰路线」，将能设定的路径表示为「母体路线」，将累计评分最高的路径表示为「最优路线」。
例如在本实施方式中，在个别重放时间与拍摄顺序的图像的矩阵中设定按照拍摄顺序组合图像的路径。
选择各路径的组合当中将位于路径的图像的图像评分累计得到的累计评分成为最大的路径的组合，作为构成精彩动态图像的图像群。
所谓「按照拍摄顺序组合图像的路径」，在本实施方式中，是通过按照图像的拍摄顺序从最初的图像向最后的图像依次进行路径搜索而算出的路径。
在图2A的示例中，按照拍摄顺序将图像A到图像D作为构成精彩动态图像的帧图像的候补的图像。
在图像A到图像D中，设定基于图像的特征量算出的图像评分，为图像A[Score：8]、图像B[Score：5]、图像C[Score：10]、图像D[Score：6]。另外，设定图像的个别重放时间，设定图像A[Time：2sec]、图像B[Time：3sec]、图像C[Time：1sec]、图像D[Time：2sec]。
另外，个别重放时间也可以构成为对应于图像评分等来设定。
例如可以构成为：图像评分高的图像将个别重放时间设定得长，图像评分低的图像将个别重放时间设定得短。
在这样设定了图像评分和个别重放时间的图像群中，如图2B所示那样，在纵轴为图像的拍摄顺序、横轴为动态图像的重放时间的矩阵中，设定按照拍摄顺序组合图像的路径以收纳在设定的动态图像的最大重放时间内。
在设定的路径中算出构成路径的全部图像的累计评分，并选择最大的累计评分的路径的组合。
在本示例中，各路径当中、累计评分[24]的路径成为累计评分最大的路径。
该路径将图像A作为起点节点，由其与图像C与图像D的组合构成。即，图像A→图像C→图像D的路径成为最优路线。
另外，在本示例中，进行仅考虑累计评分的按评分最优化，但也可以构成为进行考虑了使合计重放时间延长的按评分最优化。
在该情况下，选择如下那样的路径：合计重放时间也成为最大的6sec，累计评分也比较高为[23]，以图像A为起点节点，是图像A、图像B和图像C的组合。
之后，在摄像装置1中，根据决定的图像的组合顺序、合计重放时间来从帧图像作成精彩动态图像。
[不相似性的提升(冗余的排除)]
在进行了上述那样按评分最优化的情况下，由于特征量和评分关联，因此有时会在所选择的组合中包含相似的图像。
在本手法中，算出图像间的不相似度，将图像间的相似度换算成罚分并给予图像评分。
通过进行补正，降低与接近的图像的相似度高的图像的图像评分，作为结果让图像评分的合计即累计评分变低，因此变得难以选择相似的图像的组合的路径。
另外，在本实施方式中，进行补正，降低在图像间相似度高的图像的图像评分，但也可以构成为进行补正，对图像间相似度低的图像提高图像评分。
在本示例中，首先在上游1个路径的图像(1世代前的路径的图像[母体])和判定不相似度的图像(以下也称作「关注图像」)中，算出不相似的程度即不相似度[式(1)]。
另外，「Dissimilarity」是不相似度，「Ip」是图像p，「Iq」是图像q，「p iFeat 」是图像p的i特征量，「q iFeat」是图像q的i的特征量，「FeatVari」是i的特征量的偏差，「Wi」是i特征量的负荷系数。
然后算出与不相似度相应的罚分量[式(2)]。
另外，罚分不仅对相邻的图像的排序考虑，还对远离的图像考虑。
在本实施方式中，算出罚分量，世代越远离则罚分变得越小。
Penapq＝Dissimilarity(Ip，Iq)×G(Dist(p，q))…(2)
另外，「Dissimilarity」是不相似度，「Ip」是图像p，「Iq」是图像q，「G」是世代间距离的负荷函数，「Dist」是世代间距离。
所谓本实施方式中的「世代间距离」，是指在路径中从关注图像看到的与其他图像的在组合下的距离。
例如将关注图像的前后的相邻图像作为1世代，将其再下一个图像作为2世代，根据图像p与图像q之间的图像数来决定。
算出上游的世代的图像与关注图像的罚分量，将最小的罚分量乘以关注图像的图像评分，由此决定为选择赋予罚分的图像时所用的图像评分[式(3)]。
Scorep＝minq∈R(Penapq)
…(3)
另外，「Scorep」是图像p的最终的评分，「q」是母体节点图像。「R」是考虑冗余的区域，「Penapq」是图像p与图像q间的冗余罚分量。
另外，图像评分的决定式也可以使用以下的式(3-1)，使算出的罚分从上游的世代起累积，乘以关注图像的图像评分，由此决定为赋予罚分后的图像评分。
Scorep-ImgScorep×∑q∈RPenapq…(3-1)
另外，「Scorep」是图像p的最终的评分，「ImgScorep」是根据特征量算出的图像p的评分。
「q」是母体节点图像，「R」是考虑冗余的区域，「Penapq」是图像p与图像q间的冗余罚分量。
上述那样组合的各个路径中按照图像间的相似度对各图像的图像评分赋予罚分，来算出累计评分。
之后，将累计评分最高的组合的路径选择为最优路径。
图3A～3C是表示排除了冗余的按评分最优化的具体例的示意图。
另外，在本示例中，精彩动态图像的最大重放时间被设定为6sec。
另外，在本示例中，将考虑的世代R仅设为1世代前(相邻)，将abs(Fp-Fq)设为罚分。
各图像p中的图像评分S和个别重放时间τ在图3A的示例中成为以下那样。图像A的图像评分为[Score：8]，个别重放时间为[Time：2]，图像的特征量为[Feat：1]。
另外，图像B的图像评分为[Score：5]，个别重放时间为[Time：3]，图像的特征量为(Feat：3)。
另外，图像C的图像评分为[Score：10]，个别重放时间为[Time：1]，图像的特征量为[Feat：2]。
另外，图像D的图像评分为[Score：6]，个别重放时间为[Time：2]，图像的特征量为[Feat：2]。
另外，在本实施方式中，特征量Feat的值越接近，则图像彼此越相似，相似度越高。
在上述的图像A到D中不考虑冗余的情况下，如图3B所示那样，以图像A为起点节点选择图像C、图像D的组合，累计评分为最大的[24]。即，图像A→图像C→图像D的路径成为最优路线。
与此相对，在利用了上述那样的排除冗余的手法的情况下，如图3C所示那样，通过以图像A为起点节点选择图像B、图像C的组合，累计评分成为最大的[28]。
即，图像A→图像B→图像C的路径成为最优路线。
在此，在未利用上述的手法的情况下，[Feat：1]的图像A、特征量的差小的[Feat：2]的图像C以及图像D的路径的组合是累计评分最大的路径的组合，但通过利用本手法，与起点节点即图像A的特征量的差大的[Feat：3]的图像B、图像C的路径的组合成为累计评分最大的路径的组合。另外，在以图像B为起点节点接下来组合图像C的情况下，累计评分不会成为最大。
因此，通过利用本手法，将与图像间的相似度相应的罚分赋予图像评分，由此排除冗余并提升不相似性，例如能在时间和张数等的制约内高速选择累计评分尽可能成为最大的路径的组合。
[声音同步重放：关键点同步最优化]
在本实施方式的摄像装置1中，也可以构成为在生成的精彩动态图像的重放中重放BGM。
这时，使精彩动态图像的图像的切换和BGM的节拍或乐句这样的切换部位一致，来使精彩动态图像和BGM连系起来。例如在精彩动态图像的作成时，考虑BGM的内容(例如节拍的定时或节拍发生变化的地点、乐句的开始/结束地点、换调地点等)来进行图像的选择顺序、选择数或图像的个别重放时间的调整。
通过如此使精彩动态图像的场面的切换(向不同种类的帧图像的切换)和音乐的切换一致，能进行有影像和音乐的协调性的适合的动态图像的显示。
关于和动态图像一起重放的音乐，在音乐的重放时间内设定希望切换图像的位置(以下称作「关键点」)。
关键点例如可以自动设定为音压的极值、节奏的变化点等能看作音乐内的一定的变化的点，也可以由用户设定在任意的位置。
还能调整该精彩动态图像内的图像的个别重放时间、重放定时等，以使预先生成的精彩动态图像的各图像的切换位置与和该精彩动态图像一起重放的音乐的关键点一致。
在该情况下，使跨关键点的图像的显示开始/结束定时向图像的前后的时间点滑动变更，以使关键点成为图像的切换的点。
另外，也可以构成为与预先设定的关键点对应地选择图像，来生成精彩动态图像。
图4(a)～4(c)是用于说明对精彩动态图像进行了关键点同步最优化的情况下的图像的重放位置的示意图。
另外，在本示例中，如图4(a)所示那样，精彩动态图像的最大重放时间被设定为8.0sec。另外，音乐的关键点例如自动设定在构成音乐的声音信息中能看作一定的变化的位置，各关键点被设定在关键点1：1.3sec、关键点2：2.6sec、关键点3：3.2sec、关键点4：5.4sec、关键点5：6.7sec、关键点6：7.1sec。
在不进行关键点同步最优化地进行累计评分最高的最优的组合的搜索的情况下，如图4(b)所示那样，成为图像A：2.0sec、图像B：3.0sec、图像C：1.0sec、图像D：1.0sec、图像E：1.0sec。由于未考虑关键点，因此选择的图像的重放开始/结束的位置与关键点的位置一致。
与此相对，在考虑关键点而选择进行了图像的重放开始/结束的位置的同步的最优化(以下称作「关键点同步最优化」)的图像的组合的情况下，如图4(c)所示那样，虽然图像A被设定为个别重放时间：2.0sec，但若作为设定的个别重放时间则关键点1已经到来，为此调整重放定时，使得在关键点1的经过时间：1.3sec结束显示，接下来开始图像B的重放。
另外，虽然图像B被设定为个别重放时间：3.0sec，但若作为设定的个别重放时间则下一关键点已经到来，为此将个别重放时间调整为1.3sec，使得从关键点1起在关键点2的经过时间：2.6sec结束。
另外，图像C被设定为个别重放时间：1.0sec，但若作为设定的个别重放时间则下一关键点已经到来，为此将个别重放时间调整为0.6sec，使得从关键点2起在关键点3的经过时间：3.2sec结束。
另外，图像D被设定为个别重放时间：1.0sec，由于下一关键点未到来，因此从关键点3起显示1.0sec的期间。(经过时间：4.2sec)
另外，图像E被设定为个别重放时间：1.0sec，由于下一关键点未到来，因此从图像D的重放结束后起显示1.0sec的期间。(经过时间：5.2sec)
在进行关键点同步最优化的情况下，相比于不进行关键点同步最优化的情况，由于图像的切换部位增加，因此要选择的图像数增加。为此在进行关键点同步最优化的情况下，由于需要选择因切换部位的增加而变得不足的份的图像，因此在显示图像E以后，直到动态图像的结束时间的8.0sec为止，都考虑关键点来进一步选择图像。另外，在本示例，以后选择的图像F以后的图像将个别重放时间设为2.0sec。
选择的图像F被设定为个别重放时间2.0sec，但由于下一关键点已经到来，因此将个别重放时间调整到0.2sec，从图像E的重放结束后起在关键点4的经过时间：5.4结束。
另外，图像G被设定为个别重放时间：2.0sec，但由于下一关键点已经到来，因此将个别重放时间调整为1.3sec，使得从图像F的重放结束后起在关键点5的经过时间：6.7结束。
另外，图像H被设定为个别重放时间：1.0sec，但由于下一关键点已经到来，因此将个别重放时间调整为0.4sec，使得从图像G的重放结束后起在关键点6的经过时间：7.1结束。
最后，图像I被设定为个别重放时间：1.0sec，但由于动态图像的最大重放时间已经到来，因此将个别重放时间调整为0.9sec，使得从图像H的重放结束后起在动态图像的最大重放时间的经过时间：8.0sec结束。
图5A～5C是表示关键点同步最优化的具体例的示意图。另外，在本示例中，将最大重放时间设为6sec，关键点被设定为动态图像的重放时间：4sec经过的时间点。
各图像p中的图像评分s和个别重放时间τ如图5A的示例所示那样，在图像A中被设定为图像评分：8、个别重放时间：2sec。另外，在图像B中被设定为图像评分：5、个别重放时间：3sec。另外，在图像C中被设定为图像评分：10、个别重放时间：1sec。另外，在图像D中被设定为图像评分：6、个别重放时间：2sec。另外，在图像E中被设定为图像评分：7、个别重放时间：2sec。
在这样的图像的个别重放时间/图像评分下不考虑关键点而进行了按评分最优化的情况下，如图5B所示那样，从成为起点节点的图像A：2sec起，选择成为图像C：3sec、图像E：5sec的路径的组合，由此累计评分成为最大的[25]。即，在进行了按评分最优化的情况下，图像A→图像C→图像E的路径成为最优路线。
与此相对，在进行了关键点同步最优化的情况下，在选择的图像的个别重放时间内有关键点时，为了进行在关键点的图像的却换而将该图像的个别重放时间调整短。
不是将该图像的个别重放时间设为事前设定了的个别重放时间[τ]，而是设为从图像A的显示结束时间点[t]起以关键点K[t‘]进行限幅的(K[t’]-t)sec。若使用图5C进行说明，则在将图像A：t＝2设为起点节点的情况下，若要在t＝2的时间点选择图像B，则图像B的个别重放时间会跨关键点K(t＝4)。为此，为了在关键点确实地切换图像，将图像B的个别重放时间调整为2sec，使得从图像A的显示结束的t＝2的时间点到关键点K(t＝4)为止的期间显示图像B。
由此将跨关键点重放图像的情况排除，结果在关键点上必然发生图像的切换。
即，在图5C的示例中，由于削减的图像D的个别重放时间，向图像E的切换在关键点上进行，因此通过从成为起点节点的图像A起选择图像C、图像D、图像E的路径的组合，在最大重放时间的条件下下累计评分成为最大的[31]。即，在进行了关键点同步最优化的情况下，图像A→图像C→图像D→图像E的路径成为最优路线。
因此，通过利用本手法，通过对以价值为根据而评分化的图像群将图像的个别重放时间以关键点的时刻进行限幅，能与BGM的节奏同步切换图像，并在例如时间或张数等制约内选择累计评分尽可能最大的路径。由此，能与BGM的节奏同步地高速实现给定的制约内的评分最大的图像的组合。
[关键点同步最优化：高等级图像的关键点优先]
另外，也可以构成为进行调整，使在向乐曲中的副歌部分的切换那样重要的时间点的关键点切换的帧图像成为高等级的图像。高等级的帧图像由于对用户而言是印象深的图像的可能性高，因此通过在动态图像中在重要的时间点的关键点进行切换，能进行对用户而言更适合的动态图像的重放。
图6(a)～6(d)是用于说明进行了高等级图像的关键点优先设定中的关键点同步最优化的情况下的图像的重放位置的示意图。
另外，在本示例中，如图6(a)所示那样，精彩动态图像的最大重放时间被设定为6.0sec。另外，音乐的关键点例如自动设定在构成音乐的声音信息中能看作一定的变化的位置，优先度高的关键点1被设定为4.0sec。
在进行了按评分最优化的情况下，如图6(b)的示例所示那样成为图像A：2.0sec、图像C：1.0sec、图像E：3.0sec。将图像E的个别重放时间拉长了最大重放时间所不够的1.0sec。另外，在图6(b)中，由于未考虑关键点，因此决定的图像的重放开始/结束的位置和关键点的位置不一致。
在进行了关键点同步最优化的情况下，如图6(c)的示例所示那样，成为图像A：2.0sec、图像C：1.0sec、图像D：1.0sec、图像E：2.0sec。由于未考虑关键点的优先度，因此未在优先度高的关键点切换为评分高的图像。
与此相对，在高等级图像的关键点优先设定中进行了关键点同步最优化的情况下，如图6(d)的示例所示那样，图像A：2.0sec、图像B：2.0sec、图像C：2.0sec的组合成为最优。将图像C的个别重放时间拉长了最大重放时间所不够的1.0sec。
进而，由于选择图像从而在优先度高的关键点切换评分高的图像，因此在图6(d)中选择不同于图6(c)的路径作为最优的路径。
图6(d)中最初选择的图像A被设定为个别重放时间：2.0sec，由于在个别重放时间内关键点1未到来，因此重放2.0sec，并切换到图像B。
图像B被设定为个别重放时间：3.0sec，但由于在决定的个别重放时间内关键点已经到来，为此将个别重放时间调整为2.0sec，使得在与关键点的位置对应的经过时间：4.0sec结束。
另外，图像C被设定为个别重放时间：1.0sec，但由于相比于其他图像而言图像评分也更高，因此将个别重放时间调整为2.0sec，使得在关键点被切换那样选择且在经过时间：6.0sec结束。
图7A～7D是用于说明高等级图像的关键点优先设定中的关键点同步最优化的具体例的示意图。另外，在本示例中，最大重放时间被设定为6sec，图7C以及D中，关键点被设定在重放经过时间：4sec。在图7D中对关键点设定优先度信息。
各图像p中的图像评分S和个别重放时间τ如图7A的示例所示那样，在图像A中被设定为评分：8、等级：3、个别重放时间：2sec。另外，在图像B被设定为评分：5、等级：2、个别重放时间：3sec。另外，在图像C中被设定为评分：10、等级：5、个别重放时间：1sec。另外，在图像D中被设定为评分：6、等级：2、个别重放时间：2sec。另外，在图像E中被设定为评分：7、等级：3、个别重放时间：2sec。
在如此设定的图像的个别重放时间/图像评分进行按评分最优化以收纳在最大重放时间内的情况下，如图7B所示那样，通过从成为起点节点的图像A：2sec起选择成为图像C：3sec、图像E：5sec的路径的组合，累计评分成为最大的[25]。即，在进行了按评分最优化的情况下，图像A→图像C→图像E的路径成为最优路线。
另外，在进行了按评分最优化从而在关键点切换图像的情况下，如图7C所示那样，从成为起点节点的图像A：2sec起选择成为图像C：3sec、图像D：4sec、图像E：6sec的路径的组合。
这时，图像D由于跨关键点，个别重放时间被从3sec调整为1sec。选择的路径中的累计评分成为最大的[31]。即，在考虑关键点进行了按评分最优化的情况下，图像A→图像C→图像D→图像E的路径成为最优路线。
与此相对，在进行了关键点中的高等级图像的优先设定的最优化的情况下，在母体位于关键点时刻上时，若接下来选择的图像为高等级，则不是设为预先设定的评分，而是对该评分乘上与等级相应的奖励(乘数Bonus)。
由此，由于通过该节点的路线的评分相对变高，因此结果是更高等级的图像被在关键点上切换。
即，在图7D的示例中，由于对高等级的图像C赋予5倍的奖励，因此被选择为从关键点开始的图像，通过从成为起点节点的图像A：2sec起选择图像B：4sec、图像C：5sec的路径的组合，累计评分成为最大的[53]。即，在进行了关键点中的高等级图像的优先设定的最优化的情况下，图像A→图像B→图像C的路径成为最优路线。
因此，通过利用本手法，对于以图像各自的价值为根据而评分化的图像群，在母体节点位于声音关键点上的情况下，通过在从该母体节点起的追加节点的图像等级高时赋予奖励，能使更高等级的图像在关键点上切换且在某种制约(时间、张数)内选择累计评分尽可能成为最大的路径。由此，能与BGM的节奏同步地高速实现例如在时间或张数等的制约内的评分最大的图像组合。
[关键点同步最优化：短时间重放图像存在时的个别重放时间调整]
另外，在过短的个别重放时间下，即使显示图像也没有效果，因此能设定成为每1张图像的重放时间的最短的长度的阈值的最低个别重放时间。在本示例中，将0.5sec设定为最低个别重放时间。即，进行制止，将重放时间不足0.5sec的帧图像从路径搜索的选项排除(以下称作「短时间重放制止」)。
图8(a)～8(c)是用于说明进行关键点同步最优化而存在短时间重放图像的情况下的图像的重放位置的示意图。
另外，在本示例中，如图8(a)所示那样，精彩动态图像的最大重放时间被设定为8.0sec。另外，音乐的关键点例如自动设定在构成音乐的声音信息中能看作一定的变化的位置，各关键点被设定在关键点1：1.3sec、关键点2：2.6sec、关键点3：3.2sec、关键点4：5.4sec、关键点5：6.7sec、关键点6：7.1sec。
在进行了关键点同步最优化的情况下，如图8(b)所示那样存在个别重放时间不足0.5sec的图像F：0.2sec、图像H：0.4sec。为此，由于存在重放时间短的帧图像，成为图像的切换快、对用户而言不适合的动态图像。
在本示例中，如图8(c)所示那样，构成为通过将图像F的前1个像E的个别重放时间延长相当于个别重放时间为0.2sec的图像F的区间的部分，来使个别重放时间不低于最低个别重放时间。即，图像E从个别重放时间成为1.3sec。这以后考虑关键点进行再设定。
图像F被设定为个别重放时间：2.0sec，但由于下一关键点已经到来，因此将个别重放时间调整为1.3sec，使得从图像E的重放结束后起在关键点5的经过时间：6.7sec结束。
另外，虽然图像G被设定为个别重放时间：2.0sec，但由于虽然下一关键点已经到来但到下一关键点为止是不足0.5sec的0.4sec，因此不考虑关键点，将个别重放时间调整为1.3sec，使得从图像G的重放结束后起在动态图像的最大重放时间的经过时间：8.0sec结束。
图9A～9C是用于说明进行关键点同步最优化而存在短时间重放图像的情况下的个别重放时间调整的具体例的示意图。
另外，各图像p中的图像评分S和个别重放时间τ如图9A的示例所示那样，在图像A中被设定为评分：4、个别重放时间：1sec。另外，在图像B中设定为评分：10、个别重放时间：2sec。另外，在图像C中没定为评分：5、个别重放时间：3sec。另外，在图像D中设定为评分：6、个别重放时间：2sec。另外，在图像E中设定为评分：7、个别重放时间：2sec。
在这样的图像的个别重放时间/评分下进行了关键点同步最优化的情况下，如图9B的示例所示那样，通过从成为起点节点的图像A：1sec起选择图像B：3sec、图像D：2sec、图像E：2sec的路径的组合，累计评分成为最大的[27]。在该情况下，由于在图像B的重放时间存在关键点，因此图像B的重放时间从3sec缩短到1sec。
即，在进行了关键点同步最优化的情况下，图像A→图像B→图像C→图像E的路径成为最优路线。
但还考虑例如在个别重放时间为1sec那样的短时间进行切换的图像根据图像内容不同，而有不能使精彩动态图像的浏览者认识内容的情况。
为此在本示例中，在如图9C的示例所示那样在关键点时刻1sec前的t＝3产生节点的情况下，由于预想到因图像的切换的影响，而从那起的个别重放时间成为短时间，因此将之前的母体图像的个别重放时间相应延长来应对。
例如在选择图像A后追加图像B的路线中，图像B的个别重放时间由于是2sec期间，因此本来应该成为t＝3，但使其移动到t＝4。即，这通过使图像B的重放延长到3sec来制止下一图像因关键点限幅而成为1sec重放。
在图9B的示例中，作为最优路线而选择图像A→图像B→图像C→图像E的路径，结果在图9C中，在关键点前的节点时间点发生短时间重放，在该情况下，由于在进行上述的延长处理的基础上进行路径搜索，因此避免了选择图像A的路线，选择不含短时间重放、累计评分最高的路径即图像B→图像D→图像E的路径。
另外，在构成精彩动态图像的帧图像是动态图像的情况下，也可以通过进行限幅以及拉长处理来使图像、动态图像的评分以重放时间比率等变化。例如在重放时间通过限幅而减少到α倍(1＞α≥0)的情况下，通过使赋予该节点的评分也减少到α倍，能使最优路线难以通过该节点。由此变得易于选择尽可能维持本来的个别重放时间的路径。另外，也可以通过一开始就不进行拉长处理，对有发生短时间重放的可能性的路线赋予大的罚分，使最优路线难以通过节点。
因此，在相比关键点时刻在某阈值内的近前发生节点的情况下，通过将母体的节点的重放时间延长到关键点时刻，能压制短时间重放。另外，通过使限幅以及拉长处理所带来的重放时间变化也影响到图像评分，来控制最优路线向节点的回避以及引导。因而，能压制短时间重放并与BGM的节奏同步来高速实现动态图像的重放时间的制约内的图像评分最大的图像的组合。
图10是图1的摄像装置1的功能性构成当中用于执行精彩动态图像生成处理的功能性构成的功能框图。
所谓精彩动态图像生成处理，是指从多个候补图像中生成由选择的图像评分高的组合候补图像构成的精彩动态图像的一系列处理。
在执行精彩动态图像生成处理的情况下，如图10所示那样，在CPU11中，模式设定部51、图像取得部52、特征量算出部53、动态图像重放时间设定部54、图像重放时间设定部55、路径设定部56、评分补正部57、图像选择部58和动态图像生成部59发挥功能。
另外，在存储部20的1个域设定动态图像存储部71。
在动态图像存储部71存储与拍摄时取得的传感器信息建立对应的图像的数据。
模式设定部51例如由用户经由输入部18设定模式。
在本实施方式中，能设定「通常模式」、「不相似性提升模式」和「关键点切换模式」的模式。
「通常模式」是如下那样的模式：在收纳在设定的动态图像的最大重放时间内的时间内选择成为最高的评分的组合的路径，将构成选择的路径的图像选择为帧图像。在「通常模式」下，使用上述的[按评分最优化]的手法来进行图像的组合的路径选择。
「不相似性提升模式」是如下那样的模式：通过避免选择相似的图像来排除冗余，由此使不相似性提升。在「不相似性提升模式」下，使用上述的[不相似性的提升(冗余的排除)]的手法来进行图像的组合的路径选择。
「关键点切换模式」是如下那样的模式：在动态图像的重放时同时重放BGM，在BGM的关键点切换图像，在关键点切换等级高的图像，或者在关键点切换图像来抑制图像的切换成为短时间。在「关键点切换模式」下，使用[声音同步重放：关键点同步最优化]、[关键点同步最优化：高等级图像的关键点优先]、[关键点同步最优化：短时间重放图像存在时的重放时间调整]的手法来进行图像的组合的路径选择。
图像取得部52从动态图像存储部71取得成为精彩动态图像的对象的多个候补图像。
特征量算出部53对取得的每个候补图像算出特征量。在本实施方式中，对候补图像进行图像解析，基于解析出的图像内的特征点等来算出特征量。另外，基于特征量来算出候补图像的评分，按照评分来进行候补图像的等级附注。即，将评分和等级对候补图像附注。
动态图像重放时间设定部54，由用户经由输入部18设定精彩动态图像的最大重放时间(例如6sec)。
图像重放时间设定部55按照基于评分而决定的候补图像的等级来设定动态图像内的候补图像的个别重放时间。另外，候补图像的个别重放时间也可以构成为不管评分或等级如何都能由用户设定。
路径设定部56基于图像的拍摄顺序和所设定的候补图像的个别重放时间来设定能成为由精彩动态图像的个别重放时间和候补图像构成的矩阵的路径的组合(排列)。
评分补正部57按照所设定的模式来补正评分。
另外，在「不相似性提升模式」的情况下，在相似度高的帧图像连续的情况下，补正为乘以罚分的评分。另外，在「关键点切换模式」的情况下，在关键点进行了限幅的情况下，对限幅后有选择的可能性的图像当中等级高的图像加上与等级相应的奖励来补正评分。
图像选择部58选择累计评分最高的路径，并选择构成路径的候补图像。另外，在「关键点切换模式」的情况下，按照进行限幅来与关键点一致后所剩余时间，来选择候补图像。其中使用补正后的累计评分来选择路径。另外，例如在有个别重放时间不足0.5sec那样短的候补图像的情况下，延长位于路径的上游的候补图像的母体(前1个候补图像)的重放时间，从而使子体(下一候补图像)在关键点进行切换。
动态图像生成部59生成构成为使由图像选择部58选择的路径的候补图像收纳在所设定的最大重放时间内的精彩动态图像。
图11是说明有图10的功能性构成的图1的摄像装置1所执行的精彩动态图像生成处理的流程的流程图、。
精彩动态图像生成处理，通过用户对输入部18的精彩动态图像生成处理开始的操作而开始。
在步骤S1，模式设定部51例如由用户经由输入部18设定模式。
在本实施方式中，能设定「通常模式」、「不相似性提升模式」和「关键点切换模式」的模式。
「通常模式」是如下那样的模式：在收纳在设定的动态图像的最大重放时间内的时间内选择成为最高的评分的组合的路径，将构成选择的路径的图像选择为帧图像。
「不相似性提升模式」是如下那样的模式：通过避免选择内容相似、相似度高的图像，来排除冗余。
「关键点切换模式」是如下那样的模式：在动态图像的重放时同时重放BGM，在BGM的关键点切换图像，通过在关键点切换等级高的图像，或者在关键点切换图像来来抑制图像的重放时间成为短时间。
在步骤S2，图像取得部52从动态图像存储部71取得成为精彩动态图像的对象的多个候补图像。
在步骤S3，特征量算出部53对取得的每个候补图像算出特征量。在本实施方式中，对候补图像进行图像解析，基于解析出的图像内的特征点等来算出特征量。之后，基于特征量来算出候补图像的评分，按照评分来进行候补图像的等级附注。即，将评分和等级对候补图像附注。
在步骤S4，动态图像重放时间设定部54由用户经由输入部18设定精彩动态图像的最大重放时间(例如6sec)。
在步骤S5，图像重放时间设定部55按照基于评分而决定的候补图像的等级来设定动态图像内的候补图像的个别重放时间。另外，候补图像的重放时间也可以构成为不管评分或等级如何都能由用户设定。
在步骤S6，路径设定部56基于图像的拍摄顺序和所设定的候补图像的个别重放时间，来设定能成为由精彩动态图像的最大重放时间和候补图像构成的矩阵的路径的组合(排列)。
在步骤S7，评分补正部57按照所设定的模式来补正评分。
在「不相似性提升模式」的情况下，在相似度高的帧图像连续的情况下，补正为乘以罚分的评分。
在「关键点切换模式」的情况下，在关键点进行了限幅的情况下，对限幅后有选择的可能性的图像当中等级高的图像，加上与等级相应的奖励来补正评分。
在步骤S8，图像选择部58选择累计评分最高的路径，并选择构成路径的候补图像。
在「关键点切换模式」的情况下，按照进行限幅来与关键点匹配后所剩余的重放时间，来选择候补图像。在该情况下，使用补正后的累计评分来选择路径。另外，例如在有成为个别重放时间不足0.5sec的短的重放时间的候补图像的情况下，将位于路径的上游的候补图像的母体(前1个候补图像)的个别重放时间延长，从而使子体(下一候补图像)在关键点切换。
在步骤S9，动态图像生成部59生成构成为使由图像选择部58选择的路径的候补图像收纳在所设定的最大重放时间内的精彩动态图像。
之后，精彩动态图像生成处理结束。
以上那样构成的摄像装置1具备图像取得部52、特征量算出部53、动态图像重放时间设定部54、图像重放时间设定部55和图像选择部58。
图像取得部52取得多个图像。
特征量算出部53评价由图像取得部52取得的多个图像。
动态图像重放时间设定部54设定多个图像所构成的数据的重放总时间。
图像重放时间设定部55对多个图像各自设定个别重放时间。
图像选择部58基于多个图像的评价结果和个别重放时间，从多个图像选择与重放总时间相应的给定数量的图像。
因此在摄像装置1中，在选择对象的图像的个别重放时间不同的情况下，也能进行用于动态图像生成的图像选择。
图像选择部58选择给定数量的图像，使得所选择的图像的评价结果高且所选择的多个图像的个别重放时间的合计时间处于不超过重放总时间的范围。
因此在摄像装置1中，能在成为设定的时间内地选择图像。
还具备判定图像中的相似度的评分补正部56。
图像选择部58基于评分补正部56的判定结果来选择图像。
因此在摄像装置1中，能按照相似度来进行用于动态图像生成的图像选择。
评分补正部56基于与图像的内容关联的信息或与拍摄的定时关联的信息来判定相似度。
因此在摄像装置1中，能判定与图像的内容关联的信息或与拍摄的定时关联的信息所关系的图像的相似度。
评分补正部56将在判定相似度的对象的图像中由图像选择部58选择的顺序接近的前后的图像作为比较对象。
因此在摄像装置1中，能判定选择的顺序接近的图像的相似度。
图像重放时间设定部55，基于特征量算出部53的评价结果来设定个别重放时间。
因此在摄像装置1中，能设为与评价结果有关系的个别重放时间。
特征量算出部53基于与图像的内容关联的信息或与拍摄的定时关联的信息来评价图像。
因此在摄像装置1中，进行与图像的内容关联的信息或与拍摄的定时关联的信息所关系的评价。
特征量算出部53从多种不同观点来评价图像。
因此在摄像装置1中，能从多种不同的观点来综合评价图像。
图像选择部58选择给定数量的图像，让与拍摄的图像的拍摄定时相关的信息分散。
因此在摄像装置1中，能进行使成为选择对象的图像分散的用于动态图像生成的图像选择。
另外，摄像装置1具备设定重放开始定时的模式设定部51。
图像选择部58考虑由模式设定部51设定的重放开始定时来选择给定数量的图像。
因此在摄像装置1中，能与设定的重放开始定时匹配地进行用于动态图像生成的图像选择。
模式设定部51与乐音对应地设定重放开始定时。
因此在摄像装置1中，能与乐音匹配地进行用于动态图像生成的图像选择。另外，由多个乐音有机地构成的产物为乐曲。
需要说明的是，本发明并不限定于上述实施方式，在能够实现本发明目的的范围内的变形、改良等也包含于本发明。
在上述的实施方式中，作为精彩动态图像的制约而设为动态图像的最大重放时间，但并不限于此，例如也可以将构成动态图像的帧图像的最大张数作为制约条件。
另外，在上述的实施方式中，构成为取得多个静态图像作为候补图像，从取得的候补图像选择图像来生成精彩动态图像，但例如也可以在1个或多个动态图像中，将构成动态图像的帧图像作为候补图像。
另外，也可以取代精彩动态图像，生成多个静态图像成为一张图像那样的图像。
另外，在上述的实施方式中，构成为在合计选择的图像的个别重放时间的情况下，让合计的合计重放时间成为不超过所设定的最大重放时间的最大的重放时间，但并不限于此。例如也可以构成为在设定的重放时间(重放总时间)附近选择成为最大的评分那样的图像。
另外，在上述的实施方式中，构成为不连续选择相似度高的图像，但并不限于此，也可以构成为积极选择相似度高的图像。
另外，相似度例如能基于图像中的构图、视角、颜色等图像的内容、或拍摄时间、拍摄时的传感器信息等拍摄时的信息来决定。
另外，在图像的评价中，例如能基于图像中的构图、视角、颜色等图像的内容、或拍摄时间、拍摄时的传感器信息等拍摄时的信息来进行。另外，图像的评价可以在图像单体中进行，但也可以在与其他图像的比较中进行。例如可以构成为虽然根据图像的内容作为图像单体而成为高的评价，但在同时期相同的图像集中的情况下，根据与其他图像的关系而去掉同时期评价最高的图像让评价降低。
另外，在上述的实施方式中，切换点基于乐曲的内容来设定，但并不限于此。切换点例如能根据乐曲的内容举出多个候补，对该各个候补分配重要度。将所分配的重要度当中给定的重要度以上的候补设定为切换点。另外，也可以构成为对设定的切换点按照所分配的重要度来判断是否进行切换，从而选择图像。
另外，在上述的实施方式中，构成为最大重放时间由用户任意设定，但并不限于此，也可以构成为将作为BGM使用的乐曲的长度设定为最大重放时间。
另外，在上述的实施方式中，基于与动态图像一起进行重放的乐曲的内容来设定切换点，但例如也可以构成为按照所选择的图像的张数来设定切换点。在该情况下，能构成为在基于乐曲的内容而切换点的数量多于所选择的图像的情况下，将内容的变化少的点从切换点排除，或者在基于乐曲的内容而切换点的数量少于所选择的图像的情况下，将内容的变化第二多的点设定为切换点。另外，切换点也可以按照前半/中间/后半和重放时期来使数量增减。
另外，在上述的实施方式中，运用本发明的摄像装置1以数字摄像机为例进行了说明，但并不特别限定于此。
例如本发明一般能运用在具有精彩动态图像生成处理功能的电子设备中。例如本发明能运用在笔记本型的个人计算机、打印机、电视接收机、视频摄像机、便携型导航装置、便携电话机、智能手机、掌上游戏机等中。
上述的一系列处理既能通过硬件执行，也能通过软件执行。
换言之，图10的功能构成只是例示，并没有特别限定。即，在摄像装置1中具备能将上述的一系列处理作为整体来执行的功能即可，为了实现该功能而使用怎样的功能块则并不限定于图10的示例。
另外，1个功能块既可以由硬件单体构成，也可以由软件单体构成，还可以由它们的组合构成。
在通过软件执行一系列处理的情况下，将构成该软件的程序从网络或记录介质安装到计算机等。
计算机可以是装入到专用的硬件中的计算机。另外，计算机也可以是通过安装各种程序而能执行各种功能的计算机，例如是通用的个人计算机。
包含这样的程序的记录介质不仅由为了向用户提供程序而与装置主体分开分发的图1的可移动介质31构成，还由以预先装入装置主体的状态提供给用户的记录介质等构成。可移动介质31例如由磁盘(包括软盘)、光盘或光磁盘等构成。光盘例如由CD-ROM(Compact Disk-Read Only Memory，只读光盘)、DVD(Digital Versatile Disk，数字多功能盘)、Blu-ray(注册商标)Disc(蓝光盘)等构成。光磁盘由MD(Mini-Disk)等构成。另外，以预先装入装置主体的状态提供给用户的记录介质例如由记录有程序的图1的ROM12、图1的存储部20中所含的硬盘等构成。
另外，在本说明书中，描述记录于记录介质的程序的步骤当然可以是按照其顺序而在时间序列上进行的处理，但不一定非要是时间序列上的处理，还包含并行或个别执行的处理。
以上说明了本发明的几个实施方式，但这些实施方式只是例示，并不限定本发明的技术的范围。本发明还能取其他各种实施方式，进而能在不脱离本发明的要旨的范围内进行省略或置换等种种变更。这些实施方式和其变形包含在本说明书等所记载的发明的范围、要旨中，也包含在权利要求的范围所记载的发明和与其等同的范围内。

Claims (18)

1.一种图像处理装置，其特征在于，具备：
图像取得单元，其取得多个图像；
评价单元，其评价所述多个图像；
重放总时间设定单元，其设定多个图像所构成的数据的重放总时间；
个别重放时间设定单元，其对所述多个图像各自设定个别重放时间；和
选择单元，其基于所述多个图像的评价结果、所述个别重放时间和所述重放总时间，从所述多个图像选择与所述重放总时间相应的给定数量的图像。
2.根据权利要求1所述的图像处理装置，其特征在于，
所述选择单元选择所述给定数量的图像，使所选择的所述图像的评价结果高且所选择的所述多个图像的所述个别重放时间的合计时间成为不超过所述重放总时间的范围。
3.根据权利要求1所述的图像处理装置，其特征在于，
所述图像处理装置还具备：
相似度判定单元，其判定所述多个图像间的相似度，
所述选择单元基于所述相似度判定单元的判定结果来选择所述图像。
4.根据权利要求3所述的图像处理装置，其特征在于，
所述相似度判定单元基于与图像的内容关联的信息或与拍摄的定时关联的信息来判定所述相似度。
5.根据权利要求3所述的图像处理装置，其特征在于，
所述相似度判定单元将在判定相似度的对象的图像中由所述选择单元选择的顺序接近的前后的图像作为比较对象。
6.根据权利要求1所述的图像处理装置，其特征在于，
所述评价单元基于与图像的内容关联的信息或与拍摄的定时关联的信息来评价所述图像。
7.根据权利要求1所述的图像处理装置，其特征在于，
所述选择单元选择所述给定数量的图像，使与拍摄的图像的拍摄定时关联的信息分散。
8.根据权利要求1所述的图像处理装置，其特征在于，
所述图像处理装置还具备：
切换时间点设定单元，其在由所述重放总时间设定单元设定的所述重放总时间中设定图像的切换时间点，
所述选择单元考虑由所述切换时间点设定单元设定的所述切换时间点来选择所述给定数量的图像。
9.根据权利要求8所述的图像处理装置，其特征在于，
所述切换时间点设定单元设定所述切换时间点以与乐音对应。
10.根据权利要求1～9中任一项所述的图像处理装置，其特征在于，
所述个别重放时间设定单元基于所述评价单元的评价结果来设定所述个别重放时间。
11.一种图像选择方法，其特征在于，包括：
图像取得步骤，取得多个图像；
评价步骤，评价通过所述图像取得步骤取得的所述多个图像；
重放总时间设定步骤，没定多个图像所构成的数据的重放总时间；
个别重放时间设定步骤，对所述多个图像各自设定个别重放时间；和
选择步骤，基于所述多个图像的评价结果、所述个别重放时间和所述重放总时间，从所述多个图像选择与所述重放总时间相应的给定数量的图像。
12.一种图像处理装置，其特征在于，具备：
取得单元，其取得多个图像；
个别重放时间设定单元，其对由所述取得单元取得的所述多个图像各自设定个别重放时间；
重放总时间设定单元，其设定重放总时间；
切换时间点设定单元，其在由所述重放总时间设定单元设定的所述重放总时间中设定图像的切换时间点；和
选择单元，其基于所述切换时间点和所述重放总时间从所述多个图像中选择给定数量的图像以成为所述重放总时间内。
13.根据权利要求12所述的图像处理装置，其特征在于，
所述图像处理装置还具备：
重放时间调整单元，其在所述图像的个别重放时间少于给定的时间的情况下，变更该图像自身或前后任意的图像的个别重放时间。
14.根据权利要求12所述的图像处理装置，其特征在于，
所述切换时间点设定单元对所述切换时间点的至少1个设定重要度。
15.根据权利要求14所述的图像处理装置，其特征在于，
所述选择单元选择图像，不进行在不满足给定的重要度的所述切换时间点下的图像的切换。
16.根据权利要求12所述的图像处理装置，其特征在于，
所述图像处理装置还具备：
评价单元，其评价图像，
所述选择单元选择所述给定数量的图像以将所述评价单元的评价结果高的图像分配给所述切换时间点。
17.根据权利要求12～16中任一项所述的图像处理装置，其特征在于，
所述个别重放单元对由取得单元取得的所述多个图像各自设定不同的个别重放时间。
18.一种图像处理方法，其特征在于，包括：
取得步骤，取得多个图像；
个别重放时间设定步骤，对通过所述取得步骤取得的所述多个图像各自设定个别重放时间；
重放总时间设定步骤，设定重放总时间；
切换时间点设定步骤，在通过所述重放总时间设定步骤设定的所述重放总时间中设定图像的切换时间点；和
选择步骤，基于所述切换时间点和所述重放总时间来从所述多个图像选择给定数量的图像以成为所述重放总时间内。
CN201610974411.XA 2015-11-18 2016-11-04 图像处理装置、图像选择方法以及记录介质 Active CN107018348B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-226133 2015-11-18
JP2015226133A JP6418136B2 (ja) 2015-11-18 2015-11-18 画像処理装置、画像選択方法及びプログラム

Publications (2)

Publication Number Publication Date
CN107018348A true CN107018348A (zh) 2017-08-04
CN107018348B CN107018348B (zh) 2020-02-07

Family

ID=58817429

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610974411.XA Active CN107018348B (zh) 2015-11-18 2016-11-04 图像处理装置、图像选择方法以及记录介质

Country Status (3)

Country Link
JP (1) JP6418136B2 (zh)
KR (1) KR102646124B1 (zh)
CN (1) CN107018348B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005033554A (ja) * 2003-07-14 2005-02-03 Seiko Epson Corp 画像再生システム及び画像再生プログラム、並びに画像再生方法
CN101622641A (zh) * 2007-09-05 2010-01-06 索尼株式会社 图像选择设备、图像选择方法和程序
JP2010177731A (ja) * 2009-01-27 2010-08-12 Nikon Corp 画像再生装置及び撮像装置
JP2011082915A (ja) * 2009-10-09 2011-04-21 Sony Corp 情報処理装置、画像抽出方法及び画像抽出プログラム
JP2013017868A (ja) * 2012-10-31 2013-01-31 Sankyo Co Ltd スロットマシン
CN103155533A (zh) * 2010-05-26 2013-06-12 索尼爱立信移动通讯有限公司 用于拍摄与用户偏好对应的照片的相机系统和方法
US20130278447A1 (en) * 2006-11-14 2013-10-24 Viktor Kremin Capacitance to code converter with sigma-delta modulator
CN104408687A (zh) * 2014-10-31 2015-03-11 酷派软件技术（深圳）有限公司 一种图片播放的方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011009976A (ja) * 2009-06-25 2011-01-13 Hitachi Ltd 画像再生装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005033554A (ja) * 2003-07-14 2005-02-03 Seiko Epson Corp 画像再生システム及び画像再生プログラム、並びに画像再生方法
US20130278447A1 (en) * 2006-11-14 2013-10-24 Viktor Kremin Capacitance to code converter with sigma-delta modulator
CN101622641A (zh) * 2007-09-05 2010-01-06 索尼株式会社 图像选择设备、图像选择方法和程序
JP2010177731A (ja) * 2009-01-27 2010-08-12 Nikon Corp 画像再生装置及び撮像装置
JP2011082915A (ja) * 2009-10-09 2011-04-21 Sony Corp 情報処理装置、画像抽出方法及び画像抽出プログラム
CN103155533A (zh) * 2010-05-26 2013-06-12 索尼爱立信移动通讯有限公司 用于拍摄与用户偏好对应的照片的相机系统和方法
JP2013017868A (ja) * 2012-10-31 2013-01-31 Sankyo Co Ltd スロットマシン
CN104408687A (zh) * 2014-10-31 2015-03-11 酷派软件技术（深圳）有限公司 一种图片播放的方法及装置

Also Published As

Publication number Publication date
JP6418136B2 (ja) 2018-11-07
CN107018348B (zh) 2020-02-07
KR102646124B1 (ko) 2024-03-12
JP2017098638A (ja) 2017-06-01
KR20170058266A (ko) 2017-05-26

Similar Documents

Publication Publication Date Title
CN103685862B (zh) 图像处理装置、图像处理方法
CN104349060B (zh) 图像处理装置、图像处理方法及存储介质
CN105450911B (zh) 图像处理装置、图像处理方法
CN103327234B (zh) 图像处理装置、以及图像处理方法
CN101453573B (zh) 图像显示装置和照相机、图像显示方法及图像显示系统
CN102047652A (zh) 摄像装置、集成电路、摄像方法、程序及记录介质
CN103780862B (zh) 再生控制装置、再生控制方法以及记录介质
CN107018349A (zh) 选择图像的图像处理装置以及图像处理方法
JP5786892B2 (ja) 動画再生装置、動画再生方法及びプログラム
US20140079289A1 (en) Information generation apparatus that generates information on a sequence of motions
CN107506108A (zh) 图像处理装置、图像处理方法以及计算机可读取的存储介质
JP6614198B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2005109566A (ja) 映像要約装置、説明文生成装置、映像要約方法、説明文生成方法及びプログラム
CN107018348A (zh) 图像处理装置以及图像选择方法
US10658006B2 (en) Image processing apparatus that selects images according to total playback time of image data, image selection method, and computer-readable medium
CN110442748A (zh) 一种视频生成方法、装置、电子设备及存储介质
CN105744145A (zh) 图像生成方法以及图像生成装置
CN105611119A (zh) 图像处理装置以及图像处理方法
JP2020137050A (ja) 撮像装置、撮像方法、撮像プログラム及び学習装置
JP5949824B2 (ja) 情報処理装置及びプログラム
JP5954288B2 (ja) 情報処理装置及びプログラム
JP6276673B2 (ja) カラオケ装置及びプログラム
JP2017098639A (ja) 画像処理装置、画像選択方法及びプログラム
Maedaa et al. Assistance System for Dance Creation Using Kinect and Unity
JP2011171921A (ja) デジタルカメラ

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant