CN107409193A - 信息处理方法、影像处理装置和程序 - Google Patents

信息处理方法、影像处理装置和程序 Download PDF

Info

Publication number
CN107409193A
CN107409193A CN201580066673.XA CN201580066673A CN107409193A CN 107409193 A CN107409193 A CN 107409193A CN 201580066673 A CN201580066673 A CN 201580066673A CN 107409193 A CN107409193 A CN 107409193A
Authority
CN
China
Prior art keywords
image
unit
information
beat
music
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580066673.XA
Other languages
English (en)
Inventor
池田广志
木村笃史
岛内和博
池田伸穗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN107409193A publication Critical patent/CN107409193A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/368—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems displaying animated or moving pictures synchronized with the music or audio part
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/38—Chord
    • G10H1/383—Chord detection and/or recognition, e.g. for correction, or automatic bass generation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/40—Rhythm
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/021—Background music, e.g. for video sequences, elevator music
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/061—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of musical phrases, isolation of musically relevant segments, e.g. musical thumbnail generation, or for temporal structure analysis of a musical piece, e.g. determination of the movement sequence of a musical work
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/071—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for rhythm pattern analysis or rhythm style recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/076—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of timing, tempo; Beat detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/351—Environmental parameters, e.g. temperature, ambient light, atmospheric pressure, humidity, used as input for musical purposes
    • G10H2220/355—Geolocation input, i.e. control of musical parameters based on location or geographic position, e.g. provided by GPS, WiFi network location databases or mobile phone base station position databases
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/391—Angle sensing for musical purposes, using data from a gyroscope, gyrometer or other angular velocity or angular movement sensing device
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/395—Acceleration sensing or accelerometer use, e.g. 3D movement computation by integration of accelerometer data, angle sensing with respect to the vertical, i.e. gravity sensing.
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/441—Image sensing, i.e. capturing images or optical patterns for musical purposes or musical control purposes
    • G10H2220/455—Camera input, e.g. analyzing pictures from a video camera and using the analysis results as control data
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/075—Musical metadata derived from musical analysis or for use in electrophonic musical instruments
    • G10H2240/085—Mood, i.e. generation, detection or selection of a particular emotional content or atmosphere in a musical piece

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Image Processing (AREA)

Abstract

提出能够更有效地激发观看者情绪的影像处理方法、影像处理装置和程序。一种信息处理方法包括：分析输入音乐的节拍；从输入影像中提取多个单位影像；以及通过处理器生成用于根据分析出的节拍来切换提取出的单位影像的编辑信息。

Description

信息处理方法、影像处理装置和程序
技术领域
本公开涉及信息处理方法、影像处理装置和程序。
背景技术
近来，诸如可穿戴相机和动作相机之类的相机类型已被广泛地用于诸如运动之类的领域。对于这样的相机，在许多情况下长时间进行连续的影像捕获并且组成容易变得单调，因此存在已经捕获的影像(图片、视频等)按其原始状态难以欣赏的情况。因此，需要一种用来生成通过缩简已经捕获的影像的有趣点而获得的概要影像的技术。
关于这样的技术，例如，已经开发了用于切换影像以匹配背景音乐(BGM)的技术，如在下面的专利文献1和2中公开的。更具体地，下面的专利文献1公开了一种用于在音乐的每个乐句划分定时或在多个乐句划分的定时切换影像数据的技术。
引用列表
专利文献
专利文献1：JP 2005-175630A
专利文献2：JP 1999-69290A
发明内容
技术问题
然而，在上面的专利文献1中公开的技术中，在取决于BGM的乐句划分定时的定时切换影像。根据BGM的乐句划分定时来切换影像是出于实现与BGM匹配的自然影像切换的目的，并且因此例如难以激发观看者的情绪。因此，本公开提出了一种能够更有效地激发观看者的情绪的新颖且改进了的信息处理方法、影像处理装置和程序。
问题的解决方案
根据本公开，提供了一种信息处理方法，包括：分析输入音乐的节拍；从输入影像中提取多个单位影像；和通过处理器生成用于根据分析出的节拍来切换提取出的单位影像的编辑信息。
另外，根据本公开，提供了一种影像处理装置，包括：音乐分析单元，分析输入音乐的节拍；提取单元，从输入影像中提取多个单位影像；和编辑单元，生成用于根据由音乐分析单元分析出的节拍来切换由提取单元提取出的单位影像的编辑信息。
另外，根据本公开，提供了一种用于使计算机起以下作用的程序：音乐分析单元，分析输入音乐的节拍；提取单元，从输入影像中提取多个单位影像；和编辑单元，生成用于根据由音乐分析单元分析出的节拍来切换由提取单元提取出的单位影像的编辑信息。
发明的有益效果
根据如上所述的本公开，可以更有效地激发观看者的情绪。注意，上述效果不一定是限制性的。与上述效果一起或代替上述效果，可以实现在本说明书中描述的效果中的任何一种效果或可根据本说明书掌握的其它效果。
附图说明
[图1]图1是根据本实施例的影像处理装置的概述的说明图。
[图2]图2是在根据本实施例的影像处理装置中执行的影像分析处理的概要的说明图。
[图3]图3是在根据本实施例的影像处理装置中执行的编辑信息生成处理和概要影像生成处理的概要的说明图。
[图4]图4是示出根据本实施例的影像处理装置的逻辑配置示例的框图。
[图5]图5是根据本实施例的单位影像提取处理的说明图。
[图6]图6是根据本实施例的单位影像切换定时设置处理的说明图。
[图7]图7是根据本实施例的影像处理装置的操作模式示例的说明图。
[图8]图8是根据本实施例的单位影像选择处理的说明图。
[图9]图9是根据本实施例的单位影像选择处理的说明图。
[图10]图10是根据本实施例的采用区段设置处理的说明图。
[图11]图11是根据本实施例的采用区段设置处理的说明图。
[图12]图12是根据本实施例的采用区段设置处理的说明图。
[图13]图13是示出在根据本实施例的影像处理装置中执行的概要影像生成处理流程的示例的流程图。
[图14]图14是示出根据本实施例的信息处理装置的硬件配置示例的框图。
具体实施方式
在下文中，将参照附图详细描述本公开的(一个或多个)优选实施例。在本说明书和附图中，具有基本相同的功能和结构的结构元件用相同的附图标记表示，并且对这些结构元件的重复说明被省略。
另外，在本说明书和附图中，存在通过向相同符号后缀不同的字母来区别具有基本上相同功能的元件的情况。例如，具有基本上相同功能配置的元件根据需要而被区别为影像处理装置100A、100B和100C。然而，当不需要特别区别具有基本上相同功能配置的多个元件时，仅附加相同的符号。例如，当不需要特别区别影像处理装置100A、100B和100C时，它们被简单地称为影像处理装置100。
描述将按照以下顺序进行。
1.概述
2.基本配置
3.功能详情
3.1.单位影像提取处理
3.2.切换定时设置处理
3.3.操作模式决定处理
3.4.单位影像选择处理
3.5.采用区段设置处理
4.操作处理
5.硬件配置示例
6.结论
<1.概述>
首先，将参照图1至图3来描述根据本实施例的影像处理装置的概述。
图1是根据本实施例的影像处理装置100的概述的说明图。在图1中，示出了使用影像处理装置100的用户的操作和在影像处理装置100中执行的处理的进展(progress)，并且时间从左向右流逝。如图1中所示，影像处理装置100根据用户所捕获的影像10来生成概要影像(图片、视频等)50。概要影像50是通过总结用户所捕获的影像而获得的摘要的影像。影像处理装置100通过根据输入音乐30对使用任意采用标准从已经捕获的影像10中采用的区段(section)进行切换和连接来生成概要影像50。同时，影像在本说明书中包括图像(静止图像/运动图像)数据和声音数据。在下文中，将描述在影像处理装置100中执行的生成概要影像50的处理的概述。
首先，影像处理装置100在用户执行影像捕获的时段中同时执行记录所捕获的影像10的记录处理和分析影像10的影像分析处理。例如，作为影像分析处理，影像处理装置100执行对在影像捕获期间的用户操纵的分析，执行诸如笑脸检测、颜色检测和运动矢量检测之类的图像分析，或者基于在影像捕获期间的传感器信息执行对被摄体的运动的分析。
随后，影像处理装置100基于指示影像分析处理结果的影像分析结果信息20和输入音乐30来执行编辑信息生成处理。例如，影像处理装置100通过使用任意采用标准评估影像分析结果信息20来从影像10中选择要在概要影像50中采用的单位影像。单位影像是一系列影像，也称为镜头(shot)。此外，影像处理装置100生成用于根据音乐30切换所采用的单位影像的编辑信息40。编辑信息40是指定音乐30、音乐30中要用作背景音乐(BGM)的区段、要切换的单位影像以及将切换单位影像的定时的信息。影像处理装置100通过基于乐理分析音乐30来生成编辑信息40，使得在根据音乐30的旋律、节奏、节拍、活力等的定时切换单位影像。
此外，影像处理装置100基于编辑信息40执行概要影像生成处理。例如，使用被编辑信息40指定为BGM的音乐30，影像处理装置100通过在指定定时对由编辑信息40指定的单位影像进行切换和连接来生成概要影像50。影像处理装置100可以播放概要影像50、记录概要影像50并将概要影像50发送到其他装置。
另外，图1中所示的影像分析处理1可以与由用户执行的影像捕获并行地执行或者在影像捕获之后执行。此外，可以连续地或不连续地执行影像分析处理、编辑信息生成处理和概要影像生成处理。另外，影像处理装置100可以使用多个影像和作为BGM的音乐30来生成概要影像50。
上面已经描述了生成概要影像50的处理的概述。随后，将参照图2和图3更详细地描述生成概要影像50的处理。
图2是在根据本实施例的影像处理装置100中执行的影像分析处理的概述的说明图。在图2中所示的图中，影像10是用户的一天的影像，并且影像分析结果信息20包括作为表示影像的属性的信息的场景段(segment)22和亮点21。影像10包括到达海的影像、冲浪的影像、休息的影像、午餐的影像、酒店处的影像和日落的影像。亮点21是表示影像10中的有趣点的区段。例如，诸如跳跃或转向之类的特定运动、微笑、引起欢呼的事件的令人兴奋的场景、诸如婚礼中的切蛋糕或戒指交换之类的特定事件中的重要场景等可被认为是有趣点。场景段22是通过在预定条件下分割影像10而获得的区段。例如，场景段22可以是基于颜色分割的相同颜色延续的区段。另外，场景段22可以是基于相机工作(camera work)分割的相同的相机工作延续的区段。此外，场景段22可以是基于日期和时间分割的在接近的日期和时间捕获的区段。另外，场景段22可以是基于地点分割的在相同的地点或接近的地点捕获的区段。作为示例，在图2中场景段22是基于颜色而被分割的。分割的颜色可以例如是白色、蓝色、绿色和红色。影像处理装置根据影像分析处理来分析亮点21和对应于影像属性的场景段22。
图3是在根据本实施例的影像处理装置100中执行的编辑信息生成处理和概要影像生成处理的概述的说明图。首先，影像处理装置100将具有相同场景段22的一系列影像提取作为单位影像。然后，影像处理装置100根据预定策略采用单位影像，同时优先从单位影像中采用亮点21。例如，影像处理装置100可以采用其中场景段22被分散(distributed)的单位影像以便减少视觉偏差。另外，影像处理装置100可以根据由用户指定的诸如冲浪或单板滑雪之类的主题来使用单位影像。具体地说，在冲浪的情况下，影像处理装置100可以使用单位影像，使得诸如在冲浪期间的转向之类的亮点(而不是饭食)的比例增加并且蓝色、接近海的地点和高海浪的时间的场景段的比例增加。另外，影像处理装置100基于乐理来分析音乐30(BGM)，并设置将切换单位影像的定时。通过这样的处理，影像处理装置100生成用于在设置的定时切换所采用的单位影像的编辑信息40。然后，影像处理装置100基于编辑信息40生成概要影像50。另外，包括在概要影像50中的单位影像可以是按照时间序列的或者是不按照时间序列的。
例如，影像处理装置100可以被实现为诸如动作相机或可穿戴相机之类的相机。诸如动作相机和可穿戴摄影机之类的相机在许多情况下长时间连续捕获影像，并且组成容易变得单调。因此，希望通过对有趣点进行整合来将由这种相机捕获的影像编辑成概要影像。然而，在许多情况下这种相机是小型的并且UI是简单的，因此存在难以在确认影像的同时手动编辑影像的情况。因此，期望甚至针对长时间连续捕获的并且具有单调组成的影像生成适当的概要影像。鉴于此，即使在这样的影像的情况下，根据本实施例的影像处理装置100也可以根据由用户指定的主题生成如下概要影像：其中属性是分散的并且包括亮点的镜头根据BGM而被切换。同时，影像处理装置100可被实现为一般的摄像机等，或者与相机分离的诸如个人计算机(PC)或网络上的服务器之类的信息处理装置。
上面已经描述了根据本实施例的影像处理装置100的概述。接下来，将参照图4描述根据本实施例的影像处理装置100的基本配置的示例。
<2.基本配置>
图4是示出根据本实施例的影像处理装置100的逻辑配置的示例的框图。如图4中所示，影像处理装置100包括输入单元110、存储单元120、输出单元130和控制器140。
(1)输入单元110
输入单元110具有从外部接收各种类型的信息的输入的功能。如图4中所示，输入单元110包括传感器单元111、操纵单元112、影像获取单元113和音乐获取单元114。
(1.1)传感器单元111
传感器单元111具有检测被摄体的运动的功能。例如，传感器单元111可包括陀螺仪传感器、加速度传感器和重力传感器。被摄体是影像捕获目标并且还包括捕获影像的人(用户)。传感器单元111可包括诸如全球定位系统(GPS)、红外传感器、接近传感器或触摸传感器之类的任何传感器。传感器单元111将表示感测结果的传感器信息输出到控制器140。另外，传感器单元111可以不与影像处理装置100集成。例如，传感器单元111可以通过有线或无线通信从附接到被摄体的传感器获取传感器信息。
(1.2)操纵单元112
操纵单元112具有接收用户操纵的功能。例如，操纵单元112通过按钮、触摸板等来实现。操纵单元112可以接收诸如在影像捕获期间的缩放操纵、设置影像捕获模式的操纵等的操纵。作为影像捕获模式，例如，可以考虑用于捕获运动影像的正常模式、用于同时捕获运动影像和静止影像的同时影像捕获模式等。此外，操纵单元112可以在影像捕获期间或影像捕获之后接收指定要包括在概要影像中的区段的编辑指令。操纵单元112将表示用户操纵的内容的操纵信息输出到控制器140。
(1.3)影像获取单元113
影像获取单元113具有获取影像的功能。例如，影像获取单元113被实现为影像捕获装置，并且输出与数字信号对应的所捕获的图像(运动图像/静止图像)的数据。影像获取单元113还可包括用于收集周围声音并且通过放大器和模数转换器(ADC)将声音转换成数字信号以获取声音数据的麦克风。在这种情况下，影像获取单元113输出包括周围声音的影像数据。
(1.4)音乐获取单元114
音乐获取单元114具有获取成为概要影像的BGM的音乐数据的功能。例如，音乐获取单元114被实现为有线或无线接口，并且从诸如PC或服务器之类的另一装置获取音乐数据。作为有线接口，例如可以考虑符合诸如通用串行总线(USB)之类的标准的连接器。作为无线接口，例如可以考虑符合诸如蓝牙(注册商标)或Wi-Fi(注册商标)之类的通信标准的通信装置。音乐获取单元114将获取的音乐数据输出到控制器140。
(2)存储单元120
存储单元120具有存储各种类型的信息的功能。例如，存储单元120存储从输入单元110输出的信息和由控制器140生成的信息。
(3)输出单元130
输出单元130具有输出各种类型的信息的功能。例如，输出单元130可以具有播放由将在下面描述的概要影像生成单元146生成的概要影像的功能。在这种情况下，输出单元130可以包括显示单元和扬声器。此外，输出单元130可以具有输出由将在下面描述的编辑单元144生成的编辑信息的功能。在这种情况下，输出单元130可以包括有线或无线接口。
(4)控制器140
控制器140充当算数处理设备和控制设备，并且根据各种程序控制影像处理装置100中的整体操作。如图4中所示，控制器140包括音乐分析单元141、影像分析单元142、提取单元143、编辑单元144、操作模式控制器145和概要影像生成单元146。
(4.1)音乐分析单元141
音乐分析单元141具有分析输入音乐的内容的功能。具体地，音乐分析单元141基于乐理对由音乐获取单元114获取的音乐数据进行分析。
音乐分析单元141可以分析音乐的结构。例如，音乐分析单元141通过分析音乐的结构来指定满足预定条件的部分。例如，音乐分析单元141可以基于乐理来指定诸如序曲部分、旋律(韵律(verse))部分、合唱(也称为副歌(hook))部分、间奏部分、独奏部分和结尾部分之类的组成部分。旋律部分可以分为旋律A和旋律B。另外，音乐分析单元141可以检测在音乐的每个指定组成部分中的和弦进展，并且可以基于检测到的和弦信号来指定合唱部分中的特别重要的部分(区段)。此外，音乐分析单元141可以将合唱部分中的人声开始演唱的区段、人声的音调最高的区段等指定为特别重要的部分。
此外，音乐分析单元141可以分析音乐的节奏。例如，音乐分析单元141分析音乐的节拍和音乐的小节。在四拍子的情况下，例如，四个节拍以相等间隔被包括在一个小节中，并且第一节拍对应于小节的开始。对应于小节开始的节拍在下文中被称为小节头的节拍。
音乐分析单元141将表示分析结果的音乐分析结果信息输出到编辑单元144。另外，音乐分析结果信息包括指示音乐数据中的每个组成部分的位置、特别重要部分的位置、每个节拍的位置和每个小节的位置的信息。
(4.2)影像分析单元142
影像分析单元142具有分析输入影像的内容的功能。具体地，影像分析单元142对由影像获取单元113获取的影像数据的内容进行分析。然后，影像分析单元142将表示影像内容分析结果的影像分析结果信息输出到提取单元143。
-亮点的检测
例如，影像分析单元142基于通过输入单元110输入的信息来检测亮点、将指示检测到的亮点的信息包括在影像分析结果信息中、并输出影像分析结果信息。作为示例，将描述其中影像分析单元142检测关于被摄体运动、用户操纵、面部和微笑的亮点的示例。
例如，影像分析单元142基于由传感器单元111获取的传感器信息来检测被摄体的预定运动。例如，影像分析单元142可以基于传感器信息来检测被摄体的运动，诸如被摄体的起跳(跳跃)、前进方向的转动(转向)、奔跑、加速或减速之类。此外，影像分析单元142可以通过对由影像获取单元113获取的影像数据执行图像识别处理来检测被摄体的预定运动。关于检测被摄体运动的处理，影像分析结果信息可以包括指示检测到的被摄体的运动的信息和指示影像数据中的检测到运动的区段的信息。
例如，影像分析单元142基于由操纵单元112获取的操纵信息来检测用户操纵。例如，影像分析单元142基于在影像捕获期间获取的操纵信息来检测诸如缩放操纵和设置影像捕获模式的操纵之类的预定操纵等。关于检测用户操纵的处理，影像分析结果信息可以包括指示检测到的用户操纵的信息和指示影像数据中检测到用户操纵的区段的信息。此外，影像分析单元142基于在影像捕获期间或在影像捕获之后获取的操纵信息来检测编辑指令。在这种情况下，影像分析结果信息可以包括指示区段的信息，所述区段被用户指定为要包括在概要影像中的区段。
例如，影像分析单元142通过对由影像获取单元113获取的影像数据执行图像识别处理来检测被摄体的面部和微笑。关于检测面部和微笑的处理，影像分析结果信息可以包括指示在其中检测到面部和微笑的区段和区域以及影像数据中的面部和微笑的数量的信息。
例如，影像分析单元142通过对由影像获取单元113获取的影像数据执行声音识别处理来检测引起欢呼的区段。关于检测欢呼的处理，影像分析结果信息可以包括指示影像数据中检测到欢呼的区段和音量的信息。
例如，影像分析单元142通过对由影像获取单元113获取的影像数据执行图像识别处理来检测特定事件中的重要场景。作为重要场景，婚礼中的切蛋糕、戒指交换等可以被考虑。关于检测重要场景的处理，影像分析结果信息可以包括指示影像数据中的检测到重要场景的区段和重要性的信息。
-针对场景段的信息的检测
例如，影像分析单元142基于通过输入单元110输入的信息来检测针对场景段的信息、将检测到的针对场景段的信息包括在影像分析结果信息中、并输出影像分析结果信息。作为示例，将描述其中影像分析单元142检测关于颜色、相机工作、日期和时间以及地点的针对场景段的信息的示例。
例如，影像分析单元142可以通过对由影像获取单元113获取的影像数据执行图像识别处理来检测影像的颜色。具体地，影像分析单元142分析影像的YUV、RGB等，并且检测针对每个帧或多个帧的颜色直方图。然后，影像分析单元142检测每个帧中的主色，作为相应帧的颜色。同时，用于识别检测到的颜色的标识信息被称为颜色ID。关于检测颜色的处理，影像分析结果信息可以包括指示每个区段的颜色ID的信息。
例如，影像分析单元142可以通过对由影像获取单元113获取的影像数据执行图像识别处理来检测相机工作。例如，影像分析单元142通过检测针对每个帧或多个帧的运动矢量来检测停止、上和下或者向左和右的相机工作。另外，用于识别检测到的相机工作的标识信息被称为相机工作ID。关于检测相机工作的处理，影像分析结果信息可以包括指示每个区段的相机工作ID的信息。
例如，影像分析单元142可以检测由传感器单元111中包括的GPS、影像获取单元113中包括的相机等中包括的时钟获取的影像捕获日期和时间。另外，用于识别检测到的影像捕获日期和时间的标识信息被称为影像捕获日期和时间ID。相同的影像捕获日期和时间ID被附加到在相同或接近的日期和时间捕获的区段。关于检测影像捕获日期和时间的处理，影像分析结果信息可以包括指示影像捕获日期和时间ID以及每个影像捕获日期和时间段的区段的信息。
例如，影像分析单元142可以基于由包括在传感器单元111中的GPS获取的位置信息来检测捕获影像的地点。另外，用于识别检测到的影像捕获地点的标识信息被称为影像捕获地点ID。相同的影像捕获地点ID被附加到在相同或接近的地点捕获的区段。关于检测影像捕获地点的处理，影像分析结果信息可以包括指示每个区段的影像捕获地点ID的信息。
(4.3)提取单元143
提取单元143具有从输入影像中提取多个单位影像的功能。具体地，提取单元143基于影像分析单元142的分析结果而从由影像获取单元113获取的影像数据中提取多个单位影像。具体地，提取单元143将具有由分析结果信息指示的相同的影像属性的一系列影像提取为单位影像。
例如，提取单元143可以将具有相同的场景段的一系列影像提取为单位影像。此外，提取单元143可以将已经从中检测到亮点的影像提取为单位影像。具体地，提取单元143可以将其中已经检测到诸如跳跃之类的被摄体的预定运动的区段提取为单个单位影像。另外，提取单元143可以将以下区段提取为单个单位影像：其中已经检测到诸如缩放操纵、设置影像捕获模式的操纵等的预定操纵的区段或被用户指定为要包括在概要影像中的区段。这里，提取单元143在缩放操纵的情况下可以将缩放之后的区段提取为单位影像，并且在设置影像捕获模式的操纵的情况下可以将在同时影像捕获模式下捕获的区段提取为单位影像。此外，提取单元143可以将其中已经检测到被摄体的面部或微笑的区段(就是说，其中检测到被摄体的诸如微笑或面向相机之类的预定状态的区段)或该区段之前和之后的区段提取为单个单位影像。另外，提取单元143可以将具有欢呼的区段提取为单个单位影像。另外，提取单元143可以将其中已经捕获到特定事件的影像中的重要场景的区段提取为单个单位影像。提取单元143可以组合并使用这种提取标准。
提取单元143可以基于影像分析单元142的分析结果来为提取的单位影像设置关注度。例如，提取单元143为对应于亮点的区段的单位影像设置高的关注度。具体地，当影像分析单元142分析出单位影像的影像捕获区段中的被摄体的运动是预定的运动、分析出被摄体的状态是预定状态或者分析出存在预定的操纵时，提取单元143为相应的单位影像设置高的关注度。此外，当影像分析单元142分析出单位影像的影像捕获区段具有欢呼或者分析出存在重要场景时，提取单元143为相应的单位影像设置高的关注度。因此，为与其中检测到诸如跳跃之类的被摄体的预定运动的区段相对应的单位影像设置高的关注度。此外，为与其中检测到诸如微笑或面对相机之类的被摄体的预定状态的区段相对应的单位影像设置高的关注度。另外，为与其中检测到诸如缩放操纵或设置影像捕获模式的操纵之类的预定操纵的区段相对应的单位影像设置高的关注度。另外，为对应于具有欢呼的区段的单位影像设置高的关注度。另外，为与其中检测到诸如婚礼中的切蛋糕或戒指交换之类的特定事件中的重要场景的区段相对应的单位影像设置高的关注度。此外，提取单元143可以为与被用户指定为要包括在概要影像中的区段的区段相对应的单位影像设置高的关注度。此外，提取单元143在除了上述情况之外的情况下设置低的关注度。在下文中，具有高关注度的单位影像被称为亮点镜头，并且具有低关注度的单位影像被称为次镜头(sub-shot)。此外，用于识别提取的亮点镜头的类型的标识信息被称为亮点ID。例如，根据诸如跳跃、缩放操纵、欢呼、重要场景和用户所指定的亮点之类的亮点类型，可以将不同的ID设置为亮点ID。
(4.4)编辑单元144
编辑单元144具有生成用于根据输入音乐来切换由提取单元143提取的单位影像的编辑信息的功能。例如，编辑单元144设置要使用的输入音乐和要用作BGM的输入音乐的区段。然后，编辑单元144根据音乐分析单元141的音乐分析结果来划分要用作BGM的音乐，并将由提取单元143提取的单位影像分配给每个区段。因此，在概要影像中在划分音乐的定时切换单位影像。当分配单位影像时，编辑单元144可以将由提取单元143提取的单位影像的全部或部分决定为在概要影像中采用的单位影像，并将所采用的单位影像分配给每个区段。另外，编辑单元144原则上按影像捕获时间顺序分配单位影像。当然，编辑单元144可以在不依赖于影像捕获时间的情况下分配单位影像。以这种方式，编辑单元144通过设置要使用的输入音乐、要用作BGM的输入音乐的区段、要切换的单位影像和将切换单位影像的定时来生成编辑信息。下面将详细描述编辑单元144的处理的细节。
(4.5)操作模式控制器145
操作模式控制器145具有控制提取单元143和编辑单元144中的操作模式的功能。操作模式控制器145根据提取单元143的单位影像提取结果和编辑单元144的切换定时设置结果来控制操作模式。下面将详细描述操作模式控制器145的处理的细节。
(4.6)概要影像生成单元146
概要影像生成单元146具有生成由基于音乐和编辑信息来切换的单位影像构成的概要影像的功能。例如，概要影像生成单元146通过使用被编辑信息指定为BGM的音乐并且在指定的定时对由编辑信息指定的单位影像进行切换和连接来生成概要影像。
<3.功能的详情>
上面已经描述了根据本实施例的影像处理装置100的基本配置。接下来，将在下面详细描述影像处理装置100的功能。
[3.1.单位影像提取处理]
提取单元143基于影像分析单元142的分析结果从由影像获取单元113获取的影像数据中提取多个单位影像。具体地，提取单元143根据由影像分析单元142分析出的影像属性来提取单位影像。例如，提取单元143基于针对场景段的信息和指示亮点的信息从影像数据中提取亮点镜头和次镜头。在下文中，将参照图5详细描述基于影像分析结果的单位影像提取处理。
图5是根据本实施例的单位影像提取处理的说明图。图5粗略地示出了提取单元143提取亮点镜头260A至260E和次镜头270A至270G的处理。如图5所示，首先，提取单元143基于针对场景段的信息生成场景段210。例如，提取单元143通过分割具有相同颜色ID的区段来生成场景段210。提取单元143可以使用针对场景段的多条信息，并且例如可以通过分割具有相同颜色ID、相同相机工作ID、相同影像捕获地点ID以及相同影像捕获日期和时间ID的区段来生成场景段210。随后，提取单元143使场景段210与亮点220相关联，并从输入影像230中提取亮点镜头240A至240E。然后，提取单元143将按照输入影像230的场景段210划分的区段提取为次镜头。这里，提取单元143可以通过排除以下区段来提取次镜头250：与亮点镜头240重叠的区段、短(例如，比将在下面描述的最长分配区段更短)的区段、极亮或极暗的区段，或者具有不稳定的相机工作的区段。在下文中，由提取单元143基于影像结果信息(即，亮点镜头和次镜头)提取的单位影像的数量将被称为提取数量。
[3.2.切换定时设置处理]
基于从音乐分析单元141输出的音乐分析结果信息，编辑单元144根据输入音乐来设置单位影像切换定时。例如，编辑单元144可以生成用于根据由音乐分析单元141分析出的组成部分、小节或节拍来切换由提取单元143提取的单位影像的编辑信息。具体地，编辑单元144在组成部分切换定时、小节切换定时或根据节拍的定时划分输入音乐，并将单位影像切换定时设置在划分的位置。
例如，编辑单元144可以生成用于在根据节拍的定时针对每一个节拍切换单位影像的编辑信息。在这种情况下，单位影像以良好的节奏和速度感来切换，并且从而可以激发观看者的情绪。这里，当音乐的节拍的速率超过阈值时，编辑单元144可以生成用于针对每多个节拍切换单位影像的编辑信息。例如，可以针对每两个节拍切换单位影像。因此，当BGM是高节奏音乐时，防止单位影像过快切换，并且从而可以避免给观看者带来压迫感。
例如，编辑单元144可以针对由音乐分析单元141分析出的每种类型的音乐结构来设置根据节拍对单位影像进行切换的次数。具体地，编辑单元144可以针对诸如序曲部分和合唱部分之类的每个音乐组成部分来设置根据节拍对单位影像进行切换的次数。另外，编辑单元144可以在满足由音乐分析单元指定的上述预定条件的部分中根据节拍来对单位影像进行切换。具体地，编辑单元144可以在合唱部分中的特别重要的部分(诸如其中人声开始演唱的部分或其中人声的音调最高的部分)中根据节拍对单位影像进行切换。因此，可以根据按照BGM的高潮的节拍对单位影像进行切换，从而更有效地激发观看者的情绪。
例如，编辑单元144可以选择是否以由音乐分析单元141分析出的音乐的小节为单位来根据节拍对单位影像进行切换。在这种情况下，以小节为单位来根据节拍对单位影像进行切换。较清楚的是，一个人在听音乐的同时意识到小节并且有意识地或无意识地预测进展。因此，观看者容易接受以小节为单位的根据节拍对单位影像的切换，并且因此可以容易地激发观看者的情绪。另外，以小节为单位根据节拍对单位影像的切换和以小节为单位对单位影像的切换之间的匹配是良好的。此外，编辑单元144可以使其中根据节拍对单位影像进行切换的小节分离。因此，根据节拍对单位影像的切换不是在多个连续小节中进行的，并且从而防止了过度的切换。
同时，在设置的切换定时处划分的音乐的区段在下文中称为分配区段。也就是说，设置切换定时对应于设置用于将具有长度的每个单位影像分配给概要影像的分配区段。分配区段中最长的区段将被称为最长分配区段。
上述单位影像切换定时可以基于预先设置的概率表来设置。这里，编辑单元144可以符合在切换音乐的组成部分的定时必须切换单位影像、设置最长分配区段的长度等的规则。
同时，期望在单个小节中根据节拍来切换的上述单位影像是彼此相似的。因此，可以避免给观看者带来复杂的印象。彼此相似意味着例如被摄体的运动、影像捕获日期和时间(即，影像捕获时间信息)、影像捕获地点(即，影像捕获位置信息)、颜色信息和相机工作中的至少一个是彼此接近的。例如，可以说，相同颜色的单位影像(其中的一个具有从右向左移动的相机工作并且其中的另一个具有从左向右移动的相机工作)是彼此相似的。此外，可以说具有跳跃被摄体的单位影像是彼此相似的。另外，彼此的相似性可以指例如在单位影像中包括特定被摄体。例如，可以说，包括同一人或同一团队中的人的单位影像是彼此相似的。这里，单个小节中根据节拍来切换的单位影像中的至少一个可以被采用两次或更多次。在四拍子的情况下，例如，可以按照单位影像A、单位影像B、单位影像A和单位影像B的顺序采用单位影像，或者按照单位影像A、单位影像A、单位影像A和单位影像A的顺序采用单位影像。因此，可以更容易地避免给观看者带来复杂的印象。当然，单个小节中根据节拍来切换的单位影像可以是不同的。在四拍子的情况下，例如，可以按照单位影像A、单位影像B、单位影像C和单位影像D的顺序采用单位影像。
在下文中，将参照图6详细描述基于音乐分析结果的单位影像切换定时设置处理。
图6是根据本实施例的单位影像切换定时设置处理的说明图。图6示出了用作BGM的音乐的区段310的组成部分320和设置的切换定时330。切换定时330的划分线指示切换定时，并且由划分线划分的区段指示分配区段。如图6所示，旋律部分、合唱部分和结束部分被包括为组成部分320。此外，图6中示出的音乐是在一个小节343中包括一个小节头节拍342和三个节拍341的四拍子音乐。在图6中所示的示例中，编辑单元144将单位影像切换定时设置在组成部分320从旋律切换到合唱的定时以及合唱切换到结束的定时。此外，编辑单元144以一个小节为单位来设置分配区段351A至351D，以两个小节为单位来设置分配区段352，以三个小节为单位来设置分配区段353，并且以一个节拍为单位来设置分配区段354。因此，在区段354中针对每个节拍切换单位影像。在这种情况下，最长分配区段360对应于三个小节。
下面的表1示出了图6所示的示例中的针对每个切换定时类型(分配区段长度)的每个组成部分和整个BGM中采用的单位影像的数量。
[表1]
另外，当针对每一个节拍切换单位影像时，所选择的单位影像的数量最多为4，因为可以多次采用一个单位影像。参照表1，在图6所示的示例中的整个区段中，概要影像中最多采用10个单位影像。此外，在图6所示的示例中，最长分配区段对应于三个小节。
如上所述，在概要影像中采用的单位影像的数量是由分配区段的数量(即，音乐划分的数量)决定的，所述分配区段的数量是由编辑单元144基于音乐分析结果信息设置的切换定时决定的。在下文中，基于音乐分析结果信息由编辑单元144决定的音乐划分的数量将被称为采用数量。例如，在图10所示的示例中，采用数量最多为10个。更具体地，当根据节拍的切换内容是单位影像A、单位影像B、单位影像C和单位影像D时，采用数量为10。另外，当根据节拍的切换内容是单位影像A、单位影像B、单位影像A和单位影像B时，采用数量为8。
编辑单元144可以在切换定时设置处理中所设置的切换定时切换由提取单元143提取的单位影像。此外，编辑单元144可以改变在切换定时设置处理中设置的切换定时。例如，编辑单元144可以改变分配区段的顺序，同时保持分配区段的总数(对应于采用数量)和在切换定时设置处理中设置的针对每个分配区段长度的分配区段的数量。将在下面的采用区段设置处理中描述这样的示例。
[3.3.操作模式决策处理]
上述切换定时设置处理和单位影像提取处理的顺序是任意的。
当首先执行切换定时设置处理时，对单位影像提取处理施加根据切换定时设置处理的限制。例如，提取单元143可以施加提取至少等于或大于采用数量的单位影像数量的限制。根据该限制，在概要影像中切换单位影像而不重叠。此外，提取单元143可以施加提取具有等于或大于最长分配区段(对应于图6所示的示例中的三个小节)的长度的单位影像的限制，使得可以在任何定时使用每个提取的单位影像。根据该限制，任何提取的单位影像可以被分配给最长分配区段。
当首先执行单位影像提取处理时，对切换定时设置处理施加根据单位影像提取处理的限制。例如，编辑单元144可以施加设置切换定时使得分配比由提取单元143提取的单位影像的数量少的单位影像的限制。根据该限制，在概要影像中切换单位影像而不重叠。此外，编辑单元144可以施加设置切换定时使得分配区段具有取决于由提取单元143提取的每个单位影像的长度的长度的限制。根据该限制，适当的分配区段可以被分配给由提取单元143提取的每个单位影像。
操作模式控制器145可以改变提取单元143和编辑单元144的操作模式，以便满足这样的限制。在下文中，将描述首先执行切换定时设置处理的情况。
首先，操作模式控制器145使得提取单元143和编辑单元144在作为操作模式的正常处理模式(第一操作模式)下操作。在正常处理模式下，编辑单元144使用如上所述的音乐分析结果信息来设置单位影像切换定时。此外，提取单元143使用如上所述的影像分析结果信息来提取单位影像。
操作模式控制器145在正常处理模式下根据提取数量和采用数量之间的大小关系来确定是否要改变操作模式并执行由提取单元143执行的重新提取处理和由编辑单元144执行的重新采用处理中的至少一个。这里，提取处理是指上述单位影像提取处理。此外，采用处理是指上述切换定时设置处理。关于提取数量和采用数量之间的大小关系，如上所述存在提取数量等于或大于采用数量的限制。当不满足该限制时，操作模式控制器145可以通过改变操作模式来满足该限制。
例如，当在正常处理模式下采用数量等于提取数量或者提取数量大于采用数量时，操作模式控制器145确定不改变操作模式。也就是说，当提取数量等于或大于采用数量时，操作模式控制器145确定不改变操作模式。这是因为在不改变操作模式的情况下满足提取数量等于或大于采用数量的前述限制。
相反，当在正常处理模式下提取数量小于采用数量时，操作模式控制器145可以将操作模式改变为另一操作模式。例如，操作模式控制器145可以将操作模式改变为分割处理模式(第二操作模式)或重试处理模式(第五操作模式)。
在分割处理模式中，提取单元143将在正常处理模式下提取的单位影像中的至少一个分割为两个或更多个单位影像。例如，提取单元143可以将在正常处理模式下提取的单位影像中的具有超过阈值的长度的单位影像作为分割目标。此外，提取单元143可以决定分割的数量，使得分割之后的单位影像等于或大于最长分配区段。由于根据分割处理模式提取数量增加，所以可以满足提取数量等于或大于采用数量的限制。
在重试处理模式下，编辑单元144通过以预定间隔划分音乐来设置切换定时。此外，提取单元143提取通过以预定间隔划分影像而获得的单位影像。例如，编辑单元144以相等间隔或先前设置的间隔划分输入音乐并将划分定时设置为切换定时。另外，提取单元143通过以相等间隔或先前设置的间隔划分输入影像来将划分的影像提取为单位影像。也就是说，提取单元143在不考虑亮点的情况下提取单位影像。由于在重试处理模式下可以通过控制划分间隔来任意地控制采用数量和提取数量，所以可以满足提取数量等于或大于采用数量的限制。
将通过参考图7进行比较来说明上述操作模式。图7是根据本实施例的影像处理装置100的操作模式的示例的说明图。如图7中所示，在正常处理模式下，使用影像分析结果信息和音乐分析结果信息，并且生成具有“高”影像质量的概要影像。在分割处理模式下，影像分析结果信息被修改并使用。具体地，如图7中所示，在正常处理模式下提取的单位影像410被分割为单位影像411和412。以相同的方式，单位影像420被分割为单位影像421、422和423，并且单位影像430被分割为单位影像431、432和433。在分割处理模式下，一个原始单位影像可以被分割为多个单位影像并且在概要影像中被采用。也就是说，由于在概要影像中可以采用相似的单位影像，所以概要影像具有“中等”影像质量。在重试处理模式下，影像分析结果信息和音乐分析结果信息被忽略。具体地，如图7中所示，切换定时在相等间隔处，并且单位影像是输入影像的相等划分。因此，在重试处理模式下生成的概要影像变得单调并因此具有“低”影像质量。
当在正常处理模式下提取数量小于采用数量时，操作模式控制器145可以将操作模式改变为除了分割处理模式和重试处理模式之外的操作模式。例如，操作模式控制器145可以将操作模式改变为最长分配区段减小处理模式(第三操作模式)或次镜头条件缓和处理模式(第四操作模式)。
在最长分配区段减小处理模式下，与正常处理模式相比，编辑单元144减小最长分配区段。因此，提取单元143提取长度等于或大于比正常处理模式下的最长分配区段更短的最长分配区段的单位影像。在图6所示的示例中，提取单元143在正常处理模式下提取长度等于或大于三个小节的单位影像。另一方面，在最长分配区段减小处理模式下，提取单元143例如提取长度等于或大于两个小节的单位影像。因此，提取单元143可以将在正常处理模式下不能被提取作为次镜头的区段的影像(因为其对应于仅两个小节并且较短)提取为次镜头。以这种方式，在最长分配区段减小处理模式下提取数量增加，并且因此可以满足提取数量等于或大于采用数量的限制。
在次镜头条件缓和处理模式下，与正常处理模式相比，提取单元143缓和与影像分析单元142的分析结果相关的用于提取单位影像的条件。例如，提取单元143甚至将短的区段提取为单位影像，甚至将极亮或极暗的区段提取为单位影像，或者甚至将具有不稳定的相机工作的区段提取为单位影像。以这种方式，在次镜头条件缓和处理模式下提取数量增加，并且因此可以满足提取数量等于或大于采用数量的限制。
前述操作模式的顺序是任意的。例如，操作模式控制器145可以在正常处理模式之后按照分割处理模式、最长分配区段减小处理模式、次镜头条件缓和处理模式和重试处理模式的顺序来改变操作模式。此外，操作模式控制器145可以使用前述操作模式的任何组合。另外，操作模式控制器145可以并行地执行采用全部或部分前述操作模式的处理，并且选择获得具有最高质量的结果的操作模式。
[3.4.单位影像选择处理]
(概述)
编辑单元144从由提取单元143提取的单位影像中选择要在概要影像中采用的单位影像。例如，编辑单元144选择对应于采用数量的单位影像，同时优先考虑亮点。在下文中，将参照图8描述单位影像选择处理。
图8是根据本实施例的单位影像选择处理的说明图。如图8所示，首先，编辑单元144选择一个或多个次镜头510作为要在概要影像中采用的单位影像候选者。所选择的镜头520是被选择为要在概要影像中采用的单位影像候选者的单位影像。例如，编辑单元144可以选择使得场景段被分散的次镜头510和/或符合用户所指定的主题的次镜头。例如，编辑单元144根据将在下面描述的评估函数按照评估值的降序来选择次镜头510。在图中，[1]、[2]、[3]、[4]、[5]、[6]和[7]指示使用评估函数的选择顺序。另外，采用数量是7。如图8中所示，在所选择的镜头520中，编辑单元按照影像捕获顺序来布置所选择的单位影像。
图9是根据本实施例的单位影像选择处理的说明图。如图9所示，编辑单元144选择亮点镜头530作为要在概要影像中采用的单位影像候选者。例如，编辑单元144可以选择亮点镜头530，使得在所选择的镜头中相邻的单位影像不对应于相同的亮点。例如，编辑单元144根据将在下面描述的评估函数按照评估值的降序来选择亮点镜头530。此外，编辑单元144从先前选择的次镜头中移除具有低优先级的次镜头540，而不是选择亮点镜头530。作为具有低优先级的次镜头540，例如，较后选择的次镜头可以被考虑。图中的[1]和[2]指示使用评估函数的选择顺序和移除顺序。
(次镜头评估函数)
在下文中，将描述用于选择次镜头的评估函数的示例。例如，编辑单元144可以使用由下面的公式1表示的评估函数来选择次镜头。
[数学.1]
P＝WsiSi+WssSs…(公式1)
在上述公式1中，WSiSi和WssSs是与场景段相关的项。符号Wsi和Wss是项的权重，并且可以由编辑单元144任意设置。符号Si是与场景段的段ID相关的值(分数)。例如，基于在场景段中使用的颜色ID、相机工作ID、影像捕获日期和时间ID和/或地点ID来计算符号Si。例如，可以计算分数，使得分数接近根据先前设置的主题的段ID的比率，以便符合先前设置的主题。此外，可以计算分数，使得均等地选择段ID以减少视觉偏差。符号Ss是与场景段的稳定性相关的分数。基于在场景段中使用的颜色和/或相机工作的稳定性(时间变化小的程度(degree))来计算符号Ss。例如，随着稳定性增加可以计算更高的分数。此外，编辑单元144可以将与选择之前的影像文件相关的项添加到上述公式1，以使选择之前的影像文件分散。另外，编辑单元144可以将与选择之前和之后直到选中镜头的时间相关的项添加到上述公式1，以使影像捕获时间的分布分散。
编辑单元144对于每个未选择的次镜头计算由上述公式1表示的评估函数，并且每当选择一个次镜头时选择具有最高评估值的次镜头。同时，可以与先前选择的次镜头相关地改变每个符号的分数。
(亮点镜头评估函数)
在下文中，将描述用于选择亮点镜头的评估函数的示例。例如，编辑单元144可以使用下面的公式2表示的评估函数来选择亮点镜头。
[数学2]
P＝WhiHi+WhsHs+WsiSi+WssSs …(公式2)
在上述公式2中，WhiHi和WhsHs是与亮点相关的项。符号Whi和Whs是项的权重，并且可以由编辑单元144任意设置。符号Hi是与亮点ID相关的分数。例如，基于亮点ID来计算符号Hi。例如，可以计算分数，使得分数接近根据先前设置的主题的亮点ID的比率，以便符合先前设置的主题。此外，可以计算分数，使得亮点ID被均等地选择以减少视觉偏差。符号Hs是与亮点的值相关的分数。关于符号Hs，例如在滑雪板跳跃的情况下，可以随着在空中的停留时间的增加和转向量的增加而计算更高的分数。其他符号与上述公式1相同。
编辑单元144针对每个未选择的亮点镜头来计算由上述公式2表示的评估函数，并且每当选择一个亮点镜头时选择具有最高评估值的亮点镜头。然后，编辑单元144从先前选择的次镜头中移除较后选择的次镜头。同时，可以与先前选择的亮点镜头相关地改变每个符号的分数。
编辑单元144可以使用符号Hi来避免例如跳跃亮点镜头的连续。关于根据被用户指定为要包括在概要影像中的区段的区段的亮点镜头，根据符号Hi的分数可被忽略。在这种情况下，被用户指定为亮点的跳跃的单位影像可以继续。此外，通过使用符号Hs，编辑单元144可以优先选择具有高值的亮点镜头。
另外，编辑单元144可以将具有相同亮点ID的亮点镜头的选择数量设置为低于预先设置的数量。例如，编辑单元144可以选择满足以下公式的亮点镜头。根据下面的公式，即使当跳跃的亮点镜头最初可被选择多达两次时，对于具有符号Hs的高分数的跳跃选择次数可以是3次或更多次，并且对于具有符号Hs的低分数的跳跃选择次数可以是少于2次。
亮点分数Hs-衰减系数×选择次数≥阈值...(公式3)
上面已经描述了单位影像选择处理的示例。虽然上面已经描述了首先选择次镜头并随后选择亮点镜头的示例，但是本技术不限于这样的示例。例如，编辑单元144可以首先选择亮点镜头，并随后选择次镜头。在这种情况下，编辑单元144首先选择亮点镜头，并且选择与通过从采用数量中减去所选择的亮点镜头的数量而获得的数量一样多的次镜头。此外，编辑单元144可以同时选择亮点镜头和次镜头。在这种情况下，编辑单元144可以对亮点镜头和次镜头应用共同的评估函数。另外，由于与亮点ID相关的分数(符号Hi和Hs)和亮点镜头的值对次镜头而言不存在，所以可以通过将对应的项设置为任意值(例如，0)来应用共同的评估函数。
[3.5.采用区段设置处理]
编辑单元144根据由提取单元143提取的单位影像的内容来为单位影像设置采用区段，并且生成用于采用为多个单位影像中的每一个设置的采用区段的编辑信息。例如，编辑单元144根据单位影像的内容来设置要在概要影像中采用的采用区段，并且生成用于连接所设置的采用区段的编辑信息。另外，采用区段的位置是单位影像中的在概要影像中采用的区段。采用区段可以是整个单位影像或是单位影像的部分。
例如，编辑单元144可以根据单位影像的内容来设置采用区段在单位影像中的位置。例如，编辑单元144可以根据单位影像的内容(诸如单位影像是亮点镜头还是次镜头以及诸如亮点ID、颜色ID和相机工作ID之类的属性)来设置采用区段的位置。采用区段的位置例如是指被设置为采用区段的区段在整个单位影像中的位置，并且可以是单位影像的前半部分、中间部分、后半部分等。因此，例如，更合适的区段根据单位影像的内容而被设置，并且在概要影像中被采用以便激发例如观看者的情绪。
例如，编辑单元144可以根据由影像分析单元142分析出的影像的被摄体的运动来设置采用区段在单位影像中的位置。例如，与滑雪板跳跃相关的亮点镜头被考虑。关于其中被摄体的运动被影像分析单元142分析为跳跃的单位影像，编辑单元144可以将采用区段设置在以下位置中的任何位置处：助跑期间、从助跑到在空中停留、在空中停留期间、从空中停留到着地后、以及从着地到着地后。在这种情况下，编辑单元144可以设置聚焦于跳跃的各种值得注意的有趣点上的采用区段。作为另一示例，与滑雪板转向(移动方向的改变)相关的亮点被考虑。关于其中被摄体的运动被影像分析单元142分析为移动方向的改变的单位影像，编辑单元144可以将采用区段设置在以下位置中的任何位置处：从转向前到转向中、转向期间、以及从转向中到转向后。在这种情况下，编辑单元144可以设置聚焦于转向的各种值得注意的有趣点上的采用区段。
例如，当针对相同类型(相同的亮点ID)的两个或更多个亮点镜头设置采用区段时，编辑单元144可以使采用区段的位置在两个或更多个亮点镜头中分散。例如，当所选择的镜头包括与滑雪板跳跃相关的多个亮点镜头时，编辑单元144可以使采用区段的以下位置分散：助跑期间、从助跑到在空中停留、在空中停留期间、从空中停留到着地后、以及从着地到着地后。类似地，当所选择的镜头包括与滑雪板转向相关的多个亮点镜头时，编辑单元144可以使采用区段的以下位置分散：从转向前到转向中、转向期间、以及从转向中到转向后。在这种情况下，由于即使对于相同类型的亮点镜头，也从不同的观看点设置采用区段，所以观看者可以观看概要影像而不会无聊。
例如，编辑单元144可以生成编辑信息，使得亮点镜头被连接到不同类型的亮点镜头或次镜头。例如，编辑单元144分配亮点镜头，使得具有相同亮点ID的亮点镜头不继续或者在连续亮点镜头的情况下在亮点镜头之间分配次镜头。因此，由于概要影像是显眼的，所以观看者可以观看概要影像而不会无聊。
例如，编辑单元144可以将亮点镜头的采用区段设置为比次镜头的采用区段更长。例如，编辑单元144将亮点镜头优先分配给长分配区段。因此，观看者可以更长时间地观看亮点镜头，并且因此观看者的情绪可被更有效地激发。
将参考图10至图12详细描述采用区段设置处理。图10至图12是根据本实施例的采用区段设置处理的说明图。特别地，在图10中，描述了将亮点镜头优先分配给长分配区段的示例。
如图10中所示，假定以下情况：其中，在切换定时设置处理中设置的分配区段710的内容包括以一个小节为单位的两个分配区段711、以两个小节为单位的四个分配区段712以及以三个小节为单位的一个分配区段713。例如，编辑单元144根据在下面的表2中示出的规则将亮点镜头优先分配给长分配区段。另外，在下面的表2中示出的规则可以根据亮点类型、场景段类型等而被进一步细分。
[表2]
如图10中所示，所选择的镜头720的内容包括按照次镜头721A、亮点镜头722A、次镜头721B、亮点镜头722B、次镜头721C、次镜头721D和亮点镜头722C的顺序的镜头。如下所述，编辑单元144生成用于设置单位影像和定时的编辑信息730，在所述定时将通过向每个单位影像分配分配区段来切换单位影像。
首先，编辑单元144从剩余分配区段中将具有最高优先级的以一个小节为单位的分配区段711A分配给与第一选中镜头720相对应的次镜头721A。随后，编辑单元144从剩余分配区段中将具有最高优先级的以三个小节为单位的分配区段713分配给与第二选中镜头720相对应的亮点镜头722A。然后，编辑单元144从剩余分配区段中将具有最高优先级的以一个小节为单位的分配区段711B分配给与第三选中镜头720相对应的次镜头721B。此后，编辑单元144从剩余分配区段中将具有最高优先级的以二个小节为单位的分配区段712A分配给与第四选中镜头720相对应的亮点镜头722B。接下来，编辑单元144从剩余分配区段中将具有最高优先级的以二个小节为单位的分配区段712B分配给与第五选中镜头720相对应的次镜头721C。随后，编辑单元144从剩余分配区段中将具有最高优先级的以二个小节为单位的分配区段712C分配给与第六选中镜头720相对应的次镜头721D。最后，编辑单元144将以二个小节为单位的剩余分配区段712D分配给与第七选中镜头720相对应的亮点镜头722C。
同时，针对诸如旋律之类的每一个组成部分执行分配。在这种情况下，不论在组成部分中执行的分配如何，在切换组成部分的定时保证单位影像的切换。
接下来，将参照图11和图12描述在一个单位影像中设置采用区段的示例。例如，如图11中所示，编辑单元144基本上将采用区段750设置为单位影像740的中央部分。另一方面，如图12中所示，针对诸如转向之类的亮点镜头，编辑单元144可以将采用区段750设置为单位影像740的前半部分、中央部分或后半部分。这里，由编辑单元144设置的采用区段750的长度对应于参照图10描述的分配给每个单位影像的分配区段的长度。
上面已经描述了根据本实施例的影像处理装置100的功能。接下来，将参照图13描述根据本实施例的影像处理装置100的操作处理的示例。
<4.操作处理>
图13是示出在根据本实施例的影像处理装置100中执行的概要影像生成处理流程的示例的流程图。
如图13中所示，首先，音乐分析单元141在步骤S102中分析输入音乐。例如，音乐分析单元141基于乐理分析诸如序曲部分和合唱部分之类的音乐的结构、指定合唱部分中特别重要的部分、并且分析节拍和小节。
随后，影像分析单元142在步骤S104中分析输入影像。例如，影像分析单元142检测被摄体运动、检测用户操纵、检测面部和微笑、检测颜色或检测相机工作。
然后，编辑单元144在步骤S106中设置单位影像切换定时。例如，基于步骤S102中的音乐分析结果，编辑单元144每个节拍、每一个小节或每多个小节设置切换定时。这里，编辑单元144可以设置单位影像切换定时，使得根据合唱部分中特别重要的部分进行切换。根据本步骤决定最长分配区段的长度。
此后，编辑单元144在步骤S108中计算要在概要影像中采用的单位影像的数量(采用数量)。例如，编辑单元144基于由在上述步骤S106中设置的切换定时确定的分配区段的数量来计算采用数量。具体而言，当在单位影像中没有重叠时编辑单元144将分配区段的数量原样设置为采用数量，并且当在单位影像中存在重叠时通过从分配区段的数量中减去重叠单位影像的数量来计算采用数量。
接下来，提取单元143在步骤S110中提取单位影像。例如，提取单元143基于上述步骤S104中的影像分析结果来提取亮点镜头和次镜头。这里，提取单元143从由在上述步骤S106中设置的切换定时决定的分配区段中提取长度等于或大于最长分配区段的单位影像。此外，提取单元143计算所提取的亮点镜头和次镜头的总数作为提取数量。
随后，操作模式控制器145在步骤S112中确定提取数量是否等于或大于采用数量。
当确定提取数量并非等于或大于采用数量(S112/否)时，操作模式控制器145改变操作模式。例如，在改变前的操作模式是正常操作模式的情况下，操作模式控制器145将正常操作模式改变为分割处理模式。然后，处理返回到步骤S106。以这种方式，操作模式控制器145改变操作模式并使处理返回到步骤S106，直到提取数量变得等于或大于采用数量为止。当在任何操作模式下提取数量不变得等于或大于采用数量时，影像处理装置100可以输出错误并停止处理。
当确定提取数量等于或大于采用数量(S112/是)时，编辑单元144在步骤S116中选择要在概要影像中采用的单位影像。例如，编辑单元144采用由提取单元143提取的单位影像中的其中为减少视觉偏差而使属性分散的单位影像，或者选择单位影像使得单位影像符合用户所指定的主题。另外，与次镜头相比，编辑单元144可以优先采用亮点镜头。
然后，编辑单元144在步骤S118中设置每个单位影像的采用区段。例如，编辑单元144在上述步骤S116中选择的将在概要影像中采用的每个单位影像中设置采用区段。这里，例如编辑单元144根据单位影像的内容将采用区段设置在适当的位置，使得特别值得注意的区段将被采用在概要影像中。另外，编辑单元144将上述处理结果存储在编辑信息中。
然后，概要影像生成单元146在步骤S120中生成概要影像。例如，概要影像生成单元146通过使用被编辑信息指定为BGM的音乐和在指定的定时对由编辑信息指定的单位影像进行切换和连接来生成概要影像。
上面已经描述了根据本实施例的概要影像生成处理流程的示例。
<5.硬件配置的示例>
最后，将参考图14描述根据本实施例的信息处理装置的硬件配置。图14是示出根据本实施例的信息处理装置的硬件配置的示例的框图。同时，图14中所示的信息处理装置900例如可以实现图4中所示的影像处理装置100。通过根据本实施例的影像处理装置100的信息处理是根据下面描述的硬件和软件之间的协作来实现的。
如图14中所示，信息处理装置900包括中央处理单元(CPU)901、只读存储器(ROM)902、随机存取存储器(RAM)903和主机总线904a。此外，信息处理装置900包括桥接器904、外部总线904b、接口905、输入设备906、输出设备907、存储设备908、驱动器909、连接端口911、通信设备913和传感器915。信息处理装置900可以包括代替CPU 901或者与其一起的诸如DSP或ASIC之类的处理电路。
CPU 901起算术处理设备和控制设备的作用，并且根据各种程序控制信息处理装置900中的整体操作。另外，CPU 901可以是微处理器。ROM 902存储CPU 901所使用的程序、操作参数等。RAM 903临时存储在CPU 901的执行中使用的程序、在执行中适当改变的参数等。CPU 901例如可以形成图4中所示的控制器140。
CPU 901、ROM 902和RAM 903通过包括CPU总线等的主机总线904a而连接。主机总线904a经由桥接器904与诸如外设部件互连/接口(PCI)总线之类的外部总线904b连接。另外，主机总线904a、桥接器904和外部总线904b不一定单独配置，并且这种功能可以安装在单个总线中。
输入设备906由用户用来输入信息的设备(例如鼠标、键盘、触摸面板、按钮、麦克风、开关、控制杆等)来实现。此外，例如，输入装置906可以是使用红外线或其他电波的遥控设备，或者与信息处理装置900的操纵相对应的诸如蜂窝电话或PDA之类的外部连接设备。另外，输入设备906例如可以包括输入控制电路等，所述输入控制电路等基于由用户使用前述输入装置输入的信息来生成输入信号并将该输入信号输出到CPU 901。信息处理装置900的用户可以通过操纵输入设备906来输入各种类型的数据或命令信息处理装置900的处理操作。输入设备906例如可以形成图4中所示的操纵单元112。
输出设备907由可以视觉地或听觉地向用户通知所获取的信息的设备形成。作为这样的设备，存在诸如CRT显示设备、液晶显示设备、等离子体显示设备、EL显示设备或灯之类的显示设备，诸如扬声器和耳机之类的声音输出设备，打印设备等等。输出设备907例如输出通过由信息处理装置900进行的各种处理而获取的结果。具体地，显示设备以诸如文本、影像、表和图形之类的各种形式可视地显示通过由信息处理装置900进行的各种处理而获取的结果。另一方面，声音输出设备将由再现的声音数据、音频数据等组成的音频信号转换为模拟信号，并且听觉地输出所述模拟信号。前述显示设备和声音输出设备例如可以形成图4中所示的输出单元130。
存储设备908是被形成为信息处理装置900的存储单元的示例的用于数据存储的设备。例如，存储设备908由诸如HDD之类的磁存储设备、半导体存储设备、光存储设备、磁光存储设备等实现。存储设备908可以包括存储介质、在存储介质上记录数据的记录介质、用于从存储介质读取数据的读取设备、用于删除记录在存储介质上的数据的删除设备等。存储设备908存储由CPU 901执行的程序和各种类型的数据、从外部获取的各种类型的数据等。存储设备908例如可以形成图4中所示的存储单元120。
驱动器909是用于存储介质的读取器/写入器，并且被包括在信息处理装置900中或外部地附接到信息处理装置900。驱动器909读取记录在安装在其上的诸如磁盘、光盘、磁光盘或半导体存储器之类的可移除存储介质上的信息，并将所述信息输出到RAM 903。此外，驱动器909可以在可移除存储介质上写入信息。
连接端口911是与外部设备连接的接口，并且是例如到外部设备的连接器，通过所述连接器数据可以通过通用串行总线(USB)等被传输。连接端口911例如可以形成图4中所示的音乐获取单元114。
通信设备913例如是由通信设备形成的用于连接到网络920的通信接口等。通信设备913例如是用于有线或无线的局域网(LAN)、长期演进(LTE)、蓝牙(注册商标)或无线USB(WUSB)的通信卡等。此外，通信设备913可以是用于光通信的路由器、用于非对称数字用户线路(ADSL)的路由器、各种通信调制解调器等。例如，通信设备913可以根据预定协议(例如TCP/IP等)向/从因特网和其他通信设备发送/接收信号等。通信设备913例如可以形成图4中所示的音乐获取单元114。
另外，网络920是从连接到网络920的设备发送的信息的有线或无线的传输路径。例如，网络920可以包括诸如因特网、电话电路网络或卫星通信网络之类的公共电路网络，包括以太网(注册商标)的各种局域网(LAN)，广域网(WAN)等。此外，网络920可以包括诸如因特网协议虚拟专用网(IP-VPN)之类的专用电路网络。
传感器915是诸如加速度传感器、陀螺仪传感器、地磁传感器、光学传感器、声音传感器、测距传感器和力传感器之类的各种传感器。传感器915获取诸如信息处理装置900的姿态(posture)和移动速度之类的关于信息处理装置900的状态的信息，以及诸如信息处理装置900的周围亮度和噪声之类的关于信息处理装置900的周围环境的信息。此外，传感器915可以包括用于接收GPS信号并测量装置的纬度、经度和海拔的GPS传感器。传感器915例如可以形成图4中所示的传感器单元111。在本实施例中，传感器915可以与信息处理装置900分离。例如，传感器915可以附接到被摄体，并且信息处理装置900可以通过有线或无线通信获取指示被摄体感测结果的信息。
成像设备917包括由成像透镜、光圈、变焦透镜、聚焦透镜等组成的透镜系统、用于使透镜系统进行聚焦操作和变焦操作的驱动系统、用于光电转换通过透镜系统获取的成像光以生成成像信号的固态成像传感器阵列等。固态成像传感器阵列例如可以通过电荷耦合器件(CCD)传感器阵列或互补金属氧化物半导体(CMOS)传感器阵列来实现。成像设备917以数字信号的形式输出所捕获的图像的数据。成像设备917例如可以形成图4中所示的影像获取单元113。
在上文中，示出了能够实现根据本实施例的信息处理装置900的功能的硬件配置的示例。各个组件可以使用通用构件来实现，或者可以由专用于相应组件的功能的硬件来实现。因此，根据执行实施例时的技术水平，可以适当地改变要使用的硬件配置。
此外，可以创建用于实现根据本实施例的信息处理装置900的功能中的每一个的计算机程序，并且可以将所述计算机程序安装在PC等中。另外，可以提供其上存储有这样的计算机程序的计算机可读记录介质。记录介质例如是磁盘、光盘、磁光盘、闪存等。计算机程序例如可以通过网络传送，而不使用记录介质。
<6.结论>
已经参考图1至图14详细描述了本公开的实施例。如上所述，根据本实施例的影像处理装置100可以通过根据音乐在适当的定时切换适当的单位影像来生成可以激发观看者的情绪的概要影像。
更具体地，影像处理装置100分析输入音乐的节拍、从输入影像中提取多个单位影像、并且生成用于根据节拍切换所提取的单位影像的编辑信息。因此，单位影像在根据节拍的快速定时被切换，并且因此观看者的情绪可以被更有效地激发。
此外，影像处理装置100在所提取的单位影像中根据所提取的单位影像的内容来设置采用区段，并且生成用于采用针对多个单位影像设置的采用区段的编辑信息。因此，针对被提取为要在概要影像中采用的候选者的每个区段，影像处理装置100可以将要在概要影像中实际采用的区段设置在每个提取的区段中的特别值得注意的区段中。因此，在概要影像中采用例如用于激发观看者的情绪的更适当的区段。
此外，影像处理装置100控制与从输入影像中提取单位影像的处理以及根据输入音乐设置单位影像切换定时的处理相关的操作模式。因此，影像处理装置100可以在适当的操作模式下生成根据音乐切换影像的概要影像。具体地，影像处理装置100可以通过切换操作模式使得采用数量变得等于或大于提取数量或者提取数量变得大于采用数量，来在设置的切换定时切换不同的单位影像。
以上已经参照附图描述了本公开的(一个或多个)优选实施例，而本公开不限于上述示例。本领域技术人员可以在所附权利要求的范围内发现各种变型和修改，并且应当理解它们将自然地落入本公开的技术范围内。
同时，说明书中描述的设备可以被实现为独立设备，或者部分或全部的设备可以被实现为单独的设备。例如，在图4中所示的影像处理装置100的功能配置的示例中，存储单元120和控制器140可被包括在诸如通过网络等连接到输入单元110和输出单元130的服务器之类的设备中。
注意，本说明书中参考流程图描述的处理不是必需按照流程图中所示的顺序来执行。一些处理步骤可以并行执行。此外，可以采用一些附加步骤，或者可以省略一些处理步骤。
此外，本说明书中描述的效果仅仅是例示性或示例性的效果，并不是限制性的。也就是说，与上述效果一起或者代替上述效果，根据本公开的技术可以实现基于本说明书的描述对本领域技术人员而言清楚的其他效果。
此外，本技术也可被配置如下。
(1)一种信息处理方法，包括：
分析输入音乐的节拍；
从输入影像中提取多个单位影像；和
通过处理器生成用于根据分析出的节拍来切换提取出的单位影像的编辑信息。
(2)根据(1)所述的信息处理方法，还包括：
分析音乐的小节，
其中，在生成编辑信息时，以分析出的音乐的小节为单位选择是否执行根据节拍对单位影像的切换。
(3)根据(2)所述的信息处理方法，其中，在一个小节中根据节拍来切换的单位影像是彼此相似的。
(4)根据(3)所述的信息处理方法，其中，在一个小节中根据节拍来切换的单位影像中的被摄体运动、影像捕获时间信息、影像捕获位置信息、颜色信息和相机工作中的至少一个是接近的。
(5)根据(3)所述的信息处理方法，其中，在一个小节中根据节拍来切换的单位影像包括特定被摄体。
(6)根据(2)至(5)中任一个所述的信息处理方法，在一个小节中根据节拍来切换的单位影像中的至少一个在一个小节中被采用两次或更多次。
(7)根据(2)至(6)中任一个所述的信息处理方法，其中，在一个小节中根据节拍来切换的单位影像是不同的。。
(8)根据(2)至(7)中任一个所述的信息处理方法，其中，在生成编辑信息时小节是分离的，在所述小节中根据节拍来切换单位影像。
(9)根据(1)至(8)中任一个所述的信息处理方法，还包括：
分析音乐的结构，
其中，在生成编辑信息时，针对分析出的音乐的结构的每一种类型来设置根据节拍切换单位影像的次数。
(10)根据(1)至(9)中任一个所述的信息处理方法，还包括：
指定音乐中的满足预定条件的部分，
其中，编辑信息的生成包括在满足该预定条件的指定部分中根据节拍来执行对单位影像的切换。
(11)根据(10)所述的信息处理方法，其中，在指定音乐中的满足预定条件的部分时，基于乐理来指定音乐的合唱部分。
(12)根据(1)至(11)中任一个所述的信息处理方法，其中，在生成编辑信息时，生成用于针对每一个节拍切换单位影像的编辑信息。
(13)根据(1)至(11)中任一个所述的信息处理方法，其中，在生成编辑信息时，当音乐的节拍的速率超过阈值时，生成用于针对每多个节拍切换单位影像的编辑信息。
(14)根据(1)至(13)中任一个所述的信息处理方法，还包括：
生成由基于音乐和编辑信息来切换的单位影像构成的概要影像。
(15)根据(4)所述的信息处理方法，还包括：
播放生成的概要影像。
(16)一种影像处理装置，包括：
音乐分析单元，分析输入音乐的节拍；
提取单元，从输入影像中提取多个单位影像；和
编辑单元，生成用于根据由音乐分析单元分析出的节拍来切换由提取单元提取出的单位影像的编辑信息。
(17)根据(16)所述的影像处理装置，其中，所述音乐分析单元分析音乐的小节，并且
所述编辑单元以由所述音乐分析单元分析出的音乐的小节为单位来选择是否执行根据节拍对单位影像的切换。
(18)根据(17)所述的影像处理装置，其中，在一个小节中根据节拍来切换的单位影像是彼此相似的。
(19)根据(18)所述的影像处理装置，其中，在一个小节中根据节拍来切换的单位影像的被摄体运动、影像捕获时间信息、影像捕获位置信息、颜色信息和相机工作中的至少一个是接近的。
(20)一种用于使计算机起以下作用的程序：
音乐分析单元，分析输入音乐的节拍；
提取单元，从输入影像中提取多个单位影像；和
编辑单元，生成用于根据由音乐分析单元分析出的节拍来切换由提取单元提取出的单位影像的编辑信息。
标号列表
10 影像
20 影像分析结果信息
30 音乐
40 编辑信息
50 概要影像
100 影像处理装置
110 输入单元
111 传感器单元
112 操纵单元
113 影像获取单元
114 音乐获取单元
120 存储单元
130 输出单元
140 控制器
141 音乐分析单元
142 影像分析单元
143 提取单元
144 编辑单元
145 操作模式控制器
146 概要影像生成单元

Claims (20)

1.一种信息处理方法，包括：
分析输入音乐的节拍；
从输入影像中提取多个单位影像；和
通过处理器生成用于根据分析出的节拍来切换提取出的单位影像的编辑信息。
2.根据权利要求1所述的信息处理方法，还包括：
分析音乐的小节，
其中，在生成编辑信息时，以分析出的音乐的小节为单位选择是否执行根据节拍对单位影像的切换。
3.根据权利要求2所述的信息处理方法，其中，在一个小节中根据节拍来切换的单位影像是彼此相似的。
4.根据权利要求3所述的信息处理方法，其中，在一个小节中根据节拍来切换的单位影像中的被摄体运动、影像捕获时间信息、影像捕获位置信息、颜色信息和相机工作中的至少一个是接近的。
5.根据权利要求3所述的信息处理方法，其中，在一个小节中根据节拍来切换的单位影像包括特定被摄体。
6.根据权利要求2所述的信息处理方法，其中，在一个小节中根据节拍来切换的单位影像中的至少一个在一个小节中被采用两次或更多次。
7.根据权利要求2所述的信息处理方法，其中，在一个小节中根据节拍来切换的单位影像是不同的。
8.根据权利要求2所述的信息处理方法，其中，在生成编辑信息时小节是分离的，在所述小节中根据节拍来切换单位影像。
9.根据权利要求1所述的信息处理方法，还包括：
分析音乐的结构，
其中，在生成编辑信息时，针对分析出的音乐的结构的每一种类型来设置根据节拍切换单位影像的次数。
10.根据权利要求1所述的信息处理方法，还包括：
指定音乐中的满足预定条件的部分，
其中，编辑信息的生成包括在满足该预定条件的指定部分中根据节拍来执行对单位影像的切换。
11.根据权利要求10所述的信息处理方法，其中，在指定音乐中的满足预定条件的部分时，基于乐理来指定音乐的合唱部分。
12.根据权利要求1所述的信息处理方法，其中，在生成编辑信息时，生成用于针对每一个节拍切换单位影像的编辑信息。
13.根据权利要求1所述的信息处理方法，其中，在生成编辑信息时，当音乐的节拍的速率超过阈值时，生成用于针对每多个节拍切换单位影像的编辑信息。
14.根据权利要求1所述的信息处理方法，还包括：
生成由音乐和基于编辑信息来切换的单位影像构成的概要影像。
15.根据权利要求14所述的信息处理方法，还包括：
播放生成的概要影像。
16.一种影像处理装置，包括：
音乐分析单元，分析输入音乐的节拍；
提取单元，从输入影像中提取多个单位影像；和
编辑单元，生成用于根据由音乐分析单元分析出的节拍来切换由提取单元提取出的单位影像的编辑信息。
17.根据权利要求16所述的影像处理装置，其中，所述音乐分析单元分析音乐的小节，并且
所述编辑单元以由所述音乐分析单元分析出的音乐的小节为单位来选择是否执行根据节拍对单位影像的切换。
18.根据权利要求17所述的影像处理装置，其中，在一个小节中根据节拍来切换的单位影像是彼此相似的。
19.根据权利要求18所述的影像处理装置，其中，在一个小节中根据节拍来切换的单位影像的被摄体运动、影像捕获时间信息、影像捕获位置信息、颜色信息和相机工作中的至少一个是接近的。
20.一种用于使计算机起以下作用的程序：
音乐分析单元，分析输入音乐的节拍；
提取单元，从输入影像中提取多个单位影像；和
编辑单元，生成用于根据由音乐分析单元分析出的节拍来切换由提取单元提取出的单位影像的编辑信息。
CN201580066673.XA 2014-12-15 2015-10-09 信息处理方法、影像处理装置和程序 Pending CN107409193A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014-253214 2014-12-15
JP2014253214 2014-12-15
PCT/JP2015/078845 WO2016098430A1 (ja) 2014-12-15 2015-10-09 情報処理方法、映像処理装置及びプログラム

Publications (1)

Publication Number Publication Date
CN107409193A true CN107409193A (zh) 2017-11-28

Family

ID=56126332

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580066673.XA Pending CN107409193A (zh) 2014-12-15 2015-10-09 信息处理方法、影像处理装置和程序

Country Status (5)

Country Link
US (2) US10325627B2 (zh)
EP (1) EP3217655A4 (zh)
JP (1) JP6569687B2 (zh)
CN (1) CN107409193A (zh)
WO (1) WO2016098430A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201601140D0 (en) 2016-01-21 2016-03-09 Oxehealth Ltd Method and apparatus for estimating heart rate
GB201601142D0 (en) 2016-01-21 2016-03-09 Oxehealth Ltd Method and apparatus for estimating breathing rate
GB201601143D0 (en) 2016-01-21 2016-03-09 Oxehealth Ltd Method and apparatus for health and safety monitoring of a subject in a room
GB201601217D0 (en) 2016-01-22 2016-03-09 Oxehealth Ltd Signal processing method and apparatus
GB201615899D0 (en) 2016-09-19 2016-11-02 Oxehealth Ltd Method and apparatus for image processing
EP3539082A1 (en) 2016-11-08 2019-09-18 Oxehealth Limited Method and apparatus for image processing
WO2018167706A1 (en) * 2017-03-16 2018-09-20 Sony Mobile Communications Inc. Method and system for automatically creating a soundtrack to a user-generated video
GB201706449D0 (en) 2017-04-24 2017-06-07 Oxehealth Ltd Improvements in or realting to in vehicle monitoring
JP2019004927A (ja) * 2017-06-20 2019-01-17 カシオ計算機株式会社 電子機器、リズム情報報知方法及びプログラム
GB201803508D0 (en) * 2018-03-05 2018-04-18 Oxehealth Ltd Method and apparatus for monitoring of a human or animal subject
US11508393B2 (en) * 2018-06-12 2022-11-22 Oscilloscape, LLC Controller for real-time visual display of music
GB201900033D0 (en) 2019-01-02 2019-02-13 Oxehealth Ltd Mrthod and apparatus for monitoring of a human or animal subject
GB201900032D0 (en) 2019-01-02 2019-02-13 Oxehealth Ltd Method and apparatus for monitoring of a human or animal subject
GB201900034D0 (en) 2019-01-02 2019-02-13 Oxehealth Ltd Method and apparatus for monitoring of a human or animal subject
CN110099300B (zh) * 2019-03-21 2021-09-03 北京奇艺世纪科技有限公司 视频处理方法、装置、终端及计算机可读存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63253774A (ja) * 1987-04-10 1988-10-20 Ekuserutoronikusu Kk ビデオ画像制御装置
WO2002052565A1 (en) * 2000-12-22 2002-07-04 Muvee Technologies Pte Ltd System and method for media production
WO2003101097A1 (en) * 2002-05-28 2003-12-04 Yesvideo, Inc. Summarization of a visual recording
US20040085341A1 (en) * 2002-11-01 2004-05-06 Xian-Sheng Hua Systems and methods for automatically editing a video
US20080055469A1 (en) * 2006-09-06 2008-03-06 Fujifilm Corporation Method, program and apparatus for generating scenario for music-and-image-synchronized motion picture
CN101256811A (zh) * 2007-03-01 2008-09-03 富士胶片株式会社 用于产生播放列表的设备和方法
CN101268505A (zh) * 2006-01-06 2008-09-17 三菱电机株式会社 用于对视频进行分类的方法和系统
CN101369446A (zh) * 2007-08-13 2009-02-18 讯连科技股份有限公司 多媒体制作方法及相关系统
CN101496389A (zh) * 2006-07-31 2009-07-29 索尼爱立信移动通讯有限公司 配合音乐来调节移动无线终端的可视用户界面的方法及相应的移动无线终端
CN101727476A (zh) * 2008-10-10 2010-06-09 索尼株式会社 信息处理装置、程序和信息处理方法
CN102117638A (zh) * 2009-12-30 2011-07-06 北京华旗随身数码股份有限公司 音乐节奏控制的视频输出的方法及播放装置
CN103369254A (zh) * 2012-03-26 2013-10-23 索尼公司 图像处理装置、图像处理方法及计算机程序

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3325809B2 (ja) 1997-08-15 2002-09-17 日本電信電話株式会社 映像制作方法及び装置及びこの方法を記録した記録媒体
JP2004096617A (ja) * 2002-09-03 2004-03-25 Sharp Corp ビデオ編集方法、ビデオ編集装置、ビデオ編集プログラム、及び、プログラム記録媒体
JP4196816B2 (ja) 2003-12-08 2008-12-17 ソニー株式会社 データ編集装置およびデータ編集方法
JP2005269605A (ja) * 2004-02-20 2005-09-29 Fuji Photo Film Co Ltd デジタル図鑑システム、図鑑検索方法、図鑑検索プログラム
JP4465534B2 (ja) * 2004-03-31 2010-05-19 パイオニア株式会社 画像検索方法、装置及びプログラムを記録した記録媒体
JP2006127574A (ja) 2004-10-26 2006-05-18 Sony Corp コンテンツ利用装置、コンテンツ利用方法、配信サーバー装置、情報配信方法および記録媒体
JP4622479B2 (ja) * 2004-11-25 2011-02-02 ソニー株式会社 再生装置および再生方法
US20060159370A1 (en) * 2004-12-10 2006-07-20 Matsushita Electric Industrial Co., Ltd. Video retrieval system and video retrieval method
JP4940588B2 (ja) * 2005-07-27 2012-05-30 ソニー株式会社 ビート抽出装置および方法、音楽同期画像表示装置および方法、テンポ値検出装置および方法、リズムトラッキング装置および方法、音楽同期表示装置および方法
US7945142B2 (en) * 2006-06-15 2011-05-17 Microsoft Corporation Audio/visual editing tool
JP2008048054A (ja) * 2006-08-11 2008-02-28 Fujifilm Corp 動画生成方法、プログラムおよび装置
JP5179672B2 (ja) * 2009-12-25 2013-04-10 楽天株式会社 画像生成装置、画像生成方法、画像生成プログラム及び記録媒体
EP3852010A1 (en) * 2010-04-28 2021-07-21 Given Imaging Ltd. System and method for displaying portions of in-vivo images
JP4890637B1 (ja) * 2010-10-07 2012-03-07 株式会社ＭｏＳｏ コンテンツ編集装置および方法、並びにプログラム
JP5655713B2 (ja) 2011-06-03 2015-01-21 カシオ計算機株式会社 動画再生装置、動画再生方法及びプログラム
US20130330062A1 (en) * 2012-06-08 2013-12-12 Mymusaic Inc. Automatic creation of movie with images synchronized to music
KR101477486B1 (ko) * 2013-07-24 2014-12-30 (주) 프람트 동영상 재생 및 편집을 위한 사용자 인터페이스 장치 및 그 방법

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63253774A (ja) * 1987-04-10 1988-10-20 Ekuserutoronikusu Kk ビデオ画像制御装置
WO2002052565A1 (en) * 2000-12-22 2002-07-04 Muvee Technologies Pte Ltd System and method for media production
WO2003101097A1 (en) * 2002-05-28 2003-12-04 Yesvideo, Inc. Summarization of a visual recording
US20040085341A1 (en) * 2002-11-01 2004-05-06 Xian-Sheng Hua Systems and methods for automatically editing a video
CN101268505A (zh) * 2006-01-06 2008-09-17 三菱电机株式会社 用于对视频进行分类的方法和系统
CN101496389A (zh) * 2006-07-31 2009-07-29 索尼爱立信移动通讯有限公司 配合音乐来调节移动无线终端的可视用户界面的方法及相应的移动无线终端
US20080055469A1 (en) * 2006-09-06 2008-03-06 Fujifilm Corporation Method, program and apparatus for generating scenario for music-and-image-synchronized motion picture
CN101256811A (zh) * 2007-03-01 2008-09-03 富士胶片株式会社 用于产生播放列表的设备和方法
CN101369446A (zh) * 2007-08-13 2009-02-18 讯连科技股份有限公司 多媒体制作方法及相关系统
CN101727476A (zh) * 2008-10-10 2010-06-09 索尼株式会社 信息处理装置、程序和信息处理方法
CN102117638A (zh) * 2009-12-30 2011-07-06 北京华旗随身数码股份有限公司 音乐节奏控制的视频输出的方法及播放装置
CN103369254A (zh) * 2012-03-26 2013-10-23 索尼公司 图像处理装置、图像处理方法及计算机程序

Also Published As

Publication number Publication date
US10847185B2 (en) 2020-11-24
JPWO2016098430A1 (ja) 2017-09-28
US20170323665A1 (en) 2017-11-09
US20190267040A1 (en) 2019-08-29
US10325627B2 (en) 2019-06-18
EP3217655A4 (en) 2018-07-18
JP6569687B2 (ja) 2019-09-04
WO2016098430A1 (ja) 2016-06-23
EP3217655A1 (en) 2017-09-13

Similar Documents

Publication Publication Date Title
CN107409193A (zh) 信息处理方法、影像处理装置和程序
JP5315694B2 (ja) 映像生成装置、映像生成方法および映像生成プログラム
US8548249B2 (en) Information processing apparatus, information processing method, and program
JP4760892B2 (ja) 表示制御装置、表示制御方法及びプログラム
WO2017157272A1 (zh) 一种信息处理方法及终端
US8494338B2 (en) Electronic apparatus, video content editing method, and program
US20150370907A1 (en) Systems and methods for intelligent filter application
US20130014149A1 (en) Electronic Apparatus and Display Process
CN105874780A (zh) 对一组图像生成文本色彩的方法和装置
US7917020B2 (en) Information processing device and method, photographing device, and program
CN103838808A (zh) 信息处理装置、信息处理方法和程序
CN101262561B (zh) 成像设备及其控制方法
JP2010191934A (ja) 情報処理装置、情報処理方法およびプログラム
JP2006236218A (ja) 電子アルバム表示システム、電子アルバム表示方法、及び電子アルバム表示プログラム
CN107005676A (zh) 信息处理方法、影像处理装置和程序
CN105556947A (zh) 用于色彩检测以生成文本色彩的方法和装置
US20060036948A1 (en) Image selection device and image selecting method
JP2006081020A (ja) 電子アルバム表示システム、電子アルバム表示方法、及び電子アルバム表示プログラム
CN108337427A (zh) 一种图像处理方法及电子设备
WO2019187493A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2005033554A (ja) 画像再生システム及び画像再生プログラム、並びに画像再生方法
JP2016116073A (ja) 映像処理方法、映像処理装置及びプログラム
JP2005184348A (ja) 映像処理装置および代表画像設定方法
JP2013183259A (ja) 画像再生装置
TW201105135A (en) A video detecting and monitoring method with adaptive detection cells and a system thereof

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20201127

AD01 Patent right deemed abandoned