CN107925741A - 图像处理方法、图像处理设备和程序 - Google Patents

Abstract

为了改善基于附加信息的运动图像数据编辑的可使用性和编辑效率，首先，识别对应于运动图像数据的时间轴添加的附加信息。随后按照所述附加信息是指示运动图像的时间轴中的特定时间点的第一附加信息，还是指示运动图像的时间轴中的特定时间范围的第二附加信息，设定运动图像数据的编辑范围。换句话说，按照附加数据，设定成为编辑范围的部分。

Description

图像处理方法、图像处理设备和程序

技术领域

本技术涉及图像处理方法、图像处理设备和程序，尤其涉及关于视频数据的编辑处理的技术领域。

[引文列表]

[专利文献]

[PTL 1]JP 2011-030159A

背景技术

利用摄像机等拍摄视频已变得普及，用户拥有的视频数据的数量也在不断增长。在这种情况下，普通用户编辑视频数据的手段是由例如个人计算机用应用程序提供的，并且视频编辑的工作也变得流行。

例如，在PTL 1中，公开一种关于视频编辑的技术。

发明内容

[技术问题]

为了普通用户更容易地享受视频编辑的乐趣，编辑操作需要简单，并且操作需要易于理解。此外，理想的是能够通过一些自动处理，提供或建议用户期望的编辑结果。

因而，本技术的一个目的是提出一种方法，在这种方法中，可以向用户提供一种利用附加数据的高效的编辑处理，并且可以适当地设定编辑范围。

[解决问题的技术方案]

按照本技术的一种图像处理方法是一种图像处理方法，所述图像处理方法包括识别按照视频数据的时间轴添加的附加信息，并按照所述附加信息是指定视频的时间轴中的特定时间点的第一附加信息，还是指定视频的时间轴中的特定时间范围的第二附加信息，设定视频数据的编辑范围。

于是，按照至少两种附加信息(第一和第二附加信息)，设定编辑范围。

所述图像处理方法还包括当所述附加信息是第一附加信息时，根据由第一附加信息指定的特定时间点，设定编辑范围，和当所述附加信息是第二附加信息时，根据由第二附加信息指定的特定时间范围的起点和终点，设定编辑范围。

第一附加信息指示特定时间点，根据所述特定时间点，设定编辑范围。第二附加信息指示特定时间范围，根据所述时间范围的起点和终点，设定编辑范围。

所述图像处理方法还包括按照第一附加信息，把编辑范围设定为从在所述特定时间点之前第一设定时间段的时间点，到在所述特定时间点之后第二设定时间段的时间点的范围，和按照第二附加信息，把编辑范围设定为从在所述时间范围的起点之前第三设定时间段的时间点，到在所述时间范围的终点之后第四设定时间段的时间点的范围。

第一设定时间段、第二设定时间段、第三设定时间段和第四设定时间段被用于与两种附加信息(第一和第二附加信息)相应的编辑范围。应注意第一设定时间段、第二设定时间段、第三设定时间段和第四设定时间段的相应时间长度可以相同或者可以不同。

所述图像处理方法还包括把设定的编辑范围设定成从视频数据剪切的范围。

于是，设定的编辑范围用作通过编辑原始视频数据而获得的编辑视频数据。

所述图像处理方法还包括控制显示器显示和呈现对于视频数据设定的编辑范围。

例如，在以条形格式等，从开始到结束显示视频数据的时候，呈现并显示编辑范围。

所述图像处理方法还包括控制显示器呈现由第一附加信息指定的视频数据中的特定时间点。

例如，在指示视频数据的条形格式上，显示指示第一附加信息的标记等。

所述图像处理方法还包括控制显示器指示代表性时间点，以呈现由第二附加信息指定的视频数据中的特定时间范围。

例如，在指示视频数据的条形格式上，显示指示第二附加信息的标记等。

所述图像处理方法还包括根据设定的编辑范围的信息，控制显示器再现和显示视频。

于是，在对于视频数据，设定一个或多个编辑范围的时候，剪切编辑范围，以再现和显示编辑范围。例如，顺序剪切多个编辑范围，以连续再现视频。

所述图像处理方法还包括执行按照操作，变更设定的编辑范围的设定的编辑操作对应处理。

于是，用户能够进行任意变更对于视频数据设定的编辑范围的设定的操作。例如，允许用户操作变更编辑范围的起点(入点)或终点(出点)、删除编辑范围和增加编辑范围。

所述图像处理方法还包括执行按照操作，变更设定的编辑范围的图像再现模式的编辑操作对应处理。

对于视频数据设定的编辑范围作为正常再现用视频，比如用于按1x速度的正常显示的视频，被添加到编辑视频中。允许用户操作把诸如变速再现和图像效果之类的处理添加到编辑范围的视频中。

所述图像处理方法还包括执行指定作为充当第一附加信息或第二附加信息的附加信息的多种类型附加信息的种类，并按照所述指定，在与指定种类的附加信息对应的编辑范围中，设定预定的图像再现模式的编辑操作对应处理。

于是，附加信息的种类被指定，以对于与该附加信息对应的部分，设定共同图像再现模式。例如，对于与特定附加信息对应的所有编辑范围，指定缓慢再现等。

所述图像处理方法还包括在设定视频数据的编辑范围之际，按照作为充当第一附加信息或第二附加信息的附加信息的多种类型附加信息的种类，可变地设定第一设定时间段、第二设定时间段、第三设定时间段和第四设定时间段之一。

于是，按照附加信息的种类，变更用于确定编辑范围的设定时间段。

所述图像处理方法还包括当附加信息的种类是按照视频拍摄期间的用户操作添加的附加信息时，把第一设定时间段和第三设定时间段之一设定成比通常设定的时间长度长的时间长度。

按照用户操作设定的附加信息的指定时间段位置通常被延迟。于是，对于该附加信息，设定较长的时间长度。

所述图像处理方法还包括执行根据设定的编辑范围的信息，生成并输出编辑视频数据的输出处理。

在对于视频数据，设定一个或多个编辑范围的时候，或者在进一步变更编辑范围的时候，例如，编辑范围被剪切和连接，从而生成编辑视频数据。

所述图像处理方法还包括在输出处理中，执行把编辑视频数据保存在存储介质中的输出处理。

或者，所述图像处理方法还包括在输出处理中，执行把编辑视频数据传送给外部装置的输出处理。

于是，编辑视频数据被存储并保存在存储介质中，或者编辑视频数据被传送给外部装置。在传送的情况下，传送目的地的例子包括特定的记录装置、信息处理终端和云服务器。

本技术提供一种信息处理设备，所述信息处理设备包括识别单元，所述识别单元识别按照视频数据的时间轴添加的附加信息，和编辑处理单元，所述编辑处理单元按照由所述识别单元识别的附加信息是指定视频的时间轴中的特定时间点的第一附加信息，还是指定视频的时间轴中的特定时间范围的第二附加信息，设定视频数据的编辑范围。

这构成能够执行上述图像处理方法的设备。

按照本技术的程序是一种使信息处理设备执行以下步骤的程序：识别按照视频数据的时间轴添加的附加信息的步骤，和按照识别的附加信息是指定视频的时间轴中的特定时间点的第一附加信息，还是指定视频的时间轴中的特定时间范围的第二附加信息，设定视频数据的编辑范围的步骤。

这允许信息处理设备执行图像处理方法。

[发明的有益效果]

按照本技术，可按照包括指示特定时间点的第一附加信息，和指示特定时间范围的第二附加信息的各项信息，自动设定编辑范围。于是，用户的编辑工作被简化，以及按照附加信息适当地设定编辑范围。

注意，记载在这里的有益效果可不受限，本技术可具有记载在本公开中的有益效果中的任意效果。

附图说明

图1是按照本技术的一个实施例的图像处理设备的方框图。

图2是实现按照实施例的图像处理设备的硬件构成的方框图。

图3是按照实施例的编辑画面的说明图。

图4是按照实施例的编辑画面的编辑范围显示状态的说明图。

图5是在实施例中设定和呈现的编辑范围的说明图。

图6是在实施例中设定和呈现的编辑范围的说明图。

图7是按照实施例的标记显示设定窗口的说明图。

图8是按照实施例的标记添加和删除窗口的说明图。

图9是按照实施例的视频编辑处理的流程图。

图10是按照实施例的视频编辑处理的流程图。

图11是按照实施例的编辑范围设定处理的流程图。

图12是按照实施例的编辑范围设定处理的流程图。

图13是按照实施例的编辑视频创建处理的流程图。

图14是按照实施例的再现关联操作对应处理的流程图。

具体实施方式

下面将按照以下顺序，说明一个实施例。

<1.图像处理设备的构成>

<2.元数据>

<3.编辑画面例子>

<4.处理例子>

<5.程序和存储介质>

<6.总结和变形例>

<1.图像处理设备的构成>

下面参考图1，说明按照一个实施例的图像处理设备1的构成。图像处理设备1是在信息处理设备，比如个人计算机和移动终端(例如，智能电话机或平板终端)中，利用软件实现的。图像处理设备1还可被内置在诸如图像拾取设备(比如摄像机)、图像记录设备、图像再现设备和图像显示设备之类的装置中。图像处理设备1也可被实现成图像编辑设备。

实施例的图像处理设备1具有对象识别单元2、编辑处理单元3和输出处理单元4的功能。

此外，与图像处理设备1交换信息的周边部件包括存储单元10、通信单元11、输入单元12、显示单元13、声音输出单元14，等等。

应注意尽管存储单元10、通信单元11、输入单元12、显示单元13和声音输出单元14都可以是单独的装置，不过，所述各个单元也可以是诸如信息处理设备、图像拾取设备和图像记录设备之类的设备中的构成部件。

此外，存储单元10、通信单元11、输入单元12、显示单元13和声音输出单元14中的全部或部分以及图像处理设备1可以一体地设置在同一装置中，或者可以作为不同的装置提供，并通过有线或无线通信连接。

首先，说明各个周边部件。

存储单元10是用于保存视频数据的存储区域。例如，存储单元10可由半导体存储器(比如D-RAM(动态随机存取存储器)、S-RAM(静态随机存取存储器)和闪存)形成，或者可以是用于HDD(硬盘驱动器)、存储卡驱动器、光盘等的磁盘驱动器。

存储单元10例如保存由用户利用图像拾取设备(比如摄像机)拾取的视频数据，或者从另一个装置转发的视频数据。存储单元10还用于保存利用图像编辑设备1编辑的视频数据。

通信单元11例如通过诸如因特网之类的公共网络通信、专用线路通信、短程无线通信、有线通信等，与外部装置通信。例如，通信单元11把利用图像编辑设备1编辑的视频数据传送给外部装置、网络服务器等。通信单元11还可把从外部装置、网络服务器等接收的视频数据保存在存储单元10中。

输入单元12是用户对于图像处理设备1的操作信息的输入单元。输入单元12的具体形式包括键盘、鼠标、触摸面板、手势检测设备、操作键和转盘。

显示单元13显示利用图像处理设备1的编辑工作用图像、再现的视频等。显示单元13例如由诸如液晶面板和有机EL(电致发光)面板之类的显示装置构成。

声音输出单元14例如包括放大单元和扬声器，并且例如在图像处理设备1再现视频之时，输出伴随视频的声音。

图像处理设备1与周边部件合作地向用户提供视频编辑功能。

图像处理设备1的对象识别单元2指定待处理的视频数据，并识别按照视频数据的时间轴添加的附加信息(元数据)。具体地，对象识别单元2按照用户操作，指定保存在存储单元10中的一项视频数据。

在拍摄期间、在拍摄之后的分析期间等，各种元数据被添加到视频数据中。这里，对象识别单元2特别识别按照视频中的场景提供的元数据。

尽管元数据可以是各种数据，不过在本实施例中，元数据例如是用于在视频数据的时间轴上标记包含人物的场景、其中存在欢呼的场景、其中检测到笑脸的场景、基于用户操作的场景等的元数据。于是，在视频数据的时间轴上指示特定场景的元数据(例如，后面说明的各种标记)是对象。

注意，记载在本实施例中的元数据包括用于指定视频的时间轴上的特定时间点的数据(第一附加信息)，和用于指定视频的时间轴上的特定时间范围的数据(第二附加信息)。

编辑处理单元3执行用于由对象识别单元2定为对象的视频数据的各种编辑的处理。例如，编辑处理单元3执行向用户呈现视频、呈现指示元数据的位置的标记、设定编辑范围、提供供编辑之用的操作环境、生成编辑视频数据等的处理。

于是，编辑处理单元3执行与元数据相应的编辑范围设定处理、用户界面的显示处理、与用户的编辑操作相应的编辑操作对应处理、生成编辑结果的编辑视频数据的编辑视频生成处理等。包括这些处理在内的信息处理设备1的处理的具体例子将在后面说明。

输出处理单元4执行输出编辑处理单元3生成的编辑视频数据的处理。例如，输出处理单元4输出数据以及把数据保存在存储单元10中。或者，输出处理单元4把数据输出给通信单元11，以及使通信单元11把所述数据传送给外部装置。

应注意，尽管在图1中，图像处理设备1包括对象识别单元2、编辑处理单元3和输出处理单元4，不过对图像处理设备1来说，只需要至少包括识别充当第一附加信息和第二附加信息的元数据的对象识别单元2，和至少执行按照第一附加信息或第二附加信息设定视频数据的编辑范围的编辑范围设定处理的编辑处理单元3即可。

图2描述作为实现图像处理设备1的装置的例子的计算机设备70的例子。

图2中，计算机设备70的CPU(中央处理器)71按照保存在ROM(只读存储器)72中的程序，或者从存储单元78加载到RAM(随机存取存储器)73上的程序，执行各种处理。为CPU71执行各种处理所需的数据等也被适当地保存在RAM 73中。

CPU 71、ROM 72和RAM 73通过总线74互连。输入-输出接口75也连接到总线74。

包括键盘、鼠标等的输入单元76，包括由液晶面板、有机EL面板等构成的显示器、扬声器等的输出单元77，包括HDD等的存储单元78，和由调制解调器等构成的通信单元79连接到输入-输出接口75。通信单元79通过包括因特网在内的网络，执行通信处理。

介质驱动器80也酌情连接到输入-输出接口75，从而适当地安装诸如磁盘、光盘、磁光盘和半导体存储器之类的可拆卸介质81。从介质驱动器80和可拆卸介质81读取的计算机程序酌情被安装在存储单元78上。

在计算机设备70的情况下，图像处理设备1是利用CPU 71启动的软件实现的。构成所述软件的程序下载自网络，或者读取自可拆卸介质81，并安装在计算机设备70上。或者，所述程序可被预先保存在充当存储单元78的HDD等中。

CPU 71启动程序，以实现图像处理设备1的功能。可以执行关于视频数据的编辑处理。

<2.元数据>

下面说明作为元数据，添加到视频数据中的信息。如上所述，本实施例的元数据(第一附加信息和第二附加信息)具有在视频数据的时间轴上，指示场景的功能。具体的类型的例子包括下面所述。

首先，列举用于指定特定时间点的第一附加信息的例子。

-静止图像记录标记

这是指示视频拍摄期间的静止图像记录的时间点的数据。在近年来的一些图像拾取设备(比如摄像机)中，在视频记录期间，用户可进行静止图像记录操作。在视频记录期间，用户指示了静止图像记录的场景可以是用户视为重要场景的场景。于是，图像拾取设备按照在视频拍摄期间，用户进行的静止图像记录操作的时间点(时间码)，提供静止图像记录标记。

-面部检测标记

这是提供给在视频数据中检测到面部的时间码的标记。在视频拍摄期间或者在视频拍摄之后的图像分析中，进行面部检测，以及按照包括面部的帧的时间码，设定面部检测标记。例如，具有图像分析功能的图像拾取设备、再现设备等设定面部检测标记。

-笑脸检测标记

这是提供给在视频数据中检测到笑脸的时间码的标记。在视频拍摄期间或者在视频拍摄之后的图像分析中，进行笑脸检测，以及按照包括笑脸的帧的时间码，设定笑脸检测标记。例如，具有图像分析功能的图像拾取设备、再现设备等设定笑脸检测标记。

-突出显示标记

这是指示在视频拍摄期间，用户进行的突出显示操作的时间点的标记。在近年来的一些图像拾取设备(比如摄像机)中，在视频记录期间，用户可在重要的场景中进行突出显示操作。更具体地，突出显示操作是向用户认为重要的场景提供标记以致在随后的再现或编辑之际该场景能够被立即指定的操作。例如，图像拾取设备按照在视频拍摄期间，用户进行的突出显示操作的时间点(时间码)，提供突出显示标记。

下面，列举用于指定特定时间范围的第二附加信息的例子。

-欢呼标记

-笑声标记

-鼓掌标记

通常，在视频拍摄期间，还收集并记录声音，并且可分析输入的声音，以确定例如存在欢呼的时期、存在笑声的时期和存在鼓掌的时期。具有声音分析功能的图像拾取设备、再现设备等可检测所述时期，并向视频数据添加欢呼标记、笑声标记、鼓掌标记等。

-变焦标记

图像拾取设备通常具备变焦功能。用户进行变焦操作的时期可能是对用户来说重要的场景。于是，图像拾取设备对于在视频拍摄和记录期间进行的变焦操作的时期(period)，设定变焦标记。

-动作(mot ion)模式标记

这是向特定动作模式(比如人的跳跃动作和转动动作，以及网球、棒球或高尔夫球运动中的挥动动作)添加的标记。例如，人跳跃的时期被指定为跳跃标记。尽管可利用图像分析，设定标记，不过例如也可与外部装置合作，对于各种动作设定标记。例如，可在网球拍上安装传感器，以及可以获得所述传感器的信息，以判别正手击球、正手截击球、反手击球、反手截击球等。可以添加与这些对应的标记。

尽管列举了充当第一附加信息和第二附加信息的标记(元数据)的具体例子，不过，这些显然仅仅是例子，并且可存在各种其他具体例子。此外，在后面说明的处理中，并非所有列举的标记都要被使用，可以只使用部分的标记。

对于视频数据的标记(元数据)的记录方法的例子包括下面所述。

-在视频拍摄期间，图像拾取设备检测信息，并且图像拾取设备记录标记。

当在视频拍摄期间，要记录标记时，图像拾取设备根据图像拾取设备检测的信息，记录标记并向视频数据添加标记。

-在视频拍摄期间，除图像拾取设备外的设备检测信息，并且图像拾取设备记录标记。

在利用图像拾取设备的视频拍摄期间，利用例如外部传感器或外部装置，检测被摄物体(object)的特定动作等，并且检测的信息被传送给图像拾取设备。图像拾取设备根据检测的信息，设定标记，并把所述标识保存为对应于视频数据的元数据。

-在视频拍摄期间，除图像拾取设备外的设备检测信息，并且除图像拾取设备外的装置记录标记。

在利用图像拾取设备的视频拍摄期间，利用例如外部传感器或外部装置，检测被摄物体的特定动作等，并且检测的信息被传送给除图像拾取设备外的装置。例如，检测的信息被传送给连同图像拾取设备一起为用户所拥有的装置，比如智能电话机。诸如智能电话机之类的装置根据检测的信息，设定标记。所述装置还从图像拾取设备获得信息，并把标记记录为与拍摄期间的视频数据的时间码同步的元数据。

-在视频拍摄期间，除图像拾取设备外的设备检测信息，并且在网络上记录标记。

在利用图像拾取设备的视频拍摄期间，利用例如外部传感器或外部装置，检测被摄物体的特定动作等，并且检测的信息通过网络被传送，并记录在云中。云服务器侧把标记记录为与拍摄期间的视频数据的时间码同步的元数据。

-在拍摄之后，编辑设备记录标记。

在拍摄之后，具有图像和声音分析功能的装置分析视频数据和声音数据，并且检测作为标记的对象的特定时间点和时期。该装置按照时间码，设定标记，并把标记记录为元数据。

或者，即使在不具有分析功能的装置中，用户也可手动进行检查视频中的场景，并指定时间点或时期的操作。该装置按照所述操作，把标记记录为元数据。

<3.编辑画面例子>

下面，说明由实施例的图像处理设备1提供给用户的编辑画面。

图3描述显示在例如图1的显示单元13上的编辑画面20的例子。

在编辑画面20中，准备描述用于读取各种编辑功能的菜单的菜单区21，和用于显示实际视频的内容的视频区22.

例如，响应用户的把保存在存储单元10中的视频数据指定为编辑对象的操作，在如图3中的编辑画面上，在视频区22中再现视频的图像，或者在再现停止状态下显示图像。

在编辑画面20上，例如，在再现关联操作部分23中，显示再现按钮、后退按钮、快退按钮、快进按钮、前进按钮等。用户可操作(例如，点击或触摸)这些操作符，以在视频区22中任意再现指定的视频，或者移动到期望的场景。

此外，在音量操作部分24中，显示静音按钮、音量条等。用户可操作这些操作符，以开启或关闭再现期间的声音输出，或者指示音量调整。

此外，在画面模式操作部分26中，可以选择显示器上的编辑画面20的全画面模式、缩小画面模式等。

在视频条25中，整个条指示对象视频数据的尺度(时间长度)，并且当前显示在视频区22中的场景的位置用视频指针25a呈现。在例子中，待编辑的视频数据的长度为4分44秒，因而，整个视频条25表示0分0秒到4分44秒。

在编辑画面20中，设置编辑范围呈现区30。

在编辑范围呈现区30中，纵向排列并显示标记条31和编辑范围条32。至于标记条31和编辑范围条32的总长度，和视频条25中一样，整个条的长度也表示对象视频数据的时间长度(例如这种情况下，4分44秒)。

在标记条31上，显示标记图像33。更具体地，按照相应标记的种类，呈现图像，以允许识别时间轴上的各种元数据(比如面部检测标记、突出显示标记和欢呼标记)实际被添加到视频数据中的添加位置。

于是，标记条31上的标记图像33允许用户大致把握哪些标记在哪里被添加到视频数据中、添加的标记的类型、标记的数目，等等。

尽管未在图3中显示，不过如后所述，与标记相应的编辑范围被显示在编辑范围条32上。编辑范围是待编辑的视频的范围。具体地，编辑范围是视频的待用作编辑视频数据的各个部分，例如，多个设定的编辑范围被连接，以生成编辑视频数据。从这个意义上说，编辑范围表示待从原始视频数据中剪切出的范围。

在编辑画面20上，显示标记显示设定按钮41、编辑范围设定按钮42和取消按钮43，并且用户可操作这些按钮。

标记显示设定按钮41是用于选择待显示在标记条31上的标记图像33的操作符。

编辑范围设定按钮42是用于指示设定与标记相应的编辑范围的操作符，并且取消按钮43是用于取消操作(与操作相应的编辑范围设定)的操作符。

在编辑画面20上，设置入点呈现部分44和出点呈现部分45，并且显示入点和出点的相应时间码。例如，当编辑范围被指定时，呈现该编辑范围的入点和出点。

图3的显示画面描述剪切选项卡46上的图像例子。这是用于设定与标记相应的编辑范围的选项卡。

另外，准备变速选项卡47、重复选项卡48、字符选项卡49等。尽管未被图示，不过，当变速选项卡47被选择时，显示用于进行指定编辑范围的变速再现(缓慢或高速再现)的操作，或者指示图像效果等的操作的画面。

当重复选项卡48被选择时，显示用于进行编辑范围的重复再现、指定重复次数等的操作的画面。

当字符选项卡49被选择时，显示用于进行待添加到编辑范围中的文本(比如待叠加的文本)的输入操作的画面。

在编辑画面20中的选项卡区之外，准备编辑数据保存按钮50和编辑视频创建按钮51。

编辑数据保存按钮50是供用户保存编辑数据的操作符。例如，编辑数据包括设定的编辑范围、对于各个编辑范围设定的变速和重复之类的再现模式的信息、文本信息、变更后的编辑范围的信息以及标记的选择信息。于是，编辑数据是按照标记设定的编辑范围和利用用户的操作设定或变更的编辑范围的编辑工作的信息，并且是作为此时的编辑视频数据的创建源的信息。

编辑视频创建按钮51是用于指示根据此时的编辑数据，生成并输出编辑视频数据的操作符。

响应编辑视频创建按钮51的操作，图像处理设备1根据此时的编辑数据，连接编辑范围，向相应的编辑范围添加效果，变更速度，重复视频，或者叠加字符，从而生成作为编辑视频数据的例如流式数据。图像处理设备1把编辑视频数据保存在存储单元10中，或者使通信单元11把编辑视频数据传送给外部装置。

当在图3的编辑画面20的状态下，操作编辑范围设定按钮42时，按照全部或部分的标记，自动设定编辑范围，以及在如图4中描述的显示状态下，呈现设定的编辑范围。

图4中，在编辑范围条32上，显示指示按照各个标记33设定的编辑范围的范围图像35。尽管在图4中，利用编辑范围条32上的阴影区指示范围图像35，不过，范围图像35实际上可被显示成具有不同颜色的部分。尽管可按公共模式(例如，颜色和设计)，显示各个范围图像35，不过，也可按以致按照对应标记33的种类，区分范围图像35的模式，显示范围图像35。

这里，将说明与标记相应的编辑范围的设定，以及设定的呈现。如上所述，标记包括充当第一附加信息的各种标记，和充当第二附加信息的各种标记。

在本实施例中，按照标记是用于指定视频的时间轴上的特定时间点的第一附加信息，还是用于指定视频的时间轴上的特定时间范围的第二附加信息，设定对应于该标记的编辑范围。

具体地，第一附加信息的标记指示特定时间点，从而根据该特定时间点，设定编辑范围。第二附加信息的标记指示特定时间范围，从而根据该时间范围的起点和终点，设定编辑范围。

更具体地，当标记是第一附加信息时，从作为在所述特定时间点之前的第一设定时间段的时间点，到作为在所述特定时间点之后的第二设定时间段的时间点的范围，被设定为编辑范围。

当标记是第二附加信息时，从作为在所述时间范围的起点之前的第三设定时间段的时间点，到作为在所述时间范围的终点之后的第四设定时间段的时间点的范围，被设定为编辑范围。

这里，第一设定时间段、第二设定时间段、第三设定时间段和第四设定时间段的时间长度可以相同或者可以不同。首先，将通过假定第一到第四设定时间段都为2秒，说明设定编辑范围的例子。

图5A描述标记条31和编辑范围条32的各一部分，假定标记条31中的标记图像33A例如是与作为第一附加信息的面部检测标记对应的图像。假定面部检测标记是标记视频数据中的时间码“0:01:00:00”(0小时1分0秒0帧)的信息。

应注意，尽管时间码通常指示时:分:秒:帧，不过在实际画面等上，常常不指示帧，以避免复杂。例如，在图3和4的例证中，在编辑画面20上不显示帧。

此外，图5和6中描述的时间码实际上不被显示，时间码是为了说明起见而被示出的。不过，时间码也可被实际显示。

按照面部检测标记，在标记条31中的时间码“0:01:00:00”的位置处显示标记图像33A。

注意，标记图像33是具有一定面积，以增大用户对标记图像33(比如33A)的可识别性的图像。于是，如图5A中一样，标记图像33A的一边(左边)被显示在“0:01:00:00”的位置处。然而，这仅仅是例子。例如，右边可以在对应于该时间码的位置处，或者左右方向的中央可以在对应于该时间码的位置处。

标记图像33A(比如33A)是具有一定面积的图像，而不是对应于时间码的简单线条等，并且按照标记的种类，显示不同的图像。这允许用户更容易识别提供了什么种类的标记。

对于该标记，如上所述设定编辑范围。在图5A的情况下，假定设定第一设定时间段＝第二设定时间段＝2秒，那么编辑范围被设定为时间码“0:00:58:00”～“0:01:02:00”的范围。

为了指示按照这种方式设定的编辑范围，如在图5A中所示，在编辑范围条32上的“0:00:58:00”～“0:01:02:00”的部分处显示范围图像35。这允许用户识别按照面部检测标记(标记图像33A)设定的编辑范围，比如从原始视频数据中剪切的范围。

接下来，图5B的上部和中部描述标记条31和编辑范围条32的各一部分，假定标记条31中的标记图像33B例如是与作为第二附加信息的欢呼标记对应的图像。该欢呼检测标记是标记视频数据中的时间码“0:03:20:00”～“0:03:30:00”的时期的信息。

按照该欢呼标记，在标记条31中的时间码“0:03:20:00”的位置处显示标记图像33B，即，起点被设定为代表性时间点，以在该起点处显示标记图像33B的左边。显然，这仅仅是例子。例如，所述时期的终点可被设定为代表性时间点，并且标记图像33B的右边可被显示在该终点处。所述时期的中央可被设定为代表性时间点，并且可以与时间码位置一致地显示标记图像33B的左右方向的中央。这样的显示也是合适的。

对于该标记，如上所述设定编辑范围。在图5B的情况下，假定设定第三设定时间段＝第四设定时间段＝2秒，那么编辑范围被设定为时间码“0:03:18:00”～“0:03:32:00”的范围。

为了指示这样设定的编辑范围，如在图5B中所示，在编辑范围条32上的“0:03:18:00”～“0:03:32:00”的部分处显示范围图像35。这允许用户识别按照欢呼标记(标记图像33B)设定的编辑范围，比如从原始视频数据中剪切的范围。

注意，图5B的下部描述标记图像33B'，作为标记图像33B的另一个显示例子。该例子是其中标记图像33B的左右方向的范围与编辑范围一致的例子。这允许容易地理解作为第二附加信息的标记图像33B，和对应于标记图像33B的编辑范围。然而，该显示可能使标记条31复杂，并且用户的可识别性可能降低。当考虑到此时，可取的是如图5B的上部中的显示。

图6A描述其中在时间轴上邻近的位置处存在作为第一附加信息的多个标记的情况。例如，假定存在分别指定“0:02:30:00”、“0:02:33:00”和“0:02:35:00”的3个面部检测标记。

因而，在标记条31上，相互交叠地显示指示面部检测标记的3个标记图像33A。

假定设定第一设定时间段＝第二设定时间段＝2秒，那么面部检测标记的编辑范围分别为“0:02:28:00”～“0:02:32:00”、“0:02:31:00”～“0:02:35:00”和“0:02:33:00”～“0:02:37:00”，前面和后面的编辑范围相互交叠。于是，编辑范围在编辑范围条32上被集成，“0:02:28:00”～“0:02:37:00”被设定为显示范围图像35的编辑范围。

顺便提及，例如，第一设定时间段、第二设定时间段、第三设定时间段和第四设定时间段可以是固定的，与标记的种类无关，或者可按照标记的种类被变更。

例如，图6B图解说明与突出显示标记对应的标记图像33C，和指示与标记图像33C相应的编辑范围的范围图像35。突出显示标记是指示“0:04:40:00”的信息。

这是其中尽管例如如图5A中一样，设定第一设定时间段＝第二设定时间段＝2秒，不过对于特定标记，变更第一设定时间段的例子。这里，在突出显示标记的情况下，设定被变更成第一设定时间段＝4秒。于是，“0:04:36:00”～“0:04:42:00”是编辑范围，如图5B中所示地显示编辑范围。

例如和本例中一样，对于用于设定编辑范围的第一到第四设定时间段中的全部或部分，可按照标记的种类，应用不同的值。

总之，可存在第一设定时间段、第二设定时间段、第三设定时间段和第四设定时间段的各种具体例子。

首先，存在其中如上所述，设定第一设定时间段＝第二设定时间段＝第三设定时间段＝第四设定时间段的例子。不管标记的种类地把各个设定时间段用于设定编辑范围。

可以不管标记的种类地设定并固定第一设定时间段≠第二设定时间段≠第三设定时间段≠第四设定时间段。例如，设定第一设定时间段＝3秒，第二设定时间段＝2秒，第三设定时间段＝2.5秒，而第四设定时间段＝1.5秒。

还可设定第一设定时间段＝第三设定时间段＝x秒，而第二设定时间段＝第四设定时间段＝y秒。

还可设定第一设定时间段＝第三设定时间段＝第四设定时间段＝x秒，而第二设定时间段＝y秒。

还可设定第一设定时间段＝第二设定时间段＝第四设定时间段＝x秒，而第三设定时间段＝y秒。

还可设定第二设定时间段＝第三设定时间段＝第四设定时间段＝x秒，而第一设定时间段＝y秒。

此外，当按照标记的种类，变更设定时，在特定的标记种类的情况下，可以变更第一设定时间段、第二设定时间段、第三设定时间段和第四设定时间段的全部，或者可以变更它们的一部分。

此外，对于充当第一附加信息的每个种类的标记，可以确定唯一的第一设定时间段和第二设定时间段，此外，对于充当第二附加信息的每个种类的标记，可以确定唯一的第三设定时间段和第四设定时间段。

下面再次参考图4，说明编辑范围的任意编辑。

图4描述跨标记条31和编辑范围条32，显示编辑指针34的例子。

编辑指针34指示特定时间码。用户可操作并把编辑指针34移动到任意位置，以把该位置(或对应编辑范围)设定为编辑操作的对象。

例如，当用户进行把编辑指针34放置到范围图像35或标记图像33的操作时，图像处理设备1认识到用编辑指针34指定的编辑范围或标记是编辑操作的对象，并执行必要的处理。例如，入点呈现部分44和出点呈现部分45显示编辑范围的入点和出点，并且时间码的图像被显示在视频区22中。此外，执行与随后的用户操作对应的处理。例如，当在用编辑指针34指定编辑范围的时候，编辑指针34被移动时，图像处理设备1认识到编辑范围被变更，并执行编辑处理。

例如，用户可进行把编辑指针34放置到范围图像35的边缘，并向左或向右移动编辑指针34的操作，从而变更设定的编辑范围的起点或终点，以扩大或缩小编辑范围。

用户还可对于由编辑指针34指定的编辑范围，进行变速指定、重复指定、效果指定、字符输入等的操作。

用户还可删除由编辑指针34指定的标记，或者向由编辑指针34指定的位置增加标记。

于是，编辑指针34用于当用户打算任意进行编辑操作时的标记图像33的指定、范围图像35的指定、任意时间码位置的指定等。

下面，说明标记的显示设定。

用户可选择待显示在标记条31上的标记的种类。例如，当用户操作标记显示设定按钮41时，图像处理设备1显示图7中描述的显示设定窗口61。在显示设定窗口61中，设置标记选择区62、视频呈现部分64、关闭按钮63等。

在标记选择区62中，描述添加到待处理的视频数据中的标记的种类的列表，并且向每种种类的标记设置复选框。用户可查看标记选择区62，以识别添加到作为当前处理对象的视频数据中的标记的种类。

用户随后利用对于标记的种类显示的复选框，来选择待显示在标记条31上的标记的种类。当如图7中所示，面部检测标记和欢呼标记被复选时，如图4中一样地显示对应于面部检测标记和欢呼标记的标记图像33。标记条31上的标记图像33的显示指示所述种类的标记的编辑范围可被设定或任意编辑。

例如，当用户打算从运动会等的视频数据中，收集包含人物的场景和带有欢呼声的场景，以创建编辑视频数据，作为摘要视频时，用户可选择面部检测标记和欢呼标记，以把这些标记显示在标记条31上。对于这些标记，可以设定编辑范围，并且范围图像35可被显示在编辑范围条32上。

此外，可以增加最初未向视频数据提供的标记，也可删除标记。

当用户进行用于增加或删除标记的预定操作时，图像处理设备1显示如图8中所示的窗口60。窗口60显示标记条31W、标记列表部分52、选定标记呈现部分53、增加按钮54、删除按钮55等。

目前显示在编辑画面20的标记条31上的标记图像33A，和增加的标记图像33C被显示在标记条31W上。

例如，用户把编辑指针34布置在标记条31W上的任意位置。用户随后从标记列表部分52中，选择任意标记。响应该操作，图像处理设备1在选定标记呈现部分53中，指示选择的标记(本例中，突出显示标记)，并在标记条31W上的编辑指针34的位置处显示选择的突出显示标记的标记图像33C。

当用户操作增加按钮54时，图像处理设备1设定该状态，即，其中突出显示标记被添加到编辑指针34指示的时间码位置的状态，然后返回图4的编辑画面20等。这种情况下，突出显示标记的标记图像33C被添加到标记条31。

例如，用户可按照这种方式，指定任意时间码位置，以增加任意标记。

相反，也可利用编辑指针34，指定已添加的标记(标记图像33)，以操作删除按钮55，从而删除该标记。应注意这里“删除”可以是从原始视频数据中，删除作为元数据的标记的处理，或者可以是意味从编辑范围的设定对象中，简单地除去标记的删除。

用户可以利用编辑画面20，对对象视频数据进行各种编辑工作。在编辑工作中，对用户来说，以下各点是便利的。

-添加到对象视频数据中的标记是按照时间码，利用标记图像33显示的，并且用户能够识别标记的位置和类型。

-编辑范围是按照标记，自动设定的。这种情况下，按照第一附加信息或第二附加信息，相应的适当范围被设定为编辑范围。

-用户可任意选择用于设定编辑范围的标记的种类。

-用户可任意增加和删除充当用于设定编辑范围的标记的特定种类的标记。

-用户可任意变更按照标记设定的各个编辑范围的起点和终点。

-对于各个编辑范围，用户可任意指定再现模式，设定效果，或者设定字符。

-通过再现操作，正被编辑的编辑范围可被再现，并且能够检查连接各个编辑范围的编辑视频。

-在编辑工作之后，能够保存编辑数据，并且能够指示编辑视频的创建和输出。

<4.处理例子>

下面说明显示编辑画面20，以向用户提供编辑工作环境的图像处理设备1的处理例子。例如，图像处理设备1通过图1的对象识别单元2、编辑处理单元3和输出处理单元4的功能，执行下面说明的处理。具体地，图像处理设备1是如图2中一样的信息处理设备，并且在编辑用程序被启动时，执行以下处理。

图9和10描述图像处理设备1执行的处理的例子。

在图9的步骤S101，图像处理设备1确定待处理的视频。更具体地，图像处理设备1按照用户的操作，把保存在存储单元10中的一个视频数据确定为待编辑的视频数据。

在步骤S102，图像处理设备1从存储单元10，读取确定为待处理的视频数据，并获得加入视频数据中的元数据(标记)。

在步骤S103，图像处理设备1开始显示编辑画面20。更具体地，图像处理设备1设定在视频区22中显示对象视频数据的状态，并在标记条31上，显示与添加到视频数据中的标记对应的标记图像33。例如，图像处理设备1使显示单元13执行图3的状态下的显示。标记图像33的显示为如图5中所示的显示模式。

注意，初始状态下，显示标记图像33的标记的种类可被预先固定地设定，或者可由用户设定。或者，可对添加到视频数据中的所有标记，都显示标记图像33。此外，可不显示标记图像33，直到用户进行图7中描述的选择操作为止。

在开始编辑画面20的显示之后，图像处理设备1监视用户操作，并执行与检测到的操作相应的处理。在图9和10中，检测到的用户操作包括时间码位置指定操作(S104)、编辑范围设定操作(S105)、编辑数据保存操作(S106)、编辑视频创建操作(S107)、再现关联操作(S108)、标记显示设定操作(S109)、标记增加/删除操作(S110)、变速设定操作(S111)、重复设定操作(S112)、字符输入操作(S113)、标记指定编辑操作(S114)和标记种类指定编辑操作(S115)。尽管存在要监视的其他用户操作，不过，这些用户操作被称为“其他操作”(S116)。

图像处理设备1重复步骤S104-S116的监视处理，直到在步骤S117，判断图像编辑处理结束为止。

当检测到用户的时间码位置指定操作时，图像处理设备1从步骤S104进入S121。时间码位置指定操作是在时间码上，布置编辑指针34的操作。

响应该操作，在步骤S121，图像处理设备1执行把编辑指针34在画面上的位置变更到利用该操作指定的位置的处理。

当检测到用户的编辑范围设定操作时，图像处理设备1从步骤S105进入S130，并且执行编辑范围设定处理。编辑范围设定操作例如是对编辑画面20上的编辑范围设定按钮42的操作。响应该操作，图像处理设备1按照标记图像33被显示在标记条31上的全部或部分的标记，设定编辑范围。

例如，响应对编辑范围设定按钮42的操作，图像处理设备1对于标记图像33被显示的所有标记，自动设定编辑范围。

或者，响应对编辑范围设定按钮42的操作，图像处理设备1可对于此时利用编辑指针34等指定的标记图像33的标记，设定编辑范围。

或者，响应对编辑范围设定按钮42的操作，图像处理设备1可对于类型与此时利用编辑指针34等指定的标记图像33的标记的类型相同的所有标记，设定编辑范围。例如，当利用编辑指针34指定一个面部检测标记时，图像处理设备1对于所有的面部检测标记分别设定编辑范围。

在任何情况下，对于一个标记的编辑范围设定处理的例子可包括如图11A、11B和12中的例子。

当多个标记是编辑范围设定处理的对象时，比如当对于所有的标记，设定编辑范围时，可对于各个对象标记，重复如以下的图11A、11B和12中的处理。

首先，说明图11A的例子。图11A是其中设定第一设定时间段＝第二设定时间段＝第三设定时间段＝第四设定时间段＝2秒的例子。

在步骤S131，图像处理设备1判断对象标记是否是指定时间范围的标记，即，该标记是否是第二附加信息。更具体地，图像处理设备1检查待处理的标记的种类，如果所述种类是面部检测标记、静止图像记录标记、突出显示标记等，那么判断该标记是第一附加信息。另一方面，如果该标记是欢呼标记、鼓掌标记、动作模式标记等，那么图像处理设备1判断该标记是指定时间范围的第二附加信息。

当对象标记是第一附加信息时，在步骤S132，图像处理设备1把编辑范围设定成从在该标记指定的时间点(时间码)之前2秒(第一设定时间段)，到在该时间点之后2秒(第二设定时间段)的范围。

当对象标记是第二附加信息时，在步骤S133，图像处理设备1把编辑范围设定成从在该标记指定的时间范围的起点的时间码之前2秒(第三设定时间段)，到在终点的时间码之后2秒(第四设定时间段)的范围。

随后在步骤S134，图像处理设备1进行向用户呈现设定的编辑范围的范围图像35的控制。

图11B是其中设定第一设定时间段＝2.5秒、第二设定时间段＝2秒、第三设定时间段＝1.5秒，而第四设定时间段＝1.8秒的例子。

和图11A中一样，在步骤S131，图像处理设备1判断对象标记的种类。

当对象标记是第一附加信息时，在步骤S132A，图像处理设备1把编辑范围设定成从在该标记指定的时间点(时间码)之前2.5秒(第一设定时间段)，到在该时间点之后2秒(第二设定时间段)的范围。

当对象标记是第二附加信息时，在步骤S133A，图像处理设备1把编辑范围设定成从在该标记指定的时间范围的起点的时间码之前1.5秒(第三设定时间段)，到在终点的时间码之后1.8秒(第四设定时间段)的范围。

随后在步骤S134，图像处理设备1进行向用户呈现设定的编辑范围的范围图像35的控制。

图12的例子是其中按照标记的种类，变更第一和第三设定时间段的例子。尽管通常设定第一设定时间段＝第二设定时间段＝第三设定时间段＝第四设定时间段＝2秒，不过在该例子中，对于特定标记，设定被变更成第一设定时间段＝第三设定时间段＝4秒。

和图11A中一样，在步骤S131，图像处理设备1判断对象标记的种类。

当对象标记是第一附加信息时，在步骤S135，图像处理设备1判断该标记是否是源自于操作的标记。源自于操作的标记是按照用户在视频拍摄期间进行的操作，与操作定时的位置相关联的标记。具体地，源自于操作的标记例如是突出显示标记，或者静止图像记录标记。

如果该标记不源自于操作，那么图像处理设备1进入步骤S132B，并把编辑范围设定成从在该标记指定的时间点(时间码)之前2秒(第一设定时间段)，到在该时间点之后2秒(第二设定时间段)的范围。

如果该标记源自于操作，那么图像处理设备1进入步骤S132C，并把编辑范围设定成从在该标记指定的时间点(时间码)之前4秒(变更的第一设定时间段)，到在该时间点之后2秒(第二设定时间段)的范围。

当对象标记是第二附加信息时，在步骤S136，图像处理设备1判断该标记是否是源自于操作的标记(例如，变焦标记)。

如果该标记不源自于操作，那么图像处理设备1进入步骤S133B，并把编辑范围设定成从在该标记指定的时间范围的起点的时间码之前2秒(第三设定时间段)，到在终点的时间码之后2秒(第四设定时间段)的范围。

如果该标记源自于操作，那么图像处理设备1进入步骤S133C，并把编辑范围设定成从在该标记指定的时间范围的起点的时间码之前4秒(变更的第三设定时间段)，到在终点的时间码之后2秒(第四设定时间段)的范围。

随后在步骤S134，图像处理设备1进行向用户显示设定的编辑范围的范围图像35的控制。

这样，对于源自于操作的标记，在时间上过去的方向上，包含在编辑范围中的范围被扩大。这是因为当时间点或时间段与用户的操作相应时，操作定时往往相对于最佳场景被延迟。

例如，由认为场景重要的用户进行的突出显示操作或静止图像记录操作的时间点常常在被摄物体的重要场景的开始之后。于是，提供与通常的范围相比在过去方向上稍长的编辑范围允许剪切重要场景的适当范围。

注意，当考虑到情况，要变更设定时间段时，理想的是不仅判别标记的种类，而且判别标记的记录属性。例如，也可按照用户在随后的再现或编辑期间，而不是在拍摄期间的操作，添加突出显示标记等。在再现或编辑期间，用户能够精确地检查例如突出显示场景的起点，以进行添加标记的操作。于是，当在过去方向上，较长地设定编辑范围时，编辑范围的起点可能过早。因而，在步骤S135或S136中，可以判断标记是否源自于操作，和标记是否是在拍摄期间记录的，并且这种情况下，处理可以进入步骤S132C或者S133C。

再次参见图9，当检测到用户的编辑数据保存操作时，图像处理设备1从步骤S106进入S140，并执行编辑数据保存处理。

编辑数据保存操作例如是编辑画面20中的编辑数据保存按钮50的操作。响应该操作，图像处理设备1执行把此时的编辑数据(关于诸如编辑范围、标记选择状态和变速设定之类的编辑工作的数据)保存在例如存储单元10中的处理。

保存编辑数据允许用户稍后读取保存的编辑数据，以恢复当前工作状态。

当检测到用户的编辑视频创建操作时，图像处理设备1从步骤S107进入S150，并执行编辑视频创建处理。编辑视频创建操作例如是编辑画面20中的编辑视频创建按钮51的操作。

图13描述步骤S150的处理例子。

在步骤S151，图像处理设备1确认编辑数据。更具体地，图像处理设备1确定当时的编辑数据是用于创建编辑视频的最终工作数据。

在步骤S152，图像处理设备1根据编辑数据，顺序剪切并连接各个编辑范围，从而生成作为编辑结果的视频数据。这种情况下，当存在对于各个编辑范围的变速再现设定、重复设定、效果设定、字符输入等时，这些设定被反映，以生成视频数据。

在步骤S153，图像处理设备1输出编辑视频数据。例如，图像处理设备1把编辑视频数据保存在存储单元10中。或者，图像处理设备1通过通信单元11，把编辑视频数据传送给外部装置。

再次参见图9，当检测到用户的再现关联操作时，图像处理设备1从步骤S108进入S160，并执行再现关联操作对应处理。再现关联操作是再现关联操作部分23或音量操作部分24的操作。

图14描述步骤S160的处理例子。

在步骤S161-S165，图像处理设备1检查用户进行的操作的细节。当用户操作再现按钮时，图像处理设备1从步骤S161进入S170，并进行首先显示停止按钮的控制。例如，图像处理设备1把如图4中的再现按钮变更为停止按钮，并在再现期间显示该停止按钮。

之后，在步骤S171，图像处理设备1判断目前是否利用编辑指针34，指定了某个标记(对应于该标记的编辑范围)。

如果指定了标记，那么图像处理设备1进入步骤S172，并再现指定的标记的编辑范围的视频。这种情况下，图像处理设备1可在再现1个指定的编辑范围一次之后，终止再现，或者可以重复再现该编辑范围。

此外，即使当编辑范围的再现完成时，图像处理设备1也可从终点继续再现原始视频。

如果未指定特定标记，那么图像处理设备1进入步骤S173，并通过从起始(top)标记的编辑范围开始，顺序连接各个编辑范围，再现视频。更具体地，图像处理设备1通过连接作为编辑范围剪切的各个部分，再现视频。于是，用户能够检查编辑视频数据的图像。

当一直到最后的编辑范围的再现结束时，再现可终止，或者可再次从起始编辑范围开始，重复再现。

注意，当对于再现中的编辑范围，设定了变速再现、图像效果等时，在步骤S172和S173，可以反映这些设定，以再现编辑范围。相反，即使当设定了这些设定时，也可只进行通常的再现，而不反映这些设定。

此外，当编辑指针34特别指定不存在标记的时间码时，可不管编辑范围地从指定的时间码开始，再现原始视频。

当用户操作停止按钮时，图像处理设备1从步骤S162进入S180，并进行再现按钮显示控制。更具体地，图像处理设备1把再现期间的停止按钮的显示切换成如图4中的再现按钮的显示。随后在步骤S181，图像处理设备1停止再现操作。

应注意，尽管这里举例说明了检测停止操作的情况，不过在无用户的操作的情况下，当再现进行到终点位置之时，也可执行步骤S180和S181。

当用户操作关于跳跃操作的按钮，即，后退按钮或前进按钮时，图像处理设备1从步骤S163进入S182，并执行再现位置的跳跃处理。于是，图像处理设备1执行变更第一位置的处理。

注意，如果视频未被再现，那么该操作可能无效，或者可能使显示在视频区22中的位置(停止的图像的位置)跳跃。

当用户操作关于变速操作的按钮(即，回退(rewind)按钮或快进按钮)时，图像处理设备1从步骤S164进入S183，并执行变速再现处理。于是，图像处理设备1进行从当前再现位置起的前进(forward)或回退再现。

注意，如果视频未被再现，那么该操作可能无效，或者可能使显示在视频区22中的位置(停止的图像的位置)向前(advance)或者回退。

当用户进行关于音量的操作时，图像处理设备1从步骤S165进入S184，并执行按照该操作，变更音量设定、静音、解除静音等的处理。

按照再现关联操作的处理允许用户在视频区22的视频显示中，检查编辑工作过程中的视频。特别地，这适合于连续再现各个编辑范围，以检查编辑视频的图像。

当检测到用户的标记显示设定操作时，图像处理设备1从图10的步骤S109进入S200，并执行呈现选择标记或者取消呈现的处理。

标记显示设定操作是编辑画面20的标记显示设定按钮41的操作。

响应该操作，图像处理设备1显示在图7中描述的显示设定窗口61。图像处理设备1随后执行按照用户的选择待显示标记的操作决定待显示的标记的处理。图像处理设备1随后执行在标记条31上显示决定的待显示标记的处理。已被显示但是对其来说用户已除去标记选择区62中的复选的标记的呈现被取消，从而该标记不被显示在标记条31上。

当检测到用户的标记增加或删除操作时，图像处理设备1从图10的步骤S110进入S210。图像处理设备1在指定的位置处增加标记，或者删除指定的标记。

响应标记增加或删除操作，图像处理设备1显示图8中描述的窗口60，并如上所述，按照窗口60中的用户操作，设定增加或删除。

当检测到用户的变速设定操作时，图像处理设备1从图10的步骤S111进入S220，并设定关于指定的编辑范围的变速再现。

这是例如在利用变速选项卡47显示的画面上，对于特定编辑范围，按照用户操作设定变速再现的处理。例如，对于指定的编辑范围，用户可指定相对于通常的1x速度的2x速度、4x速度、1/2x速度、1/3x速度等。图像处理设备1在编辑中的数据上反映该设定。

当检测到用户的重复设定操作时，图像处理设备1从步骤S112进入S230，并设定关于指定的编辑范围的重复再现。

这是例如在利用重复选项卡48显示的画面上，对于特定编辑范围，按照用户操作设定重复再现的处理。对于指定的编辑范围，用户可指定重复的次数，比如一次、两次和三次。图像处理设备1在编辑中的数据上，反映该设定。

当检测到用户的字符输入操作时，图像处理设备1从步骤S113进入S240，并设定关于指定的编辑范围的字符。

这是例如在利用字符选项卡49显示的画面上，对于特定编辑范围，按照用户的字符输入，设定待叠加在视频上的字符的处理。例如，用户可向指定的编辑范围的场景，任意输入字符。图像处理设备1在编辑中的数据上，反映字符的设定。

当检测到用户的标记指定编辑操作时，图像处理设备1从步骤S114进入S250，并执行关于指定的标记的编辑范围的设定变更处理。

例如，用户可以进行利用编辑指针34，指定关于标记的编辑范围的起点或终点，随后移动编辑指针34的操作。这是标记指定编辑操作。这种情况下，图像处理设备1执行把编辑范围的起点或终点变更到利用用户操作移动的时间码位置的处理。

于是，用户能够任意变更任意编辑范围。

当检测到用户的标记种类指定编辑操作时，图像处理设备1从步骤S115进入S260，并执行关于指定的标记种类的编辑范围或再现模式的设定处理。

例如，用户可进行指定标记的种类，随后指示对于该标记变更编辑范围的起点或终点、增加图像效果或重复视频的编辑设定的操作。响应该操作，图像处理设备1执行把指定的编辑设定全部添加到特定种类的标记中的处理，并在编辑中的数据上，反映这些设定。

例如，用户指定指示网球拍的挥动的动作模式标记。用户随后指示再现两次的重复再现，并对于第二次重复再现，指定1/2x速度再现。图像处理设备1把该设定作为关于所有相同的动作模式标记的编辑范围的设定，并把该设定添加到编辑数据中。结果，在编辑视频中，在挥拍的每个场景之中，在通常的视频之后立刻增加缓放视频。

此外，例如当用户进行指定笑脸检测标记，以把编辑范围的起点在过去方向上变更1秒的操作时，图像处理设备1把所有笑脸检测标记的编辑范围的起点在过去方向上变更1秒。图像处理设备1把变更后的状态显示在编辑范围条32上，并在编辑中的数据上反映该变更。

这些是例证性的，可存在各种其他具体例子。

当检测到除上述操作以外的操作时，图像处理设备1从步骤S116进入S270，并执行与该操作相应的处理。

当在步骤S117，图像处理设备1判断图像编辑处理结束时，在步骤S280，图像处理设备1终止编辑画面20的显示。

在图9-14的处理中，图像处理设备1可向用户提供视频数据的编辑环境。

该处理是例子，可以存在各种其他处理例子。

例如，在步骤S103的阶段，图像处理设备1可按照待显示的标记，进行第一编辑范围设定，而不等待用户操作，并且不预先通知地设定如图4中在编辑范围条32上显示范围图像35的状态。

显然，在编辑画面20中，可以存在其他显示内容、操作符等。

<5.程序和存储介质>

尽管说明了图像处理设备1，和图像处理设备执行的图像处理方法的实施例，不过，提供编辑环境的处理可由硬件执行，并且也可由软件执行。

实施例的程序是用于使算术处理单元(比如CPU(中央处理器)和DSP(数字信号处理器))执行在实施例中举例说明的处理的程序。

更具体地，实施例的程序是使信息处理设备执行识别按照视频数据的时间轴添加的附加信息的步骤(S102)，和按照识别的附加信息是用于指定视频的时间轴中的特定时间点的第一附加信息，还是用于指定视频的时间轴中的特定时间范围的第二附加信息，设定视频数据的编辑范围的步骤(S130)的程序。

按照程序，通过利用图2的计算机设备70等的信息处理设备，可实现控制静止图像的自动存储的图像处理设备。

程序可被预先记录在作为内置于计算机设备70等的信息处理设备中的记录介质的HDD、包括CPU的微计算机中的ROM等中。

或者，程序可被临时或永久保存(记录)在可拆卸记录介质(比如软盘、CD-ROM(光盘只读存储器)、MO(磁光)盘、DVD(数字通用光盘)、蓝光光盘(注册商标)、磁盘、半导体存储器和存储卡)中。可以所谓的套装软件的形式，提供可拆卸记录介质。

此外，程序可以从可拆卸记录介质，安装在个人计算机等上，或者可以通过网络，比如LAN(局域网)和因特网，从下载站点下载。

此外，程序适合于广泛地提供实施例的图像处理设备。例如，程序可被下载到个人计算机、移动信息处理设备、移动电话机、游戏机、视频设备等，以允许个人计算机等起本公开的图像处理设备的作用。

<6.总结和变形例>

在实施例中，可以获得以下有益效果。

在实施例的图像处理设备1执行的图像处理方法中，识别按照视频数据的时间轴添加的附加信息(标记)，并按照所述附加信息是指定视频的时间轴中的特定时间点的第一附加信息，还是指定视频的时间轴中的特定时间范围的第二附加信息，设定视频数据的编辑范围(参见图11和12)。

于是，可以按照包括指示特定时间点的第一附加信息，和指示特定时间范围的第二附加信息的各项信息，自动地设定适当的编辑范围。

特别地，当标记是第一附加信息时，根据第一附加信息指定的特定时间点，设定编辑范围，当标记是第二附加信息时，根据第二附加信息指定的特定时间范围的起点和终点，设定编辑范围。

结果，可按照第一和第二附加信息的具体内容，设定编辑范围。

更具体地，按照第一附加信息的标记，编辑范围被设定成从在所述特定时间点之前第一设定时间段的时间点，到在所述特定时间点之后第二设定时间段的时间点的范围，和按照第二附加信息的标记，编辑范围被设定成从在所述时间范围的起点之前第三设定时间段的时间点，到在所述时间范围的终点之后第四设定时间段的时间点的范围。

设定第一设定时间段、第二设定时间段、第三设定时间段和第四设定时间段，并且可按照第一和第二附加信息中的每一个，自动设定适当的时间范围，作为编辑范围。

特别地，在第一附加信息的情况下，在指定的时间码之前和之后的一定时期可以是编辑范围。结果，在由标记指定的时间码周围的一定时期的场景可以是编辑范围。在视频中，重要的是把编辑范围设定成一定时期的场景，并且该编辑范围的设定非常有用。

此外，在由标记指定的时间点之前的时间点包含在基于第一设定时间段和第三设定时间段的编辑范围中，这也是适宜的。这是因为仅仅利用该编辑范围的视频，就能够容易地表现从视频中的在先时间点起的联系。

此外，在由标记指定的时间点之后的时间点包含在基于第二设定时间段和第四设定时间段的编辑范围中，这也是适宜的。这是因为仅仅利用该编辑范围的视频，就能够容易地表现刚好在视频中的重要场景之后的联系。

此外，可根据第一到第四设定时间段的时间段设定，精确地控制与第一和第二附加信息相应的编辑范围的长度。于是，同样适宜的是用户能够选择第一到第四设定时间段。

此外在实施例中，设定的编辑范围被设定成从视频数据剪切的范围。更具体地，设定的编辑范围被用作通过编辑原始视频数据而获得的编辑视频数据。按照第一和第二附加信息的编辑范围可被剪切，从而易于生成适当的编辑视频数据。即，各个编辑范围是包括由各种标记指示的时间码的场景，从而是有些重要的场景。

在这个意义上，理想的是编辑范围是对于由用户选择的标记种类设定的。例如，当用户打算创建具有一批笑脸场景的编辑视频时，用户可选择笑脸检测标记并把笑脸检测标记显示在标记条31上(S200)。对于笑脸检测标记，可执行编辑范围设定(S130)，并且根据设定的编辑范围，可创建编辑视频(S150)。

注意，按照第一和第二附加信息设定的编辑范围可不是为了编辑视频数据而剪切的范围。例如，编辑范围可以是增加特殊效果的范围，或者进行变速再现的范围。

在实施例中，控制显示器显示和呈现对于视频数据设定的编辑范围(S134)。更具体地，作为编辑范围条32中的范围图像35地显示编辑范围。

这允许用户识别自动设定的编辑范围。

在实施例中，控制显示器呈现由第一附加信息指定的视频数据中的特定时间点。更具体地，图像处理设备1控制标记条31的标记图像33的显示。

这允许用户识别由第一附加信息指定的特定时间点。

此外，在编辑范围的设定之后，用户能够容易地检查各个编辑范围的细节，和在视频时间轴上的位置，从而使随后的任意编辑更容易。

在实施例中，还控制显示器指示代表性时间点，从而呈现由第二附加信息指定的视频数据中的特定时间范围。

更具体地，图像处理设备1控制标记条31的标记图像33的显示。这种情况下，对于作为第二附加信息的标记，显示依照的是代表性时间码，而不是整个编辑范围，如图5B的上部中那样。

这允许用户识别由第二附加信息指定的特定时间范围。特别地，代替时间范围的指示，用代表性时间点指示特定时间范围，这可避免显示变得复杂。

此外，在编辑范围的设定之后，用户能够容易地检查各个编辑范围的细节，和在视频时间轴上的位置，从而使随后的任意编辑变得容易。

在实施例中，根据设定的编辑范围的信息，控制显示器再现和显示视频(S160)。

更具体地，在对于视频数据，设定一个或多个编辑范围的时候，编辑范围被剪切，以再现和显示编辑范围。例如，顺序剪切多个编辑范围，以连续再现视频。

视频再现允许用户实际检查根据编辑范围设定生成的编辑视频的状态。用户能够检查编辑视频，以在必要时进一步进行编辑等。

在实施例中，执行按照操作，变更设定的编辑范围的设定的编辑操作对应处理(S250、S210)。

更具体地，用户可进行任意变更对于视频数据设定的编辑范围的设定的操作。例如，允许用户通过操作，变更编辑范围的起点(入点)或终点(出点)、删除编辑范围以及增加编辑范围。

这允许按照用户的意图(操作)，进一步变更根据附加信息设定的编辑范围。

在实施例中，执行按照操作，变更设定的编辑范围的图像再现模式的编辑操作对应处理(S220、S230、S240)。

对于视频数据设定的编辑范围作为正常再现用视频，比如用于按1x速度的正常显示的视频，被添加到编辑视频中。允许用户操作把诸如变速再现、图像效果、重复和字符叠加之类的处理，添加到编辑范围的视频中。

于是，可按用户想要的再现模式，进一步编辑根据设定的编辑范围生成的编辑视频，从而高级编辑是可能的。

在实施例中，执行指定作为充当第一附加信息或第二附加信息的附加信息的多种类型标记的种类，并在与指定种类的标记对应的编辑范围中，设定预定的图像再现模式的编辑操作对应处理(S260)。

于是，标记的种类可被指定，以对于与该种类的标记对应的编辑范围，设定共同图像再现模式。例如，能够对于与特定附加信息对应的所有编辑范围，指定缓慢再现。

于是，对于每个种类的标记，可以指定编辑的细节，从而编辑操作高效并且容易。此外，可按照特定场景的细节，设定图像效果等。

在实施例中，在设定视频数据的编辑范围之际，按照标记的种类，可变地设定第一设定时间段、第二设定时间段、第三设定时间段和第四设定时间段之一(图12)。

结果，可对于每个种类的标记，设定适当的编辑范围。例如，通过根据场景的各个内容的附加信息、基于用户操作的附加信息、基于笑脸检测的附加信息等，变更前后的时间长度，根据场景设定编辑范围。

特别地，当标记源自于操作时，即，当标记是按照视频拍摄期间的用户操作而添加的时，第一设定时间段和第三设定时间段之一被设定成比通常设定的时间长度长的时间长度。

按照用户操作设定的附加信息的指定时间段位置通常被延迟。于是，对于该附加信息，设定更长的时间长度。结果，编辑范围的开始时间点可以是较早的时间点，从而能够设定适当视频内容的编辑范围。

在实施例中，根据设定的编辑范围的信息，执行生成并输出编辑的视频数据的输出处理(S150，图13)。

在对于视频数据，设定一个或多个编辑范围的时候，或者在进一步变更编辑范围的时候，例如，编辑范围被剪切和连接，从而生成编辑视频数据。待生成的编辑视频数据是以基于附加信息的编辑范围为基础的编辑视频，并且利用简单的处理，能够提供适合于用户的编辑视频内容。

在输出处理中，编辑视频数据被保存在存储介质中，或者被传送给外部装置。这允许用户容易地保存或转发编辑的数据。

实施例的图像处理设备1可广泛应用在消费类装置以及广播和其他业务用装置中。例如，图像处理设备1可内置于具有视频拍摄功能的照相机、移动终端装置、移动电话机、监控摄像机、定点摄像机、诸如行车记录仪之类的车载摄像机、用于判定行驶环境的摄像机、医疗装置、电子内窥镜等中，也适合于与这些装置形成系统。

注意，记载在本说明书中的有益效果仅仅是例证性的，有益效果不受限制。此外，可存在其他有益效果。

注意，也可如下构成本技术。

(1)一种图像处理方法，包括：

识别按照视频数据的时间轴添加的附加信息；和

按照所述附加信息是指定视频的时间轴中的特定时间点的第一附加信息，还是指定视频的时间轴中的特定时间范围的第二附加信息，设定视频数据的编辑范围。

(2)按照(1)所述的图像处理方法，还包括：

当所述附加信息是第一附加信息时，根据由第一附加信息指定的特定时间点，设定编辑范围；和

当所述附加信息是第二附加信息时，根据由第二附加信息指定的特定时间范围的起点和终点，设定编辑范围。

(3)按照(1)或(2)所述的图像处理方法，还包括：

按照第一附加信息，把编辑范围设定为从在所述特定时间点之前第一设定时间段的时间点，到在所述特定时间点之后第二设定时间段的时间点的范围；和

按照第二附加信息，把编辑范围设定为从在所述时间范围的起点之前第三设定时间段的时间点，到在所述时间范围的终点之后第四设定时间段的时间点的范围。

(4)按照(1)-(3)任意之一所述的图像处理方法，还包括：

把设定的编辑范围设定成从视频数据剪切的范围。

(5)按照(1)-(4)任意之一所述的图像处理方法，还包括：

控制显示器显示和呈现对于视频数据设定的编辑范围。

(6)按照(1)-(5)任意之一所述的图像处理方法，还包括：

控制显示器呈现由第一附加信息指定的视频数据中的特定时间点。

(7)按照(1)-(6)任意之一所述的图像处理方法，还包括：

控制显示器指示代表性时间点，以呈现由第二附加信息指定的视频数据中的特定时间范围。

(8)按照(1)-(7)任意之一所述的图像处理方法，还包括：

根据设定的编辑范围的信息，控制显示器再现和显示视频。

(9)按照(1)-(8)任意之一所述的图像处理方法，还包括：

执行按照操作，变更设定的编辑范围的设定的编辑操作对应处理。

(10)按照(1)-(9)任意之一所述的图像处理方法，还包括：

执行按照操作，变更设定的编辑范围的图像再现模式的编辑操作对应处理。

(11)按照(1)-(10)任意之一所述的图像处理方法，还包括：

执行指定作为充当第一附加信息或第二附加信息的附加信息的多种类型附加信息的种类，并按照所述指定，在与指定种类的附加信息对应的编辑范围中，设定预定的图像再现模式的编辑操作对应处理。

(12)按照(3)所述的图像处理方法，还包括：

在设定视频数据的编辑范围之际，按照作为充当第一附加信息或第二附加信息的附加信息的多种类型附加信息的种类，可变地设定第一设定时间段、第二设定时间段、第三设定时间段和第四设定时间段之一。

(13)按照(12)所述的图像处理方法，还包括：

当附加信息的种类是按照视频拍摄期间的用户操作添加的附加信息时，把第一设定时间段和第三设定时间段之一设定成比通常设定的时间长度长的时间长度。

(14)按照(1)-(13)任意之一所述的图像处理方法，还包括：

执行根据设定的编辑范围的信息，生成并输出编辑视频数据的输出处理。

(15)按照(14)所述的图像处理方法，还包括：

在输出处理中，执行把编辑视频数据保存在存储介质中的输出处理。

(16)按照(14)或(15)所述的图像处理方法，还包括：

在输出处理中，执行把编辑视频数据传送给外部装置的输出处理。

(17)一种图像处理设备，包括：

识别单元，所述识别单元识别按照视频数据的时间轴添加的附加信息；和

编辑处理单元，所述编辑处理单元按照由所述识别单元识别的附加信息是指定视频的时间轴中的特定时间点的第一附加信息，还是指定视频的时间轴中的特定时间范围的第二附加信息，设定视频数据的编辑范围。

(18)一种程序，所述程序使信息处理设备执行：

识别按照视频数据的时间轴添加的附加信息的步骤；和

按照识别的附加信息是指定视频的时间轴中的特定时间点的第一附加信息，还是指定视频的时间轴中的特定时间范围的第二附加信息，设定视频数据的编辑范围的步骤。

[附图标记列表]

1…图像处理设备，2…对象识别单元，3…编辑处理单元，4…输出处理单元，10…存储单元，11…通信单元，12…输入单元，13…显示单元，14…声音输出单元。

Claims (18)

1.一种图像处理方法，包括：

识别与视频数据的时间轴相应地添加的附加信息；和

根据所述附加信息是指定视频的时间轴中的特定时间点的第一附加信息还是指定视频的时间轴中的特定时间范围的第二附加信息，设定视频数据的编辑范围。

2.按照权利要求1所述的图像处理方法，还包括：

当所述附加信息是第一附加信息时，基于由该第一附加信息指定的特定时间点设定编辑范围；和

当所述附加信息是第二附加信息时，基于由该第二附加信息指定的特定时间范围的起点和终点设定编辑范围。

3.按照权利要求2所述的图像处理方法，还包括：

根据第一附加信息，把编辑范围设定为从在所述特定时间点之前第一设定时间段的时间点到在所述特定时间点之后第二设定时间段的时间点的范围；以及

根据第二附加信息，把编辑范围设定为从在所述时间范围的起点之前第三设定时间段的时间点到在所述时间范围的终点之后第四设定时间段的时间点的范围。

4.按照权利要求1所述的图像处理方法，还包括：

把设定的编辑范围设定成从视频数据剪切的范围。

5.按照权利要求1所述的图像处理方法，还包括：

控制显示器显示和呈现对于视频数据设定的编辑范围。

6.按照权利要求1所述的图像处理方法，还包括：

控制显示器呈现由第一附加信息指定的视频数据中的特定时间点。

7.按照权利要求1所述的图像处理方法，还包括：

控制显示器指示代表性时间点，以呈现由第二附加信息指定的视频数据中的特定时间范围。

8.按照权利要求1所述的图像处理方法，还包括：

基于设定的编辑范围的信息，控制显示器再现和显示视频。

9.按照权利要求1所述的图像处理方法，还包括：

执行与操作相应地变更设定的编辑范围的设定的编辑操作对应处理。

10.按照权利要求1所述的图像处理方法，还包括：

执行与操作相应地变更设定的编辑范围的图像再现模式的编辑操作对应处理。

11.按照权利要求1所述的图像处理方法，还包括：

执行编辑操作对应处理，该编辑操作对应处理指定作为充当第一附加信息或第二附加信息的附加信息的多种类型的附加信息的种类，并与所述指定相应地在与指定种类的附加信息对应的编辑范围中设定预定的图像再现模式。

12.按照权利要求3所述的图像处理方法，还包括：

在设定视频数据的编辑范围之际，根据作为充当第一附加信息或第二附加信息的附加信息的多种类型的附加信息的种类，可变地设定第一设定时间段、第二设定时间段、第三设定时间段以及第四设定时间段中的一个。

13.按照权利要求12所述的图像处理方法，还包括：

当附加信息的种类是与视频拍摄期间的用户操作相应地添加的附加信息时，把第一设定时间段和第三设定时间段中的一个设定成比通常设定的时间长度长的时间长度。

14.按照权利要求1所述的图像处理方法，还包括：

执行基于设定的编辑范围的信息生成并输出编辑的视频数据的输出处理。

15.按照权利要求14所述的图像处理方法，还包括：

在输出处理中，执行把编辑的视频数据保存在存储介质中的输出处理。

16.按照权利要求14所述的图像处理方法，还包括：

在输出处理中，执行把编辑的视频数据传送给外部装置的输出处理。

17.一种图像处理设备，包括：

识别单元，所述识别单元识别与视频数据的时间轴相应地添加的附加信息；和

编辑处理单元，所述编辑处理单元根据由所述识别单元识别的附加信息是指定视频的时间轴中的特定时间点的第一附加信息还是指定视频的时间轴中的特定时间范围的第二附加信息，设定视频数据的编辑范围。

18.一种程序，所述程序使信息处理设备执行：

识别与视频数据的时间轴相应地添加的附加信息的步骤；和

根据识别的附加信息是指定视频的时间轴中的特定时间点的第一附加信息还是指定视频的时间轴中的特定时间范围的第二附加信息，设定视频数据的编辑范围的步骤。