CN105981372A - 图像处理装置 - Google Patents

图像处理装置 Download PDF

Info

Publication number
CN105981372A
CN105981372A CN201580007339.7A CN201580007339A CN105981372A CN 105981372 A CN105981372 A CN 105981372A CN 201580007339 A CN201580007339 A CN 201580007339A CN 105981372 A CN105981372 A CN 105981372A
Authority
CN
China
Prior art keywords
frame
channel
similar degree
image
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580007339.7A
Other languages
English (en)
Inventor
村田由纪子
中野智生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Noritsu Precision Co Ltd
Original Assignee
Noritsu Precision Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Noritsu Precision Co Ltd filed Critical Noritsu Precision Co Ltd
Publication of CN105981372A publication Critical patent/CN105981372A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/915—Television signal processing therefor for field- or frame-skip recording or reproducing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3081—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is a video-frame or a video-field (P.I.P)
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Analysis (AREA)

Abstract

提供一种图像处理装置，该图像处理装置用于在属于不同信道的帧混在一个活动图像内的情况下，将所述帧按每个所述信道进行分类。所述图像处理装置包括自动分类部。所述自动分类部通过对所述活动图像中包含的多个帧实施图像处理，从而算出帧间的类似度，并根据所述类似度，将所述多个帧分类至多个信道。

Description

图像处理装置
技术领域
本发明涉及图像处理装置以及图像处理程序，特别是涉及当属于不同信道的帧混在一个活动图像内的情况下，用于将这些帧按各个信道进行分类的图像处理装置以及图像处理程序。
背景技术
作为对活动图像录像的一种方式，已知有延时这样的间歇式录像方式。这是一种以低于通常情况的帧速率、简单地说边降帧边进行录像的方式，可以使相同记录介质进行比通常情况更长时间的录像。在监控摄像机中也经常会采用该延时的方式，进而，有时还会在由于降低帧速率而产生的间隙时间内插入其它监控摄像机的视频。在该情况下，记录多个摄像机的视频、即多个信道的视频沿一个时间轴交替切换这样的活动图像。
对于将多个信道的视频汇总在一个时间轴上进行录像后的活动图像，如果使用专用设备，则可以将每个摄像机的、即每个信道的视频显示在监控器上。在专利文献1的专用设备中，对视频的各帧赋予信道编号的数据，播放时，通过参照该数据，可以从多个信道的视频混在一起的视频中仅调取任意信道的视频。
在先技术文献
专利文献
专利文献1：特开2002-319210号公报
发明内容
发明要解决的技术问题
但是，在一般的播放设备上播放多个信道的视频混在一起的视频时，无法看到每个信道的视频。这是因为，用于识别各帧的信道的方式分厂家或机种而有所不同，一般的播放设备无法应对这些方式。
本发明的目的在于，提供当属于不同信道的帧混在一个活动图像内的情况下，不论该活动图像是通过什么样的方式(仕様)进行录像的，都可以进行每个信道的播放的图像处理装置以及图像处理程序。
用于解决技术问题的方案
本发明的第一方面所涉及的图像处理装置，用于在属于不同的信道的帧混在一个活动图像内的情况下，按各个所述信道对所述帧进行分类，所述图像处理装置包括自动分类部。所述自动分类部通过对包含在所述活动图像中的多个帧实施图像处理，从而算出帧间的类似度，并根据所述类似度，将所述多个帧分类至多个信道。
这里，在属于不同信道的帧混在一个活动图像内的情况下，提供用于按照每个信道来分类这些帧的功能。具体而言，首先，对活动图像中包含的多个帧实施图像处理，从而算出帧间的类似度，据此，多个帧被自动地分类至多个信道。根据该功能，不管活动图像的方式如何，均可以将属于不同信道的帧混在一起的活动图像分离为对应每个信道的活动图像。即、当属于不同信道的帧混在一个活动图像内的情况下，不论该活动图像是通过什么方式录像的活动图像，都可以进行每个信道的播放。
本发明的第二方面所涉及的图像处理装置在第一方面所涉及的图像处理装置的基础上，所述自动分类部包括设定部、计算部、和判断部。所述设定部将包含在所述活动图像中的特定帧、或合成包含在所述活动图像中的两个以上的特定帧而得的帧设定为基准帧，并将包含在所述活动图像中的其它特定帧设定为比较帧。所述计算部执行计算处理。所述计算处理是将所述比较帧以及所述基准帧分割为多个局部区域，按各个所述局部区域算出所述比较帧和所述基准帧之间的局部类似度，并且，仅利用该局部类似度高的所述局部区域来算出综合类似度的处理。所述综合类似度是所述比较帧和所述基准帧之间的在帧整体上的所述类似度。所述判断部根据所述综合类似度，执行所述比较帧与所述基准帧或作为其合成源的帧是否属于相同信道的判断处理。
需要说明的是，“将帧分割为多个局部区域”除了包括将整个帧全部无重复地分割为多个局部区域之外，还包括将整个帧的部分区域(例如，除去外框区域的中央区域等)全部无重复地分割为多个局部区域、或将整个帧或其一部分分割为局部重复的多个局部区域；等等。
这里，为了算出活动图像中包含的帧间的类似度，比较帧以及基准帧被分割为局部区域，以该局部区域为单位，计算出比较帧和基准帧之间的局部类似度。然后，仅利用局部类似度高的局部区域来算出帧整体上的综合类似度。该综合类似度为比较帧和基准帧是否属于相同信道的判断基准。
即、这里，在计算综合类似度时，不考虑局部类似度低的局部区域的信息。这是因为，属于相同信道的帧之间其背景图像一致，但在存在移动体的部分(下面，称为移动体部分)则为不同的图像。并且，在移动体部分占帧整体的比例大的情况下，如果利用帧整体的信息来判断帧间的综合类似度的话，则即使是属于相同信道的帧之间，也会有综合类似度被判断为低的担忧。因此，这里，为了避免误判断，被认为包含很多移动体部分的局部类似度低的局部区域不用于综合类似度的计算。其结果是，可以降低移动体的影响，能够正确地判断所比较的帧彼此是否属于相同的信道。
本发明的第三方面所涉及的图像处理装置在第一方面所涉及的图像处理装置的基础上，所述自动分类部包括设定部、计算部、和判断部。所述设定部将包含在所述活动图像中的特定帧、或合成包含在所述活动图像中的两个以上的特定帧而得的帧设定为基准帧，并将包含在所述活动图像中的其它特定帧设定为比较帧。所述计算部执行计算处理。所述计算处理是从所述比较帧中检测特征点，对应每个所述特征点设定其附近区域，并且，仅利用所述附近区域来算出综合类似度的处理。所述综合类似度是所述比较帧和所述基准帧之间的在帧整体上的所述类似度。所述判断部根据所述综合类似度，执行所述比较帧与所述基准帧或作为其合成源的帧是否属于相同信道的判断处理。
这里，为了算出活动图像中包含的帧间的类似度，从比较帧中检测出特征点，并仅利用该特征点的附近区域来算出比较帧和基准帧之间的综合类似度。该综合类似度为比较帧和基准帧是否属于相同信道的判断基准。
即、这里，在计算综合类似度时，不考虑特征点的附近区域以外的区域的信息。这是因为，即使是属于不同信道的帧之间，如果它们是拍摄了相似景象的帧，在利用帧整体的信息来判断帧间的综合类似度时，则会存在综合类似度被判断为高的担忧。例如，在拍摄了同一店内的不同场所的两个视频中，有时都是相同的均匀色壁纸、床等占据了帧的大部分，在这样的情况下，帧整体的综合类似度高。因此，这里，为了避免误判断，特征点的附近区域以外的区域、即拍有相同的均匀色壁纸、床等背景的可能性高的区域不用于综合类似度的计算。其结果是，可以降低相似背景的影响，能正确地判断所比较的帧之间是否属于相同的信道。
本发明的第四方面所涉及的图像处理装置在第三方面所涉及的图像处理装置的基础上，所述计算部将所述比较帧分割为多个局部区域，并按各个所述局部区域从所述比较帧中检测所述特征点。
这里，为了算出活动图像中包含的帧间的类似度，比较帧被分割为局部区域，并以该局部区域为单位检测特征点。其结果是，特征点不会偏于帧的整个画面的一部分区域，而是从帧整体之中大致均等地检出。其结果是，在仅利用特征点的附近区域来算出综合类似度的情况下，可以避免该综合类似度为评价集中的一部分区域的类似度的值。因此，可以正确地评价所比较的帧之间的类似度。
本发明的第五方面所涉及的图像处理装置在第三方面或第四方面所涉及的图像处理装置的基础上，所述计算部按各个所述附近区域算出所述比较帧和所述基准帧之间的局部类似度，并且，仅利用该局部类似度高的所述附近区域来算出所述综合类似度。
这里，为了算出活动图像中包含的帧间的类似度，比较帧被分割为局部区域，以该局部区域为单位来检测特征点。然后，以特征点的附近区域为单位，算出比较帧和基准帧之间的局部类似度，进而，仅利用局部类似度高的附近区域来算出综合类似度。
即、这里，在计算综合类似度时，不考虑局部类似度低的特征点的附近区域的信息。这是因为，属于相同信道的帧之间其背景图像一致，但在移动体部分则为不同的图像。并且，在移动体部分占帧整体的比例大的情况下，如果利用帧整体的信息来判断帧间的综合类似度，则即使是属于相同信道的帧之间，也会有被判断为综合类似度低的担忧。因此，这里，为了避免误判断，被认为包含很多移动体部分的局部类似度低的区域不用于综合类似度的计算。其结果是，可以降低移动体的影响，能够正确地判断所比较的帧之间是否属于相同的信道。
本发明的第六方面所涉及的图像处理装置在第二方面至第五方面中任一方面所涉及的图像处理装置的基础上，所述设定部从用户接收帧的画面内的区域的设定，并将包含在所述活动图像中的特定帧的所述区域内的图像、或合成包含在所述活动图像中的两个以上的特定帧的所述区域内的图像而得的帧设定为基准帧，而将包含在所述活动图像中的其它特定帧的所述区域内的图像设定为比较帧。
例如，在作为处理对象的活动图像是监控摄像机的视频等的情况下，常常会在帧的画面内设置有日期和时间的显示区域。于是，如果利用包含这样的日期和时间的显示区域的帧整体的信息来判断帧间的类似度的话，则即使是属于相同信道的帧之间，也会有被判断为类似度低的担忧。此外，在帧的画面内存在设置有黑边的情况。相反，在这样的情况下，如果利用包含黑边的帧整体的信息来判断帧间的类似度的话，则即使是属于不同信道的帧之间，也会有被判断为类似度高的担忧。这里，在帧的画面内，仅将用户所指定的区域用作类似度计算的根据。因此，可以将可能成为上述那样的误判断的主要因素的区域从作为类似度计算的根据的区域中排除。
本发明的第七方面所涉及的图像处理装置在第二方面至第六方面中任一方面所涉及的图像处理装置的基础上，所述设定部能够设定多个所述基准帧。在设定有多个所述基准帧的情况下，所述计算部针对所述各基准帧执行所述计算处理。所述判断部在所述判断处理中，判断所述综合类似度最高的所述比较帧与所述基准帧或作为其合成源的帧属于相同的所述信道。
这里，可以设定多个基准帧。并且，将比较帧与各基准帧相比较，将其与提供最高综合类似度的基准帧分类至相同的信道。需要说明的是，这里的基准帧作为代表特定信道的帧而起作用。其结果是，可以正确地将活动图像中包含的帧分类至多个信道。
本发明的第八方面所涉及的图像处理装置在第七方面所涉及的图像处理装置的基础上，所述设定部边从所述活动图像中依次选择帧，边将最开始选择的帧设定为所述基准帧，而将之后选择的帧设定为所述比较帧。每当所述设定部新设定了所述比较帧时，所述计算部执行所述计算处理，并且，所述判断部执行所述判断处理。所述设定部在通过所述判断处理判断为所述比较帧与任一个所述基准帧、或任一个作为所述基准帧的合成源的帧均不属于相同的所述信道的情况下，将该比较帧重新设定为所述基准帧。
这里，从活动图像中依次选择帧，并将最开始选择的帧设定为代表特定信道的基准帧。此外，第二个及其之后选择的帧首先被设定为比较帧。然后，将比较帧和到此为止所设定的各基准帧进行比较，在判断为不属于任一个与基准帧对应的信道的情况下，则重新将其设定为代表新的信道的基准帧。根据该方法，例如可以避免活动图像中包含的帧的循环(総当たり)的比较，能在抑制计算负担的同时，将活动图像中包含的帧分类至多个信道。
本发明的第九方面所涉及的图像处理装置在第七方面或第八方面所涉及的图像处理装置的基础上，所述设定部边从所述活动图像中依次选择帧，边将最开始选择的帧设定为所述基准帧，而将之后选择的帧设定为所述比较帧。每当所述设定部新设定了所述比较帧时，所述计算部执行所述计算处理，并且，所述判断部执行所述判断处理，所述设定部在通过所述判断处理判断为所述比较帧与任一所述基准帧、或任一作为所述基准帧的合成源的帧属于相同的所述信道的情况下，将该比较帧合成到该基准帧中。
这里，从活动图像中依次选择帧，将最开始选择的帧设定为代表特定信道的基准帧。此外，第二个及其之后选择的帧首先被设定为比较帧。然后，将比较帧和到此为止所设定的各基准帧进行比较，在判断为属于与任一基准帧对应的信道的情况下，该比较帧被合成于该基准帧。根据该方法，代表特定信道的基准帧可以成为正确地代表属于该信道的各种帧的图像，能够将活动图像中包含的帧正确地分类至多个信道。
本发明的第十方面所涉及的图像处理装置在第八方面或第九方面所涉及的图像处理装置的基础上，在从所述活动图像中选择了最后的帧、并且所述计算处理以及所述判断处理结束之后，若设定有多个所述基准帧，则所述计算部算出所述多个基准帧之间的类似度。所述判断部将所述多个基准帧之间的类似度高的所述基准帧所对应的所述信道彼此合并为一个信道。
这里，在针对各个帧的自动分类的判断结束之后，再次判断信道之间的类似度。因此，可以减少最终通过自动分类检出的信道的数量，提高信道分类的精度。
本发明的第十一方面所涉及的图像处理装置在第八方面至第十方面中任一方面所涉及的图像处理装置的基础上，在从所述活动图像中选择了最后的帧、并且所述计算处理以及所述判断处理结束之后，所述判断部消除仅规定幅数以下的帧所属的所述信道。
这里，在针对各个帧的自动分类的判断结束之后，若存在仅包含规定幅数以下的帧的信道时，则消除这样的信道。由此，可以避免不被视为信道那样的信道包含在自动分类的最终结果中，能够提高信道分类的精度。
本发明的第十二方面所涉及的图像处理装置在第一方面至第十一方面中任一方面所涉及的图像处理装置的基础上，所述类似度是相关系数。
这里，可以基于帧间的相关系数，将活动图像中包含的帧分类至多个信道。
本发明的第十三方面所涉及的图像处理程序，用于在属于不同的信道的帧混在一个活动图像内的情况下，按各个所述信道对所述帧进行分类，所述图像处理程序使计算机执行分类步骤，在所述分类步骤中，通过对包含在所述活动图像中的多个帧实施图像处理，从而算出帧间的类似度，并根据所述类似度，将所述多个帧分类至多个信道。这里，可以实现和第一方面相同的效果。
本发明的第十四方面所涉及的图像处理程序在第十三方面所涉及的图像处理程序的基础上，所述分类步骤包括：将包含在所述活动图像中的特定帧、或合成包含在所述活动图像中的两个以上的特定帧而得的帧设定为基准帧的步骤；将包含在所述活动图像中的其它特定帧设定为比较帧的步骤；将所述比较帧以及所述基准帧分割为多个局部区域的步骤；按各个所述局部区域算出所述比较帧和所述基准帧之间的局部类似度的步骤；仅利用所述局部类似度高的所述局部区域来算出所述比较帧和所述基准帧之间的在帧整体上的综合类似度的步骤；以及根据所述综合类似度执行所述比较帧与所述基准帧或作为其合成源的帧是否属于相同信道的判断处理的步骤。这里，可以实现和第二方面相同的效果。
本发明的第十五方面所涉及的图像处理程序在第十三方面所涉及的图像处理程序的基础上，所述分类步骤包括：将包含在所述活动图像中的特定帧、或合成包含在所述活动图像中的两个以上的特定帧而得的帧设定为基准帧的步骤；将包含在所述活动图像中的其它特定帧设定为比较帧的步骤；从所述比较帧中检测特征点的步骤；对应每个所述特征点设定作为其附近的区域的附近区域的步骤；仅利用所述附近区域来算出所述比较帧和所述基准帧之间的在帧整体上的综合类似度的步骤；以及根据所述综合类似度判断所述比较帧与所述基准帧或作为其合成源的帧是否属于相同信道的步骤。这里，可以实现和第三方面相同的效果。
发明效果
根据本发明，不管活动图像的方式如何，均可以将属于不同信道的帧混在一起的活动图像分离为对应每个信道的活动图像。即、当属于不同信道的帧混在一个活动图像内的情况下，不论该活动图像是通过什么方式录像的活动图像，都可以进行每个信道的播放。
附图说明
图1是本发明的第一实施方式所涉及的图像处理装置的框图。
图2是取入图像数据前的基本画面的图。
图3是取入图像数据后的基本画面的图。
图4是表示属于一个时间轴的静止图像组的图。
图5是表示区域设定窗口的图。
图6是表示再分类窗口的图。
图7是表示再分类窗口的另一图。
图8是表示确认窗口的图。
图9是表示本发明的第一实施方式所涉及的自动分类处理的流程的流程图。
图10是说明本发明的第一实施方式所涉及的类似度计算方法的概念图。
图11是表示本发明的第二实施方式所涉及的自动分类处理的流程的流程图。
图12是说明本发明的第二实施方式所涉及的类似度计算方法的概念图。
图13是表示本发明的第三实施方式所涉及的自动分类处理的流程的流程图。
图14是说明本发明的第三实施方式所涉及的类似度计算方法的概念图。
图15是说明本发明的第三实施方式所涉及的另一类似度计算方法的概念图。
图16是说明本发明的第三实施方式所涉及的再一类似度计算方法的概念图。
图17是表示本发明的第三实施方式所涉及的色彩倾向评价处理的流程的流程图。
图18是说明定义印象度的信息的图。
具体实施方式
下面，参照附图对本发明的几个实施方式所涉及的图像处理装置以及图像处理程序进行说明。
〈1.第一实施方式〉
〈1-1.图像处理装置的概要〉
图1所示的图像处理装置1是本发明所涉及的图像处理装置的一个实施方式。图像处理装置1是通用的个人计算机。图像处理装置1中安装有作为本发明所涉及的图像处理程序的一实施方式的图像处理程序2，该图像处理程序2是由存储该程序的CD-ROM、DVD-ROM、USB存储器等计算机可读的记录介质60等提供的。图像处理程序2是用于支持针对活动图像以及静止图像的图像处理的应用软件。图像处理程序2使图像处理装置1执行后述的动作所包括的步骤。
图像处理装置1具有显示器10、输入部20、存储部30以及控制部40。这些部10～40彼此通过总线或缆线5等而连接，可适当进行通信。显示器10由液晶显示器等构成，向用户显示后述的画面等。输入部20由鼠标以及键盘等构成，接收用户对图像处理装置1的操作。存储部30是由硬盘等构成的非易失性的存储区域。控制部40由CPU、ROM以及RAM等构成。
图像处理程序2存储于存储部30内。在存储部30内确保有软件管理区域50。软件管理区域50是图像处理程序2所使用的区域。在软件管理区域50内确保有原始图像区域51、加工文件区域52以及印象度定义区域53。关于各区域51～53的作用将在后面进行描述。
控制部40读出并执行存储于存储部30内的图像处理程序2，从而虚拟地作为自动分类部41以及再分类部45而进行动作。此外，自动分类部也作为设定部42、计算部43以及判断部44而进行动作。关于各部41～45的动作将在后面进行描述。
〈1-2.图像处理装置的构成以及动作的详细情况〉
控制部40在检测到用户通过输入部20进行了规定的操作时，启动图像处理程序2。在启动图像处理程序2之后，在显示器10上显示基本画面W1(参照图2)。需要注意的是，显示器10上显示的画面、窗口、按钮及其它所有元素的显示均由控制部40控制。
〈1-2-1.图像数据的取入〉
基本画面W1从用户接收将图像数据取进原始图像区域51的命令。取进原始图像区域51的图像数据将作为后述的播放处理、图像处理以及信道分离处理的对象。控制部40从静止图像文件或活动图像文件中将图像数据取入到原始图像区域51。需要说明的是，在本说明书中，静止图像文件是指静止图像形式的数据文件，活动图像文件是指活动图像形式的数据文件。
在从静止图像文件取入图像数据时，用户通过操作输入部20来指定一个静止图像文件或一个文件夹。在前者的情况下，控制部40使用户输入该静止图像文件在存储部30内的地址路径以及文件名。在后者的情况下，控制部40使用户输入该文件夹在存储部30内的地址路径以及文件夹名。之后，控制部40将所指定的静止图像文件或所指定的文件夹内的所有静止图像文件作为静止图像文件组保存在原始图像区域51。需要说明的是，在本说明书中，在称为“组”的情况下，其成分的数量不限定为多个，也可以是一个。
另一方面，在从活动图像文件取入图像数据时，用户通过操作输入部20而输入一个活动图像文件在存储部30内的地址路径以及文件名。控制部40在检测到用户指定了活动图像文件时，在基本画面W1上重叠显示活动图像取入窗口(未图示)。活动图像取入窗口用于从用户接收所指定的活动图像文件在时间轴上的整个区间中的任意区间的选择。控制部40在检测到用户通过输入部20选择了特定的区间时，生成与所指定的活动图像文件的该区间中包含的帧组一一对应的静止图像文件组。之后，控制部40将该静止图像文件组保存在原始图像区域51。因此，在本实施方式中，作为后述的播放处理、图像处理以及信道分离处理的对象的图像数据不是活动图像文件，而是静止图像文件。
需要说明的是，控制部40不仅是在取进原始图像区域51的静止图像文件组源于活动图像文件的情况下，而且在源于静止图像文件的情况下也会将静止图像文件组识别为沿着一个时间轴排列的文件组。排列是基于文件的属性等自动赋予的。
〈1-2-2.播放处理〉
在静止图像文件组取入到了原始图像区域51时，控制部40在基本画面W1上重叠显示显示窗口W2(参照图3)。创建取进原始图像区域51的静止图像文件组的时间轴的数量的显示窗口W2。
在显示窗口W2内，首先显示取进原始图像区域51的静止图像文件组中包含的一个静止图像文件(例如，在时间轴上位于最前面的帧的静止图像文件)。然后，如后面所述，显示窗口W2内显示的帧接受用户的操作而进行切换。
控制部40可以在显示窗口W2内将属于对应该显示窗口W2的时间轴的帧组作为活动图像播放。这里，如图3所示，在基本画面W1上配置有窗口选择下拉菜单T1、播放按钮T2、逐帧播放按钮T3、回放按钮T4以及时间轴条(timeline bar)T5。
即使在存在多个显示窗口W2的情况下，激活的显示窗口W2也是一个。窗口选择下拉菜单T1从用户接收使哪个显示窗口W2激活的选择。下面，将对应激活的显示窗口W2的时间轴称为激活时间轴、将属于激活时间轴的帧组称为激活帧组。此外，将当前显示于激活的显示窗口W2内的帧称为激活显示帧。
播放按钮T2用于从用户接收激活帧组作为活动图像播放的命令。控制部40在检测到用户通过输入部20按下了播放按钮T2时，在激活的显示窗口W2内以沿着时间轴依次逐帧播放的形式来显示激活帧组中包含的帧。需要注意的是，从按下了播放按钮T2的时间点的激活显示帧开始播放。此外，播放按钮T2从用户接收播放停止的命令。控制部40在检测到在播放过程中用户通过输入部20按下了播放按钮T2时，将激活的显示窗口W2内的显示固定为该时间点的激活显示帧。
逐帧播放按钮T3、回放按钮T4分别从用户接收将激活显示帧切换为沿着激活时间轴的后一个帧、前一个帧的命令。
时间轴条T5是图解式地示出激活时间轴的对象(object)。时间轴条T5在该时间轴条的延伸方向上按激活帧组的幅数而被等分割。时间轴条T5上的从左开始第n个分割区域与激活时间轴上的第n帧对应(n为自然数)。
如图3所示，时间轴条T5以不同方式来显示对应于选择帧组的分割区域A1和对应于非选择帧组的分割区域A2。选择帧组是指与在激活时间轴上当前所选择的区间对应的帧组。非选择帧组是指与在激活时间轴上当前未被选择的区间对应的帧组。
时间轴条T5从用户接收激活时间轴上的任意区间的选择。换言之，用户通过输入部20来操作时间轴条T5上的分割区域，从而可以从激活帧组中选择任意数量的任意帧。控制部40将选择帧组识别为后述的图像处理以及信道分离处理的对象。需要注意的是，每当用户选择了时间轴条T5上的分割区域时，激活显示帧切换为最新选择的分割区域所对应的帧。
〈1-2-3.图像处理〉
下面，说明针对选择帧组的图像处理。控制部40可以执行去噪、清晰度、亮度/对比度/彩度调整、图像分辨率、旋转、字符/箭头/马赛克的添加、图像均衡等多个图像处理模块。图像处理模块编入图像处理程序2中。
用户通过输入部20来操作基本画面W1，从而能够以任意次数按任意顺序从图像处理模块中选择任意的模块。控制部40每当检测到用户选择了图像处理模块时，对选择帧组执行该图像处理模块。
随着一次、两次、三次、…地对帧依次执行图像处理模块，该帧被依次加工为第一次、第二次、第三次、…。第0次帧对应于保存于原始图像区域51的静止图像文件。第(m+1)次帧对应于针对与第m次帧对应的静止图像文件执行了一次图像处理模块后的静止图像文件(m为0以上的整数)。控制部40依次生成与第一次以后的帧对应的静止图像文件，并将这些静止图像文件分别单独地保存在加工文件区域52内。
图4是示出属于一个时间轴的静止图像组如何被图像处理程序2所管理的概念图。在图4中，横轴的N轴表示时间轴上的帧的顺序，纵轴的M轴表示加工的顺序。与图4的N-M空间内的坐标(n、m)对应的四边形表示静止图像Q(n、m)。静止图像Q(n、m)是在时间轴上第n帧的第m次的静止图像(n为自然数、m为0以上的整数)。
关于各帧，控制部40将当前所选择的坐标m的值作为参数ms来进行管理。在紧接着静止图像文件组被取进原始图像区域51之后，坐标ms为初始值0。然后，每执行一次图像处理模块，该帧的坐标ms逐一增加。此外，用户通过输入部20进行规定的操作，从而可以自由地变更选择帧组的坐标ms。需要说明的是，对帧执行图像处理模块是指，对该帧的第ms次的静止图像执行图像处理模块。因此，变更坐标ms具有变更图像处理模块的执行对象的含义。此外，显示帧是指，显示该帧的坐标ms的静止图像。因此，变更坐标ms也具有变更激活的显示窗口W2内所显示的对象的含义。
〈1-3.信道分离处理〉
下面，对安装于图像处理程序2的信道分离处理进行说明。信道分离处理是指，将属于不同信道的视频混在一起的活动图像分离为每个信道的活动图像的处理。即、要作为信道分离处理的对象的活动图像典型地是指，对于以延时的方式录像的多个活动图像，以将其它活动图像的视频埋入各活动图像的间隙时间的形式混合在了一个时间轴上的活动图像(下面，称为混合延时活动图像)。混合延时活动图像是多个信道的视频沿时间轴交替切换这样的活动图像。
信道分离处理是针对选择帧组而执行的，但是，信道分离处理的执行需要多个帧。因此，假设在仅选择了一个帧作为选择帧组的状态下，用于开始信道分离处理的操作按钮等被无效化而无法开始信道分离处理。或者，即使是仅选择了一个帧作为选择帧组，但是在激活时间轴上存在多个帧的情况下，也可以将激活时间轴上的所有帧作为信道分离处理的对象。下面，将作为信道分离处理的对象的帧组称为对象帧组。此外，将由对象帧组构成的活动图像称为对象活动图像。
信道分离处理包括：将对象活动图像中包含的多个帧自动分类至多个信道的自动分类处理、和用户通过手动操作来校正自动分类处理的分类结果的再分类处理。
自动分类处理由自动分类部41执行。自动分类处理是通过对包含于对象活动图像中的多个帧实施图像处理而将这些帧自动分类至多个信道的处理。具体而言，自动分类部41算出帧间的类似度，根据该类似度，将对象活动图像中包含的多个帧分类至多个信道。帧间的类似度作为被比较的帧属于相同信道的指标而被算出。关于自动分类处理的详细情况将在后面进行描述，作为自动分类处理的结果，检测出多个信道。多个帧属于各个信道。需要说明的是，只要是将混合延时活动图像作为对象，通常会检测出多个信道，但是，自动分类处理的结果也有可能是仅检测出一个信道。此外，在自动分类处理中，对判断为不属于任一信道的帧赋予“未分类”这样的分类的标签。因此，作为自动分类处理的结果，对包含于对象活动图像中的各帧赋予任一信道的信道名或者“未分类”的任一标签。
再分类处理由再分类部45执行。再分类处理是按照用户的操作将对象活动图像中包含的任意的帧单独分类至任意的信道的处理。具体而言，在再分类处理中，可以将通过自动分类处理未分类至任一信道的未分类的帧单独分类至特定的信道。此外，也可以将通过自动分类处理分类至错误信道的帧分类至正确的其它信道。因此，在用户感到自动分类处理的结果奇怪的情况下，可以以帧为单位来校正有问题的帧所属的信道。此外，在再分类处理中，也可以按照用户的操作，新创建信道、或者将多个信道合并为一个信道。即、再分类处理用于自动分类处理的结果的手动校正。
自动分类部41在检测到用户通过输入部20进行了规定的操作时，开始信道分离处理。在信道分离处理开始后，设定部42首先在基本画面W1上重叠显示用于显示选择帧的区域设定窗口W3(参照图5)。区域设定窗口W3是从用户接收选择帧内的作为用于在自动分类处理中算出帧间的类似度的基准的区域的指定的画面。选择帧是包含于对象帧组中的一个帧，例如，可以设为对象帧组中沿着时间轴的最开始的帧、或者设为激活显示帧。需要注意的是，虽然根据已经描述的内容可以明确，但是，激活显示帧由于是在时间轴条T5上最新选择的帧，因此，必然包含于对象帧组。
在对象活动图像是监控摄像机的视频等的情况下，常常会在帧的画面内(在图5的例子中为左下部分)设置有日期和时刻的显示区域。并且，如果利用包含这样的日期和时刻的显示区域的帧整体的信息来判断帧间的类似度的话，则即使是属于相同信道的帧彼此，也会有被判断为类似度低的担忧。此外，在帧的画面内有时会设置有黑边。相反，在这样的情况下，如果利用包含黑边的帧整体的信息来判断帧间的类似度的话，则即使是属于不同信道的帧彼此，也会有被判断为类似度高的担忧。此外，在对象活动图像是由设置于不同电梯内的监控摄像机的视频构成的混合延时活动图像的情况下，也容易判断为属于不同信道的帧间的类似度高。这是因为电梯内的景物均比较类似。区域设定窗口W3有助于避免这样的事态，将可能成为误判断的主要因素的区域从作为类似度计算的根据的区域中排除，以使在自动分类处理中算出的帧间的类似度成为属于相同信道的正确的指标。具体而言，用户在区域设定窗口W3的选择帧内指定对各信道的背景赋予特征的区域。以电梯的例子来进行说明，只要指定对各电梯内的景物赋予特征的拍有海报等的区域即可。用户如果在区域设定窗口W3上通过鼠标等的操作指定了选择帧内的任意区域，则在选择帧内显示表示由用户所指定的区域的框线71。由此，用户可以确认是否指定了正确的区域。
然后，如果用户按下了区域设定窗口W3上的开始按钮72，则自动分类部41检测到该情况，开始后述的自动分类处理。此外，同时关闭区域设定窗口W3。需要注意的是，当在选择帧内未指定区域的状态下按下了开始按钮72的情况下，在自动分类处理中，帧的整个画面被用作类似度计算的根据。取消按钮73是用于取消通过区域设定窗口W3进行的区域指定的按钮。
在自动分类处理的执行中，显示表示自动分类处理的进展情况的对话框。并且，在自动分类处理结束后，关闭该对话框，并且再分类部45开始再分类处理。关于自动分类处理的详细内容将在后面描述。再分类部45首先在基本画面W1上重叠显示图6所示的再分类窗口W4作为用于在自动分类处理后进行再分类的用户界面。
在再分类窗口W4上配置有信道一览区域C1、帧一览区域C2、播放区域C3、以及时间轴条C4。在信道一览区域C1内排列分别对应于通过自动分类处理检测到的信道的信道对象91。在图6的例子中，排列有与四个信道CH01、CH02、CH03、CH04对应的四个信道对象91。在本实施方式中，信道对象91是图标的形式。
如图6所示，在信道对象91上显示对应的信道的信道名CH01、CH02、…。此外，在信道对象91上显示代表属于对应的信道的多个帧的代表帧的缩略图像。代表帧接收后述的用户的操作而适当切换，但默认例如属于对应的信道的帧中的、沿着时间轴的最前面的帧。需要注意的是，虽然在图6中未示出，但如果信道的数量多而无法将所有信道对应的信道对象91都配置在信道一览区域C1内时，则会在该区域C1内出现滚动条，从而该区域C1得以实质上扩大。此外，在信道对象91上还显示属于对应的信道的帧的幅数。这样的帧的幅数接收后述的用户的操作而发生变化，随着该变化，信道对象91中的幅数的显示也会实时地切换。
此外，在信道一览区域C1内除了配置有信道对象91之外，还配置有未分类对象92。未分类对象92是与汇总对象帧组中不属于任一信道的未分类帧的分类对应的对象。需要说明的是，汇总未分类的帧的分类虽然不对应于实际的信道，但是基于汇总帧的含义来说，其虚拟地构成一个信道。为此，未分类对象92具有和信道对象91类似的形式，在本实施方式中，为相同大小的图标。具体而言，在未分类对象92中，取代信道名而显示“未分类”，取代属于信道的帧的幅数而显示未分类帧的幅数。未分类对象92中的幅数的显示也随着未分类帧的幅数的变化而实时地切换。此外，在未分类对象92中也显示代表“未分类”的帧的代表帧的缩略图像。该代表帧也是接收后述的用户的操作而适当切换，但默认例如属于“未分类”的分类的帧中的、沿着时间轴的最前面的帧。在本实施方式中，在未分类对象92和信道对象91之间划有边界线93。
再分类部45从用户接收在信道一览区域C1内从所有的信道对象91以及未分类对象92中选择任意的一个对象的选择操作。在所有的对象91、92中，当前选择了的对象以不同于其它对象的形式显示。在图6的例子中，以不同于其它对象91、92的颜色来显示信道CH01的对象91。下面，将对应当前选择了的一个对象91、92的信道或分类称为选择信道。
在帧一览区域C2内，一览显示属于选择信道的所有帧的缩略图像94。需要注意的是，在属于选择信道的帧的幅数多而无法将所有的缩略图像94都配置在帧一览区域C2内时，则会在该区域C2内出现滚动条95，从而该区域C2得以实质上扩大。因此，用户通过切换对象91、92的选择状态，可以在帧一览区域C2内选择性地一览显示未分类的所有帧、或属于任一信道的所有帧。因此，可以在有效利用帧一览区域C2内的有限空间的同时，全部确认包含于对象帧组中的未分类及已分类的帧。特别是，根据该一览显示的形式，即使是将错误的帧分类至各信道，也易于发现该错误。需要注意的是，在本实施方式中，信道一览区域C1内的缩略图像94可排列为多层式，随着原本的帧在时间轴上的顺序n增大，从左至右、从上至下地按时序配置。
再分类部45将属于各信道的特定的一个帧作为激活帧进行管理，并也将特定的一个未分类的帧作为激活帧来进行管理。在帧一览区域C2内，在激活帧的缩略图像94上附加围框96作为用于和其它帧的缩略图像94区别的记号。帧一览区域C2内的缩略图像94分别作为对象而被识别，用户通过点击操作等而可以从帧一览区域C2内的所有缩略图像94中选择任意的一个缩略图像94。此外，通过边按下键盘上的特定键、边反复进行点击操作的操作等，还可以同时选择多个帧一览区域C2内的缩略图像94。每当在帧一览区域C2内选择了缩略图像94时，再分类部45将选择信道的激活帧切换为最新选择的缩略图像94所对应的帧。此时，围框96的位置也进行移动。此外，激活帧与显示于信道对象91以及未分类对象92的缩略图像联动，每当各信道或分类的激活帧变更时，该信道或分类所对应的对象91、92的缩略图像也进行切换。即、在本实施方式中，各信道以及分类的代表帧与激活帧一致。
通过拖放操作，可以使帧一览区域C2内的激活帧的缩略图像94单独地移动，以使其重叠于信道一览区域C1内的任一对象91、92上。此外，当在帧一览区域C2内同时选择了多个缩略图像94的情况下，可以使这多个缩略图像94一起移动，以使其重叠于信道一览区域C1内的任一对象91、92上。(不过，虽说是“移动”，但在作为目标的对象91、92上释放了缩略图像94时，其像插入文件夹那样地消失。)换言之，再分类部45从用户接收将帧一览区域C2内的任意的缩略图像94与任意的信道或分类相关联的操作。在该相关联操作之后，通过该操作而被移动了的缩略图像94所对应的帧被再分类至作为该缩略图像94的移动目的地的对象91、92所对应的信道或分类。需要注意的是，与该操作所涉及的缩略图像94对应的帧原本就被分类至与该操作所涉及的对象91、92对应的信道或分类时，则忽略该操作，不进行再分类。
如图6所示，信道一览区域C1内，在对象91、92的排列之后配置有新创建对象97。新创建对象97是用于新创建信道的对象，在本实施方式中是图标的形式。于是，不仅是针对对象91、92，针对新创建对象97也可以进行和上述的相关联操作同样的操作。具体而言，再分类部45从用户接收如下操作：即、通过拖放操作，使帧一览区域C2内的激活帧的缩略图像94单独移动，以使其重叠于新创建对象97上。此外，当在帧一览区域C2内同时选择了多个缩略图像94的情况下，也可以使这多个缩略图像94一起移动，以使其重叠于新创建对象97上。(不过，虽说是“移动”，但在新创建对象97上释放了缩略图像94时，其像插入文件夹那样地消失。)于是，如果进行了该相关联操作，则在新创建对象97所存在过的位置上新创建信道对象91。
新创建的信道对象91是表示将通过相关联操作而被移动了的一个或多个缩略图像94所对应的帧作为元素的新的信道的对象。换言之，通过相关联操作而被移动了的一个或多个缩略图像94所对应的帧被再分类至新的信道。因此，在刚刚新创建了信道对象91之后，所被移动了的缩略图像94只有一个的情况下，在该对象91上显示该缩略图像94。另一方面，在多个缩略图像94被移动了的情况下，这些缩略图像94中的一个(例如、最后选择的一个)显示在新创建的信道对象91上。还适当赋予并显示信道名。此外，伴随着信道对象91的新创建，新创建对象97移动至包含新创建的对象91的对象91、92的排列之后。
通过上述的各种相关联操作进行了帧的再分类之后，对应作为再分类目的地的信道或分类，对再分类后的帧重新赋予信道名CH01、CH02、…或“未分类”的标签。此外，从帧一览区域C2内删除再分类后的帧的缩略图像94。此时，在帧一览区域C2内，以填充删除了的缩略图像94所配置过的空间的方式对剩余的缩略图像94进行排队。需要注意的是，再分类后的帧中必然包含激活帧。因此，在再分类之后，选择信道的激活帧变更为沿时间轴的后面的帧中最近的帧，如果没有则变更为沿时间轴的前面的帧中最近的帧。选择信道的激活帧的变更适当反映在围框96的位置、以及对象91、92上的缩略图像的显示上。此外，重新计算属于与再分类后的帧移动前以及移动目的地的对象91、92对应的信道及/或分类的帧的幅数，并反映在对象91、92的显示上。
此外，上述的各种相关联操作还可以通过拖放操作以外的方式来实现。具体而言，如图6所示，在帧一览区域C2内的对象91、92、97上的右下部位显示有表示键盘的特定的键的字符串。再分类部45在检测到按下了对象91、92、97上所显示的特定的键时，判断为该时间点的选择信道的激活帧、即在帧一览区域C2中当前正带有围框96的帧与该特定的键所对应的对象91、92、97相关联。之后的处理和以拖放操作的方式进行了相关联操作时相同。
此外，再分类部45也可以接收用户的操作而合并多个信道(在本段落以及下一段中也包含“未分类”的分类)。具体而言，可以在信道一览区域C1内，通过拖放操作单独地使任意的一个对象91、92移动，以使其重叠于其它任意一个对象91、92上。此外，可同时选择多个对象91、92，也可以将这多个对象91、92一起移动至其它任意一个对象91、92上。(不过，虽说是“移动”，但在作为移动目的地的对象91、92上释放了被移动的对象91、92时，其像插入文件夹那样地消失)换言之，再分类部45从用户接收将信道一览区域C1内的任意的信道与其它任意的信道相关联的操作。在进行了该相关联操作时，与通过该操作而被移动了的对象91、92对应的信道被合并到与作为该对象91、92的移动目的地的其它对象91、92对应的信道上。
如果通过上述的相关联操作进行了信道的合并，则对属于与被移动了的对象91、92对应的信道的所有帧重新赋予与作为移动目的地的对象91、92对应的信道的信道名“未分类”、CH01、CH02、…的标签。其结果是，作为移动目的地的对象91、92成为表示合并后的新的信道的对象。作为合并后的信道的激活帧，继续使用作为移动目的地的对象91、92的激活帧。此外，再分类部45计算属于合并后的信道的帧的幅数，并反映在对象91、92上的显示上。此外，在信道一览区域C1内使信道对象91移动了的情况下，被移动了的信道对象91消失，以填充消失了的信道对象91所配置过的空间的方式对剩余的对象91、97进行排队。在移动了未分类对象92的情况下，虽然帧的幅数变为0，但未分类对象92原样保留。
此外，在存在多个信道对象91的情况下，信道一览区域C1内的这些对象91的排列顺序可以通过拖放操作而自由变更。例如，在图6的状态下，希望将信道CH01的信道对象91移动到信道CH02的信道对象91的右侧时，只要将信道CH01的信道对象91移动到信道CH02、CH03的信道对象91之间即可。
接着，对播放区域C3进行说明。播放区域C3可以将属于选择信道的帧组作为活动图像播放。如图6所示，在再分类窗口W4上配置有播放按钮76、逐帧播放按钮77以及回放按钮78。
播放按钮76从用户接收属于选择信道的帧组作为活动图像播放的命令。再分类部45在检测到按下了播放按钮76的情况下，在播放区域C3内，以沿着时间轴依次逐帧播放的形式来显示属于选择信道的帧组中包含的帧。从按下了播放按钮76的时间点的选择信道的激活帧开始播放。此外，以对应于选择信道的帧速率来进行播放。于是，在播放过程中，播放区域C3内显示的帧依次切换，每次进行了该切换时，由再分类部45所管理的激活帧被实时更新为该切换后的帧。此外，播放按钮76从用户接收播放停止的命令。再分类部45在检测到在播放过程中按下了播放按钮76时，将播放区域C3内的显示固定在该时间点的激活帧。需要注意的是，在停止过程中，还在播放区域C3内一直显示选择信道的激活帧。因此，在停止过程中，如果通过帧一览区域C2内的缩略图像94的选择操作而变更了激活帧，则播放区域C3内的显示也实时地变更。
此外，虽然在播放过程中激活帧随时更新，但帧一览区域C2内的围框96也实时地移动至包围最新的激活帧的缩略图像94的位置。此外，这时，对应于选择信道的对象91、92的缩略图像也被实时地更新。即、播放区域C3内的显示和围框96的位置以及对象91、92的缩略图像的显示取得同步。但是，在其它实施方式中，也可以是播放过程中不取得这样的同步的构成。这种情况下，例如也可以是在播放停止了的时间点，围框96的位置才开始移动、及/或、对象91、92的缩略图像才开始更新。
逐帧播放按钮77、回放按钮78分别从用户接收将播放区域C3内的显示切换为属于选择信道的帧组中的沿着时间轴的后一个帧、前一个帧的命令。基于按钮77、78的操作的播放区域C3内的显示的变更也与激活帧的变更联动。
上述的播放功能有助于在现有的信道内发现错误分类的帧。即、人可以在播放活动图像的过程中突然出现了属于不同信道的帧的情况下，迅速发现该情况。并且，在这样的情况下，可以迅速停止播放，在帧一览区域C2内找出对应的帧的缩略图像94，并通过上述的相关联操作将该缩略图像94移动至正确的信道即可。
在再分类窗口W4上的播放区域C3的下方显示有帧速率区域C5，该帧速率区域C5用于显示选择信道的帧速率。帧速率可以通过各种方法来计算，例如、可以作为属于选择信道的帧的幅数除以属于选择信道的最前面的帧的时刻和最后面的帧的时刻之差所得的值而算出。或者，选择信道的帧速率也可以基于下面的式子而算出。
(与激活时间轴对应的活动图像的帧速率)×(属于选择信道的帧的幅数)÷(属于激活时间轴的幅数)
但是，如上所述，属于选择信道的帧随着帧的再分类而发生变化。因此，每当进行了再分类时，再分类部45便重新计算选择信道的帧速率，实时地变更帧速率区域C5的显示。此外，在帧速率区域C5的附近配置有显示选择信道的信道名或分类名的信道名区域C6。因此，用户可以正确地理解播放区域C3内显示的视频属于哪个信道、以及帧速率区域C5内显示的帧速率为哪个信道的帧速率。
下面，对时间轴条C4进行说明。时间轴条C4和基本画面W1上的时间轴条T5同样是图解地示出激活时间轴的对象。作为信道分离处理的对象的对象帧组构成激活帧组的一部分或全部。因此，在再分类窗口W4上也可以管理激活时间轴是重要的，从而配置有和基本画面W1上的时间轴条T5相同的时间轴条C4。时间轴条C4在左右方向上延伸，并在左右方向上按激活帧组的幅数而等分割。时间轴条C4上的从左开始的第n个分割区域与激活时间轴上的第n个帧对应(n为自然数)。
再分类部45在时间轴条C4上作为表示与选择信道的激活帧对应的分割区域的记号而在该分割区域的位置显示直线83。即、直线83示出了显示于区域C3内以及区域C2的围框96内的帧在激活时间轴上的位置。此外，在时间轴条C4的下方显示有对象范围条85。对象范围条85和时间轴条C4同样地沿左右方向在与对象帧组所占区间对应的范围内延伸。
时间轴条C4可以在左右方向上扩大缩小。具体而言，在再分类窗口W4上配置有尺寸变更条86，尺寸变更条86是组合有滑槽61以及滑块62这两个对象的对象。滑槽61具有在左右方向上直线状延伸的槽那样的GUI，滑块62具有在滑槽61内沿左右方向滑动那样的GUI。用户可以通过输入部20操作滑块62而使滑块62沿滑槽61在左右方向上往复移动。再分类部45根据滑槽61内的滑块62的左右方向的位置，阶段性地变更时间轴条C4的左右方向的尺寸。具体而言，随着滑块62向右侧移动，时间轴条C4的左右方向的尺寸阶段性地变短，随着滑块62向左侧移动，时间轴条C4的左右方向的尺寸阶段性地变长。需要注意的是，如果时间轴条C4的左右方向的尺寸变更，则与其成比例地，所有分割区域的左右方向的尺寸也均匀地发生变更。不过，如果滑块62到达了滑槽61内的最左的位置，则时间轴条C4变化为缩略图一览C7(参照图7)。此外，在时间轴条C4以及缩略图一览C7的左右方向的尺寸长而无法全容纳在再分类窗口W4内的情况下，则会出现在左右方向上滚动的滚动条87，用于显示时间轴条C4的区域在左右方向上得以实质上扩大。
缩略图一览C7是将属于激活时间轴的所有帧的缩略图像88排列于左右方向上而成的。因此，用户也可以在再分类窗口W4上确认包含于激活时间轴的对象帧组以外的帧。缩略图一览C7上的从左开始第n个缩略图像88是激活时间轴上第n帧的缩略图像(n为自然数)。缩略图一览C7内，在选择信道的激活帧的缩略图像88上带有围框89来作为用于和其它缩略图像88区别的记号。
时间轴条C4以及缩略图一览C7和时间轴条T5同样地从用户接收激活时间轴上的任意帧的选择。换言之，用户通过点击操作等来选择时间轴条C4上的分割区域、或缩略图一览C7内的任意的缩略图像88，从而可以从激活帧组中选择任意的帧。并且，每当在时间轴条C4以及缩略图一览C7上选择了帧时，再分类部45判断该帧是否包含于对象帧组。然后，在判断为包含的情况下，将该帧所属的信道或分类切换为选择信道。同时，再分类部45将该帧切换为选择信道的激活帧。这里的选择信道以及激活帧的变更实时地反映在信道一览区域C1、帧一览区域C2、播放区域C3、帧速率区域C5以及信道名区域C6的显示上。此外，直线83以及围框89的位置也实时地变更。
用户可以利用以上说明的各种功能，进行对象帧组中包含的多个帧的再分类。并且，在判断为再分类结束的时间点按下确认按钮E5。接收了该操作，再分类部45关闭再分类窗口W4，并新创建属于新的时间轴的一个或多个活动图像。新创建的一个或多个活动图像与在再分类窗口W4上最终定义的、用户所选择了的信道(下面称最终信道)一一对应。如图6所示，用户对最终信道的选择是通过在配置于信道对象91上的选择框98中填入选择标记来进行的。需要注意的是，在本实施方式中，选择框98的默认值是“选择”的状态。因此，用户仅针对判断为不需要创建活动图像的信道操作对应的对象91上的选择框，使其成为“非选择”的状态即可。此外，在本实施方式中，还在播放区域C3的下方配置有选择框99。选择框99是用于选择是否需要创建选择信道(但不包含“未分类”的分类)的活动图像的对象，与信道对象91上的选择框98取得同步。再分类部45判断选择框98、99的选择状态，确定最终信道。
以上述方式新创建的活动图像是将属于各自对应的最终信道的所有帧沿着新的时间轴排列而成的。此外，此时，新创建与这些新的活动图像一一对应的显示窗口W2。进而，再分类部45创建与这些新的活动图像中包含的帧组一一对应的静止图像文件组，并保存在加工文件区域52内，作为第0次帧对待。即、至此之后，可以和取进原始图像区域51的静止图像文件组同样地处理这些新的活动图像。具体而言，可以在显示窗口W2内同样地进行播放，同样地作为各种图像处理的对象。
需要注意的是，并未新创建与“未分类”的分类对应的活动图像。为此，在按下了确认按钮E5的时间点，再分类部45判断是否余留有未分类的帧，在有余留的情况下，也可以将该情况传达给用户。这种情况下，例如在再分类部45判断为余留有未分类的帧的情况下，使图8所示那样的确认窗口W5显示于显示器10上。并且，等待按下“是”按钮74，则转移至上述的活动图像的新创建处理。在按下了“否”按钮75的情况下，关闭确认窗口W5，恢复为再分类窗口W4。另一方面，在判断为未余留有未分类的帧的情况下，马上转移到上述的活动图像的新创建处理。
〈1-4.自动分类的算法〉
下面，参照图9对自动分类处理的详细情况进行说明。如上所述，自动分类处理在按下了区域设定窗口W3上的开始按钮72时开始。下面，将构成对象帧组的多个帧表示为F1、F2、…、FJ(J为2以上的整数)。需要注意的是，帧F1、F2、…、FJ的排列等于在时间轴上的排列。
首先，在步骤S1中，自动分类部41缩小对象帧组中包含的各帧F1、F2、…、FJ的尺寸。此时，例如，既可以以帧的横及/或纵的像素数变为规定数的方式来缩小，也可以以变为原来尺寸的规定比例的尺寸的方式来缩小。并且，此时，既可以保存高宽比，也可以不保存。通过该缩小的步骤，可实现以下处理的高速化，同时降低噪声的影响。下面，缩小后的帧F1、F2、…、FJ也表示为F1、F2、…、FJ。
在接下来的步骤S2中，设定部42定义信道CH1，将帧F1分类至信道CH1。具体而言，对帧F1赋予信道名CH1的标签。此外，设定部42将帧F1设定为代表属于信道CH1的帧组的基准帧Gl。需要注意的是，通过后述的步骤S10，信道数可随时增加。并且，对于新创建的信道CHl，也可以设定代表属于各个信道的帧组的基准帧Gl(l＝2、3、…)。
如果以上的前处理结束，则设定部42从剩下的帧F2、F3、…、FJ中沿时间轴依次选择Fj(j＝2、3、…、J)，将其设定为比较帧。另一方面，每当设定了比较帧Fj时，计算部43、判断部44以及设定部42对比较帧Fj反复进行以下的步骤S3～S10，进行与现有的基准帧G1、G2、…、GL的比较(L是现有的信道数)。
在步骤S3中，计算部43将比较帧Fj整体分割为规定数K(K为2以上的整数)的局部区域(块(block))D1、D2、…、DK(参照图10)。需要注意的是，当在区域设定窗口W3上进行了区域的指定的情况下，这里所述的比较帧Fj整体是指该区域整体，在未进行指定的情况下，是指帧的整个画面。此外，局部区域D1、D2、…、DK无需是将比较帧Fj整个全都进行了分割，而且，也可以彼此有一部分重复。关于形状，无需是矩形，例如也可以是圆形，还可以是其它多边形。此外，关于形状、尺寸，既可以是一样的，也可以彼此不同。
在接下来的步骤S4中，计算部43将现有的信道CH1、CH2、…、CHL的基准帧G1、G2、…、GL各自分割为局部区域D’1、D’2、…、D’K(参照图10)。局部区域D’1、D’2、…、D’K在帧的画面内被定义为分别与局部区域D1、D2、…、DK占据相同的位置。
下面，在步骤S5中，计算部43按照局部区域Dk、D’k(k＝1、2、…、K)的各个组合，计算出比较帧Fj和各基准帧Gl(l＝1、2、…、L)的类似度(下面称为局部类似度)Ylk。即、局部类似度YLk是比较帧Fj的局部区域Dk和基准帧GL的局部区域D’k的类似度。在本实施方式中，算出被称为归一化互相关(ZNCC(零均值归一化互相关))的相关系数，但是，在其它实施方式中，也可以算出被称为NCC的相关系数、被称为SDD、SAD的类似度等其它类似度。
下面，在步骤S6中，计算部43算出比较帧Fj和各基准帧Gl(l＝1、2、…、L)在整个帧中的类似度(下面称为综合类似度)Bl。具体而言，计算部43针对各l(l＝1、2、…、L)判断局部类似度Ylk高的局部区域Dk、D’k。此时，例如既可以将局部类似度Ylk在上位规定比例内的区域判断为高，还可以将局部类似度Ylk大于规定阈值的区域判断为高。并且，关于各l(l＝1、2、…、L)，计算部43仅利用整个帧中局部类似度Ylk高的局部区域Dk、D’k来再次算出比较帧Fj和基准帧Gl的类似度，将其作为综合类似度Bl(参照图10)。在本实施方式中，也是算出归一化互相关(ZNCC)作为综合类似度Bl，但是，也可以和局部类似度Ylk同样地算出其它类似度。此外，综合类似度Bl和局部类似度Ylk可以通过不同的方法算出。
如上所述，在本实施方式中，在计算综合类似度Bl时，并未考虑局部类似度Ylk低的局部区域Dk、D’k的信息，这是基于下面的理由。即，这是由于：相同信道的帧之间其背景图像一致，但在移动体部分则为不同的图像。并且，在移动体部分占帧整体的比例大的情况下，如果利用帧整体的信息来判断综合类似度Bl，则即使是相同信道的帧，综合类似度Bl也会变低。因此，这里，为了避免误判断，被认为包含很多移动体部分的局部类似度Ylk低的局部区域Dk、D’k不用于综合类似度Bl的计算。其结果是，可以降低移动体的影响，能够正确地判断所比较的帧彼此是否属于相同的信道。
在接下来的步骤S7中，判断部44判断在步骤S6中算出的综合类似度B1、B2、…、BL中最大的综合类似度，判断该最大的综合类似度是否大于规定的阈值。然后，在判断为大于规定的阈值的情况下，处理进入步骤S8，在判断为是规定的阈值以下的情况下，处理进入步骤S10。
在步骤S8中，判断部44判断比较帧Fj属于信道CHMAX。MAX是提供最大综合类似度Bl的l的值。具体而言，判断部44对比较帧Fj赋予信道名CHMAX的标签，将比较帧Fj分类至信道CHMAX。由此，比较帧Fj和属于信道CHMAX的帧组属于相同的信道。
在步骤S8之后，处理进入步骤S9。在步骤S9中，设定部42更新信道CHMAX的基准帧GMAX。具体而言，设定部42将比较帧Fj和现有的基准帧GMAX合成来作为新的基准帧GMAX。在本实施方式中，作为合成的方式，采用了比较帧Fj的权重大于现有的基准帧GMAX这样的加权平均。这样，代表属于信道CHMAX的帧组的基准帧GMAX成为权重置于更近的帧的合成图像。其结果是，在判断帧间的信道的异同时，可以应对时序的变化。需要注意的是，在其它实施方式中，也可以将比较帧Fj原样设定为新的基准帧GMAX。此外，也可以省略步骤S9而不进行基准帧GMAX的更新。
另一方面，步骤S10是在步骤S6中算出的综合类似度B1、B2、…、BL均被判断为在规定的阈值以下时执行的步骤。换言之，步骤S10是在比较帧Fj和任一个信道CHl的基准帧Gl都不类似时执行的步骤。在步骤S10中，设定部42在现有的信道CH1、CH2、…、CHL的基础上，定义新的信道CHL+1，将比较帧Fj分类至该信道CHL+1。具体而言，对比较帧Fj赋予新的信道名CHL+1的标签。此外，设定部42将比较帧Fj设定为代表属于新的信道CHL+1的帧组的基准帧GL+1。
如果针对所有的帧F1、F2、…、FJ的步骤S3～S10结束，则处理进入步骤S11。在步骤S11中，进行现有的信道CH1、CH2、…、CHL的校正。具体而言，计算部43循环(総当たり)算出基准帧G1、G2、…、GL间的帧整体的类似度。需要注意的是，这里所说的帧整体和步骤S3一样，当在区域设定窗口W3上进行了区域的指定的情况下，指该区域整体，在未进行指定的情况下，指帧的整个画面。此外，在本实施方式中，和步骤S5、S6一样，算出归一化互相关(ZNCC)作为类似度，但也可以算出其它类似度。此外，类似度也可以通过与综合类似度Bl以及局部类似度Ylk不同的方法来计算。于是，如果这些类似度中有超过规定阈值的类似度，则判断部44将提供这样的类似度的基准帧Gl所对应的信道CHl彼此合并为一个信道。具体而言，对属于合并的信道CHl的所有帧Fj再次赋予相同信道名的标签。需要注意的是，这里，也有三个以上的信道CHl合并为一个的情况。
进而，在即使进行了上述的信道合并还是存在仅包含一个帧的信道CHl的情况下，判断部44消除(消滅)该信道CHl。具体而言，判断部44对属于消除的所有信道CHl的帧Fj再次赋予“未分类”的标签。需要注意的是，在本实施方式中，仅包含一个帧Fj的信道CHl为消除的对象，但是，这样的基准值也可以是两个、三个、…。此外，也可以事先对可创建的信道数设置上限。这种情况下，为了信道数不超过上限，可以从帧Fj的幅数少的信道开始消除。
基于上述的处理，最终创建的信道的信道名CHl中包含的数值不是连续编号的可能性高。于是，判断部44依次对最终创建的信道CHl重新赋予CH01、CH02、…的信道名，用这些新的信道名来更新赋予了各帧Fj的标签。并且，在此之后，自动分类处理结束。
〈2.第二实施方式〉
下面，对本发明的第二实施方式进行说明。图11示出了第二实施方式所涉及的自动分类处理的流程，第二实施方式和第一实施方式仅是自动分类的算法不同。此外，比较图9以及图11可知，两个自动分类处理的不同点仅在于在第二实施方式中，取代步骤S4～S6而插入了步骤S24～S26这点。因此，下面，为了简单起见，仅对该不同点进行说明。
在第二实施方式中，在执行了和第一实施方式一样的步骤S1～S3之后，执行步骤S24。在步骤S24中，计算部43在比较帧Fj的各局部区域D1、D2、…、Dk内检测特征点。此时，优选在各局部区域D1、D2、…、Dk内检测出的特征点的数量为相同数量。下面，将比较帧Fj内的特征点表示为P1、P2、…、PU(U为2以上的整数)。
计算部43在比较帧Fj内于各特征点Pu(u＝1、2、…、U)附近设定局部区域Vu(参照图12)。局部区域Vu是以特征点Pu为中心的规定尺寸的区域。并且，计算部43针对现有的信道CH1、CH2、…、CHL的基准帧G1、G2、…、GL各自设定局部区域V’1、V’2、…、V’U(参照图12)。局部区域V’1、V’2、…、V’U被定义为在帧的画面内分别占据和局部区域V1、V2、…、VU相同的位置。
如上所述，在本实施方式中，以局部区域D1、D2、…、Dk为单位从比较帧Fj中检测特征点P1、P2、…、PU。其结果是，特征点P1、P2、…、PU不会偏于比较帧Fj的画面整体的一部分区域，而是从比较帧Fj整体之中大致均等地检测。
接着，在步骤S25中，计算部43按照局部区域Vu、V’u(u＝1、2、…、U)的各个组合，算出比较帧Fj和各基准帧Gl(l＝1、2、…、L)的局部类似度Ylu。即、局部类似度Ylu是比较帧Fj的局部区域Vu和基准帧Gl的局部区域V’u的类似度。需要说明的是，第一以及第二实施方式中的局部类似度在均表示局部区域上的类似度这一点上是共同的，因此，采用相同的标号Y来表示。此外，在本实施方式中，算出被称为归一化互相关(ZNCC)的相关系数，但和第一实施方式一样，也可以算出其它类似度。
接着，在步骤S26中，计算部43算出比较帧Fj和各基准帧Gl(l＝1、2、…、L)在帧整体中的综合类似度Bl。需要说明的是，第一以及第二实施方式中的综合类似度在均表示帧整体上的类似度这一点上是共同的，因此，采用相同的标号B来表示。具体而言，关于各l(l＝1、2、…、L)，计算部43判断局部类似度Ylu高的局部区域Vu、V’u。此时，例如既可以将局部类似度Ylu在上位规定比例内的区域判断为高，也可以将局部类似度Ylu大于规定阈值的区域判断为高。然后，关于各l(l＝1、2、…、L)，仅利用整个帧中局部类似度Ylu高的Vu、V’u，来再次算出比较帧Fj和基准帧Gl的类似度，将其作为综合类似度Bl。在本实施方式中，也是算出归一化互相关(ZNCC)作为综合类似度Bl，但也可以和第一实施方式同样地算出其它类似度。此外，在本实施方式中，综合类似度Bl和局部类似度Ylu也可以通过不同的方法计算。
通过上述的步骤S26算出综合类似度B1、B2、…、BL。其后的处理流程和第一实施方式相同。
如上所述，在本实施方式中，在计算综合类似度时，不考虑特征点P1、P2、…、PU附近的局部区域V1、V2、…、VU以外的区域的信息。这是因为，即使是不同信道的帧之间，如果它们是拍摄了相似景象的帧，在采用帧整体的信息来判断综合类似度Bl的情况下，综合类似度Bl也会升高。例如，在拍摄了同一店内的不同场所的两个视频中，有时都是相同的均匀色壁纸、床等占据了帧的大部分，在这样的情况下，综合类似度Bl增高。因此，这里，为了避免误判断，拍有相同的均匀色壁纸、床等背景的可能性高的区域、即特征点P1、P2、…、PU附近以外的区域不用于综合类似度Bl的计算。其结果是，可以降低相似背景的影响，正确地判断所比较的帧彼此是否属于相同的信道。
进而，在本实施方式中，在计算综合类似度Bl时，局部类似度Ylu低的局部区域Vu、V’u的信息也不考虑。这是因为，在移动体部分占帧整体的比例大的情况下，如果利用帧整体的信息来判断综合类似度Bl，则即使是相同信道的帧彼此，综合类似度Bl也会降低。因此，这里，为了避免误判断，被认为包含很多移动体部分的局部类似度Ylu低的局部区域Vu、V’u不用于综合类似度Bl的计算。其结果是，可以降低移动体的影响，能够正确地判断所比较的帧彼此是否属于相同的信道。
〈3.第三实施方式〉
下面，对本发明的第三实施方式进行说明。图13示出了第三实施方式所涉及的自动分类处理的流程，第三实施方式和第一以及第二实施方式仅是自动分类的算法不同。此外，比较图13以及图9可知，第一以及第三实施方式所涉及的自动分类处理的不同点仅在于在第三实施方式中，取代步骤S5、S6而插入了子程序S30这一点。因此，下面，为了简单起见，仅对该不同点进行说明。
如上所述，在第一以及第二实施方式中，算出相关系数作为帧间的类似度，但在第三实施方式中，则基于帧的色彩倾向来评价帧间的类似度。此外，作为帧的色彩倾向，综合考虑帧画面内的整体的色彩倾向、和帧画面内的局部的色彩倾向。下面，进行具体说明。
首先，在第三实施方式中，执行和第一实施方式一样的步骤S1～S4，接着，执行子程序S30。子程序S30是评价表示帧画面内的局部或整体的色彩倾向的各种颜色指标的处理，在图17中示出其详细情况。特别是在子程序S30包含的步骤S31～S33中，考虑浓度，在步骤S34～S38中，考虑彩度，在步骤S39～S43中，考虑色相。需要注意的是，虽然在步骤S31～S33中考虑浓度，但也可以取代浓度而采用明度、辉度。此外，在子程序S30所包含的步骤S44～46中，考虑帧的整体的印象度。
首先，在步骤S31中，计算部43算出比较帧Fj整体的平均浓度Hd。需要注意的是，在区域设定窗口W3上进行了区域的指定的情况下，这里所述的比较帧Fj整体是指该区域整体，在未进行指定的情况下，是指帧的整个画面。此外，计算部43算出比较帧Fj内的各局部区域Dk(k＝1、2、…、K)中的平均浓度Edk。需要说明的是，平均浓度是以作为对象的区域内的所有像素的浓度的平均值而算出的，各像素的浓度是以该像素的RGB值的平均值而算出的。接着，计算部43针对各局部区域Dk(k＝1、2、…、K)，在浓度Edk>浓度Hd的情况下，赋予“1”的值，在浓度Edk≤浓度Hd的情况下，赋予“0”的值(参照图14)。需要注意的是，该“1”、“0”是表示局部区域的浓度以帧整体为基准是相对高还是低的指标，是与浓度(明亮度)相关的表示局部的色彩倾向的颜色指标(下面，称为浓度指标)。
在接下来的步骤S32中，计算部43对现有的信道CH1、CH2、…、CHL的基准帧G1、G2、…、GL各自执行和步骤S31相同的处理。即、关于各l(l＝1、2、…、L)，计算部43针对基准帧Gl内的各局部区域D’k(k＝1、2、…、K)算出浓度指标(参照图14)。需要注意的是，如图13以及图17所示，步骤S32被反复执行，因此，关于已算出浓度指标的基准帧Gl，则参照该值而省略新的计算处理。
在接下来的步骤S33中，计算部43基于在步骤S31、S32中算出的浓度指标，算出比较帧Fj和各基准帧Gl(l＝1、2、…、L)之间的类似度Bdl。具体而言，计算部43算出比较帧Fj内的浓度指标的分布型式(分布パターン)和各基准帧Gl内的浓度指标的分布型式的类似度来作为类似度Bdl。在本实施方式中，计数“1”、“0”的浓度指标不一致的局部区域Dk、D’k的组合的数量，将该计数值除以局部区域的数量K后所得的值的平方值作为类似度Bdl(参照图14)。需要注意的是，这里，进行用到了局部区域的数量K的除法运算是为了将类似度Bdl维持在0～1之间的值，进行归一化。此外，步骤S33、以及后述的步骤S38、S43中算出的类似度为越类似则越小的值。基于该含义，这些类似度也可以作为非类似度。
但是，图像的构图是基于画面内的多个元素的配置而确定的。而且，单纯点说，很多图像为大致分为表示关注物体的区域和表示其背景的区域的构图。即、可以认为浓度指标为“1”的区域和为“0”的区域，一方表示关注物体，另一方表示其背景。基于该想法，可以说，比较帧Fj内的浓度指标的分布型式表示比较帧Fj的构图，基准帧Gl内的浓度指标的分布型式表示基准帧Gl的构图。因此，可以说，类似度Bdl表示比较帧Fj及基准帧Gl间的构图的类似度。
在接下来的步骤S34中，计算部43基于比较帧Fj内的浓度指标的分布型式，将比较帧Fj分割为两个局部区域R1、R2(参照图15)。局部区域R1是结合了所有比较帧Fj内浓度指标为“1”的局部区域Dk的区域，局部区域R2是结合了所有比较帧Fj内浓度指标为“0”的局部区域Dk的区域。即、在步骤S34中，基于比较帧Fj的构图，将比较帧Fj分割为表示关注物体的区域和表示其背景的区域。
在接下来的步骤S35中，和步骤S34一样，计算部43基于现有的信道CH1、CH2、…、CHL的基准帧G1、G2、…、GL各自中的浓度指标的分布型式，将基准帧G1、G2、…、GL各自分割为局部区域R’1、R’2(参照图15)。局部区域R’1是结合了所有基准帧Gl内浓度指标为“1”的局部区域D’k的区域，局部区域R’2是结合了所有基准帧Gl内浓度指标为“0”的局部区域D’k的区域。即、在步骤S35中，基于基准帧Gl的构图，将基准帧Gl分割为表示关注物体的区域和表示其背景的区域。
在接下来的步骤S36中，计算部43针对比较帧Fj内的局部区域R1、R2各自算出对应RGB的三个平均值。接着，计算部43基于局部区域R1中的对应RGB的三个平均值，算出局部区域R1的彩度，并基于局部区域R2中的对应RGB的三个平均值，算出局部区域R2的彩度。接着，计算部43算出局部区域R1、R2间的相对的彩度(下面，称为相对彩度)。相对彩度是作为局部区域R1的彩度和局部区域R2的彩度之差的绝对值而算出的。相对彩度是与彩度相关的表示色彩倾向的颜色指标(下面，称为彩度指标)。
在接下来的步骤S37中，计算部43针对现有的信道CH1、CH2、…、CHL的基准帧G1、G2、…、GL各自执行和步骤S36相同的处理。即、关于各l(l＝1、2、…、L)，计算部43算出基准帧Gl内的各个局部区域R’1、R’2的彩度，并算出作为这些的差的绝对值的相对彩度。需要注意的是，如图13以及图17所示，步骤S37被反复执行，因此，关于已经算出相对彩度的基准帧Gl，则参照该值而省略新的计算处理。步骤S35也可以同样地省略。
在接下来的步骤S38中，计算部43算出在步骤S36、S37中算出的比较帧Fj的相对彩度与各基准帧Gl(l＝1、2、…、L)的相对彩度的类似度Bsl。在本实施方式中，类似度Bsl是作为两相对彩度之差除以255后所得的值的平方值而算出的。需要说明的是，这里，进行除以255的除法运算是为了将类似度Bsl维持在0～1之间的值，进行归一化。
在接下来的步骤S39中，计算部43将比较帧Fj分割为主区域O1以及副区域O2两个区域。具体而言，在通过步骤S34算出的局部区域R1、R2中，将面积更宽的区域设定为主区域O1、将更窄的区域设定为副区域O2(参照图16)。即、步骤S39基于比较帧Fj的构图，将比较帧Fj分割为表示关注物体的区域和表示其背景的区域。
在接下来的步骤S40中，和步骤S39一样，计算部43将基准帧G1、G2、…、GL各自分割为主区域O’1以及副区域O’2两个区域。具体而言，在通过步骤S35算出的局部区域R’1、R’2中，将面积更宽的区域设定为主区域O’1、将更窄的区域设定为副区域O’2(参照图16)。即、在步骤S40中基于基准帧Gl的构图，将基准帧Gl分割为表示关注物体的区域和表示其背景的区域。
在接下来的步骤S41中，计算部43算出主区域O1的平均色相，并算出副区域O2的平均色相。需要说明的是，该平均色相是与色相相关的表示局部的色彩倾向的颜色指标(下面，称为色相指标)，是以作为对象的区域内的所有像素的色相的平均值而算出的。
在接下来的步骤S42中，计算部43对现有的信道CH1、CH2、…、CHL的基准帧G1、G2、…、GL各自执行和步骤S41相同的处理。即、关于各l(l＝1、2、…、L)，计算部43针对基准帧Gl内的各个区域O’1、O’2算出色相指标。需要注意的是，如图13以及图17所示，步骤S42被反复执行，因此，关于已经算出色相指标的基准帧Gl，则参照该值而省略新的计算处理。步骤S40也可以同样地省略。
在接下来的步骤S43中，计算部43算出比较帧Fj内的主区域O1中的色相指标与各基准帧Gl(l＝1、2、…、L)内的主区域O’1中的色相指标的类似度Bh1l。在本实施方式中，类似度Bh1l是作为主区域O1、O’1的色相指标之差除以180后所得的值的平方值而算出的。此外，计算部43算出比较帧Fj内的副区域O2中的色相指标与各基准帧Gl(l＝1、2、…、L)内的副区域O’2中的色相指标的类似度Bh2l。具体而言，将副区域O2、O’2的色相指标之差除以180后所得的值的平方值作为类似度Bh2l。需要说明的是，这里，进行除以180的除法运算是为了将类似度Bh1l、Bh2l维持为0～1之间的值，进行归一化。
接下来的步骤S44～S46是评价表示帧的画面内的整体的色彩倾向的颜色指标的步骤。在本实施方式中，为了评价帧的画面内的整体的色彩倾向，定义有各种印象度Z1、Z2、…、ZI(I为2以上的整数)。需要注意的是，用于定义这些印象度Z1、Z2、…、ZI的各种信息存储在软件管理区域50内的印象度定义区域53内。
下面，对印象度Zi(i＝1、2、…、I)进行说明。各印象度Zi与一个或多个颜色条件相关联，这些颜色条件中定义有权重。需要说明的是，与相同的印象度Zi相关联的一个或多个颜色条件的权重合计为1。图18示出了印象度Z1“自然”的例子，印象度Z1“自然”与“绿色”、“棕色”以及“米色”三个颜色条件相关联。此外，对“绿色”、“棕色”以及“米色”三个颜色条件分别赋予了0.5、0.25、0.25的权重。如图18所示，各颜色条件中定义有对于浓度(明度)、彩度以及色相的值的评价值。这里，在提供了某像素的情况下，在导出对应该像素的浓度、彩度以及色相的值的评价值之后，将这些评价值相乘，从而算出各颜色条件的值。然后，该像素的印象度Zi的值作为对各颜色条件的值附加上述的权重并相加而得的值来算出。
在步骤S44中，计算部43算出比较帧Fj的帧整体上的各印象度Zi(i＝1、2、…、I)的值。需要注意的是，当在区域设定窗口W3上进行了区域的指定的情况下，这里所述的帧整体是指该区域整体，在未进行指定的情况下，是指帧的整个画面。具体而言，关于各i(i＝1、2、…、I)，计算部43针对比较帧Fj的整个帧中包含的各像素算出印象度Zi的值，并算出这些值的平均值，将该平均值作为帧整体上的印象度Zi的值。需要说明的是，帧整体上的印象度Zi的值是与印象度Zi相关的表示帧整体上的色彩倾向的颜色指标(下面，称为印象指标)。
在接下来的步骤S45中，计算部43对现有的信道CH1、CH2、…、CHL的基准帧G1、G2、…、GL各自执行和步骤S44相同的处理。即、关于各l(l＝1、2、…、L)，计算部43针对各个印象度Z1、Z2、…、ZI，算出基准帧Gl的印象指标。需要注意的是，如图13以及图17所示，步骤S45被反复执行，因此，关于已经算出印象指标的基准帧Gl，则参照该值而省略新的计算处理。
在接下来的步骤S46中，计算部43基于印象度Z1、Z2、…、ZI，算出比较帧Fj与各基准帧Gl(l＝1、2、…、L)在帧整体上的类似度Bil。具体而言，关于各l(l＝1、2、…、L)以及各i(i＝1、2、…、I)，计算部43算出比较帧Fj在帧整体上的印象度Zi的值与基准帧Gl在帧整体上的印象度Zi的值之差的平方值。然后，关于各l(l＝1、2、…、L)，算出1减去这I个平方值的合计值的平方根(一维的印象度空间内的比较帧Fj和基准帧Gl的距离)所得的值，将其作为类似度Bil。
然后，在步骤S47中，计算部43基于已经算出的类似度Bdl、Bsl、Bh1l、Bh2l、Bil(l＝1、2、…、L)，算出比较帧Fj和各基准帧Gl(l＝1、2、…、L)的类似度(下面，称为综合类似度)Bl。需要注意的是，第一以及第三实施方式中的综合类似度在均表示帧整体上的类似度这一点上是共同的，因此，采用相同的标号B来表示。在本实施方式中，关于各l(l＝1、2、…、L)，计算部43在算出1减去Bdl、Bsl、Bh1l、Bh2l的合计值的平方根(关于四个指标的四维空间内的比较帧Fj和基准帧Gl的距离)所得的值(构图比较结果)之后，将该值和Bil(印象比较结果)相乘后所得的值作为综合类似度Bl。需要注意的是，在其它实施方式中，也可以采用不同的方法，例如，也可以是，对构图比较结果及/或印象比较结果乘以适当的系数、或者对其加上或减去适当的值之后，将两值相乘。或者，也可以是，在附加适当系数的同时，将1－Bdl的平方根、1－Bsl的平方根、1－Bh1l的平方根、1－Bh2l的平方根、Bil相加后所得的值作为综合类似度Bl。
通过上述的步骤S47算出综合类似度B1、B2、…、BL。之后的处理流程与第一实施方式相同。
〈4.用途〉
图像处理程序2可以对多种多样的活动图像进行图像处理，例如、在警察局等机构为了案件侦查而解析监控摄像机的监控视频的情形下也可以被利用。例如、在同一个店铺内往往设置了多个监控摄像机，但是，这些监控视频通常是以混合延时活动图像的形式来记录的。于是，在这样的情况下，如果使用设置有监控摄像机的店铺内的专用设备，则可以分离混合延时活动图像中包含的各信道，但是，在警察局等处，由于不拥有对应各厂家的各机型的专用设备，从而播放困难。因此，不管活动图像的方式如何均可以将混合延时活动图像分离为按照各个信道的活动图像的上述时间轴分离处理可以在这样的情形下得以有效利用。
〈5.变形例〉
以上，对于本发明的一个实施方式进行了说明，但是，本发明并不限定于上述实施方式，在不脱离其宗旨的范围内，可以有各种变更。例如、可以进行下面的变更。
〈5-1〉
上述实施方式中的再分类窗口W4也可以由多个窗口构成。
〈5-2〉
在上述实施方式中，通过切换选择信道，在帧一览区域C2内，帧组以信道或分类的单位进行切换显示。但是，也可以针对多个信道以及“未分类”的分类各自设置用于一览显示帧组的帧一览区域。在该情况下，为了有效地使用画面空间，优选在各帧一览区域内缩略显示帧组，进而，优选沿时间轴排列缩略图像组。此外，在该情况下，可以省略图标形式的信道对象91以及未分类对象92，将各信道用的帧一览区域作为用于相关联操作的信道对象来使用，并且，将“未分类”的分类用的帧一览区域作为用于相关联操作的未分类对象来使用。即、也可以构成为，从“未分类”的帧一览区域中选择任意的帧，将其拖放至信道用的任意的帧一览区域(信道对象)，从而能够将该帧分类至与该区域对应的信道。使信道所包含的帧移动至其它信道或分类时也是同样。
或者，也可以是，设置用于一览显示“未分类”的帧组的帧一览区域、和用于一览显示属于信道的帧组的帧一览区域，使“未分类”的帧组总是在前者的区域内显示。在该情况下，在后者的区域内，可以仅一览显示属于当前选择的信道的帧组。
〈5-3〉
在第三实施方式中，定义了各种颜色指标，这些颜色指标进行各种组合而定义了综合类似度Bl，但是，既可以通过其它方式来定义颜色指标，也可以通过其它方式来组合颜色指标而定义综合类似度Bl。例如，在第三实施方式中，基于浓度相关的颜色指标来确定构图，但是，例如也可以基于色相及/或彩度相关的颜色指标来确定构图。此外，基于局部区域R1、R2之间的相对彩度算出了类似度Bsl，但也可以将局部区域R1、R’1之间的绝对彩度差、局部区域R2、R’2之间的绝对彩度差作为类似度Bsl。此外，也可以算出局部区域R1、R’1之间的浓度差、局部区域R2、R’2之间的浓度差作为类似度，并采用于综合类似度Bl中。
〈5-4〉
在上述实施方式中，构成为：可以在刚开始信道分离处理之后，显示区域设定窗口W3，进行用于避免误判断的区域设定。但是，也可以不显示这样的区域设定窗口W3而使得不能进行这样的区域设定。或者，也可以是，虽然在刚开始信道分离处理之后不显示区域设定窗口W3，但在再分类窗口W4上准备用于在进行了区域设定之后命令自动分类处理的再运行的按钮。在该情况下，用户仅在未设定区域而进行的自动分类处理的结果不恰当(误判断多)的情况下，按下上述按钮，使区域设定窗口W3显示。于是，可以在进行了区域设定之后，再次执行自动分类处理。或者，也可以在刚开始信道分离处理之后显示区域设定窗口W3，并在设定了区域的状态下执行自动分类处理的同时，进而还在再分类窗口W4上准备上述的按钮。
〈5-5〉
在上述实施方式的步骤S9中，将通过加权平均对比较帧Fj和现有的基准帧GMAX进行合成的结果作为新的基准帧GMAX。但是，基准帧GMAX的更新方法并不限定于此。例如，关于各像素，也可以创建信道CHMAX所包含的所有帧(也包含该时间点的比较帧Fj)的像素值的柱状图，将成为众数(最頻)的像素值作为基准帧GMAX的该像素的像素值。或者，将成为柱状图中的中值的像素值作为基准帧GMAX的该像素的像素值。
〈5-6〉
在上述实施方式中，也可以是，在紧接着步骤S10之后等判断信道数L是否达到了一定数量以上，在判断为达到了一定数量以上的情况下，进行和步骤S11同样的现有的信道的校正处理。这是因为，如果信道数L增加过多，则处理负荷会加重。不过，优选即使存在幅数为1的信道，如果该一个帧距离当前选择的比较帧Fj在时间上为一定值以内的远近，则不进行该信道的删除。这是因为，该信道是最近创建的信道，此后出现分类至该信道的帧的可能性高。需要注意的是，在光进行了上述那样的信道的删除，而信道数L超过了一定值的情况下，信道数为2以上的信道、3以上的信道也可以依次作为删除的对象，使信道数保持在一定数以下。
附图标记说明
1 图像处理装置 2 图像处理程序
41 自动分类部 42 设定部
43 计算部 44 判断部
45 再分类部 91 信道对象
92 未分类对象 C3 播放区域
W4 再分类窗口 (再分类画面)

Claims (16)

1.一种图像处理装置，用于在属于不同的信道的帧混在一个活动图像内的情况下，按各个所述信道对所述帧进行分类，所述图像处理装置包括：
自动分类部，通过对包含在所述活动图像中的多个帧实施图像处理，从而算出帧间的类似度，并根据所述类似度，将所述多个帧分类至多个信道。
2.根据权利要求1所述的图像处理装置，其中，
所述自动分类部包括：
设定部，将包含在所述活动图像中的特定帧、或合成包含在所述活动图像中的两个以上的特定帧而得的帧设定为基准帧，并将包含在所述活动图像中的其它特定帧设定为比较帧；
计算部，执行计算处理，在所述计算处理中，将所述比较帧以及所述基准帧分割为多个局部区域，按各个所述局部区域算出所述比较帧和所述基准帧之间的局部类似度，并且，仅利用该局部类似度高的所述局部区域来算出综合类似度，所述综合类似度是所述比较帧和所述基准帧之间的在帧整体上的所述类似度；以及
判断部，根据所述综合类似度，执行所述比较帧与所述基准帧或作为其合成源的帧是否属于相同的信道的判断处理。
3.根据权利要求1所述的图像处理装置，其中，
所述自动分类部包括：
设定部，将包含在所述活动图像中的特定帧、或合成包含在所述活动图像中的两个以上的特定帧而得的帧设定为基准帧，并将包含在所述活动图像中的其它特定帧设定为比较帧；
计算部，执行计算处理，在所述计算处理中，从所述比较帧中检测特征点，对应每个所述特征点设定其附近区域，并且，仅利用所述附近区域来算出综合类似度，所述综合类似度是所述比较帧和所述基准帧之间的在帧整体上的所述类似度；以及
判断部，根据所述综合类似度，执行所述比较帧与所述基准帧或作为其合成源的帧是否属于相同的信道的判断处理。
4.根据权利要求3所述的图像处理装置，其中，所述计算部将所述比较帧分割为多个局部区域，并按各个所述局部区域从所述比较帧中检测所述特征点。
5.根据权利要求3或4所述的图像处理装置，其中，所述计算部按各个所述附近区域算出所述比较帧和所述基准帧之间的局部类似度，并且，仅利用该局部类似度高的所述附近区域来算出所述综合类似度。
6.根据权利要求2至5中任一项所述的图像处理装置，其中，所述设定部从用户接收帧的画面内的区域的设定，并将包含在所述活动图像中的特定帧的所述区域内的图像、或合成包含在所述活动图像中的两个以上的特定帧的所述区域内的图像而得的帧设定为基准帧，而将包含在所述活动图像中的其它特定帧的所述区域内的图像设定为比较帧。
7.根据权利要求2至6中任一项所述的图像处理装置，其中，
所述设定部能够设定多个所述基准帧，
在设定有多个所述基准帧的情况下，所述计算部针对所述各基准帧执行所述计算处理，
所述判断部在所述判断处理中，判断所述综合类似度最高的所述比较帧与所述基准帧或作为其合成源的帧属于相同的所述信道。
8.根据权利要求7所述的图像处理装置，其中，
所述设定部边从所述活动图像中依次选择帧，边将最开始选择的帧设定为所述基准帧，而将之后选择的帧设定为所述比较帧，
每当所述设定部新设定了所述比较帧时，所述计算部执行所述计算处理，并且，所述判断部执行所述判断处理，
所述设定部在通过所述判断处理判断为所述比较帧与任一个所述基准帧、或任一个作为所述基准帧的合成源的帧均不属于相同的所述信道的情况下，将该比较帧重新设定为所述基准帧。
9.根据权利要求7或8所述的图像处理装置，其中，
所述设定部边从所述活动图像中依次选择帧，边将最开始选择的帧设定为所述基准帧，而将之后选择的帧设定为所述比较帧，
每当所述设定部新设定了所述比较帧时，所述计算部执行所述计算处理，并且，所述判断部执行所述判断处理，
所述设定部在通过所述判断处理判断为所述比较帧与任一个所述基准帧、或任一个作为所述基准帧的合成源的帧属于相同的所述信道的情况下，将该比较帧合成到该基准帧中。
10.根据权利要求8或9所述的图像处理装置，其中，
在从所述活动图像中选择了最后的帧、并且所述计算处理以及所述判断处理结束之后，若设定有多个所述基准帧，
则所述计算部算出所述多个基准帧之间的类似度，
并且，所述判断部将所述多个基准帧之间的类似度高的所述基准帧所对应的所述信道彼此合并为一个信道。
11.根据权利要求8至10中任一项所述的图像处理装置，其中，在从所述活动图像中选择了最后的帧、并且所述计算处理以及所述判断处理结束之后，所述判断部消除仅规定幅数以下的帧所属的所述信道。
12.根据权利要求1至11中任一项所述的图像处理装置，其中，所述类似度是相关系数。
13.一种图像处理程序，用于在属于不同的信道的帧混在一个活动图像内的情况下，按各个所述信道对所述帧进行分类，所述图像处理程序使计算机执行分类步骤，
在所述分类步骤中，通过对包含在所述活动图像中的多个帧实施图像处理，从而算出帧间的类似度，并根据所述类似度，将所述多个帧分类至多个信道。
14.根据权利要求13所述的图像处理程序，其中，所述分类步骤包括：
将包含在所述活动图像中的特定帧、或合成包含在所述活动图像中的两个以上的特定帧而得的帧设定为基准帧的步骤；
将包含在所述活动图像中的其它特定帧设定为比较帧的步骤；
将所述比较帧以及所述基准帧分割为多个局部区域的步骤；
按各个所述局部区域算出所述比较帧和所述基准帧之间的局部类似度的步骤；
仅利用所述局部类似度高的所述局部区域来算出所述比较帧和所述基准帧之间的在帧整体上的综合类似度的步骤；以及
根据所述综合类似度执行所述比较帧与所述基准帧或作为其合成源的帧是否属于相同的信道的判断处理的步骤。
15.根据权利要求13所述的图像处理程序，其中，所述分类步骤包括：
将包含在所述活动图像中的特定帧、或合成包含在所述活动图像中的两个以上的特定帧而得的帧设定为基准帧的步骤；
将包含在所述活动图像中的其它特定帧设定为比较帧的步骤；
从所述比较帧中检测特征点的步骤；
对应每个所述特征点设定其附近区域的步骤；
仅利用所述附近区域来算出所述比较帧和所述基准帧之间的在帧整体上的综合类似度的步骤；以及
根据所述综合类似度判断所述比较帧与所述基准帧或作为其合成源的帧是否属于相同的信道的步骤。
16.一种图像处理方法，用于在属于不同的信道的帧混在一个活动图像内的情况下，按各个所述信道对所述帧进行分类，所述图像处理方法包括：
分类步骤，在所述分类步骤中，通过对包含在所述活动图像中的多个帧实施图像处理，从而算出帧间的类似度，并根据所述类似度，将所述多个帧分类至多个信道。
CN201580007339.7A 2014-03-27 2015-01-20 图像处理装置 Pending CN105981372A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014066865 2014-03-27
JP2014-066865 2014-03-27
PCT/JP2015/051363 WO2015146241A1 (ja) 2014-03-27 2015-01-20 画像処理装置

Publications (1)

Publication Number Publication Date
CN105981372A true CN105981372A (zh) 2016-09-28

Family

ID=54194783

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580007339.7A Pending CN105981372A (zh) 2014-03-27 2015-01-20 图像处理装置

Country Status (5)

Country Link
US (1) US10469793B2 (zh)
EP (1) EP3128744A4 (zh)
JP (1) JP6524997B2 (zh)
CN (1) CN105981372A (zh)
WO (1) WO2015146241A1 (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109002336A (zh) * 2017-06-06 2018-12-14 许继电气股份有限公司 一种充电桩远程监控导航视窗的生成方法和装置
CN109635143A (zh) * 2018-12-24 2019-04-16 维沃移动通信有限公司 图片处理方法及终端设备
CN111901478A (zh) * 2019-05-06 2020-11-06 苹果公司 用于捕获和管理视觉媒体的用户界面
US11165949B2 (en) 2016-06-12 2021-11-02 Apple Inc. User interface for capturing photos with different camera magnifications
US11178335B2 (en) 2018-05-07 2021-11-16 Apple Inc. Creative camera
US11204692B2 (en) 2017-06-04 2021-12-21 Apple Inc. User interface camera effects
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
US11223771B2 (en) 2019-05-06 2022-01-11 Apple Inc. User interfaces for capturing and managing visual media
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US11330184B2 (en) 2020-06-01 2022-05-10 Apple Inc. User interfaces for managing media
US11350026B1 (en) 2021-04-30 2022-05-31 Apple Inc. User interfaces for altering visual media
US11468625B2 (en) 2018-09-11 2022-10-11 Apple Inc. User interfaces for simulated depth effects
US11490017B2 (en) 2015-04-23 2022-11-01 Apple Inc. Digital viewfinder user interface for multiple cameras
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US11895391B2 (en) 2018-09-28 2024-02-06 Apple Inc. Capturing and displaying images with multiple focal planes
US11977731B2 (en) 2018-02-09 2024-05-07 Apple Inc. Media capture lock affordance for graphical user interface

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015170461A1 (ja) * 2014-05-07 2015-11-12 日本電気株式会社 画像処理装置、画像処理方法およびコンピュータ可読記録媒体
US11416461B1 (en) 2019-07-05 2022-08-16 The Nielsen Company (Us), Llc Methods and apparatus to estimate audience sizes of media using deduplication based on binomial sketch data
US11561942B1 (en) 2019-07-05 2023-01-24 The Nielsen Company (Us), Llc Methods and apparatus to estimate audience sizes of media using deduplication based on vector of counts sketch data
US10998007B2 (en) * 2019-09-30 2021-05-04 Adobe Inc. Providing context aware video searching
US20210406232A1 (en) * 2020-06-30 2021-12-30 The Nielsen Company (Us), Llc Methods and apparatus to estimate audience sizes of media using deduplication based on multiple vectors of counts
KR102604672B1 (ko) * 2021-10-06 2023-11-23 주식회사 마음에이아이 영상 촬영 가이드 제공 방법, 장치 및 컴퓨터 프로그램

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0938054A2 (en) * 1998-02-23 1999-08-25 Siemens Corporate Research, Inc. A system for interactive organization and browsing of video
WO2007072347A2 (en) * 2005-12-22 2007-06-28 Koninklijke Philips Electronics N.V. System and method for processing video
US20090067807A1 (en) * 2007-09-12 2009-03-12 Kabushiki Kaisha Toshiba Signal processing apparatus and method thereof
CN102378005A (zh) * 2010-08-10 2012-03-14 索尼公司 运动图像处理装置、运动图像处理方法和程序
CN102378004A (zh) * 2010-08-10 2012-03-14 索尼公司 运动图像处理装置、运动图像处理方法和程序
US20130097625A1 (en) * 2007-12-07 2013-04-18 Niels J. Thorwirth Systems and methods for performing semantic analysis of media objects
CN103440640A (zh) * 2013-07-26 2013-12-11 北京理工大学 一种视频场景聚类及浏览方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001036867A (ja) * 1999-07-23 2001-02-09 Gen Tec:Kk 複数チャネル動画像同期表示装置
US7016540B1 (en) * 1999-11-24 2006-03-21 Nec Corporation Method and system for segmentation, classification, and summarization of video images
JP3685730B2 (ja) * 2001-03-28 2005-08-24 三洋電機株式会社 画像検索装置およびこれを用いた監視カメラシステム
US20030023910A1 (en) * 2001-07-25 2003-01-30 Myler Harley R. Method for monitoring and automatically correcting digital video quality by reverse frame prediction
JP2002319210A (ja) * 2002-02-04 2002-10-31 Hitachi Ltd 記録再生装置及び再生装置
JP2004254244A (ja) * 2003-02-21 2004-09-09 Matsushita Electric Ind Co Ltd 監視カメラシステム、及びその画像記録再生方法
US7379627B2 (en) * 2003-10-20 2008-05-27 Microsoft Corporation Integrated solution to digital image similarity searching
US8200648B2 (en) * 2006-08-07 2012-06-12 Yeda Research & Development Co. Ltd. At The Weizmann Institute Of Science Data similarity and importance using local and global evidence scores
JP4165615B2 (ja) * 2007-11-26 2008-10-15 ソニー株式会社 画像表示装置、画像表示方法、プログラム、及び記録媒体
US8135222B2 (en) 2009-08-20 2012-03-13 Xerox Corporation Generation of video content from image sets
JP5777380B2 (ja) * 2011-04-05 2015-09-09 キヤノン株式会社 画像認識装置、画像認識方法、及びプログラム
JP5765255B2 (ja) * 2012-01-31 2015-08-19 Ｎｋワークス株式会社 画像処理プログラムおよび画像処理装置
JP5868358B2 (ja) * 2013-08-20 2016-02-24 グローリー株式会社 画像処理方法
US10057626B2 (en) 2013-09-03 2018-08-21 Thomson Licensing Method for displaying a video and apparatus for displaying a video
EP3125535A4 (en) * 2014-03-27 2017-11-15 Noritsu Precision Co., Ltd. Image processing device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0938054A2 (en) * 1998-02-23 1999-08-25 Siemens Corporate Research, Inc. A system for interactive organization and browsing of video
WO2007072347A2 (en) * 2005-12-22 2007-06-28 Koninklijke Philips Electronics N.V. System and method for processing video
US20090067807A1 (en) * 2007-09-12 2009-03-12 Kabushiki Kaisha Toshiba Signal processing apparatus and method thereof
US20130097625A1 (en) * 2007-12-07 2013-04-18 Niels J. Thorwirth Systems and methods for performing semantic analysis of media objects
CN102378005A (zh) * 2010-08-10 2012-03-14 索尼公司 运动图像处理装置、运动图像处理方法和程序
CN102378004A (zh) * 2010-08-10 2012-03-14 索尼公司 运动图像处理装置、运动图像处理方法和程序
CN103440640A (zh) * 2013-07-26 2013-12-11 北京理工大学 一种视频场景聚类及浏览方法

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11711614B2 (en) 2015-04-23 2023-07-25 Apple Inc. Digital viewfinder user interface for multiple cameras
US11490017B2 (en) 2015-04-23 2022-11-01 Apple Inc. Digital viewfinder user interface for multiple cameras
US11962889B2 (en) 2016-06-12 2024-04-16 Apple Inc. User interface for camera effects
US11165949B2 (en) 2016-06-12 2021-11-02 Apple Inc. User interface for capturing photos with different camera magnifications
US11641517B2 (en) 2016-06-12 2023-05-02 Apple Inc. User interface for camera effects
US11245837B2 (en) 2016-06-12 2022-02-08 Apple Inc. User interface for camera effects
US11687224B2 (en) 2017-06-04 2023-06-27 Apple Inc. User interface camera effects
US11204692B2 (en) 2017-06-04 2021-12-21 Apple Inc. User interface camera effects
CN109002336B (zh) * 2017-06-06 2021-10-22 许继电气股份有限公司 一种充电桩远程监控导航视窗的生成方法和装置
CN109002336A (zh) * 2017-06-06 2018-12-14 许继电气股份有限公司 一种充电桩远程监控导航视窗的生成方法和装置
US11977731B2 (en) 2018-02-09 2024-05-07 Apple Inc. Media capture lock affordance for graphical user interface
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
US11178335B2 (en) 2018-05-07 2021-11-16 Apple Inc. Creative camera
US11468625B2 (en) 2018-09-11 2022-10-11 Apple Inc. User interfaces for simulated depth effects
US11669985B2 (en) 2018-09-28 2023-06-06 Apple Inc. Displaying and editing images with depth information
US11895391B2 (en) 2018-09-28 2024-02-06 Apple Inc. Capturing and displaying images with multiple focal planes
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
CN109635143A (zh) * 2018-12-24 2019-04-16 维沃移动通信有限公司 图片处理方法及终端设备
US11223771B2 (en) 2019-05-06 2022-01-11 Apple Inc. User interfaces for capturing and managing visual media
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
CN111901478A (zh) * 2019-05-06 2020-11-06 苹果公司 用于捕获和管理视觉媒体的用户界面
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
US11617022B2 (en) 2020-06-01 2023-03-28 Apple Inc. User interfaces for managing media
US11330184B2 (en) 2020-06-01 2022-05-10 Apple Inc. User interfaces for managing media
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US11418699B1 (en) 2021-04-30 2022-08-16 Apple Inc. User interfaces for altering visual media
US11416134B1 (en) 2021-04-30 2022-08-16 Apple Inc. User interfaces for altering visual media
US11350026B1 (en) 2021-04-30 2022-05-31 Apple Inc. User interfaces for altering visual media

Also Published As

Publication number Publication date
EP3128744A1 (en) 2017-02-08
US20170257596A1 (en) 2017-09-07
JP6524997B2 (ja) 2019-06-05
EP3128744A4 (en) 2017-11-01
JPWO2015146241A1 (ja) 2017-04-13
WO2015146241A1 (ja) 2015-10-01
US10469793B2 (en) 2019-11-05

Similar Documents

Publication Publication Date Title
CN105981372A (zh) 图像处理装置
CN105981371A (zh) 图像处理装置
US7034776B1 (en) Video division detection methods and systems
CN101222589B (zh) 影像处理装置和包括该影像处理装置的影像显示装置
EP2464093B1 (en) Image file generation device, image processing device, image file generation method, and image processing method
CN102170527B (zh) 图像处理装置
WO2013099150A1 (en) Image data generating apparatus, image data display system, and image data generating method
CN106251322B (zh) 图像处理设备、图像处理方法和图像处理系统
JP2011254240A (ja) 画像処理装置、画像処理方法およびプログラム
JP6261301B2 (ja) 医用画像表示装置およびその制御方法
CN105302431B (zh) 图像处理设备、图像处理方法和图像处理系统
JP6171651B2 (ja) 画像処理プログラム及び画像処理装置
CN107105151A (zh) 图像处理装置以及图像处理方法
CN109445669A (zh) 一种对图片进行显示与绘制的方法
CN109074656B (zh) 运动视频分割方法、运动视频分割装置以及运动视频处理系统
US10152813B2 (en) Composite image creation system, composite image creation method, and non-transitory computer readable medium storing composite image creation program
JP4067326B2 (ja) 動画像内容表示装置
WO2015146242A1 (ja) 画像処理装置
JP6028936B2 (ja) 映像処理装置及びそれを含む映像表示システム
CN109255821B (zh) 一种图像显示方法、设备及计算机可读存储介质
JP2017151719A (ja) 表示制御装置、表示制御方法およびプログラム
JP4881282B2 (ja) トリミング処理装置およびトリミング処理プログラム
JP2020141273A (ja) コマーシャル検出装置
US10706891B2 (en) Video image processing apparatus and processing method
JP6588958B2 (ja) 医用画像表示装置および医用画像表示方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160928