CN100555328C - 图像处理装置 - Google Patents

图像处理装置 Download PDF

Info

Publication number
CN100555328C
CN100555328C CNB2006101411251A CN200610141125A CN100555328C CN 100555328 C CN100555328 C CN 100555328C CN B2006101411251 A CNB2006101411251 A CN B2006101411251A CN 200610141125 A CN200610141125 A CN 200610141125A CN 100555328 C CN100555328 C CN 100555328C
Authority
CN
China
Prior art keywords
mentioned
frame
scene
image
motion pictures
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2006101411251A
Other languages
English (en)
Other versions
CN1949271A (zh
Inventor
小川要
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1949271A publication Critical patent/CN1949271A/zh
Application granted granted Critical
Publication of CN100555328C publication Critical patent/CN100555328C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/732—Query formulation
    • G06F16/7335—Graphical querying, e.g. query-by-region, query-by-sketch, query-by-trajectory, GUIs for designating a person/face/object as a query predicate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/785—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using colour or luminescence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

提供一种图像处理装置。在运动图像中准确地检测作为目标的对象物出现的一个场景。在区域选择接受部(601)中，接受构成在运动图像文件保持部(231)中保持的运动图像的任一帧以及该帧的区域选择。根据选择的帧以及该帧的区域，模板图像生成部(312)生成模板图像。图像对照部(313)从运动图像文件保持部(231)搜索包含有与模板图像类似的图像的帧。当搜索到包含有与模板图像类似的图像的帧时，场景变化检测部(314)获取在该帧前后按时间序列排列的帧，算出相邻的帧中的各像素的像素值的分布差分的累加值。在该累加值超过了规定阈值的情况下，设为有场景变化而检测出场景。

Description

图像处理装置
技术领域
本发明涉及一种进行场景检测的图像处理装置，特别是涉及一种进行包含被选择的对象物的场景检测的图像处理装置、以及它们的处理方法和使计算机执行该方法的程序。
背景技术
近年来，由于存储器的价格降低、与存储器相关的技术的发展，数字静像照相机(digital still camera)以及数字摄像机等摄像装置中的存储器的容量正在增加。与此相伴，摄像装置中保持的运动图像的数量也在增加。在这种状况下，需要一种找出用户想要阅览的运动图像的规定场景的技术。以往，在数字静像照相机以及数字摄像机等摄像装置中，难以从拍摄的运动图像中检测出以用户所希望的对象物为主的场景。
作为解决这种问题的技术，提出了如下的技术：选择构成运动图像的帧的区域，找出包含被该区域包围的图像的帧，将认为该找出的帧连续的区间选定为一个场景，对该区间赋予关键字，在运动图像的场景的检索中使用(例如，参照专利文献1。)。根据该技术，在选定一个场景时，对找出的帧连续的部分区间彼此的间隔等设定规定条件，在满足该规定条件的情况下，结合该部分区域彼此来作为一个场景。在该技术中，作为结合部分区间彼此的规定条件，公开了位于某部分区间和其他部分区间之间的帧的张数为规定张数以下等。另外，也提出了如下的技术：将用户所希望的对象物的图像作为模板图像，将该模板图像和构成运动图像的帧进行对照，将包含了与该模板图像类似的图像的帧的集合作为一个场景。
专利文献1：日本特开平5-204990号公报(图1)
发明内容
发明要解决的问题
在将认为上述找出的帧连续的区域作为一个场景选定的技术中，在满足规定条件、例如在位于某部分区间和其他部分区间之间的帧的张数为规定张数以下的情况下，与场景的内容无关地被结合为一个场景，因此，根据情况显然有在一个场景中包含无关系的场面的可能性。另外，在将模板图像与构成运动图像的帧进行对照、将包含了与该模板图像类似的图像的帧的集合作为一个场景的技术中，在运动图像中被摄体临时朝向其他方向等的帧不被作为包含了与模板图像类似的图像的帧来处理，因此，本来应该为一个的场景可能被分割。
因此，本发明的目的在于提供一种确实地检测出在运动图像中作为目标的对象物出现的一个场景的图像处理装置。
用于解决问题的方法
本发明是为解决上述问题而完成的，其第1侧面是一种图像处理装置，其特征在于，具备：运动图像文件保持单元，其保持运动图像文件；区域选择接受单元，其接受对构成上述运动图像文件的帧的任一个的规定区域的选择；模板图像生成单元，将接受上述选择的区域的图像作为模板图像生成；图像对照单元，其从上述运动图像文件保持单元获取上述帧，将各上述帧与上述模板图像进行对照，搜索包含与上述模板图像类似的图像的帧，其中，当帧中的图像和模板图像之间的类似的程度超过了规定值时，将该帧判断为包含与该模板图像类似的图像的帧；以及场景变化检测单元，其检测场景的开始以及结束，其中，该场景包含有在上述图像对照单元中搜索到的帧。由此，带来如下作用：在运动图像中准确地检测用户所希望的对象物出现的场景。
另外，在该第1侧面中特征在于，上述图像对照单元在上述帧的获取中，从上述运动图像文件保持单元获取按时间序列每隔规定数排列的帧。由此，带来如下作用：高速地进行包含用户所希望的对象物的帧的搜索。
另外，在该第1侧面中特征在于，上述场景变化检测单元具备：帧获取单元，其从上述运动图像文件保持单元，获取在上述图像对照单元中搜索到的帧的前后按时间序列排列的帧；像素值分布生成单元，其生成构成由上述帧获取单元获取的帧的各像素的像素值的分布；分布差分累加值算出单元，其算出将上述时间序列上相邻的帧中的上述像素值的分布的差分进行累加得到的分布差分累加值；以及场景变化判断单元，其判断上述分布差分累加值是否超过规定阈值，在上述分布差分累加值超过规定阈值的情况下，设为上述场景发生了变化，将与超过上述规定阈值的上述分布差分累加值对应的帧判断为上述场景的开始帧或者结束帧。由此，带来如下作用：根据构成运动图像的帧的各像素的像素值的分布之类的视觉要素，准确地检测用户所希望地对象物出现的场景。如果在对象物所出现的场景的检测中使用构成运动图像的帧的各像素的像素值分布之类的视觉要素，则能够进行适合用户感觉的场景的检测。
另外，特征在于，上述帧获取单元从上述运动图像文件保持单元，获取在上述图像对照单元中搜索到的帧的前后按时间序列每隔规定数排列的帧。由此，带来如下作用：高速地进行在运动图像中出现用户所希望的对象物的一个场景的检测。
另外，特征在于，上述像素值分布生成单元使用作为上述像素值利用YUV来表示的量，生成构成由上述帧获取单元获取的帧的各像素的YUV的各个成分的分布，上述分布差分累加值算出单元对上述YUV的每个成分算出对与上述时间序列上相邻的帧中的上述YUV的各个成分相关的分布的差分进行累加得到的Y成分分布差累加值、U成分分布差累加值以及V成分分布差累加值，作为上述分布差分累加值，上述场景变化判断单元分别对上述Y成分分布差累加值、U成分分布差累加值以及V成分分布差累加值判断是否超过所设定的上述规定阈值，在上述Y成分分布差累加值、U成分分布差累加值以及V成分分布差累加值的任一个超过规定阈值的情况下，设为上述场景发生了变化，将与超过上述规定阈值的上述Y成分分布差累加值、U成分分布差累加值或者V成分分布差累加值对应的帧判断为上述场景的开始帧或者结束帧。由此，带来如下作用：根据构成运动图像的帧的各像素的YUV分布之类的视觉要素，准确地检测用户所希望的对象物出现的一个场景。
另外，在该第1侧面中特征在于，还具备帧缩小单元，该帧缩小单元缩小构成上述运动图像文件的帧，上述运动图像文件保持单元还保持在上述帧缩小单元中缩小的帧，上述区域选择接受单元接受对上述缩小的帧的任一个的规定区域的选择，上述图像对照单元将上述缩小的帧与上述模板图像进行对照，搜索包含与上述模板图像类似的图像的上述缩小的帧，其中当缩小的帧中的图像和模板图像之间的类似的程度超过了规定值时，将该缩小的帧判断为包含与该模板图像类似的图像的缩小的帧，上述场景变化检测单元检测场景的开始以及结束，其中，该场景包含利用上述缩小的帧在上述图像对照单元中搜索到的缩小的帧。由此，带来如下作用：，高速地进行在运动图像中出现用户所希望的对象物的一个场景的检测。即，在场景的检测中使用的帧利用缩小的帧，因此场景的检测中的运算量减少，可高速地进行场景的检测。
另外，特征在于，上述帧缩小单元每隔规定数缩小按时间序列排列的上述帧。由此，带来如下作用：高速地进行在运动图像中出现用户所希望的对象物的一个场景的检测。
另外，在该第1侧面中特征在于，还具备：运动图像文件信息获取单元，其从保持在上述运动图像文件保持单元中的上述运动图像文件，获取包含与对应于上述运动图像文件的运动图像的开始以及结束相关的信息的运动图像文件信息；场景信息表，其将由上述运动图像文件信息获取单元获取的上述运动图像文件信息、以及与由上述场景变化检测单元检测出的上述场景的开始以及结束相关的信息，与每个上述运动图像文件相对应地保持；场景时间位置显示生成单元，其根据与对应于上述运动图像文件的运动图像的开始以及结束相关的信息、以及与上述场景的开始以及结束相关的信息，生成表示上述场景相对于上述运动图像被播放的整个时间的时间位置的显示即场景时间位置显示。由此，带来如下作用：生成场景时间位置显示，该场景时间位置显示使得能够掌握一个运动图像文件的播放时间中的各场景的时间位置。
另外，特征在于，上述运动图像文件信息获取单元作为与对应于上述运动图像文件的运动图像的开始以及结束相关的信息，获取在上述运动图像文件中包含的帧数，上述场景信息表作为与由上述场景检测单元检测出的上述场景的开始以及结束相关的信息，保持上述场景的开始帧号以及结束帧号，上述场景时间位置显示生成单元根据在上述运动图像文件中包含的帧数、上述场景的开始帧号以及结束帧号，生成上述场景时间位置显示。由此，带来如下作用：根据在运动图像文件中包含的帧数、场景的开始帧号以及结束帧号，生成场景时间位置显示，该场景时间位置显示使得能够掌握一个运动图像文件的总播放时间中的各场景的时间位置。
另外，特征在于，上述场景时间位置显示生成单元在前一场景的结束以及下一场景的开始连续的情况下，将上述前一场景以及上述下一场景作为一个场景，生成上述场景时间位置显示。由此，带来如下作用：把不自然分割的场景彼此结合，生成一个场景。
另外，本发明的第2侧面是一种图像处理装置，其特征在于，具备：摄像单元，其拍摄被摄体生成运动图像文件；运动图像文件保持单元，其保持上述运动图像文件；区域选择接受单元，其接受对构成上述运动图像文件的帧的任一个的规定区域的选择；模板图像生成单元，其将接受上述选择的区域的图像作为模板图像生成；图像对照单元，其从上述运动图像文件保持单元获取上述帧，将各上述帧与上述模板图像进行对照，搜索包含与上述模板图像类似的图像的帧，其中，当帧中的图像和模板图像之间的类似的程度超过了规定值时，将该帧判断为包含与该模板图像类似的图像的帧；场景变化检测单元，其检测场景的开始以及结束，其中，该场景包含有在上述图像对照单元中搜索到的帧；运动图像文件信息获取单元，其从保持在上述运动图像文件保持单元中的上述运动图像文件，获取包含与对应于上述运动图像文件的运动图像的开始以及结束相关的信息的运动图像文件信息；场景信息表，其将由上述运动图像文件信息获取单元获取的上述运动图像文件信息、以及与由上述场景变化检测单元检测出的上述场景的开始以及结束相关的信息，与每个上述运动图像文件相对应地保持；场景时间位置显示生成单元，其根据与对应于上述运动图像文件的运动图像的开始以及结束相关的信息、以及与上述场景的开始以及结束相关的信息，生成表示上述场景对上述运动图像被播放的整个时间的时间位置的显示即场景时间位置显示；以及显示单元，显示上述场景时间位置显示。由此，带来如下作用：准确地检测在拍摄的运动图像中出现用户所希望的对象物的一个场景，并显示其结果。
另外，本发明的第3侧面是一种在具备保持运动图像文件的运动图像文件保持单元的图像处理装置中执行以下过程的处理方法、或者使计算机执行以下过程的程序，该处理方法或者程序具备：区域选择接受过程，接受对构成上述运动图像文件的帧的任一个的规定区域的选择；模板图像生成过程，将接受上述选择的区域的图像作为模板图像生成；图像对照过程，从上述运动图像文件保持单元获取上述帧，将各上述帧与上述模板图像进行对照，搜索包含与上述模板图像类似的图像的帧，其中，当帧中的图像和模板图像之间的类似的程度超过了规定值时，将该帧判断为包含与该模板图像类似的图像的帧；以及场景变化检测过程，检测场景的开始以及结束，其中，该场景包含有在上述图像对照过程中搜索到的帧。由此，带来如下作用：在运动图像中准确地检测出现用户所希望的对象物的一个场景。
发明的效果
根据本发明，能够得到在运动图像中准确地检测作为目标的对象物出现的一个场景的显著效果。
附图说明
图1是本发明实施方式中的摄像装置100的一例即摄像装置100a以及100b的外观图。
图2是表示本发明实施方式中的摄像装置100的结构的图。
图3是表示本发明实施方式中的场景检测功能的结构的图。
图4是表示在本发明的实施方式中选择模板图像区域的样子的图。
图5是表示本发明实施方式中的模板图像生成的情形的图。
图6是表示将帧633和模板图像631进行对照的样子的图。
图7是表示本发明实施方式中的场景检测的样子的图。
图8是表示本发明实施方式中的构成帧的各像素的像素值的分布生成的样子的图。
图9是表示作为构成运动图像文件的帧集合的帧组与被缩小的帧之间的对应的图。
图10是表示本发明实施方式中的场景信息表320的内容的图。
图11是表示本发明实施方式中的场景时间位置显示的图。
图12是表示本发明实施方式中的场景结合的样子的图。
图13是表示本发明实施方式中的场景检测的流程的图。
附图标记说明
10：摄像部；11：摄像元件部；12：摄像控制部；13：图像处理部；20：记录播放处理部；21：图像编码/解码部；22：记录控制部；23：SDRAM；30：控制部；31：系统控制部；32：输入控制部；33：显示控制部；34：输出图像处理部；35：外部设备控制部；36：网络控制部；40：总线；50：键输入部；60：触摸面板部；61：显示部；62：触摸面板输入部；70：存储装置；80：外部设备；90：网络网；100、100a、100b：摄像装置；110a、110b：镜头部；120a：快门部；130a、130b：显示部；231：运动图像文件保持部；311：帧缩小部；312：模板图像生成部；313：图像对照部；314：场景变化检测部；315：帧获取部；316：像素值分布生成部；317：分布差分累加值算出部；318：场景变化判断部；319：运动图像文件信息获取部；320：场景信息表；321：场景时间位置显示生成部；601：区域选择接受部。
具体实施方式
下面参照附图详细说明本发明的实施方式。此外，在本发明的实施方式中，作为图像处理装置的一例说明摄像装置。
图1是本发明实施方式中的摄像装置100的一例即摄像装置100a以及摄像装置100b的外观图。摄像装置100a主要拍摄静止图像，摄像装置100b是主要拍摄运动图像。
图1的(a)是摄像装置100a的正面图。摄像装置100a从镜头部110a拍摄被摄体。然后，当按下快门部120a时，摄像装置100a生成静止图像文件。图1的(b)是摄像装置100a的背面图。由镜头部110a捕捉到的被摄体的活动被显示在显示部130a。另外，生成的静止图像文件也被显示在显示部130a。
图1的(c)是摄像装置100b的正面图。摄像装置100b从镜头部110b拍摄被摄体。然后，当按下(未图示)录像按钮时，摄像装置100b生成运动图像文件。图1的(d)是摄像装置100b的背面图。由镜头部110b捕捉到的被摄体的活动被显示在显示部130b。另外，生成的运动图像文件也被显示在显示部130b。另外，摄像装置100b具有还生成静止图像文件的功能，生成的静止图像也被显示在显示部130b。
在本发明的实施方式中，首先，根据构成由摄像装置100a或100b生成的运动图像文件的帧的某一个，生成模板图像。然后，从运动图像文件中搜索包含与该生成的模板图像类似的图像的帧(以下，称为模板图像类似帧)。其次，从运动图像文件检测包含模板图像类似帧的运动图像的一个场景开始时和结束时。作为表示场景相对于运动图像文件被播放的整个时间的时间位置的显示(以下，称为场景时间位置显示。)，输出该检测结果。
图2是表示本发明实施方式中的摄像装置100的结构的图。本发明实施方式中的摄像装置100具备摄像部10、记录播放处理部20、控制部30、总线40、键输入部50、触摸面板部60、以及存储装置70。
摄像部10具备摄像元件部11、摄像控制部12、以及图像处理部13。摄像元件部11在内部具备用于拍摄被摄体的透镜组(对应于图1中的镜头部110a以及镜头部110b)、光圈调整机构、焦点调整机构以及例如CCD(Charge Coupled Devices：电荷耦合器件)等的摄像元件，通过透镜组的像被成像在CCD等的摄像元件的成像面上。摄像元件部11接收根据快门操作从控制部30通过总线40提供的图像取入时序信号，将成像在摄像元件的成像面上的被摄体像变换成摄像信号，提供给图像处理部13。
摄像控制部12接收从控制部30通过总线40提供的控制信号，生成提供给摄像元件部11的控制信号。另外，摄像控制部12将生成的控制信号提供给摄像元件部11，进行缩放控制，快门控制以及曝光控制等。
图像处理部13根据从控制部30通过总线40提供的控制信号，对摄像信号进行伽马校正、AGC(Auto Gain Control：自动增益控制)等处理，并且，还进行将摄像信号变换成作为数字信号的图像信号的处理。
记录播放处理部20具备图像编码/解码部21、记录控制部22、以及SDRAM(Synchronous Dynamic Random Access Memory：同步动态随机存取存储器)23。图像编码/解码部21具有编码功能，该编码功能对从摄像部10通过总线40提供的图像信号等进行编码并多路复用从而变换为压缩数据。另外，图像编码/解码部21具有从压缩数据解码图像信号的解码功能。
记录控制部22从图像编码/解码部21接收压缩数据，写入存储装置70。另外，记录控制部22从存储装置70读出压缩数据，提供给图像编码/解码部21。此外，存储装置70既可以外置于摄像装置100，也可以内置于摄像装置100。另外，作为存储装置70，设想为将快闪存储器(Flash memory)封装成卡型的存储卡、硬盘等磁盘、DVD等光盘(Optical Disk)以及MO等磁光盘(Magneto-Optical disk)的任一个，但是不限于此。SDRAM23作为用于编码/解码部21中的编码或者解码的作业区域利用。
控制部30具备系统控制部31、输入控制部32、显示控制部33、输出图像处理部34、外部设备控制部35、以及网络控制部36。
系统控制部31管理整个控制部30的处理。连接到输入控制部32的键输入部50中，设置有切换拍摄模式和播放模式等其他模式的模式切换键、缩放调整键、用于曝光调整的键、快门键(对应于图1中的快门部120a)、运动图像摄像用键等多个键。另外，连接到输入控制部32的触摸面板输入部62接受显示部61中显示的菜单选择、图像数据的规定区域的指定。
输入控制部32将来自键输入部50以及触摸面板输入部62的操作信号传递给系统控制部31。系统控制部31判断在键输入部50以及触摸面板输入部62中操作了哪个键等，进行与该判断结果相应的控制处理。
与显示控制部33连接的显示部61例如由LCD(LiquidCrystal Display：液晶显示器)等构成，在系统控制部31的控制下，显示从摄像部10通过总线40提供的图像信号、从存储装置70读出的图像信号。此外，显示部61对应于图1中的显示部130a以及130b。
输出图像处理部34在图像数据播放时，对图像数据执行规定的修饰处理。修饰处理是例如设想为图像数据的颜色校正等。此外，也可以构成为由系统控制部31进行由输出图像处理部34进行的对图像数据的处理。
与外部设备控制部35连接的外部设备80例如设想为个人计算机(Personal Computer)等，但不限于此。此外，在外部设备80和外部设备控制部35之间，例如设想为通过USB(UniversalSerial Bus：通用串行总线)线缆连接，但是不限于此。外部设备控制部35控制摄像装置100和外部设备80之间的数据交换。
网络控制部36控制在摄像装置100和网络网90之间交换的数据。此外，作为网络网设想为因特网、LAN(Local Area Network：局域网)，但是不限于此。
图3是表示本发明实施方式中的场景检测功能的结构的图。该场景检测功能具备：保持运动图像文件的运动图像文件保持部231、帧缩小部311、区域选择接受部601、模板图像生成部312、图像对照部313、场景变化检测部314、运动图像文件信息获取部319、场景信息表320、以及场景时间位置显示生成部321。
帧缩小部311以规定的缩小率，缩小构成保持在运动图像文件保持部231中的运动图像文件的帧。帧缩小部311既可以缩小构成运动图像文件的所有帧，另外，也可以每隔规定数缩小按时间序列排列的帧。在运动图像文件保持部231中保持缩小的帧。
区域选择接受部601接受构成保持在运动图像文件保持部231中的运动图像文件的帧中的任一帧的选择、以及在该选择的帧中作为模板图像而应该切出的区域的选择。成为在区域选择接受部601中接受选择的对象的帧，也可以是在帧缩小部311中缩小的帧。
模板图像生成部312从帧中切出作为在区域选择接受部601中接受选择的模板图像而应该切出的区域，由此生成模板图像。此外，在区域选择接受部601中接受选择的帧是在帧缩小部311中缩小的帧的情况下，模板图像生成部312从该缩小的帧中切出作为模板图像而应该切出的区域。
另外，模板图像生成部312还生成将通过上述切出而生成的模板图像以规定倍率放大以及缩小的图像。该放大以及缩小的图像也用作模板图像。另外，模板图像生成部312还生成使通过上述切出而生成的模板图像、放大以及缩小的图像旋转了规定角度的图像。该旋转了规定角度的图像也用作模板图像。
图像对照部313从运动图像文件保持部231获取帧，将该帧分别和模板图像进行对照，搜索模板图像类似帧。图像对照部313，当搜索模板图像类似帧时将其意思通知给帧获取部315，暂时中止模板图像类似帧的搜索。
此外，根据在帧缩小部311中缩小的帧而生成模板图像的情况下，图像对照部313从运动图像文件保持部231获取的帧是在帧缩小部311中缩小的帧。通过将在帧缩小部311中缩小的帧与模板图像进行对照，减少模板图像与帧的对照所需的运算量，因此可进行高速对照。
另外，也可以如下构成：在图像对照部313中将模板图像与由帧缩小部311缩小的帧进行对照，搜索到模板图像类似帧的候选之后，再次将模板图像与没有被缩小的帧进行对照，判断是否可以将模板图像类似帧的候选作为模板图像类似帧来采用。
场景变化检测部314检测包含有在图像对照部313中搜索到的模板图像类似帧的场景的开始以及结束，具备帧获取部315、像素值分布生成部316、分布差分累加值算出部317、以及场景变化判断部318。
帧获取部315从运动图像文件保持部231，获取在图像对照部313中搜索到的模板图像类似帧的前后按时间序列排列的帧。即，帧获取部315获取比在图像对照部313中搜索到的模板图像类似帧时间上靠前(过去)的帧(以下称为后方场景帧)、以及比在图像对照部313中搜索到的模板图像类似帧时间上靠后(未来)的帧(以下称为前方场景帧)。也可以设为在帧获取部315中先获取前方场景帧以及后方场景帧的某个。
帧获取部315在图像对照部313中搜索到模板帧图像类似帧的情况下，从图像对照部313接收其意思的通知。然后，当接收该意思的通知时，帧获取部315从运动图像文件保持部231开始前方场景帧或者后方场景帧的某个的获取。
在帧获取部315中先获取前方场景帧的情况下，当判断为在后述的场景变化判断部318中有场景的变化时，将该意思的通知给帧获取部315。当接收该通知时，帧获取部315中止前方场景帧的获取，开始后方场景帧的获取。在开始了后方场景帧的获取后，当判断为在后述的场景变化判断部318中有场景的变化并接收该意思的通知时，帧获取部315中止后方场景帧的获取。
此外，在帧获取部315中获取的帧既可以是没有在帧缩小部311中被缩小的帧，另外，也可以是在帧缩小部311中被缩小的帧。另外，如上所述，也有在帧缩小部311中每隔规定数缩小按时间序列排列的帧的情况。在该情况下，帧获取部315获取按时间序列每隔规定数排列的被缩小的帧。
像素值分布生成部316生成构成由帧获取部315获取的帧的各像素的像素值的分布。在此，像素值是指像素的亮度[0]、色差等，例如相当于YUV等。在作为像素值为Y成分(亮度)分配8位的情况下，具有0至255范围的值。在该情况下，像素值分布生成部316按由帧获取部315获取的每个帧生成各像素的Y成分(亮度)。此外，以上将像素值为Y成分(亮度)的情况作为例子进行了说明，但是也同样能够生成在像素值为U成分(亮度信号和蓝色成分的差)或者为V成分(亮度信号和红色成分的差)的情况下的分布。
分布差分累加值算出部317算出将时间序列上相邻的帧中的像素值的分布差分进行累加的分布差分累加值。例如，考虑作为像素值使用了Y成分(亮度)的情况。在该情况下，分布差分累加值算出部317在时间序列上相邻的帧中，算出例如Y成分(亮度)为0的像素分布的差分。然后，分布差分累加值算出部317对全部Y成分(亮度)的范围进行该差分的算出，算出将全部差分进行累加得到的分布差分累加值。对在像素值分布生成部316所生成的全部帧进行该处理。此外，以上将像素值为Y成分(亮度)的情况作为例子进行了说明，同样也能够生成像素值为U成分(亮度信号和蓝色成分的差)或者V成分(亮度信号和红色成分的差)的情况下的分布。
场景变化判断部318判断分布差分累加值是否超过了规定的阈值。当在场景变化判断部318中判断为分布差分累加值超过了预定的阈值时，判断为在与该分布差分累加值对应的时间序列上相邻的帧中场景发生了变化，向场景信息表320中写入与该帧相关的信息。在与写入到场景信息表320的该帧有关的信息中，例如包含该帧的帧号。
此外，在关于Y成分(亮度)、U成分(亮度信号和蓝色成分的差)以及V成分(亮度信号和红色成分的差)算出了分布差分累加值的情况下，分布差分累加值存在与Y成分(亮度)相关的分布差分累加值、与U成分(亮度信号和蓝色成分的差)相关的分布差分累加值、以及与V成分(亮度信号和红色成分的差)相关的分布差分累加值，但是在该情况下，关于各分布差值累加值设定规定的阈值。而且，也可以在与Y成分(亮度)相关的分布差分累加值、与U成分(亮度信号和蓝色成分的差)相关的分布差分累加值、以及与V成分(亮度信号和红色成分的差)相关的分布差分累加值的任一个超过对各分布差分累加值设定的阈值的情况下，与上述相同，判断为在与该分布差分累加值对应的时间序列上相邻的帧中场景发生了变化。由此，进行不仅加入了Y成分(亮度)、还加入了U成分(亮度信号和蓝色成分的差)以及V成分(亮度信号和红色成分的差)的场景的检测，因此，场景检测中的精度提高。
在场景变化判断部318中判断为有场景变化的情况下，场景变化判断部318将该意思通知给帧获取部315以及图像对照部313。此外，场景变化判断部318对一个场景判断场景的开始以及结束的2次场景变化，因此，对于一个场景进行2次向帧获取部315以及图像对照部313的通知。
在获取部315中，例如在设定为先获取后方场景帧的情况下，第1次通知成为表示检测出场景开始的意思的通知，当帧获取部315接收该通知时，中止后方场景帧的获取，开始前方场景帧的获取。然后，第2次通知成为表示检测出场景结束的意思的通知，当帧获取部315接收该通知时，中止前方场景帧的获取。
另外，图像对照部313即使接收到来自场景变化判断部318的第1次通知，也不特别地进行任何处理，但是，当接收到第2次通知时，开始暂时中止的模板图像类似帧的搜索。在该情况下，在图像对照部313中开始对照的帧是与场景的结束对应的帧的下一帧。
运动图像文件信息获取部319从保持在运动图像文件保持部231中的运动图像文件，获取包含与对应于运动图像文件的运动图像的开始以及结束有关的信息的运动图形文件信息。然后，运动图像文件信息获取部319将获取到的运动图像文件信息写入场景信息表320中。此外，作为与对应于运动图像文件的运动图像的开始以及结束有关信息，例如设想为运动图像文件的开始帧号以及结束帧号、构成与运动图像文件对应的运动图像的总帧数，但并不限于此。
场景信息表320将由运动图像文件信息获取部319获取的运动图像文件信息、以及与由场景变化检测部314检测出的场景的开始以及结束有关的信息，与每个运动图像文件相对应地保持。此外，作为与由场景变化检测部314检测出的场景的开始以及结束有关的信息，例如设想为场景的开始帧号以及结束帧号，但并不限于此。
场景时间位置显示生成部321根据与保持在场景信息表320中的运动图像文件对应的运动图像的开始及结束有关的信息、以及与场景的开始及结束有关的信息，生成表示场景相对于运动图像被播放的整个时间的时间位置的显示即场景时间位置显示。
此外，在与运动图像文件对应的运动图像中检测多个场景、某个场景的最后帧与其他场景的开始帧在时间序列上相邻的情况下，场景时间位置生成部321也可以将这两个场景结合，作为一个场景生成场景时间位置显示。
图4是表示在本发明的实施方式中选择模板图像的区域的样子的图。图4的(a)是表示播放运动图像文件的样子的图。当选择播放按钮621时，在运动显示部611中播放运动图像文件，当选择停止按钮622时，停止运动图像文件的播放。进行快进的情况下选择快进按钮624，进行后退的情况下选择后退按钮625。
在播放运动图像文件时发现了包含所希望的图像的帧的情况下，选择停止按钮622。由此，在运动图像显示部611中显示当选择了停止按钮622时所显示的帧。而且，在想要显示其他帧的情况下，选择播放按钮621、快进按钮624以及后退按钮625显示所希望的帧。
在运动图像显示部611中显示了包含所希望的图像的帧后，选择区域按钮623时，在显示画面600中显示如图4的(b)所示的区域选择图像显示612。此外，在本发明的实施方式中，作为操作方式，设想为通过直接按下显示画面进行操作输入的触摸面板方式，但是并不限于此。
图4的(b)是表示在进行图4的(a)所述的操作后选择帧区域的样子的图。显示在区域选择图像显示612中的帧区域的选择，例如利用触笔501选择点613之后，利用触笔502选择点614。当利用触笔502选择点614时，显示以将点613和点614连接的线设为对角线的区域615。包含有在该选择的区域615中的图像成为模板图像。
在表示区域615之后选择OK按钮626时，生成模板图像。另一方面，在显示区域615之后选择不同的区域的情况下，选择返回按钮627，再次对显示在区域选择图像显示612中的帧进行与上述相同的处理，由此选择区域。
图5是表示在本发明实施方式中的模板图像生成的情形的图。当选择帧中的区域时，在模板图像生成部312中切出帧中的被选择的区域，生成图5的(a)所示的模板图像631。
另外，模板图像生成部312还生成将模板图像631放大以及缩小的图像即模板图像631a至631d。模板图像631a至631d，设想为分别将模板图像631设为1.21倍、1.1倍、1.0倍、0.909倍、0.826倍。此外，在图5的(a)中，除模板图像631以外的模板图像数据只有4个，但不限于此，也可以有任意个。
在此，1.21、1.1、1.0、0.909、0.826的数列是(1.1)2、(1.1)1、(1.1)0、(1.1)-1、(1.1)-2，即，是公比为1.1的等比数列。此外，使公比变大时，使用模板图像进行图像检索时产生检索遗漏的可能性变高，另一方面，使公比变小时，使用模板图像进行图像检索时产生增加计算量的弊病。为此，公比最好是1.1左右，但是不限于此，例如也可以是1.09或1.2等。
另外，作为模板图像，不仅是放大以及缩小模板图像631后的图像数据，也可以如图5的(b)所示生成进一步旋转后的模板图像632。
图6是表示将帧633和模板图像631进行对照的样子的图。在从帧633搜索与模板图像631类似的部分时，将模板图像631和帧633进行对照。对照的结果，如果在帧633中存在与模板图像631一致或者类似的部分，则该帧633被判断为在图1中说明的模板图像类似帧。
将模板图像631和帧633进行对照时，如图6所示，例如从帧633的左上端开始进行对照。然后，例如在图6所示的右箭头方向上每次移动规定像素(例如，1个像素)，对模板图像631和帧633进行对照。此时，例如利用使用互相关函数，进行与模板图像631类似的图像是否包含在帧633中的评价。在利用该互相关函数计算出的值超过规定阈值的情况下，评价为与模板图像631类似的图像包含在帧633中。
当移动规定像素、到达右端而结束对照时，接着朝着下箭头移动规定像素(例如1个像素)，从左端起直到右端为止进行模板图像631和帧633的对照。另外，从帧633搜索与模板图像631类似的部分时，除模板图像631以外，对于放大以及缩小图5所述的模板图像631后的模板图像631a至631d、以及将模板图像631旋转规定角度后的模板图像632，也进行上述说明的对照。
此外，作为从帧633搜索与模板图像631类似的部分的方法，除如上所述对帧633的所有部分进行对照以外，也可以利用遗传算法(GA：Genetic Algorithm[0])在帧633中搜索与模板图像631类似的部分。
图7是表示本发明实施方式中的场景检测的样子的图。首先，从对通过用户的选择而生成的模板图像631和构成运动图像文件的帧进行对照，开始本发明实施方式中的场景检测。对照的结果如图7的(a)所示，在帧633的区域633a中搜索到与模板图像631类似的图像时，该帧633被设为模板图像类似帧。
图7的(b)是表示模板图像类似帧与帧检测的样子的图。在图7的(a)中，当搜索到与模板图像631对应的模板图像类似帧即帧633时，接着进行如下处理：分析在帧633的前后按时间序列排列的帧，检测场景发生变化的帧。
在该情况下，在帧获取部315中，例如获取比帧633在时间上靠前(过去)的后方场景帧634a，在像素值分布生成部316中生成构成后方场景帧634a的各像素的像素值分布。然后，在帧获取部315中进一步获取后方场景帧634b，同样在像素值分布生成部316中生成构成后方场景帧634b的各像素的像素值的分布。
其次，在分布差分累加值算出部317中，算出构成后方场景帧634a的各像素的像素值分布与构成后方场景帧634b的各像素的像素值分布的差分的累加值即分布差分累加值。在场景变化判断部318中判断该分布差分累加值是否超过了规定的阈值。
关于后方场景帧634c至634f，也依次进行以上的处理。接着，在场景变化判断部318中判断为后方场景帧634e和后方场景帧634f的分布差分累加值超过了规定阈值时，后方场景帧634e被判断为场景的开始帧。
当检测出场景的开始帧时，接着进行场景的结束帧的检测处理。在该情况下，在帧获取部315中，获取比帧633在时间上靠后(未来)的前方场景帧635a至前方场景帧635h，在前方场景帧635a至前方场景帧635h中，也进行与在后方场景帧634a至634f中说明的处理相同的处理。
然后，在场景变化判断部318中判断为前方场景帧635g和前方场景帧635h的分布差分累加值超过了规定的阈值时，前方场景帧635g被判断为场景的结束帧。
由此，检测出将从后方场景帧634f到帧633构成的后方场景帧和从帧633到前方场景帧635g构成的前方场景帧设为一体的一个场景。
当检测出一个场景时，为了搜索下一场景，再次开始模板图像和帧的对照。在该情况下，与模板图像开始对照的帧，从场景的最后帧的下一帧开始进行。在图7的(b)中场景的最后帧是前方场景帧635g，因此开始进行与模板图像631的对照的帧是前方场景帧635h。
图8是表示本发明实施方式中的构成帧的各像素的像素值的分布的生成的样子的图。图8的(a)是表示在时间序列上连续的排列在第n个的帧636a和排列在第n+1个的帧636b。
由帧获取部315获取帧636a时，在像素值分布生成部316中生成构成帧636a的各像素的像素值的分布。在图8的(b)中示出作为像素值考虑了亮度的情况下的各像素的亮度分布的一例。在下面叙述该图8的(b)所示的各像素的亮度分布的生成方法的一例。首先，分析从图8的(a)中示出的帧636a的像素a1到k8的各像素的亮度。通过分析各像素中的亮度来求出帧636a的像素a1到k8的各像素的亮度，接着按每个亮度进行整理求出呈现各亮度的像素的数量。即，分别求出亮度为0的像素的数量至亮度为255的像素的数量。由此，如图8的(b)那样生成横轴为亮度x、纵轴为与亮度x对应的像素的数量Hn(x)的各像素的亮度分布。
同样地，由帧获取部315获取帧636b时，在像素值分布生成部316中生成构成帧636b的各像素的像素值的分布。在图8的(c)中示出作为像素值考虑了亮度的情况下的各像素的亮度分布的一例。在图8的(c)的情况下也与图8的(b)的情况同样，如图8的(c)那样生成横轴为亮度x、纵轴为与亮度x对应的像素的数量Hn+1(x)的各像素的亮度分布。
然后，在分布差分累加值算出部317中根据以下的式1所示的式子，算出与亮度有关的分布差分累加值FHD。此外，式1对于所有的像素值，对与任意帧中的亮度x对应的像素的数量Hn(x)和与该任意帧在时间序列上相邻的帧中的亮度x对应的像素的数量Hn+ 1(x)的差的绝对值进行累加。
式1
FHD = Σ x | H n + 1 ( x ) - H n ( x ) |
在与该亮度有关的分布差分累加值FHD超过规定阈值的情况下，判断为在与该亮度有关的分布差分累加值FHD所对应的帧中有场景的变化，检测出场景的开始或者结束。
此外，在图8中，说明了作为像素值考虑了亮度的情况，但是在作为像素值考虑了色差的情况下，也能够利用相同的方法生成各像素的色差的分布，算出与色差有关的分布差分累加值FHD。在设为算出与亮度有关的分布差分累加值FHD和与色差有关的分布差分累加值FHD的结构的情况下，如果对与亮度有关的分布差分累加值FHD和与色差有关的分布差分累加值FHD设定各自的阈值，则能够检测适当考虑了亮度和色差的场景变化。
图9是表示作为构成运动图像文件的帧的集合的帧组与缩小的帧之间的对应的图。在帧缩小部311中缩小的帧既可以如在图3中所述，是构成运动图像文件的所有帧，也可以如在图9中所示，是构成运动图像文件的帧的一部分。
例如，在帧缩小部311中缩小每隔3个排列的帧637a至637h，生成缩小帧638a至638h。在该情况下，在运动图像文件保持部231中保持帧组以及缩小帧638a至638h。
如上所述，使用该缩小的帧进行图像的对照、算出分布差分累加值的情况下，像素的数量减少，因此图像对照部313、像素值分布生成部316以及分布差分累加值算出部317中的运算量也被减少。由此，可进行高速的场景检测。
图10是表示本发明实施方式中的场景信息表320的内容的图。场景信息表320包含表示运动图像文件的文件名的文件名3201、总帧数3202、以及场景信息3210。
总帧数3202是构成与运动图像文件对应的运动图像的帧的总数。该总帧数3202是表示运动图像文件的播放时间的信息。另外，也可以是如下的结构：作为表示运动图像的播放时间的信息，取代总帧数3202，在场景信息表320中保持与运动图像文件对应的运动图像的开始帧号以及结束帧号。
场景信息3210是与在构成运动图像文件的运动图像中包含的场景的开始和结束有关的信息。作为与在构成该运动图像文件的运动图像中包含的场景的开始和结束有关的信息，设想为场景的开始帧号以及结束帧号。保持与场景的数量相当的该场景信息3210。
图11是表示本发明实施方式中的场景时间位置显示的图。图11的(a)是表示显示在显示画面600中的场景时间位置显示组640的图。在图4的(b)中，在选择帧的区域之后选择OK按钮626时，进行场景检测等的处理，显示画面600如图11的(a)所示，显示场景时间位置显示组640。
在图11的(a)中，作为显示的一例，使得一次显示与3个运动图像文件对应的场景时间位置显示641至643。对保持在运动图像文件保持部231中的所有的运动图像文件进行场景检测，生成与运动图像文件的数量相当的场景时间位置显示。在图11的(a)中，作为场景时间位置显示组640，显示相对于文件A的场景时间位置显示641、相对于文件B的场景时间位置显示642、以及相对于文件C的场景时间位置显示643。
关于其他的运动图像文件，在想要显示场景时间位置显示的情况下，选择“下一步”按钮651或者“返回”按钮652时，例如在显示画面600中显示对(未图示)文件D的场景时间位置显示等。然后，在场景时间位置显示组640中选择了被着色显示的部分的某一个之后选择播放按钮653时，播放与该场景对应的运动图像。
图11的(b)是表示与显示在场景时间位置显示组640中的文件A对应的场景时间位置显示641的结构的图。场景时间位置显示641中的从开始位置661到结束位置662为止的长度是文件A的总播放时间。
在文件A中检测出2个场景，首先，场景#1的663a表示在构成运动图像文件的帧中作为模板图像类似帧而搜索到的帧的位置。另外，场景#1的664a表示场景#1的结束帧的位置。另外，场景#1的665a表示场景#1的开始帧的位置。由用从665a到663a为止的长度来表示的后方场景、和用从663a到664a为止的长度来表示的前方场景构成了场景#1。
关于场景#2也相同，场景#2的663b表示在构成运动图像文件的帧中作为模板图像类似帧而搜索到的帧的位置。另外，场景#2的664b表示场景#2的结束帧的位置。另外，场景#2的665b表示场景#2的开始帧的位置。由用从665b到663b为止的长度来表示的后方场景、和用从663b到664b为止的长度来表示的前方场景构成场景#2。
图12是表示本发明实施方式中的场景结合的样子的图。在图12的(a)所示的场景信息表320中，场景#1的结束帧号和场景#2的开始帧号连续。根据该场景信息表320生成的场景时间位置显示是图12的(b)所示的场景时间位置显示670。
在该场景时间位置显示670中，场景#1的开始帧的位置是位置673，结束帧的位置是位置674。另外，场景#2的开始帧的位置是位置674、结束帧的位置是位置675。这样，在2个帧连续的情况下，由于各种原因一个场景被分成二个场景的可能性很高。因此，在二个场景连续的情况下，最好将该二个场景合起来作为一个场景进行处理。
因此，在本发明的实施方式中，在二个场景连续的情况下，将二个场景作为一个场景进行处理。具体地说，存在如图12的(a)的场景信息表320的情况下，在场景时间位置显示生成部321中，如图12的(c)那样，重写场景信息表。即，将场景#1的结束帧号重写为场景#2的结束帧号，消除场景#2。由此，根据该场景信息表320生成的场景时间位置显示只显示一个场景。
此外，也可以如下构成：不像图12的(c)那样，重写场景信息表320的内容，而是在二个场景连续的情况下，作为一个场景，在场景时间位置显示生成部321中生成图12的(d)所示的场景时间位置显示。
接着，参照附图说明本发明实施方式中的摄像装置100的动作。
图13是表示本发明实施方式中的场景检测的流程的图。首先，在从构成运动图像文件的帧接受所希望的帧的选择之后，接受该帧的区域的选择(步骤S911)。根据在步骤S911中选择的区域，在模板图像生成部312中生成模板图像(S912)。具体地说，通过从帧中切出在模板图像生成部312中选择的区域来生成模板图像。另外，将该切出的图像放大或缩小的图像也作为模板图像生成。
其次，图像对照部313从在运动图像文件保持部231中保持的运动图像文件，获取应该与模板图像对照的帧(步骤S913)。在本发明的实施方式中，作为应该与模板图像对照的帧而获取的帧有2种。第1种是位于场景的结束帧下一个的帧。该帧是在进行了场景检测的情况下获取的。第2种是位于刚刚进行了对照的帧的下一个的帧。该帧是在图像对照部313中没有搜索到模板图像类似帧的情况下获取的。然后，图像对照部313将在步骤S913中获取的帧与模板图像进行对照(步骤S914)。
在步骤S914中的对照之后，在图像对照部313中判断帧中的任意图像和模板图像之间的类似的程度(评分)是否超过了规定的阈值(步骤S915)。当判断为帧中的图像和模板图像之间的类似的程度(评分)超过了规定阈值时，场景变化检测部314获取在该帧之前按时间序列排列的帧，进行场景开始的帧的检测(步骤S916)。
其次，场景变化检测部314获取在该帧之后按时间序列排列的帧，进行结束场景的帧的检测(步骤S917)。通过以上的步骤S916以及917的处理，检测出场景的开始和结束，检测出一个场景。此外，步骤S916和步骤S917，先进行哪一个都可以。
其次，判断在步骤S916中检测出的场景的最后帧是否是运动图像文件的最后帧(步骤S918)。当判断为在步骤S916被检测出的场景的最后帧不是运动图像文件的最后帧时，在步骤S913中获取场景的最后帧的下一帧，进行步骤S914之后的处理。
另一方面，当判断为该场景的最后帧是运动图像文件的最后帧时，判断在运动图像文件保持部231中是否保持了没有进行从步骤S913到917为止的处理的运动图像文件(步骤S919)。当判断为在运动图像文件保持部231中保持了没有进行从步骤S913到917为止的处理的运动图像文件时，返回到步骤S913。另一方面，当判断为在运动图像文件保持部231中未保持没有进行从步骤S913到917为止的处理的运动图像文件时，结束场景检测处理。
另外，在步骤S915中，当判断为在图像对照部313中帧中的图像和模板图像之间的类似的程度(评分)没有超过规定的阈值时，该帧不被设为模板图像类似帧，不进行步骤S916以及917的场景检测处理。在该情况下，接着判断在步骤S914中进行对照的帧是否是运动图像文件的最后帧(步骤S918)。
当判断为在步骤S914进行对照的帧不是运动图像文件的最后帧时，返回步骤S913，获取位于该帧的下一个的帧，进行步骤S914及其后的处理。另一方面，当判断为在步骤S914中进行对照的帧是运动图像文件的最后帧时，在步骤S919中判断是否存在没有进行从步骤S913到917为止的处理的运动图像文件。步骤S919中的处理如上所述。
这样，根据本发明的实施方式，可通过在区域选择接受部601中选择在构成运动图像文件的任一帧中包含的对象物，生成模板图像，可根据帧的各像素的像素值的分布，由场景变化检测部314检测在该模板图像中包含的对象物出现的一个场景。然后，根据帧的各像素的像素值的分布进行场景的检测，由此能够进行基于人的视觉性感觉的场景检测，因此，在运动图像中能够准确地检测出作为目标的对象物出现的一个场景。另外，利用帧缩小部311来缩小在检测中使用的帧，由此能够减少图像对照部313中的包含与模板图像类似的图像的帧的搜索处理的运算量、以及场景变化检测部314中的场景变化检测处理的运算量，因此可进行高速的场景检测。
此外，在本发明的实施方式中，以摄像装置为例进行了说明，但是在能够进行其他图像处理的电子设备中可应用本发明。
此外，本发明的实施方式表示用于具体实现本发明的一例，与如下所示的权利要求书中的发明特定事项分别具有对应关系，但是不限于此，在不超出本发明要旨的范围内能够实施种种变形。
此外，在权利要求1中，运动图像文件保持单元例如对应于运动图像文件保持部231。另外，区域选择接受单元例如对应于区域选择接受部601。另外，模板图像生成单元例如对应于模板图像生成部312。另外，图像对照单元例如对应于图像对照部313。另外，场景变化检测单元例如对应于场景变化检测部314。
另外，在权利要求3中，帧获取单元例如对应于帧获取部315。另外，像素值分布生成单元例如对应于像素值分布生成部316。另外，分布差分累加值算出单元例如对应于分布差分累加值算出部317。另外，场景变化判断单元例如对应于场景变化判断部318。
另外，在权利要求6中，帧缩小单元例如对应于帧缩小部311。
另外，在权利要求8中，运动图像文件信息获取单元例如对应于运动图像文件信息获取部319。另外，场景信息表例如对应于场景信息表320。另外，场景时间位置显示生成单元例如对应于场景时间位置显示生成部321。
另外，在权利要求11中，摄像单元例如对应于摄像部10。运动图像文件保持单元例如对应于运动图像文件保持部231。另外，区域选择接受单元例如对应于区域选择接受部601。另外，模板图像生成单元例如对应于模板图像生成部312。另外，图像对照单元例如对应于图像对照部313。另外，场景变化检测单元例如对应于场景变化检测部314。运动图像文件信息获取单元例如对应于运动图像文件信息获取部319。另外，场景信息表例如对应于场景信息表320。另外，场景时间位置显示生成单元例如对应于场景时间位置显示生成部321。另外，显示单元例如对应于显示部61。
另外，在权利要求12以及13中，运动图像文件保持单元例如对应于运动图像文件保持部231。另外，区域选择接受过程例如对应于步骤S911。另外，模板图像生成过程例如对应于步骤S912。另外，图像对照过程例如对应于步骤S913至915。另外，场景变化检测过程例如对应于步骤S916以及917。
此外，在本发明的实施方式中所述的处理过程可以理解为具有这些一系列过程的方法，另外，也可以理解为用于使计算机执行这些一系列过程的程序以及存储该程序的记录介质。

Claims (12)

1.一种图像处理装置，其特征在于，具备：
运动图像文件保持单元，其保持运动图像文件；
区域选择接受单元，其接受对构成上述运动图像文件的帧的任一个的规定区域的选择；
模板图像生成单元，将接受上述选择的区域的图像作为模板图像生成；
图像对照单元，其从上述运动图像文件保持单元获取上述帧，将各上述帧与上述模板图像进行对照，搜索包含与上述模板图像类似的图像的帧，其中，当帧中的图像和模板图像之间的类似的程度超过了规定值时，将该帧判断为包含与该模板图像类似的图像的帧；以及
场景变化检测单元，其检测场景的开始以及结束，其中，该场景包含有在上述图像对照单元中搜索到的帧。
2.根据权利要求1所述的图像处理装置，其特征在于，
上述图像对照单元在上述帧的获取中，从上述运动图像文件保持单元获取按时间序列每隔规定数排列的帧。
3.根据权利要求1所述的图像处理装置，其特征在于，
上述场景变化检测单元具备：
帧获取单元，其从上述运动图像文件保持单元获取在上述图像对照单元中搜索到的帧的前后按时间序列排列的帧；
像素值分布生成单元，其生成构成由上述帧获取单元获取的帧的各像素的像素值的分布；
分布差分累加值算出单元，其算出将上述时间序列上相邻的帧中的上述像素值的分布的差分进行累加得到的分布差分累加值；以及
场景变化判断单元，其判断上述分布差分累加值是否超过规定阈值，在上述分布差分累加值超过规定阈值的情况下，设为上述场景发生了变化，将与超过上述规定阈值的上述分布差分累加值对应的帧判断为上述场景的开始帧或者结束帧。
4.根据权利要求3所述的图像处理装置，其特征在于，
上述帧获取单元从上述运动图像文件保持单元，获取在上述图像对照单元中搜索到的帧的前后按时间序列每隔规定数排列的帧。
5.根据权利要求3所述的图像处理装置，其特征在于，
上述像素值分布生成单元使用作为上述像素值利用YUV来表示的量，生成构成由上述帧获取单元获取的帧的各像素的YUV的各个成分的分布，
上述分布差分累加值算出单元，对上述YUV的每个成分算出对与上述时间序列上相邻的帧中的上述YUV的各个成分相关的分布的差分进行累加得到的Y成分分布差累加值、U成分分布差累加值以及V成分分布差累加值，作为上述分布差分累加值，
上述场景变化判断单元分别对上述Y成分分布差累加值、U成分分布差累加值以及V成分分布差累加值判断是否超过所设定的上述规定阈值，在上述Y成分分布差累加值、U成分分布差累加值以及V成分分布差累加值的任一个超过规定阈值的情况下，设为上述场景发生了变化，将与超过上述规定阈值的上述Y成分分布差累加值、U成分分布差累加值或者V成分分布差累加值对应的帧判断为上述场景的开始帧或者结束帧。
6.根据权利要求1所述的图像处理装置，其特征在于，
还具备帧缩小单元，该帧缩小单元缩小构成上述运动图像文件的帧，
上述运动图像文件保持单元还保持在上述帧缩小单元中缩小的帧，
上述区域选择接受单元接受对上述缩小的帧的任一个的规定区域的选择，
上述图像对照单元将上述缩小的帧与上述模板图像进行对照，搜索包含与上述模板图像类似的图像的上述缩小的帧，其中，当缩小的帧中的图像和模板图像之间的类似的程度超过了规定值时，将该缩小的帧判断为包含与该模板图像类似的图像的缩小的帧，
上述场景变化检测单元检测场景的开始以及结束，其中，该场景包含利用上述缩小的帧在上述图像对照单元中搜索到的缩小的帧。
7.根据权利要求6所述的图像处理装置，其特征在于，
上述帧缩小单元每隔规定数缩小按时间序列排列的上述帧。
8.根据权利要求1所述的图像处理装置，其特征在于，还具备：
运动图像文件信息获取单元，其从保持在上述运动图像文件保持单元中的上述运动图像文件，获取包含与对应于上述运动图像文件的运动图像的开始以及结束相关的信息的运动图像文件信息；
场景信息表，其将由上述运动图像文件信息获取单元获取的上述运动图像文件信息、以及与由上述场景变化检测单元检测出的上述场景的开始以及结束相关的信息，与每个上述运动图像文件相对应地保持；
场景时间位置显示生成单元，其根据与对应于上述运动图像文件的运动图像的开始以及结束相关的信息、以及与上述场景的开始以及结束相关的信息，生成表示上述场景相对于上述运动图像被播放的整个时间的时间位置的显示即场景时间位置显示。
9.根据权利要求8所述的图像处理装置，其特征在于，
上述运动图像文件信息获取单元，作为与对应于上述运动图像文件的运动图像的开始以及结束相关的信息，获取在上述运动图像文件中包含的帧数，
上述场景信息表，作为与由上述场景检测单元检测出的上述场景的开始以及结束相关的信息，保持上述场景的开始帧号以及结束帧号，
上述场景时间位置显示生成单元根据在上述运动图像文件中包含的帧数、上述场景的开始帧号以及结束帧号，生成上述场景时间位置显示。
10.根据权利要求8所述的图像处理装置，其特征在于，
上述场景时间位置显示生成单元在前一场景的结束以及下一场景的开始连续的情况下，将上述前一场景以及上述下一场景作为一个场景，生成上述场景时间位置显示。
11.一种图像处理装置，其特征在于，具备：
摄像单元，其拍摄被摄体生成运动图像文件；
运动图像文件保持单元，其保持上述运动图像文件；
区域选择接受单元，其接受对构成上述运动图像文件的帧的任一个的规定区域的选择；
模板图像生成单元，其将接受上述选择的区域的图像作为模板图像生成；
图像对照单元，其从上述运动图像文件保持单元获取上述帧，将各上述帧与上述模板图像进行对照，搜索包含与上述模板图像类似的图像的帧，其中，当帧中的图像和模板图像之间的类似的程度超过了规定值时，将该帧判断为包含与该模板图像类似的图像的帧；
场景变化检测单元，其检测场景的开始以及结束，其中，该场景包含有在上述图像对照单元中搜索到的帧；
运动图像文件信息获取单元，其从保持在上述运动图像文件保持单元中的上述运动图像文件，获取包含与对应于上述运动图像文件的运动图像的开始以及结束相关的信息的运动图像文件信息；
场景信息表，其将由上述运动图像文件信息获取单元获取的上述运动图像文件信息、以及与由上述场景变化检测单元检测出的上述场景的开始以及结束相关的信息，与每个上述运动图像文件相对应地保持；
场景时间位置显示生成单元，其根据与对应于上述运动图像文件的运动图像的开始以及结束相关的信息、以及与上述场景的开始以及结束相关的信息，生成表示上述场景对上述运动图像被播放的整个时间的时间位置的显示即场景时间位置显示；以及
显示单元，显示上述场景时间位置显示。
12.一种处理方法，是具备保持运动图像文件的运动图像文件保持单元的图像处理装置中的处理方法，其特征在于，具备：
区域选择接受过程，接受对构成上述运动图像文件的帧的任一个的规定区域的选择；
模板图像生成过程，将接受上述选择的区域的图像作为模板图像生成；
图像对照过程，从上述运动图像文件保持单元获取上述帧，将各上述帧与上述模板图像进行对照，搜索包含与上述模板图像类似的图像的帧，其中，当帧中的图像和模板图像之间的类似的程度超过了规定值时，将该帧判断为包含与该模板图像类似的图像的帧；以及
场景变化检测过程，检测场景的开始以及结束，其中，该场景包含有在上述图像对照过程中搜索到的帧。
CNB2006101411251A 2005-10-11 2006-10-11 图像处理装置 Expired - Fee Related CN100555328C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005296052 2005-10-11
JP2005296052A JP4241709B2 (ja) 2005-10-11 2005-10-11 画像処理装置

Publications (2)

Publication Number Publication Date
CN1949271A CN1949271A (zh) 2007-04-18
CN100555328C true CN100555328C (zh) 2009-10-28

Family

ID=37401110

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2006101411251A Expired - Fee Related CN100555328C (zh) 2005-10-11 2006-10-11 图像处理装置

Country Status (6)

Country Link
US (2) US8014566B2 (zh)
EP (1) EP1775664A3 (zh)
JP (1) JP4241709B2 (zh)
KR (1) KR20070040313A (zh)
CN (1) CN100555328C (zh)
TW (1) TW200737971A (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090123086A1 (en) * 2005-10-31 2009-05-14 Sharp Kabushiki Kaisha View environment control system
US8588583B2 (en) * 2007-08-22 2013-11-19 Adobe Systems Incorporated Systems and methods for interactive video frame selection
KR101268987B1 (ko) * 2007-09-11 2013-05-29 삼성전자주식회사 메타데이터를 자동적으로 생성/갱신하는 멀티미디어 데이터기록 방법 및 장치
US20090150570A1 (en) * 2007-12-07 2009-06-11 Bo Tao Sharing Assets Between UPnP Networks
US20090150520A1 (en) * 2007-12-07 2009-06-11 David Garcia Transmitting Assets In UPnP Networks To Remote Servers
US20090150481A1 (en) * 2007-12-08 2009-06-11 David Garcia Organizing And Publishing Assets In UPnP Networks
US20090150480A1 (en) * 2007-12-08 2009-06-11 Xiyuan Xia Publishing Assets Of Dynamic Nature In UPnP Networks
US8224029B2 (en) 2008-03-03 2012-07-17 Videoiq, Inc. Object matching for tracking, indexing, and search
CN101527040B (zh) * 2008-03-05 2012-12-19 华为终端有限公司 图像处理方法及系统
JP4798172B2 (ja) * 2008-05-20 2011-10-19 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置、画像出力方法および画像出力プログラム
US8237807B2 (en) * 2008-07-24 2012-08-07 Apple Inc. Image capturing device with touch screen for adjusting camera settings
JP5066037B2 (ja) 2008-09-02 2012-11-07 株式会社日立製作所 情報処理装置
CN101370126B (zh) * 2008-09-24 2012-02-08 中兴通讯股份有限公司 一种监控录像的播放控制方法及系统
JP5035292B2 (ja) * 2009-05-11 2012-09-26 株式会社ニコン 撮像装置、データ生成装置、およびデータ生成プログラム
JP5733565B2 (ja) * 2011-03-18 2015-06-10 ソニー株式会社 画像処理装置および方法、並びにプログラム
CN103518221B (zh) 2011-05-11 2017-03-08 I<sup>3</sup>研究所股份有限公司 图像处理装置及方法、用计算机程序进行图像处理的方法
JP5852370B2 (ja) * 2011-08-31 2016-02-03 キヤノン株式会社 画像処理装置、画像処理装置の制御方法およびプログラム
CN107257481B (zh) * 2011-10-27 2019-12-10 太阳专利托管公司 编码方法、解码方法、编码装置、解码装置
EP2773111B1 (en) 2011-10-28 2020-01-01 Sun Patent Trust Image encoding method, image decoding method, image encoding device, and image decoding device
CN107948656B (zh) 2011-10-28 2021-06-01 太阳专利托管公司 图像解码方法及图像解码装置
JP5754458B2 (ja) * 2013-03-22 2015-07-29 カシオ計算機株式会社 動画像抽出装置、動画像抽出方法及びプログラム
US9158996B2 (en) * 2013-09-12 2015-10-13 Kabushiki Kaisha Toshiba Learning image collection apparatus, learning apparatus, and target object detection apparatus
JP2016039496A (ja) * 2014-08-07 2016-03-22 株式会社リコー 画像処理装置、画像処理システム、画像処理方法およびプログラム
CN105469361B (zh) * 2015-12-24 2018-12-04 努比亚技术有限公司 一种局部图像处理方法和装置
US10089725B2 (en) * 2016-02-09 2018-10-02 Google Llc Electronic display stabilization at a graphics processing unit
KR102535411B1 (ko) 2017-11-16 2023-05-23 삼성전자주식회사 메트릭 학습 기반의 데이터 분류와 관련된 장치 및 그 방법
CN107977675A (zh) * 2017-11-24 2018-05-01 清华大学 一种视觉模板自动提取方法、系统及存储介质
CN108810413B (zh) * 2018-06-15 2020-12-01 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
US10789990B2 (en) * 2018-12-17 2020-09-29 International Business Machines Corporation Video data learning and prediction
CN116013091B (zh) * 2023-03-24 2023-07-07 山东康威大数据科技有限公司 基于车流量大数据的隧道监控系统与分析方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5625715A (en) * 1990-09-07 1997-04-29 U.S. Philips Corporation Method and apparatus for encoding pictures including a moving object
CN1238889A (zh) * 1996-11-27 1999-12-15 普林斯顿视频图像公司 使用图像纹理模板的运动跟踪
US6380986B1 (en) * 1998-05-19 2002-04-30 Nippon Telegraph And Telephone Corporation Motion vector search method and apparatus
CN1517942A (zh) * 2003-01-27 2004-08-04 ���µ�����ҵ��ʽ���� 图像处理方法及其装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3221028B2 (ja) 1992-01-29 2001-10-22 株式会社日立製作所 動画像情報のキーワード付与方法
EP0567059B1 (en) * 1992-04-24 1998-12-02 Hitachi, Ltd. Object recognition system using image processing
JP3332166B2 (ja) 1992-09-30 2002-10-07 株式会社日立製作所 動画像の検索装置
US6195497B1 (en) * 1993-10-25 2001-02-27 Hitachi, Ltd. Associated image retrieving apparatus and method
US5912980A (en) * 1995-07-13 1999-06-15 Hunke; H. Martin Target acquisition and tracking
JP3454396B2 (ja) 1995-10-11 2003-10-06 株式会社日立製作所 動画像の変化点検出制御方法とそれに基づく再生停止制御方法およびそれらを用いた動画像の編集システム
US6560281B1 (en) * 1998-02-24 2003-05-06 Xerox Corporation Method and apparatus for generating a condensed version of a video sequence including desired affordances
US6724915B1 (en) * 1998-03-13 2004-04-20 Siemens Corporate Research, Inc. Method for tracking a video object in a time-ordered sequence of image frames
JP3615657B2 (ja) * 1998-05-27 2005-02-02 株式会社日立製作所 映像検索方法及び装置ならびに記録媒体
KR100327103B1 (ko) 1998-06-03 2002-09-17 한국전자통신연구원 사용자의조력및물체추적에의한영상객체분할방법
US6912327B1 (en) * 1999-01-28 2005-06-28 Kabushiki Kaisha Toshiba Imagine information describing method, video retrieval method, video reproducing method, and video reproducing apparatus
US6408301B1 (en) * 1999-02-23 2002-06-18 Eastman Kodak Company Interactive image storage, indexing and retrieval system
JP2000312310A (ja) 1999-04-27 2000-11-07 Hitachi Denshi Ltd 動画像編集方法
JP2000350156A (ja) * 1999-06-09 2000-12-15 Hitachi Ltd 動画像情報の記憶方法及びこれを記録した記録媒体
JP2003087772A (ja) 2001-09-10 2003-03-20 Fujitsu Ltd 画像制御装置
US6965645B2 (en) * 2001-09-25 2005-11-15 Microsoft Corporation Content-based characterization of video frame sequences
KR100411347B1 (ko) 2001-12-29 2003-12-18 엘지전자 주식회사 동영상 비디오의 장면전환 검출 방법
JP4082664B2 (ja) 2002-09-20 2008-04-30 Ｋｄｄｉ株式会社 映像検索装置
WO2006097681A1 (en) * 2005-03-17 2006-09-21 British Telecommunications Public Limited Company Method of tracking objects in a video sequence
US7809192B2 (en) * 2005-05-09 2010-10-05 Like.Com System and method for recognizing objects from images and identifying relevancy amongst images and information
EP1916538A3 (en) * 2006-10-27 2011-02-16 Panasonic Electric Works Co., Ltd. Target moving object tracking device
US8355048B2 (en) * 2007-03-16 2013-01-15 Nikon Corporation Subject tracking computer program product, subject tracking device and camera
KR101183781B1 (ko) * 2009-12-22 2012-09-17 삼성전자주식회사 실시간 카메라 모션 추정을 이용한 물체 검출/추적 방법 및 단말

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5625715A (en) * 1990-09-07 1997-04-29 U.S. Philips Corporation Method and apparatus for encoding pictures including a moving object
CN1238889A (zh) * 1996-11-27 1999-12-15 普林斯顿视频图像公司 使用图像纹理模板的运动跟踪
US6380986B1 (en) * 1998-05-19 2002-04-30 Nippon Telegraph And Telephone Corporation Motion vector search method and apparatus
CN1517942A (zh) * 2003-01-27 2004-08-04 ���µ�����ҵ��ʽ���� 图像处理方法及其装置

Also Published As

Publication number Publication date
EP1775664A2 (en) 2007-04-18
KR20070040313A (ko) 2007-04-16
US8014566B2 (en) 2011-09-06
EP1775664A3 (en) 2009-11-04
US20070127773A1 (en) 2007-06-07
JP2007110193A (ja) 2007-04-26
US20110199513A1 (en) 2011-08-18
TW200737971A (en) 2007-10-01
CN1949271A (zh) 2007-04-18
US8160299B2 (en) 2012-04-17
JP4241709B2 (ja) 2009-03-18
TWI334729B (zh) 2010-12-11

Similar Documents

Publication Publication Date Title
CN100555328C (zh) 图像处理装置
JP2698695B2 (ja) 動画像編集装置
CN100524308C (zh) 图像处理装置和处理方法
CN101989173B (zh) 图像编辑装置和图像编辑方法
CN100413326C (zh) 摄像装置和控制摄像装置的方法
CN102200992A (zh) 图像显示设备和图像显示方法
CN102217304A (zh) 拍摄装置和摘要再生方法
US20070106675A1 (en) Electronic apparatus, playback management method, display control apparatus, and display control method
CN101330573B (zh) 图像处理设备和图像处理方法
JP2008061032A (ja) 画像再生装置及び画像再生方法、並びにコンピュータ・プログラム
CN1921600B (zh) 幻灯数据生成装置、幻灯生成装置及其控制方法
JP3258924B2 (ja) シーン管理装置、シーン管理方法及び記録媒体
US6272279B1 (en) Editing method of moving images, editing apparatus and storage medium storing its editing method program
US20070086751A1 (en) Image reproduction apparatus
CN88100163A (zh) 光学唱片重放装置
CN101127836B (zh) 图像拾取装置和图像拾取方法
US7555197B2 (en) Image processing apparatus
CN100525420C (zh) 记录方法和记录装置
CN102651801A (zh) 图像处理装置
US20070280647A1 (en) Moving Image Processing Device, Moving Image Processing Method And Program
CN1462553A (zh) 复制和处理音视频信息的方法和装置
JP2904535B2 (ja) 画像編集装置
JP3319728B2 (ja) 動画アルバム作成装置、動画アルバム作成方法、および動画アルバム作成プログラムを記録した記録媒体
CN102547077A (zh) 编辑设备、编辑方法、和编辑程序
JP3868025B2 (ja) 画像編集装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20091028

Termination date: 20151011

EXPY Termination of patent right or utility model