CN101855633A - 影像分析装置、基于影像分析的人物间的评价值计算方法 - Google Patents

影像分析装置、基于影像分析的人物间的评价值计算方法 Download PDF

Info

Publication number
CN101855633A
CN101855633A CN200880101177A CN200880101177A CN101855633A CN 101855633 A CN101855633 A CN 101855633A CN 200880101177 A CN200880101177 A CN 200880101177A CN 200880101177 A CN200880101177 A CN 200880101177A CN 101855633 A CN101855633 A CN 101855633A
Authority
CN
China
Prior art keywords
scene
evaluation
estimate
cameraman
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200880101177A
Other languages
English (en)
Inventor
矶贝邦昭
河村岳
川端章裕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN101855633A publication Critical patent/CN101855633A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8233—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a character code signal

Abstract

一种影像分析装置，具有：识别部，按每个场景识别被拍摄到的各个被摄影者；场景评价值计算部，计算拍摄有至少一个被摄影者的场景的场景评价值；场景选择部，从全部场景中，选择与由所述识别部识别到的全部被摄影者中的所述一个被摄影者有关的场景；和人物评价值计算不，对由场景选择部选择的场景的场景评价值进行合计，计算与所述一个被摄影者有关的人物评价值。

Description

影像分析装置、基于影像分析的人物间的评价值计算方法
技术领域
本发明涉及影像数据的分析技术，尤其涉及通过分析影像数据来获得用于对影像数据进行分类和整理的指标的技术。
背景技术
近年来，伴随影像数据的数字化，影像数据的存储量飞跃性地增大。因此，需要通过较少的劳动对影像数据进行分类和整理的技术。
以往，对于静止图像数据，提供了对分类及整理进行支持的算法软件。在JPEG形式的静止图像数据中附加Exif信息，该Exif信息包含摄影时刻及通过GPS获取的位置信息(以下称为GPS数据)等，在以往的算法软件中，有的算法软件把Exif信息中包含的信息用作分类及整理的指标。
并且，作为静止图像数据的其他分类方法有使用图像分析的分类方法(例如专利文献1)。在专利文献1公开的技术中，采用人脸识别技术等识别被拍摄到静止图像数据中的人物，根据拍摄了某个人物的静止图像数据的张数来估计人物间的关系，把表示所估计的人物间的关系的值用作静止图像数据的分类及整理的指标。
在这种技术中，成为分类及整理的对象的静止图像数据是基于个人用途所拍摄到的静止图像数据，是通过在摄影者所计划的时间点备好摄影器材、并主动地确定图像的构图而拍摄的纪念摄影等而得到的。通过纪念摄影等得到的个人用途的静止图像数据，虽然摄影时间点在时间上是离散的，但是能够预想到一同来到摄影现场的人物被恰当地摄入到该画面内。因此，能够估计摄影时的人物间的关系。
专利文献1：日本特开2006-81021号公报(第5项、图1)
可是，作为影像数据，例如动态图像数据包括在具有时间宽度的期间中连续拍摄到的许多静止图像(以下称为帧图像)。
但是，因为摄影技术或被摄影者的移动，在贯穿某个摄影期间的全部的帧图像中，未必能够连续拍摄到相同的被摄体人物。因此，虽然一同来到摄影场所，但有时同行者处于摄影范围之外，也存在该人物未被摄入到图像内的帧图像。
在此，把专利文献1公开的技术适用于动态图像数据，识别被摄入到动态图像数据中包含的每个帧图像中的人物，根据拍摄了某个人物的帧图像的张数来估计人物间的关系时，尽管一同来到摄影场所，但有可能进行较低的评价。
因此，通过把这种技术适用于动态图像数据得到的指标值，不会成为用于对动态图像数据进行分类及整理的合适的指标。
尤其在采用可佩戴式终端进行摄影时，用户不会主动地进行摄影动作，所以该问题变得更加显著。
发明内容
本发明的目的在于，提供一种通过影像分析来获得适合于对影像数据进行分类及整理的指标的影像分析装置、以及用于获得适合于对影像数据进行分类及整理的指标的评价值计算方法。
为了达到上述目的，本发明的一个实施方式的影像分析装置具有：识别单元，按每个场景识别被拍摄到的各个被摄影者；场景评价值计算单元，计算拍摄有至少一个被摄影者的场景的场景评价值；场景选择单元，从全部场景中，选择与由所述识别单元识别到的全部被摄影者中的所述一个被摄影者有关的场景；和人物评价值计算单元，对由场景选择单元选择的场景的场景评价值进行合计，计算与所述一个被摄影者有关的人物评价值。
其中，所说场景，例如指在动态图像数据中由多个帧图像构成的部分、或多个静止图像数据的集合等。
发明效果
根据用于解决上述问题的方案中记述的结构，不是按照帧图像单位，而是可以按照场景单位来识别被摄影者，能够通过合计对每个场景算出的场景评价值，计算与被识别到的被摄影者有关的人物评价值。
因此，例如对于在某个场景中被识别到的被摄影者，即使存在在该场景中没有被拍摄到的期间，由于是对每个场景计算场景评价值，所以该场景中的场景评价值对于在该场景中被识别到的全部被摄影者是一样的。
因而，尽管一同来到摄影场所，但由于存在没有被拍摄到的期间，使得与摄影者的关系被估计得极低的可能性比较小，能够获得适合于将影像数据分类并整理的指标。
可是，摄影者本人虽然不会被摄入到图像数据中，但是实际上应该是一同来到该摄影场所了。但是，在专利文献1公开的技术中，不能把被摄体人物间的关系作为对象，来评价被摄体与没有出现在图像中的摄影者之间的关系。
因此，在本发明的一个实施方式的影像分析装置中，优选地，所述人物评价值是表示拍摄有所述一个被摄影者的场景的摄影者与所述一个被摄影者之间的亲密关系的值，所述人物评价值越大，表示亲密度越高。
由此，能够计算拍摄有一个被摄影者的场景的摄影者与该一个被摄影者之间的关系，作为人物评价值。因此，例如在由多人交替地拍摄了动态图像数据的情况下，也能够计算各个摄影者与预定的被摄影者之间的亲密关系，作为人物评价值。
并且，在本发明的一个实施方式的影像分析装置中，也可以是，与所述一个被摄影者有关的场景是所述一个被摄影者和其他被摄影者一起被拍摄到的场景，所述人物评价值是表示所述一个被摄影者与所述其他被摄影者之间的亲密关系的值，所述人物评价值越大，表示亲密度越高。
由此，能够计算一个被摄影者与其他被摄影者之间的亲密关系，作为人物评价值。
附图说明
图1是表示适用了本发明的影像分析装置2的分类整理系统的图。
图2是表示影像分析装置2的硬件结构的图。
图3是表示影像分析装置2的功能结构的框图。
图4是表示影像分析装置2的具体功能结构的框图。
图5是表示影像分析装置2的具体功能结构的框图。
图6是表示轮廓信息的图。
图7是表示基准场所信息的数据结构的图。
图8是表示动态图像数据与构成该动态图像数据的帧图像与场景的关系的图。
图9是表示场景时间信息的图。
图10是表示场景参加者信息的图。
图11是表示场景场所信息的图。
图12是表示场景摄影者信息的图。
图13是表示与场景ID相对应的时间加权值的图。
图14是表示与场景ID相对应的参加人数加权值的图。
图15是表示与场景ID相对应的场所加权值的图。
图16是表示相似场景信息的图。
图17是表示摄影者-参加者之间共用场景信息的图。
图18是表示摄影者-参加者之间评价值信息的图。
图19是表示参加者之间共用场景信息的图。
图20是表示参加者之间评价值信息的图。
图21是表示评价值信息的图。
图22是表示显示方法的一例的图。
图23是表示显示方法的一例的图。
图24是表示影像分析装置2的整体动作的流程图。
图25是表示场景分割处理的流程图。
图26是表示场景信息提取处理的流程图。
图27是表示场景内摄影者-参加者之间评价值计算处理的流程图。
图28是表示场景内摄影者-参加者之间评价值计算处理的流程图。
图29是表示场景内参加者之间评价值计算处理的流程图。
图30是表示场景内参加者之间评价值计算处理的流程图。
图31是表示影像分析装置2a的功能结构的框图。
图32是表示摄影者信息的图。
图33是表示参加者信息的图。
图34是表示评价值信息的图。
图35是表示影像分析装置2a的动作的流程图。
标号说明
1数据记录装置；2影像分析装置；201 CPU；202 ROM；203 CRT；204键盘；205通信I/F；206 RAM；207 HDD；208鼠标；310数据库部；311动态图像数据存储部；312声音/人脸信息存储部；313地图信息存储部；314基准场所信息存储部；315摄影者信息存储部；320记录信息分析部；321场景时间信息生成部；322场景参加者信息生成部；322a参加者信息生成部；323场景场所信息生成部；324场景摄影者信息生成部；324a摄影者信息生成部；330场景加权值计算部；331场景时间加权值计算部；332场景参加人数加权值计算部；333场景场所加权值计算部；340相似场景信息提取部；341提取部；342场景信息存储部；350场景内摄影者-参加者之间评价值计算部；350a摄影者-参加者之间评价值计算部；351共用场景检测部；352场景内评价值计算部；360场景内参加者之间评价值计算部；360a参加者之间评价值计算部；361共用场景检测部；362场景内评价值计算部；370、370a评价值信息存储部。
具体实施方式
以下，根据附图说明本发明的实施方式。
(第1实施方式)
1.整体结构
首先，说明分类整理系统的概况。
图1是表示适用了本发明的影像分析装置2的分类整理系统的图。读入程序并作为影像分析装置发挥作用的电脑2，通过USB线缆等与可佩戴式照相机及摄像机等的数据记录装置1连接。
数据记录装置1构成为包括照相机及麦克风，将通过照相机及麦克风拍摄到的动态图像数据记录在记录介质中。并且，将所记录的动态图像数据输出给影像分析装置2。
影像分析装置2分析由数据记录装置1输入的动态图像数据，并获得用于对动态图像数据进行分析及整理的指标。具体地讲，对于按照预定的时间区间划分动态图像数据后得到的每个场景，识别被拍摄到的被摄影者，并且计算场景评价值。其中，所说被拍摄到的被摄影者，指在构成该场景的帧图像中被摄入了一定数以上的被摄影者、或者以一定比例以上的比例被摄入的被摄影者。并且，检测全部场景中与识别到的被摄影者中的任一个被摄影者相关的场景，并合计所检测到的场景的场景评价值，由此计算与一个被摄影者相关的人物评价值。
并且，影像分析装置2根据与各个被摄影者相关的人物评价值，对动态图像数据进行分类及整理。
另外，在本实施方式中，尤其把利用可佩戴式照相机拍摄到的动态图像数据作为影像分析的对象。
下面，使用附图具体说明本实施方式的影像分析装置2。
2.影像分析装置2的结构
2.1.硬件结构
图2是表示影像分析装置2的硬件结构的图。影像分析装置2构成为包括CPU201、ROM202、RAM206、CRT显示器203、键盘204、通信接口205、硬盘207、鼠标208，它们通过总线连接并能够互相通信。
通信接口205例如与USB线缆等连接，从数据记录装置1获取动态图像数据。
在硬盘207中，除了OS之外，还存储有：算法软件；图像识别软件；与场景分割、场景加权值的生成、场景信息的提取及评价值的计算等的影像分析相关的控制程序；与可佩戴式照相机及摄像机等数据记录装置1通信、并从这些设备读入动态图像数据、向这些设备输出动态图像数据的应用软件；浏览器这样的程序等；以及在影像分析中使用的各种数据及阈值。并且，随电源开启一起，起动OS，然后根据来自键盘204及鼠标208的起动指示，将所指定的程序读出到RAM206中，由CPU201解读并执行。
2.2.功能结构
下面，说明CPU201按照存储在硬盘207中的控制程序进行动作从而实现的功能。图3是表示影像分析装置2的功能结构的一例的框图。如该图所示，影像分析装置2构成为包括数据库部310、记录信息分析部320、场景加权值计算部330、相似场景信息提取部340、场景内摄影者-参加者之间评价值计算部350、场景内参加者之间评价值计算部360、和评价值信息存储部370。
数据库部310具体地讲构成为包括硬盘207等，用于存储动态图像数据等在本发明中使用的各种数据。关于各种数据的具体内容将在“2.2.1.数据库部310”中说明。
记录信息分析部320从数据库部310读出动态图像数据，并分析所读出的动态图像数据，生成在场景加权值计算部330计算加权值时以及相似场景信息提取部340提取相似场景时所使用的、与场景相关的各种信息。将所生成的各种信息输出给场景加权值计算部330和相似场景信息提取部340。关于动态图像数据的分析方法、以及根据分析而生成的各种信息的具体内容，将在“2.2.2.记录信息分析部320”中说明。
场景加权值计算部330使用由记录信息分析部320输入的各种信息，按每个场景计算加权值，并输出给摄影者-参加者之间评价值计算部350和参加者之间评价值计算部360。具体内容将在“2.2.3.场景加权值计算部330”中说明。
相似场景信息提取部340根据由记录信息分析部320输入的各种信息，从存储在数据库部310中的与其他动态图像数据相关的场景的场景信息中，提取和与作为分析对象的动态图像数据相关的场景的场景信息相似的场景信息，将提取结果输出给摄影者-参加者之间评价值计算部350和参加者之间评价值计算部360。
场景内摄影者-参加者之间评价值计算部350根据由场景加权值计算部330输入的每个场景的加权值、和由相似场景信息提取部340输入的场景信息，计算表示摄影者与参加者之间的关系的评价值，并输出给评价值信息存储部370，其中该摄影者是拍摄了成为分析对象的动态图像数据的人物，该参加者是作为摄影对象加入到场景中的参加者。
场景内参加者之间评价值计算部360根据由场景加权值计算部330输入的每个场景的加权值、和由相似场景信息提取部340输入的场景信息，计算表示作为摄影对象而加入到场景中的参加者彼此间的关系的评价值，并输出给评价值信息存储部370。
评价值信息存储部370将由摄影者-参加者之间评价值计算部350输入的摄影者-参加者之间的评价值、和由参加者之间评价值计算部360输入的参加者彼此间的评价值相对应地存储。具体内容将在“2.2.7.评价值信息存储部370”中说明。
下面，使用图4、5更具体地说明各个功能单元。图4、5用于更具体地表示图3所示的功能框图。
2.2.1.数据库部310
数据库部310如图4所示构成为包括动态图像数据存储部311、声音/人脸信息存储部312、地图信息存储部313、基准场所信息存储部314和摄影者信息存储部315。
动态图像数据存储部311将由数据记录装置1拍摄到的动态图像数据，与由数据记录装置1所具备的GPS获取到的位置信息(纬度和经度)相对应地存储。
声音/人脸信息存储部312存储在认证时使用的多个人物的轮廓(profile)信息。图6是表示轮廓信息的图。轮廓信息如图6所示，将在人脸图像认证时使用的多个人物的人脸信息及在讲话人认证时使用的多个人物的声音信息、与用于识别人物的人物识别符对应起来。
地图信息存储部313存储将位置信息与该位置的名称(以下称为“地标信息”)及类别相对应而得到的地图信息。
基准场所信息存储部314存储基准场所信息。图7是表示基准场所信息的数据结构的图。基准场所信息如图7所示，将例如自己家及公司等用户平常经常所在的场所等与其位置信息对应起来。
摄影者信息存储部315存储用于识别拍摄了影像的人物的人物识别符。在利用可佩戴式照相机拍摄了影像的情况下，表示该可佩戴式照相机的所有者的人物识别符被预先存储为摄影者。
2.2.2.记录信息分析部320
记录信息分析部320如图4所示构成为包括场景时间信息生成部321、场景参加者信息生成部322、场景场所信息生成部323和场景摄影者信息生成部324。
场景时间信息生成部321从动态图像数据存储部311读出应该分析的动态图像数据，将所读出的动态图像数据划分为多个场景，并生成场景时间信息。将所生成的场景时间信息输出给场景参加者信息生成部322、场景场所信息生成部323、场景摄影者信息生成部324、提取部341和时间加权值计算部331。
在将动态图像数据划分为多个场景时，例如在根据图像信息划分为场景的情况下，场景时间信息生成部321对构成动态图像数据的每个帧图像顺序地分析图像信息，并根据摄影图像的整体上的颜色变化来确定分割点。具体内容将在“4.2.场景分割处理”中说明。
图8是表示动态图像数据与构成该动态图像数据的帧图像与场景的关系的图。如图8所示，存储在动态图像数据存储部311中的文件名aaa的动态图像数据，例如按照时刻10:00、15:00、18:00分别被划分为场景。各个场景的点是帧图像的整体上的颜色变化较大的点。这样可知，文件名aaa的动态图像数据由沿时间轴方向划分了该动态图像数据而得到的4个场景构成，各个场景由多个帧图像构成。
图9是表示场景时间信息的图。场景时间信息如图9所示，对于多个场景中的各个场景，将识别该场景的场景识别符(ID)与该场景的时间信息(开始时刻和结束时刻)对应起来。其中，所说场景ID是对各个场景唯一确定的值即可。
场景参加者信息生成部322在从动态图像数据存储部311读出应该分析的动态图像数据后，对利用由场景时间信息生成部321输入的场景时间信息所表示的每个场景，把在该场景中与摄影者一起行动的人物确定为参加者，并生成场景参加者信息。将所生成的参加者信息输出给参加人数加权值计算部332、提取部341和共用场景检测部351、361。
为了确定各个场景中的参加者，首先对构成该场景的每个帧图像进行人物的人脸图像的检测。具体地讲，进行轮廓(contour)提取处理和颜色分布分析处理等公知的图像处理，检测该图像中包含的一个以上的被摄体，并根据表示检测到的各个被摄体的图像检测人物的人脸固有的特征量，由此根据该图像检测表示人物的人脸的部分图像。
并且，采用人脸图像识别技术，判定所检测到的人物的人脸图像对应于存储在声音/人脸信息存储部312中的人物的人脸图像中的哪个人脸图像。当在该场景中包括被判定为对应的人物的人脸图像的帧图像为一定数量以上的情况下，判定该人物是该场景的参加者。
另外，即使是人脸图像没有存储在声音/人脸信息存储部312中的人物，只要在该场景中出现了预定数以上，则也可以判定为参加者，该情况时，可以将被判定为参加者的人物的人脸图像新追加到声音/人脸信息存储部312中。
图10是表示场景参加者信息的图。场景参加者信息如图10所示，对于多个场景中的各个场景，将识别该场景的场景识别符(ID)与表示被判定为该场景的参加者的人物的参加者ID对应起来。其中，所说参加者ID，是对各个参加者唯一确定的值即可。
场景场所信息生成部323在从动态图像数据存储部311读出与应该分析的动态图像数据相对应的位置信息后，根据位置信息，对利用由场景时间信息生成部321输入的场景时间信息表示的每个场景，生成场景场所信息，将所生成的场景场所信息输出给提取部341和场所加权值计算部333。
具体地讲，根据与存储在动态图像数据存储部311中的动态图像数据相对应的GPS数据，检测对应各个场景的时刻的位置信息，将该位置信息与存储在地图信息存储部313中的地图信息进行核对，根据地图信息获得与该位置信息相对应的地标信息。
图11是表示场景场所信息的图。场景场所信息如图11所示，对于多个场景中的各个场景，将识别该场景的场景识别符(ID)与该场景的纬度和经度及地标信息对应起来
场景摄影者信息生成部324在从动态图像数据存储部311读出应该分析的动态图像数据后，对利用由场景时间信息生成部321输入的场景时间信息表示的每个场景，将拍摄了该场景的人物确定为摄影者，并生成场景摄影者信息。
具体地讲，将利用存储在摄影者信息存储部315中的场景摄影者信息表示的人物，判定为拍摄了该场景的摄影者。另外，场景摄影者信息在拍摄动态图像数据时，预先由用户输入并与该动态图像数据相对应地进行存储。
图12是表示场景摄影者信息的图。场景摄影者信息如图12所示，对于多个场景中的各个场景，将识别该场景的场景识别符(ID)与表示判定为该场景的摄影者的人物的摄影者ID对应起来。其中，所说摄影者ID，是对各个场景唯一确定的值即可。在本实施方式中，把利用可佩戴式照相机拍摄到的动态图像数据作为对象，所以摄影者是固定的，与场景无关。
2.2.3.场景加权值计算部330
场景加权值计算部330如图4、5所示构成为包括场景时间加权值计算部331、场景参加人数加权值计算部332和场景场所加权值计算部333。
场景时间加权值计算部331根据由场景时间信息生成部321输入的场景时间信息，对每个场景计算时间加权值。具体地讲，根据对应各个场景ID的时间信息分别生成时间长度，根据时间长度计算各个场景的时间加权值。例如，在时间长度越长使加权越大的情况下，时间加权值RT如下面的(式1)所示，是向场景的时间长度T乘以常数α(此处为0.2)而得到的值。
RT＝αT  ……(式1)
图13是表示与场景ID相对应的时间加权值的图。其中，场景ID2、3、4的时间加权值分别是1.0、0.6、0.2。
场景时间加权值计算部331将各个时间加权值输出给场景内评价值计算部352、362。
场景参加人数加权值计算部332根据由场景参加者信息生成部322输入的场景参加者信息，对每个场景计算参加人数加权值。具体地讲，为了计算参加人数加权值，首先对每个场景合计参加者的人数。此时，摄影者本人也作为参加人数被计数。然后，根据参加人数计算各个场景中的参加人数加权值。例如，在场景中的场景人数越少使加权越大的情况下，参加人数加权值RN如下面的(式2)所示，是向场景参加人数N的倒数乘以常数β(此处为2)而得到的值。
RN＝β(1/N)  ……(式2)
图14是表示与场景ID相对应的参加人数加权值的图。其中，场景ID2、3、4的参加人数加权值分别是0.66、0.5、1.0。
场景参加人数加权值计算部332将各个参加人数加权值输出给场景内评价值计算部352、362。
场景场所加权值计算部333根据由场景场所信息生成部323输入的场景场所信息、和由基准场所信息存储部314输入的基准场所信息，对每个场景计算场所加权值。具体地讲，根据场景场所信息的各个场景的纬度和经度、以及基准场所信息表示的场所的纬度和经度，计算两点间的距离，然后，根据各个场景中的位置与基准位置之间的距离，计算各个场景中的场所加权值。例如，在距基准位置的距离越远使加权越大、反之当在基准位置共用场景时使加权变小的情况下，场所加权系数RL如下面的(式3)所示，是向距基准位置的距离L乘以常数γ(此处为0.1)而得到的值。
RL＝γL  ……(式3)
图15是表示与场景ID相对应的场所加权值的图。其中，场景ID2、3、4的场所加权值分别是0、1.0、0.5。
场景场所加权值计算部333将各个场所加权值输出给场景内评价值计算部352、362。
2.2.4.相似场景信息提取部340
相似场景信息提取部340如图4所示构成为包括提取部341和场景信息存储部342。
提取部341在从记录信息分析部320获取与场景相关的各种信息后，访问存储在场景信息存储部342中的与过去的其他动态图像数据相关的场景的场景信息，并计算该场景信息和与作为分析对象的动态图像数据相关的场景的场景信息之间的相似度。作为场景信息的相似度可以计算时间相似度、参加者相似度及场所相似度。
时间相似度可以根据场景被记录的年月日、以及时间段的相似性来计算。
参加者相似度可以根据场景参加者信息的一致程度来计算。
场所相似度可以根据场景场所信息表示的距离的远近、以及地标信息的相似性来计算。
提取部341把存储在场景信息存储部342中的场景信息中、所算出的各个相似度比较高的上位的一定数的场景信息，作为相似场景信息，输出给摄影者-参加者之间评价值计算部350和参加者之间评价值计算部360。
图16是表示相似场景信息的图。相似场景信息如图16所示由场景ID、场景时间信息、场景参加者信息及场景场所信息构成。各个相似场景信息以按照相似度从高到低的顺序排列的形式被输出。另外，也可以一并输出表示各个相似场景信息的相似度的数值。
场景信息存储部342存储与过去的其他动态图像数据相关的场景的场景信息。
2.2.5.场景内摄影者-参加者之间评价值计算部350
场景内摄影者-参加者之间评价值计算部350如图5所示构成为包括共用场景检测部351、和场景内评价值计算部352。
共用场景检测部351根据由场景参加者信息生成部322输入的场景参加者信息、和由场景摄影者信息生成部324输入的场景摄影者信息，检测除摄影者之外的参加者人数为一人以上的场景，作为共用场景，并且生成摄影者-参加者之间共用场景信息。将所生成的摄影者-参加者之间共用场景信息发送给场景内评价值计算部352。
图17是表示摄影者-参加者之间共用场景信息的图。由于全部场景中都有摄影者参加，所以对于各个场景，生成摄影者与各个参加者的组。另外，对于除摄影者之外的参加者人数为0的场景，不进行评价值计算处理，所以不会被检测为共用场景。因此，场景ID1的场景由于不存在除摄影者之外的参加者，所以也不存在摄影者-参加者之间的组合，不会被检测为共用场景，而被去除。
场景内评价值计算部352根据由场景加权值计算部330输入的各个加权值、由相似场景信息提取部340输入的相似场景信息、和由共用场景检测部351输入的摄影者-参加者之间共用场景信息，计算场景内摄影者-参加者之间评价值信息，并输出给评价值信息存储部370。关于处理的具体内容将在“4.4.场景内摄影者-参加者之间评价值计算处理”中说明。
图18是表示场景内摄影者-参加者之间评价值信息的图。场景内摄影者-参加者之间评价值信息构成为除摄影者-参加者之间共用场景信息之外，还包括场景评价值(根据时间加权值、参加人数加权值、场所加权值及相似场景信息，对每个场景计算的场景加权系数)、和参加者评价值(对各个场景中的每个参加者计算的参加者加权系数)。
各个场景的每个参加者的场景评价值能够通过计算该场景的时间加权值、参加人数加权值、场所加权值、场景加权系数及参加者加权系数的合计值而得到。
另外，在计算场景评价值时，也可以在对时间加权值、参加人数加权值及场所加权值进行加权后，计算合计值。具体内容将在“4.4.场景内摄影者-参加者之间评价值计算处理”中说明。此处为了简单起见，假设不进行加权即计算各个值的合计值来继续说明。
其中，把某个场景S中的摄影者X与参加者A的评价值设为RAS，全部场景中的摄影者X与参加者A的评价值RA如(式5)所示，可以根据各个共用场景的评价值RAn的总和算出。
RA＝∑RAn  ……(式5)
即，通过合计在全部场景中相同的摄影者与参加者的组的评价值，最终能够对参加者ID A、B、C、D分别获得评价值5.76、2.66、5.8、2.85。
2.2.6.场景内参加者之间评价值计算部360
场景内参加者之间评价值计算部360如图5所示构成为包括共用场景检测部361、和场景内评价值计算部362。
共用场景检测部361根据由场景参加者信息生成部322输入的场景参加者信息，检测除摄影者之外的参加者人数为二人以上的场景，作为共用场景，并且生成参加者之间共用场景信息。将所生成的参加者之间共用场景信息发送给场景内评价值计算部362。
图19是表示参加者之间共用场景信息的图。对于除摄影者之外的参加者为1人以下的场景，不进行参加者之间的评价值计算处理，所以不会被检测为共用场景。因此，场景ID4的场景由于除摄影者之外的参加者是1人，所以也不存在参加者之间的组合，不会被检测为共用场景，而被去除。在参加者人数为3人以上的情况下，生成全部参加者彼此的组合。
场景内评价值计算部362根据由场景加权值计算部330输入的各个加权值、由相似场景信息提取部340输入的相似场景信息、和由共用场景检测部361输入的参加者之间共用场景信息，计算场景内参加者之间评价值信息，并输出给评价值信息存储部370。关于处理的具体内容将在“4.5.场景内参加者之间评价值计算处理”中说明。
图20是表示场景内参加者之间评价值信息的图。场景内参加者之间评价值信息构成为除参加者之间共用场景信息之外，还包括场景评价值(根据时间加权值、参加人数加权值、场所加权值及相似场景信息，对每个场景计算的场景加权系数)、和参加者评价值(对各个场景中的每个参加者计算的参加者加权系数)。
各个场景的参加者彼此的每个组合的场景评价值，能够通过计算该场景的时间加权值、参加人数加权值、场所加权值、场景加权系数及参加者加权系数的合计值而得到。
另外，在计算场景评价值时，也可以在对时间加权值、参加人数加权值及场所加权值进行加权后，计算合计值。具体内容将在“4.5.场景内参加者之间评价值计算处理”中说明。此处为了简单起见，假设不进行加权即计算各个值的合计值来继续说明。
其中，把某个场景S中的参加者A与参加者B之间的评价值设为RA-BS，全部场景中的参加者A与参加者B之间的评价值RA-B如(式6)所示，可以根据各个共用场景的评价值RA-Bn的总和算出。
RA-B＝∑RA-Bn  ……(式6)
即，通过合计在全部场景中相同的参加者彼此的组的评价值，最终参加者A和B之间的评价值为2.41，同样，参加者A和C之间的评价值为2.9，参加者A和D之间的评价值为2.85，参加者B和C以及参加者B和D之间的评价值为0，参加者C和D之间的评价值为2.85。
2.2.7.评价值信息存储部370
评价值信息存储部370存储由场景内评价值计算部352、362输入的评价值信息。图21是表示存储的评价值信息的图。如图21所示，整合地存储场景内摄影者-参加者之间评价值信息和场景内参加者之间评价值信息。
3.用户接口(UI)
下面，说明利用在本实施方式中示出的评价值计算方法能够实现的显示方法的一例。
图22是按照评价值的数值从大到小的顺序排列表示各个参加者的图标1001～1004并进行显示的图。评价值最高的人物C(图标1001)被显示在最上位。图标可以使用参加者的人脸图像，也可以利用字符来显示姓名。这样，通过采用图22所示的显示方法，摄影者能够容易判定哪个人物的评价值高，能够推测与各个人物之间的亲密程度。
在图22的左侧所示的画面中，在用户选择了表示人物的图标1001～1004中的某一个图标后，转入图22的右侧所示的画面。图22的右侧所示的画面是选择了人物C的情况的示例。在选择人物显示区域1005中显示表示被选择的人物的图标1001，并且对被选择的人物所参加的场景，按照评价值的数值从大到小的顺序排列并进行显示(1006～1008)。其中，评价值最高的场景3(1006)被显示在最上位。在表示各个场景的区域内，场景中包含的图像数据中的几个图像数据被显示为缩略图像(1009、1010)。作为缩略图像优选选择摄入了被选择的人物C的图像。这样，通过采用图22所示的显示方法，摄影者能够容易判定与选择人物最亲密地行动的场景是哪个场景。
在图22的右侧所示的画面中，在选择场景1006～1008中的某一个场景后，从在该场景的开头时刻拍摄到的动态图像数据开始顺序进行显示。
下面，图23是以各个人物彼此的组合的评价值为基础，在显示区域1101内配置表示摄影者X(1102)和参加者A、B、C、D(1103～1106)的图标并进行显示的图。评价值越高的组合，使图标彼此的距离越近地进行显示。相反，评价值越低的组合、及没有产生评价值的也就是没有共用场景的人物彼此，使距离远来进行显示时。这样，通过采用图23所示的显示方法，在摄影者与参加者之间的组合中，能够容易从视觉上掌握哪个人物与哪个人物之间的评价值高。
另外，也可以是，在图23中选择表示人物的图标1102～1106，由此转入显示如图22的右侧所示的选择人物所参加的场景的画面。
4.影像分析装置2的动作
4.1.主例程
下面，说明本发明的影像分析装置2的动作。图24是表示影像分析装置2的整体动作的流程图。在该流程图中，j是用于在成为分析对象的动态图像数据中确定一个场景的变量，N表示该动态图像数据中的场景总数。
首先，场景时间信息生成部321对存储在动态图像数据存储部311中的动态图像数据进行后面叙述的场景分割处理，将该动态图像数据划分为多个场景(步骤S101)。
在场景分割处理之后，将用于确定是第几个场景的变量j的值初始化为1(步骤S102)，对第j个场景生成场景参加者信息、场景场所信息和场景摄影者信息(步骤S103)。
判定变量j的值是否达到场景总数N(步骤S104)，在没有达到场景总数N时(步骤S104：否)，将变量j计数1(步骤S105)，并转入步骤S103。
在达到场景总数N时(步骤S104：是)，分别计算时间加权值、参加人数加权值及场所加权值(步骤S106)，并且进行后面叙述的场景信息提取处理(步骤S107)。
在场景信息提取处理之后，进行后面叙述的场景内摄影者-参加者之间评价值计算处理及场景内参加者之间评价值计算处理(步骤S108、109)，将通过这些处理而算出的评价值信息存储在评价值信息存储部370中(步骤S110)。
4.2.场景分割处理
下面，说明场景分割处理。图25是表示场景分割处理的流程图。在该流程图中，i是用于在成为分析对象的动态图像数据中确定一个帧图像的变量，M表示该动态图像数据中的帧图像的总数。
首先，场景时间信息生成部321将用于确定是第几个帧图像的变量i的值初始化为1(步骤S201)，计算第i个帧图像中的各个像素具有的亮度的积算值(步骤S202)。
判定所算出的积算值是否为预定的阈值以上(步骤S203)，在积算值小于阈值时(步骤S203：否)，将i计数1(步骤S204)，并转入步骤S202。
在积算值为阈值以上时(步骤S203：是)，把该第i个帧图像作为场景的分割点(步骤S205)。
判定i的值是否达到帧图像的总数M(步骤S206)，在没有达到时(步骤S206：否)，将i计数1(步骤S204)，并转入步骤S202。
在达到时(步骤S206：是)，以判定为分割点的帧图像为基础生成场景时间信息(步骤S207)。
4.3.场景信息提取处理
下面，说明场景信息提取处理。图26是表示场景信息提取处理的流程图。在该流程图中，j是用于在成为分析对象的动态图像数据中确定一个场景信息的变量，k是表示存储在场景信息存储部342中的过去的一个场景信息的变量，N表示成为分析对象的动态图像数据的场景信息的总数，P表示过去的场景信息的总数。
首先，相似场景信息提取部340从记录信息分析部320获取场景时间信息、场景参加者信息及场景场所信息(步骤S301)。
将用于确定是第几个场景信息的变量j的值和用于确定是第几个过去场景信息的变量k的值分别初始化为1(步骤S302、303)，计算第k个过去场景信息与第j个场景信息之间的各种相似度(步骤S304)。计算所算出的各种相似度的合计值(步骤S305)，并判定k的值是否达到过去的场景信息的总数P(步骤S306)。
在没有达到时(步骤S306：否)，将k计数1(步骤S307)，并转入步骤S304。
在达到时(步骤S306：是)，根据各种相似度的合计值的大小，进行各个过去场景信息的分类(sorting)(步骤S308)，根据分类结果，从上位开始选择预定数量的、相似度的值为预定的阈值以上的过去场景信息(步骤S309)。
判定j的值是否达到场景信息的总数N(步骤S310)，在没有达到时(步骤S310：否)，将j计数1(步骤S311)，并转入步骤S303。
在达到时(步骤S310：是)，把对每个场景选择的过去场景信息作为相似场景信息，输出给场景内评价值计算部352、362(步骤S312)。
4.4.场景内摄影者-参加者之间评价值计算处理
下面，使用图27、28说明在场景内摄影者-参加者之间评价值计算部350中计算摄影者与参加者之间的评价值R时的处理。图27、28是表示场景内摄影者-参加者之间评价值计算处理的流程图。在该流程图中，m是表示能够成为评价值的计算对象的一个场景的变量，n是用于在场景m中确定一个参加者的变量，S表示能够成为评价值的计算对象的场景的总数，Tm表示场景m中的参加者人数的总数。
首先，场景内评价值计算部352从相似场景信息提取部340获取对每个场景提取到的相似场景信息(步骤S401)，将变量m的值初始化为1(步骤S402)。根据对应于第m个场景的相似场景信息，对相似场景中包含在过去的预定期间内的场景数量进行计数(步骤S403)，计算与计数得到的数值对应的场景加权系数WS(步骤S404)。例如，如果在过去1年内共用相似的场景的频度高，则将该场景的评价值调整为更高的值。
根据相似场景信息，对与第m个场景的地标信息一致的相似场景数量进行计数(步骤S405)，计算对应该数量的场所加权系数WL(步骤S406)。例如，如果过去在相同场所拍摄的相似场景多，则将针对在该场所拍摄的场景的评价值调整为更高的值。
从场景加权值计算部330获取各个场景的时间加权值RT、参加人数加权值RN和场所加权值RL，使各个加权值规格化，然后分别乘以加权系数并进行相加，再加算场景加权系数WS，由此计算场景m中的场景评价值R(步骤S407)。其中，关于场景加权系数WS和场所加权系数WL，使用在步骤S404、406计算的值。关于时间加权系数WT和参加人数加权系数WN，是在想要重视各个项目的哪个项目并计算评价值的情况下设定的。
(式4)表示在步骤S407的场景评价值R的计算式。
R＝WS+WTRT+WNRN+WLRL  ……(式4)
然后，将变量n的值初始化为1(步骤S408)，根据相似场景信息，对含有参加者n的相似场景数量进行计数(步骤S409)。计算与计数得到的数值对应的参加者加权系数WHn(步骤S410)，并与场景评价值Rn相加，由此计算每个参加者n的评价值Rn(步骤S411)。例如，进行调整以使得越是在过去的相似场景中经常出现的参加者，计算出越高的评价值。
判定n的值是否达到场景m中的参加者人数的总数Tm(步骤S412)，在没有达到时(步骤S412：否)，将n计数1(步骤S413)，并转入步骤S409。
在达到时(步骤S412：是)，判定m的值是否达到S(步骤S414)，在没有达到时(步骤S414：否)，将m计数1(步骤S415)，并转入步骤S403。在达到时(步骤S414：是)，在各个摄影者与参加者的组中，合计相同的摄影者与参加者的组的评价值(步骤S416)。
4.5.场景内参加者之间评价值计算处理
下面，使用图29、30说明在场景内参加者之间评价值计算部360中计算参加者彼此的评价值R时的动作。图29、30是表示场景内参加者之间评价值计算处理的流程图。在该流程图中，m是表示可能成为评价值的计算对象的一个场景的变量，I是用于在场景m中确定一个参加者的组合的变量，S表示可能成为评价值的计算对象的场景的总数，Um表示场景m中的参加者的组合的总数。步骤S501～507与场景内摄影者-参加者之间评价值计算部350的步骤S401～407为止的步骤相同，所以省略说明。
在步骤S507，在计算了场景评价值R后，将变量I的值初始化为1(步骤S508)，根据相似场景信息，对含有利用变量I表示的参加者的组的相似场景数量进行计数(步骤S509)。
计算与计数得到的数值对应的参加者加权系数WHI(步骤S510)，并与场景评价值RI相加，由此计算利用变量I表示的参加者之间的评价值RI(步骤S511)。例如，进行调整以使得越是在过去的相似场景中经常一起出现的参加者彼此，计算出越高的评价值。
判定I的值是否达到场景m中的参加者的组合的总数Um(步骤S512)，在没有达到时(步骤S512：否)，将I计数1(步骤S513)，并转入步骤S509。
在达到时(步骤S512：是)，判定m的值是否达到S(步骤S514)，在没有达到时(步骤S514：否)，将m计数1(步骤S515)，并转入步骤S503。在达到时(步骤S514：是)，在各个参加者的组中，合计相同的参加者彼此的组的评价值(步骤S516)。
根据以上所述的本实施方式，能够计算与按照将动态图像数据沿时间轴方向划分后的场景单位识别到的一个参加者相关的评价值，即，能够计算该动态图像数据的摄影者与上述一个参加者之间的评价值、以及上述一个参加者与其他参加者之间的评价值。通过使用所算出的评价值来对动态图像数据进行分类及整理，能够恰当地表现与该动态图像数据相关联的人物间的关系。
并且，在计算评价值时，根据各个场景的时间长度及参加人数、位置信息，对各个场景赋予加权，并且对该场景中的每个参加者赋予加权，由此能够提高对于所算出的评价值的可靠性。
(第2实施方式)
在实施方式1中，把利用数据记录装置1拍摄到的动态图像数据作为影像分析的对象，但在本实施方式中，把多个静止图像数据(以下称为“帧图像”)设为影像分析的对象。因此，在本实施方式中，数据记录装置1例如是数码照相机(DSC)等。
5.影像分析装置2a的结构
图31是表示本实施方式的影像分析装置2a的功能结构的框图。影像分析装置2a构成为包括数据库部310a、参加者信息生成部322a、摄影者信息生成部324a、摄影者-参加者之间评价值计算部350a、参加者之间评价值计算部360a、和评价值信息存储部370a。
数据库部310a将利用数码照相机(DSC)拍摄到的多个静止图像数据，与表示该静止图像数据的拍摄位置的位置信息相对应地存储。
摄影者信息生成部324a从数据库部310a读出多个静止图像数据，对每个静止图像数据生成表示拍摄了该静止图像数据的人物的信息的摄影者信息，并输出给摄影者-参加者之间评价值计算部350a。具体地讲，预先对可能成为摄影者的多个人物和摄影设备中的每个，分别附带短距离无线标签(tag)，把在摄影时距摄影设备的距离最近、而且没有被摄入到摄影图像中的人物检测为摄影者。
图32是表示摄影者信息的图。摄影者信息如图32所示，对于多个图像中的各个图像，将识别该图像的图像识别符(ID)与表示被判定为该图像的摄影者的人物的摄影者ID对应起来。
参加者信息生成部322a从数据库部310a读出多个静止图像数据，对每个静止图像数据生成表示被摄入到该静止图像数据中的人物的信息的参加者信息，并输出给摄影者-参加者之间评价值计算部350a和参加者之间评价值计算部360a。
图33是表示参加者信息的图。参加者信息如图33所示，对于多个图像中的各个图像，将识别该图像的图像识别符(ID)与表示被判定为该图像的参加者的人物的参加者ID对应起来。在没有除了摄影者之外的参加者的情况下，不赋予参加者ID。
摄影者-参加者之间评价值计算部350a根据由摄影者信息生成部324a输入的摄影者信息、和由参加者信息生成部322a输入的参加者信息，计算各个图像中的摄影者与参加者之间的评价值，并输出给评价值信息存储部370a。具体地讲，评价值是根据拍摄有摄影者和参加者的图像的张数而算出的。
参加者之间评价值计算部360a根据由参加者信息生成部322a输入的参加者信息，计算各个图像中的参加者彼此的评价值，并输出给评价值信息存储部370a。具体地讲，评价值是根据拍摄有各个参加者的图像的张数而算出的。
评价值信息存储部370a将分别由摄影者-参加者之间评价值计算部350a和参加者之间评价值计算部360a输入的评价值相对应地存储。图34是表示评价值信息的图。例如，对于人物X与人物A的组合，在图像ID2中，人物X是摄影者，人物A是参加者，评价值增加1，在图像ID3、4中，人物A成为摄影者，人物X成为参加者，评价值增加2，所以整体上人物A与人物X之间的评价值为3。
6.影像分析装置2a的动作
下面，说明本发明的影像分析装置2a的动作。图35是表示影像分析装置2a的动作的流程图。在该流程图中，i是用于确定多个帧图像中的一个帧图像的变量，N表示帧图像的总数。
首先，将用于确定是第几个帧图像的变量i的值初始化为1(步骤S601)，对于第i个场景生成摄影者信息和参加者信息(步骤S602、603)。
判定变量i的值是否达到帧图像总数N(步骤S604)，在没有达到帧图像总数N时(步骤S604：否)，将变量i计数1(步骤S605)，并转入步骤S602。
在达到帧图像总数N时(步骤S604：是)，计算摄影者-参加者之间评价值(步骤S606)，并计算参加者之间评价值(步骤S607)。并且，将所算出的各个评价值存储在评价值信息存储部370a中(步骤S608)。
根据以上所述的本实施方式，在由多个摄影者(X、A)拍摄了静止图像数据的情况下，也能够根据摄影者信息和参加者信息，计算各个摄影者与参加者之间的评价值。
(其他变形例)
以上，根据上述实施方式说明了本发明，但本发明当然不限于上述实施方式。下面所述的情况也包含于本发明中。
(1)在上述实施方式1中，根据图像信息将动态图像数据分割为场景，但也可以分析图像信息、声音信息及传感器信息中的某信息或全部信息，并将其特征量变化的时间点判定为场景分割点。
例如，在根据声音信息将动态图像数据分割为场景的情况下，按照周围的声音状况变化大的时间点进行分割，在根据传感器信息将动态图像数据分割为场景的情况下，作为传感器信息，例如可以根据由GPS传感器获取的位置信息，按照摄影场所变化大的时间点进行分割。
并且，场景分割方法不一定是自动的，也可以按照预先设定的时间长度进行分割，还可以由用户手动进行场景分割。
(2)在上述实施方式中，参加者的判定方法采用了人脸图像识别技术，但也可以使用除此之外的方法。例如，对于声音信息，也可以采用讲话人识别技术，与预先登记的人物的声音信息进行比较，在相应的声音的人物包含于该场景中时，判定是场景的参加者。
并且，在数据记录装置1附带了GPS那样的位置信息获取传感器的情况下，也可以把与摄影者的位置信息的差分在一定距离之内的人物判定为参加者。
另外，在数据记录装置1及其周围的人物附带了短距离无线标签那样的传感器的情况下，也可以把处于在场景中能够无线通信一定时间的距离范围内的人物判定为参加者。
另外，参加者的判定方法不一定是自动的，也可以由用户手动输入参加者。
(3)在上述实施方式中，关于是否是参加者的判定，根据拍摄有预定的人物的图像在构成某个场景的帧图像中是否为一定张数以上来判定，但也可以是，在该场景中的帧图像中预定的人物以一定的比例以上的比例被拍摄了的情况下，判定为是参加者。
(4)在上述实施方式中，根据GPS检测场所信息，但关于场所信息的检测方法，也可以采用除GPS信息之外的信息。例如，也可以获取来自手机或公用无线LAN等固定基站的电波信息，把固定基站的位置信息作为各个场景的场所信息进行赋予。
另外，场所信息的检测方法不一定是自动的，也可以由用户手动输入经度和纬度、以及地标信息。
(5)在上述实施方式1中，场景摄影者信息是通过用户输入而预先存储的，但在没有存储摄影者信息的情况下，也可以从场景中检测声音信息，并采用讲话人识别技术，将检测到的声音信息与预先存储在声音/人脸信息存储部312中的人物的声音信息进行比较，并判定是否一致，并且对构成该场景的每个帧图像进行人物的人脸图像的检测，并采用人脸图像识别技术，判定检测到的人物的人脸图像是否对应于存储在声音/人脸信息存储部312中的人物的人脸图像中的哪个人脸图像。
在各个判定的结果是检测到的声音信息对应于所存储的人物的声音信息中的某一个声音信息，而且在该场景中完全没有摄入与所检测到的声音信息对应的声音的人物的情况下，判定为该人物是该场景的摄影者。
并且，作为摄影者信息的判定方法也可以采用除讲话人识别技术之外的方法。例如，在对可能成为摄影者的多个人物和摄影设备分别附带了短距离无线标签那样的传感器的情况下，也可以将在各个场景中，在距摄影设备的距离为能够拍摄的范围之内滞留了一定时间的人物，判定为摄影者。
(6)在上述实施方式中，根据时间长度计算时间加权值，但也可以不采用时间长度，而根据场景的时间段来计算时间加权值。例如，也可以是，相比平日里的白天，对休息日及夜间的场景赋予较大的加权。
(7)在上述实施方式中，根据位置信息的差分值计算场所加权值，但也可以不采用位置信息的差分值，而根据赋予给场景的地标信息所表示的场所的类型，计算场所加权值。具体地讲，预先存储使表示亲密度的评价值与地标信息所表示的场所的每种类型相对应的评价值对应表、和使地标信息所表示的场所与该场所的类型相对应的场所对应表。并且，参照场所对应表，根据地标信息所表示的场所来确定摄影场所的类型，另外参照评价值对应表来确定与摄影场所的类型相对应的评价值，并根据所确定的评价值计算场景评价值。关于评价值对应表，例如也可以对游乐园那样的娱乐场所赋予更大的加权。
(8)在上述实施方式1中，摄影者在全部场景中是同一人物，但摄影者不一定在全部场景中都是同一人物，在某个场景中是参加者的人物，有可能在其他场景中成为摄影者。该情况时，在利用数据记录装置1进行摄影时，也可以由进行摄影的用户预先输入自己的摄影者信息。
(9)在上述实施方式中，通过将时间、人数及场所的各个加权值相加来计算评价值，但也可以不将时间、人数及场所的各个加权值相加，而通过相乘来计算评价值。
并且，各个加权值不一定全部使用，也可以组合任意几个加权值来计算评价值。
并且，也可以不使用过去的相似场景信息，而是设定各种加权系数来计算评价值。
(10)在上述实施方式中，对记录在场景信息存储部342中的全部的过去场景信息计算相似度，但也可以对指定时间范围内的过去场景信息计算相似度。
(11)在上述实施方式中，通过对包含于预定时间内的相似场景数量进行计数来计算场景加权系数WS，但也可以根据相似场景信息的时间信息，检测相似场景的时间上的周期性，并计算场景加权系数WS。即，对于在每天的相同时刻发生的场景，视为日常性的场景，并将加权系数WS设为低的值。
(12)在上述实施方式中，参加人数加权系数WN是在想要重视参加人数加权系数WN来计算评价值的情况下设定的，具体地讲，也可以对含有一个被摄影者的累积场景数进行计数，并根据该数来计算参加人数加权系数WN。此时，也可以设为在含有一个被摄影者的数越大时，使参加人数加权系数WN越大。
并且，也可以根据需要而增减场景加权系数WS和场所加权系数WL。例如，在想要更重视基于场所的评价值的情况下，在增加了场所评价值的加权WL的基础上，将评价值相加。
(13)也可以对由场景内摄影者-参加者之间评价值计算部350计算的评价值、和由场景内参加者之间评价值计算部360计算的评价值，分别赋予不同的加权。
(14)在上述实施方式1中，把影像分析的对象设为在时间上连续记录的动态图像数据，但也可以设为静止图像数据。该情况时，如上所述，也可以根据静止图像的图像信息将多个静止图像划分为各个场景，还可以根据时间信息及场所信息划分为各个场景。在根据时间信息划分为场景的情况下，例如把在预定的时间段拍摄到的静止图像划分为相同场景。并且，在根据场所信息划分为场景的情况下，例如把场所信息相同的静止图像划分为相同场景。
通过按照场景单位来计算评价值，能够获得与动态图像数据时相同的效果。
(15)也可以对上述实施方式和上述变形例进行各种组合。
并且，本发明的影像分析装置当然能够在不脱离本发明的范围的情况下，按照本发明的宗旨进行各种变形或修改。
产业上的可利用性
在对利用可佩戴式照相机或摄像机、DSC等拍摄到的个人内容进行分类及整理时，把表示人物间的关系的评价值作为指标来进行分类及整理，对于这样的内容浏览软件，本发明特别有用。

Claims (18)

1.一种影像分析装置，具有：
识别单元，按每个场景识别被拍摄到的各个被摄影者；
场景评价值计算单元，计算拍摄有至少一个被摄影者的场景的场景评价值；
场景选择单元，从全部场景中，选择与由所述识别单元识别到的全部被摄影者中的所述一个被摄影者有关的场景；和
人物评价值计算单元，对由场景选择单元选择的场景的场景评价值进行合计，计算与所述一个被摄影者有关的人物评价值。
2.根据权利要求1所述的影像分析装置，
所述人物评价值是表示拍摄有所述一个被摄影者的场景的摄影者与所述一个被摄影者之间的亲密关系的值，所述人物评价值越大，表示亲密度越高。
3.根据权利要求1所述的影像分析装置，
与所述一个被摄影者有关的场景是所述一个被摄影者和其他被摄影者一起被拍摄到的场景，
所述人物评价值是表示所述一个被摄影者与所述其他被摄影者之间的亲密关系的值，所述人物评价值越大，表示亲密度越高。
4.根据权利要求1所述的影像分析装置，
在各个场景中包含表示摄影时间的时间信息，
所述场景评价值计算单元根据时间信息计算场景评价值。
5.根据权利要求4所述的影像分析装置，
所述场景评价值计算单元根据由所述时间信息得到的场景的长度计算场景评价值，
场景的长度越长，场景评价值越大。
6.根据权利要求4所述的影像分析装置，
所述场景评价值计算单元根据由所述时间信息得到的场景的摄影时间段计算场景评价值。
7.根据权利要求1所述的影像分析装置，
所述场景评价值计算单元根据在各个场景中拍摄到的被摄影者的人数计算场景评价值，
被拍摄到的被摄影者的人数越少，场景评价值越大。
8.根据权利要求1所述的影像分析装置，
在各个场景中包含表示摄影场所的场所信息，
所述场景评价值计算单元根据场所信息计算场景评价值。
9.根据权利要求8所述的影像分析装置，
还具有：
存储单元，存储将表示亲密度的评价值与摄影场所的每个种类相对应的评价值对应表、和将场所信息与由该场所信息表示的场所的种类相对应的场所对应表；和
场所确定单元，参照所述场所对应表，确定与所述场所信息相对应的摄影场所的种类，
所述场景评价值计算单元参照所述评价值对应表，确定与摄影场所的种类相对应的评价值，并根据所确定的评价值计算场景评价值。
10.根据权利要求8所述的影像分析装置，
还具有距离确定单元，该距离确定单元根据所述场所信息确定从预先存储的基准场所到摄影场所的距离，
所述场景评价值计算单元根据所确定的距离计算场景评价值，
所确定的距离越长，场景评价值越大。
11.根据权利要求1所述的影像分析装置，
在各个场景中包含表示摄影时间的时间信息和表示摄影场所的场所信息，
所述场景评价值计算单元根据时间信息、场所信息、以及被拍摄到场景中的被摄影者的人数中的至少一种信息，计算场景评价值。
12.根据权利要求1所述的影像分析装置，
各个场景包含该场景的摄影时刻、被拍摄到该场景中的被摄影者、以及该场景的摄影场所这些场景信息中的至少一种场景信息，
所述影像分析装置还具有：
累积单元，按照作为与其他影像数据有关的场景的每个累积场景，对该累积场景的摄影时刻、被拍摄到该累积场景中的被摄影者、以及该累积场景的摄影场所这些累积场景信息中的至少一种累积场景信息进行累积；和
提取单元，从累积单元提取一个以上与拍摄有所述至少一个被摄影者的场景的场景信息一致或相似的累积场景信息，
所述场景评价值计算单元根据提取到的各个累积场景信息，计算所述场景的场景评价值。
13.根据权利要求12所述的影像分析装置，
各个场景中包含的场景信息表示被拍摄到该场景中的被摄影者，
各个累积场景信息表示被拍摄到对应的累积场景中的被摄影者，
所述场景评价值计算单元根据在由所述提取单元提取到的全部累积场景信息中哪些包含有该一个被摄影者，计算拍摄有所述至少一个被摄影者的场景的场景评价值，
包含有该一个被摄影者的数目越多，场景评价值越大。
14.根据权利要求12所述的影像分析装置，
各个场景中包含的场景信息表示该场景的摄影时刻，
各个累积场景信息表示对应的累积场景的摄影时刻，
所述场景评价值计算单元根据由所述提取单元提取到的全部累积场景信息所表示的摄影时刻中、哪些进入到预先设定的预定时间段中，计算拍摄有所述至少一个被摄影者的场景的场景评价值，
进入到预先设定的预定时间段中的数目越多，场景评价值越大。
15.根据权利要求12所述的影像分析装置，
各个场景中包含的场景信息表示该场景的摄影时刻，
各个累积场景信息表示对应的累积场景的摄影时刻，
所述场景评价值计算单元根据由所述提取单元提取到的各个累积场景信息表示的摄影时刻的周期性，计算拍摄有所述至少一个被摄影者的场景的场景评价值，
周期性越强，场景评价值越大。
16.根据权利要求1所述的影像分析装置，
还具有受理单元，该受理单元受理表示拍摄有所述至少一个被摄影者的场景的摄影者的摄影者信息，
所述人物评价值计算单元计算表示由所述摄影者信息表示的摄影者与所述一个被摄影者之间的亲密关系的人物评价值，人物评价值越大，表示亲密度越高。
17.根据权利要求1所述的影像分析装置，
各个场景是沿时间轴方向划分动态图像数据而得到的，或者是多个静止图像数据的集合。
18.一种评价值计算方法，包括：
识别步骤，按每个场景识别被拍摄到的各个被摄影者；
场景评价值计算步骤，计算拍摄有至少一个被摄影者的场景的场景评价值；
场景选择步骤，从全部场景中，选择与所识别到的全部被摄影者中的所述一个被摄影者有关的场景；和
人物评价值计算步骤，对所选择的场景的场景评价值进行合计，计算与所述一个被摄影者有关的人物评价值。
CN200880101177A 2007-07-31 2008-07-30 影像分析装置、基于影像分析的人物间的评价值计算方法 Pending CN101855633A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007-198982 2007-07-31
JP2007198982 2007-07-31
PCT/JP2008/002040 WO2009016833A1 (ja) 2007-07-31 2008-07-30 映像解析装置、映像解析による人物間の評価値算出方法

Publications (1)

Publication Number Publication Date
CN101855633A true CN101855633A (zh) 2010-10-06

Family

ID=40304075

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200880101177A Pending CN101855633A (zh) 2007-07-31 2008-07-30 影像分析装置、基于影像分析的人物间的评价值计算方法

Country Status (4)

Country Link
US (1) US8442268B2 (zh)
JP (1) JP5175852B2 (zh)
CN (1) CN101855633A (zh)
WO (1) WO2009016833A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102855269A (zh) * 2011-06-13 2013-01-02 索尼公司 内容提取装置、内容提取方法和程序
CN103369232A (zh) * 2012-03-26 2013-10-23 富士胶片株式会社 图像评价装置、图像评价方法及图像评价系统
CN110972519A (zh) * 2018-07-31 2020-04-07 艾思益信息应用技术股份公司 信息提供系统和信息提供方法
US11520822B2 (en) 2019-03-29 2022-12-06 Information System Engineering Inc. Information providing system and information providing method
US11520823B2 (en) 2019-03-29 2022-12-06 Information System Engineering Inc. Information providing system and information providing method
US11651023B2 (en) 2019-03-29 2023-05-16 Information System Engineering Inc. Information providing system

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8271497B2 (en) 2009-12-03 2012-09-18 Sony Computer Entertainment Inc. Information processing apparatus and information processing method outputting information on movement of person
JP4944183B2 (ja) * 2009-12-03 2012-05-30 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および情報処理方法
JP5727476B2 (ja) * 2010-06-23 2015-06-03 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像評価装置、画像評価方法、プログラム、集積回路
JP5780764B2 (ja) * 2011-01-17 2015-09-16 オリンパス株式会社 撮像装置
JP2013008182A (ja) * 2011-06-24 2013-01-10 Nikon Corp 電子機器
KR101541495B1 (ko) * 2012-08-17 2015-08-05 네이버 주식회사 캡쳐된 이미지를 이용한 동영상 분석 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
US20140181668A1 (en) 2012-12-20 2014-06-26 International Business Machines Corporation Visual summarization of video for quick understanding
KR20150118855A (ko) * 2014-04-15 2015-10-23 삼성전자주식회사 전자 장치 및 전자 장치의 레코딩 방법
US9684818B2 (en) * 2014-08-14 2017-06-20 Samsung Electronics Co., Ltd. Method and apparatus for providing image contents
JP5842103B1 (ja) * 2014-10-24 2016-01-13 パナソニックＩｐマネジメント株式会社 車載カメラシステムへのログイン認証装置、及びログイン認証方法
US9769367B2 (en) 2015-08-07 2017-09-19 Google Inc. Speech and computer vision-based control
JP6234408B2 (ja) * 2015-08-24 2017-11-22 日本電信電話株式会社 コンテンツ情報提供装置、コンテンツ表示装置、オブジェクトメタデータのデータ構造、イベントメタデータのデータ構造、コンテンツ情報提供方法、コンテンツ情報提供プログラムおよびコンテンツ情報提供システム
US10732809B2 (en) 2015-12-30 2020-08-04 Google Llc Systems and methods for selective retention and editing of images captured by mobile image capture device
US9836819B1 (en) 2015-12-30 2017-12-05 Google Llc Systems and methods for selective retention and editing of images captured by mobile image capture device
US10225511B1 (en) 2015-12-30 2019-03-05 Google Llc Low power framework for controlling image sensor mode in a mobile image capture device
US9838641B1 (en) 2015-12-30 2017-12-05 Google Llc Low power framework for processing, compressing, and transmitting images at a mobile image capture device
US9836484B1 (en) 2015-12-30 2017-12-05 Google Llc Systems and methods that leverage deep learning to selectively store images at a mobile image capture device
JP6586380B2 (ja) * 2016-03-01 2019-10-02 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP6799779B2 (ja) * 2016-10-07 2020-12-16 パナソニックＩｐマネジメント株式会社 監視映像解析システム及び監視映像解析方法
CN113573044B (zh) * 2021-01-19 2022-12-09 腾讯科技（深圳）有限公司 视频数据处理方法、装置、计算机设备及可读存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006081021A (ja) 2004-09-10 2006-03-23 Fuji Photo Film Co Ltd 電子アルバム表示システム、電子アルバム表示方法、電子アルバム表示プログラム、画像分類装置、画像分類方法、及び画像分類プログラム
US7783115B2 (en) * 2004-12-14 2010-08-24 Fujifilm Corporation Apparatus and method for setting degrees of importance, apparatus and method for representative image selection, apparatus and method for printing-recommended image selection, and programs therefor
WO2006091869A2 (en) * 2005-02-25 2006-08-31 Youfinder Intellectual Property Licensing Limited Liability Company Automated indexing for distributing event photography
JP2006236216A (ja) 2005-02-28 2006-09-07 Fuji Photo Film Co Ltd 人物認識システム、人物認識方法、及び人物認識プログラム
JP2006268395A (ja) * 2005-03-24 2006-10-05 Fuji Xerox Co Ltd 情報処理装置、情報処理方法及びプログラム
JP4577113B2 (ja) * 2005-06-22 2010-11-10 オムロン株式会社 対象決定装置、撮像装置および監視装置
JP4597803B2 (ja) * 2005-07-26 2010-12-15 パナソニック株式会社 映像シーン情報生成装置
JP2007041964A (ja) * 2005-08-04 2007-02-15 Matsushita Electric Ind Co Ltd 画像処理装置
JP2007094990A (ja) * 2005-09-30 2007-04-12 Fujifilm Corp 画像分類装置および方法並びにプログラム
US7916894B1 (en) * 2007-01-29 2011-03-29 Adobe Systems Incorporated Summary of a video using faces

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102855269A (zh) * 2011-06-13 2013-01-02 索尼公司 内容提取装置、内容提取方法和程序
CN103369232A (zh) * 2012-03-26 2013-10-23 富士胶片株式会社 图像评价装置、图像评价方法及图像评价系统
CN110972519A (zh) * 2018-07-31 2020-04-07 艾思益信息应用技术股份公司 信息提供系统和信息提供方法
US11341714B2 (en) 2018-07-31 2022-05-24 Information System Engineering Inc. Information service system and information service method
US11520822B2 (en) 2019-03-29 2022-12-06 Information System Engineering Inc. Information providing system and information providing method
US11520823B2 (en) 2019-03-29 2022-12-06 Information System Engineering Inc. Information providing system and information providing method
US11651023B2 (en) 2019-03-29 2023-05-16 Information System Engineering Inc. Information providing system
US11934446B2 (en) 2019-03-29 2024-03-19 Information System Engineering Inc. Information providing system

Also Published As

Publication number Publication date
US8442268B2 (en) 2013-05-14
WO2009016833A1 (ja) 2009-02-05
JP5175852B2 (ja) 2013-04-03
JPWO2009016833A1 (ja) 2010-10-14
US20100195874A1 (en) 2010-08-05

Similar Documents

Publication Publication Date Title
CN101855633A (zh) 影像分析装置、基于影像分析的人物间的评价值计算方法
US9161084B1 (en) Method and system for media audience measurement by viewership extrapolation based on site, display, and crowd characterization
US8577962B2 (en) Server apparatus, client apparatus, content recommendation method, and program
CN110089104B (zh) 事件存储装置、事件搜索装置和事件警报装置
US8922650B2 (en) Systems and methods for geographic video interface and collaboration
CN102668548B (zh) 视频信息处理方法和视频信息处理设备
CN109688451A (zh) 摄像机效应的提供方法及系统
US9852343B2 (en) Imaging apparatus, display method, and storage medium
US20150147045A1 (en) Computer ecosystem with automatically curated video montage
US20220101630A1 (en) Simultaneous playback of continuous video recordings from multiple recording devices
TW201802764A (zh) 群集監視裝置以及群集監視系統
CN111699478A (zh) 图像检索装置、图像检索方法、电子设备及其控制方法
CN101651824A (zh) 移动物体监视装置
CN105894016A (zh) 图像处理方法和电子设备
WO2017022306A1 (ja) 情報処理システム、及び情報処理方法
KR101479260B1 (ko) 사진 기반 인물 친밀도 검색 방법
Liu et al. Personalized tag recommendation for Flickr users
CN114930319A (zh) 音乐推荐方法和装置
JP5495998B2 (ja) 画像処理装置及びプログラム
JP2015139001A (ja) 情報処理装置、情報処理方法及びプログラム
KR101563238B1 (ko) 사진 기반 인물 친밀도 구축 장치 및 방법, 그리고 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
JP2014042170A (ja) 撮影システム、撮影支援方法、撮影装置及びその制御方法、管理装置及びその制御方法、並びにプログラム
JP6169382B2 (ja) 共有情報提供システム
CN114885180B (zh) 一种智慧城市公共景观直播控制方法和物联网系统
CN111652173B (zh) 一种适合综合商场内人流管控的采集方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20101006