CN101261680A - 图像处理设备、图像处理方法及程序 - Google Patents

图像处理设备、图像处理方法及程序 Download PDF

Info

Publication number
CN101261680A
CN101261680A CNA2008100855095A CN200810085509A CN101261680A CN 101261680 A CN101261680 A CN 101261680A CN A2008100855095 A CNA2008100855095 A CN A2008100855095A CN 200810085509 A CN200810085509 A CN 200810085509A CN 101261680 A CN101261680 A CN 101261680A
Authority
CN
China
Prior art keywords
image
enthusiasm
select
clapped
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2008100855095A
Other languages
English (en)
Other versions
CN101261680B (zh
Inventor
飞鸟井正道
鹤田雅明
尾崎望
伊藤大二
杉野彰信
关泽英彦
佐野茜
佐古曜一郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101261680A publication Critical patent/CN101261680A/zh
Application granted granted Critical
Publication of CN101261680B publication Critical patent/CN101261680B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种图像处理设备、图像处理方法和程序,所述图像处理设备包含脸部图像提取部分、积极性计算部分和被选图像更新部分。脸部图像提取部分在至少一幅按顺序输入的应选图像内指定被拍对象的脸部区域,并从应选图像中提取与脸部区域相对应的脸部图像。积极性计算部分利用脸部图像为应选图像计算被拍对象对应选图像获取者的积极性。被选图像更新部分将在积极性计算部分计算了积极性的应选图像与在已计算了积极性的同一被拍对象的所有应选图像中具有最高积极性的候选图像相比较,并使具有较高积极性的图像成为新的候选图像。

Description

图像处理设备、图像处理方法及程序
技术领域
本发明涉及图像处理设备、图像处理方法及程序。
背景技术
近年来,具有用于获取静止图像和运动图像的图像获取功能或者图像获取功能和音频记录等记录功能的结合的设备已被广泛使用。这些设备包括数码相机、诸如申请人持有商标权的Handycam之类的数码摄像机以及具有数码相机功能的移动电话等等。
通过以后(例如,当天、几天后、几年后等)检查获取的静止图像和运动图像,使用这些设备的用户可以从获取图像的时刻开始使自己沉浸在对这些场景的回忆中。在检查静止图像和运动图像的过程中,用户可以在获取的静止图像和运动图像中发现能感觉到对被拍对象图像获取者的积极影响的特定图像,例如,对象对着设备微笑的图像、对象的视线指向设备的图像等。然后用户可以获得这些图像。
与检测对象脸部有关的技术例如已在日本专利申请公布JP-A-2000-132693中公开。
发明内容
但是,随着静止图像和运动图像的获取量增加,用户检测图像的所需的时间也在增加。并且,即使用户花时间检查图像,他们也不是总能从获取的静止图像和运动图像中得到想要的图像。
本发明解决上述问题,提供一种新的改进的能够基于被拍对象和图像获取者之间的关系来从至少一幅图像中选择每个被拍对象的图像的图像处理设备、图像处理方法及程序。
根据本发明的实施例,提供了一种包含脸部图像提取部分、积极性计算部分和被选图像更新部分的图像处理设备。脸部图像提取部分在至少一幅依次输入的应选图像内指定被拍对象的脸部区域,并从应选图像中提取与脸部区域相对应的脸部图像。积极性计算部分利用脸部图像为应选图像计算被拍对象对应选图像获取者的积极性。被选图像更新部分将在积极性计算部分计算了积极性的应选图像与在已计算了积极性的同一被拍对象的所有应选图像中具有最高积极性的候选图像相比较,并使带有较高积极性的图像成为新的候选图像。
图像处理设备包括脸部图像提取部分、积极性计算部分和被选图像更新部分。通过在至少一幅依次输入的应选图像内指定包含被拍对象脸部的区域,脸部图像提取部分可以提取与应选被拍对象的脸部区域相对应的脸部图像。利用脸部图像,积极性计算部分可以为应选图像计算积极性,所述积极性是将应选图像中的被拍对象与应选图像获取者之间的关系量化的值。被选图像更新部分可以将在积极性计算部分计算了积极性的应选图像与候选图像作比较,所述候选图像是在已计算了积极性的同一被拍对象的所有应选图像中具有最高积极性的图像。被选图像更新部分使带有较高积极性的图像成为新的候选图像。该配置可以基于被拍对象与图像获取者之间关系的积极性来从至少一幅应选图像中选择对于被拍对象具有最高积极性的图像。
图像处理设备还可包括图像选择部分,该部分选择在被选图像更新部分中更新的用于被拍对象的候选图像,作为用于被拍对象的被选图像。
该配置可以基于被拍对象与图像获取者之间关系的积极性来从至少一幅应选图像中选择对于被拍对象具有最高积极性的图像。
图像处理设备还可基于脸部图像尺寸、被拍对象的脸部表情、被拍对象的脸部方向、被拍对象的视线方向、眼睛和嘴的检测、脸部图像的色彩饱和度以及脸部图像的空间频率中的至少一项来计算积极性。
该配置可以定量计算被拍对象与图像获取者之间关系的积极性。
对于依次输入的应选图像可输入相应的声音,并且图像处理设备可以还基于声调和音量来计算积极性。
该配置可以定量计算被拍对象与图像获取者之间关系的积极性。
图像处理设备还可包含资格确定部分,该部分为按依次输入的应选图像确定被拍对象是否有资格选为被选图像。
该配置可以控制是否为该被拍对象选择图像。
资格确定部分还可利用指定没资格选为被选图像的被拍对象的落选信息来做出资格确定。
该配置可以控制是否为该被拍对象选择图像。
图像处理设备还可包括第一积极性编辑部分,该部分可以增加和减少积极性计算部分为应选图像计算的积极性。
该配置使用户可以增加和减少积极性,从而更灵活地执行图像选择。
图像处理设备还可包括第二积极性编辑部分,该部分可以增加和减少为被拍对象的候选图像计算的积极性。
该配置使用户可以增加和减少积极性,从而更灵活地执行图像选择。
图像处理部分还可包括获取图像的图像获取部分,并且所述至少一幅应选图像可以是所述图像获取部分获取并实时输入的图像。
图像处理部分还可包括存储图像的存储部分,并且所述至少一幅应选图像可以是所述存储部分中存储的图像。
所述至少一幅应选图像可以是从外部设备输入的图像。
该配置可以基于被拍对象和图像获取者之间关系的积极性来从至少一幅应选图像中选择对于被拍对象具有最高积极性的图像,而无论应选图像的输入路径如何。
根据本发明的上述实施例,提供了一种图像处理方法。所述图像处理方法包括在至少一幅依次输入的应选图像内指定被拍对象的脸部区域和从应选图像中提取与脸部区域相对应的脸部图像的步骤。所述图像处理方法还包括利用脸部图像为应选图像计算被拍对象对应选图像获取者的积极性的步骤。所述图像处理方法还包括将在计算步骤中计算了积极性的应选图像与在已计算了积极性的同一被拍对象的所有应选图像中具有最高积极性的候选图像相比较,并使带有较高积极性的图像成为新的候选图像的步骤。
使用该方法可以基于被拍对象与图像获取者之间关系的积极性来从至少一幅应选图像中选择对于被拍对象具有最高积极性的图像。
图像处理方法还可包括选择在具有较高积极性的图像成为新候选图像时被更新的用于被拍对象的候选图像作为用于被拍对象的被选图像的步骤。
使用该方法可以基于被拍对象与图像获取者之间关系的积极性来从至少一幅应选图像中选择对于被拍对象具有最高积极性的图像。
根据本发明的上述实施例,提供了一种令计算机充当提取部分、计算部分和比较更新部分的程序。所述提取部分在至少一幅按顺序输入的应选图像内指定被拍对象的脸部区域并从应选图像中提取与脸部区域相对应的脸部图像。所述计算部分利用脸部图像为应选图像计算被拍对象对应选图像获取者的积极性。所述比较更新部分将在计算部分中计算了积极性的应选图像与在已计算了积极性的同一被拍对象的所有应选图像中具有最高积极性的候选图像相比较,并使带有较高积极性的图像成为新的候选图像。
该程序可以基于被拍对象与图像获取者之间关系的积极性来从至少一幅应选图像中选择对于被拍对象具有最高积极性的图像。
该程序还可令计算机充当选择部分,该部分选择在令带有较高积极性的图像成为新候选图像的比较更新部分更新的用于被拍对象的候选图像,作为用于被拍对象的被选图像。
该程序可以基于被拍对象与图像获取者之间关系的积极性来从至少一幅应选图像中选择对于被拍对象具有最高积极性的图像。
根据本发明的上述实施例,可以基于被拍对象与图像获取者之间的关系来从至少一幅应选图像中选择被拍对象的图像。
附图说明
图1是示出根据本发明实施例的图像处理设备的第一示例的说明图;
图2是示出根据本发明实施例的图像处理设备的第二示例的说明图;
图3是示出根据本发明的第一实施例的图像处理设备的框图;
图4是用于说明根据本发明实施例的图像选择部分的框图;
图5A和5B是用于说明根据本发明实施例的脸部图像的提取的说明图;
图6是用于说明根据本发明实施例来确定被拍对象是否有图像应选资格的说明图;
图7是用于说明根据本发明实施例的积极性计算部分的示例的说明图;
图8A和8B是用于说明根据本发明实施例的用于候选图像的第一更新部分的说明图;
图9A和9B是用于说明根据本发明实施例的用于候选图像的第二更新部分的说明图;
图10A和10B是用于说明根据本发明实施例的用于候选图像的第三更新部分的说明图;
图11是示出根据本发明实施例的被选图像列表的示例的说明图;
图12是示出根据本发明实施例的图像处理方法的流程的流程图;
图13是示出使用根据本发明第二实施例的图像处理设备的系统示例的框图;并且
图14是示出根据本发明实施例的积极性排行的示例的说明图。
具体实施方式
下文将参考附图来详细描述本发明的优选实施例。注意,在本说明书及附图中,本质上具有相同功能和结构的结构元素用相同的参考标号表示,省略对这些结构元素的重复描述。
【根据本发明实施例的图像处理设备的示例】
首先,示出根据本发明实施例的图像处理设备的示例。图1和2是示出根据本发明实施例的图像处理设备的示例的说明图。
根据本发明实施例的图像处理设备可以是具有能够获取静止图像和运动图像的图像获取功能的设备。例如,图像处理设备可以是如图1所示的可佩带的摄像机等之类的附着在用户身体上的设备(以便能够从例如靠近用户视线的位置来获取图像)。图像处理设备还可以是如图2所示的数字摄像机、数码相机(图中未示出)、具有数码相机功能的移动电话(图中未示出)等等。图像处理设备还可以是具有能够记录声音并获取静止图像和运动图像的图像获取功能的设备,还可以是具有音频记录功能的设备。
根据本发明实施例的图像处理设备不限于如图1和2所示出的那样具有图像获取功能和音频记录功能的设备。图像处理设备还可以在例如个人电脑(PC)、个人数字助理(PDA)等既不具有图像获取功能也不具有音频记录功能的信息处理设备中使用。下面说明根据本发明实施例的图像处理设备。
【第一实施例】
图3是示出根据本发明的第一实施例的图像处理设备100的框图。
参考图3,图像处理设备100包括图像处理部分102、图像获取部分104、存储部分106、操作部分108和显示部分110。图像处理设备100还可包括从微处理单元(MPU)等配置的控制整个图像处理设备100的控制部分(图中未示出)。图像处理设备100还可包括可以接收从与图像处理设备100分开的外部设备发送的图像的通信部分(图中未示出)。
图像处理部分102可以从至少一幅按顺序输入到图像处理部分102的图像中处理被拍对象的图像(此后称“应选图像”),并且更新及选择该图像。在本实施例中,使用“积极性”(positivity)来执行图像处理部分102中的图像更新和选择,所述积极性是量化被拍对象和图像获取者之间关系的值。稍后描述执行图像处理部分102中的图像更新和选择的部分。
应选图像可以是由(下面描述的)图像获取部分104获取的图像,可以是(下面描述的)存储部分106中存储的图像。应选图像还可以是从与图像处理设备100分开的外部设备发送的图像。
注意,根据本发明的实施例,应选图像不限于静止图像,还可以是运动图像(例如,运动图像可作为一组静止图像来逐帧处理)。静止图像可以是以例如联合图片专家组(JPEG)、位图等静止图像格式记录的图像。运动图像可以是以例如Windows媒体视频(WMV)、H.264/运动图片专家组第4阶段高级视频编码(H.264/MPEG-4 AVC)格式等运动图像格式记录的图像。注意,根据本发明实施例的应选图像显然不限于上述示例。
图像获取部分104是具有例如镜头和诸如电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)等之类的图像获取元件的图像获取部分。图像获取部分104可以通过执行图像获取来创建应选图像。
存储部分106是包含在图像处理设备100中至少可以将应选图像存储为已获图像的存储部分。存储部分106例如可以是诸如硬盘、磁带等之类的磁存储介质,诸如闪存、磁阻随机存取存储器(MRAM)、铁电随机存取存储器(FeRAM)、相变随机存取存储器(PRAM)等之类的非易失性存储器,磁光盘等等。存储部分106显然不限于上述示例。
操作部分108是使用图像处理设备100的用户可以操作的设备。通过利用操作部分108来执行指定的操作,用户可以将各种命令传达给图像处理设备100的各个部分,例如涉及图像处理部分102进行的图像更新和选择的命令、给图像获取部分104的图像获取命令等等。操作部分108例如可以是按钮、方向键或诸如滚轮(jog dial)等之类的旋转式选择器,或者它们的任意组合。但操作部分108不限于这些示例。
显示部分110是包含在图像处理设备110中可以显示图像处理部分102中更新和选择的图像的显示部分。显示部分110可以是液晶显示器(LCD)、有机发光二极管显示器(OLED;也称为有机电致发光显示器)、场致发射显示器(FED)等等。但显示部分110不限于这些示例。
基于作为给定被拍对象和图像获取者之间关系的量化值的积极性,按上述配置的图像处理设备100可以从至少一幅应选图像中选择被拍对象的图像。为了更详细地示出图像处理设备100中的图像更新和选择,下面将说明根据本发明实施例的图像选择部分。
【根据本发明实施例的图像选择部分】
图4是用于说明根据本发明实施例的图像选择部分的框图。
参考图4,图像处理部分102包括脸部图像提取部分112、资格确定部分114、积极性计算部分116、被选图像更新部分118和列表创建部分120。
脸部图像提取部分112在依次输入的包含被拍对象脸部的应选图像内指定一个区域(在下文中称为“脸部区域”),然后抽取(创建)与被拍对象脸部区域相对应的应选脸部图像。图5A和5B是用于说明根据本发明实施例的脸部图像的提取的说明图。图5A是示出根据本发明实施例的应选图像示例的图,图5B是示出从图5A所示的应选图像提取的脸部图像X的图。注意,图5B示出的脸部图像X未示出图5A所示的应选图像中所示的背景,但背景是为了方便起见而省略的,背景也可以包含在脸部图像X中。(在以下示出的附图中也以相同方式从图像中省略了背景。)
脸部图像提取部分112例如在包含被拍对象脸部的应选图像内指定矩形脸部区域,如图5B所示。被拍对象脸部区域的指定例如可以通过检测类似于脸的亮度分布和结构模式的区域来完成。注意,诸如用于脸的亮度分布和结构模式的数据之类的与指定脸部区域有关的数据例如可以存储在存储部分106中。或者,图像处理设备100可以配备通信部分(图中未示出)以便从外部设备获得与指定脸部区域有关的数据。但是,获得数据的方法不限于这些示例。
另外,在应选图像是运动图像的情况下,被拍对象脸部区域的指定例如可以通过使用当前帧与前一帧之间的差别来检测运动体然后指定所测运动体的头部来完成。
此外,矩形脸部区域的尺寸例如可以通过使用关联了脸部尺寸与矩形脸部区域尺寸的表来确定(该表例如存储在存储部分106中)。矩形脸部区域的尺寸还可以通过将脸部区域的外边界定义为离脸部规定距离来确定。矩形脸部区域的尺寸还可以通过操作部分108(图4未示出)来指定。
一旦指定了脸部区域,脸部图像提取部分112例如通过执行剪出脸部区域的剪出(裁剪)过程来提取脸部图像X。在脸部图像X的提取过程中,脸部图像提取部分112还可执行失真校正过程。根据本发明实施例的失真校正过程例如可通过在水平方向和/或垂直方向放大剪出过程提取的脸部图像从而根据放大程度相对于水平方向和垂直方向均衡脸部图像,来将剪出过程提取的脸部图像校正成矩形图像。注意,失真校正过程不限于该示例,显然任何能够校正图像失真的方法都可使用。
脸部图像提取部分112例如还可将索引信息追加到提取的脸部图像上,所述索引信息将脸部图像与从中提取脸部图像的应选图像相关联。例如,索引信息可通过贴标签、压数字水印等追加到脸部图像上,但追加索引信息的方法不限于这些示例。为脸部图像追加索引信息,这使得可以将脸部图像唯一地关联到从中提取脸部图像的应选图像上。
资格确定部分114可以使用脸部图像提取部分112提取的脸部图像来确定被拍对象是否有图像应选资格。图6是用于说明根据本发明实施例来确定被拍对象是否有图像应选资格的说明图。
【用于确定被拍对象是否有图像应选资格的第一确定部分】
资格确定部分114例如通过将脸部图像提取部分112提取的脸部图像X与用于指定有应选资格的图像的应选信息122中包含的应选图像A至C中的每一个相比较,来确定脸部图像X是否有应选资格。这种情况下,对脸部图像X是否有图像应选资格的确定例如可以通过人脸识别过程等来执行,所述人脸识别过程从脸部图像提取特征点数据,并将其与来自预登记应选图像A至C的特征点数据作比较。但是,确定方法不限于该示例。
在图6中,脸部图像X中示出的被拍对象作为应选图像C包含在应选信息122中,所以资格确定部分114可以确定脸部图像X中示出的被拍对象有应选资格。这种情况下,关于被拍对象是否有图像应选资格的确定结果例如可用一比特数据来表示(即,确定结果由数值“0”或“1”表示),但确定结果不限于一比特。
【用于确定被拍对象是否有图像应选资格的第二确定部分】
资格确定部分114例如通过将脸部图像X与用于指定没有应选资格的图像的落选信息124中包含的落选图像D和E中的每一个相比较,来确定脸部图像提取部分112提取的脸部图像X是否有应选资格。这种情况下,对脸部图像X是否有图像应选资格的确定例如可以按与上述第一确定部分相同的方式通过使用人脸识别过程来执行。
在图6中,脸部图像X中示出的被拍对象不包含在落选信息124中,所以资格确定部分114可以确定脸部图像X中示出的被拍对象有应选资格。这种情况下,关于被拍对象是否有图像应选资格的确定结果例如可按与上述第一确定部分相同的方式用一比特数据来表示。
【用于确定被拍对象是否有图像应选资格的第三确定部分】
资格确定部分114还可以通过使用指定有应选资格的图像的应选信息122以及指定没有应选资格的图像的落选信息124来确定脸部图像提取部分112提取的脸部图像X是否有应选资格。
这种情况下,例如可能出现下述四种模式。
(1)脸部图像X中示出的被拍对象包含在应选信息122中而不包含在落选信息124中:与第一确定部分中的模式相同。
(2)脸部图像X中示出的被拍对象不包含在应选信息122中而包含在落选信息124中:与第二确定部分中的模式相同。
(3)脸部图像X中示出的被拍对象包含在应选信息122中且包含在落选信息124中。
(4)脸部图像X中示出的被拍对象不包含在应选信息122中且不包含在落选信息124中。
因此,在模式(3)和(4)的情况下,取决于确定结果是如何设置的,第三确定部分可以改变对脸部图像X中示出的被拍对象是否有图像应选资格的确定。从而可以做出更灵活的确定。
资格确定部分114例如可以通过使用如第一至第三确定部分所示的应选信息122和/或落选信息124来确定脸部图像X是否有图像应选资格。这种情况下,应选信息122和落选信息124中设置的信息(例如,应选图像,落选图像等)例如可以存储在存储部分106中。应选信息122和落选信息124中设置的信息例如还可由用户使用操作部分108来登记,也可从外部设备发送。但是,应选信息122和落选信息124中设置信息的设置不限于这些示例。
积极性计算部分116使用脸部图像提取部分112提取的脸部图像来计算积极性,所述积极性是量化应选图像中的被拍对象与应选图像获取者之间的关系的值。
资格确定部分114中确定的关于脸部图像提取部分112提取的脸部图像中示出的被拍对象是否有图像应选资格的确定结果还输入到积极性计算部分116。积极性计算部分116可被设置为在资格确定部分114确定脸部图像中示出的被拍对象没有图像应选资格的情况下不计算积极性。下面将参考图7说明根据本发明实施例的积极性计算部分。图7是用于说明根据本发明实施例的积极性计算部分的示例的说明图。
【积极性计算部分的第一示例】
积极性计算部分116例如可以使用公式1来计算积极性。
积极性=(标准值)+(从脸部图像中获得的变量值)    公式1
公式1中的标准值是充当积极性标准的值。它可设为任意值,例如-100、0、50.5、100、200等等。公式1中从脸部图像中获得的变量值例如可设为脸部图像的尺寸、被拍对象的脸部表情、被拍对象的脸部方向、被拍对象的视线方向、眼睛和嘴的检测、脸部图像的色彩饱和度、脸部图像的空间频率等等。但是,公式1中从脸部图像中获得的变量值不限于这些示例。
图7作为一个示例示出利用如下表来计算公式1中从脸部图像中获得的变量值的示例,所述表包含用于被拍对象的脸部表情、被拍对象的脸部方向和被拍对象的视线方向这三个标准的值。积极性计算部分116例如可以检测眼睛、鼻子和嘴唇两端的位置(特征点)。基于测得的眼睛、鼻子和嘴唇两端的位置,积极性计算部分116可以确定被拍对象的脸部表情、脸部方向和视线方向。注意,根据本发明的实施例用于确定脸部表情、脸部方向和视线方向的确定部分显然不限于上述示例。
另外,积极性计算部分116中用于确定被拍对象的脸部表情、脸部方向和视线方向等的信息(诸如有关测得的例如眼睛、鼻子和嘴唇两端的位置和脸部表情之间的关系的信息)例如可以存储在存储部分106中。积极性计算部分116还可包括存储部分,并且积极性计算部分116中用于确定被拍对象的脸部表情、脸部方向和视线方向等的信息也可存储在该存储部分中。这种情况下,包含在积极性计算部分116中的存储部分例如可以是诸如硬盘等之类的磁存储介质或者诸如闪存等之类的非易失性存储器,但不限于这些示例。
在图7所示的脸部图像X中,被拍对象的脸部表情是微笑表情,脸部方向是朝前,视线方向也是朝前。因此,在标准值为100的情况下,积极性计算部分116计算的脸部图像X的积极性如下:
脸部图像X的积极性=100+(10+5+10)=125
积极性计算部分例如可以使用上述公式1来计算积极性。这种情况下,使用被拍对象的脸部表情、脸部方向和视线方向这三种标准来计算积极性。但是,若标准的数量增加,则应选图像获得的值可以将积极性设为更宽范围的值。
【积极性计算部分的第二示例】
在积极性计算部分的第一示例中,示出利用从脸部图像中获得的变量值来计算积极性的示例,但根据本发明实施例的积极性计算部分不限于上述示例。例如,在有些情况中,譬如当应选图像是由诸如数字摄像机获取的运动图像时,对应于输入的应选图像的声音被记录。因此,积极性计算部分116可以利用与输入到图像处理设备100的应选图像相对应的声音来计算积极性。在这类情况中,积极性计算部分116例如可以利用公式2来计算积极性。
积极性=(标准值)+(从脸部图像中获得的变量值)+(从声音中获得的变量值)                                       公式2
在公式2中,标准值和从脸部图像中获得的变量值与上面(第一示例)的公式1中的相同。公式2中从声音中获得的变量值可以基于声调、音量等来设置,但不限于这些示例。
积极性计算部分116中从声音中获得的变量值的设置例如可以通过使积极性计算部分116参考将声音的声调、声音的音量等唯一地关联到变量值的表来完成。这种情况下,诸如上述表等之类的用来设置从声音中获得的变量值的信息例如可以存储在存储部分106中。积极性计算部分116还可包含存储部分,并且用来设置从声音中获得的变量值的信息也可存储在该存储部分中。
在使用声音来计算积极性的情况中,资格确定部分114可以通过使用应选信息122和落选信息124中设置的声音模式信息来确定图像是否有应选资格。因此,即使在使用声音来计算积极性的情况中,积极性计算部分116也可被设置为在资格确定部分114确定脸部图像中示出的被拍对象没有应选资格的情况下不计算积极性。
【积极性计算部分的第三示例】
在积极性计算部分的第一示例中,从脸部图像中获得的变量值用来计算积极性。在积极性计算部分的第二示例中,从声音中获得的变量值用来计算积极性。但是,根据本发明实施例的积极性计算部分不限于这些示例。例如,在诸如指示图像获取日期时间的信息(例如,时间戳等)或指示图像获取地点的信息(例如,纬度、经度等)之类的信息被追加到输入应选图像的情况下,可以通过使用追加到应选图像的信息来计算积极性,如公式3所示。这种情况下,信息(元信息)例如可通过贴标签、压数字水印等等来追加到应选图像。
积极性=(标准值)+(从脸部图像中获得的变量值)+(从声音中获得的变量值)+(从追加到应选图像的信息中获得的变量值)    公式3
在公式3中,标准值、从脸部图像中获得的变量值和从声音中获得的变量值与上面(第二示例)的公式2中的相同。公式3中从追加到应选图像的信息中获得的变量值可以根据追加到应选图像的信息是否匹配用户通过使用操作部分108发送到积极性计算部分116的例如时间、地点等选择条件来设置。注意,在积极性计算部分的第三示例中,信息被追加到应选图像,但所述信息显然不限于指示图像获取日期时间的信息以及指示图像获取地点的信息。
如上所述,积极性计算部分116可以使用公式1至3来计算积极性。注意,根据本发明实施例的积极性计算部分不限于公式1至3。积极性还可基于从脸部图像中获得的变量值和从追加到应选图像的信息中获得的变量值来计算。
【第一积极性编辑部分】
用户还可以通过操作作为第一积极性编辑部分(图4中未示出)的操作部分108来增加和减少积极性计算部分116计算的积极性值。在该配置中,用户甚至可以为积极性计算部分116计算出的积极性值低的应选图像调整积极性值。因此图像处理设备100可以把用户想要的任何图像当作被选图像。注意,这种情况下,图像处理设备100显然可以具有检查积极性计算部分116计算了积极性的应选图像的检查部分(图中未示出),以便用户能够使用操作部分108来调整积极性值。检查部分可以是使用LCD、OLED等的用于检查的显示部分,但检查部分不限于这些示例。
被选图像更新部分118使用积极性计算部分116为脸部图像计算的积极性来更新将变成为被拍对象选择的图像(此后称“被选图像”)的候选者的用于每个被拍对象的图像(此后称“候选图像”)。这种情况下,被选图像更新部分118更新的候选图像例如可以存储在被选图像更新部分118中提供的存储部分中,但本示例不是限制性的,候选图像也可存储在存储部分106中。注意,被选图像更新部分118中提供的存储部分例如可以是诸如硬盘等之类的磁存储介质或诸如闪存等之类的非易失性存储器,但不限于这些示例。
下面参考图8至10说明根据本发明实施例的用于候选图像的更新部分。
【用于候选图像的第一更新部分】
图8A和8B是用于说明根据本发明实施例的用于候选图像的第一更新部分的说明图。图8A是示出更新前的状态的图,图8B是示出更新后的状态的图。
如图8A所示,第一更新部分是在提取脸部图像X(应选图像)之前尚未为脸部图像X中示出的被拍对象计算积极性的情况下使用的更新部分,即,在第一次为脸部图像X中示出的被拍对象计算积极性的情况下使用的更新部分。
对于是否已为脸部图像X中示出的被拍对象计算了积极性的确定例如可以通过执行人脸识别来进行,所述人脸识别将被选图像更新部分118已更新的用于每个被拍对象的候选图像与积极性计算部分116已计算了积极性的脸部图像X(应选图像)作比较。在被选图像更新部分118更新的候选图像被存储为图6所示的应选信息122的情况下,资格确定部分114确定是否已为脸部图像X中示出的被拍对象计算了积极性。然后被选图像更新部分118可以使用资格确定部分114做出的确定结果来确定是否已为脸部图像X中示出的被拍对象计算了积极性。
在被选图像更新部分118确定这是第一次为脸部图像X中示出的被拍对象计算积极性的情况下,被选图像更新部分118执行更新使得脸部图像X(应选图像)成为用于新候选图像的脸部图像,如图8B所示。如上所述,将脸部图像X与从中提取了脸部图像X的应选图像相关联的索引信息可以追加到脸部图像X上。因此,通过参考追加到脸部图像X的索引信息,被选图像更新部分118可以执行更新使得从中提取了脸部图像X的应选图像成为候选图像。注意,被选图像更新部分118更新的候选图像显然不限于从中提取了脸部图像X的应选图像,脸部图像X也可用于候选图像。下面的说明中,为了方便起见,脸部图像X用于候选图像。
【用于候选图像的第二更新部分】
接下来,说明第二更新部分。图9A和9B是用于说明根据本发明实施例的用于候选图像的第二更新部分的说明图。图9A是示出更新前的状态的图,图9B是示出更新后的状态的图。
如图9A所示,第二更新部分是在存在脸部图像Xold(候选图像)的情况下使用的更新部分,对于脸部图像Xold,已为脸部图像X(应选图像)中示出的被拍对象计算了积极性。
在被选图像更新部分118确定已为脸部图像X中示出的被拍对象计算了积极性的情况下,被选图像更新部分118比较为脸部图像X计算的积极性125与为已计算了积极性的候选图像(脸部图像Xold)设置的积极性115。
基于积极性比较结果,被选图像更新部分118可以执行更新使得具有较高积极性值的图像成为新的候选图像。因此,如图9B所示,被选图像更新部分118执行更新使得积极性值高于候选图像积极性值的脸部图像X(应选图像)成为新的候选图像。
【用于候选图像的第三更新部分】
接下来,说明第三更新部分。图10A和10B是用于说明根据本发明实施例的用于候选图像的第三更新部分的说明图。图10A是示出更新前的状态的图,图10B是示出更新后的状态的图。
如图10A所示,第三更新部分是在当脸部图像X变为候选图像时,为与脸部图像X中示出的被拍对象相同的被拍对象的脸部图像Xnew(应选图像)计算积极性的情况下使用的更新部分。
在被选图像更新部分118确定已为脸部图像Xnew(应选图像)中示出的被拍对象计算了积极性的情况下,被选图像更新部分118以与第二更新部分中同样的方式比较为脸部图像Xnew(应选图像)计算的积极性105与为已计算了积极性的脸部图像X(候选图像)设置的积极性125。
如上所述,基于积极性比较结果,被选图像更新部分118可以确定具有较高积极性值的图像将充当候选图像。如图10B所示,在候选图像(脸部图像X)的积极性高于应选图像(脸部图像Xnew)的积极性的情况下,  被选图像更新部分118不执行令脸部图像Xnew(应选图像)成为新候选图像的更新。因此,脸部图像X继续存储为候选图像。
每次积极性计算部分116计算积极性时,被选图像更新部分118执行上述第一至第三更新部分中的处理。因此,对于每个应选图像,计算积极性后存储的候选图像是对于被拍对象具有最高积极性的图像。注意,在为应选图像计算的积极性与为候选图像设置的积极性值相同的情况下,显然,被选图像更新部分118可以执行更新使应选图像成为新的候选图像,被选图像更新部分被选图像更新部分118也可以不执行候选图像的更新。
因此,基于作为应选图像中的被拍对象和应选图像获取者之间关系量化值的积极性,图像处理部分102可以将具有最高积极性的图像选为被选图像。在上述情况中,可以避免多于一幅被拍对象的图像被选为用于被拍对象的被选图像。
注意在上面的说明中,说明了为每个被拍对象选择积极性最高的图像的配置,但是根据本发明实施例的图像处理设备100不限于该示例。例如,还可以为同一被拍对象选择多幅被选图像。上述配置也可以通过这样的方式来实施,所述方式为被选图像更新部分118为同一被拍对象存储多幅候选图像,然后将积极性计算部分116为应选图像计算的积极性与为多幅候选图像中的每一幅设置的积极性作比较(即,执行一对多的比较)。
【第二积极性编辑部分】
用户还可以通过操作作为第二积极性编辑部分的操作部分108来增加和减少为被选图像更新部分118更新的候选图像设置的积极性(或者,若存在多幅候选图像,为候选图像中的每一幅设置的积极性)的值。(注意,图4示出候选图像存储在存储部分106中的情况)。在该配置中,用户可以调整积极性值,所以图像处理设备100可以把用户想要的任何图像当作被选图像。注意在这种情况下,显然图像处理设备100可以具有检查被选图像更新部分118更新的候选图像的检查部分(图中未示出),以便用户能够使用操作部分108来调整积极性值。
列表创建部分120是根据本发明实施例的图像选择部分的示例。列表创建部分120可以使用被选图像更新部分118为每个被拍对象输出的被选图像(被选图像更新部分118更新的候选图像)来创建包含所有被选图像的被选图像列表。图11是示出根据本发明实施例的被选图像列表的示例的说明图。
图11是被拍对象的被选图像基于为每幅被选图像设置的积极性而按积极性降序排列的列表示例。由于列表创建部分120创建如图11所示的被选图像列表,因此用户很容易检查图像处理设备100为每个被拍对象选择的被选图像。
还可以将诸如被拍对象姓名等之类的附加信息添加到列表创建部分120创建的被选图像列表中,如图11所示。这种情况下,用户例如可以使用操作部分108来编辑(添加、改变、删除等)诸如被拍对象姓名等之类的附加信息。还可以基于追加到被选图像的信息(例如,标签、数字水印等)来添加附加信息。
注意,显然用户可以例如通过从操作部分108发送命令来选择性地令列表创建部分120创建被选图像列表。在列表创建部分120不创建被选图像列表的情况下,用于每个被拍对象的被选图像例如可以单独输出。
通过这种方式,根据本发明第一实施例的图像处理设备100从按顺序输入到图像处理部分102的应选图像中提取每个被拍对象的脸部图像,并使用脸部图像来为每幅应选图像计算积极性。然后图像处理设备100可以将已计算了积极性的应选图像与候选图像作比较,所述候选图像是在已计算了积极性的同一被拍对象的应选图像中具有最高积极性的图像。然后图像处理设备100可以将积极性最高的图像选为新的候选图像。因此,对于每个被拍对象,图像处理设备100可以将积极性最高的图像选为新的候选图像。
图像处理设备100用来选择图像的积极性是指示应选图像中的被拍对象与应选图像获取者之间关系的量化指标。该积极性是基于应选图像来计算的。因此,对于被拍对象,使用图像处理设备100的用户可以获得感觉到对被拍对象图像获取者的积极影响的特定图像。该图像可以是被拍对象在微笑的图像,被拍对象的视线指向图像获取设备的图像等等。
另外,因为图像处理设备100可以为每个被拍对象选择被选图像,所以用户很容易检查哪些被拍对象包含在应选图像中。因此,图像处理设备100可以帮助用户对往事的回忆。另外,因为图像处理设备100基于积极性来为每个被拍对象选择被选图像,所以图像处理设备100可以选择用户未考虑的被拍对象的图像。因此图像处理设备100可以通过积极的方式来对用户的智力起作用。从而,图像处理设备100可以表现出有利于保持用户的心理健康的效果。
图像处理设备100还可以配备使用户能够编辑积极性的积极性编辑部分。因此,用户可以令任何想要的应选图像成为被选为被选图像的图像。
图像处理设备100还可以具有指定允许为其选择图像的被拍对象的应选信息和指定不允许为其选择图像的被拍对象的落选信息。因此,图像处理设备100可以使用应选信息和落选信息来控制是否为每个被拍对象选择图像。用户还可以按需要来设置应选信息和落选信息。因此,用户可以只获得特定被拍对象的图像或者可以故意排除不想要的被拍对象的图像。
【根据第一实施例的程序】
基于被拍对象和图像获取者之间关系的积极性,令根据第一实施例的图像处理设备100充当计算机的程序可以为每个被拍对象更新候选图像并可以从至少一幅图像中为每个被拍对象选择图像。
【根据本发明实施例的图像处理方法】
接下来,说明根据本发明实施例的图像处理方法。图12是示出根据本发明实施例的图像处理方法的流程的流程图。注意,图12所示的图像处理方法示出一种用于图像处理的方法并且只重复了等于按顺序输入的应选图像数目的周期数。
按顺序输入的应选图像中的一幅应选图像内的被拍对象的脸部区域被指定,并且脸部图像被提取(步骤S100)。接着,用步骤S100中提取的脸部图像来确定该脸部图像中示出的被拍对象是否有图像应选资格(步骤S102)。这种情况下,步骤S102中的确定例如可使用指定有应选资格的图像的应选信息和指定没有应选资格的图像的落选信息通过步骤S100中提取的脸部图像的人脸识别来执行。
若步骤S102中确定脸部图像中示出的被拍对象没有图像应选资格,则对在步骤S100中从中提取了脸部图像的应选图像的处理终止。
另一方面,若步骤S102中确定脸部图像中示出的被拍对象有图像应选资格,则用步骤S100中提取的脸部图像来计算作为指示应选图像中的被拍对象和应选图像获取者之间关系的量化指标的积极性(步骤S104)。
接下来,做出关于是否存在这样的候选图像的确定,已为该候选图像计算了积极性,并且该候选图像中的被拍对象与步骤S104中已计算了积极性的脸部图像中示出的被拍对象相同(步骤S106)。
若步骤S106中确定示出相同被拍对象并且已计算了积极性的候选图像不存在,则使步骤S100中从中提取了脸部图像的应选图像成为作为被选图像候选者的候选图像(步骤S112)。
另一方面,若步骤S106中确定示出相同被拍对象并且已计算了积极性的候选图像存在,则将步骤S104中计算出的积极性(应选图像的积极性)与为候选图像设置的积极性作比较(步骤S108)。然后用步骤S108中的积极性比较结果来使积极性较高的图像成为新的候选图像(步骤S110)。
如上所述,根据本发明实施例的图像处理方法从按顺序输入的应选图像中提取被拍对象的脸部图像,然后使用该脸部图像计算应选图像的积极性。然后该图像处理方法可以将已计算了积极性的应选图像与候选图像作比较,所述候选图像是在已计算了所述积极性的同一被拍对象的应选图像中具有最高积极性的图像。然后该图像处理方法可以将积极性较高的图像选为新的候选图像。因此,使用根据本发明实施例的图像处理方法的图像处理设备可以将具有最高积极性的图像选为每个被拍对象的被选图像。
另外,因为根据本发明实施例的图像处理方法确定每个被拍对象是否有应选资格,所以使用根据本发明实施例的图像处理方法的图像处理设备可以控制是否为每个被拍对象选择图像。
【第二实施例】
根据本发明第一实施例的图像处理设备100作为独立的图像处理设备,即作为工作于独立状态的设备在上面做了描述。但是,根据本发明实施例的图像处理设备不限于工作于独立状态的设备。因此,下面将说明根据本发明第二实施例能够执行与外部设备的通信的图像处理设备以及根据第二实施例的图像处理设备的使用示例。
【第一使用示例:积极性排行的创建】
图13是示出使用根据本发明第二实施例的图像处理设备的系统示例的框图。
参考图13,使用根据本发明第二实施例的图像处理设备的系统包括图像处理设备200、300等和外部设备500。图像处理设备200、300等通过网络电路600连接到外部设备500。网络电路600例如可以是诸如局域网(LAN)、广域网(WAN)等之类的固线网络(fixed line network)。网络电路600还可以是使用多输入多输出(MIMO)的诸如无线局域网(WLAN)等之类的无线网络,或者使用诸如传输控制协议/因特网协议(TCP/IP)等之类的通信协议的因特网。但是,网络电路600不限于这些示例。
图像处理设备200基本上以和根据本发明第一实施例的图像处理设备100相同的方式来配置。不同于图像处理设备100,图像处理设备200具有用于通过网络电路600执行与外部设备500的通信的图像处理设备通信部分(图中未示出)。因此,图像处理设备200可以按与图像处理设备100相同的方式为每个被拍对象选择被选图像。
图像处理设备通信部分(图中未示出)可以将被选图像列表和图像处理部分102为每个被拍对象选择的被选图像发送到外部设备500。注意,图像处理设备300等通过与图像处理设备200相同的方式来配置。
外部设备500可以包括外部设备存储部分502和积极性排行创建部分504。外部设备500还可以包括从MPU等配置的控制整个外部设备500的控制部分(图中未示出)、用于与图像处理设备200、300等通信的通信部分(图中未示出)和操作部分等等。
外部设备存储部分502是包含在外部设备500中的存储部分。作为包含在外部设备500中的存储部分,外部设备存储部分502可以是诸如硬盘等之类的磁存储介质、诸如闪存等之类的非易失性存储器、磁光盘等等,但外部设备存储部分502不限于这些示例。
外部设备存储部分502可以存储从图像处理设备200、300等发送的被选图像列表以及用于每个被拍对象的被选图像。在图13中,从图像处理设备200发送的被选图像列表A 506和从图像处理设备300发送的被选图像列表B 508存储在外部设备存储部分502中。
积极性排行创建部分504使用外部设备存储部分502中存储的被选图像列表506、508来将用于被选图像列表的每一个中包含的被拍对象的积极性制成表格并创建排行。注意,显然积极性排行创建部分504还可以通过使用从图像处理设备200、300等发送的被选图像来创建排行。图14是示出根据本发明实施例的积极性排行示例的说明图。
图14是示出固定时间段(一个月)的积极性排行的图示。积极性排行创建部分504创建的积极性排行中示出的积极性可以通过各种方式来计算和设置。积极性例如可以是用于每个被拍对象的平均值,用于每个被拍对象的总值、每个被拍对象出现在多个被选图像列表中的频率等等。另外,积极性排行创建部分504创建的积极性排行中示出的每个被拍对象的图像例如可以是为其设置了对于被拍对象而言最高积极性的被选图像,但积极性排行中示出的每个被拍对象的图像不限于该示例。并且,积极性排行创建部分504创建的积极性排行例如可以表示为JPEG格式、图形交换格式(GIF)等的图像文件,超文本标记语言格式(HTML)的文档等。
根据第一使用示例,使用从图像处理设备200、300等发送的被选列表和用于每个被拍对象的被选图像来创建如图14所示的积极性排行,这例如可以实现被拍对象的视图,如万维网(WWW)上的页面视图。
【第一使用示例的变更示例】
图13示出包含多个图像处理设备200、300等和外部设备500的配置,但本发明的第二实施例不限于该配置。第二实施例还可配置为具有一个图像处理设备200和外部设备500。若使用根据本发明第二实施例的图像处理设备的系统以这种方式来配置,则积极性排行创建部分504可以充当根据本发明实施例的图像选择部分。因此,即使使用根据本发明第二实施例的图像处理设备的系统被配置为例如使图像处理设备200不包含列表创建部分(即,被配置为使得图像处理设备200不输出被选图像列表),被选图像列表也可以由积极性排行创建部分504来创建。
【第二使用示例:被选图像列表和用于每个被拍对象的被选图像存储于外部设备中的配置】
图13所示的第一使用示例描述了通过使用从图像处理设备200、300等发送的被选图像列表和用于被拍对象的被选图像来创建积极性排行的配置。但是,使用根据本发明第二实施例的图像处理设备的系统不限于该示例。例如,外部设备还可以配置为仅存储从图像处理设备200、300等发送的被选图像列表和用于被拍对象的被选图像。
例如,在使用图像处理设备获取图像的人(用户)在户外获取图像的情况下,根据第二实施例的图像处理设备可以使用根据本发明实施例的图像处理方法来针对图像处理设备获取的图像(应选图像)执行对被选图像的选择。然后图像处理设备可以将选择结果(用于被拍对象的被选图像和被选图像列表)发送到图像获取者拥有的家用PC,所述家用PC为外部设备。因此,回家后,图像获取者很容易仅通过检查家用PC中存储的选择结果来检查哪些被拍对象包含在应选图像中。
注意,上述第一和第二使用示例仅仅是使用根据本发明第二实施例的图像处理设备的系统的示例,使用根据本发明第二实施例的图像处理设备的系统显然不限于这些示例。
如上所述,根据本发明第二实施例的图像处理设备具有与根据本发明第一实施例的图像处理设备100基本相同的配置。因此,根据本发明第二实施例的图像处理设备表现出与根据本发明第一实施例的图像处理设备100同类的效果。
另外,根据本发明第二实施例的图像处理设备可以将用于被拍对象的被选图像和被选图像列表发送到外部设备。因此,例如可以实现诸如创建积极性排行的系统之类的应用系统。
虽然已对作为使用根据本发明第二实施例的图像处理设备的系统的配置元素的外部设备做了说明,但是本发明的实施例不限于该配置。例如,本发明还可应用于诸如PC、服务器等之类的计算机。
本领域技术人员应该理解,取决于涉及要求和其他因素可以想到各种修改、组合、子组合及变更,只要它们落入所附权利要求及其等同物的范围之内。
例如,图4所示的根据本发明第一实施例的图像处理部分102包括列表创建部分120,但不限于该配置。图像处理部分102还可配置为不包括列表创建部分120。即使在该配置中,根据本发明的图像处理设备也可以基于被拍对象和图像获取者之间关系的积极性来更新用于被拍对象的候选图像。因此根据本发明的图像处理设备可以基于被拍对象和图像获取者之间关系的积极性来从至少一幅图像中为被拍对象选择图像。
图4所示的根据本发明第一实施例的图像处理部分还包括资格确定部分114,但不限于该配置。图像处理部分102还可配置为不包括资格确定部分114。即使在该配置中,根据本发明的图像处理设备也可以基于被拍对象和图像获取者之间关系的积极性来从至少一幅图像中为被拍对象选择图像。
另外,虽然已在基于积极性来选择图像的配置方面说明了根据本发明第一和第二实施例的图像处理设备,但是图像处理设备不限于该示例。例如,可以使用公式2中使用的从声音中获得的变量值来计算积极性,这样可以把输入声音包括在基于该积极性的图像选择之内。
上述配置是本发明实施例的说明性示例,自然位于本发明的技术范围之内。
本发明包含与2007年3月8日向日本专利局递交的日本专利申请JP2007-058704相关的主题,其全部公开内容通过引用方式结合于此。

Claims (15)

1.一种图像处理设备,包括:
脸部图像提取部分,该脸部图像提取部分在至少一幅按顺序输入的应选图像内指定被拍对象的脸部区域,并从所述应选图像中提取与所述脸部区域相对应的脸部图像;
积极性计算部分,该积极性计算部分利用所述脸部图像为所述应选图像计算所述被拍对象对所述应选图像获取者的积极性;以及
被选图像更新部分,该被选图像更新部分将在所述积极性计算部分计算了所述积极性的应选图像与在已计算了所述积极性的同一被拍对象的所有应选图像中具有最高积极性的候选图像相比较,并使具有较高积极性的图像成为新的候选图像。
2.根据权利要求1所述的图像处理设备,还包括:
图像选择部分,该图像选择部分选择在所述被选图像更新部分中更新了的用于所述被拍对象的候选图像,作为用于所述被拍对象的被选图像。
3.根据权利要求1所述的图像处理设备,
其中基于所述脸部图像的尺寸、所述被拍对象的脸部表情、所述被拍对象的脸部方向、所述被拍对象的视线方向、眼睛和嘴的检测、所述脸部图像的色彩饱和度以及所述脸部图像的空间频率中的至少一项来计算所述积极性。
4.根据权利要求3所述的图像处理设备,其中
对于所述按顺序输入的应选图像输入相应的声音,并且
还基于所述声音的音调和所述声音的音量来计算所述积极性。
5.根据权利要求1所述的图像处理设备,还包括:
资格确定部分,该资格确定部分为所述按顺序输入的应选图像确定所述被拍对象是否有资格选为被选图像。
6.根据权利要求5所述的图像处理设备,
其中所述资格确定部分可利用落选信息来做出所述资格确定,所述落选信息指定没资格选为被选图像的被拍对象。
7.根据权利要求1所述的图像处理设备,还包括:
第一积极性编辑部分,该第一积极性编辑部分可以增加和减少所述积极性计算部分为所述应选图像计算的积极性。
8.根据权利要求1所述的图像处理设备,还包括:
第二积极性编辑部分,该第二积极性编辑部分可以增加和减少为所述被拍对象的所述候选图像计算的积极性。
9.根据权利要求1所述的图像处理设备,还包括:
获取图像的图像获取部分,
其中所述至少一幅应选图像是所述图像获取部分获取并实时输入的图像。
10.根据权利要求1所述的图像处理设备,还包括:
存储图像的存储部分,
其中所述至少一幅应选图像是所述存储部分中存储的图像。
11.根据权利要求1所述的图像处理设备,
其中所述至少一幅应选图像是从外部设备输入的图像。
12.一种图像处理方法,包含以下步骤:
在至少一幅按顺序输入的应选图像内指定被拍对象的脸部区域,并从所述应选图像中提取与所述脸部区域相对应的脸部图像;
利用所述脸部图像为所述应选图像计算所述被拍对象对所述应选图像获取者的积极性;以及
将在所述积极性计算步骤计算了所述积极性的应选图像与在已计算了所述积极性的同一被拍对象的所有应选图像中具有最高积极性的候选图像相比较,并使具有较高积极性的图像成为新的候选图像。
13.根据权利要求12所述的图像处理方法,还包括以下步骤:
选择在所述具有较高积极性的图像成为所述新候选图像时被更新的用于所述被拍对象的候选图像,作为用于所述被拍对象的被选图像。
14.一种程序,包含的指令命令计算机充当:
指定部分,在至少一幅按顺序输入的应选图像内指定被拍对象的脸部区域,并从所述应选图像中提取与所述脸部区域相对应的脸部图像;
计算部分,利用所述脸部图像为所述应选图像计算所述被拍对象对所述应选图像获取者的积极性;以及
比较更新部分,将在所述计算部分计算了所述积极性的应选图像与在已计算了所述积极性的同一被拍对象的所有应选图像中具有最高积极性的候选图像相比较,并使具有较高积极性的图像成为新的候选图像。
15.根据权利要求14所述的程序,还包括令计算机充当选择部分的指令:
所述选择部分选择在所述令带有较高积极性的图像成为新候选图像的比较更新部分更新的用于所述被拍对象的候选图像,作为用于所述被拍对象的被选图像。
CN2008100855095A 2007-03-08 2008-03-10 图像处理设备、图像处理方法 Expired - Fee Related CN101261680B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007058704 2007-03-08
JP2007058704A JP2008225550A (ja) 2007-03-08 2007-03-08 画像処理装置、画像処理方法、およびプログラム
JP2007-058704 2007-03-08

Publications (2)

Publication Number Publication Date
CN101261680A true CN101261680A (zh) 2008-09-10
CN101261680B CN101261680B (zh) 2011-02-23

Family

ID=39844147

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008100855095A Expired - Fee Related CN101261680B (zh) 2007-03-08 2008-03-10 图像处理设备、图像处理方法

Country Status (4)

Country Link
US (1) US8363910B2 (zh)
JP (1) JP2008225550A (zh)
KR (1) KR20080082526A (zh)
CN (1) CN101261680B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5017989B2 (ja) 2006-09-27 2012-09-05 ソニー株式会社 撮像装置、撮像方法
JP2008096868A (ja) 2006-10-16 2008-04-24 Sony Corp 撮像表示装置、撮像表示方法
JP4853320B2 (ja) * 2007-02-15 2012-01-11 ソニー株式会社 画像処理装置、画像処理方法
JP4424364B2 (ja) * 2007-03-19 2010-03-03 ソニー株式会社 画像処理装置、画像処理方法
JP4396720B2 (ja) * 2007-03-26 2010-01-13 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
JP2009003334A (ja) * 2007-06-25 2009-01-08 Sony Corp 画像撮像装置、撮像制御方法
US20130243270A1 (en) * 2012-03-16 2013-09-19 Gila Kamhi System and method for dynamic adaption of media based on implicit user input and behavior
KR102469694B1 (ko) * 2015-08-24 2022-11-23 삼성전자주식회사 카메라를 구비하는 장치에서 사진 촬영 지원 기법
CN106447758B (zh) * 2016-09-26 2019-09-17 上海传英信息技术有限公司 图像互换格式图片的生成方法和移动终端
US10408190B2 (en) 2016-10-07 2019-09-10 Robert B. Deioma Wind turbine with open back blade
US10776610B2 (en) * 2017-09-15 2020-09-15 Ruth Ellen Cashion LLC System for monitoring facial presentation of users

Family Cites Families (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6353531A (ja) 1986-08-25 1988-03-07 Canon Inc 像ブレ防止カメラ
US4901096A (en) * 1988-12-30 1990-02-13 Lemelson Jerome H Camera apparatus and method
JP2603871B2 (ja) 1989-09-06 1997-04-23 旭光学工業株式会社 像ブレ防止カメラ
JP3063801B2 (ja) 1991-11-15 2000-07-12 株式会社ニコン ブレ防止カメラ
US5463443A (en) * 1992-03-06 1995-10-31 Nikon Corporation Camera for preventing camera shake
JPH0630374A (ja) 1992-07-10 1994-02-04 Kyocera Corp 不要撮影を防止する電子スチルカメラ
JPH0743803A (ja) 1993-07-29 1995-02-14 Olympus Optical Co Ltd カメラの手ぶれ防止装置
JPH07218970A (ja) 1994-02-03 1995-08-18 Nikon Corp カメラ
JPH08256289A (ja) * 1995-03-15 1996-10-01 Canon Inc 撮像装置
JP2736963B2 (ja) 1995-04-24 1998-04-08 旭光学工業株式会社 像ブレ防止カメラ
JPH1048681A (ja) 1996-05-10 1998-02-20 Olympus Optical Co Ltd ぶれ防止カメラ
US5923908A (en) 1997-10-30 1999-07-13 Eastman Kodak Company Camera with touch sensitive control
JPH11174520A (ja) 1997-12-16 1999-07-02 Canon Inc 撮像装置
JPH11205761A (ja) 1998-01-14 1999-07-30 Mitsubishi Electric Corp カメラ機能付携帯電話装置
JP2000163196A (ja) * 1998-09-25 2000-06-16 Sanyo Electric Co Ltd ジェスチャ認識装置及びジェスチャ認識機能を有する指示認識装置
JP2000132693A (ja) 1998-10-27 2000-05-12 Sony Corp 画像処理装置および方法、並びに提供媒体
JP4043708B2 (ja) 1999-10-29 2008-02-06 富士フイルム株式会社 画像処理方法および装置
JP3939889B2 (ja) * 2000-02-01 2007-07-04 ペンタックス株式会社 像振れ防止デジタルカメラ
JP3740351B2 (ja) 2000-06-23 2006-02-01 日本電信電話株式会社 画像加工装置および方法およびこの方法の実行プログラムを記録した記録媒体
JP3955170B2 (ja) * 2000-07-03 2007-08-08 富士フイルム株式会社 画像検索システム
JP2002023716A (ja) 2000-07-05 2002-01-25 Pfu Ltd プレゼンテーションシステムおよび記録媒体
JP2002049912A (ja) 2000-08-04 2002-02-15 Nri & Ncc Co Ltd 人物画像取得システム
TWI221574B (en) * 2000-09-13 2004-10-01 Agi Inc Sentiment sensing method, perception generation method and device thereof and software
GB0118436D0 (en) 2001-07-27 2001-09-19 Hewlett Packard Co Synchronised cameras with auto-exchange
US6931147B2 (en) * 2001-12-11 2005-08-16 Koninklijke Philips Electronics N.V. Mood based virtual photo album
JP4036051B2 (ja) 2002-07-30 2008-01-23 オムロン株式会社 顔照合装置および顔照合方法
JP2004120404A (ja) 2002-09-26 2004-04-15 Fuji Photo Film Co Ltd 画像配信装置および画像処理装置並びにプログラム
JP2004134950A (ja) 2002-10-09 2004-04-30 Sony Corp 画像合成方法および画像合成装置
JP2004237022A (ja) * 2002-12-11 2004-08-26 Sony Corp 情報処理装置および方法、プログラム、並びに記録媒体
EP3404479A1 (en) * 2002-12-25 2018-11-21 Nikon Corporation Blur correction camera system
US7212230B2 (en) * 2003-01-08 2007-05-01 Hewlett-Packard Development Company, L.P. Digital camera having a motion tracking subsystem responsive to input control for tracking motion of the digital camera
US7453506B2 (en) * 2003-08-25 2008-11-18 Fujifilm Corporation Digital camera having a specified portion preview section
JP4206888B2 (ja) 2003-09-30 2009-01-14 カシオ計算機株式会社 画像処理装置及びプログラム
JP2005182526A (ja) 2003-12-19 2005-07-07 Seiko Epson Corp 著作権保護システム、配置装置、保護装置及び著作権保護方法
JP2005303511A (ja) 2004-04-08 2005-10-27 Logic:Kk 画像蓄積システム、携帯端末、画像蓄積装置、画像蓄積方法、画像送信プログラムおよび画像蓄積プログラム
JP2006050163A (ja) 2004-08-03 2006-02-16 Olympus Corp 撮像装置
JP3906847B2 (ja) 2004-04-16 2007-04-18 ソニー株式会社 撮像装置
JP3892860B2 (ja) 2004-06-11 2007-03-14 三菱電機株式会社 カメラ付き携帯端末機器
JP2006115406A (ja) * 2004-10-18 2006-04-27 Omron Corp 撮像装置
JP4932161B2 (ja) 2005-01-14 2012-05-16 三菱電機株式会社 視聴者情報測定装置
JP2006202049A (ja) 2005-01-20 2006-08-03 Omron Corp 顔認識装置
JP2006201531A (ja) 2005-01-21 2006-08-03 Konica Minolta Holdings Inc 撮像装置
JP2006203600A (ja) 2005-01-21 2006-08-03 Konica Minolta Holdings Inc 撮像装置、画像処理装置、画像処理システム、画像処理方法及びプログラム
JP2006202181A (ja) 2005-01-24 2006-08-03 Sony Corp 画像出力方法および装置
JP4642489B2 (ja) * 2005-01-24 2011-03-02 キヤノン株式会社 撮像装置及び撮像方法、並びに撮像プログラム及び記憶媒体
JP3992286B2 (ja) * 2005-01-28 2007-10-17 キヤノン株式会社 カメラシステムおよび交換レンズ
JP2006221378A (ja) 2005-02-09 2006-08-24 Smart Wireless Kk 顔認証を利用した警報システムおよび方法
JP2006279291A (ja) 2005-03-28 2006-10-12 Toshiba Corp 撮影装置
US7612832B2 (en) * 2005-03-29 2009-11-03 Microsoft Corporation Method and system for video clip compression
JP2006319610A (ja) 2005-05-12 2006-11-24 Matsushita Electric Ind Co Ltd 撮像装置
US8374403B2 (en) * 2005-05-16 2013-02-12 Cisco Technology, Inc. Methods and apparatus for efficient, automated red eye detection
JP2006330800A (ja) 2005-05-23 2006-12-07 Nippon Telegr & Teleph Corp <Ntt> 画像合成システム、画像合成方法、この方法のプログラム
JP2006331271A (ja) 2005-05-30 2006-12-07 Nippon Hoso Kyokai <Nhk> 代表画像抽出装置及び代表画像抽出プログラム
US20070014543A1 (en) * 2005-07-13 2007-01-18 Canon Kabushiki Kaisha Image processing apparatus and control method therefor
JP2007097090A (ja) * 2005-09-30 2007-04-12 Fujifilm Corp 画像表示装置および方法ならびにプログラム、さらに写真プリント注文受付装置
JP4630807B2 (ja) 2005-12-16 2011-02-09 キヤノン株式会社 画像処理装置及び画像処理方法
JP4872396B2 (ja) 2006-03-15 2012-02-08 オムロン株式会社 画像編集装置、画像編集方法および画像編集プログラム
JP4853320B2 (ja) * 2007-02-15 2012-01-11 ソニー株式会社 画像処理装置、画像処理方法
JP4424364B2 (ja) * 2007-03-19 2010-03-03 ソニー株式会社 画像処理装置、画像処理方法
US20080231714A1 (en) * 2007-03-22 2008-09-25 Texas Instruments Incorporated System and method for capturing images
JP4396720B2 (ja) * 2007-03-26 2010-01-13 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
JP2009003334A (ja) * 2007-06-25 2009-01-08 Sony Corp 画像撮像装置、撮像制御方法

Also Published As

Publication number Publication date
JP2008225550A (ja) 2008-09-25
CN101261680B (zh) 2011-02-23
US8363910B2 (en) 2013-01-29
US20080273798A1 (en) 2008-11-06
KR20080082526A (ko) 2008-09-11

Similar Documents

Publication Publication Date Title
CN101261680B (zh) 图像处理设备、图像处理方法
WO2021136134A1 (zh) 视频处理方法、电子设备及计算机可读存储介质
CN102906745B (zh) 使用选择准则确定关键视频片段以形成视频概要
US7810020B2 (en) Information retrieval system
CN1477590B (zh) 用于白色书写板和音频捕获的一个系统和方法
CN103140862B (zh) 用户界面系统及其操作方法
US8285006B2 (en) Human face recognition and user interface system for digital camera and video camera
CN103635953B (zh) 使用用户特定内容增强可视数据流的系统
AU751962B2 (en) Method and apparatus for processing, displaying and communicating images
CN103686344B (zh) 增强视频系统及方法
CN109359521A (zh) 基于深度学习的课堂质量双向评估系统
US8786733B2 (en) Display apparatus
CN108010037B (zh) 图像处理方法、装置及存储介质
CN107635095A (zh) 拍摄照片的方法、装置、存储介质及拍摄设备
CN103918284B (zh) 语音控制装置、语音控制方法和程序
CN100451803C (zh) 焦点状态显示设备和焦点状态显示方法
JP5883843B2 (ja) 画像評価装置,画像評価方法,画像評価プログラム,およびそのプログラムを格納した記録媒体
CN101415103B (zh) 视讯画面的调整方法
CN101146178A (zh) 摄像机
CN109086742A (zh) 场景识别方法、场景识别装置及移动终端
CN104821001A (zh) 内容管理系统、管理内容生成方法、管理内容再生方法、程序以及记录介质
CN106023083A (zh) 获取组合图像的方法及装置
JP4660537B2 (ja) 情報管理システム及び書類情報管理方法
US20070043719A1 (en) Information processing system and information processing method
CN102906746A (zh) 应用相机定位来排序关键视频帧

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110223

Termination date: 20150310

EXPY Termination of patent right or utility model