CN102067127A

CN102067127A - 标记图像并在标记图像时提供通知的方法和装置

Info

Publication number: CN102067127A
Application number: CN2009801236339A
Authority: CN
Inventors: 托德·尼尔斯·撒恩伯格; 格特·马格努斯·詹德博
Original assignee: Sony Ericsson Mobile Communications AB
Current assignee: Sony Mobile Communications AB
Priority date: 2008-06-25
Filing date: 2009-01-08
Publication date: 2011-05-18
Also published as: WO2009156184A1; US20090324022A1; EP2307989A1

Abstract

一种在利用用户的个人信息标记图像(20)时向所述用户提供通知的图象标记和通知系统(10，200)。该图像标记和通知系统(10，200)包括：标记产生器(12)，其用来利用人脸识别技术产生标记；以及通知单元(14)，其在利用所述用户的所述个人信息标记图像(20)时产生通知并向所述用户发送该通知。

Description

标记图像并在标记图像时提供通知的方法和装置

技术领域

本发明总体上涉及一种在数字世界中保持的隐私的方法和装置，更具体地说，涉及一种当利用某人的个人信息来标记被张贴在公共互联网上的图像时向用户提供通知的方法和装置。

背景技术

互联网为用户提供了搜索以及挖掘遍布全世界的计算机中存储的大量信息的能力。可以利用搜索引擎访问的信息包括个人信息。互联网的普及以及数字照片的流行引发了对于隐私的广泛关注。越来越多的人正在向诸如FACEBOOK和MYSPACE的社交网络网站以及诸如FLICKR和SHUTTERFLY的图像寄存网站上载包括照片和视频的图像。用户能够为互联网上公布的照片和视频添加说明性的标签。为所公布的照片和视频添加标签使得能够利用互联网搜索引擎来对它们进行全面搜索并且任何人都能够利用互联网连接来在全世界各地对它们进行访问。

更令人担忧的是，诸如Polar Rose和Riya的新的人脸识别系统使得计算机能够自动识别互联网上公布的照片中的人，并利用人名来标记照片。Polar Rose和Riya这两者在网络上搜索照片，并通过将新找到的照片中的人脸与之前标记的照片进行匹配来为新照片产生标签。因此，现在可以在最小人力干预的情况下利用人名来标记照片。能够利用诸如Polar Rose和Riya的人脸识别技术来产生大型可搜索数据库。

考虑利用照片中示出的人名来标记之前匿名的照片的方便性，需要一种技术来帮助人们保持一定程度的隐私。

发明内容

本发明提供了一种标记图像以及当利用用户的个人信息来标记图像时向用户提供通知的方法和装置。从而用户可以在必要时采取正确的行动来保持用户的隐私。在一种示例性实施方式中，图像标记和通知系统包括标签产生器和通知单元。标签产生器将图像与和用户的个人信息相关联的人脸识别数据进行比较，如果所述图像与所述人脸识别数据匹配，则根据所述个人信息来产生图像标签。如果利用该用户的所述个人信息产生了图像标签，则所述通知单元向该用户发送通知。

所述图像标记和通知系统可以与诸如相机或视频录像机的图像采集装置相结合。可以在所述图像采集装置的取景器上为该用户显示所产生的标签。

本发明的示例性实施方式包括用来在标记图像时向用户提供通知的方法。一种示例性方法包括将图像与和用户的个人信息相关联的人脸识别数据进行比较，如果所述图像与所述人脸识别数据匹配，则根据所述个人信息产生图像标签，并且向该用户发送通知消息，告知该用户已经利用所述用户的个人信息标记了图像。

在一些示例性方法中，所述个人信息包括该用户的姓名、该用户使用的用户标识、该用户的地址、该用户的电话号码以及该用户的电子邮件地址中的至少一个。

在一些示例性方法中，向用户发送通知的步骤包括：发送电子邮件通知、SMS通知以及语音通知中的至少一种。

在一些示例性方法中，向用户发送通知的步骤包括将多个通知编辑为单个合成的通知，并发送该合成的通知。

一些示例性方法还包括修改所述图像以包括所述图像标签，并在显示器上显示具有所述图像标签的所述图像。

一些示例性方法还包括在存储器中将所述图像标签与所述图像一起保存。

在一些示例性方法中，在保存所述图像之前实时地发送所述通知。

本发明的示例性实施方式还包括用来在标记图像时向用户提供通知的图像标记和通知系统。一种示例性图像标记和通知系统包括：标签产生器，其将图像与和用户的个人信息相关联的人脸识别数据进行比较，如果所述图像与所述人脸识别数据匹配，则根据所述个人信息产生图像标签；以及通知单元，如果利用该用户的所述个人信息产生了图像标签，则该通知单元向该用户发送通知。

在所述图像标记和通知系统的一些示例性实施方式中，所述个人信息包括该用户的姓名、该用户使用的用户标识、该用户的地址、该用户的电话号码以及该用户的电子邮件地址中的至少一个。

在所述图像标记和通知系统的一些示例性实施方式中，所述通知单元发送电子邮件通知、SMS通知以及语音通知中的至少一个。

在所述图像标记和通知系统的一些示例性实施方式中，所述通知单元将多个通知编辑为单个合成的通知，并发送该合成的通知。

所述图像标记和通知系统的一些示例性实施方式还包括用来修改所述图像以包括所述图像标签的图像编辑处理器。

所述图像标记和通知系统的一些示例性实施方式还包括用来显示具有所述图像标签的所述图像的显示器。

所述图像标记和通知系统的一些示例性实施方式还包括用来将所述图像标签与所述图像一起存储的存储器。

在所述图像标记和通知系统的一些示例性实施方式中，所述通知单元在将所述图像保存在存储器中之前发送通知。

本发明的示例性实施方式还包括图像采集系统。一种示例性图像采集系统包括：图像采集装置，其用来产生数字图像；标签产生器，其将所述数字图像与和用户的个人信息相关联的人脸识别数据进行比较，如果所述数字图像与所述人脸识别数据匹配，则根据所述个人信息产生图像标签；以及通知单元，如果利用该用户的所述个人信息产生了图像标签，则该通知单元向该用户发送通知。

在一些示例性实施方式中，所述图像采集系统还包括：图像编辑处理器，其用来修改所述数字图像以便包括所述图像标签；以及显示器，其用来显示具有所述图像标签的所述数字图像。

在一些示例性实施方式中，所述图像采集系统还包括存储器，其用来将所述图像标签与所述数字图像一起存储。

在所述图像采集系统的一些示例性实施方式中，所述通知单元被配置为在将所述数字图像存储在存储器中之前发送通知。

在所述图像采集系统的一些示例性实施方式中，所述标签产生器和所述通知单元中的至少一个位于网络服务器中。

在所述图像采集系统的一些示例性实施方式中，将所述标签产生器和所述通知单元与所述图像采集装置集成在一起。

在所述图像采集系统的一些示例性实施方式中，所述标签产生器和所述通知单元远离所述图像采集装置。

附图说明

图1示出了根据本发明一种实施方式的示例性图像标记和通知系统，其用来在利用用户的个人信息标记图像时向用户提供通知。

图2示出了根据本发明一种实施方式的示例性方法，其用来标记图像并向用户提供通知。

图3示出了与图像采集装置相结合的图像标记和通知系统。

图4示出了显示器上的具有图像标签的图像。

图5示出了由图像采集装置执行的示例性方法。

图6示出了集成了图像标记和通知系统的移动终端。

图7示出了位于网络服务器中的图像标记和通知系统的示例性实施方式。

具体实施方式

现在参照附图，图1示出了用附图标记10总体上表示的示例性图像标记和通知系统，其用来自动产生图像标签并在利用与用户相关联的个人信息标记图像时向用户发送通知。术语用户是指从图像标记和通知系统10接收通知的个人或其他合法识别的实体。图像标记和通知系统10包括标签产生器12和通知单元14。标签产生器12利用人脸识别技术为图像产生标签。如果识别出了图像中的人脸，则产生标签并与该图像相关联。当产生了标签时，通知单元14向图像中示出的个人发送通知消息。

在一种示例性实施方式中，标签产生器12包括人脸识别处理器16，其用来从图像中提取人脸，并将所提取的人脸与人脸识别数据库18中存储的人脸识别数据进行比较。人脸识别数据库中存储的人脸识别数据与用户的诸如用户姓名或用来自动为图像产生标签的其它标识信息的个人信息相关联。该个人信息还可包括用户采用的用户标识(例如，用户的GMAIL用户名)、用户的家庭或工作地址、用户的电话号码。人脸识别数据库18还可包括用来向用户发送通知的一个或更多个地址(电子邮件地址、电话号码等)。可以由用户提交人脸识别数据，或者可以根据之前标记的该用户的图像来通过机器产生人脸识别数据。

个人或者其它互联网业务可以向图像标记和通知系统10提交图像数据，以便自动为图像产生标签。图2示出了利用根据本发明一种实施方式的图像标记和通知系统10实现的示例性方法100。当标签产生器12接收图像时开始所述方法(框102)。在接收到图像时，人脸识别处理器16确定所提交的图像是否包括人脸(框104)。如果不包括人脸，则方法结束(框114)。然而，如果图像包括至少一个人脸，则人脸识别处理器16从图像提取人脸，并将所提取的人脸与人脸识别数据库18中存储的人脸识别数据进行比较(框106)。如果图像示出多人，则可以针对由人脸识别处理器16识别出的每张人脸执行所述提取和比较的处理。

如果从图像提取的多张人脸中的一个与人脸识别数据库18中存储的人脸识别数据匹配(框108)，则与匹配的人脸识别数据相关联的个人信息得到访问，并且该个人信息被用来为该图像产生标签(框110)。例如，可以从人脸识别数据检索用户的姓名或别名，并作为图像的标签。当然，也可以取代用户姓名或与用户姓名一起，使用与用户相关联的其它个人信息来作为图像标签。例如，该标签可包括用户的地址、用户的电话号码、用户的用户名(例如，FACEBOOK用户名)等。

当为图像产生了标签时，标签产生器12向通知单元14发送标签事件。例如，该标签事件可包括图像标签、图像的链接以及用户的地址。还可以包括其它信息。响应于标签事件，通知单元14产生通知消息，并向通过图像标签标识或引用的用户发送该通知消息(框112)。该通知消息被发给用户，并包括图像的链接。例如，可以以电子邮件消息、即时消息、SMS消息、MMS消息、语音消息或者其它消息业务的形式发送该通知消息。通知服务器14可以使用多种传送方法来传送该通知。可以按照一次单独发送一个的方式发送该通知。另选地，可以作为单个合成通知来编辑并发送多个通知。在向用户发送通知消息之后，处理结束(框114)。

可以利用一个或更多个计算机或处理器来实现标签产生器12和通知单元14。可以分别使用分立的多个计算机或处理器来实现标签产生器12和通知单元14。另选地，可以利用同一个计算机或处理器来实现图像标签产生器12和通知单元14。此外，本领域技术人员将理解，实现标签产生器12和/或通知服务器14的计算机或处理器也能够执行其它任务。

标签产生器12可以与通知服务器14同处一地或者远离通知服务器14。例如，标签产生器12和通知服务器14可以位于同一主机计算机上，或者位于同一局域网(LAN)中的不同计算机上。另选地，可以通过广域网(WAN)来访问标签产生器12。WAN可以是诸如互联网或者专用网的公共网络。

图3示出了结合图像标记和通知系统10进行操作的诸如相机或视频录像机的图像采集装置或系统200。图像采集装置200包括：图像传感器202，其用来采集图像并将所采集的图像转换为数字图像；控制单元204，其用来控制图像采集装置200的操作；显示器/取景器206，其用来显示图像；一个或更多个用户控件，其包括快门按键或者录制按键208；存储器210，其用来存储控制单元204所需要的程序和数据；以及通信接口212，其用来与图像标记和通知系统10进行通信。另选地，可以将图像采集和通知系统10集成到图像采集装置200中。例如，图像传感器202包括电荷耦合器件(CCD)或互补式金属氧化物半导体(CMOS)传感器。包括一个或更多个处理器的控制单元204根据存储器208中存储的程序和指令控制图像采集装置的操作。经由通信接口212来向图像标记和通知系统10发送由图像传感器202采集的图像，图像标记和通知系统10如前所述地产生图像标签并发送通知。将所产生的图像标签发送回图像采集装置200。在一些实施方式中，如图2中的虚线所示，可以将图像标记和通知系统与控制单元204集成在一起。然后，如果用户按下录制或快门按键208，则所采集的图像被输出到显示器/取景器206并且/或者保存在存储器210中。所保存的图像的图像格式优选地是允许与图像一起以元数据的形式存储标签的图像格式。例如，以EXIF格式存储图像和相关标签。

图像采集装置200的一些实施方式还包括以虚显示出的图像编辑处理器214。可以在图像显示在显示器206上之前向图像编辑处理器214发送所采集的图像以及由图像标记和通知系统10所产生的任何标签。图像编辑处理器214可以为包含标签信息的图像添加标注(call-out)，以识别图像中示出的人物。可以向显示器206发送添加了标注的图像，以识别图像中示出的人物。图4示出了添加了图像标签作为标注22的示例性图像20。

图5示出了由根据本发明一种实施方式的图像采集装置200实现的示例性方法250。图像传感器202采集图像，并向控制处理器204输出该数字图像(框252)。所述图像可包括静止图像或视频图像。向图像标记和通知系统10提供所采集的图像，图像标记和通知系统10可以与图像采集装置200集成成一体或者可位于图像采集装置200可以经由通信接口212进行访问的网络服务器中。如前所述，图像标记和通知系统10产生图像标签，并向所示出的人发送通知(框254)。应当注意，可以在摄影者正在观看图像采集装置200的显示器/取景器206中的人物的同时实时地向正被摄影或拍照的人发送该通知。因此，图像中示出的人可以在拍摄图像之前，即，在按下快门按键或录制案件208之前以及在录制图像以及/或者将图像保存在存储器210中之前接收该通知。

如果存在图像编辑处理器214，则向图像编辑处理器214提供所述图像和所产生的任何相关联的标签。如果图像标记和通知系统10产生了标签，则图像编辑处理器214将所产生的标签添加至图像作为标注(框256)，并向显示器/取景器206输出经过修改的图像(框258)。然后，图像采集装置200的用户在按下快门按键或录制按键208之前在显示器/取景器206上观看添加了标注的图像。如果没有产生标签，则图像编辑处理器214在步骤256中不修改该图像，并向显示器206输出该未经修改的图像(框258)。当用户按下图像采集装置上的快门按键或录制按键208时(框270)时，在存储器210中保存所采集的图像(框272)。如果已经产生了标签，则将标签作为元数据与图像一起存储。

在图6所示的另一个示例性实施方式中，图像标记和通知系统10与诸如个人数字助理、蜂窝电话或者笔记本计算机的移动终端50集成成一体。移动终端50包括处理单元52、存储器54、显示器56、一个或更多个用户输入装置58、麦克风60、扬声器62、通信接口64。移动终端50还包括相机66，并且作为图像采集装置200。

处理单元52根据存储器54中存储的程序和指令来控制移动终端50的操作。存储器54存储处理单元52操作使用的程序和数据。存储器54还可存储利用相机66拍摄或录制的图像。

显示器56、输入装置58、麦克风60和扬声器62提供用户接口，以使得用户能够与移动终端50交互。显示器56输出信息以供用户观看，用户输入装置58接收用户输入。例如，显示器56可包括液晶显示器或触摸屏显示器。用户输入装置58可包括键盘、小键盘、跟踪球、触摸板或者其它类型的输入装置。如果使用触摸屏显示器，则显示器56可以作为用户输入装置58。麦克风60将可听到的声音转换为电子音频信号，以便输入至处理单元62，同时，扬声器62将处理单元62输出的音频信号转换为可听到的声音。

通信接口64使得移动终端能够通过通信网络与其它联网的装置进行通信。例如，通信接口64可以包括蜂窝收发机(例如，GSM或WCDMA)、无线局域网(WLAN)接口(例如，WiFi)、WiMax接口、以太网接口或者其它网络接口。相机66使得用户能够拍摄照片和/或录制视频图像，可以将所拍摄的照片和/或所录制的视频图像存储在存储器54中并且/或者经由通信接口64发送所拍摄的照片和/或所录制的视频图像。

在该示例性实施方式中，移动终端50的处理单元52执行标签产生器12和通知服务器14的功能。存储器54存储地址簿作为人脸识别数据库18。人脸识别数据与地址簿中的条目相关联或者链接到地址簿中的条目。当用户利用内置的相机66拍摄照片或者录制视频图像时，处理单元52将所采集的图像中的人物的脸部与地址簿中的条目的人脸识别数据相比较，并且在照片或视频中捕获的人脸与地址簿中的条目相匹配时，实时地为图像产生图像标签。因此，被拍摄的人能够在他们的图像被拍摄时接收到通知。

可以向移动终端50的显示器56输出由相机66采集的图像。如上所述，可以实时地处理所显示的图像，以产生图像标签，然后可以在所显示的图像上以标注的形式显示该图像标签，以向移动终端50的用户标识正在拍摄的图像中的人物。当图像中所示的人的脸部与移动终端用户的地址簿中的条目匹配时，对来自相机66的图像进行处理，以便为图像添加标注。然后向显示器发送经修改的具有标注的图像。

图7示出了其中图像标记和通知系统10位于网络服务器中的实施方式。图像标记和通知系统10连接到诸如互联网的分组数据网络(PDN)150。诸如移动终端50和图像采集装置200的移动装置也可以连接到PDN 150。另选地，移动终端50和图像采集装置200可以通过无线网络160访问PDN 150。

当然，无需脱离本发明的实质特性，可以按照本文具体阐释的方式之外的其它方式来执行本发明。就各方面而言，应当认为这里的实施方式是示例性而不是限制性的，并且本发明意图包含在所附权利要求的意义和等效范畴之内的所有改变。

Claims

1.一种在标记图像(20)时向用户提供通知的方法，所述方法包括：

将数字图像(20)与和用户的个人信息相关联的人脸识别数据进行比较；

如果所述数字图像(20)与所述人脸识别数据匹配，则根据所述个人信息产生图像标签；以及

向所述用户发送通知消息，告知所述用户已经利用所述用户的个人信息标记了图像(20)。

2.根据权利要求1所述的方法，其中，所述个人信息包括所述用户的姓名、所述用户使用的用户标识、所述用户的地址、所述用户的电话号码以及所述用户的电子邮件地址中的至少一个。

3.根据权利要求1所述的方法，其中，向所述用户发送所述通知的步骤包括：发送电子邮件通知、SMS通知以及语音通知中的至少一种。

4.根据权利要求1所述的方法，其中，向所述用户发送所述通知的步骤包括：将多个通知编辑为单个合成的通知，并发送所述合成的通知。

5.根据权利要求1所述的方法，所述方法还包括：修改所述数字图像(20)以包括所述图像标签，并在显示器(206)上显示具有所述图像标签的所述图像。

6.根据权利要求1所述的方法，所述方法还包括：在存储器(210)中将所述图像标签与所述数字图像(20)一起保存。

7.根据权利要求6所述的方法，其中，向所述用户发送所述通知的步骤包括：在将所述数字图像(20)保存在所述存储器(210)中之前发送所述通知。

8.根据权利要求1所述的方法，其中，在保存所述数字图像(20)之前实时地发送所述通知。

9.一种用来在标记图像(20)时向用户提供通知的图像标记和通知系统(10，200)，所述图像标记和通知系统(10，200)包括：

标签产生器(12)，其将图像(20)与和用户的个人信息相关联的人脸识别数据进行比较，如果所述图像(20)与所述人脸识别数据匹配，则根据所述个人信息产生图像标签；以及

通知单元(14)，如果利用所述用户的所述个人信息产生了图像标签，则所述通知单元(14)向所述用户发送通知。

10.根据权利要求9所述的图像标记和通知系统(10，200)，其中，所述个人信息包括所述用户的姓名、所述用户使用的用户标识、所述用户的地址、所述用户的电话号码以及所述用户的电子邮件地址中的至少一个。

11.根据权利要求9所述的图像标记和通知系统(10，200)，其中，所述通知单元(14)发送电子邮件通知、SMS通知以及语音通知中的至少一种。

12.根据权利要求9所述的图像标记和通知系统(10，200)，其中，所述通知单元(14)将多个通知编辑为单个合成的通知，并发送所述合成的通知。

13.根据权利要求9所述的图像标记和通知系统(10，200)，所述的图像标记和通知系统(10，200)还包括用来修改所述图像(20)以包括所述图像标签的图像编辑处理器(214)。

14.根据权利要求13所述的图像标记和通知系统(10，200)，所述的图像标记和通知系统(10，200)还包括用来显示具有所述图像标签的所述图像(20)的显示器(206)。

15.根据权利要求9所述的图像标记和通知系统(10，200)，所述的图像标记和通知系统(10，200)还包括用来将所述图像标签与所述图像(20)一起存储的存储器(210)。

16.根据权利要求15所述的图像标记和通知系统(10，200)，其中，所述通知单元(14)被配置为在将所述图像(20)存储在所述存储器(210)中之前发送所述通知。

17.一种图像采集系统(200)，所述图像采集系统(200)包括：

图像采集装置(202)，其用来产生数字图像(20)；

标签产生器(12)，其将所述数字图像(20)与和用户的个人信息相关联的人脸识别数据进行比较，如果所述数字图像(20)与所述人脸识别数据匹配，则根据所述个人信息产生图像标签；以及

18.根据权利要求17所述的图像采集系统(200)，所述图像采集系统(200)还包括：图像编辑处理器(214)，其用来修改所述数字图像(20)以便包括所述图像标签；以及显示器(206)，其用来显示具有所述图像标签的所述数字图像(20)。

19.根据权利要求17所述的图像采集系统(200)，所述图像采集系统(200)还包括：存储器(210)，其用来将所述图像标签与所述数字图像(20)一起存储。

20.根据权利要求19所述的图像采集系统(200)，其中，所述通知单元(14)被配置为在将所述数字图像(20)存储在所述存储器(210)中之前发送所述通知。

21.根据权利要求17所述的图像采集系统(200)，其中，所述标签产生器(12)和所述通知单元(14)中的至少一个位于网络服务器中。

22.根据权利要求17所述的图像采集系统(200)，其中，将所述标签产生器(12)和所述通知单元(14)与所述图像采集装置(200)集成在一起。

23.根据权利要求17所述的图像采集系统(200)，其中，所述标签产生器(12)和所述通知单元(14)远离所述图像采集装置(200)。