CN103167258B - 用于选择图像捕获装置上捕获的图像的方法、系统和设备 - Google Patents

用于选择图像捕获装置上捕获的图像的方法、系统和设备 Download PDF

Info

Publication number
CN103167258B
CN103167258B CN201210530505.XA CN201210530505A CN103167258B CN 103167258 B CN103167258 B CN 103167258B CN 201210530505 A CN201210530505 A CN 201210530505A CN 103167258 B CN103167258 B CN 103167258B
Authority
CN
China
Prior art keywords
image
beholder
display
capture apparatus
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210530505.XA
Other languages
English (en)
Other versions
CN103167258A (zh
Inventor
A·佩内夫
M·R·泰什
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN103167258A publication Critical patent/CN103167258A/zh
Application granted granted Critical
Publication of CN103167258B publication Critical patent/CN103167258B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/0044Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了用于选择图像捕获装置上捕获的图像的方法、系统和设备。其中公开了一种选择在图像捕获装置(101)上捕获的图像的方法。在与图像捕获装置(101)相关联的显示器(104)上显示捕获图像。通过使用图像捕获装置(101)捕获观看在显示器(114)上显示的捕获图像的观看者的观看者图像。比较捕获图像与观看者图像,以识别捕获图像和观看者图像中的至少一个公共特征。如果在捕获图像和观看者图像中识别到至少一公共特征,那么选择捕获图像。

Description

用于选择图像捕获装置上捕获的图像的方法、系统和设备
技术领域
本发明涉及诸如数字照相机的图像捕获装置,特别是涉及与在图像中出现并已看到图像的接收者及时共享图像。本发明还涉及用于选择在图像捕获装置上捕获的图像的方法、系统和设备。本发明还涉及包括上面记录有用于选择在图像捕获装置上捕获的图像的计算机程序的计算机可读介质的计算机程序产品。
背景技术
当前,数字照相机得到广泛使用。这些装置使用一个或更多个传感器以捕获来自场景的光并将光转换成数字图像(通常为JPEG或RAW格式文件),该数字图像可在以后被传送到其它装置。许多现代的数字照相机允许在装置上显示捕获的图像,使得拍摄者可回顾、展现、编辑或删除图像而无需显影胶片。该功能典型地在图像被捕获之后可用,并且,拍摄者典型地能够在图像被捕获之后少于1秒的时间内观察捕获的图像。
现代的数字照相机技术应用于大量的便携式装置,这些便携式装置包括小型照相机、视频摄像机、数字单透镜反射式(DSLR)照相机、移动照相机电话、平板计算机、膝上型计算机和手持视频游戏控制台。这些装置的便携性和便利性允许用户随身经常携带一些形式的数字照相机。因此,正被捕获的图像的数量明显增加。另外,社交网络和在线照片共享服务的成功表明,用户喜欢电子访问由他们的朋友捕获的图像,在双方当事人(party)一起参加同一事件的情况下尤其如此。
特别地,双方当事人-拍摄者和朋友-之间的一个常见的社会行为是拍摄者捕获朋友的图像并随后通过使用照相机的回顾功能向朋友展现该图像。朋友常常明确要求向其发送这些图像的复制品。这种情况下拍摄者所遇到的一个问题是缺少将图像转发给朋友的方便的功能。典型地,拍摄者会首先回家、将图像从照相机传送到计算机并然后通过(例如)因特网将数字文件传送给感兴趣的接收者。但是,这种共享图像的方法在捕获和回顾的时刻之后花费大量的时间-并且,在一些情况下,拍摄者忘记共享图像-使得朋友长时间接收不到他们希望的图像。
具有在线启用(online-enabled)照相机的拍摄者可解决以上的问题。例如,拍摄者可将希望的图像上载到他们的公共图库(gallery),在这里,朋友可在晚些时候观看上载的图像。但是,该方法包括将图像上载到公共或半公共位置并且不完全保护隐私。
作为替代方案,拍摄者可使用他们的在线启用照相机以通过因特网服务(例如,电子邮件、社交网络)、邻近协议(例如,红外传感器、Bluetooth(蓝牙))或一些其它的电信服务(例如,MMS或诸如BumpTechnologies的BumpTM和DropboxInc.的DropboxTM的“智能电话”应用)直接将图像传送到接收者。但是,这些方法要求用户手动输入关于接收者的联系信息,并且,如果多个朋友希望获得图像,那么该不必要的劳动加重。
一种共享图像的方法对于图像扫描盘,检测面部,基于它们的数字面部签名识别面部,并且将图像发送给认识的人。这种方法的缺点包括需要相当大量的用于识别的训练数据(数字签名)。此外,图像可能被发送到识别出的每个人而不是仅仅要求复制品的用户。
发明内容
本发明的一个目的是基本上克服或至少改善现有布置的一个或更多个缺点。
根据本公开的一个方面,提供一种选择在图像捕获装置上捕获的图像的方法,所述方法包括:
在与图像捕获装置相关的显示器上显示捕获图像;
通过使用图像捕获装置捕获观看在显示器上显示的捕获图像的观看者的观看者图像;
比较捕获图像与观看者图像,以识别捕获图像和观看者图像中的至少一个公共特征;和
如果在捕获图像和观看者图像中识别到至少一个公共特征,那么选择捕获的图像。
根据本发明的另一方面,提供一种选择在图像捕获装置上捕获的图像的装置,所述装置包括:
用于在与图像捕获装置相关的显示器上显示捕获图像的部件;
用于通过使用图像捕获装置捕获观看在显示器上显示的捕获图像的观看者的观看者图像的部件;
用于比较捕获图像与观看者图像以识别捕获图像和观看者图像中的至少一个公共特征的部件;和
如果在捕获图像和观看者图像中识别到至少一个公共特征则选择捕获的图像的部件。
根据本发明的又一方面,提供一种用于选择在图像捕获装置上捕获的图像的系统,所述系统包括:
用于存储数据和计算机程序的存储器;
与所述存储器耦合的用于执行所述计算机程序的处理器,所述计算机程序包含用于完成以下的过程的指令:
在与图像捕获装置相关的显示器上显示捕获图像;
通过使用图像捕获装置捕获观看在显示器上显示的捕获图像的观看者的观看者图像;
比较捕获图像与观看者图像,以识别捕获图像和观看者图像中的至少一个公共特征;和
如果在捕获图像和观看者图像中识别到至少一个公共特征,那么选择捕获图像。
根据本发明的又一方面,提供一种具有在上面存储的用于选择在图像捕获装置上捕获的图像的计算机程序的计算机可读介质,所述程序包括:
用于在与图像捕获装置相关的显示器上显示捕获图像的代码;
用于通过使用图像捕获装置捕获观看在显示器上显示的捕获图像的观看者的观看者图像的代码;
用于比较捕获的图像与观看者图像以识别捕获图像和观看者图像中的至少一个公共特征的代码;和
如果在捕获图像和观看者图像中识别到至少一个公共特征则选择捕获图像的代码。
还公开了本发明的其它方面。
附图说明
现在将参照以下附图描述本发明的一个或更多个实施例,其中,
图1A示出包括图像捕获装置的用于捕获和选择图像的系统;
图1B和图1C共同形成图1A的图像捕获装置的示意性框图;
图2是示出选择图像的方法的示意性流程图;
图3A示出图1A的拍摄者通过使用图1A的照相机捕获朋友的图像;
图3B示出图3A的朋友观看图1A的照相机的显示器上的捕获图像;
图3C示出捕获的图像和观看者图像的例子;
图4A示出向另一观看者示出图1A的照相机的显示的例子;
图4B示出由图1A的照相机捕获的另一观看者图像;
图4C是选择图像的另一方法的示意性流程图;
图5示出在图1A的照相机的显示器上显示的用于提示拍摄者确认是否应执行传送的提示;以及
图6是示出将选择的图像传递给一个或更多个接收者的方法的示意性流程图。
具体实施方式
当在附图中的任一个或更多个中提到具有相同的附图标记的步骤和/或特征时,除非出现相反的意图,否则,这些步骤和/或特征出于它们描述的目的具有相同的功能或操作。
以下将描述选择在诸如照相机101(参见图1A)的图像捕获装置上捕获的图像的方法200(参见图2)。方法200可用于与已在显示器上看到图像并与图像具有强相关性的感兴趣的当事人共享图像特别是数字照片。
根据方法200,在图像正被显示的同时监视图像的观看者。方法200还确定观看者是否与图像强相关。在观看者与图像内容成功匹配时,确定观看者的联系细节,并且可根据联系细节以电子的方式传送图像。
共享图像典型地包括向一个或更多个感兴趣的当事人(或者接收者)提供对于图像的访问。共享的行为一般指的是提供图像的复制品特别是数字复制品或者提供对于数字复制品的访问。用户典型地通过经由通信服务向接收者发送文件或超链接来共享数字图像。适当的通信服务的例子包括因特网服务(例如,电子邮件、博客、文件托管、社交网络、TCP/UDP信道等)或装置-装置通信技术(例如,BluetoothTM、红外、WiFi、2G、3G、4G、GSM、USB、以太网等)。
如果图像包含主体,拍摄者常常在物理上与主体共享(例如,通过在照相机上显示)图像。主体常常然后请求图像的复制品。方法200通过自动检测观看者的身份并确定观看者的联系细节来帮助拍摄者。特别地,不是图像的每个观看者都希望获得每个图像的复制品。因此,方法200确定观看者与图像之间是否存在明显强相关性,诸如观看者是否碰巧处于图像中。在成功确定这种相关性之后,选择该图像以用于进一步的处理和可能的传送。进一步的处理可包含更新图像元数据、获得观看者的通信细节和向观看者传送图像。因此,方法200允许例如拍摄者通过使得朋友观看照相机101的显示器上的图像而以电子的方式与共存的朋友共享照片。
图1B和图1C共同形成包括嵌入的部件的照相机101的形式的图像捕获装置的示意性框图,希望在该图像捕获装置中实施描述的方法200。照相机101是可移动照相机电话。作为替代方案,照相机101可以为视频摄像机、数字单透镜反射式(DSLR)照相机或小型数字照相机等的形式。此外,照相机101可被集成于表面计算装置、平板计算机、膝上型计算机、计算机终端或手持视频游戏控制台等中。此外,也可在诸如台式计算机、服务器计算机和其它这种具有明显更大的处理资源的装置的高级装置上执行描述的方法200。
如图1B所示,照相机101包含嵌入控制器102。因此,照相机101可被称为“嵌入装置”。在本例子中,控制器102具有与内部存储模块109双向耦合的处理单元(或处理器)105。如图1C所示,存储模块109可由非易失性半导体只读存储器(ROM)160和半导体随机存取存储器(RAM)170形成。RAM170可以是易失性存储器、非易失性存储器或易失性和非易失性存储器的组合。
照相机101包含与诸如液晶显示器(LCD)面板等的视频显示器114连接的显示控制器107。显示控制器107被配置为用于根据从与显示控制器107连接的嵌入控制器102接收的指令在视频显示器114上显示图形图像。
照相机101还包含典型地由键、键盘或类似的控件形成的用户输入装置113。在一些实现中,用户输入装置113可包含与显示器114物理相关联以共同形成触摸屏的触摸敏感面板。这种触摸屏可由此作为与典型地和键盘-显示器组合一起使用的提示或菜单驱动图形用户界面(GUI)相对的一种形式的GUI操作。也可使用其它形式的用户输入装置,诸如易于菜单导航的游戏杆/拇指轮(未示出)或用于声音命令的麦克风(未示出)。
如图1B所示,照相机101还包含通过连接119与处理器105耦合的便携式存储器接口106。便携式存储器接口106允许附加的便携式存储器装置125与照相机101耦合以用作数据的源或目的地或者作为内部存储模块109的补充。这种接口的例子允许与诸如通用串行总线(USB)存储器装置、安全数字(SD)卡、CompactFlash(CF)卡、个人计算机存储卡国际协会(PCMIA)卡、闪存、光盘和磁盘的便携式存储器装置耦合。
照相机101还具有允许通过连接121耦合照相机101与计算机或通信网络120的通信接口108。连接121可以是有线的或无线的。例如,连接121可以是射频的或光学的。有线连接的例子包含以太网。此外,无线连接的例子包含BluetoothTM型的局域互连、Wi-Fi(包含基于IEEE802.11族的标准的协议)、红外数据协会(IrDa)等。
可能与另外的特殊功能部件110接合的嵌入控制器102被设置以执行照相机101的功能。部件110可代表照相机101的透镜、聚焦控制和图像传感器。特殊功能部件110与嵌入控制器102连接。作为另一例子,照相机101可以采用移动电话耳机的形式。在这种情况下,部件110可包含蜂窝式电话环境中的通信所需要的那些部件。在照相机101是便携式装置的情况下,特殊功能部件110还可包括包含联合图像专家组(JPEG)、(运动图片专家组)MPEG、MPEG-1音频层3(MP3)等的类型的大量的编码器和解码器。
可通过使用嵌入控制器102实现以下描述的方法,这里,图2~6的处理可实现为可在嵌入控制器102内执行的一个或更多个软件应用程序133。图1B的照相机101实现描述的方法。特别地,参照图1C,通过在控制器102内实施的软件133中的指令实现描述的方法的步骤。软件指令可形成为一个或更多个代码模块,每个代码模块执行一个或更多个特定的任务。软件也可被分成两个单独的部分,其中,第一部分和相应的代码模块执行描述的方法,而第二部分和相应的代码模块管理第一部分与用户之间的用户接口。
嵌入控制器102的软件133典型地被存储于内部存储模块109的非易失性ROM160中。存储于ROM160中的软件133可在需要时被从计算机可读介质更新。软件133可被加载到处理器105中并被其执行。在一些情况下,处理器105可执行存在于RAM170中的软件指令。软件指令可通过处理器105启动从ROM160到RAM170的一个或更多个代码模块的复制被加载到RAM170中。作为替代方案,一个或更多个代码模块的软件指令可由制造商预安装于RAM170的非易失性区域中。在一个或更多个代码模块已位于RAM170中之后,处理器105可执行一个或更多个代码模块的软件指令。
典型地在照相机101的分发之前由制造商在ROM160中预安装并存储应用程序133。但是,在一些情况下,在存储于内部存储模块109中或便携式存储器125中之前,应用程序133可被供给用户,在一个或更多个CD-ROM(未示出)中编码并通过图1B的便携式存储器接口106读取。在另一替代方案中,软件应用程序133可被处理器105从网络120读取,或者从其它的计算机可读介质被加载到控制器102或便携式存储介质125中。计算机可读存储介质指的是参与向控制器102提供用于执行和/或处理的指令和/或数据的任何非暂态有形存储介质。这些存储介质的例子包括软盘、磁带、CD-ROM、硬盘驱动器、ROM或集成电路、USB存储器、磁光盘、闪存或诸如PCMCIA卡等的计算机可读卡,而不管这些装置是在照相机101的内部还是外部。也可参与软件、应用程序、指令和/或数据向照相机101的提供的暂态的或无形的计算机可读传送介质的例子包含无线电或红外传送信道以及与另一计算机或联网装置的网络连接和包含在站点等上记录的信息和电子邮件传送的互联网或内联网。上面记录有这种软件或计算机程序的计算机可读介质是计算机程序产品。
可以执行上面提到的应用程序133的第二部分和相应的代码模块,以实现要在图1B的显示器114上呈现或另外表现的一个或更多个图形用户界面(GUI)。通过用户输入装置113(例如,键盘)的操作,照相机101的用户和应用程序133可以以功能适应的方式操作界面,以向与GUI相关联的应用提供控制命令和/或输入。也可实现其它形式的功能适应用户界面,诸如利用通过扬声器(未示出)输出的语音提示和通过麦克风(未示出)输入的用户声音命令的音频界面。
图1C详细示出具有用于执行应用程序133的处理器105和内部存储器109的嵌入控制器102。内部存储器109包含只读存储器(ROM)160和随机存取存储器(RAM)170。处理器105能够执行存储于连接的存储器160和170中的一个或两者中的应用程序133。当照相机101开始被通电时,驻留于ROM160中的系统程序被执行。持久性地存储于ROM160中的应用程序133有时被称为“固件”。通过处理器105进行的固件的执行可完成各种功能,包括处理器管理、存储器管理、装置管理、存储管理和用户界面。
处理器105典型地包含大量的功能模块,包括控制单元(CU)151、运算逻辑单元(ALU)152和本地或内部存储器,该本地或内部存储器包含典型地包含原子数据元156、157的一组寄存器154以及内部缓冲器或高速缓存存储器155。一个或更多个内部总线159互连这些功能模块。处理器105还典型地具有用于通过使用连接161经由系统总线181与外部装置通信的一个或更多个接口158。
应用程序133包含可包含条件分支和循环指令的指令162~163的序列。程序133还可包含在程序133的执行中使用的数据。该数据可作为指令的一部分被存储,或者被存储于ROM160或RAM170内的单独位置164中。
一般地,处理器105被给予在其中执行的一组指令。该组指令可被编组成块,这些块执行特定的任务或者处理在照相机101中出现的特定的事件。典型地,应用程序133等待事件并随后执行与该事件相关的代码的块。如处理器105检测到的,事件可响应于经由图1A的用户输入装置113来自用户的输入而被触发。事件也可响应于照相机101中的其它的传感器和界面而被触发。
一组指令的执行可能需要读取和修改数值变量。这种数值变量被存储于RAM170中,公开的方法使用存储于存储器170中的已知的位置172、173的输入变量171。输入变量171被处理以产生存储于存储器170中的已知的位置178、179的输出变量177。中间变量174可被存储于存储器170的位置175、176中的附加的存储器位置。作为替代方案,可仅在处理器105的寄存器154中存在一些中间变量。
通过取得-执行循环的重复应用,在处理器105中实现指令序列的执行。处理器105的控制单元151保持称为程序计数器的寄存器,该寄存器包含要被执行的下一指令的在ROM160或RAM170中的地址。在取得-执行循环开始时,通过程序计数器索引的存储器地址的内容被加载到控制单元151内。由此加载的指令控制处理器105的随后的操作,导致例如数据从ROM存储器160被加载到处理器寄存器154中、寄存器的内容与另一寄存器的内容运算组合、寄存器的内容被写入到存储于另一寄存器中的位置,等等。在取得-执行循环结束时,程序计数器被更新以指向系统程序代码中的下一指令。依赖于刚刚执行的指令,它可包含将包含于程序计数器中的地址递增(increment)或者为了实现分支操作而对于程序计数器加载新的地址。
以下描述的方法的处理的各步骤或子处理与应用程序133的一个或更多个段相关,并且,通过处理器105中的取得-执行循环的重复执行或照相机101中的其它独立的处理器块的类似的程序操作被执行。
在一个布置中,照相机101在“回顾”模式中显示一个图像,同时捕获显示器114的一个或更多个观看者的单独的图像。方法200随后比较图像以运算确定图像是否共享至少一个公共特征。但是,存在照相机101和方法200的多个替代性的布置。
如图1A所示,用户191使用能够显示图像的照相机101。观看者192和193可能能够观看照相机101的显示器114。出于识别观看者192和193以及获得通信细节(联系细节)以便传送图像,照相机101可包括包含例如在存储模块109内配置的观看者细节的本地数据库194。作为替代方案,可从与通信网络120连接的外部数据源196、诸如从社交网络通过通信网络120使用处理器105获得观看者细节。
参照图2,作为例子描述方法200,这里,正在回顾通过使用照相机101由拍摄者191捕获的图像,该图像被称为“捕获图像”。捕获图像与称为“观看者图像”的观看者192的图像相比较。作为例子,图3C示出可以比较的捕获图像300和观看者图像303。图3A示出拍摄者191通过使用照相机101捕获图像300。比较确定观看者192是否与捕获图像300强相关。在一些布置中,特别在与数字拍摄相关的布置中,比较可与确定观看者192是否在观看自己的图像300有关。在捕获图像300中可能捕获多个人(例如,观看者192和193),使得观看者192仍被识别为与捕获图像300具有强相关性。
在一些布置中,用于确定观看者192是否与捕获图像300强相关的通常的特征可以是观看者所有物(ownership)的特征。例如,如果捕获图像300是观看者192所拥有的狗或房子的图像,那么仍在观看者192与捕获图像之间存在强相关性。
方法200可实现为驻留于存储模块109内并且其执行被处理器105控制的软件应用程序133的一个或更多个软件代码模块。
方法200从回顾模式步骤201开始,在该步骤中,使用处理器105以通过使用显示器114执行“回顾模式”,这里,可以在显示器114上显示包含捕获图像300的一个或更多个图像以供回顾。作为例子,拍摄者190可通过使用输入装置113将照相机101切换到回顾模式。
在显示步骤211中,处理器105被用于一次一个图像地在与照相机101相关联的显示器114上显示捕获图像300和存储于存储模块109中的一个或更多个其它的图像。例如,图3B示出观看者192观看在照相机101的显示器114上显示的图像300。在一个布置中,可在显示器114上一次显示多个图像。
当观看者192观看显示器114时,在捕获步骤212中,处理器105被用于捕获观看在显示器114上显示的捕获图像300的观看者192的图像303(即,“观看者图像”)。观看者图像303可通过使用处理器105被存储于存储模块109内。由于观看者图像303的质量不是关键的,因此,观看者图像303可在分辨率和颜色方面被明显压缩。
在一个布置中,如图3B所示,照相机101包含可被配置为用于在观看者192观看在显示器114上显示的图像300时捕获观看者图像303的小的面向用户的照相机部件301。这种面向用户的部件301可替代性地集成于上述的表面计算装置、平板计算机、膝上型计算机、计算机终端或手持视频游戏控制台等内。在另一布置中,显示器114和用于捕获观看者图像303的照相机可以是分离的硬件部件。例如,可通过使用与网络120连接的网络摄像机在步骤212捕获观看者图像303。这种网络摄像头可例如在视频电话期间捕获观看者192的图像。
另外,在一些布置中,可通过诸如指定按钮、手势或声音命令等的用户输入启动捕获步骤212。但是,在其它的布置中,被动地执行捕获步骤212,使得当观看者192在显示器114附近时自动捕获一个或更多个观看者图像303。在检测步骤213中,处理器105被用于检测是否出现观看者的变化,诸如是否出现接近照相机101的第二观看者193。如果处理器105在步骤213检测到观看者的变化,那么方法200返回步骤212。在这种情况下,在步骤212中,处理器105被用于捕获示出例如另一观看者193的附加的观看者图像。否则,方法200前进到步骤214。例如,图4A示出另一观看者193出现并且也在照相机101的显示器114中被展示的例子。根据图4A的例子,在步骤212中捕获图4B所示的示出另一观看者193的观看者图像403。在一个布置中,面向用户的照相机部件301可被用于在观看者193正在观看在显示器114上显示的图像300时捕获观看者图像403。在另一布置中,可通过使用与网络120连接的网络摄像头等捕获观看者图像403。
根据本例子,一旦捕获到至少观看者192的至少一个图像(例如,观看者图像303),在比较步骤214中,处理器105被用于比较正在显示器114上显示的图像(例如,捕获图像300)和观看者图像303,以识别捕获图像和观看者图像303两者中的至少一个公共特征。根据一个例子,在观看者图像403已被捕获的情况下,处理器105也可被用于执行观看者图像403与包含捕获图像300的正在显示器114上显示的图像之间的比较。
在匹配步骤215中,如果处理器105确定在观看者图像303与显示的捕获图像300或在步骤211中在显示器114上显示的其它图像中的任一个之间存在匹配(例如,在步骤214中在观看者图像303与捕获图像300中已识别至少一个公共特征),那么方法200前进到选择步骤216。否则,方法200前进到步骤298。根据一些布置,步骤215可提出除观看者图像303和显示的捕获图像300匹配之外还要满足的附加的条件。例如,附加的条件是捕获图像300被显示或观看最小时间间隔。最小时间间隔可被配置为足够长,以确保诸如观看者192的观看者主动观看捕获图像300而不是仅仅快速浏览图像。最小时间间隔也可被配置为足够长以确保观看者192有时间对于显示器114中的变化做出反应。因而,处理器105可被配置为在方法200前进到步骤216之前确定捕获图像是否已被观看最小时间间隔。
在第二例子中,附加条件是,在诸如观看者192的观看者中检测到积极或消极的情绪响应。典型的积极响应可以是可通过使用观看者图像303或面向用户的照相机部件301检测的微笑。积极响应的另一例子是可通过诸如麦克风的用户输入部件113检测的笑声。一旦满足任何附加的条件并且在步骤215中确认匹配,方法200就前进到步骤216。因而,处理器105可被配置为用于在方法200前进到步骤216之前检测来自观看者192的积极或消极情绪响应。在这种情况下,如后面描述的那样,可在从观看者192检测到这种积极的情绪响应之后传送显示的捕获图像。
在选择步骤216中,处理器105被用于选择在显示器114上显示的显示捕获图像300并且将捕获图像300传送给一个或更多个接收者。将在后面参照图6详细描述在步骤216执行的将选择的图像300传送给一个或更多个接收者的方法600。如上所述,如果在捕获图像300和观看者图像303两者中识别到至少一个公共特征,则选择捕获图像300。
在决定步骤298中,处理器105被用于确定照相机101是否仍处于回顾模式。如果照相机101仍处于回顾模式,那么方法200返回步骤211和212并且照相机101等待新的观看者图像被捕获或者显示器114改变以显示新的图像。否则,方法200结束。
根据图3B的例子,通过使用照相机部件301捕获的观看者图像303在步骤214中与图像300相比较。在一个布置中,在比较步骤214中,处理器105被用于确定在显示器114上显示的捕获图像300(和其它图像)和观看者图像303中的面部特征的视觉相似性(similarity)。因此,在观看者图像303和捕获图像300中识别的公共特征可以是人脸。面部检测方法可被用于确定觉察为面部的显示图像300和观看者图像303的区域。在步骤214中,可以使用适于对于静止图像或视频帧实现的任何面部检测方法。然后,可通过根据硬件限制使用诸如均方、互相关、比值图像均匀性、图案强度或相互信息等的相似性度量的一个或组合,针对视频相似性相互比较通过使用这种面部检测方法确定的面部区域。如果在图像300和303的面部区域之间确定的相似性例如超过预定的阈值,那么面部区域被确定为相同。这种面部检测和比较方法不需要肯定性地(positively)识别面部。
作为另一例子,在比较步骤214中,处理器105可被用于确定在图像300和303内显示的其它身体部位或特征之间的相似性,这些身体部位或特征诸如为在显示器114上显示的捕获图像(和其它图像)和观看者图像中示出的区别性的发型、诸如帽子或伞的衣着存在或诸如个人标识符(例如,名字标签)、条形码和/或t恤衫设计的可配戴图案。
对于示例性的捕获图像300和观看者图像303,图像300和303两者之间的关键公共特征可以是图像300和303中的观看者192(特别是观看者192的面部和衣服)的相似度(likeness)。例如,在捕获图像300和观看者图像303中识别的公共特征可以是观看者192穿着的服装或衣着服饰的形状、材料、纹理或颜色中的一个或更多个。在这种情况下,如果图像300和303的公共特征之间的相似性在步骤214中超过预定的最小阈值,那么在步骤216中选择图像300以便传送。
在一个布置中,可在步骤214中使用与已知的观看者相关联的特征的数据库。例如,特征的数据库可与包含观看者细节的本地数据库一起在存储模块109内配置。作为替代方案,可通过使用处理器105、通过通信网络120、从与网络120连接的外部数据源196获得这种特征的数据库。在这种情况下,处理器105可确定观看者图像303和显示的捕获图像300是否包含为诸如宠物、汽车或房子的属于观看者192的物体的形式的公共特征。
另外,在一些布置中,可以组合使用包括面部识别、其它身体部位或特征的相似性和/或属于观看者192的物体的相似性的上述的准则,以确定在显示器114上显示的捕获图像300(和其它图像)与观看者图像303之间的相似性。这种准则的组合提供了附加的支持,并且强化了显示的捕获图像300与观看者图像303之间的匹配的确定的置信度。
现在将参照图6描述在步骤216执行的向一个或更多个接收者传送选择的图像300的方法600。方法600可实现为驻留于存储模块109中并且其执行被处理器105控制的软件应用程序133的一个或更多个代码模块。作为替代方案,可通过使用外部手段(诸如与网络120连接的个人计算机(PC))执行方法600。在一个布置中,可在计算资源更加丰富的(例如,执行云计算服务的)远程服务器等上执行方法600。
方法600从步骤601开始,在步骤601,处理器105被用于更新与选择的图像300相关联的图像元数据以指示图像300已被选择。元数据可以是EXIF、ICMP、XMP或替代格式的形式,并且,一旦被更新,元数据可与选择的图像300一起被存储于存储模块109内。
在识别步骤602中,处理器105被用于识别观看者192。在一个布置中,可通过对于观看者图像303和选择的图像300中的一个或两者执行面部识别来识别观看者192。可以以与以上的步骤214类似的方式在步骤602使用适于对于静止图像或视频帧实现的任何面部识别方法。
然后,在更新步骤603,与选择的图像300相关联的元数据被更新以指示观看者192的身份。在步骤603更新的元数据可与选择的图像300一起被存储于存储模块109内。
在决定步骤605,处理器205被用于确定观看者192是否已被识别。如果观看者192已被识别,那么方法600前进到步骤607。否则,方法600前进到步骤609。在一个布置中,如果观看者192没有被识别,则方法600可在步骤605之后结束,并且,如图2所示的那样执行方法200的步骤298。
在步骤607中,处理器105被用于检索在步骤602中识别的观看者192的通信细节。通信细节可以是应传送选择的图像300的目的地地址或资源的形式。目的地可以是用于电子邮件账号的电子邮件地址、社交网络标识符、电话号码、邮政地址、社会安全号码、用户名、昵称、博客地址、网络地址或各种与观看者192相关联的类似的标识符。在一个布置中,也可在步骤607检索诸如拍摄者191和/或其它的观看者193的一个或更多个其它的接收者的通信细节。
在一个布置中,在步骤607检索的目的地地址或资源可与观看者192相关联并且可被其访问,但不专属于观看者192。例如,地址或资源可识别在线公共照片图库。
如上所述,可基于在步骤602确定的观看者192的身份在步骤607检索通信细节。例如,可在步骤602中确定元数据标签。在这种情况下,在步骤607,处理器105可被用于匹配在步骤602确定的元数据标签与存储于在存储模块109内配置的通信细节的本地数据库194内的元数据标签。作为替代方案,这种通信细节的数据库可在通过网络120访问的远程数据库内(例如,在数据源196内)配置。
数据源196可与社交网络位置等相关联。在这种情况下,处理器105可被用于访问与观看者192相关联(例如,通过使用元数据标签)的一个或更多个社交联网网页,以检索观看者192的通信细节。
如上所述,如果在步骤605中没有识别观看者192,那么在一些布置中,方法600可前进到步骤609。在步骤609中,处理器105被用于检索缺省的通信细节。例如,可对于选择的图像300的通信在步骤609检索缺省目的地地址或资源。例如,缺省目的地地址可以是与拍摄者191相关联的个人博客或社交网络图库的地址,在这里,观看者192和193可在线访问图像。
在通信步骤611中,处理器105被用于基于在步骤607或在步骤609检索的通信细节将选择的图像300传送给观看者192。例如,可基于在步骤606中检索的电子邮件地址通过网络120将选择的图像300传送给与网络120连接的远程电子邮件服务器。在一个布置中,选择的图像300可在步骤611被传送给包括例如拍摄者191、观看者192和/或其它的观看者193的多个接收者。在这种情况下,与在步骤607检索观看者192的通信细节同样地,也可以检索拍摄者191和/或任何其它的观看者193的通信细节。
在传送之前,可例如在存储模块109内对于传送将选择的图像300排队。
在一个布置中,处理器105可被用于在步骤611将选择的图像300标记为待定(pending)传送而不是立即传送图像。例如,如果照相机101在选择的图像300在步骤216中被选择时未访问通信网络120,则可以以这种方式标记选择的图像300。在一个布置中,如果与在网络120上传送图像相关联的资源成本会比暂时处于范围外面的不同的网络昂贵,则可以以这种方式标记选择的图像300。在一个布置中,如果用户偏好明确地确认从照相机101发送哪个数据以及在什么时候发送,则可以以这种方式标记选择的图像300。
在更新步骤613,处理器105被用于更新与选择的图像300相关联的元数据,以反映传送的状态。在步骤613更新的元数据可与选择的图像300一起被存储于存储模块109内。
除了选择的图像300以外,处理器105可在步骤216被用于选择与选择的图像300相关联的附加的图像以供传送。例如,对于第一选择图像300同时捕获的图像也可能是观看者192感兴趣的,并且可与第一选择图像300被一起打包。在一个布置中,这种附加的选择图像可示出导致在步骤214的第一选择图像300与观看者图像303成功匹配的公共特征(例如,面部或其它身体部位特征、属于观看者的物体),但是一旦至少图像300已被成功选择,则这种公共特征不是必需的。如果附加的选择图像与观看者图像303具有至少一个公共特征,那么附加的选择图像中的一个可被传送给一个或更多个接收者。如果这种附加的图像被选择,那么在步骤601中,处理器105可被用于更新与附加的图像相关联的元数据。
图4C示出选择图像的另一方法400。方法400可实现为驻留于硬盘驱动器中并且其执行被处理器105控制的软件应用程序133的一个或更多个代码模块。方法400支持向诸如另一观看者193的观看者192以外的接收者传送捕获图像300。
方法400与方法200类似,并且包括步骤201和211、212和123、214、215、216和298。但是,在步骤410,处理器105被用于确定显示的图像300是否已被选择以及是否已捕获另一观看者图像(例如,观看者图像403)。如果显示的图像300已被选择并且如果已捕获另一观看者图像,那么方法400绕过比较步骤214并直接前进到步骤602,以识别另一观看者193并获得另一观看者193的通信细节。在这种情况下,在步骤602中,处理器105被用于通过例如对于另一观看者图像403执行面部识别来识别另一观看者193。然后,在更新步骤603中,为了指示另一观看者193的身份,处理器105被用于更新与选择的图像300相关联的元数据。并且,元数据可与选择的图像300一起被存储于存储模块109中。
然后,在决定步骤605中,处理器105被用于确定是否另一观看者193已被识别。如果观看者193已被识别,那么方法600前进到检索另一观看者193的通信细节的步骤607。然后,在步骤611,处理器105被用于基于在步骤607中检索的通信细节将选择的图像300传送给观看者193以及如上面描述的那样将选择的图像300传送给观看者192。方法600允许已选择的图像300被传送给可能不正常匹配显示的图像300的其它接收者。
如果在步骤410还没有选择显示的图像300,那么方法400前进到步骤214,该步骤如上面描述的那样执行。
在其它布置中,观看者次序可颠倒,使得另一观看者193首先看到显示器114上的图像300并随后在步骤214不匹配图像300。第一观看者192可然后观看显示器114上的图像300并且在步骤214成功地匹配图像300。只要另一观看者193的观看者图像403被暂时存储于存储器中(例如,存储于RAM170内),就可使用其它的布置以将数据传送给观看者192和193两者以及一个或更多个其它的接收者。
图5示出根据一些布置的可在显示器114上显示的提示500。提示可被用于提示拍摄者191确认或调整如在步骤611的与传送图像300相关联的传送参数。例如,提示500可显示请求拍摄者191确认或允许从照相机101传送数据(例如,图像300)的文本。拍摄者191可使用提示500以在传送图像(例如,300)之前可选地调整接收者的传送参数。
工业适用性
上述的布置适用于计算机和数据处理产业,特别是适于图像图像。
以上仅描述了本发明的一些实施例,并且,在不背离本发明的范围和精神的情况下,可对其进行修改和/或变化,这些实施例是解释性的而不是限制性的。
在本说明书的上下文中,词语“包括”意味着“主要但未必单独地包括”或“具有”或“包含”,不是“仅由…构成”。诸如“包含”的词语“包括”的变体具有相应地改变的意思。

Claims (26)

1.一种选择在图像捕获装置上捕获的图像的方法,所述方法包括:
在图像捕获装置的显示器上显示捕获图像;
通过使用图像捕获装置捕获至少观看者的观看者图像,该观看者观看显示所显示的图像的显示器;
比较所显示的图像与观看者图像中的至少一个区域,以识别所显示的图像和观看者图像中的至少一个公共特征;和
如果在所显示的图像和观看者图像两者中识别到所述至少一个公共特征,那么选择所显示的图像以便根据观看者的通信细节传送给至少所述观看者。
2.根据权利要求1的方法,其中,至少一个公共特征是人脸。
3.根据权利要求1的方法,其中,公共特征是个人标识符。
4.根据权利要求1的方法,其中,公共特征是观看者的服装或衣着服饰的形状、材料、纹理或颜色中的一个或更多个。
5.根据权利要求1的方法,还包括更新与选择的图像相关联的元数据。
6.根据权利要求1的方法,还包括选择与选择的图像相关联的附加的图像。
7.根据权利要求6的方法,还包括更新与附加的图像相关联的元数据。
8.根据权利要求1的方法,还包括向一个或更多个接收者传送选择的图像。
9.根据权利要求6的方法,还包括向一个或更多个接收者传送选择的附加的图像中的一个或更多个。
10.根据权利要求6的方法,其中,如果选择的附加的图像中的一个与观看者图像具有至少一个公共特征,那么该一个选择的附加的图像被传送到一个或更多个接收者。
11.根据权利要求1的方法,还包括在选择所显示的图像之前确定所显示的图像是否已被观看了最小时间间隔。
12.根据权利要求1的方法,还包括在选择所显示的图像之前检测来自观看者的积极或消极的情绪响应。
13.根据权利要求8的方法,其中,在从观看者检测到积极的情绪响应之后传送选择的图像。
14.根据权利要求1的方法,还包括检索观看者的通信细节。
15.根据权利要求8的方法,其中,从社交网络检索通信细节。
16.根据权利要求1的方法,还包括将选择的图像标记为待定传送。
17.根据权利要求1的方法,还包括提示用户确认和/或调整与向一个或更多个接收者传送选择的图像相关联的传送参数。
18.根据权利要求1的方法,还包括检测观看者的变化。
19.根据权利要求1的方法,还包括捕获另一观看者的图像。
20.根据权利要求1的方法,其中,图像捕获装置是数字照相机。
21.根据权利要求1的方法,其中,图像捕获装置是照相机电话。
22.根据权利要求1的方法,其中,图像捕获装置是表面计算装置。
23.根据权利要求1的方法,其中,图像捕获装置是包括被配置用于捕获观看者的图像的面向用户的照相机的计算机终端。
24.根据权利要求1的方法,其中,显示器和照相机是分离的硬件部件。
25.一种选择在图像捕获装置上捕获的图像的设备,所述设备包括:
用于在图像捕获装置的显示器上显示捕获图像的部件;
用于通过使用图像捕获装置捕获至少观看者的观看者图像的部件,该观看者观看显示所显示的图像的显示器;
用于比较所显示的图像与观看者图像中的至少一个区域,以识别所显示的图像和观看者图像中的至少一个公共特征的部件;以及
用于如果在所显示的图像和观看者图像两者中识别到所述至少一个公共特征,那么选择所显示的图像以便根据观看者的通信细节传送给至少所述观看者的部件。
26.一种用于选择在图像捕获装置上捕获的图像的系统,所述系统包括:
用于存储数据和计算机程序的存储器;
与所述存储器耦合的用于执行所述计算机程序的处理器,所述计算机程序包含用于完成以下操作的指令:
在图像捕获装置的显示器上显示捕获图像;
通过使用图像捕获装置捕获至少观看者的观看者图像,该观看者观看显示所显示的显示器;
比较所显示的图像与观看者图像中的至少一个区域,以识别所显示的图像和观看者图像中的至少一个公共特征;和
如果在所显示的图像和观看者图像两者中识别到所述至少一个公共特征,那么选择所显示的图像以便根据观看者的通信细节传送给至少所述观看者。
CN201210530505.XA 2011-12-12 2012-12-11 用于选择图像捕获装置上捕获的图像的方法、系统和设备 Active CN103167258B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
AU2011253977A AU2011253977B2 (en) 2011-12-12 2011-12-12 Method, system and apparatus for selecting an image captured on an image capture device
AU2011253977 2011-12-12

Publications (2)

Publication Number Publication Date
CN103167258A CN103167258A (zh) 2013-06-19
CN103167258B true CN103167258B (zh) 2016-03-30

Family

ID=48571667

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210530505.XA Active CN103167258B (zh) 2011-12-12 2012-12-11 用于选择图像捕获装置上捕获的图像的方法、系统和设备

Country Status (4)

Country Link
US (1) US9344631B2 (zh)
JP (1) JP5587390B2 (zh)
CN (1) CN103167258B (zh)
AU (1) AU2011253977B2 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101997454B1 (ko) * 2013-07-31 2019-10-01 엘지전자 주식회사 모바일 디바이스 및 제어 방법
US9569892B2 (en) * 2013-09-26 2017-02-14 Qualcomm Incorporated Image capture input and projection output
US9628986B2 (en) 2013-11-11 2017-04-18 At&T Intellectual Property I, L.P. Method and apparatus for providing directional participant based image and video sharing
US20150286897A1 (en) * 2014-04-03 2015-10-08 Microsoft Corporation Automated techniques for photo upload and selection
US9646227B2 (en) 2014-07-29 2017-05-09 Microsoft Technology Licensing, Llc Computerized machine learning of interesting video sections
US9934423B2 (en) * 2014-07-29 2018-04-03 Microsoft Technology Licensing, Llc Computerized prominent character recognition in videos
US10691314B1 (en) 2015-05-05 2020-06-23 State Farm Mutual Automobile Insurance Company Connecting users to entities based on recognized objects
CN104915658B (zh) * 2015-06-30 2018-03-20 东南大学 一种基于情感分布学习的情感成分分析方法及其系统
CN105095873B (zh) * 2015-07-31 2018-12-18 小米科技有限责任公司 照片共享方法、装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5164992A (en) 1990-11-01 1992-11-17 Massachusetts Institute Of Technology Face recognition system
US6184926B1 (en) 1996-11-26 2001-02-06 Ncr Corporation System and method for detecting a human face in uncontrolled environments
US20040126038A1 (en) 2002-12-31 2004-07-01 France Telecom Research And Development Llc Method and system for automated annotation and retrieval of remote digital content
US7373109B2 (en) * 2003-11-04 2008-05-13 Nokia Corporation System and method for registering attendance of entities associated with content creation
US7620720B1 (en) 2003-12-31 2009-11-17 Emc Corporation Methods and apparatus for deallocation of resources
US7599527B2 (en) * 2005-09-28 2009-10-06 Facedouble, Inc. Digital image search system and method
JP4603974B2 (ja) 2005-12-28 2010-12-22 株式会社春光社 コンテンツ注目評価装置及びコンテンツ注目評価方法
US7711145B2 (en) 2006-01-27 2010-05-04 Eastman Kodak Company Finding images with multiple people or objects
WO2009079809A1 (en) 2007-12-07 2009-07-02 Multi Base Limited Video surveillance system with object tracking and retrieval
WO2009082814A1 (en) 2007-12-31 2009-07-09 Ray Ganong Method, system, and computer program for identification and sharing of digital images with face signatures
US20100086204A1 (en) 2008-10-03 2010-04-08 Sony Ericsson Mobile Communications Ab System and method for capturing an emotional characteristic of a user
JP5402018B2 (ja) 2009-01-23 2014-01-29 株式会社ニコン 表示装置及び撮像装置
US8154615B2 (en) * 2009-06-30 2012-04-10 Eastman Kodak Company Method and apparatus for image display control according to viewer factors and responses
US20110050954A1 (en) 2009-08-25 2011-03-03 Prentice Wayne E Automatic image favorite using gyro
JP5625315B2 (ja) 2009-10-22 2014-11-19 船井電機株式会社 画像表示装置および画像表示システム
CN102483767B (zh) * 2010-07-09 2015-10-21 松下电器(美国)知识产权公司 对象关联装置、对象关联方法、程序及记录介质
JP2012073998A (ja) * 2010-08-31 2012-04-12 Casio Comput Co Ltd 画像配信システム、画像表示装置、画像配信サーバー、及びプログラム

Also Published As

Publication number Publication date
US9344631B2 (en) 2016-05-17
JP2013141215A (ja) 2013-07-18
US20130148003A1 (en) 2013-06-13
AU2011253977A1 (en) 2013-06-27
CN103167258A (zh) 2013-06-19
AU2011253977B2 (en) 2015-04-09
JP5587390B2 (ja) 2014-09-10

Similar Documents

Publication Publication Date Title
CN103167258B (zh) 用于选择图像捕获装置上捕获的图像的方法、系统和设备
US10523839B2 (en) Context and content based automated image and media sharing
US10599300B2 (en) Entry points to image-related applications in a mobile device
EP2840558B1 (en) Electronic device communicating with external cameras
US20120086792A1 (en) Image identification and sharing on mobile devices
US20110064281A1 (en) Picture sharing methods for a portable device
CN112486363A (zh) 一种跨设备的内容分享方法、电子设备及系统
CN106095465B (zh) 设置身份图像的方法及装置
CN103875277A (zh) 零点击照片上传
KR20110020746A (ko) 오브젝트 정보 제공방법 및 이를 적용한 촬영장치
US20230056332A1 (en) Image Processing Method and Related Apparatus
US20150189118A1 (en) Photographing apparatus, photographing system, photographing method, and recording medium recording photographing control program
CN108476152B (zh) 用于将由移动计算装置捕捉的媒体附加到电子文档的技术
CN102893295A (zh) 存储卡
KR100785617B1 (ko) 멀티미디어메시징서비스를 이용한 사진 전송시스템 및 그방법
CN105471957A (zh) 即时照片分享装置和方法
KR101708318B1 (ko) 이동 단말기 및 그것의 제어방법
CN105786350A (zh) 选取图像的提示方法、装置及终端
US10861495B1 (en) Methods and systems for capturing and transmitting media
TW201115369A (en) System and method for transmitting digital data
KR20170082271A (ko) 이동 디바이스

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant