CN104137533A - 用于处理包括人脸的图像的信息的方法和设备 - Google Patents
用于处理包括人脸的图像的信息的方法和设备 Download PDFInfo
- Publication number
- CN104137533A CN104137533A CN201380010614.1A CN201380010614A CN104137533A CN 104137533 A CN104137533 A CN 104137533A CN 201380010614 A CN201380010614 A CN 201380010614A CN 104137533 A CN104137533 A CN 104137533A
- Authority
- CN
- China
- Prior art keywords
- image
- conditioned
- information
- face
- voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/175—Static expression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- User Interface Of Digital Computer (AREA)
- Studio Devices (AREA)
- Collating Specific Patterns (AREA)
Abstract
提供了一种图像处理方法和设备,所述方法包括:获得包括人脸的第一图像;获得指示是否满足预设条件的信息;当满足所述预设条件时,获得第一图像内的人脸部位的位置信息;通过在人脸部位的位置将与满足的所述预设条件相应的第二图像添加到第一图像来产生合成图像。
Description
技术领域
本发明涉及一种用于处理图像的方法和设备。更具体地,本发明涉及一种用于处理包括人脸的图像的方法和设备。
背景技术
在过去,需要高成本设备来记录和发送视觉图像,因此,视频通话作为一般的通信方法在经济上不可行。然而,由于最近在图像处理技术上的提高,所以通过便携式终端执行视频通话或记录图像是普遍的。例如,现在,大部分的移动电话包括至少一个照相功能。用于拍摄人脸或处理通过拍摄人脸获得的图像的图像处理技术已吸引了越来越多的关注。一般来说,当执行视频通话时,一位通话者的人脸被拍摄以被发送到另一通话者。当提供这样的视频通话时,将特定图像或动画(运动图像)与通话图像进行合成的方法是已知的。根据现有技术的方法,当用户手动地选择用于显示图像(例如,运动图像,即动画)的菜单项时,便携式终端将与选择的菜单项相应的图像和通话图像合成以提供和/或发送。然而,根据该方法,存在的问题在于用户需要在视频通话期间手动地选择图像,因此降低了交谈的流畅性。此外,存在的问题在于合成图像与图像内的人脸不协调,这是由于在不考虑显示在图像内的人脸的位置或大小的情况下,在预定义的位置执行图像合成或在特定位置以特定大小执行图像合成。
以上信息仅作为背景信息被提出以帮助对本公开的理解。至于任何上述信息是否可作为现有技术而应用于本发明,未做出决定,也未做出声明。
发明内容
技术问题
本发明的特定目的在于至少解决以上提到的问题和/或缺点,并至少提供以下描述的优点。因此,本发明的特定实施例的目的在于提供一种能够协调地将图像与该图像内的人脸进行合成并提供合成图像的用于图像处理的方法和设备。
本发明的特定实施例的另一目的在于提供一种能够在不降低交谈的流畅性的情况下将图像与适当的图像进行合成并提供合成图像的用于图像处理的方法和设备。
技术方案
根据本发明的第一方面,提供一种图像处理方法。所述方法包括:获得包括人脸的第一图像;获得指示是否满足预设条件的信息;当满足所述预设条件时,获得第一图像内的人脸部位的位置信息;通过在人脸部位的位置将与满足的所述预设条件相应的第二图像添加到第一图像来产生合成图像。
根据本发明的第二方面,提供一种图像处理设备。所述设备包括:控制器,被配置为:获得包括人脸的第一图像;获得指示是否满足预设条件的信息;当满足所述预设条件时,获得第一图像内的人脸部位的位置信息;通过在人脸部位的位置将与满足的所述预设条件相应的第二图像添加到第一图像来产生合成图像。
根据本发明的第三方面,提供一种包括由计算机可读取的用于实现第一图像处理方法的执行代码的存储介质。所述图像处理方法包括:获得包括人脸的第一图像;获得指示是否满足预设条件的信息;当满足所述预设条件时,获得第一图像中的人脸部位的位置信息;通过在人脸部位的位置将与满足的所述预设条件相应的第二图像添加到第一图像来产生合成图像。
本发明的另一方面提供一种包括排列的指令的计算机程序,其中,当执行该计算机程序时,实现根据上述方面张的任意方面的方法和/或设备。进一步的方面提供机器存储这种程序的可读存储器。
从以下结合附图公开本发明的示例性实施例的详细描述中,对于本领域技术人员而言本发明的其它方面、优点和显著特征将变得清楚。
附图说明
从以下结合附图的描述,本发明的特定示例性实施例的以上和其它方面、特征和优点将更清楚,在附图中:
图1是示出根据本发明的示例性实施例的图像处理设备的框图;
图2是示出根据本发明的第一示例性实施例的图像处理过程的流程图;
图3是示出根据本发明的第二示例性实施例的图像处理过程的流程图;
图4是示出根据本发明的第二示例性实施例的图像处理过程中的图像合成的示图;
图5是示出根据本发明的第三示例性实施例的图像处理过程的流程图;
图6是示出根据本发明的第三示例性实施例的图像合成的示图。
贯穿附图,应注意:相同的标号被用于表述相同或相似的元件、特征和结构。
具体实施方式
提供以下参照附图的描述以帮助对由权利要求和它们的等同物限定的本发明的示例性实施例的全面理解。所述描述包括各种特定细节以帮助理解,但这些细节仅被视为示例性的。相应地,本领域普通技术人员将意识到:在不脱离本发明的范围的情况下可对描述在此的实施例进行各种改变和修改。此外,为了清楚和简明,可省略对公知功能和结构的描述。
在以下的描述和权利要求中使用的术语和词语不限于书面含义,而仅被发明人用来使本发明能够被清晰且一致地理解。因此,对本领域的技术人员应清楚:提供本发明的示例性实施例的以下描述仅用于示意性的目的而并非为了限制由权利要求和它们的等同物限定的本发明的目的。
将理解:除非上下文清楚地另有指示,否则单数形式包括复数指代。因此,例如,参照“组件表面”包括参照一个或多个这样的表面。
图1是示出根据本发明的示例性实施例的图像处理设备的框图。
参照图1,图像处理设备100可包括通信单元110、音频处理单元120、显示单元130、输入单元140、存储单元150、控制器160和相机单元170。在不脱离本发明的范围的情况下,以上单元中的一个或更多个可被组合为单个单元。例如,显示单元130和输入单元140可被组合为触摸屏。
通信单元110执行发送并接收相关数据的功能以进行图像处理设备100的有线通信或无线通信。例如,通信单元110可包括射频(RF)发送器和RF接收器,其中,RF发送器用于对发送信号执行频率上变换和放大,RF接收器用于对接收的信号执行低噪声放大和频率下变换。此外,通信单元110通过无线信道接收将被发送到控制器160的数据,并且通过无线信道发送从控制器160输出的数据。
更具体地讲,根据本发明的示例性实施例的通信单元110可发送并接收包括人脸的图像或合成图像。此外,通信单元110可发送和接收语音。具体地讲,通信单元110可发送并接收包括语音分量的音频信号。通信单元110可将语音发送到外部语音分析设备,并可接收相应语音是否包括特定短语(phrase)或相应语音是否满足其它预设条件的信息。此外,通信单元110可将图像发送到外部图像分析设备,并可从图像分析设备接收关于包括在相应图像中的人脸部位的位置和/或大小的信息。此外,通信单元110可从图像分析设备接收相应图像是否满足预设条件(例如,是否找到特定表述信息)的信息。当控制器160不依赖于外部语音分析设备或外部图像分析设备而执行语音或图像的分析时,可从以上描述的通信单元110的功能中省略与外部语音分析设备或外部图像分析设备进行通信的功能中的部分功能或全部功能。此外,当在视频通话中发送和接收图像/语音不是必要的时,可省略通信单元110。
音频处理单元120通过音频编码解码器(编解码器)将数字音频信号转换为将通过扬声器SPK再现的模拟音频信号,并通过音频编解码器将从麦克风MIC输入的模拟音频信号转换为数字音频信号。音频处理单元120可被配置为音频编解码器,并且该音频编解码器可被配置为用于处理例如包数据的数据编解码器和用于处理诸如语音的音频信号的音频编解码器。当音频信号的单独处理不是必要的时,可省略音频处理单元120。
显示单元130在视觉上向用户提供语音处理单元100的菜单、输入数据、功能设置信息和各种其它信息。显示单元130执行用于输出语音处理单元100的启动屏幕、待机屏幕、菜单屏幕和其它应用屏幕的功能。根据本发明的示例性实施例,显示单元130可显示下面描述的根据本发明的示例性实施例合成的图像。此外,当语音处理单元100支持视频通话时,显示单元130可显示从视频通话的另一方接收的图像。
显示单元可被形成为例如液晶显示器(LCD)、有机发光二极管(OLED)或有源矩阵OLED(AMOLED)。
根据图像没有被直接显示图像而是被发送到另一装置的本发明的示例性实施例,可省略显示单元130。在这种情况下,从图像处理设备100接收图像的另一装置可显示相应图像。
输入单元140可接收用户控制输入以将其发送到控制器160。输入单元140可被实现为触摸传感器和/或键盘。
触摸传感器(如果存在)检测用户的触摸输入。触摸传感器可被配置为例如电容覆盖型、电阻覆盖型或红外光束型的触摸检测传感器,或被配置为压力传感器。不同于上述传感器,可检测对象的接触或压力的所有类型的传感器装置可被用作本发明的触摸传感器。触摸传感器检测用户的触摸输入,并产生将被发送到控制器160的检测信号。检测信号包括用户输入触摸处的坐标的数据。当用户输入触摸位置移动手势时,触摸传感器产生包括触摸位置移动路径的坐标数据的检测信号以将其发送到控制器160。
键盘(如果存在)接收用于控制图像处理设备100的输入信号,并产生输入信号以将其发送到控制器160。键盘可包括例如数字键和箭头键中的一个或更多个,并且键盘可作为预定的功能键设置在图像处理设备100的一侧。
根据本发明的示例性实施,输入单元140可仅包括触摸传感器或键盘,或者当不需要单独的控制输入时,可省略输入单元140。
存储单元150可被用于存储用于操作图像处理设备100的程序和数据。存储单元150可被划分为程序区域和数据区域。程序区域(如果存在)可存储用于控制图像处理设备100的整体操作的程序、用于启动图像处理设备100的操作系统(OS)、再现多媒体内容所需的应用程序和图像处理设备100的另一可选功能(诸如,相机功能、声音再现功能或图像再现功能或视频再现功能)所需的应用程序中的一个或更多个。数据区域(如果存在)是存储根据图像处理设备100的使用而产生的数据的区域,并且数据区域可用于存储例如图像、视频、电话簿和音频数据中的至少一个。更具体地讲,存储单元150可存储由相机单元170拍摄的图像或由控制器160合成的图像。
相机单元170拍摄图像。拍摄的图像被发送到控制器160或存储在存储单元150中。用于拍摄图像的结构在现有技术中是公知的,因此在此省略对其的详细描述。在图像没有被直接拍摄而是从另一外部装置接收的本发明的示例性实施例中,可省略相机单元170。
控制器160控制图像处理设备100的每一元件的整体操作。
更具体地讲,参照图2到图6,控制器160可从图像获得关于在相应图像中的人脸的位置和/或大小的信息,并由此合成图像。此外,控制器160可确定图像或语音是否满足特定的预设条件,并由此合成图像。将参照图2到图6对上述内容进行详细的描述。
图2是示出根据本发明的第一示例性实施例的图像处理过程的流程图。
参照图2,在步骤210,图像处理设备100的控制器160获得包括人脸的图像。例如,图像处理设备100的相机单元170可拍摄图像,使得控制器160可获得图像。此外,通信单元110可从视频通话的另一方接收图像,使得控制器可获得图像。可以以下的方式来利用在上述方法或其它方法中获得的图像。
接下来,在步骤220,控制器160确定是否满足预设条件。例如,控制器160可通过分析图像来确定是否满足预设条件。此外,控制器160可获得包括语音的语音信号和图像,并确定相应语音是否满足预设条件。此外,可通过分析图像和语音两者来确定是否满足预设条件。根据另一示例,控制器160可将获得的图像和语音中的至少一个发送到外部分析装置,并且控制器160可通过使用接收到的分析结果来确定是否满足预设条件。将参照图3到图6对确定是否满足预设条件的步骤进行详细的描述。
如果不满足相应的预设条件,则该处理终止。
如果满足相应的预设条件,则该处理继续至步骤230。
在步骤230,控制器160获得关于图像中的人脸部位的位置和大小的信息。例如,控制器160可获得人脸的眼睛和/或嘴的位置和大小的信息。如另一示例,控制器160可直接分析图像以获得人脸部位的位置信息和大小信息。根据本发明的另一示例性实施例,控制器160可将图像发送到图像处理设备100的外部图像分析装置以获得人脸部位的位置信息和大小信息。在现有技术中,识别图像中的人脸的眼睛和鼻子的位置和大小中的至少一个的技术是公知的,因此将省略对其的详细描述。
这里,位置信息可以是例如相应的人脸部位的重心或者是具有用于包括相应的人脸部位的最小大小的矩形的顶点。此外,大小信息可包括高度信息、宽度信息、直径或半径的信息或者对角线的长度的信息。可以以矩形的相互面对的顶点的位置的信息的形式来表示大小信息,其中,该矩形具有用于包括相应的人脸部位的最小大小。其它各种方法可被用于表示位置信息和大小信息,仅在表达上有差异,并且基本上可表示位置和大小的任意信息可以是位置信息和大小信息。
在步骤240,控制器160通过使用位置信息和大小信息来添加与在步骤220中满足的预设条件相应的图像(包括运动图像),并将该图像与相应图像进行合成。例如,如果在语音中找到短语“开心”,则在图像的眼睛和嘴的位置可添加与用于找到相应短语的预设条件相应的微笑图像,并将其进行合成以产生面部微笑的图像。这里,根据眼睛和嘴的大小信息,可调整微笑图像的大小。根据本发明的示例性实施例,可省略获得并使用人脸部位的大小信息的步骤。控制器可添加并合成预定义大小的微笑图像。
图3是示出根据本发明的第二示例性实施例的图像处理过程的流程图。
图4是示出根据本发明的第二示例性实施例的图像处理过程的合成图像的示图。
现在参照图3和图4,在步骤310,图像处理设备100的控制器160获得图像和语音。例如,控制器160可通过相机单元170和音频处理单元120获得用户的拍摄的图像和语音。在另一示例中,控制器160可通过通信单元110从另一装置获得图像和语音。如图4中所示,图像处理单元100获得如在第一屏幕410中所示的图像415。假设图像415通过图像处理设备100的相机单元170被拍摄。然而,应注意:本发明不限于此,可同样地处理由其它方法获得的图像。
在步骤320,控制器160将通过通信单元110获得的语音发送到图像处理设备100的外部语音分析装置。在步骤330,控制器160通过通信单元110从外部语音分析装置接收相应语音的分析结果。语音分析装置例如分析语音,并且如果找到预设短语,则通知图像处理设备100。在现有技术中,分析语音以找到特定短语的技术是公知的,因此将省略对其的详细描述。可利用相应功能的任意语音分析技术。
在步骤340,控制器160确定是否在相应语音中找到预设短语。例如,假设,在找到短语“开心”的情况下,图像处理设备100合成笑脸的图像。如果用户通过麦克风MIC对图像处理设备100说“我太开心了”,则控制器160可找到短语“开心”。预设短语可由用户设置或由服务提供商、终端制造商和软件提供商中的至少一个来设置。
根据本发明的示例性实施例,根据通过语音分析是否找到特定短语来执行图像合成。然而,本发明不限于此。例如,根据修改后的示例,可通过使用语音的音调、音高和音量中的一个或更多个来确定是否将特定图像与图像进行合成。此外,在本发明的示例性实施例中,可通过使用语音的音调、音高和音量中的一个来确定将特定图像合并在视频上。此外,在本发明的示例性实施例中,当找到特定图像时,可通过考虑相应短语的语音的音调、音高和音量中的至少一个,来确定是否将特定图像与图像合成。这里,假设仅考虑是否发现特定短语。
如果没有发现特定短语,则该处理终止。
如果发现特定短语,则该处理继续至步骤350。
在步骤350,控制器160获得图像中的人脸部位的位置信息和大小信息。参照图4,显示了两个眼睛的位置421和422与嘴的位置423。在步骤360,控制器160通过使用位置信息和大小信息添加与在步骤340中找到的短语相应的图像,并将该图像与相应图像进行合成。假设,与短语“开心”相应的图像是第二屏幕440的图像451、452和453。图像451、452和453分别合成到眼睛和嘴巴的位置421、422和423。此外,可根据眼睛和嘴的大小来调整图像451、452和453的大小。例如,可将眼睛图像451的宽度调整为从眼睛421的左端到右端的长度的两倍。
如另一示例,可在维持从左到右的长度与从顶到底的高度的比例的同时,调整图像451的大小。因此,可不管眼睛的从顶到底的高度为如何,确定图像451的从左到右的长度,并且可以与其成比例地确定图像451的从顶到底的高度。另一方面,可在不维持从左到右的长度与从顶到底的高度的比例的同时,调整图像451的大小。如另一示例,针对具有宽细的眼睛的眼睛,图像451也可被修改为相对宽细的形状以被合成。
如第二屏幕440中所示,可将以以上方式合成的图像显示在显示单元130上。此外,可将合成图像发送到视频通话的另一方。视频通话的另一方可被提供有包括用户的人脸的图像,在该图像中合成了如第三屏幕470中示出的图像481、482和483。根据本发明的另一示例性实施例,合成图像可被暂时性地或半永久性地保存在存储单元150中。保存在存储单元150中的图像可随后被重现或被利用以进行另外的处理。合成的图像可通过版权工具或其它应用,用于社交网络服务(SNS)或被发布在网页上。
在以上描述的示例中,如果找到特定短语,则图像合成可应用到与找到特定短语的时间点相应的图像中的部分。例如,当在全长的2:00分钟时在语音中找到短语“开心”时,则笑脸的图像可与相应于2:00到2:03分钟的图像进行合成。然而,可根据本发明的示例性实施例来不同地修改应用合成的开始点/结束点。
可预先设置不同于以上提到的短语的多个短语,并且可将不同的图像分配给各个短语。例如,哭泣的图像可被分配给短语“难过”。因此,可分配与各种情绪、陈述、词语或短语中的任意一个相应的图像。
图5是示出根据本发明的第三示例性实施例的图像处理过程的流程图。
图6是示出根据本发明的第三示例性实施例的图像合成的示图。
现在参照图5和图6,在步骤510,控制器160获得图像。与上述示例性实施例相似,控制器160可通过相机单元170和通信单元110中的至少一个获得图像。在步骤520,控制器160获得面部表情信息。图像处理设备100可将预设的图像图案与图像的人脸部位进行比较来获得面部表情信息。例如,当具有比预设值更大的值的相似度被确定时,图像中的人脸被确定为笑脸,其中,所述值为作为将笑脸的预设的图像图案与图像进行比较的结果。在这种情况下,控制器160可获得与笑脸相应的面部表情信息。人脸图案是表示面部表情(诸如,微笑)的特征部分的图案。例如,笑脸可具有眼睛变细并且出现酒窝的特征,因此,可形成用于确定这样的特征的图像图案。在亲吻动作的情况下,可通过使用用于确定使嘴唇撅起和嘴唇延伸的特征的图像图案来检测亲吻动作。当可作为与相应部分的图像进行比较的结果,确定出现酒窝并且眼睛变细时,可识别出笑脸。可利用用于识别面部表情的相应功能的任意其它技术。
控制器160可通过直接分析图像来检测面部表情,或可使用图像处理设备100的外部图像分析装置来检测面部表情。
在图6的第一屏幕610上示出眨眼人脸615。
在步骤530,控制器160确定是否检测到特定面部表情。换言之,当将与眨眼人脸相应的图像图案与图像进行比较时,控制器160确定是否检测到眨眼人脸的面部表情信息或具有比预设值大的值的相似度。当如图6的第一屏幕610中所示检测到诸如眨眼的预设面部表情时,该处理继续至步骤540。另一方面,当没有检测到特定面部表情时,该处理终止。为了避免错误,跟随步骤540的合成步骤可被配置为仅在检测到特定面部表情持续预设时间(例如,2秒)时被执行。
在步骤540,控制器160获得图像中的人脸部位的位置信息和大小信息。已参照图2到图4描述了获得位置信息和大小信息的详细方法。假设示例为相应于眨眼人脸,在眼梢(即,眼褶的最外点)周围显示至少一个心形图像651。控制器160获得在图6的第一屏幕610中的图像615的眨眼的眼梢的位置621的信息和眼睛的大小信息。
在步骤550,控制器160根据眼睛的大小在相应的位置调整并显示与检测到的面部表情相应的图像。与图2到图4的示例性实施例相似,可省略获得并使用大小信息的步骤。参照图6的第二屏幕640,根据眨眼人脸,至少一个心形图像651可被合成到眼梢的位置621并被显示。
如第二屏幕640中所示,以以上方式合成的图像可被显示在图像处理设备100的显示单元130上。此外,合成图像可被发送到视频通话的另一方。视频通话的另一方可被提供有包括所述另一方的人脸的图像,在该图像中合成了在第三屏幕670中示出的图像681。根据另一示例性实施例,合成图像可被暂时性地或半永久性地保存在存储单元150中。保存在存储单元150中的图像可在稍后重现或被利用以进行另外的处理。合成图像可通过版权工具或其它应用,用于SNS或被发布在网页上。
这里,应理解:可通过计算机程序指令实现流程图的每一块和流程图的块的组合。因为这些计算机程序指令可被加载在通用计算机、专用计算机的非暂时性存储器或数据处理设备的处理器中,由计算机或数据处理设备的处理器执行的这些指令可产生用于执行结合流程图的块描述的功能的装置。为了以特定方式实现所述功能,这些计算机程序指令可被存储在计算机或可由计算机使用或读取的非暂时性存储器中,这些计算机程序指令可被用于可编程数据处理设备,因此,可将存储在计算机可使用或可读取的存储器的指令产生为为制造的项目,所述制造的项目包含用于执行结合流程中的块描述的功能的指令装置。由于计算机程序指令可被加载在计算机或其它可编程数据处理设备上,所以在计算机或可编程数据处理设备上执行的计算机程序指令可通过产生由计算机执行的处理来提供用于执行结合在流程图中的块描述的功能的步骤,其中,在所述处理中,由计算机或其它可编程数据处理设备执行一系列步骤。
此外,每一块可说明包括一个或更多个可执行指令的代码、代码段、模块中的部分,其中,所述可执行指令用于执行至少一个特定逻辑功能。可选地,在几个可选示例性实施例中,可依照不同的顺序来执行结合块描述的功能。例如,按行示出的两个块可大体上同时被执行,或者所述块可根据相应功能而按照不同的顺序被执行。
此外,在这里的示例性实施例中使用的术语“单元”包括硬件元件和软件元素的组合或硬件元件(诸如,现场可编程门阵列(FPGA)或特定用途集成电路(ASIC)),并且“单元”执行特定功能。然而,“单元”不限于硬件和软件的组合或硬件。“单元”可被配置为嵌入在可被寻址的非暂时性存储介质内,且并被配置为由一个或更多个处理器重现。因此,例如,“单元”可包括元素(诸如,软件元素、面向对象软件元素、类元素和任务元素)以及由至少一个处理器执行和/或处理的进程、函数、属性、规程、子例程、程序代码段、驱动器、固件、微代码、电路、数据、数据库、数据结构、表、数组和变量。由元件和“单元”提供的功能可被组合为更少数量的元件和“单元”,或被划分为额外的元件和“单元”。此外,元件可被实施为在装置或安全多媒体卡内运行一个或更多个中央处理单元(CPU)。
因此,实施例提供包括用于实现如本申请文件的权利要求书中的任一权利要求要求保护的方法和设备的代码的程序以及存储这样的程序的机器可读存储器。再进一步,这样的程序可经由任意介质(例如,通过有线或无线连接传送的通信信号)被电传送,并且实施例可适当地包含这些。
贯穿本申请文件的权利要求和说明书,词语“包括”和“包含”以及所述词语的变化表示“包括但不限于”,并且不意图(并且确实没有)排除其它组件、整体或步骤。
除非不矛盾,否则结合本发明的具体方面、实施例或示例所描述的特征、整体和特性将被理解为可应用于在此描述的任意其它方面、实施例和示例。
还将理解:贯穿本申请文件的说明书和权利要求书,以一般形式“用于Y的X”的语言(其中,Y是某一动作、活动或步骤,X是用于执行该动作、活动或步骤的某一装置)包含为了进行Y特定修改或布置的装置X,但并非仅为了进行Y。
根据本发明的示例性实施例,可实现了提供用于图像处理的方法和设备的效果,其中,所述方法和设备能够协调地将图像与该图像内的人脸进行合成并提供合成图像。
此外,根据本发明的示例性实施例,可实现了提供用于图像处理的方法和设备的效果,其中,所述方法和设备能够在不降低交谈的流畅性的情况下将图像与适当的图像进行合成并提供合成图像。
虽然已经参照本发明的特定示例性实施例示出并描述了本发明,但是本领域技术人员将理解:在不脱离由所附权利要求限定的本发明的范围的情况下可对其进行形式上和细节上的各种改变。
Claims (18)
1.一种图像处理方法,包括:
获得包括人脸的第一图像;获得指示是否满足预设条件的信息;
当满足所述预设条件时,获得第一图像内的人脸部位的位置信息;
通过在人脸部位的位置将与满足的所述预设条件相应的第二图像添加到第一图像来产生合成图像。
2.如权利要求1所述的方法,还包括:
当满足所述预设条件时,获得第一图像内的人脸部位的大小信息;
其中,产生合成图像的步骤包括:通过使用人脸部位大小信息来在人脸部位的位置将与满足的所述预设条件相应的第二图像添加到第一图像。
3.如权利要求1或2所述的方法,还包括:
获得语音;
其中,获得指示是否满足所述预设条件的信息的步骤包括:获得指示语音是否满足所述预设条件的信息。
4.如权利要求3所述的方法,其中,获得指示是否满足所述预设条件的信息的步骤包括:获得指示是否从语音提取出满足所述预设条件的词语或短语的信息。
5.如权利要求1或2所述的方法,其中,获得指示是否满足所述预设条件的信息的步骤包括:
确定第一图像与预设图像图案之间的相似的程度;
当第一图像与所述预设图像图案之间的相似度比预设值大时,确定满足所述预设条件。
6.如权利要求5所述的方法,其中,所述预设图像图案包括面部表情。
7.一种图像处理设备,包括:
控制器,被配置为:
获得包括人脸的第一图像;
获得指示是否满足预设条件的信息;
当满足所述预设条件时,获得第一图像内的人脸部位的位置信息;
通过在人脸部位的位置将与满足的所述预设条件相应的第二图像添加到第一图像来产生合成图像。
8.如权利要求7所述的设备,其中,控制器还被配置为:当满足所述预设条件时,获得第一图像内的人脸部位的大小信息,并通过使用人脸部位大小信息在人脸部位的位置将与满足的所述预设条件相应的第二图像添加到第一图像来产生合成图像。
9.如权利要求7或8所述的设备,其中,控制器还被配置为:获得语音并通过获得指示语音是否满足所述预设条件的信息来获得指示是否满足所述预设条件的信息。
10.如权利要求9所述的设备,其中,控制器还被配置为:获得指示是否从语音提取出满足所述预设条件的词语或短语的信息。
11.如权利要求7或8所述的设备,其中,控制器还被配置为确定第一图像与预设图像图案之间的相似的程度,并当第一图像与所述预设图像图案之间的相似度比预设值大时,确定满足所述预设条件。
12.如权利要求11所述的设备,其中,所述预设图像图案包括面部表情。
13.如权利要求1到6中任一权利要求所述的方法或权利要求7到12中任一权利要求所述的设备,其中,合成图像包括与词语或短语相应的面部表情。
14.如权利要求1到6中任一权利要求所述的方法或权利要求7到12中任一权利要求所述的设备,其中,人脸部位包括眼睛、嘴、鼻子、眉毛、下巴和脸颊中的至少一个。
15.如权利要求1到6中任一权利要求所述的方法或权利要求7到12中任一权利要求所述的设备,其中,与满足的所述预设条件相应的第二图像包括面部表情中的至少一个元素。
16.如权利要求4到6中任一权利要求所述的方法或权利要求10到12中任意权利要求所述的设备,其中,指示是否从语音提取出满足所述预设条件的词语或短语的信息是通过将语音发送到语音分析装置并从语音分析装置接收来获得指示是否从语音提取出满足所述预设条件的词语或短语的信息而获得的。
17.如权利要求1到6中任一权利要求所述的方法或权利要求7到12中任一权利要求所述的设备,其中,当从第一图像获得了预设面部表情信息时,确定满足所述预设条件。
18.一种包括由计算机可读取的用于实现图像处理方法的执行代码的非暂时性存储介质,其中,所述图像处理方法包括:
获得包括人脸的第一图像;
获得指示是否满足预设条件的信息;
当满足所述预设条件时,获得第一图像中的人脸部位的位置信息;
通过在人脸部位的位置将与满足的所述预设条件相应的第二图像添加到第一图像来产生合成图像。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2012-0018636 | 2012-02-23 | ||
KR1020120018636A KR101862128B1 (ko) | 2012-02-23 | 2012-02-23 | 얼굴을 포함하는 영상 처리 방법 및 장치 |
PCT/KR2013/001469 WO2013125915A1 (en) | 2012-02-23 | 2013-02-25 | Method and apparatus for processing information of image including a face |
Publications (1)
Publication Number | Publication Date |
---|---|
CN104137533A true CN104137533A (zh) | 2014-11-05 |
Family
ID=47891392
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201380010614.1A Pending CN104137533A (zh) | 2012-02-23 | 2013-02-25 | 用于处理包括人脸的图像的信息的方法和设备 |
Country Status (7)
Country | Link |
---|---|
US (1) | US9298971B2 (zh) |
EP (1) | EP2632158A1 (zh) |
KR (1) | KR101862128B1 (zh) |
CN (1) | CN104137533A (zh) |
AU (1) | AU2013222959B2 (zh) |
IN (1) | IN2014KN01776A (zh) |
WO (1) | WO2013125915A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110431838A (zh) * | 2017-03-22 | 2019-11-08 | 韩国斯诺有限公司 | 提供人脸识别摄像机的动态内容的方法及系统 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104966280B (zh) * | 2014-09-04 | 2017-06-23 | 腾讯科技(深圳)有限公司 | 照片处理方法及装置 |
CN104780339A (zh) * | 2015-04-16 | 2015-07-15 | 美国掌赢信息科技有限公司 | 一种即时视频中的表情特效动画加载方法和电子设备 |
JP7081164B2 (ja) | 2018-01-17 | 2022-06-07 | 株式会社Jvcケンウッド | 表示制御装置、通信装置、表示制御方法および通信方法 |
CN112184854B (zh) * | 2020-09-04 | 2023-11-21 | 上海硬通网络科技有限公司 | 动画合成方法、装置及电子设备 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1347646A2 (en) * | 2002-03-20 | 2003-09-24 | Oki Electric Industry Company, Limited | Communication terminal for transmission of facial information |
KR20080057030A (ko) * | 2006-12-19 | 2008-06-24 | 엘지전자 주식회사 | 이모티콘을 이용한 화상통화장치 및 방법 |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4975960A (en) * | 1985-06-03 | 1990-12-04 | Petajan Eric D | Electronic facial tracking and detection system and method and apparatus for automated speech recognition |
US6707484B1 (en) * | 1994-07-28 | 2004-03-16 | Semiconductor Energy Laboratory Co., Ltd. | Information processing system |
EP1202209B1 (en) | 2000-04-21 | 2012-03-21 | Shiseido Company Limited | Makeup counseling apparatus |
KR20000064110A (ko) | 2000-08-22 | 2000-11-06 | 이성환 | 얼굴 영상에 기반한 캐릭터 자동 생성 장치 및 방법 |
KR100516638B1 (ko) | 2001-09-26 | 2005-09-22 | 엘지전자 주식회사 | 화상 통신 시스템 |
JP4910099B2 (ja) * | 2004-03-04 | 2012-04-04 | 株式会社コーチ・エィ | 学習システム及び学習サーバ |
TW200540732A (en) * | 2004-06-04 | 2005-12-16 | Bextech Inc | System and method for automatically generating animation |
EP1791088A4 (en) * | 2004-09-14 | 2009-04-15 | Nec Corp | DATA COLLATION SYSTEM, DATA COLLAGING DEVICE AND DATA COLLATION METHOD |
US7797261B2 (en) * | 2005-04-13 | 2010-09-14 | Yang George L | Consultative system |
US7995106B2 (en) * | 2007-03-05 | 2011-08-09 | Fujifilm Corporation | Imaging apparatus with human extraction and voice analysis and control method thereof |
KR101433171B1 (ko) | 2007-06-15 | 2014-08-22 | 삼성전자주식회사 | 화상통화 단말기 및 방법 |
JP4896838B2 (ja) * | 2007-08-31 | 2012-03-14 | カシオ計算機株式会社 | 撮像装置、画像検出装置及びプログラム |
US20090110245A1 (en) * | 2007-10-30 | 2009-04-30 | Karl Ola Thorn | System and method for rendering and selecting a discrete portion of a digital image for manipulation |
KR100886489B1 (ko) | 2007-11-19 | 2009-03-05 | (주)올라웍스 | 영상 통화 시 얼굴의 표정에 따라 꾸미기 효과를 합성하는방법 및 시스템 |
US7894639B2 (en) * | 2008-01-03 | 2011-02-22 | International Business Machines Corporation | Digital life recorder implementing enhanced facial recognition subsystem for acquiring a face glossary data |
KR100926978B1 (ko) * | 2008-04-08 | 2009-11-17 | 삼성전자주식회사 | 영상 수집 제어 방법 및 장치 |
US20110227923A1 (en) | 2008-04-14 | 2011-09-22 | Xid Technologies Pte Ltd | Image synthesis method |
AU2008264197B2 (en) * | 2008-12-24 | 2012-09-13 | Canon Kabushiki Kaisha | Image selection method |
KR101647305B1 (ko) | 2009-11-23 | 2016-08-10 | 삼성전자주식회사 | 이동통신 단말기에서 영상 통화 방법 및 장치 |
KR101721226B1 (ko) * | 2010-12-23 | 2017-04-10 | 삼성전자주식회사 | 사용자가 원하는 시점의 정지 영상을 획득할 수 있는 디지털 영상 신호 처리 장치 및 이의 제어 방법 |
CN102572356B (zh) * | 2012-01-16 | 2014-09-03 | 华为技术有限公司 | 记录会议的方法和会议系统 |
-
2012
- 2012-02-23 KR KR1020120018636A patent/KR101862128B1/ko active IP Right Grant
- 2012-12-18 US US13/718,390 patent/US9298971B2/en active Active
-
2013
- 2013-02-21 EP EP13156178.9A patent/EP2632158A1/en not_active Ceased
- 2013-02-25 IN IN1776KON2014 patent/IN2014KN01776A/en unknown
- 2013-02-25 CN CN201380010614.1A patent/CN104137533A/zh active Pending
- 2013-02-25 WO PCT/KR2013/001469 patent/WO2013125915A1/en active Application Filing
- 2013-02-25 AU AU2013222959A patent/AU2013222959B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1347646A2 (en) * | 2002-03-20 | 2003-09-24 | Oki Electric Industry Company, Limited | Communication terminal for transmission of facial information |
KR20080057030A (ko) * | 2006-12-19 | 2008-06-24 | 엘지전자 주식회사 | 이모티콘을 이용한 화상통화장치 및 방법 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110431838A (zh) * | 2017-03-22 | 2019-11-08 | 韩国斯诺有限公司 | 提供人脸识别摄像机的动态内容的方法及系统 |
US11017567B2 (en) | 2017-03-22 | 2021-05-25 | Snow Corporation | Dynamic content providing method and system for face recognition camera |
CN110431838B (zh) * | 2017-03-22 | 2022-03-29 | 韩国斯诺有限公司 | 提供人脸识别摄像机的动态内容的方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
EP2632158A1 (en) | 2013-08-28 |
KR20130096983A (ko) | 2013-09-02 |
US20130223695A1 (en) | 2013-08-29 |
AU2013222959A1 (en) | 2014-09-04 |
AU2013222959B2 (en) | 2016-10-27 |
US9298971B2 (en) | 2016-03-29 |
WO2013125915A1 (en) | 2013-08-29 |
KR101862128B1 (ko) | 2018-05-29 |
IN2014KN01776A (zh) | 2015-10-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102607666B1 (ko) | 전자 장치에서 사용자 의도 확인을 위한 피드백 제공 방법 및 장치 | |
CN106060378B (zh) | 用于设置拍摄模块的装置和方法 | |
AU2013204564B2 (en) | Method and apparatus for processing multiple inputs | |
US20180285641A1 (en) | Electronic device and operation method thereof | |
US20220230438A1 (en) | Slow-Motion Video Shooting Method and Electronic Device | |
CN109905852A (zh) | 通过使用呼叫方电话号码来提供附加信息的装置和方法 | |
KR20170029837A (ko) | 이동 단말기 및 그 제어 방법 | |
US20150235366A1 (en) | Method for processing image data and apparatus for the same | |
KR20160033605A (ko) | 콘텐트를 디스플레이하기 위한 장치 및 방법 | |
CN104137533A (zh) | 用于处理包括人脸的图像的信息的方法和设备 | |
CN108038102A (zh) | 表情图像的推荐方法、装置、终端及存储介质 | |
CN108228776B (zh) | 数据处理方法、装置、存储介质及电子设备 | |
KR102271184B1 (ko) | 영상 투사 장치 및 그의 동작 방법 | |
KR20180096182A (ko) | 전자 장치 및 그 전자 장치의 제어 방법 | |
CN113837920B (zh) | 一种图像渲染方法及电子设备 | |
WO2022166713A1 (zh) | 电子设备及其应用的显示方法和介质 | |
WO2020253129A1 (zh) | 歌曲显示方法、装置、设备及存储介质 | |
US20220021763A1 (en) | Touch Operation Locking Method and Electronic Device | |
WO2022222688A1 (zh) | 一种窗口控制方法及其设备 | |
CN112445348A (zh) | 一种表情处理方法、装置和介质 | |
KR20190082578A (ko) | 이동 단말기 및 그 제어 방법 | |
US20150346997A1 (en) | Display control device, display control method, and recording medium | |
CN115562514A (zh) | 触控显示方法、图形界面及相关装置 | |
CN108600502B (zh) | 电子装置、拨号方法及相关产品 | |
KR20200094436A (ko) | 복수의 어플리케이션에 카메라에서 획득한 이미지를 제공하는 전자 장치 및 그의 동작 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20141105 |
|
RJ01 | Rejection of invention patent application after publication |