CN105721765A - 图像生成装置以及图像生成方法 - Google Patents

图像生成装置以及图像生成方法 Download PDF

Info

Publication number
CN105721765A
CN105721765A CN201510783411.7A CN201510783411A CN105721765A CN 105721765 A CN105721765 A CN 105721765A CN 201510783411 A CN201510783411 A CN 201510783411A CN 105721765 A CN105721765 A CN 105721765A
Authority
CN
China
Prior art keywords
image
face
correspondence
generation device
emotion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510783411.7A
Other languages
English (en)
Inventor
北条芳治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Publication of CN105721765A publication Critical patent/CN105721765A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3261—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of multimedia information, e.g. a sound signal
    • H04N2201/3263—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of multimedia information, e.g. a sound signal of a graphical motif or symbol, e.g. Christmas symbol, logo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3261—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of multimedia information, e.g. a sound signal
    • H04N2201/3266—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of multimedia information, e.g. a sound signal of text or character information, e.g. text accompanying an image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3271—Printing or stamping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3273—Display

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种图像生成装置以及图像生成方法。图像生成装置具备运算电路，将所述运算电路设定为进行如下处理：根据从原图像数据中导出的被摄体的脸部的图像来确定所述被摄体的感情，基于所述脸部的图像来生成第1图像，从多个对应图像中选择表现了所述确定的感情的对应图像，将所述第1图像和所述选择的对应图像进行合成来生成第2图像。

Description

图像生成装置以及图像生成方法
本申请基于并主张于2014年12月22日提交的在先日本专利申请No.2014-259355的优先权，其全文通过参考结合于此文。
技术领域
本发明涉及图像生成装置以及图像生成方法。
背景技术
过去以来，存在从照片自动地制作肖像画的技术。如JP特开2003—85576号公报所记载的技术那样，存在将照片的图像2值化或改变成绘画风格，忠实地再现原图像的技术。
但是，在上述的专利文献1所记载的技术中，仅是忠实地再现原图像，不能从原图像新生成表现丰富的角色(character)图像。
发明内容
本发明鉴于这样的状沉而作，其目的在于从原图像生成表现丰富的角色图像。
图像生成装置具备运算电路，并将所述运算电路设定为进行如下处理：根据从原图像数据中导出的被摄体的脸部的图像来确定所述被摄体的感情，基于所述脸部的图像来生成第1图像，从多个对应图像中选择表现了所述确定的感情的对应图像，将所述第1图像和所述选择的对应图像进行合成来生成第2图像。
附图说明
图1是表示本发明的一个实施方式所涉及的摄像装置的硬件构成的框图。
图2是用于说明本实施方式中的角色图像的制作流程的示例的示意图。
图3-A是用于说明本实施方式中的角色图像的制作方法的示意图。
图3-B是用于说明本实施方式中的角色图像的制作方法的示意图。
图3-C是用于说明本实施方式中的角色图像的制作方法的示意图。
图4是表示图1的摄像装置的功能构成当中用于执行角色图像生成处理的功能构成的功能框图。
图5是说明具有图4的功能构成的图1的摄像装置所执行的角色图像生成处理的流程的流程图。
具体实施方式
以下使用附图来说明本发明的实施方式。
图1是表示本发明的一个实施方式所涉及的摄像装置的硬件构成的框图。
摄像装置1例如构成为数字摄像机。
摄像装置1具备：作为运算电路的CPU(CentralProcessingUnit，中央处理器)11、ROM(ReadOnlyMemory，只读存储器)12、RAM(RandomAccessMemory，随机存取存储器)13、总线14、输入输出接口15、摄像部16、输入部17、输出部18、存储部19、通信部20、和驱动器21。
CPU11按照记录于ROM12的程序、或从存储部19载入到RAM13的程序来执行各种处理。
在RAM13中还适当存储CPU11执行各种处理所需要的数据等。
CPU11、ROM12以及RAM13经由总线14相互连接。在该总线14还连接有输入输出接口15。在输入输出接口15连接有摄像部16、输入部17、输出部18、存储部19、通信部20以及驱动器21。
虽未图示，但摄像部16具备光学透镜部和图像传感器。
光学透镜部由为了对被摄体进行拍摄而使光会聚的透镜、例如聚焦透镜、变焦透镜等构成。
聚焦透镜是使被摄体像成像在图像传感器的受光面的透镜。变焦透镜是使焦距在一定的范围内自由变化的透镜。
在光学透镜部还根据需要设置调整焦点、曝光、白平衡等设定参数的外围电路。
图像传感器由光电变换元件、AFE(AnalogFrontEnd，模拟前端)等构成。
光电变换元件例如由CMOS(ComplementaryMetalOxideSemiconductor，互补金属氧化物半导体)型的光电变换元件等构成。被摄体像从光学透镜部入射到光电变换元件。因此，光电变换元件对被摄体像进行光电变换(摄像)，将图像信号积蓄一定时间，并将积蓄后的图像信号作为模拟信号依次提供给AFE。
AFE对该模拟的图像信号执行A/D(Analog/Digital，模拟/数字)变换处理等各种信号处理。通过各种信号处理而生成数字信号，并将其作为摄像部16的输出信号而输出。
以下将这样的摄像部16的输出信号称作“摄像图像的数据”。将摄像图像的数据适当提供给CPU11、未图示的图像处理部等。
输入部17由各种按钮等构成，根据用户的指示操作来输入各种信息。
输出部18由显示器、扬声器等构成，输出图像、声音。
存储部19由硬盘或DRAM(DynamicRandomAccessMemory，动态随机存取存储器)等构成，存储各种图像的数据。
通信部20控制经由包括因特网在内的网络在与其它装置(未图示)之间进行的通信。
在驱动器21适当安装由磁盘、光盘、光磁盘或半导体存储器等构成的可移动介质31。将通过驱动器21从可移动介质31读出的程序根据需要安装在存储部19中。另外，可移动介质31也能够与存储部19同样地存储在存储部19中存储的图像的数据等各种数据。
如此构成的摄像装置1具有从包含所拍摄的人(被摄体)的脸部的图像制作包含人的脸部并进行了角色化的角色图像的功能。另外，摄像装置1基于人的脸部的表情来制作脸部以外的部分的角色图像。
图2是用于说明本实施方式中的角色图像的制作流程的示例的示意图。
如图2的示例所示，角色图像每次使用由摄像部16进行拍摄的图像数据。或进行摄像机拍摄或选择存储在存储部19中的图像数据，来指定用于脸部图像的制作的图像数据(以下称作“原图像数据”)。原图像数据构成包含被摄体的脸部的图像(以下称作被摄体图像)。
然后针对原图像数据进行脸部识别的解析。结果，从被摄体图像中检测被摄体(例如人物的脸部)的脸部部位和脸部的表情。
另外，基于所检测出的脸部部位，进行肖像画变换(角色变换)，来进行将人的实拍的图像进行了二维化的图像即第1图像(以下称作“脸部图像”)的自动制作。
基于脸部识别的解析结果当中所检测出的脸部的表情，来进行对人的脸部以外的躯体、上半身进行了修改的图像即对象图像(以下称作“姿态图像”)的自动选择。姿态图像是包含用户(被摄体)的姿势或行动、动作的图像。例如在所检测出的表情是笑脸的情况下，作为表现喜悦的感情而包含举起双手(欢呼)的姿态、跳跃的姿态等。
之后，将所制作成的第1图像即脸部图像和所选择的姿态图像进行合成，来制作将人物角色化的图像即第2图像(以下称作“角色图像”)。
这时，在角色图像中追加字符的情况下，进行字符的输入和字符的大小、角度调整，来制作角色图像。
最终制作出的角色图像作为在聊天、即时消息、邮件等中代替文本消息而直观地传递感情等的消息工具来使用。
图3是用于说明本实施方式中的角色图像的制作方法的示意图。
如图3-A所示，基于从被摄体图像OI检测出的脸部部位P1到P4来自动地制作脸部图像FI。从实拍的图像提取构成图像的特征部分(本实施方式中为脸部部位)来制作动画图像(二维的图像)的技术使用现有的脸部图像制作技术。
另外，关于姿态图像PI，如图3-B所示，在本实施方式中，基于从被摄体图像OI检测出的脸部的表情(例如笑脸的表情)，从按笑脸、哭脸等表情所表现的每个感情来管理的姿态图像群PI(s)1、PI(s)2、PI(s)n中自动地选择与所检测出的表情所表现的感情相对应的姿态图像群PI(s)。
另外，如图3-C所示，将所制作成的脸部图像FI和所选择的姿态图像PI进行合成来制作角色图像CI。最终，对于角色图像而言，按照所选择的每个姿态图像群PI(s)而自动制作角色图像群CI(s)。
因此，在本实施方式中，由于将与脸部的表情所表现的感情相应的姿态图像与基于脸部而制作成的脸部图像进行合成来制作角色图像，因此所制作成的角色图像从脸部和姿态这两方面来反映脸部的表情所表现的感情，作为角色图像整体来表现感情等，成为多种多样、更直观地表现了感情等的图像。
图4是表示这样的摄像装置1的功能构成当中用于执行角色图像生成处理的功能构成的功能框图。
所谓角色图像生成处理，是指基于根据从原图像数据确定的脸部部位而制作成的第1图像、和根据从原图像数据确定的脸部的表情所表现的感情而选择的姿态图像来生成角色图像的一系列的处理。
在执行角色图像生成处理的情况下，如图4所示，在CPU11中，原图像数据取得部51、图像确定部52、脸部图像生成部53、姿态选择部54、和角色图像生成部55发挥功能。
另外，在存储部19的一个区域设定原图像数据存储部71、姿态图像存储部72、和角色图像存储部73。
在原图像数据存储部71中例如存储经由摄像部16、因特网等从外部取得并用于脸部表情的确定、脸部图像即第1图像的生成的原图像的数据。
在姿态图像存储部72中存储与脸部的表情所表现的感情建立了对应的姿态图像的数据。在本实施方式中，如图3-B所示，按脸部的表情所表现的每个感情以群为单位来管理多个姿态图像。即，按感情的每个种类将表现用户的脸部的表情所示出(表现)的感情的多个姿态图像的数据进行了分组。
在角色图像存储部73中存储将脸部图像和姿态图像进行合成而生成的角色图像的数据。
原图像数据取得部51经由摄像部16或因特网等从外部服务器或原图像数据存储部71中取得图像数据，作为成为角色图像的制作对象的原图像数据。在本实施方式中，原图像数据取得部51取得预先存储在原图像数据存储部71中的图像数据作为原图像数据。
图像确定部52对由原图像数据取得部51取得的原图像数据进行脸部识别的图像解析，来确定图像中的人的脸部部位，并且确定脸部的表情。确定脸部的表情，从而确定该表情所表现的感情。
另外，关于图像中的人的脸部的确定、脸部的表情的确定，使用现有的各种脸部识别的图像解析技术。
脸部图像生成部53基于由图像确定部52确定的脸部部位来进行肖像画变换(角色变换)，生成脸部图像。
另外，从实拍的图像的二维的脸部图像的生成使用现有的各种肖像画变换(角色变换)的技术。
姿态选择部54基于由图像确定部52确定的脸部的表情所表现的感情，来选择存储于姿态图像存储部72的姿态图像当中的与脸部的表情所表现的感情相对应的姿态图像。在本实施方式中，姿态选择部54选择存储于姿态图像存储部72的与脸部的表情表现的感情相对应的多个姿态图像。
角色图像生成部55将由脸部图像生成部53生成的脸部图像和由姿态选择部54选择的姿态图像进行合成，来生成一张角色图像。即，角色图像生成部55将与脸部图像的表情表现的感情相对应的躯体或上半身的姿态图像与脸部图像进行合成来生成角色图像。
之后，角色图像生成部55将所生成的角色图像存储在角色图像存储部73中。
图5是说明具有图4的功能构成的图1的摄像装置1所执行的角色图像生成处理的流程的流程图。
角色图像生成处理通过用户对输入部17的角色图像生成处理开始的操作而开始。
在步骤S11中，原图像数据取得部51从存储于原图像数据存储部71的图像数据中取得成为角色图像生成的对象的原图像。具体来说，原图像数据取得部51如图2所示那样，取得存储于原图像数据存储部71的多个图像数据当中由用户经由输入部17而选择的图像作为原图像数据。
在步骤S12中，图像确定部52使用脸部识别的解析技术对原图像数据进行图像解析。图像解析的结果，确定脸部部位和人的脸部的表情。具体来说，图像确定部52如图3-A所示那样确定脸部部位P1到P4，进而确定“笑脸”的表情，并确定“笑脸”的表情所表现的感情(例如喜悦)。
在步骤S13中，脸部图像生成部53针对由图像确定部52确定的原图像数据的脸部部位，进行肖像画变换而生成脸部图像。具体来说，脸部图像生成部53如图3-A所示那样，对被摄体图像OI的脸部部位P1到P4进行肖像画变换，从被摄体图像OI生成脸部图像FI。
在步骤S14中，姿态选择部54基于由图像确定部52确定的脸部的表情所表现的感情，来选择存储于姿态图像存储部72的姿态图像当中的与脸部的表情表现的感情相对应的姿态图像。具体来说，姿态选择部54如图3-B所示那样，选择与由图像确定部52确定的“笑脸”的表情所表现的感情(喜悦)相对应的姿态图像PI。
在步骤S15中，角色图像生成部55将由脸部图像生成部53生成的脸部图像和由姿态选择部54选择的姿态图像进行合成，来生成一张角色图像。具体来说，角色图像生成部55如图3-C所示那样，将所制作成的脸部图像FI和基于“笑脸”的表情所表现的感情(喜悦)而选择的姿态图像PI进行合成，来制作角色图像CI。针对所选择的姿态图像群PI(s)的全部进行合成，来生成角色图像群CI(s)。
在步骤S16中，角色图像生成部55判定是否针对输入部16有字符的追加的操作。
在不追加字符的情况下，在步骤S16中判定为“否”，处理前进到步骤S18。步骤S18以后的处理在后面叙述。
在追加字符的情况下，在步骤S16中判定为“是”，处理前进到步骤S17。步骤S18以后的处理在后面叙述。
在步骤S17中，角色图像生成部55在角色图像中追加字符。具体来说，角色图像生成部55如图2所示那样，调整用户经由输入部16而输入的字符的大小、角度，在角色图像中进行字符的追加。
在步骤S18中，角色图像生成部55将所生成的角色图像存储在角色图像存储部73中，并结束角色图像生成处理。
将所生成的角色图像如图2所示那样送往指定的图像的发送目的地而在即时消息等中作为表现感情的图像来利用。
在将肖像画图像作为用于SNS(SocialNetworkingService，社交网络服务)等的角色图像来使用时，具有想要在一定程度上传达的表现，即使语言较少也能用图像表现喜怒哀乐等来向对方传达意思。因此，在制作印章(stamp)时，通过事先拍摄具有喜怒哀乐的信息的图像或利用脸部识别技术将事先准备的脸部照片的图像对表情(喜怒哀乐)进行分类，由此能够作为整体来表现感情，从而生成无不适感的角色图像。
因此，在本实施方式的摄像装置1中，由于仅通过用户指定包含人的脸部的图像，就基于所指定的图像来制作脸部以及脸部以外的部分，因此不需要用户进行脸部以外的部分的选择操作，因而能够简单地生成角色图像。另外，由本实施方式的摄像装置1生成的角色图像由从实际的脸部照片生成的脸部图像和与脸部照片的脸部的表情所表现的感情相对应的姿态图像构成，因而成为更容易直观地感受感情的表现的图像。
如上所述构成的摄像装置1具备原图像数据取得部51、图像确定部52、脸部图像生成部53、姿态选择部54、和角色图像生成部55。
原图像数据取得部51取得成为处理对象的原图像数据。
图像确定部52从由原图像数据取得部51取得的原图像数据中检测脸部区域。
脸部图像生成部53基于由图像确定部52检测出的脸部区域，来生成第1图像即脸部图像。
图像确定部52从由原图像数据取得部51取得的原图像数据中确定脸部区域的脸部的表情。
姿态选择部54基于由图像确定部52确定的脸部区域的脸部的表情，来选择对应图像即姿态图像。
将由脸部图像生成部53生成的第1图像即脸部图像、和由姿态选择部54选择的对应图像即姿态图像进行合成来生成第2图像即角色图像。
由此，在摄像装置1中，由于基于脸部区域的脸部的表情来生成第1图像即脸部图像，并且基于脸部区域的脸部的表情来生成第1图像并选择对应图像即姿态图像以便生成第2图像，因此能够从原图像生成作为整体具有统一感并且表现丰富的角色图像。
图像确定部52从由原图像数据取得部51取得的原图像数据中确定脸部区域的脸部的表情。
脸部图像生成部53基于由图像确定部52检测出的脸部区域，来生成脸部图像作为第1图像。
图像确定部52基于脸部区域的脸部的表情来确定脸部的表情。进而，确定脸部的表情来确定该表情所表现的感情。
姿态选择部54基于由图像确定部52确定的脸部的表情所表现的感情，来选择与脸部的表情所表现的感情相对应并包含脸部以外的部分的对应图像即姿态图像。
角色图像生成部55将由脸部图像生成部53生成的第1图像即脸部图像、和由姿态选择部54选择的对应图像即姿态图像进行合成，来生成第2图像即角色图像。
由此，在摄像装置1中，由于使用从脸部区域生成的第1图像即脸部图像和基于脸部的表情所表现的感情而选择的姿态图像，因此成为更容易直观地感受感情的表现的图像，能够生成表现丰富的角色图像。
另外，摄像装置1具备存储对应图像即姿态图像的姿态图像存储部72。
姿态选择部54基于由图像确定部52确定的脸部的表情所表现的感情，来选择存储于姿态图像存储部72的对应图像即姿态图像。
由此，在摄像装置1中，由于仅选择预先准备的与表情所表现的感情相对应的对应图像即姿态图像就能够生成角色图像，因此能够简单地进行角色图像的生成。
另外，在摄像装置1中，对应图像即姿态图像是包含脸部以外的人的身体的图像。
由此，在摄像装置1中，由于成为包含脸部以外的部分的角色图像，因此能够生成作为整体而表现丰富的角色图像。
图像确定部52通过根据从原图像数据导出的被摄体的脸部的图像进行脸部识别来解析图像，从而确定脸部的表情。
由此，在摄像装置1中，由于使用脸部识别来确定脸部的表情，因此能够更高精度地确定脸部的表情，从而能够提高第1图像即脸部图像和姿态图像的作为整体的统一感。
另外，在摄像装置1中，原图像数据是拍摄了脸部的图像数据。
脸部图像生成部53通过肖像画变换从原图像数据生成第1图像即脸部图像。
由此，在摄像装置1中，由于使用拍摄了脸部的图像数据作为原图像数据，并通过肖像画变换来生成第1图像即脸部图像，因此能够生成将实拍角色化的图像。
另外，本发明并不限定于上述的实施方式，在变更达成本发明的目的的范围内的变形、改良等也包含在本发明中。
在上述的实施方式中，例如也可以构成为在拍摄前报知发怒、笑、或者哭等表情。在这种情况下，也可以构成为将表情的(条状、线图状等的)等级计(levelmeter)显示在实时取景画面中。
通过这样报知拍摄前的表情，也能够以想要在拍摄前作出的姿态的脸部的表情进行拍摄。
另外，在上述的实施方式中，基于从图像中解析出的人的脸部的表情(感情)来生成角色图像，但并不限于此，例如也可以构成为基于从图像中解析出的年龄、性别等能够从图像中解析的信息来生成角色图像。
另外，在上述的实施方式中，构成为基于人的脸部的表情(感情)来生成角色图像，但并不限于此，也可以构成为从包含能够检测表情(感情)的动物或能拟人化的物体(例如石头或车等)的图像中确定状态来生成角色图像。
另外，在上述的实施方式中，选择预先存储于姿态图像存储部72的姿态图像来生成了姿态图像，但也可以构成为在角色图像生成时每次都对应于表情来生成姿态图像。
另外，在上述的实施方式中，将角色图像作为静止图像来进行了说明，但也能够构成为连续地显示多张图像而有运动的图像或动态图像。
关于所生成的角色图像，在本实施方式中说明了在即时消息等中作为代替文本来传达感情等的工具来利用的示例，但例如也能够显示在邮件的文中，或者使用图像数据而作为印章制造器中的印章制造用数据来利用。
另外，在上述的实施方式中，运用本发明的摄像装置1以数字摄像机为例进行了说明，但并不特别限定于此。
例如本发明能够普遍运用在具有角色图像生成处理功能的电子设备中。具体来说，例如本发明能够运用在笔记本型的个人计算机、打印机、电视接收机、视频摄像机、便携型导航装置、便携电话机、智能手机、掌上游戏机等中。
另外，也可以从1个基图像数据生成多个第1图像。多个第1图像可以全都是相同的脸部的图像，也可以全都是不同的脸部的图像，还可以是多个当中的几个不同的脸部的图像。多个第1图像只要是表现由图像确定部52确定的脸部的表情所表现的感情的脸部的图像即可。能够将该多个第1图像和多个对应图像(姿态图像)组合来生成第2图像即角色图像。
上述的一系列的处理既能通过硬件来使其执行，也能通过软件来使其执行。
换言之，图4的功能构成只是例示，并非特别限定。即，只要在摄像装置1中具备能将上述的一系列的处理作为整体来执行的功能即可，至于为了实现该功能而使用什么样的功能块则并不特别限定于图4的示例。
另外，1个功能块既可以通过硬件单体来构成，也可以通过软件单体来构成，还可以通过它们的组合来构成。
在通过软件执行一系列的处理的情况下，构成该软件的程序从网络、记录介质安装到计算机等。
计算机可以是嵌入到专用的硬件中的计算机。另外，计算机也可以是能够通过安装各种程序来执行各种功能的计算机，例如通用的个人计算机。
包含这样的程序的记录介质不仅由为了向用户提供程序而与装置本体分开进行分发的图1的可移动介质31构成，还由以预先组装到装置主体中的状态提供给用户的记录介质等构成。可移动介质31例如由磁盘(包括软盘)、光盘或光磁盘等构成。光盘例如由CD-ROM(CompactDisk-ReadOnlyMemory，只读光盘)、DVD(DigitalVersatileDisk，数字多功能盘)、Blu-ray(注册商标)Disc(蓝光盘)等构成。光磁盘例如由MD(Mini-Disk，微型光盘)等构成。另外，以预先组装到装置主体中的状态提供给用户的记录介质例如由记录了程序的图1的ROM12、图1的存储部19所包含的硬盘等构成。
另外，在本说明书中，对记录在记录介质中的程序进行记述的步骤不仅包含沿着其顺序按时间序列进行的处理，还包含未必一定按时间序列进行处理而是并行或者单独地执行的处理。
以上说明了本发明的几个实施方式，但这些实施方式只是例示，并不限定本发明的技术范围。本发明能够采用其他各种各样的实施方式，进而，在不脱离本发明的要旨的范围内，能够进行省略、置换等各种变更。这些实施方式或其变形包含在本说明书等所记载的发明的范围、主旨内，并且包含在权利要求书所记载的发明及其等同的范围内。

Claims (9)

1.一种图像生成装置，其具备运算电路，
将所述运算电路设定为进行如下处理：
根据从原图像数据中导出的被摄体的脸部的图像来确定所述被摄体的感情，
基于所述脸部的图像来生成第1图像，
从多个对应图像中选择表现了所述确定的感情的对应图像，
将所述第1图像和所述选择的对应图像进行合成来生成第2图像。
2.根据权利要求1所述的图像生成装置，其中，
所述图像生成装置还具备存储了所述多个对应图像的对应图像存储部，
所述运算电路从存储在所述对应图像存储部中的所述多个对应图像中选择与根据所述被摄体的脸部而确定的感情一致的所述对应图像。
3.根据权利要求2所述的图像生成装置，其中，
在所述对应图像存储部中，存储使所述多个对应图像按感情的每个种类进行了分组的对应图像群，
所述运算电路选择与所述确定的感情相对应的所述对应图像群所包含的多个对应图像，生成多个所述第1图像，并将所述选择的多个对应图像和所述多个第1图像进行合成，来生成多个所述第2图像。
4.根据权利要求1所述的图像生成装置，其中，
所述运算电路将字符图像与所述第2图像进行合成。
5.根据权利要求1所述的图像生成装置，其中，
所述对应图像是包含脸部以外的人的身体的图像。
6.根据权利要求1所述的图像生成装置，其中，
所述对应图像是表现了人物的姿势、动作的图像。
7.根据权利要求1所述的图像生成装置，其中，
所述第1图像是所述被摄体的脸部的图像的二维化的图像。
8.根据权利要求1所述的图像生成装置，其中，
所述运算电路通过肖像画变换从所述原图像生成所述第1图像。
9.一种图像生成方法，其是在图像生成装置中使用的图像生成方法，
所述图像生成方法包括以下步骤：
根据从原图像数据中导出的被摄体的脸部的图像来确定所述被摄体的感情的步骤；
基于所述脸部的图像来生成第1图像的步骤；
从多个对应图像中选择表现了所述确定的感情的对应图像的步骤；和
将所述第1图像和所述选择的对应图像进行合成来生成第2图像的步骤。
CN201510783411.7A 2014-12-22 2015-11-16 图像生成装置以及图像生成方法 Pending CN105721765A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-259355 2014-12-22
JP2014259355A JP2016118991A (ja) 2014-12-22 2014-12-22 画像生成装置、画像生成方法及びプログラム

Publications (1)

Publication Number Publication Date
CN105721765A true CN105721765A (zh) 2016-06-29

Family

ID=56130047

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510783411.7A Pending CN105721765A (zh) 2014-12-22 2015-11-16 图像生成装置以及图像生成方法

Country Status (3)

Country Link
US (1) US20160180572A1 (zh)
JP (1) JP2016118991A (zh)
CN (1) CN105721765A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106303724A (zh) * 2016-08-15 2017-01-04 深圳Tcl数字技术有限公司 智能电视自动添加动态表情的方法和装置
CN106341608A (zh) * 2016-10-28 2017-01-18 维沃移动通信有限公司 一种基于情绪的拍摄方法及移动终端
CN109740505A (zh) * 2018-12-29 2019-05-10 成都视观天下科技有限公司 一种训练数据生成方法、装置及计算机设备

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170178287A1 (en) * 2015-12-21 2017-06-22 Glen J. Anderson Identity obfuscation
US10870056B2 (en) * 2017-11-01 2020-12-22 Sony Interactive Entertainment Inc. Emoji-based communications derived from facial features during game play
CN110634174B (zh) * 2018-06-05 2023-10-10 深圳市优必选科技有限公司 一种表情动画过渡方法、系统及智能终端
US10915606B2 (en) 2018-07-17 2021-02-09 Grupiks Llc Audiovisual media composition system and method
CN111083553B (zh) * 2019-12-31 2021-08-17 联想(北京)有限公司 一种图像处理方法和图像输出设备
JP7396326B2 (ja) * 2021-04-21 2023-12-12 株式会社リコー 情報処理システム、情報処理装置、情報処理方法およびプログラム
CN113222058B (zh) * 2021-05-28 2024-05-10 芯算一体(深圳)科技有限公司 一种图像分类方法、装置、电子设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010042057A1 (en) * 2000-01-25 2001-11-15 Nec Corporation Emotion expressing device
CN1444185A (zh) * 2002-03-13 2003-09-24 松下电器产业株式会社 计算机图形动画装置及计算机图形动画方法
CN101272457A (zh) * 2007-03-19 2008-09-24 索尼株式会社 图像处理装置和图像处理方法
US20100033591A1 (en) * 2008-08-05 2010-02-11 Canon Kabushiki Kaisha Image capturing apparatus and control method therefor
CN101715069A (zh) * 2008-09-30 2010-05-26 富士胶片株式会社 图像合成设备及其控制方法
US20100157099A1 (en) * 2008-12-22 2010-06-24 Kyocera Corporation Mobile device with a camera
CN103260036A (zh) * 2012-02-16 2013-08-21 卡西欧计算机株式会社 图像处理装置、图像处理方法、存储介质以及图像处理系统
CN104170318A (zh) * 2012-04-09 2014-11-26 英特尔公司 使用交互化身的通信

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3930489B2 (ja) * 2004-03-31 2007-06-13 株式会社コナミデジタルエンタテインメント チャットシステム、通信装置、その制御方法及びプログラム
JP2011090466A (ja) * 2009-10-21 2011-05-06 Sony Corp 情報処理装置及び方法、並びにプログラム
JP5024465B2 (ja) * 2010-03-26 2012-09-12 株式会社ニコン 画像処理装置、電子カメラ、画像処理プログラム
US9013489B2 (en) * 2011-06-06 2015-04-21 Microsoft Technology Licensing, Llc Generation of avatar reflecting player appearance
KR101494880B1 (ko) * 2012-11-07 2015-02-25 한국과학기술연구원 인지적 아바타 생성 장치 및 방법
US9706040B2 (en) * 2013-10-31 2017-07-11 Udayakumar Kadirvel System and method for facilitating communication via interaction with an avatar

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010042057A1 (en) * 2000-01-25 2001-11-15 Nec Corporation Emotion expressing device
CN1444185A (zh) * 2002-03-13 2003-09-24 松下电器产业株式会社 计算机图形动画装置及计算机图形动画方法
CN101272457A (zh) * 2007-03-19 2008-09-24 索尼株式会社 图像处理装置和图像处理方法
US20100033591A1 (en) * 2008-08-05 2010-02-11 Canon Kabushiki Kaisha Image capturing apparatus and control method therefor
CN101715069A (zh) * 2008-09-30 2010-05-26 富士胶片株式会社 图像合成设备及其控制方法
US20100157099A1 (en) * 2008-12-22 2010-06-24 Kyocera Corporation Mobile device with a camera
CN103260036A (zh) * 2012-02-16 2013-08-21 卡西欧计算机株式会社 图像处理装置、图像处理方法、存储介质以及图像处理系统
CN104170318A (zh) * 2012-04-09 2014-11-26 英特尔公司 使用交互化身的通信

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106303724A (zh) * 2016-08-15 2017-01-04 深圳Tcl数字技术有限公司 智能电视自动添加动态表情的方法和装置
CN106303724B (zh) * 2016-08-15 2019-10-01 深圳Tcl数字技术有限公司 智能电视自动添加动态表情的方法和装置
CN106341608A (zh) * 2016-10-28 2017-01-18 维沃移动通信有限公司 一种基于情绪的拍摄方法及移动终端
CN109740505A (zh) * 2018-12-29 2019-05-10 成都视观天下科技有限公司 一种训练数据生成方法、装置及计算机设备

Also Published As

Publication number Publication date
US20160180572A1 (en) 2016-06-23
JP2016118991A (ja) 2016-06-30

Similar Documents

Publication Publication Date Title
CN105721765A (zh) 图像生成装置以及图像生成方法
KR101643975B1 (ko) 내재된 사용자 입력 및 행동에 기초한 미디어의 동적 각색을 위한 시스템 및 방법
US9681186B2 (en) Method, apparatus and computer program product for gathering and presenting emotional response to an event
JP2022523606A (ja) 動画解析のためのゲーティングモデル
WO2015162949A1 (ja) 通信システム、制御方法、および記憶媒体
US20140153900A1 (en) Video processing apparatus and method
CN101262561B (zh) 成像设备及其控制方法
CN104822015A (zh) 图像处理装置以及图像处理方法
US11216999B2 (en) Electronic device and method for providing avatar based on emotion state of user
JP2020061761A (ja) 画像処理装置、画像処理方法、プログラム
CN104584531A (zh) 图像处理装置以及图像显示装置
JP2022525272A (ja) 選択的な動きの描画を伴う画像表示
CN105409202B (zh) 用户终端装置及其控制方法
JPWO2013168732A1 (ja) 電子機器
JP2022526053A (ja) ダイナミックデプス画像を撮影して編集するための手法
JP2009141516A (ja) 画像表示装置，カメラ，画像表示方法，プログラム，画像表示システム
GB2570792A (en) Image capturing apparatus, method of controlling the same, and storage medium
CN105744144A (zh) 图像生成方法以及图像生成装置
KR20200132569A (ko) 특정 순간에 관한 사진 또는 동영상을 자동으로 촬영하는 디바이스 및 그 동작 방법
KR20200092207A (ko) 전자 장치 및 이를 이용한 감정 정보에 대응하는 그래픽 오브젝트를 제공하는 방법
CN105744179A (zh) 摄像装置、摄像控制方法
JP6269469B2 (ja) 画像生成装置、画像生成方法及びプログラム
US10762395B2 (en) Image processing apparatus, image processing method, and recording medium
US20150081699A1 (en) Apparatus, Method and Computer Program for Capturing Media Items
JP2019047234A (ja) 情報処理装置、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160629

WD01 Invention patent application deemed withdrawn after publication