CN110520902A - 对图像应用动态效果的方法及装置 - Google Patents

对图像应用动态效果的方法及装置 Download PDF

Info

Publication number
CN110520902A
CN110520902A CN201780089231.6A CN201780089231A CN110520902A CN 110520902 A CN110520902 A CN 110520902A CN 201780089231 A CN201780089231 A CN 201780089231A CN 110520902 A CN110520902 A CN 110520902A
Authority
CN
China
Prior art keywords
information
dynamic effect
target image
pattern information
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780089231.6A
Other languages
English (en)
Other versions
CN110520902B (zh
Inventor
崔相晧
朴炳宣
陈正焕
李元孝
申亨培
郑圣烨
金星旭
咸努儿
金志珉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South Korea Snow Co Ltd
Original Assignee
South Korea Snow Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South Korea Snow Co Ltd filed Critical South Korea Snow Co Ltd
Publication of CN110520902A publication Critical patent/CN110520902A/zh
Application granted granted Critical
Publication of CN110520902B publication Critical patent/CN110520902B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measurement Of Optical Distance (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明提供一种图像处理方法，该方法基于预定的模式信息，获取目标图像的深度信息，并基于获取的深度信息，对目标图像应用动态效果，其中，所述预定的模式信息包含在图像中包含的对象的形状相关的信息和在图像中包含的对象之间的相对位置相关的信息。

Description

对图像应用动态效果的方法及装置
技术领域
本公开涉及一种对图像应用动态效果的方法及装置，更具体地，涉及一种获取图像的至少一部分的深度信息，并基于获取的深度信息对图像应用如运动效果等的动态效果的方法及装置。
背景技术
图像(图片)只能表示二维事物，因此无法表示如在视频中示出的生动感或现场感。但是，视频相比图像存在容量非常大、需要花非常多的时间来制作等缺点。
还存在一种在拍摄完多个图像后通过合成拍摄的多个图像来生成可被识别为类似于视频的内容(图像)的方法。但是，拍摄多个图像的过程同样繁琐，并且通过合成多个图像来生成的内容的容量等于将多个图像的容量相加的容量，因此相比于单个图像，容量会变得非常大，而且效率低。
因此，需要一种图像处理方法及装置，通过基于非视频的图像所生成的内容，能够表现出生动感或现场感的同时生成容量不会比现有的图像显著增加的内容。
在韩国授权专利第10-1513999号(公开日：2015年4月21日)中，记载有如下方法：从在二维图像数据中包含的多个对象中分离选择的第一对象，并在背景的第一位置和第二位置生成有关第一对象的设置的数据，由此将二维图像表示为三维图像。
上述说明的信息仅用于便于理解，其可能包括不构成现有技术的一部分的内容，并且可能不包括可向普通技术人员提示的现有技术的内容。
发明内容
(一)要解决的技术问题
根据一个实施例，可以提供一种图像处理方法，该方法基于预定的模式信息来获取目标图像的深度信息，并基于所获取的深度信息，对目标图像应用动态效果，其中，所述预定的模式信息包括在图像中包含的对象形状信息和在图像中包含的对象之间的相对位置信息。
根据一个实施例，可以提供一种方法，该方法识别在目标图像中包含的特定对象的影子或特定对象的轮廓，并基于所识别的信息将在目标图像中包含的特定对象和其他对象之间的相对位置作为深度信息来获取。
根据一个实施例，可以提供一种方法，该方法为获取目标图像的多个深度信息，并根据所获取的深度信息将不同的动态效果应用于目标图像。
(二)技术方案
根据一个方面，提供一种图像处理方法，包括以下步骤：基于预定的模式信息，获取在目标图像中包含的对象的至少第一部分和在所述目标图像中除在所述目标图像中包含的所述对象以外的区域中的至少第二部分中的至少一个的深度信息，其中，所述预定的模式信息包含在所述图像中包含的对象的形状相关的第一信息和在所述图像中包含的至少两个对象之间的相对位置相关的第二信息；以及基于获取的所述深度信息，对所述第一部分和所述第二部分中的至少一个应用动态效果。
在获取所述深度信息的步骤中，可以获取所述目标图像的多个点的每一个的深度信息。
所述点可以分别对应于所述第一部分或所述第二部分。
在所述赋予动态效果的步骤中，可以根据获取的所述多个点的深度信息所表示的深度值，对所述点中的至少两个点分别应用互相不同的动态效果。
所述赋予动态效果的步骤包括以下步骤：对所述点中深度值为预定值以上的点应用第一动态效果；以及对在所述点中深度值为小于预定值的点应用第二动态效果。
所述第一动态效果和所述第二动态效果可以使与应用的点相关的对象或在所述相关的对象中包含的要素发生运动效果。
当应用所述第一动态效果时，可以使所述相关的对象或在所述相关的对象中包含的要素发生大于应用所述第二动态效果时的运动效果。
在所述目标图像中包含的对象可以是背景、构成所述背景的事物或在所述目标图像中除所述背景以外的事物。
所述深度信息可以表示以在所述目标图像中包含的对象或在所述对象中包含的一个要素为基准的相对的深度值。
所述动态效果可以使所应用的所述目标图像的部分发生运动效果、颜色变更效果和形状变更效果中的至少一个。
所述运动效果可以使所应用的所述目标图像的部分发生晃动效果、旋转效果或倾斜效果。
所述第一信息可以包含用于识别在所述目标图像中包含的特定对象的影子的信息或者用于识别所述特定对象的轮廓的信息。
所述第二信息可以包含用于基于所述影子的方向、形状和大小中的至少一个或者所述轮廓与其他对象的轮廓之间的关系来将在所述目标图像中包含的所述特定对象与其他对象之间的相对位置确定为深度信息的信息。
所述应用动态效果的步骤可以包括以下步骤：基于预定的动态效果模式信息，确定要应用于所述第一部分和所述第二部分中的至少一个的动态效果；以及将确定的所述动态效果应用于所述第一部分和所述第二部分中的至少一个中。
所述应用动态效果的步骤还可以包括以下步骤：基于根据所述第一信息和所述第二信息识别的在所述目标图像中包含的对象和除所述对象以外的区域中的至少一个的信息来确定预定的所述动态效果模式信息。
所述第一信息可以包含用于识别在所述目标图像中包含的特定对象和在所述特定对象中包含的至少一个要素的形状的信息。
所述特定对象可以为人的脸部。
在所述特定对象中包含的至少一个要素可以为包括在脸部的部位即眼睛、鼻子、嘴或耳朵。
所述应用动态效果的步骤可以包括以下步骤：确定第一表情模式信息，所述第一表情模式信息与要应用于所述脸部的动态效果对应；以及基于被确定的所述第一表情模式信息，在所述脸部或在所述脸部中包含的部位中应用运动效果。
所述应用动态效果的步骤可以包括以下步骤：确定第二表情模式信息，所述第二表情模式信息与要应用于所述目标图像中除所述脸部以外的部分或整个所述目标图像的动态效果对应；以及基于所述被确定的第二表情模式信息，在所述除脸部以外的部分或整个所述目标图像应用运动效果。
根据另一方面，本发明提供一种图像处理装置，可以包括：深度信息获取单元，基于预定的模式信息，获取在目标图像中包含的对象的至少第一部分和在所述目标图像中除在所述目标图像中包含的对象以外的区域中的至少第二部分中至少一个的深度信息，其中，所述预定的模式信息包含在所述图像中包含的对象的形状相关的第一信息和在所述图像中包含的至少两个对象之间的相对位置相关的第二信息；以及动态效果应用单元，基于获取的所述深度信息，对所述第一部分和所述第二部分中的至少一个应用动态效果。。
所述图像处理装置还可以包括用于存储所述模式信息的第一数据库。
所述深度信息获取单元可以从所述第一数据库中获取所述模式信息。
所述动态效果应用单元可以基于预定的动态效果模式信息，确定要应用于所述第一部分和所述第二部分中的至少一个的动态效果，并将确定的所述动态效果应用于所述第一部分和所述第二部分中。
所述图像处理装置，还可以包括用于存储所述动态效果模式信息的第二数据库。
所述动态效果应用单元可以从所述第二数据库中获取所述动态效果模式信息。
(三)有益效果
基于预定的模式信息，获取目标图像的深度信息，并基于所获取的深度信息，对目标图像应用动态效果来生成预期的内容，从而可以生成被用户识别为类似于视频的动态内容。
基于所获取的目标图像的多个深度信息，并根据所获取的深度信息将不同的动态效果应用于目标图像上，从而生成相比于现有图像使现场感和生动感极大化的动态内容。
基于预定的模式信息，将在目标图像中包含的特定对象和其他对象之间的相对位置作为深度信息来获取，并基于预定的动态效果模式信息，确定要对目标图像应用的动态效果，从而可以容易生成现场感和生动感极大化的动态内容。
附图说明
图1示出一个实施例的获取目标图像的深度信息并基于所获取的深度信息来对目标图像应用动态效果的方法。
图2示出一个实施例的对目标图像应用动态效果的装置。
图3是示出一个实施例的获取目标图像的深度信息并基于获取的深度信息来对目标图像应用动态效果的方法的流程图。
图4是示出一个实施例的确定动态效果模式信息并将根据动态效果模式信息确定的动态效果应用于目标图像的方法的流程图。
图5是示出一个实施例的确定目标图像的脸部/其他区域的表情模式信息并根据确定的表情模式信息将确定的运动效果应用于目标图像的脸部/其他区域的方法的流程图。
图6是示出一个实施例的对在图像中包含的对象使用对象的轮廓和/或影子来获取该对象的深度信息的方法的流程图。
图7示出一个实施例的识别在图像中包含的脸部并获取在脸部中包含的部位的深度信息从而对脸部应用动态效果的方法。
图8示出一个实施例的对作为在图像中包含的对象的背景应用动态效果的方法。
最佳实施方式
下面，参照附图对本发明的实施例进行详细说明。
在后面描述的详细说明中，针对作为动态效果的应用对象的“目标图像”，为了便于理解，对没有应用动态效果的“目标图像”和应用动态效果的“目标图像”均赋予了相同的附图标记100。
图1示出一个实施例的获取目标图像的深度信息并基于所获取的深度信息来对目标图像应用动态效果的方法。
图1表示对于目标图像100，获取在图像中包含的至少一个对象和/或在该对象中包含的至少一个要素的深度信息并基于所获取的深度信息来对所述对象和/或所述要素应用动态效果的方法。
在目标图像100中包含的对象可以表示在图像中包含的事物、背景、或者在事物或背景中包含的要素。具体地，在目标图像中包含的对象可以是背景、构成所述背景的事物、或在所述目标图像中除所述背景以外的事物。“事物”不仅指物体，还可以包括如人的身体或身体所包括的部位等任何对象。例如，如图所示，背景110、人130和长方体形状的物体140分别可以是在目标图像100中包含的对象。另外，人120所包括的脸部130同样可以是在目标图像中包含100的对象。目标图像100可以是如通过用户终端等拍摄的照片。
对象或在对象中包含的要素的深度信息可以包含相应对象或在对象中包含的要素的特定基准位置的z轴方向上的相对深度值。例如，在图示的示例中，在目标图像100中包含的人120相较于背景110可以具有z1的深度值，并且物体140相较于背景110可以具有z2的深度值。
参照后面描述的图2至图8进行更具体的说明的图像处理装置可以利用预定的模式信息获取背景110、人120、脸部130和物体140中的至少一个的深度信息，并基于所获取的深度信息来对背景110、人120、脸部130和物体140中的至少一个应用动态效果。例如，图像处理装置可以对目标图像100利用预定的模式信息判断背景110位于最后方、人120和物体140位于其前方。因此，图像处理装置可以仅对背景110应用动态效果，或分别对人120、物体140和背景110应用不同的动态效果。
为了获取目标图像100的深度信息而使用的模式信息可以包含在图像中包含的对象的形状相关信息(包含在对象中包含的要素的形状相关信息)和在图像中包含的至少2个对象之间的相对位置相关信息(包含在对象中包含的要素之间的相对位置相关信息)。模式信息为预定义的信息，可以存储在数据库中。
对目标图像100应用的动态效果可以是使运动效果、颜色变更效果(包含阴影变更效果)和形状变更效果中的至少一个发生在应用的目标图像100的部分。
基于所获取的目标图像100的深度信息，将动态效果应用在目标图像100中，从而可以向目标图像100赋予立体感，用户可以将目标图像100识别为类似于视频的动态内容(或者识别为三维的动态内容)。
针对基于模式信息获取目标图像100的深度信息的具体实施例和对目标图像100应用动态效果的具体实施例，将参照后面描述的图2至图8进行更详细的说明。
图2示出一个实施例的对目标图像应用动态效果的装置。
参照图2，对获取目标图像100的深度信息并对其应用动态效果的图像处理装置200(以下称作电子装置200)进行说明。
电子装置200是执行用于获取目标图像100的深度信息并应用动态效果的操作的装置，所述电子装置200可以是用户使用的个人计算机(personal computer，PC)、笔记本电脑(laptop computer)、手提电脑(laptop computer)、平板电脑(tablet)、物联网(Internet Of Things)设备或者穿戴式计算机(wearable computer)等终端。
或者，电子装置200作为获取用户拍摄或拥有的或用户请求的目标图像100的深度信息并应用动态效果的装置，可以是相对用户终端存在于远程的服务器或其他计算机装置。
装置200可以包括通信单元210和控制单元220。
通信单元210可以是用于使电子装置200与其他服务器或用户终端进行通信的装置。具体地，通信单元210可以是向其他服务器或用户终端发送/接收数据和/或信息的如电子装置200的网络接口卡、网络接口芯片和网络端口等的硬件模块，或者可以是如网络设备驱动器(driver)或网络程序等的软件模块。
控制单元220可以管理电子装置200的组件，并且可以运行电子装置200使用的程序或应用程序。例如，控制单元220可以被配置成能够运行为获取目标图像100的深度信息并应用动态效果而运行的程序或应用程序，并且可以处理从其他服务器和用户终端接收到的数据。另外，控制单元220可以处理运行所述程序或应用程序和处理数据等所需的运算。控制单元220可以是电子装置200的至少一个处理器或处理器内的至少一个核心(core)。
控制单元220可以包括：深度信息获取单元222，获取目标图像100的深度信息；以及动态效果应用单元224，对目标图像100应用动态效果。
深度信息获取单元222可以基于预定的模式信息，获取在目标图像100中包含的对象的至少第一部分和在目标图像100中除在目标图像100中包含的对象以外的区域中的至少第二部分中至少一个的深度信息。预定的模式信息可以包含在图像中包含的对象的形状相关的第一信息和在图像中包含的至少两个对象之间的相对位置相关的第二信息。
预定的模式信息可以是预先存储在电子装置200的未图示的存储单元或数据库中的信息或者从电子装置200的外部服务器或数据库中获取的信息。
例如，电子装置200可以包括存储模式信息的模式信息数据库232。深度信息获取单元222可以从模式信息数据库232获取模式信息。
动态效果应用单元224可以基于所获取的深度信息，对所述第一部分和所述第二部分中的至少一个应用动态效果。动态效果应用单元224可以基于预定的动态效果模式信息，确定将应用于所述第一部分和所述第二部分中的至少一个的动态效果，并且可以将确定的动态效果应用于所述第一部分和所述第二部分中的至少一个。
预定的动态效果模式信息可以是预先存储在电子装置200的未图示的存储单元或数据库中的信息，或者是从电子装置200的外部服务器或数据库中获取的信息。
例如，电子装置200可以包括存储动态效果模式信息的动态效果模式信息数据库234。动态效果应用单元224可以从动态效果模式信息数据库234中获取动态效果模式信息。
模式信息数据库232和动态效果模式信息数据库234可以分别包括在不同的装置(或服务器)中，或者也可以由一个数据库230来构建。
对于控制单元220的组件222和224的更具体的功能和操作，将参照后面描述的图3至图8进行更详细的说明。上述的控制单元220的组件222和224可以在至少一个处理器内实现，因此组件222和224的功能和操作可以通过至少一个处理器来运行。
另一方面，虽然未图示，但是电子装置200还可以包括显示单元，其用于输出用户输入的数据，或显示应用(或没有应用)动态效果的目标图像100。例如，显示单元可以包括触摸屏，并且在这种情况下，显示单元可以被配置成包括用于接收用户输入的设置和请求的输入单元的功能。
对于参照图1进行的上述技术性特征的说明可以同样适用于图2，因此省略重复说明。
图3是示出一个实施例的获取目标图像的深度信息并基于获取的深度信息对目标图像应用动态效果的方法的流程图。
参照图3，对上述的通过电子装置100来执行的目标图像100的深度信息获取方法和动态效果应用方法进行更具体的说明。
在步骤310中，深度信息获取单元222可以基于预定的模式信息，获取目标图像100的至少一部分的深度信息。具体地，深度信息获取单元222可以基于预定的模式信息，获取在目标图像100中包含的对象的至少第一部分和在目标图像100中除包含在目标图像100中的对象以外的区域的至少第二部分中至少一个的深度信息。
预定的模式信息可以包含在图像中包含的对象的形状相关的第一信息和在图像中包含的至少两个对象之间的相对位置相关的第二信息。
第一信息可以包含用于识别在目标图像100中包含的对象和/或在对象中包含的要素的信息。例如，第一信息可以包含相当于对象或在对象中包含的要素的特定事物(包括身体的部位)的形状。第二信息可以包含用于确定在目标图像100中包含的对象之间的相对位置、在对象中包含的要素之间的相对位置和在对象中包含的要素与其他对象之间的相对位置中的至少一个的信息。相对位置是基于深度值的比较的信息，其可以是表示特定对象(或要素)是否位于其他对象(或要素)的前方或后方或者表示是否实质上并排的信息。例如，第二信息可以包含在特定事物(身体的部位)之间的关系中相应事物(部位)之间的已知的相对位置相关信息。
基于预定的模式信息所获取的深度信息可以表示以在目标图像100中包含的对象或在目标图像100的对象中包含的一个要素为基准的深度值。所述深度值可以是相对值。例如，深度值可以是具有能够比较对象(或要素)是否位于其他对象(或要素)的前方或后方，或者是否实质上并排的程度的精密度的值。即，深度信息可以不包含在目标图像100中包含的对象(或要素)之间的精确的深度值之差的相关信息。
例如，深度信息获取单元222可以利用预定模式信息的第一信息识别在目标信息100中包含的背景100(例如，后侧的墙壁、山、天空或大海)和非背景的对象(例如，人120和物体140)，并且对识别的背景110和人120以及物体140利用第二信息来识别背景110位于人120和物体140的后方，并将其作为深度信息来获取。
深度信息获取单元222可以通过利用预定的模式信息来获取目标图像100的多个点的每一个的深度信息。其中，每一个点可以对应于上述的第一部分或第二部分。具体地，深度信息获取单元222可以获取目标图像220的多个部分的相对的z轴值信息。
在步骤320中，动态效果应用单元224可以基于在步骤310中获取的深度信息，对目标图像100的至少一部分应用动态效果。即，动态效果应用单元224可以基于所获取的深度信息，对上述第一部分和上述第二部分中的至少一个应用动态效果。
动态效果可以使所应用的目标图像100的部分发生如运动效果、颜色变更效果和形状变更效果中的至少一个。例如，运动效果可以使所应用的目标图像100的部分发生晃动效果、旋转效果或倾斜效果。
例如，运动效果的应用可以是将旋转动作和/或移位动作应用到目标图像100的所述特定部分，所述旋转动作是将所述目标图像100的特定部分以x轴、y轴和z轴中的至少一个轴为基准进行旋转，移位动作是将所述目标图像100的所述特定部分向上方、下方、左方和右方中的任一方向进行移位(shift)。
在分别获取目标图像100的多个点的深度信息时，将通过后面描述的步骤322和324对目标图像100的动态效果应用方法进行说明。如图所示，步骤322和324可以被包括在步骤320中。
在步骤322中，动态效果应用单元224可以根据在步骤310中获取的深度值，对目标图像100的第一部分应用第一动态效果。例如，动态效果应用单元224可以对在多个点中所测量的深度值为预定值以上的点应用第一动态效果。所述预定值作为对应于相对位置的相对值，可以表示对应于作为基准的对象或在对象中包含的要素的相对位置的值。
在步骤324中，动态效果应用单元224可以根据在步骤310中获取的深度值，对不同于目标图像100的第一部分的其他部分应用第二动态效果。例如，动态效果应用单元224可以对在多个点中所测量的深度值小于预定值的点应用第二动态效果。
具体地，根据获取的目标图像100的多个点的深度信息表示的深度值，可以对目标图像100的多个点中的至少两个点的每一个应用不同的动态效果。
所述第一动态效果和所述第二动态效果可以使与目标图像100的应用的点相关的对象或在相关的对象中包含的要素发生运动效果。当应用第一动态效果时，可以使所述相关的对象或在所述相关的对象中包含的要素发生大于应用第二动态效果时的运动效果。
例如，动态效果应用单元224可以对测量的深度值为预定值以上的点应用发生更大晃动的运动效果，并且对测量的深度值小于预定值的点应用发生更小晃动的运动效果。据此，附加动态效果的目标图像100可以表示出前方的对象晃动更小、后方的对象晃动更大的立体效果。
或者，第一动态效果是应用于背景110，其可以是以x轴、y轴和z轴中的至少一个轴为基准的背景110的旋转或背景110的移位，并且第二动态效果是应用于非背景110的事物120和140，其可以是滤镜效果、强调效果(强调内部和/或轮廓线)。
在步骤224中，动态效果应用单元224可以将应用动态效果的目标图像100作为预期的内容来生成。例如，动态效果应用单元224可以将没有应用动态效果的目标图像100和应用动态效果的目标图像100(或者，目标图像100的应用动态效果的部分)进行合成，以生成预期的内容。
对于目标图像100的深度信息获取方法以及动态效果应用方法的更具体的实施例，将参照后面描述的图4至图8进行更详细的说明。
对于参照图1和图2进行的上述技术性特征的说明可以同样适用于图3，因此省略重复说明。
图4是示出一个实施例的确定动态效果模式信息，并将根据动态效果模式信息来确定的动态效果应用于目标图像的方法的流程图。
在参照图3说明的上述步骤310中，控制单元220(或者，深度信息获取单元222或动态效果应用单元224)可以基于模式信息，获取在目标图像100中包含的对象(包含在对象中包含的要素)和/或除该对象以外的区域的信息(步骤410)。例如，控制单元220可以基于模式信息，识别在目标图像100中包含的对象是什么。
通过后面描述的步骤420至440，可以确定并应用适合于在目标图像100中除相应对象以外的区域的动态效果。
在步骤420中，动态效果应用单元224可以基于在步骤410中获取的信息，确定用于确定对目标图像100应用的动态效果的预定的动态效果模式信息。具体地，动态效果应用单元224可以基于对在目标图像100中包含的对象和除该对象以外的区域中的至少一个的信息来确定预定的动态效果模式信息，其中，基于在上述的(用于获取深度信息的)模式信息中包含的第一信息和第二信息来识别在所述目标图像100中包含的对象和除该对象以外的区域中的至少一个的信息。预定的动态效果模式信息的确定还可以基于用户的输入或选择。例如，对于被识别的目标图像100的对象，当可应用于该对象的多个动态效果的每一个(或几个)分别对应于动态效果模式信息时，动态效果应用单元224可以识别对应于多个动态效果的动态效果模式信息，并且根据用户的选择来确定对应于用户选择的动态效果的动态效果模式信息。
动态效果模式信息可以根据在步骤410中识别的在目标图像100中包含的对象来包含适合应用于相应对象的动态效果的相关信息。例如，当在步骤410中识别的在目标图像100中包含的对象为背景110(例如，天空、墙壁、山或大海)时，可以确定包含适合应用于背景110的动态效果的相关信息的动态效果模式信息。或者，当在识别的目标图像100中包含的对象为脸部130时，可以确定对应于多个表情的动态效果模式信息，该动态效果模式信息用于将对应于脸部的多个表情的动态效果应用于脸部130。此时，可以由用户来选择对应于一个表情的动态效果模式信息。
在步骤430中，动态效果应用单元224可以基于在步骤420中确定的预定的动态效果模式信息，确定参照步骤320进行说明的要应用于目标图像100的所述第一部分和所述第二部分中至少一个的动态效果。
在步骤440中，动态效果应用单元224可以将在步骤430中确定的动态效果应用于目标图像100的所述第一部分和第二部分中的至少一个。例如，当动态效果模式信息表示对背景应用左右晃动的动态效果，并且对非背景的其余对象应用上下晃动的效果时，动态效果应用单元224可以对目标图像100的背景和对象120至140应用被确定的动态效果模式信息表示的动态效果。
另一方面，关于对在目标图像100中包含的脸部130应用在步骤420至440中说明的动态效果应用方法的实施例，将参照后面描述的图5进行更详细的说明。
对于参照图1至图3进行的上述技术性特征的说明可以同样适用于图4，因此省略重复说明。
图5是示出一个实施例的确定对目标图像的脸部/其他区域的表情模式信息，并根据确定的表情模式信息将确定的运动效果应用于目标图像的脸部/其他区域的方法的流程图。
后面描述的步骤420’至440’可以分别对应于参照图4进行说明的上述步骤420至440。在步骤420至440中说明的动态效果模式信息可以对应于后面描述的表情模式信息。
如参照图3进行的上述说明，用于获取深度信息的模式信息的第一信息可以包含用于识别在目标图像100中包含的特定对象和在特定对象中包含的至少一个要素的形状的信息。另外，模式信息的第二信息可以包含用于确定在所述特定对象中包含的至少两个要素之间的相对位置的信息。
在图5中，将特定对象为人的脸部且在特定对象中包含的至少一个要素为包括在脸部的部位的眼睛、鼻子、嘴或耳朵的情况作为示例进行说明。
在上述的步骤410中，基于模式信息识别在目标图像100中包含的脸部130和脸部的部位。
在步骤420’中，动态效果应用单元224可以确定要应用于目标图像100的脸部130/其他区域的第一/第二表情模式信息。动态效果应用单元224可以确定对应于要应用在脸部130的动态效果的第一表情模式信息。所述其他区域可以表示目标图像100中除脸部130以外的部分，或者目标图像130的整个区域。动态效果应用单元224可以确定对应于要应用在所述其他区域的动态效果的第二表情模式信息。
在步骤430’中，动态效果应用单元224可以基于被确定的第一/第二表情模式信息来确定要应用于相应区域的运动效果。
在步骤440’中，动态效果确定单元224可以将在步骤430’中确定的运动效果应用于相应的目标图像100的区域。
即，动态效果应用单元224可以基于被确定的第一表情模式信息，确定并应用要应用于脸部130或包含在脸部130的部位的运动效果，并且基于被确定的第二表情模式信息，确定并应用要应用于所述其他区域的运动效果。
第一表情模式信息可以是可应用于在步骤410中识别的脸部130中的预先定义的表情的相关信息。例如，第一表情模式信息可以是如笑的表情模式、生气的表情模式、发呆的表情模式、伤心的表情模式或哭的表情模式。动态效果确定单元224可以向用户提出所述示例的表情模式，并且可以将根据用户的选择选择的表情模式确定为对应于要应用于脸部130的运动效果的第一表情模式信息。
动态效果确定单元224可以根据确定的第一表情模式信息，变更脸部130的眼睛、鼻子、嘴和耳朵中的至少一个的大小、形状和颜色，以此对脸部130应用运动效果。
第二表情模式信息可以是可应用于在步骤410中识别的除脸部130以外的部分或目标图像100的整个部分(即，上述的其他区域)的预先定义的动态效果的相关信息。例如，第二表情模式信息可以是如笑的表情模式、生气的表情模式、发呆的表情模式、伤心的表情模式或哭的表情模式。动态效果确定单元224可以向用户提出所述示例的表情模式，并且可以将根据用户的选择选择的表情模式确定为对应于要应用于所述其他区域的运动效果的第二表情模式信息。或者，第二表情模式信息可以根据用户所选的第一表情模式而被自动确定。
根据第二表情模式信息的运动效果的应用可以是，如在预定时间内，使所述其他区域对于目标图像100的基准位置发生旋转或移位。例如，笑的表情模式可以是表示使所述其他区域发生在上下(y轴)或左右(x轴)方向上的倾斜效果或旋转效果，生气的表情模式可以是表示使整个目标图像100发生在上下或左右方向上的晃动效果。发呆的表情模式可以是表示使所述其他区域轮流发生向上、下、左、右方向的倾斜效果或旋转效果。
对于参照图1至图4进行的上述技术性特征的说明可以同样适用于图5，因此省略重复说明。
图6是示出一个实施例的通过对在图像中包含的对象利用对象的轮廓和/或影子来获取该对象的深度信息的方法的流程图。
通过图6，更详细地说明在上述的步骤310中参照图3进行说明的基于模式信息获取目标图像100的深度信息的方法。
在为了获取深度信息而使用的模式信息中包含的上述第一信息可以包含用于识别在目标图像100中包含的特定对象的影子的信息或者用于识别特定对象的轮廓的信息。另外，在模式信息中包含的上述第二信息可以包含用于基于所述影子的方向、形状和大小中的至少一个或者所述轮廓与其他对象的轮廓之间的关系来将在目标图像100中包含的所述特定对象与其他对象之间的相对位置确定为深度信息的信息。
1-1.首先，对利用模式信息的第一信息识别在目标图像100中包含的特定对象的影子并利用模式信息的第二信息确定所述特定对象与其他对象的相对位置从而获取特定对象的深度信息的方法进行说明。
深度信息获取单元222可以利用模式信息的第一信息来识别第一物体140的第一影子610-1和第二物体的第二影子610-2。深度信息获取单元222可以利用模式信息的第二信息比较识别的第一影子610-1和第二影子610-2的形状和/或大小，从而确定第一物体140与第二物体150之间的相对位置。例如，1)深度信息获取单元222可以将对应于在第一影子610-1和第二影子610-2中更大的影子的物体识别为位于较前侧的物体。或者，2)深度信息获取单元222可以比较第一影子610-1和第二影子610-2的形状将对应于具有影子的一部分重叠在后侧墙壁面110-4的形状的影子的物体识别为位于较后侧的物体。或者，深度信息获取单元222可以结合1)和2)来确定物体之间的相对位置。在图示的示例中，第一物体140被确定为位于第二物体140的前侧(即，判断为以后侧墙壁面110-4为基准的深度值z’大于z”)。
1-2.接下来，对利用模式信息的第一信息来识别在目标图像100中包含的特定对象的影子并使用模式信息的第二信息来确定所述特定对象和其他对象的相对位置从而获取特定对象的深度信息的另一方法进行说明。
深度信息获取单元222可以确定识别的第一影子610-1与目标图像100的基准线(例如，水平线)形成的角度k2和第二影子610-2与目标图像100的基准线形成的角度k1，并且可以比较k1和k2的大小。深度信息获取单元222可以(利用在模式信息中包含的第二信息)将对应于具有更大角度的影子的对象(在图示的示例中为物体150)确定为位于较后侧的物体。即，在图示的示例中，可以判断为以墙壁面110-4为基准的深度值z’大于z”。
在1-1和1-2的方法中，深度信息获取单元222可以在获取物体的深度信息之前，先确定光源600的方向(光源600位于的方向)或位置。光源的位置可以根据识别的第一影子610-1和第二影子610-2的方向来确定。例如，深度信息获取单元222可以基于影子610-1或610-2与目标图像100的基准线(例如，水平线)形成的角度k1或k2，将不是形成角度k1或k2的基准线而是直线延伸的方向确定为光源600位于的方向。另外，深度信息获取单元222可以将不是形成角度k1的基准线的直线和不是形成角度k2的基准线的直线相交的位置确定为光源600的位置。光源600可以包含在目标图像100内，也可以不包含在目标图像100内。
根据确定的光源600的方向或位置，深度信息获取单元222可以以不同的方式判断物体140和150的深度。例如，不同于图示情况，当光源600被确定为位于后侧墙壁面110-4的右侧下端时，深度信息获取单元222可以根据1-1的方法，将影子较大的物体确定为位于后侧。或者，深度信息获取单元222可以根据1-2的方法，将基准线与影子形成的角度较大的物体确定为位于前侧。
即，深度信息获取单元222可以综合考虑基于确定的光源600的位置或方向的影子的形状、大小和方向的变化，从而获取在目标图像100中包含的对象的深度信息。
对于深度信息获取单元222识别影子的形状和大小的方法，可以应用在图像中识别影子的任何技术，因此省略具体的说明。例如，深度信息获取单元222可以识别从目标图像100向预定方向延伸的黑色区域，从而识别在目标图像100中包含的对象的影子。
2.接下来，对利用模式信息的第一信息识别在目标图像100中包含的特定对象的轮廓和其他对象的轮廓，并且利用模式信息的第二信息确定所述特定对象与其他对象之间的相对位置，从而获取特定对象的深度信息的方法进行说明。
深度信息获取单元222可以利用模式信息的第一信息识别第一物体140的轮廓620和第三物体160的轮廓。对象的轮廓可以是指包含对象的棱角和周长的外侧界线部。
例如，深度信息获取单元222可以通过了解第一物体140的轮廓620和第三物体160的轮廓来识别第一物体140和第三物体160的形状。深度信息获取单元222可以利用模式信息的第二信息识别被了解为具有球状的第三物体160的轮廓的至少一部分被第一物体140所遮住，并且确定第三物体160位于第一物体140的后侧(即，可以判断为以后侧墙壁面110-4为基准的深度值z’大于z”‘)。
对于深度信息获取单元222识别对象的轮廓的方法，可以应用识别图像内的对象的任何技术，因此省略具体的说明。
深度信息获取单元222还可以结合上述1-1或1-2来确定物体(140至160)之间的相对位置。
另一方面，深度信息获取单元222可以识别构成背景110的要素(天花板110-1、左侧墙壁110-2、右侧墙壁110-3、后侧墙壁110-4和底面110-5)，并且将其中的后侧墙壁110-4确定为在目标图像100中包含的对象中位于最后侧的对象。
动态效果应用单元224可以基于根据上述方法获取的目标图像100的深度信息，对目标图像100应用动态效果。
对于参照图1至图5进行的上述技术性特征的说明可以同样适用于图6，因此省略重复说明。
图7是示出一个实施例的识别在图像中包含的脸部并获取包含在脸部的部位的深度信息从而对脸部应用动态效果的方法。
通过图7，更详细地说明参照图5进行说明的对脸部的动态效果应用方法。
深度获取信息单元222可以利用模式信息获取表示身体120和脸部130位于背景110的前侧的深度信息(对应于z**)。另外，深度信息获取单元222可以利用模式信息识别包含在脸部130中的要素130-1至130-4，并且获取以特定要素130-1为基准的其他要素的深度(对应于z*)信息。
例如，如图示的示例，深度信息获取单元222可以利用模式信息的第一信息和第二信息识别眼睛130-2、鼻子130-1、嘴130-3和耳朵130-4，并且可以识别脸部130朝向正面，并且可以确认此时鼻子130-1位于最前侧。深度信息获取单元222可以确定以鼻子130-1为基准，剩余要素130-2至130-4位于后侧。
动态效果应用单元224可以基于根据上述的方法获取的脸部130的要素130-1至130-4，确定对应于应对脸部应用的动态效果的动态效果模式信息。动态效果应用单元224可以向用户提出多个表情(表情模式信息)，作为对应于应对脸部应用的动态效果的动态效果模式信息，并且可以将作为根据用户的选择所选择的表情模式信息的动态效果应用于包含脸部130的目标图像100中。
例如，用户选择表示生气表情的表情模式信息时，动态效果应用单元224可以将眼睛130-2的形状变更为更锐利，或者将颜色变更为红色系，并且对除脸部130以外的目标图像100的部分或整个目标图像100的部分应用晃动效果。
根据如上所述的动态效果的应用，用户可以将目标图像100识别为类似于视频的动态内容。
对于参照图1至图6进行的上述技术性特征的说明可以同样适用于图7，因此省略重复说明。
图8示出一个实施例的对作为在图像中包含的对象的背景应用动态效果的方法。
参照图8，对示例性的目标图像100应用动态效果的方法进行说明。
动态效果应用单元224可以通过合成图示的应用动态效果的目标图像810-1至810-4来生成用户可识别为类似于视频的预期内容。
具体地，如图示的第一至第四目标图像810-1至810-4，动态效果应用单元224可以对相应于背景的部分应用变更背景的动态效果(倾斜、旋转或移位)，并合成第一至第四目标图像810-1至810-4，从而生成可反复播放应用的动态效果的预期的内容。例如，第一至第四目标图像810-1至810-4可以以各自的帧来被处理。
在图示的示例中，虽然只说明了仅对相当于背景的部分应用动态效果的情况，但是如上所述，在对非背景的部分也可以类似地应用动态效果。
上面说明的装置可以通过硬件组件、软件组件和/或硬件组件与软件组件的组合来实现。例如，在实施例中说明的装置和组件可以利用诸如处理器、控制器、算术逻辑单元(arithmetic logic unit，ALU)、数字信号处理器(digital signal processor)、微型计算机、现场可编程门阵列(field programmable gate array，FPGA)、可编程逻辑单元(programmable logic unit，PLU)、微处理器或者可以运行和响应指令(instruction)的其它某种装置的一个以上的通用计算机或专用计算机来实现。处理装置可以执行在操作系统(OS)及在所述操作系统上执行的一个以上的软件应用程序。另外，处理装置可以响应软件的运行并对数据进行访问、存储、操作、处理及生成。虽然为便于理解，被描述为使用一个处理装置，但本发明所属技术领域的普通技术人员可以知晓，处理装置可以包括多个处理元件(processing element)和/或各种类型的处理元件。例如，处理装置可以包括多个处理器或者包括一个处理器和一个控制器。另外，类似并行处理器(parallel processor)的其它处理配置(processing configuration)也是可能的。
软件可以包括计算机程序(computer program)、代码(code)、指令(instruction)或者这些中的一个以上的组合，并且配置处理装置以使其根据需要操作，或者独立地或结合地(collectively)命令处理装置。为了通过处理装置进行解析或向处理装置提供指令或数据，软件和/或数据可以在某种类型的机器、组件(component)、物理装置、虚拟装置(virtual equipment)、计算机存储介质或装置中具体化(embody)。软件还可以分布在通过网络连接的计算机系统上，并以分布的方法存储或运行。软件和数据可以存储在一个以上的计算机可读记录介质中。
根据实施例的方法可以以能够通过各种计算机装置执行的程序指令的形式实现并记录在计算机可读介质中。这时，介质可以对计算机可执行程序继续进行存储或者为了运行或下载而进行临时存储。另外，介质可以是单个硬件或几个硬件结合的形式的各种记录装置或存储装置，并不限定于直接与某一计算机系统连接的介质，可以是分布在网络上的介质。作为介质的示例可以包括：磁介质，如硬盘、软盘和磁带等；光记录介质，如CD-ROM、DVD等；磁光介质(magneto-optical medium)，如光盘(floptical disk)等；以及配置为存储程序指令的装置，如只读存储器(ROM)、随机存取存储器(RAM)、闪存等。另外，作为其他介质的示例，可以列举在流通应用程序的应用程序商店或其它各种提供和流通软件的网站、服务器等中管理的记录介质或存储介质。
具体实施方式
如上所述，虽然通过限定的实施例和图说明了实施例，但本发明所属技术领域的普通技术人员能够通过上述记载内容进行各种修改和变形。例如，即使所说明的技术以与说明的方法不同的顺序执行，和/或说明的系统、结构、装置、回路等组件以与说明的方法不同的形式结合或组合，或者被其它组件或等同物代替或置换，也可以达到适当的结果。
因而，其它实施方式、其它实施例和与权利要求书等同的方案也属于权利要求书的范围。

Claims (20)

1.一种图像处理方法，包括以下步骤：
基于预定的模式信息，获取在目标图像中包含的对象的至少第一部分和在所述目标图像中除在所述目标图像中包含的所述对象以外的区域中的至少第二部分中的至少一个的深度信息，其中，所述预定的模式信息包含在所述图像中包含的对象的形状相关的第一信息和在所述图像中包含的至少两个对象之间的相对位置相关的第二信息；以及
基于获取的所述深度信息，对所述第一部分和所述第二部分中的至少一个应用动态效果。
2.根据权利要求1所述的图像处理方法，其中，
在获取所述深度信息的步骤中，
获取所述目标图像的多个点的每一个的深度信息，所述点分别对应于所述第一部分或所述第二部分，
在所述赋予动态效果的步骤中，
根据获取的所述多个点的深度信息所表示的深度值，对所述点中的至少两个点分别应用互相不同的动态效果。
3.根据权利要求2所述的图像处理方法，其中，
所述赋予动态效果的步骤包括以下步骤：
对所述点中深度值为预定值以上的点应用第一动态效果；以及
对在所述点中深度值为小于预定值的点应用第二动态效果。
4.根据权利要求3所述的图像处理方法，其中，
所述第一动态效果和所述第二动态效果使与应用的点相关的对象或在所述相关的对象中包含的要素发生运动效果，并且
当应用所述第一动态效果时，使所述相关的对象或在所述相关的对象中包含的要素发生大于应用所述第二动态效果时的运动效果。
5.根据权利要求1所述的图像处理方法，其中，
在所述目标图像中包含的对象是背景、构成所述背景的事物或在所述目标图像中除所述背景以外的事物。
6.根据权利要求1所述的图像处理方法，其中，
所述深度信息表示以在所述目标图像中包含的对象或在所述对象中包含的一个要素为基准的相对的深度值。
7.根据权利要求1所述的图像处理方法，其中，
所述动态效果使所应用的所述目标图像的部分发生运动效果、颜色变更效果和形状变更效果中的至少一个。
8.根据权利要求7所述的图像处理方法，其中，
所述运动效果使所应用的所述目标图像的部分发生晃动效果、旋转效果或倾斜效果。
9.根据权利要求1所述的图像处理方法，其中，
所述第一信息包含用于识别在所述目标图像中包含的特定对象的影子的信息或者用于识别所述特定对象的轮廓的信息，
并且，所述第二信息包含用于基于所述影子的方向、形状和大小中的至少一个或者所述轮廓与其他对象的轮廓之间的关系来将在所述目标图像中包含的所述特定对象与其他对象之间的相对位置确定为深度信息的信息。
10.根据权利要求1所述的图像处理方法，其中，
所述应用动态效果的步骤包括以下步骤：
基于预定的动态效果模式信息，确定要应用于所述第一部分和所述第二部分中的至少一个的动态效果；以及
将确定的所述动态效果应用于所述第一部分和所述第二部分中的至少一个中。
11.根据权利要求10所述的图像处理方法，其中，
所述应用动态效果的步骤还包括以下步骤：
基于根据所述第一信息和所述第二信息识别的在所述目标图像中包含的对象和除所述对象以外的区域中的至少一个的信息来确定预定的所述动态效果模式信息。
12.根据权利要求1所述的图像处理方法，其中，
所述第一信息包含用于识别在所述目标图像中包含的特定对象和在所述特定对象中包含的至少一个要素的形状的信息。
13.根据权利要求12所述的图像处理方法，其中，
所述特定对象为人的脸部，并且在所述特定对象中包含的至少一个要素为包括在脸部的部位即眼睛、鼻子、嘴或耳朵。
14.根据权利要求13所述的图像处理方法，其中，
所述应用动态效果的步骤包括以下步骤：
确定第一表情模式信息，所述第一表情模式信息与要应用于所述脸部的动态效果对应；以及
基于被确定的所述第一表情模式信息，在所述脸部或在所述脸部中包含的部位中应用运动效果。
15.根据权利要求13所述的图像处理方法，其中，
所述应用动态效果的步骤包括以下步骤：
确定第二表情模式信息，所述第二表情模式信息与要应用于所述目标图像中除所述脸部以外的部分或整个所述目标图像的动态效果对应；以及
基于所述被确定的第二表情模式信息，在所述除脸部以外的部分或整个所述目标图像应用运动效果。
16.一种计算机可读记录介质，其记录执行权利要求1至15中任一项的方法的程序。
17.一种图像处理装置，包括：
深度信息获取单元，基于预定的模式信息，获取在目标图像中包含的对象的至少第一部分和在所述目标图像中除在所述目标图像中包含的对象以外的区域中的至少第二部分中至少一个的深度信息，其中，所述预定的模式信息包含在所述图像中包含的对象的形状相关的第一信息和在所述图像中包含的至少两个对象之间的相对位置相关的第二信息；以及
动态效果应用单元，基于获取的所述深度信息，对所述第一部分和所述第二部分中的至少一个应用动态效果。
18.根据权利要求17所述的图像处理装置，还包括：
第一数据库，存储所述模式信息，
其中，所述深度信息获取单元从所述第一数据库中获取所述模式信息。
19.根据权利要求17所述的图像处理装置，其中，
所述动态效果应用单元基于预定的动态效果模式信息，确定要应用于所述第一部分和所述第二部分中的至少一个的动态效果，并将确定的所述动态效果应用于所述第一部分和所述第二部分中。
20.根据权利要求17所述的图像处理装置，还包括：
第二数据库，存储所述动态效果模式信息，
其中，所述动态效果应用单元从所述第二数据库中获取所述动态效果模式信息。
CN201780089231.6A 2017-03-30 2017-03-30 对图像应用动态效果的方法及装置 Active CN110520902B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2017/003466 WO2018182066A1 (ko) 2017-03-30 2017-03-30 이미지에 동적 효과를 적용하는 방법 및 장치

Publications (2)

Publication Number Publication Date
CN110520902A true CN110520902A (zh) 2019-11-29
CN110520902B CN110520902B (zh) 2023-04-28

Family

ID=63678264

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780089231.6A Active CN110520902B (zh) 2017-03-30 2017-03-30 对图像应用动态效果的方法及装置

Country Status (5)

Country Link
US (1) US11176678B2 (zh)
JP (1) JP6859452B2 (zh)
KR (1) KR102228919B1 (zh)
CN (1) CN110520902B (zh)
WO (1) WO2018182066A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112184722A (zh) * 2020-09-15 2021-01-05 上海传英信息技术有限公司 图像处理方法、终端及计算机存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111882567A (zh) * 2020-08-03 2020-11-03 深圳传音控股股份有限公司 Ar效果的处理方法、电子设备及可读存储介质
CN117321637A (zh) 2021-08-19 2023-12-29 三星电子株式会社 用于从静态图像生成动画的方法和系统

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101006933A (zh) * 2006-01-23 2007-08-01 西门子公司 用于显示三维对象的方法和设备
CN101189868A (zh) * 2005-04-27 2008-05-28 富士胶片株式会社 图像捕捉装置、图像捕捉方法和程序
CN101341760A (zh) * 2005-12-19 2009-01-07 皇家飞利浦电子股份有限公司 3d图像显示方法和装置
CN101771892A (zh) * 2008-12-26 2010-07-07 三星电子株式会社 图像处理方法和设备
CN103530495A (zh) * 2012-06-29 2014-01-22 迪士尼企业公司 增强现实仿真连续体
CN103729881A (zh) * 2013-12-28 2014-04-16 北京工业大学 一种面向中医舌诊的舌体动态三维重建系统
US20150011777A1 (en) * 2009-05-21 2015-01-08 Zhejiang Medicine Co., Ltd., Xinchang Pharmaceutical Factory Method for preparing d-biotin
CN104424585A (zh) * 2013-09-10 2015-03-18 由田新技股份有限公司 播放方法及电子装置
CN104766537A (zh) * 2015-04-15 2015-07-08 四川云盾光电科技有限公司 一种基于微纳结构的激光散射图像显示方法
CN105095917A (zh) * 2015-08-31 2015-11-25 小米科技有限责任公司 图像处理方法、装置及终端
CN105446596A (zh) * 2015-11-26 2016-03-30 四川长虹电器股份有限公司 基于深度的交互式3d界面显示系统与方法
US20160366396A1 (en) * 2015-06-15 2016-12-15 Electronics And Telecommunications Research Institute Interactive content control apparatus and method
CN106331492A (zh) * 2016-08-29 2017-01-11 广东欧珀移动通信有限公司 一种图像处理方法及终端

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9064344B2 (en) * 2009-03-01 2015-06-23 Facecake Technologies, Inc. Image transformation systems and methods
KR101075720B1 (ko) * 2005-07-08 2011-10-21 삼성전자주식회사 휴대단말기의 이미지편집 방법
CN101288099B (zh) * 2005-10-12 2012-11-21 松下电器产业株式会社 视觉处理装置及方法
US8390680B2 (en) * 2009-07-09 2013-03-05 Microsoft Corporation Visual representation expression based on player expression
KR20120090565A (ko) * 2011-02-08 2012-08-17 삼성전자주식회사 영상 데이터의 실감 효과 처리장치 및 방법
US8922553B1 (en) * 2011-04-19 2014-12-30 Disney Enterprises, Inc. Interactive region-based linear 3D face models
JP2013055489A (ja) * 2011-09-02 2013-03-21 Nikon Corp 画像処理装置およびプログラム
JP2013118468A (ja) * 2011-12-02 2013-06-13 Sony Corp 画像処理装置および画像処理方法
KR20130098770A (ko) * 2012-02-28 2013-09-05 한국전자통신연구원 입체감 확장형 가상 스포츠 체험 시스템
JP2014016670A (ja) * 2012-07-05 2014-01-30 Nikon Corp 画像処理装置及び画像処理プログラム
KR101513999B1 (ko) 2013-03-04 2015-04-21 김봉식 3차원 이미지 생성 장치
US10115431B2 (en) * 2013-03-26 2018-10-30 Sony Corporation Image processing device and image processing method
US10019823B2 (en) * 2013-10-24 2018-07-10 Adobe Systems Incorporated Combined composition and change-based models for image cropping
US9251613B2 (en) * 2013-10-28 2016-02-02 Cyberlink Corp. Systems and methods for automatically applying effects based on media content characteristics
JP6131843B2 (ja) * 2013-11-28 2017-05-24 株式会社Ｊｖｃケンウッド デプス推定装置、デプス推定方法、デプス推定プログラム、及び画像処理装置
JP6525617B2 (ja) * 2015-02-03 2019-06-05 キヤノン株式会社 画像処理装置およびその制御方法
JP6602081B2 (ja) * 2015-07-24 2019-11-06 キヤノン株式会社 撮像装置およびその制御方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101189868A (zh) * 2005-04-27 2008-05-28 富士胶片株式会社 图像捕捉装置、图像捕捉方法和程序
CN101341760A (zh) * 2005-12-19 2009-01-07 皇家飞利浦电子股份有限公司 3d图像显示方法和装置
CN101006933A (zh) * 2006-01-23 2007-08-01 西门子公司 用于显示三维对象的方法和设备
CN101771892A (zh) * 2008-12-26 2010-07-07 三星电子株式会社 图像处理方法和设备
US20150011777A1 (en) * 2009-05-21 2015-01-08 Zhejiang Medicine Co., Ltd., Xinchang Pharmaceutical Factory Method for preparing d-biotin
CN103530495A (zh) * 2012-06-29 2014-01-22 迪士尼企业公司 增强现实仿真连续体
CN104424585A (zh) * 2013-09-10 2015-03-18 由田新技股份有限公司 播放方法及电子装置
CN103729881A (zh) * 2013-12-28 2014-04-16 北京工业大学 一种面向中医舌诊的舌体动态三维重建系统
CN104766537A (zh) * 2015-04-15 2015-07-08 四川云盾光电科技有限公司 一种基于微纳结构的激光散射图像显示方法
US20160366396A1 (en) * 2015-06-15 2016-12-15 Electronics And Telecommunications Research Institute Interactive content control apparatus and method
CN105095917A (zh) * 2015-08-31 2015-11-25 小米科技有限责任公司 图像处理方法、装置及终端
CN105446596A (zh) * 2015-11-26 2016-03-30 四川长虹电器股份有限公司 基于深度的交互式3d界面显示系统与方法
CN106331492A (zh) * 2016-08-29 2017-01-11 广东欧珀移动通信有限公司 一种图像处理方法及终端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘峰: "基于深度网格的大规模森林场景的动态模拟", 《计算机辅助设计与图形学学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112184722A (zh) * 2020-09-15 2021-01-05 上海传英信息技术有限公司 图像处理方法、终端及计算机存储介质
CN112184722B (zh) * 2020-09-15 2024-05-03 上海传英信息技术有限公司 图像处理方法、终端及计算机存储介质

Also Published As

Publication number Publication date
WO2018182066A1 (ko) 2018-10-04
JP2020513123A (ja) 2020-04-30
US20200058128A1 (en) 2020-02-20
KR20190122859A (ko) 2019-10-30
CN110520902B (zh) 2023-04-28
WO2018182066A8 (ko) 2019-08-22
US11176678B2 (en) 2021-11-16
KR102228919B1 (ko) 2021-03-18
JP6859452B2 (ja) 2021-04-14

Similar Documents

Publication Publication Date Title
CN109615703B (zh) 增强现实的图像展示方法、装置及设备
CN108062776B (zh) 相机姿态跟踪方法和装置
JP6640992B2 (ja) アンカー・フレームに基づくマルチフレーム画像を修正するための方法および装置
US20120162384A1 (en) Three-Dimensional Collaboration
CN109242961A (zh) 一种脸部建模方法、装置、电子设备和计算机可读介质
JP2024522287A (ja) 三次元人体再構成方法、装置、デバイスおよび記憶媒体
CN110072046B (zh) 图像合成方法和装置
EP3584766A1 (en) Image generation device and image generation method
CN110520902A (zh) 对图像应用动态效果的方法及装置
EP3503036A1 (en) Determining pixel values using reference images
GB2569979A (en) Image generating device and method of generating an image
CN111882674A (zh) 虚拟对象的调整方法、装置、电子设备及存储介质
CN109767466A (zh) 画面渲染方法、装置、终端及对应的存储介质
CN108416722A (zh) 一种图像显示方法、存储介质及终端设备
JP2020173529A (ja) 情報処理装置、情報処理方法、及びプログラム
WO2023098358A1 (zh) 一种模型渲染方法、装置、计算机设备及存储介质
CN111427452A (zh) 控制器的追踪方法及vr系统
JP2022518402A (ja) 三次元再構成の方法及び装置
JP2023171298A (ja) 拡張現実及び複合現実のための空間とコンテンツの適合
CN108989681A (zh) 全景图像生成方法和装置
CN101566784A (zh) 立体影像的景深数据建立方法及其系统
CN111231826A (zh) 一种全景影像中车辆模型转向灯的控制方法、装置、系统及存储介质
JP7101735B2 (ja) 画像生成プログラム及び画像生成システム
CN111754558B (zh) 用于rgb-d摄像系统与双目显像系统的匹配方法及其相关系统
EP3130994A1 (en) Display control device, display control method, and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant