CN109215102B - 影像处理方法及系统 - Google Patents

影像处理方法及系统 Download PDF

Info

Publication number
CN109215102B
CN109215102B CN201810695642.6A CN201810695642A CN109215102B CN 109215102 B CN109215102 B CN 109215102B CN 201810695642 A CN201810695642 A CN 201810695642A CN 109215102 B CN109215102 B CN 109215102B
Authority
CN
China
Prior art keywords
values
components
image processing
angle
marker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810695642.6A
Other languages
English (en)
Other versions
CN109215102A (zh
Inventor
玄哲
金信
朴秉祚
俞炳坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Z Intermediate Global Corp
Original Assignee
Line Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Line Corp filed Critical Line Corp
Publication of CN109215102A publication Critical patent/CN109215102A/zh
Application granted granted Critical
Publication of CN109215102B publication Critical patent/CN109215102B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G06T3/604—Rotation of whole images or parts thereof using coordinate rotation digital computer [CORDIC] devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及影像处理方法及系统，更详细地，公开如下的影像处理方法及系统，即，将所输入的影像中所包含的使用人员的人脸等的对象映射在特定卡通人物人脸等的虚拟对象，通过将以对于对象已定义的多个组件的值的组合作为基础的事件适用于虚拟对象，来可将使用人员的人脸表情或特定事件等实时映射在卡通人物，而且，本发明公开为了通过与计算机装置相结合来运行影像处理方法而存储于计算机可读记录介质的计算机程序。

Description

影像处理方法及系统
技术领域
以下说明涉及影像处理方法及系统，更详细地，涉及如下的影像处理方法及系统，即，将所输入的影像中所包含的使用人员的人脸等的对象映射在特定卡通人物人脸等的虚拟对象，通过将以对于对象已定义的多个组件的值的组合作为基础的事件适用于虚拟对象，来可将使用人员的人脸表情或特定事件等实时映射在卡通人物，而且，涉及为了通过与计算机装置相结合来运行影像处理方法而存储于计算机可读记录介质的计算机程序。
背景技术
作为用于控制虚拟化身等的特定卡通人物的现有技术，有着将使用人员的人脸表情反映在虚拟化身来更加真实地表达虚拟化身的技术。例如，韩国公开专利第10-2012-0059994号涉及利用表情控制点的虚拟化身控制装置及方法，根据从使用人员的人脸表情追踪的特定点位置控制虚拟化身的特定点位置来将使用人员的人脸表情适用于虚拟化身。
但是，若将从使用人员的人脸追踪的特定点位置直接适用于虚拟化身，则即使使得使用人员的人脸表情很好地适用于虚拟化身，但也存在以虚拟化身的观点上讲出现表情不自然的情况的问题。例如，若将使用人员的人脸表情的特定点位置直接映射在与使用人员的人脸完全不像的卡通人物人脸，则存在有可能形成完全不适合卡通人物人脸的表情的问题。
发明内容
本发明提供如下的影像处理方法及系统，即，对于所输入的影像中所包含的对象(如一例，使用人员的人脸)决定已定义的多个组件(如一例，眼、鼻、嘴、眉毛、人脸的角度等)的多个值，根据所决定的多个值的组合来选择对于虚拟对象已设定的多个事件中的一个并适用到虚拟对象，从而将对象的变化(如一例，人脸的表情变化)反映在虚拟对象，同时，可从虚拟对象的观点上采用更加自然的变化，而且，本发明提供为了通过与计算机装置相结合来运行影像处理方法而存储于计算机可读记录介质的计算机程序。
本发明提供一种计算机程序，为了通过与计算机相结合来运行影像处理方法而存储于计算机可读记录介质，其特征在于，上述影像处理方法包括：对于所输入的影像所包含的对象抽取标志信息的步骤；根据上述标志信息映射所输入的上述影像所包含的对象和虚拟对象的步骤；根据上述标志信息决定对于上述对象已定义的多个组件各自的值的步骤；决定与所决定的上述多个组件的值的组合相对应的事件的步骤；以及将所决定的上述事件适用于映射在上述对象的虚拟对象的步骤。
本发明提供一种影像处理方法，其特征在于，包括：对于所输入的影像所包含的对象抽取标志信息的步骤；根据上述标志信息映射所输入的上述影像所包含的对象和虚拟对象的步骤；根据上述标志信息决定对于上述对象已定义的多个组件各自的值的步骤；决定与所决定的上述多个组件的值的组合相对应的事件的步骤；以及将所决定的上述事件适用于映射在上述对象的虚拟对象的步骤。
本发明提供一种计算机可读记录介质，在上述计算机可读记录介质中记录有用于在计算机执行上述影像处理方法的程序。
对于所输入的影像中所包含的对象(如一例，使用人员的人脸)决定已定义的多个组件(如一例，眼、鼻、嘴、眉毛、人脸的角度等)的多个值，根据所决定的多个值的组合来选择对于虚拟对象已设定的多个事件中的一个并适用到虚拟对象，从而将对象的变化(如一例，人脸的表情变化)反映在虚拟对象，同时，可从虚拟对象的观点上采用更加自然的变化。
附图说明
图1为表示本发明一实施例的网络环境的例的图。
图2为用于说明本发明一实施例的电子设备及服务器的内部结构的框图。
图3为表示本发明一实施例的影像处理方法的例的图。
图4为表示本发明一实施例的人脸对象的标志组件的例的图。
图5为表示本发明一实施例的人脸对象的角度组件的例的图。
图6为表示本发明一实施例的将事件适用于虚拟对象的方法的例的流程图。
图7为表示本发明一实施例的动态文件所包含的多个动态帧的例的图。
图8为表示本发明一实施例的对标志的坐标进行正规化的例的图。
图9为表示本发明一实施例的校正标志的坐标的例的图。
图10为表示本发明一实施例的用于区分眨两只眼和眨一只眼的方法的例的流程图。
图11为表示本发明一实施例的整体服务流程的例的流程图。
具体实施方式
以下，参照附图对实施例进行详细说明。
本发明实施例的影像处理系统可通过之后说明的电子设备或服务器等的计算机装置来实现，本发明实施例的影像处理方法可通过这种电子设备或服务器来执行。例如，可在电子设备设置及驱动作为本发明一实施例的计算机程序来实现的应用程序，电子设备根据所驱动的应用程序的控制来处理所输入的影像，可将事件适用于虚拟对象。计算机程序为了通过与电子设备相结合来运行影像处理方法而存储于计算机可读记录介质。作为另一实施例，服务器可根据上述应用程序的控制来执行影像处理方法。
作为一实施例，电子设备或服务器等的计算机装置可对于所输入的影像中所包含的对象(如一例，使用人员的人脸)决定已定义的多个组件(如一例，眼、鼻、嘴、眉毛、人脸的角度等)的多个值，可根据所决定的多个值的组合来选择对于虚拟对象已设定的多个事件中的一个并适用到虚拟对象，从而将对象的变化(如一例，人脸的表情变化)反映在虚拟对象，同时，可从虚拟对象的观点上采用更加自然的变化。
图1为表示本发明一实施例的网络环境的例的图。图1的网络环境包括多个电子设备110、120、130、140和多个服务器150、160及网络170。这种图1为用于说明发明的一例，电子设备的数量或服务器的数量并不限定于图1所示的例。
多个电子设备110、120、130、140可为由计算机装置体现的固定型终端或移动型终端。多个电子设备110、120、130、140例如为智能手机(smart phone)、手机、导航仪、计算机、笔记本计算机、数字广播用终端、掌上电脑(PDA，Personal Digital Assistants)、便携式多媒体播放器(PMP，Portable Multimedia Player)、平板电脑等。如一例，在图1中，以智能手机的形状作为第一电子设备110的例而示出，但是，在本发明的实施例中，可意味着实际上利用无线或有线通信方式通过网络170与其他多个电子设备120、130、140和/或服务器150、160进行通信的多种设备中的一种。
通信方式并不受限，不仅可包括利用网络170所包括的通信网(如一例，移动通信网、有线网络、无线网络、广播网)的通信方式，还可包括设备之间的近距离无线通信。例如，网络170可包括个人局域网(PAN，personal area network)、局域网(LAN，local areanetwork)、控制器局域网络(CAN，controller area network)、城域网(MAN，metropolitanarea network)、广域网(WAN，wide area network)、宽带网(BBN，broadband network)、互联网等的网络中的一种以上的任意网络。并且，网络170可包括网络拓扑结构中的任意一种以上，上述网络拓扑结构包括总线网络、星形网络、环形网络、多跳网络、星型总线网络、树状或阶层式(hierarchical)网络等，但并不限定于此。
每个服务器150、160可由通过网络170与多个电子设备110、120、130、140通信来提供指令、代码、文件、内容、服务等的计算机装置或多个计算机装置实现。例如，服务器150可为向通过网络170连接的多个电子设备110、120、130、140提供第一服务的系统，服务器160也可为向通过网络170连接的多个电子设备110、120、130、140提供第二服务的系统。如更具体的例，服务器160可为将作为第二服务的用于设置应用程序(计算机程序)的设置文件(如一例，应用程序数据包文件)向多个电子设备110、120、130、140提供的系统。并且，服务器150可将作为第一服务的与上述应用程序有关的服务(如一例，信息服务、社交网络服务、内容提供服务等)向多个电子设备110、120、130、140提供。这种服务仅为用于说明网络环境的一个实施例，实际上，在网络环境中每个服务器150、160所提供的多个服务可多种多样。
如上所述，本发明实施例的影像处理方法可通过电子设备来执行，还可通过与电子设备进行通信的服务器来执行。
图2为用于说明本发明一实施例的电子设备及服务器的内部结构的框图。作为对于电子设备的例，图2对第一电子设备110以及服务器150的内部结构进行说明。并且，其他多个电子设备120、130、140或服务器160也可具有与上述第一电子设备110或服务器150相同或类似的内部结构。
第一电子设备110和服务器150可包括：存储器211、221；处理器212、222；通信模块213、223；以及输入输出接口214、224。存储器211、221为计算机可读记录介质，可包括随机存取存储器(RAM，random access memory)、只读存储器(ROM，read only memory)以及硬盘驱动器等的永久性海量存储装置(permanent mass storage device)。其中，如只读存储器和硬盘驱动器的永久性海量存储装置为区分于存储器211、221的额外的永久存储装置，可包括于第一电子设备110或服务器150。并且，在存储器211、221可存储有操作系统和至少一个程序代码(如一例，用于设置于第一电子设备110来驱动的浏览器或为了提供特定服务而设置于第一电子设备110的应用程序等的代码)。这种软件结构要素可从与存储器211、221不同的可在计算机读取的记录介质加载。这种额外的可在计算机读取的记录介质可包括软盘驱动器、磁盘、磁带、数字视盘/只读光盘(DVD/CD-ROM)驱动器、存储卡等的可在计算机读取的记录介质。在另一实施例中，多个软件结构要素可通过通信模块213、223加载于存储器211、221，而不是通过可在计算机读取的记录介质。例如，在至少一个程序中，发行研发者或应用程序的设置文件的文件发行系统(如一例，服务器150)可根据借助通过网络170所提供的多个文件而设置的程序(如一例如上所述的应用程序)加载于存储器211、221。
处理器212、222通过进行基本算数、逻辑及输入输出计算来以能够进行计算机程序的指令的方式构成。指令可通过存储器211、221或通信模块213、223向处理器212、222提供。例如，处理器212、222能够以根据存储于存储器211、221等的记录装置的程序代码执行所接收的指令的方式构成。
通信模块213、223可提供使第一电子设备110和服务器150通过网络170相互通信的功能，可提供使第一电子设备110和/或服务器150与另一电子设备(如一例，第二电子设备120)或另一服务器(如一例，服务器160)进行通信的功能。如一例，第一电子设备110的处理器212根据存储于存储器211等的记录装置的程序代码生成的请求可根据通信模块213的控制来通过网络170向服务器150传递。反过来，基于服务器150的处理器222的控制来提供的控制信号或指令、内容、文件等经过通信模块223和网络170并通过第一电子设备110的通信模块213向第一电子设备110传递。例如，通过通信模块213接收的服务器150的控制信号或指令、内容、文件等可向处理器212或存储器211传递，内容或文件等可存储于还包括第一电子设备110的存储介质(上述永久存储装置)。
输入输出接口214可为用于与输入输出装置215进行连接的单元。例如，输入装置可包括键盘或鼠标等的装置，而且，输出装置可包括显示器等的装置。如另一例，输入输出接口214还可为用于与触摸屏等的将用于输入和输出的功能整合为一个的装置进行连接的单元。输入输出装置215可与第一电子设备110形成为一个装置。并且，服务器150的输入输出接口224可为用于与服务器150连接或可与服务器150所包括的用于输入或输出的装置(未图示)连接的单元。作为更具体的例，第一电子设备110的处理器212在处理加载于存储器211的计算机程序的指令的过程中通过输入输出接口214将利用服务器150或第二电子设备120所提供的数据构成的服务画面或内容显示于显示器。
并且，在另一实施例中，第一电子设备110及服务器150还可包括比图2的结构要素更多的结构要素。但是，无需明确表示大部分的现有技术的结构要素。例如，第一电子设备110以可包括上述输入输出装置215中的至少一部分的方式体现或还可包括收发器(transceiver)、全球定位系统(GPS，Global Positioning System)模块、摄像头、各种传感器、数据库等的其他结构要素。如更具体的例，在第一电子设备110为智能手机的情况下，通常，智能手机所包括的加速度传感器或陀螺传感器、摄像头模块、各种物理按钮、利用触摸面板的按钮、输入输出端口、用于振动的振动器等的多种结构要素还包括于第一电子设备110。
图3为表示本发明一实施例的影像处理方法的例的图。本实施例的影像处理方法可通过如之前所说明的第一电子设备110或服务器150的计算机装置执行。在本实施例中，对第一电子设备110执行影像处理方法的过程进行说明。第一电子设备110的处理器212能够以执行根据存储器211所包括的操作系统的代码或至少一个计算机程序的代码的控制指令(instruction)的方式实现。其中，处理器212能够以根据存储于第一电子设备110的代码所提供的控制指令使第一电子设备110执行图3的实施例的影像处理方法所包括的步骤(310至350)的方式控制第一电子设备110。
在步骤310中，第一电子设备110可对所输入的影像所包含的对象抽取标志信息。其中，对象可包含影像中所包含的使用人员的人脸等的用于代替为虚拟对象的对象，标志信息可包含特征点位置(如一例，与影像相关的虚拟坐标系上的特征点的坐标)。已经对根据特征点位置来控制虚拟化身的技术进行了介绍，普通技术人员可通过已知的现有技术轻松理解抽取标志信息的具体技术。
在步骤320中，第一电子设备110可根据标志信息对所输入的影像中所包含的对象和虚拟对象进行映射。如上述例，若对象为包括于影像的使用人员的人脸，则虚拟对象可意味着如使用人员的虚拟化身或特定卡通人物人脸等的与包括于影像的对象相对应的虚拟对象。
例如，在将影像中所包含的使用人员的人脸代替为特定卡通人物人脸来提供或提供特定卡通人物人脸的过程中，第一电子设备110可将影像中所包含的使用人员的人脸表情等适用于特定卡通人物人脸来提供。作为更具体的例，为了视频通话，第一电子设备110可在通过摄像头输入的影像中将使用人员的人脸代替为特定卡通人物人脸来提供。作为更具体的另一例，第一电子设备110代替用于视频通话的影像而提供包含特定卡通人物人脸的代替影像，同时，将通过摄像头所输入的影像中的使用人员的人脸表情适用于代替影像的卡通人物人脸来提供。
作为另一例，第一电子设备110将适用使用人员的人脸表情或具有与此相关的效果的事件的卡通人物人脸的画面录制为视频来生成及提供所录制的视频文件或移动的图形交换(GIF)格式的文件。在此情况下，所生成及提供的多个文件可通过信息服务或社交网络服务等来与其他使用人员共享。在此情况下，第一电子设备110可向最终影像添加追加效果(如一例，装饰效果)。
如已进行的说明，影像处理方法也可通过服务器150执行。例如，第一电子设备110可向服务器150依次传输通过摄像头所输入的多个影像或向服务器150传输已存储的影像文件。在此情况下，服务器150对于通过传输来输入的影像执行本发明实施例的影像处理方法，可向第一电子设备110或其他多个电子设备提供所生成的结果物。
在之后的步骤中，将对根据所抽取的标志信息来使特定事件适用于虚拟对象的过程进行说明。
在步骤330中，第一电子设备110可根据标志信息决定对于对象已定义的多个组件各自的值。这种多个组件可根据对象的种类来已定义。例如，若对象为影像中所包含的使用人员的人脸，则多个组件可包括眼、鼻、嘴、眉毛、对象的角度等的多个项目。在此情况下，特定组件的值可为表示与相应组件相关的形状或角度的值。例如，相应于“左侧眼”的组件可具有如“闭眼”、“睁眼”、“睁一半眼(或闭一半眼)”的三种已设定的多个值中的一个值。换言之，在所输入的影像的当前帧所包含的使用人员的人脸睁开“左侧眼”的情况下，“左侧眼”组件的值可决定为“睁眼”。以下将对这种组件和组件的值进行更详细的说明。
在步骤340中，第一电子设备110可决定与所决定的多个组件的多个值的组合相对应的事件。例如，若“左侧眼”组件的值为“睁眼”且“右侧眼”组件的值为“闭眼”，则第一电子设备110可决定“右侧眼眨眼”的事件。在此情况下，若还组合嘴形状等的“嘴”组件的值，则可更明确地决定事件。并且，多个组件的多个值的组合无需所有值的组合。例如，除普通的多个值之外，还可利用特别的一个组件的值或特别的两个以上的组件的多个值的组合。
在步骤350中，第一电子设备110可将所决定的事件适用于映射在对象的虚拟对象。其中，事件可对于与特定对象匹配的虚拟对象已设定。换言之，可存在按照虚拟对象以符合相应虚拟对象的方式预先设置的多个事件，由于通过对象决定的虚拟对象的事件适用于虚拟对象，因此，可向虚拟对象适用更加自然的变化。例如，不是将使用人员的人脸表情直接适用于虚拟化身，而是与使用人员的人脸表情相对应的虚拟化身的人脸表情(事件)可适用于虚拟化身。在此情况下，在事件中，由于多个组件的多个值的组合可分别已定义，可根据多个组件的数量和对于一个组件已定义的多个值的数量来定义大量的事件。例如，若对于“左侧眼”组件定义三个值、对于“右侧眼”组件定义三个值且对于“嘴”定义三个值，则可根据其组合来对相应虚拟对象已定义9(3+3+3)个事件。
根据实施例，已定义的多个组件可包含用于表示对象所包含的多个标志组件及用于表示对象的旋转的多个角度组件。例如，多个标志组件可分别与眼、鼻、嘴、眉毛等的对象的标志相对应，多个角度组件可分别与对象的X轴、Y轴、Z轴等的多个旋转轴相对应。
在图3的实施例中说明的第一电子设备110中，在步骤310之前，每个标志组件通过设置表示两个以上的互不相同的多个形状的多个形状值来进行管理。如已说明的内容，与相当于“左侧眼”的标志组件相对应地已设定“闭眼”、“睁眼”及“睁一半眼(或闭一半眼)”的三种形状值来进行管理。
图4为表示本发明一实施例的人脸对象的标志组件的例的图。图4为人脸对象410所包含的多个标志组件，分别表示“左侧眉毛(eye Brow Left，BL)”、“右侧眉毛(eye BrowRight BR)”、“左侧眼(Eye Left，EL)”、“右侧眼(Eye Right，ER)”、“嘴(Mouth，MO)”。并且，下述表1表示与这种多个标志组件有关的标识符和多个值的说明例。
表1：
为了帮助理解，在表1中以文本的形态表达了组件的值，在系统的内部能够以与相应值的形状相对应的数值或其他形态设置及存储。
在此情况下，在图3的步骤330中，第一电子设备110可将对于第一标志组件相应管理的多个形状值中的与根据标志信息决定的第一标志组件的形状相对应的形状值决定为第一标志组件的值。在上述表1的例中，若第一标志组件为“左侧眼”且根据标志信息决定的第一标志组件的形状为“睁眼”，则第一标志组件的值可被决定为“EL1”，即，可被决定为表示左侧眼睁眼的值。
并且，在图3的实施例中所说明的第一电子设备110可在步骤310之前通过在每个旋转轴设置用于表示两个以上的互不相同的角度的多个角度值来进行管理。
图5为表示本发明一实施例的人脸对象的角度组件的例的图。图5分别表示通过使人脸对象410以X轴为中心旋转来呈现出的多个形状(520及530)、通过使人脸对象410以Y轴为中心旋转来呈现出的多个形状(540及550)以及通过使人脸对象410以Z轴为中心旋转来呈现出的多个形状(560及570)。并且，表2表示与这种多个角度组件有关的标识符和多个值的说明例。
表2
为了帮助理解，同样以文本的形态表达了表2中的组件的值，但是，在系统的内部能够以与值相对应的数值或其他形态设置及存储。
在此情况下，在图3的步骤330中，第一电子设备110根据标志信息决定多个旋转轴中的与第一旋转轴有关的对象的角度，可将对于第一旋转轴对应管理的多个角度值中的与所决定的对象的角度相对应的角度值决定为与第一旋转轴相对应的角度组件的值。例如，在第一旋转轴为Z轴且与根据标志信息所决定的Z轴有关的对象的角度为“右下单向”的情况下，角度组件的值可设置为“RA1”，即，可设置为用于表示Z轴中心旋转的右下单向的值。
下述表3表示与多个组件的多个值的组合相对应的事件的多个例示。
表3
例如，表3的“EL1+EL2”可表示与表1中的“左侧眼”有关的“闭眼”和与“右侧眼”有关的“睁眼”的组合，这可意味着左侧眼的眨眼。在此情况下，可在虚拟对象(如一例，与使用人员的人脸相对应的卡通人物人脸)适用“左侧眼眨眼”事件。并且，可将包括简单的使用人员的表情在内的根据使用人员是否张嘴来发射爱心形状的对象的动画等多种效果适用于虚拟对象。
例如，在图3的实施例中所说明的第一电子设备110可在步骤310之前，可分别对可向多个组件设置的多个值的组合设置事件来管理与多个组合有关的多个事件。在此情况下，第一电子设备110可抽取在步骤340中管理的多个事件中的与所决定的值的组合相对应的事件，可将在步骤350中抽取的事件适用于虚拟对象。
如上所述，多个事件根据多个组件的多个值的组合来决定，因此，可在影像中反映对象的变化(如一例，使用人员的人脸表情或人脸的角度)，同时，多个事件能够以符合虚拟对象的方式制作，因此，可在虚拟对象适用自然地与虚拟对象符合的多个事件。
图6为表示本发明一实施例的将事件适用于虚拟对象的方法的例的流程图。图6的步骤(步骤610至步骤630)可在图3所说明的步骤350中执行。
在步骤610中，第一电子设备110可加载与所决定的事件相对应的动态文件。如可对多个组件值的多个组合已设定事件，能够以与事件相对应的方式预先生成及管理多个动态文件。这种多个动态文件可为了适用用于虚拟对象的动画而包括至少一个动态帧。例如，与“发射爱心”相对应的动态文件可包含将发射爱心的动画适用于虚拟对象的多个动态帧。
在步骤620中，第一电子设备110可执行以帧为单位加载的动态文件。例如，第一电子设备110可向用于显示虚拟对象的当前帧适用动态文件所包含的第一动态帧。
在步骤630中，第一电子设备110可确认动态文件的结束。在此情况下，在动态文件结束的情况下，事件的适用可结束，在动态文件未结束的情况下，可再次执行步骤620。例如，在动态文件包含3个动态帧的情况下，可向用于显示虚拟对象的多个帧依次适用3个动态帧。这种多个动态帧均适用的情况可意味着动态文件的结束。
换言之，第一电子设备110反复执行步骤620及步骤630，同时，能够以帧为单位将所加载的动态文件所包含的动画的多个动态帧依次适用于用于显示虚拟对象的多个帧。
并且，在图3的实施例中，在步骤310之后，第一电子设备110可利用所抽取的标志信息对上述对象的尺寸及角度进行正规化。
图7为表示本发明一实施例的动态文件所包含的多个动态帧的例的图。如图7所示，由于人实际眨眼的速度很快，若仅将睁眼的状态710和闭眼的状态720直接映射在虚拟化身，则可能输出不自然的动态。因此，第一电子设备110可利用图7所示的多个动态帧(730至770)来提供更自然的虚拟对象的动态。
如一例，动态文件的形态可由(标志组件的标识符＝以“，”区分的值的变化)的形态表达。例如，在图7的实施例中，两侧眼均闭眼的动态文件能够以(EL＝1.0，0.8，0.6，0.2，0.0，ER＝1.0，0.8，0.6，0.2，0.0)的方式表达。这种表达可意味着包含左侧眼和右侧眼分别具有1.0的值的第一动态帧、左侧眼和右侧眼分别具有0.8的值的第二动态帧、左侧眼和右侧眼分别具有0.6的值的第三动态帧、左侧眼和右侧眼分别具有0.2的值的第四动态帧以及左侧眼和右侧眼分别具有0.0的值的第五动态帧等5个动态帧的动态文件。
图8为表示本发明一实施例的对标志坐标进行正规化的例的图。第一电子设备110可利用标志坐标正规化算法820来以输出帧830的对象831方式对所输入的影像帧810所包含的对象811进行正规化。
例如，当利用摄像头拍摄照片时，在人脸的尺寸、位置(影像内的相对位置)和/或角度在影像内互不相同的情况下，眼的尺寸和位置变得不同。在此情况下，在相同的人的情况下，第一电子设备110可通过对标志进行正规化的过程来以人脸具有相似的尺寸、位置和/或角度的方式进行调节。例如，标志坐标正规化算法820可通过调节在人脸识别的瞳孔的相对位置来对标志进行正规化，但并不限定于此，普通技术人员应当理解，可利用已知的多种正规化算法。
在这种标志坐标正规化中，即使在所输入的影像中的对象(人脸)的尺寸或位置、角度等不同，也可根据已正规化的标志坐标求相对值。为此，第一电子设备110可通过将通过比例因子所识别的人脸的尺寸转换为标准尺寸的过程和利用俯仰角(Pitch)、转动角(Roll)、偏航角(yaw)的旋转来对对象的标志坐标进行正规化。已正规化的多个坐标值可为二维坐标。
并且，在图3的实施例中，在步骤310之后或在对上述标志坐标进行正规化之后，第一电子设备110可利用通过影像的之前帧所抽取的标志信息来校正通过标志信息所识别的对象的多个标志组件的坐标，上述标志信息通过影像的当前帧抽取。例如，由于手颤抖等的原因，通过使用人员的手机摄像头等拍摄并输入的影像的标志坐标有可能不均匀。因此，当识别人脸时，第一电子设备110可反映利用之前帧的人脸的角度(俯仰角、转动角、偏航角)的偏差的加权值函数来使最终坐标变得均匀。
图9为表示本发明一实施例的校正标志坐标的例的图。第一电子设备110可检测与对象910有关的标志和角度(步骤920)。这种对标志和角度的检测(步骤920)可与通过图3说明的步骤310中的标志信息抽取步骤相对应，或与在步骤310中抽取标志信息之后以通过图8所说明的方式对标志坐标进行正规化的步骤相对应。
并且，第一电子设备110可校正标志坐标(步骤930)。例如，如之前所说明，当识别人脸时，第一电子设备110可反映利用之前帧的人脸的角度(俯仰角、转动角、偏航角)的偏差的加权值函数来使最终坐标变得均匀。在此情况下，如一例，加权值函数能够以如下述数学式1的方式定义。
数学式1
yi＝xi·a+yi-1·(1-a)
其中，yi意味着第i帧的输出，xi意味着第i帧的输入，α意味着具有0与1之间的值的可靠度。并且，α为与之前帧的人脸的角度(俯仰角、转动角、偏航角)的差异(difference)有关的比率，能够以下述数学式2的方式计算。
数学式2
其中，yawi可与第i帧中的人脸角度的偏航角相对应，rolli可与第i帧中的人脸角度的转动角相对应，pitchi可与第i帧中的俯仰角相对应。并且，yawmax、rollmax、pitchmax可分别意味着偏航角、转动角、俯仰角的最大变化量的值。
并且，如通过图3的实施例所进行说明，第一电子设备110可利用坐标被校正的标志信息将使用人员的人脸表情或事件映射于虚拟对象(与使用人员的人脸相对应的卡通人物人脸)(步骤940)。
另一方面，第一电子设备110还可利用用于在使用人员的人脸区分两侧眼眨眼和一侧眼眨眼的额外的方法。
图10为表示本发明一实施例的用于区分眨两只眼和眨一只眼的方法的例的流程图。
若启动应用程序(步骤1010)，则第一电子设备110可缓冲与眨眼有关的信息(步骤1020)。例如，第一电子设备110对于影像的连续的已设定的数量的多个帧分别检测表示使用人员的人脸中的两眼睁眼程度的相对值来存储于缓冲器。其中，已通过图7对相对值的例进行了说明。
在此情况下，第一电子设备110可在步骤1030中确认当前两侧眼是否均睁眼(Open)或均闭眼(Close)(步骤1030)。若两侧眼均睁眼或闭眼，则可确认两侧眼动态动作(步骤1040)，可由此决定虚拟化身动态动作(步骤1050)。
相反，在两侧眼均未睁眼或均未闭眼的情况下，第一电子设备110可确认缓冲器(步骤1060)。例如，第一电子设备110可在缓冲器中确认特定时间内的两侧眼是否为相同事件(均睁眼或均闭眼的情况)(步骤1070)。例如，特定时间可与已设定的数量的多个帧相对应。例如，若通过对缓冲器中的已设定的数量的连续的多个帧的多个相对值进行分析来确认在相应多个帧中存在两侧眼的相同事件，则第一电子设备110可确认两侧眼动态动作(步骤1040)，若在相应多个帧中不存在两侧眼的相同事件，则可确认一侧眼动态动作(步骤1080)。在此情况下，第一电子设备110可根据一侧眼动态动作(步骤1080)来决定虚拟化身动态动作(步骤1050)。
图11为表示本发明一实施例的整体服务流程的例的流程图。图11表示向虚拟化身映射使用人员的人脸表情等的整体过程的一例。
第一过程1111可为第一电子设备110启动摄像头来抽取初始标志信息的过程。如已说明的内容，普通技术人员可通过已知的技术轻松理解从包含使用人员的人脸等对象的影像中抽取眼、鼻、嘴、眉毛等的多个标志的信息的方法。
如通过图8所进行的说明，第二过程1112可为第一电子设备110利用标志坐标正规化算法来对标志坐标进行正规化的过程。
第三过程1113可为第一电子设备110抽取与表情有关的值的过程。例如，第一电子设备110可抽取睁眼的高度、张嘴的高度、眉毛与眼之间的距离、眉毛的角度等。
第四过程1114可为第一电子设备110根据所抽取的值生成标准模型的过程。
第五过程1115可为第一电子设备110启动摄像头来抽取启动中的标志信息的过程。
第六过程1116可为第一电子设备110通过所抽取的标志信息比较人脸和标准模型的过程。标准模型可意味着开始服务时最初抽取的人脸的状态。例如，第一过程至第四过程可为与所要利用服务的使用人员的人脸有关的多个标志(如一例，眼、鼻、嘴、眉毛等)的初始坐标的信息。第六过程为如下的过程，即，当人脸的表情通过与这种标准模型的比较而变化时，比较所变化的多个标志的位置和角度来确认组件所变化的状态。由于每个人的眼、鼻、嘴、眉毛等的标志的形状或尺寸不同，因此，难以通过组件的绝对尺寸来特定状态值。例如，若存在睁大左侧眼的人的左侧眼的尺寸为2cm的人A和左侧眼的尺寸为1cm的人B，则利用每个人的标准模型来按比率计算左侧眼的变化，从而进行更准确的检测。换言之，若睁大左侧眼的人的左侧眼的尺寸为2cm的人A使其左侧眼的尺寸变换为1cm，则可判断为人A半闭左侧眼。
如通过图9所进行的说明，第七过程1117可为第一电子设备110根据之前帧来校正标志坐标的过程。
第八过程1118可为第一电子设备110抽取动作单元(AU，Action Unit)的属性值的过程。这种动作单元的属性值可意味着通过与之前说明的标准模型进行比较来计算的变化值。换言之，标准模型可意味着最初值的集合，动作单元的属性值可意味着所变化的多个值的集合。例如，若标准模型的左侧眼的高度为2cm，则半闭左侧眼时为1cm，在此情况下，与左侧眼有关的动作单元的属性值可为0.5。
如通过图10所进行的说明，第九过程1119可为第一电子设备110处理两侧眼眨眼同步化的过程。换言之，第一电子设备110可在第九过程1119利用眨眼缓冲(步骤1020)等来选择两侧眼动态动作(步骤1040)及使用人员的一侧眼动态动作(步骤1080)中的一种。
如通过图3的步骤320所进行的说明，第十过程1120可为第一电子设备110根据标志信息对使用人员的人脸和虚拟化身的人脸进行映射的过程。
如通过图3的步骤330及步骤340所进行的说明，第十一过程1121可为第一电子设备110决定表情事件的过程。
第十二过程1122可为第一电子设备110利用通过图6及图7所说明的动态文件决定表情动画的过程。
第十过程1120、第十一过程1121及第十二过程1122的结果能够以并行的方式分别适用于虚拟化身。
第十三过程1123可为第一电子设备110进行后处理的过程。后处理可包括与适用使用人员的人脸表情或各种效果等的虚拟化身的画面有关的视频录像、所录像的视频的编辑、所编辑的视频的存储、使得所编辑的影像转换为移动的图形交换格式文件、所编辑的视频或图形交换格式文件的共享(如一例，通过信息服务或社交网络服务等的共享)等的多种处理。
如上所述，根据本发明的实施例，决定对于所输入的影像中所包含的对象(如一例，使用人员的人脸)已定义的多个组件(如一例，眼、鼻、嘴、眉毛、人脸的角度等)的多个值，根据所决定的多个值的组合选择对于虚拟对象已设定的多个事件中的一种来适用于虚拟对象，从而将对象的变化(如一例，人脸的表情变化)反映于虚拟对象，同时，可在虚拟对象的观点上适用更自然的变化。
以上所说明的系统或装置可由硬件结构要素、软件结构要素或硬件结构要素及软件结构要素的组合来实现。例如，在多个实施例中所说明的装置及结构要素可利用一个以上的普通计算机或特殊目的计算机来实现，如处理器、控制器、算术逻辑单元(ALU，arithmetic logic unit)、数字信号处理器(digital signal processor)、微型计算机、现场可编程门阵列(FPGA，field programmable gate array)、可编程逻辑单元(PLU，programmable logic unit)、微型处理器或可执行并响应指令(instruction)的任何装置。处理装置可执行操作系统(OS)及在上述操作系统中执行的一个以上的软件应用程序。并且，处理装置响应软件的执行来可接近、存储、操作、处理及生成数据。为了便于理解，以使用一个处理装置的情况进行说明，但是，本技术领域的普通技术人员可知处理装置可包括多个处理要素(processing elemen)和/或多个类型的处理要素。例如，处理装置可包括多个处理器或一个处理器及一个控制器。并且，还可包括并行处理器(parallel processor)等的其他处理结构(processing configuration)。
软件可包括计算机程序(computer program)、代码(code)、指令(instruction)或它们的一种以上的组合，能够以进行所需工作的方式构成处理装置或能够以独立或结合(collectively)的方式对处理装置下指令。为了借助处理装置进行解释或向处理装置提供指令或数据，软件和/或数据可在任何类型的机器、结构要素(component)、物理装置、虚拟装置(virtual equipment)、计算机存储介质或装置来永久或暂时性地实现具体化(embody)。软件可分散于与网络连接的计算机系统上来以分散的方法存储或执行。软件及数据可存储于一个以上的计算机可读记录介质。
实施例的方法能够以可通过多种计算机单元执行的程序指令形态来记录于计算机可读介质。上述计算机可读介质能够以单独或组合的方式包含程序指令、数据文件、数据结构等。记录于上述介质的程序指令可以是为了实施例而特别设计并构成的程序指令或可以是计算机软件技术人员公知并使用的程序指令。计算机可读记录介质包括以存储并执行程序指令的方式特别构成的硬件装置，例如，硬盘、软盘及磁带等的磁介质(magneticmedia)，光盘只读存储器(CD-ROM)、数字化视频光盘(DVD)等的光记录介质(opticalmedia)，光磁软盘(floptical disk)等的磁光介质(magneto-optical media)，只读存储器(ROM)、随机存取存储器(RAM)、闪存等。程序指令的例不仅包括通过编译程序形成的机器代码，还包括可通过使用直译器等来在计算机中执行的高级语言代码。
如上所述，虽通过限定的实施例和附图来对实施例进行了说明，但是，只要是本技术领域的普通技术人员，则可根据上述记载进行多种修改及变形。例如，即使所说明的技术以与所说明的方法不同的顺序执行和/或所说明的系统、结构、装置、电路等的结构要素以与所说明的方法不同的形态结合或组合，或者被其他结构要素或等同技术方案代替或取代，也可实现适当的结果。
因此，其他实施方式、其他实施例及与发明要求保护范围等同的方案也属于发明要求保护范围的范围。

Claims (16)

1.一种影像处理系统，由计算机实现而执行影像处理方法，所述影像处理系统包括被实现为执行由所述计算机可读的指令的至少一个处理器，其特征在于，
由所述至少一个处理器执行如下步骤：
对于所输入的影像中所包含的对象抽取标志信息；
根据所述标志信息对所输入的所述影像中所包含的对象和虚拟对象进行映射；
根据所述标志信息决定对于所述对象已定义的多个组件各自的值，其中已定义的所述多个组件包含所述对象所包含的多个标志组件以及用于表示所述对象的旋转的多个角度组件；
所述多个标志组件中的每个标志组件通过设置表示两个以上的互不相同的多个形状的多个形状值来进行管理；
将对于第一标志组件对应管理的多个形状值中的与根据所述标志信息决定的所述第一标志组件的形状相对应的形状值决定为所述第一标志组件的值；
决定与所决定的所述多个组件的值的组合相对应的事件；
将所决定的所述事件适用于映射在所述对象的虚拟对象。
2.根据权利要求1所述的影像处理系统，其特征在于，
所述多个角度组件与能够对于所述对象进行设置的多个旋转轴相对应，
由所述至少一个处理器执行如下步骤：
所述多个旋转轴中的每个旋转轴通过设置表示两个以上的互不相同的多个角度的多个角度值来进行管理，
根据所述标志信息决定与所述多个旋转轴中的第一旋转轴有关的所述对象的角度；
将对于所述第一旋转轴对应管理的多个角度值中的与所决定的所述对象的角度相对应的角度值决定为与所述第一旋转轴相对应的角度组件的值。
3.根据权利要求1所述的影像处理系统，其特征在于，
由所述至少一个处理器执行如下步骤：
每个能够对于所述多个组件进行设置的多个值的组合通过设置事件来管理与多个组合有关的多个事件，
从所管理的所述多个事件中抽取与所决定的所述值的组合相对应的事件。
4.根据权利要求1所述的影像处理系统，其特征在于，由所述至少一个处理器执行如下步骤：
加载与所决定的所述事件相对应的动态文件；
将所加载的所述动态文件所包含的动画的多个动态帧以帧为单位来依次适用在用于显示所述虚拟对象的多个帧。
5.根据权利要求1所述的影像处理系统，其特征在于，由所述至少一个处理器执行如下步骤：利用所抽取的所述标志信息来对所述对象的尺寸、位置及角度进行正规化。
6.根据权利要求1所述的影像处理系统，其特征在于，所由所述至少一个处理器执行如下步骤：利用通过所述影像的之前帧所抽取的标志信息来校正通过标志信息所识别的所述对象的多个标志组件的坐标，所述标志信息通过所述影像的当前帧来抽取。
7.根据权利要求6所述的影像处理系统，其特征在于，由所述至少一个处理器执行如下步骤：利用根据在所述当前帧中所识别的所述对象的各个旋转轴的角度和在所述之前帧所识别的所述对象的各个旋转轴的角度的变化量来计算的可靠值，通过所述当前帧来校正所述对象的多个标志组件的坐标。
8.根据权利要求1所述的影像处理系统，其特征在于，
所述对象包括在通过摄像头所输入的所述影像中包含的使用人员的人脸，
所述虚拟对象包含所要实时映射在所述使用人员的人脸的卡通人物人脸。
9.根据权利要求8所述的影像处理系统，其特征在于，由所述至少一个处理器执行如下步骤：
对于所述影像的连续的已设定的数的多个帧分别检测表示所述使用人员的人脸中的两眼睁眼程度的相对值来存储于缓冲器；
在两眼均未睁眼或两眼均闭眼的情况下，根据所检测的所述相对值来分析存储于所述缓冲器的已设定的数的多个帧的多个相对值，从而检测一侧眼动态动作；
将所检测的所述一侧眼动态动作适用于所述卡通人物人脸。
10.一种影像处理方法，其特征在于，包括：
对于所输入的影像中所包含的对象抽取标志信息的步骤；
根据所述标志信息对所输入的所述影像中所包含的对象和虚拟对象进行映射的步骤；
根据所述标志信息决定对于所述对象已定义的多个组件各自的值的步骤，其中已定义的所述多个组件包含所述对象所包含的多个标志组件以及用于表示所述对象的旋转的多个角度组件；
所述多个标志组件中的每个标志组件通过设置表示两个以上的互不相同的多个形状的多个形状值来进行管理；决定与所决定的所述多个组件的值的组合相对应的事件的步骤；以及
将所决定的所述事件适用于映射在所述对象的虚拟对象的步骤，
在决定对于所述对象已定义的多个组件各自的值的步骤中，将对于第一标志组件对应管理的多个形状值中的与根据所述标志信息决定的所述第一标志组件的形状相对应的形状值决定为所述第一标志组件的值。
11.根据权利要求10所述的影像处理方法，其特征在于，
所述多个角度组件与能够对于所述对象进行设置的多个旋转轴相对应，
所述影像处理方法还包括所述多个旋转轴中的每个旋转轴通过设置表示两个以上的互不相同的多个角度的多个角度值来进行管理的步骤，
决定对于所述对象已定义的多个组件各自的值的步骤包括：
根据所述标志信息决定与所述多个旋转轴中的第一旋转轴有关的所述对象的角度的步骤；以及
将对于所述第一旋转轴对应管理的多个角度值中的与所决定的所述对象的角度相对应的角度值决定为与所述第一旋转轴相对应的角度组件的值的步骤。
12.根据权利要求10所述的影像处理方法，其特征在于，
还包括每个能够对于所述多个组件进行设置的多个值的组合通过设置事件来管理与多个组合有关的多个事件的步骤，
在决定所述事件的步骤中，从所管理的所述多个事件中抽取与所决定的所述值的组合相对应的事件。
13.根据权利要求10所述的影像处理方法，其特征在于，将所决定的所述事件适用于映射在所述对象的虚拟对象的步骤包括：
加载与所决定的所述事件相对应的动态文件的步骤；以及
将所加载的所述动态文件所包含的动画的多个动态帧以帧为单位来依次适用在用于显示所述虚拟对象的多个帧的步骤。
14.根据权利要求10所述的影像处理方法，其特征在于，还包括利用通过所述影像的之前帧所抽取的标志信息来校正通过标志信息所识别的所述对象的多个标志组件的坐标，所述标志信息通过所述影像的当前帧来抽取。
15.根据权利要求14所述的影像处理方法，其特征在于，在进行所述校正的步骤中，利用根据在所述当前帧中所识别的所述对象的各个旋转轴的角度和在所述之前帧所识别的所述对象的各个旋转轴的角度的变化量来计算的可靠值，通过所述当前帧来校正所述对象的多个标志组件的坐标。
16.一种计算机可读记录介质，其特征在于，记录有用于在计算机执行权利要求10至15中任一项所述的影像处理方法的程序。
CN201810695642.6A 2017-06-29 2018-06-29 影像处理方法及系统 Active CN109215102B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0082472 2017-06-29
KR1020170082472A KR101966384B1 (ko) 2017-06-29 2017-06-29 영상 처리 방법 및 시스템

Publications (2)

Publication Number Publication Date
CN109215102A CN109215102A (zh) 2019-01-15
CN109215102B true CN109215102B (zh) 2023-08-18

Family

ID=64738694

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810695642.6A Active CN109215102B (zh) 2017-06-29 2018-06-29 影像处理方法及系统

Country Status (4)

Country Link
US (1) US10878224B2 (zh)
JP (1) JP7182919B2 (zh)
KR (1) KR101966384B1 (zh)
CN (1) CN109215102B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7278307B2 (ja) * 2018-12-18 2023-05-19 グリー株式会社 コンピュータプログラム、サーバ装置、端末装置及び表示方法
KR102667064B1 (ko) 2019-02-19 2024-05-20 삼성전자 주식회사 전자 장치 및 이를 이용한 카메라 기능과 연동하여 이모지 편집을 위한 사용자 인터페이스를 제공하는 방법
CN109948542B (zh) 2019-03-19 2022-09-23 北京百度网讯科技有限公司 手势识别方法、装置、电子设备和存储介质
CN110136231B (zh) * 2019-05-17 2023-02-24 网易（杭州）网络有限公司 虚拟角色的表情实现方法、装置及存储介质
CN110443872B (zh) * 2019-07-22 2021-04-02 北京科技大学 一种具备动态纹理细节的表情合成方法
CN112784622B (zh) * 2019-11-01 2023-07-25 抖音视界有限公司 图像的处理方法、装置、电子设备及存储介质
CN111291674B (zh) * 2020-02-04 2023-07-14 清华珠三角研究院 一种虚拟人物表情动作的提取方法、系统、装置及介质
CN111367580B (zh) * 2020-02-28 2024-02-13 Oppo（重庆）智能科技有限公司 一种应用启动方法、装置及计算机可读存储介质
US20220309704A1 (en) * 2020-07-29 2022-09-29 Nec Corporation Image processing apparatus, image processing method and recording medium
JP2022096058A (ja) * 2020-12-17 2022-06-29 トヨタ自動車株式会社 移動体
CN113223126A (zh) * 2021-05-19 2021-08-06 广州虎牙科技有限公司 虚拟对象的表情生成方法、应用程序、设备及存储介质
KR102547358B1 (ko) * 2022-11-15 2023-06-23 엠앤앤에이치 주식회사 볼류메트릭 동영상을 이용한 아바타 퍼포밍 장치 및 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006202188A (ja) * 2005-01-24 2006-08-03 Oki Electric Ind Co Ltd 画像合成装置およびそのパターン確認方法
CN101098241A (zh) * 2006-06-26 2008-01-02 腾讯科技（深圳）有限公司 虚拟形象实现方法及其系统
JP2011070623A (ja) * 2009-08-31 2011-04-07 Sony Corp 画像処理装置および画像処理方法、並びにプログラム
CN103907137A (zh) * 2011-08-31 2014-07-02 岩石国际集团私人有限公司 虚拟广告平台
CN105654778A (zh) * 2014-12-01 2016-06-08 星克跃尔株式会社 电子装置、电子装置的控制方法
KR20160149959A (ko) * 2015-06-19 2016-12-28 라인 가부시키가이샤 사용자들간의 협업을 통해 컨텐츠를 생성하는 방법 및 시스템

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2440015A1 (en) * 2003-09-03 2005-03-03 National Research Council Of Canada Second order change detection in video
KR20050078757A (ko) * 2004-02-02 2005-08-08 주식회사 비즈모델라인 게임 캐릭터 대체 방법과 게임 캐릭터 대체 시스템과 게임서버 또는 게임 장치 및 기록매체
KR20060104980A (ko) * 2006-09-26 2006-10-09 주식회사 비즈모델라인 이모티콘과 아바타 연동처리 방법 및 시스템
JP4886645B2 (ja) * 2007-09-20 2012-02-29 日本放送協会 仮想顔モデル変形装置及び仮想顔モデル変形プログラム
EP2327053A4 (en) * 2008-07-22 2012-01-18 Sony Online Entertainment Llc SYSTEM AND METHOD FOR PROVIDING PERSISTALITIES WITH PERSISTENT CHARACTER IN A SIMULATION
KR20110021330A (ko) * 2009-08-26 2011-03-04 삼성전자주식회사 3차원 아바타 생성 장치 및 방법
KR101630304B1 (ko) * 2010-02-04 2016-06-14 삼성전자주식회사 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 매체
KR20120059994A (ko) 2010-12-01 2012-06-11 삼성전자주식회사 표정 제어점을 이용한 아바타 제어 장치 및 방법
US9049355B2 (en) * 2012-09-21 2015-06-02 Htc Corporation Methods for image processing of face regions and electronic devices using the same
CN106104633A (zh) * 2014-03-19 2016-11-09 英特尔公司 面部表情和/或交互驱动的化身装置和方法
KR102314274B1 (ko) * 2014-08-18 2021-10-20 삼성전자주식회사 컨텐츠 처리 방법 및 그 전자 장치
KR102205498B1 (ko) * 2014-09-18 2021-01-20 삼성전자주식회사 입력 영상으로부터 특징을 추출하는 방법 및 장치
EP3198558A4 (en) * 2014-09-25 2018-04-18 Intel Corporation Facilitating efficient free in-plane rotation landmark tracking of images on computing devices

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006202188A (ja) * 2005-01-24 2006-08-03 Oki Electric Ind Co Ltd 画像合成装置およびそのパターン確認方法
CN101098241A (zh) * 2006-06-26 2008-01-02 腾讯科技（深圳）有限公司 虚拟形象实现方法及其系统
JP2011070623A (ja) * 2009-08-31 2011-04-07 Sony Corp 画像処理装置および画像処理方法、並びにプログラム
CN103907137A (zh) * 2011-08-31 2014-07-02 岩石国际集团私人有限公司 虚拟广告平台
CN105654778A (zh) * 2014-12-01 2016-06-08 星克跃尔株式会社 电子装置、电子装置的控制方法
KR20160149959A (ko) * 2015-06-19 2016-12-28 라인 가부시키가이샤 사용자들간의 협업을 통해 컨텐츠를 생성하는 방법 및 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于MPEG-4的人脸表情图像变形研究;戴振龙等;《中国图象图形学报》;20090515(第05期);全文 *

Also Published As

Publication number Publication date
KR101966384B1 (ko) 2019-08-13
US20190005309A1 (en) 2019-01-03
KR20190002081A (ko) 2019-01-08
CN109215102A (zh) 2019-01-15
JP2019012526A (ja) 2019-01-24
JP7182919B2 (ja) 2022-12-05
US10878224B2 (en) 2020-12-29

Similar Documents

Publication Publication Date Title
CN109215102B (zh) 影像处理方法及系统
US11960651B2 (en) Gesture-based shared AR session creation
US11514132B2 (en) Automatic website data migration
WO2022093939A1 (en) Side-by-side character animation from realtime 3d body motion capture
CN115956255B (zh) 使用广角成像设备的3d重建
US11991469B2 (en) Skeletal tracking for real-time virtual effects
US11887322B2 (en) Depth estimation using biometric data
US20220300728A1 (en) True size eyewear experience in real time
US20230252704A1 (en) Facial animation transfer
US20230120037A1 (en) True size eyewear in real time
KR102238036B1 (ko) 영상 처리 방법 및 시스템
US20220101000A1 (en) Qr generation system for augmented reality continuity
EP4315313A1 (en) Neural networks accompaniment extraction from songs
US20240231506A1 (en) Gesture-based shared ar session creation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20190121

Address after: Tokyo, Japan

Applicant after: LINE Corp.

Address before: Seoul, South Kerean

Applicant before: Lian (Pulai) Co.,Ltd.

CB02 Change of applicant information
CB02 Change of applicant information

Address after: Tokyo

Applicant after: AI Holding Co.,Ltd.

Address before: Tokyo

Applicant before: LINE Corp.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220121

Address after: Tokyo

Applicant after: LINE Corp.

Address before: Tokyo

Applicant before: AI Holding Co.,Ltd.

GR01 Patent grant
GR01 Patent grant