CN109688451B - 摄像机效应的提供方法及系统 - Google Patents

摄像机效应的提供方法及系统 Download PDF

Info

Publication number
CN109688451B
CN109688451B CN201811210847.7A CN201811210847A CN109688451B CN 109688451 B CN109688451 B CN 109688451B CN 201811210847 A CN201811210847 A CN 201811210847A CN 109688451 B CN109688451 B CN 109688451B
Authority
CN
China
Prior art keywords
effect
emotion
camera image
information
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811210847.7A
Other languages
English (en)
Other versions
CN109688451A (zh
Inventor
金炫秀
朴志英
李京恩
崔荣玉
金恩率
金圣昊
赵诚泽
金正明
朴基洙
宋侑燮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nabo Corp
Original Assignee
Nabo Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nabo Corp filed Critical Nabo Corp
Publication of CN109688451A publication Critical patent/CN109688451A/zh
Application granted granted Critical
Publication of CN109688451B publication Critical patent/CN109688451B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25841—Management of client data involving the geographical location of the client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2747—Remote storage of video programs received via the downstream path, e.g. from the server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N2005/2726—Means for inserting a foreground image in a background image, i.e. inlay, outlay for simulating a person's appearance, e.g. hair style, glasses, clothes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Social Psychology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开一种提供摄像机效应的方法及系统。由计算机实现的电子设备中的效应提供方法包括以下步骤：确定对摄像机图像的情感，作为选定要反映到所述电子设备的摄像机图像中的效应(effect)的基准；以及将根据所述确定的情感从表示相应情感的效应中随机选定的效应直接反映到所述摄像机图像中。

Description

摄像机效应的提供方法及系统
技术领域
本发明涉及一种提供增强现实(Augmented Reality，AR)摄像机效应(cameraeffect)的技术。
背景技术
最近，利用智能手机(smart phone)、平板电脑(tablet)、可穿戴设备(wearabledevice)等个人信息终端的移动数据通信服务被广泛使用。
所述移动数据通信服务中，最受瞩目的领域之一是向个人信息终端提供各种内容的无线广播服务领域。
例如，韩国公开专利公报第10-2003-0029556号(公开日2003年04月14日)中公开了通过网络播放或无线播放或公共电视播放提供利用移动终端拍摄的拍摄信息的技术。
发明内容
(一)要解决的技术问题
本发明提供一种考虑到现场直播情况不切断播放的进度而能够快速提供摄像机效应的方法及系统。
本发明提供一种在现场直播期间能够提供符合由用户选择的情感或从图像中自动识别的情感的摄像机效应的方法及系统。
(二)技术方案
本发明提供一种效应提供方法，其为由计算机实现的电子设备中的效应提供方法，包括以下步骤：确定对摄像机图像的情感，作为选定要反映到所述电子设备的所述摄像机图像的效应的基准；以及将根据所述确定的情感从表示相应情感的效应中随机选定的效应直接反映到所述摄像机图像中。
根据一个方面，所述确定步骤中，将由所述电子设备的用户选择的情感确定为选定基准。
根据另一个方面，所述确定步骤中，将从所述摄像机图像的脸部表情中识别的情感确定为效应选定基准。
根据又一个方面，所述效应提供方法还包括以下步骤：收集与所述电子设备的用户相关的情况信息，所述反映步骤包括以下步骤：从与所述确定的情感对应的效应中随机选定，选定与所述情况信息匹配的效应。
根据又一个方面，所述收集步骤中，收集与所述摄像机图像相关的时间信息、与所述摄像机图像相关的地点信息、与所述摄像机图像相关的颜色信息、与所述摄像机图像相关的拍摄模式信息、所述用户所使用的效应的历史信息、对所述摄像机图像的反馈信息、与所述摄像机图像相关的目标信息、从所述摄像机图像中识别的表情信息中的至少一种情况信息。
根据又一个方面，所述选定步骤中，对与所述确定的情感对应的效应赋予所述情况信息的加权值，并根据所述加权值选定要反映到所述摄像机图像的效应。
根据又一个方面，所述选定步骤中，根据所述确定的情感，选择不同的情况信息，作为效应选定基准来利用。
根据又一个方面，所述选定步骤中，对与所述确定的情感对应的效应赋予所述情况信息的加权值，并根据所述加权值选定要反映到所述摄像机图像的效应，并且，根据所述确定的情感，按照所述情况信息赋予不同的加权值。
根据又一个方面，所述确定步骤包括以下步骤：提供由多个情感图标组成的情感选择菜单；以及将通过所述情感选择菜单选择的情感确定为效应选定基准。
根据又一个方面，所述反映步骤中，根据对所述情感选择菜单的用户手势类型，从与所述确定的情感对应的效应中，选定不同的要反映到所述摄像机图像的效应选定对象。
本发明提供一种计算机程序，其为了与计算机结合并在计算机上运行所述效应提供方法而存储在计算机可读的记录介质中。
本发明提供一种计算机可读的记录介质，记录有用于在计算机上运行权利要求1的效应提供方法的程序。
本发明提供一种效应提供系统，其为由计算机实现的电子设备的效应提供系统，包括运行计算机可读的指令的至少一个处理器，所述至少一个处理器包括：情感确定部，确定对摄像机图像的情感，作为选定要反映到所述电子设备的所述摄像机图像中的效应的基准；以及效应选定部，将根据所述确定的情感从表示相应情感的效应中随机选定的效应直接反映到所述摄像机图像中。
(三)有益效果
根据本发明的实施例，可以提供一种考虑到现场直播情况，不切断播放的进度而能够快速提供摄像机效应，并且在现场直播中能够提供符合由用户选择的情感或从图像中自动识别的情感的摄像机效应。
根据本发明的实施例，提供符合由用户选择的情感或从图像中自动识别的情感的摄像机效应，并且，通过考虑用户情况的加权建模来提供摄像机效应，从而能够提供可以最大限度地表达所述情感的效应。
附图说明
图1是示出本发明的一个实施例的网络环境的例子的图。
图2是用于说明本发明的一个实施例中的电子设备和服务器的内部结构的框图。
图3是示出本发明的一个实施例的电子设备的处理器所能够包括的组件的例子的图。
图4是示出本发明的一个实施例的电子设备所能够执行的效应提供方法的例子的流程图。
图5是用于说明本发明的一个实施例中用作效应选定基准的情况信息的图。
图6至图10是用于说明本发明的一个实施例中提供与情感对应的效应的过程的示例图。
具体实施方式
下面，参照附图对本发明的实施例进行详细说明。
本发明的实施例涉及一种提供摄像机效应的技术，更详细地，涉及一种考虑现场直播情况能够快速提供符合情感的摄像机效应的方法及系统。
本说明书中包含具体公开的内容的实施例可以在视频拍摄或现场直播中快速提供摄像机效应，由此可在快速性、效率性、多样性、趣味因素等方面实现很多优点。
图1是示出本发明的一个实施例的网络环境的例子的图。图1示出网络环境包含多个电子设备110、120、130、140、多个服务器150、160及网络170的例子。所述图1为用于说明本发明的例子，电子设备的数量或服务器的数量并不局限于图1所示的数量。
多个电子设备110、120、130、140可以是由计算机设备实现的固定型终端或便携式终端。举出多个电子设备110、120、130、140的例子，有智能手机(smart phone)、移动电话、平板电脑、导航仪、计算机、笔记本电脑、数字广播终端、个人数字助理(PersonalDigitalAssistants，PDA)、便携式多媒体播放器(Portable Multimedia Player，PMP)等。例如，第一电子设备110可以利用无线或有线通信方式，并通过网络170与其他电子设备120、130、140和/或服务器150、160进行通信。
对通信方式不作限制，可以包括利用网络170所能够包括的通信网(例如，移动通信网、有线互联网、无线互联网、广播网)的通信方式，而且还可以包括设备之间的近距离无线通信。例如，网络170可以包括个人局域网(personal area network，PAN)、局域网(localarea network，LAN)、校园局域网(campus area network，CAN)、城域网(metropolitanarea network，MAN)、广域网(wide area network，WAN)、宽带网(broadband network，BBN)、互联网等网络中的一种以上的任意网络。并且，网络170可以包括网络拓扑中的任意一种以上，但不局限于此，所述网络拓扑包括总线网络、星形网络、环形网络、网状网络、星形总线网络、树形网络或层次(hierarchical)网络等。
服务器150、160分别可以以通过网络170与多个电子设备110、120、130、140进行通信来提供指令、代码、文件、内容、服务等的计算机设备或多个计算机设备实现。例如，服务器160可以向通过网络170接入的第一电子设备110提供用于安装应用程序的文件。此时，第一电子设备110可以利用由服务器160提供的文件来安装应用程序。并且，可以根据第一电子设备110所包含的操作系统(Operating System，OS)或至少一个程序(例如，浏览器或安装的所述应用程序)的控制接入服务器150，并接收由服务器150提供的服务或内容。例如，当第一电子设备110根据应用程序的控制，通过网络170将服务请求消息传输至服务器150时，服务器150可以将与服务请求消息对应的代码传输至第一电子设备110，第一电子设备110根据应用程序的控制构成并显示基于代码的画面，从而能够向用户提供内容。
图2是用于说明本发明的一个实施例中的电子设备和服务器的内部结构的框图。图2中，作为一个电子设备的例子，对第一电子设备110的内部结构进行说明，并且，作为一个服务器的例子，对服务器150的内部结构进行说明。其他电子设备120、130、140或服务器160也可以具有相同或相似的内部结构。
第一电子设备110和服务器150可以包括存储器211、221、处理器212、222、通信模块213、223以及输入输出接口214、224。存储器211、221作为计算机可读取的记录介质，可以包括随机存取存储器(random access memory，RAM)、只读存储器(read only memory，ROM)及磁盘驱动器等永久性大容量存储设备(permanent mass storage device)。并且，存储器211、221中可以存储操作系统或至少一个程序代码(例如，安装在第一电子设备110中而被驱动的应用程序等的代码)。所述软件组件可以通过与存储器211、221分开的计算机可读取的记录介质加载。所述分开的计算机可读的记录介质可以包括软盘驱动器、磁盘、磁带、DVD/CD-ROM驱动器、存储卡等计算机可读的记录介质。在其他实施例中，软件组件也可以通过通信模块213、223被加载在存储器211、221中，而不是通过计算机可读的记录介质。例如，至少一个程序可以基于由文件分发系统(例如，所述服务器160)通过网络170提供的文件而安装的程序(例如，所述应用程序)，被加载在存储器211、221中，其中，所述文件分发系统分发开发者或应用程序的安装文件。
处理器212、222可以被配置为执行基本的算术、逻辑及输入输出计算，从而处理计算机程序的指令。指令可以通过存储器211、221或通信模块213、223提供给处理器212、222。例如，处理器212、222可以被配置为根据存储在如存储器211、221等记录设备中的程序代码，执行接收的指令。
通信模块213、223可以通过网络170提供用于使第一电子设备110与服务器150彼此通信的功能，可以提供用于与其他电子设备(例如，第二电子设备120)或其他服务器(例如，服务器160)通信的功能。例如，由第一电子设备110的处理器212根据存储在如存储器211等记录设备中的程序代码生成的请求(例如，搜索请求)可以根据通信模块213的控制通过网络170传输至服务器150。相反，根据服务器150的处理器222的控制提供的控制信号或指令、内容、文件等可以经过通信模块223和网络170，并通过第一电子设备110的通信模块213传输至第一电子设备110。例如，通过通信模块213接收的服务器150的控制信号或指令等可以传输至处理器212或存储器211，内容或文件等可以存储在由第一电子设备110还能够包括的存储介质中。
输入输出接口214可以是用于与输入输出设备215进行接合的装置。例如，输入设备可以包括键盘或鼠标等设备，并且，输出设备可以包括用于显示应用程序的通信会话的显示器等设备。作为另一个例子，输入输出接口214也可以是用于与如触摸屏等输入和输出的功能集成为一体的设备进行接合的装置。作为更具体的例子，当第一电子设备110的处理器212处理加载在存储器211中的计算机程序的指令时，利用由服务器150或第二电子设备120提供的数据而组成的服务画面或内容可以通过输入输出接口214显示在显示器中。当服务器150的处理器222处理加载在存储器221中的计算机程序指令时，输入输出接口224也可以输出利用由服务器150提供的数据而组成的信息。
并且，在其他实施例中，第一电子设备110和服务器150还可以包括比图2中的组件更多的组件。例如，第一电子设备110可以包括所述输入输出设备215中的至少一部分，或者还可以包括收发器(transceiver)、全球定位系统(Global Positioning System，GPS)模块、摄像机、各种传感器、数据库等其他组件。作为更具体的例子，当第一电子设备110为智能手机时可知，通常智能手机所包含的加速度传感器或陀螺仪传感器、摄像机、各种物理按钮、利用触摸板的按钮、输入输出端口、用于振动的振动器等多种组件可以进一步包括在第一电子设备110中。但是，没有必要明确示出大部分现有技术中的组件。
图3是示出本发明的一个实施例的电子设备的处理器所能够包括的组件的例子的框图，图4是示出本发明的一个实施例的电子设备所能够执行的方法的例子的流程图。
本实施例的第一电子设备110中可以构成有由计算机实现的效应提供系统。效应提供系统可以由基于个人计算机(PC)的程序或移动终端专用的应用程序构成。本实施例的效应提供系统可以以独立操作的程序形态实现，或者可以以特定应用程序(例如，摄像机功能等)的嵌入式(in-app)系统形态构成，从而能够在所述特定应用程序中进行操作。效应提供系统可以以安装在第一电子设备110上的应用程序形态实现，从而在通过与服务器150联动的现场直播中，在摄像机上即时应用符合情感的随机效应。
例如，基于安装在第一电子设备110的应用程序所提供的指令，在第一电子设备110上实现的效应提供系统可以执行效应提供方法。为了执行根据图4的效应提供方法，如图3所示，第一电子设备110的处理器212作为组件可以包括情感确定部310、情况收集部320及效应选定部330。根据实施例，处理器212的组件还可以选择性地包含在处理器212中，或者在处理器212中被排除。并且，根据实施例，处理器212的组件还可以分离或合并，以呈现处理器212的功能。
所述处理器212和处理器212的组件可以控制第一电子设备110，以执行图4的效应提供方法所包括的步骤(S410至S440)。例如，处理器212和处理器212的组件可以执行根据存储器211所包含的操作系统的代码和至少一个程序的代码的指令(instruction)。
其中，处理器212的组件可以是根据存储在第一电子设备110中的程序代码所提供的指令(例如，第一电子设备110中驱动的应用程序所提供的指令)并通过处理器212执行的处理器212的彼此不同的功能(different functions)的表现。例如，作为根据所述指令控制第一电子设备110的处理器212的功能性表现，可以利用情感确定部310，以使第一电子设备110确定摄像机图像的情感。
在步骤(S410)中，处理器212可以从加载有与第一电子设备110的控制相关的指令的存储器211中读取需要的指令。此时，所述读取的指令可以包括用于控制处理器212执行将在下面说明的步骤(S420至S440)的指令。
本发明的实施例中，如现场直播或网络电话(VoIP)等，在通过网络线路实时发送利用第一电子设备110的摄像机拍摄的图像的流式(streaming)环境中，向摄像机图像合成作为增强现实(augmented reality，AR)图像的预定的效应，从而可以以一个图像来提供，尤其，可以不直接指定要反映在摄像机图像的效应，而是考虑实时发送摄像机图像的环境情况，更快且自动地选定效应并提供效应。可以对包括如上所述的直播流式环境以及视频拍摄环境等的摄像机图像自动选定效应并提供效应。
步骤(S420)中，情感确定部310可以确定对摄像机图像的情感，作为选定要反映到第一电子设备110的摄像机图像的效应的基准。本说明书中，效应作为由图像对象组成的内容，可以表示包括所有可合成在摄像机图像的滤镜(filter)、贴纸或表情符号等，所述效应不仅可以以固定的形态的对象来实现，而且还可以以应用动漫(flash)或动画(animation)等的动态图对象来实现。所述效应表示情感信息，并且可以按情感类型预先进行分类，也就是说，多个情感(例如，6种情感：高兴、爱情、悲伤、生气、冷静(cool)、疯狂)被预先定义，对按情感类型表示相应情感的效应进行分组并管理。例如，在情感确定部310中，第一电子设备110的用户可以选择预先定义的多个情感中的任意一个特定情感，并通过由用户选择的情感来确定对摄像机图像的情感。作为另一个例子，情感确定部310基于摄像机图像，从脸部表情提取情感信息，从而能够确定对摄像机图像的情感。脸部表情通过眉毛、眼睛、鼻子、嘴巴、皮肤等脸部的要素在发生变化时所发生的脸部肌肉的收缩而显示，脸部表情的强度可以根据脸部特征的几何变换或肌肉表现密度而被确定。例如，情感确定部310在提取用于提取表情的特征的关注区域(例如，眼睛区域、眉毛区域、鼻子区域、嘴巴区域等)之后，可以在关注区域提取特征点(point)，并利用特征点来确定预定的特征值。特征值相当于基于特征点之间的距离等来表示人的表情的特定的数值。为了将确定的特征值应用于情感感应值模型，情感确定部310根据显示在图像的特征值的数值的程度，确定预定的强度值，并利用预先配置的映射表，确定与各特征值的数值匹配的预定的强度值。映射表根据情感感应值模型预先配置。情感确定部310映射情感感应值模型与强度值，并可以提取根据将所述强度值应用于情感感应值模型的结果而确定的情感种类和强度。所述提取情感信息的技术是例示性的，并不局限于此，还可以利用公知的其他技术。
因此，情感确定部310可以将由用户选择的情感或从图像中自动识别的情感确定为用于选定要反映到摄像机图像的效应的基准中的一种。
在步骤(S430)中，情况收集部320可以收集与第一电子设备110的用户相关的至少一种情况信息(context)。也就是说，情况收集部320可以收集用户的情况信息，作为选定要反映到摄像机图像的效应的附加基准。例如，情况收集部320收集与摄像机图像相关的时间信息，即在拍摄图像时，所述情况收集部320可以收集包括由第一电子设备110获得的日期和时间点等的时间信息。作为另一个例子，情况收集部320收集与摄像机图像相关的地点信息，例如，在拍摄图像时，所述情况收集部320可以从第一电子设备110收集诸如GPS坐标的位置信息等。作为又一个例子，情况收集部320收集与摄像机图像相关的颜色信息，在拍摄图像时，所述情况收集部320可以通过分析包含在屏幕内的颜色值或者识别摄像机图像内的脸部肤色、摄像机照明颜色等来收集颜色信息。作为又一个例子，情况收集部320收集与摄像机图像相关的拍摄模式信息，例如，所述情况收集部320可以收集前置摄像机拍摄模式/后置摄像机拍摄模式或人物拍摄模式/背景拍摄模式等拍摄图像的模式信息。作为又一个例子，情况收集部320收集由第一电子设备110的用户使用的效应的历史信息(history)，例如，所述情况收集部320可以收集用户平时经常使用的效应或与所述效应相似的效应的信息。作为另一个例子，情况收集部320收集查看器(viewer)对摄像机图像的反馈信息，即可以收集用户与查看器之间进行的对话、通过查看器上传的回复(comment)或反应等的语境(context)。作为另一个例子，情况收集部320收集与摄像机图像相关的目标(target)信息，例如，当用户选择特定社区提供摄像机图像时，所述情况收集部320可以收集社区的主题或栏目等相应社区的信息。作为又一个例子，情况收集部320从摄像机图像收集包括情感强度(程度)的表情信息，即从摄像机图像内的脸部表情不仅可以收集情感种类，而且还可以一同收集情感强度。以情感的种类以及可表示强度的效应为对象，掌握图像内的实际表情，从而能够作为效应选定基准来使用。
因此，情况收集部320可以收集用户的情况，即时间信息、地点信息、颜色信息、拍摄模式信息、历史信息、反馈信息、目标信息、表情信息中的至少一种，作为用于选定要反映到摄像机图像的效应的附加基准。
在步骤(S440)中，效应选定部330可以从通过步骤(S420)中确定的情感而分类的多个效应中，随机选定要反映到摄像机图像的效应。例如，当用户从预先定义的多个情感(例如，6种情感：高兴、恋爱、悲伤、生气、冷静、疯狂)中选择“高兴”时，可以在分类为“高兴”的效应组中随机选定特定效应并即时应用在摄像机中。因此，可以根据用户选择的情感随机选定相应情感的效应，从而能够直接提供至实时被发送的图像中。
进而，效应选定部330在与步骤(S420)中确定的情感对应的效应中随机选定要反映到摄像机图像的效应，并且，可以选定与在步骤(S430)中收集的情况信息匹配的效应。所述随机效应可以通过时间信息、地点信息、颜色信息、拍摄模式信息、历史信息、反馈信息、目标信息、表情信息中的至少一种情况信息的加权建模来选定。如图5所示，作为选定效应的基准，效应选定部330利用由用户选择的情感或从图像自动识别的情感501，可以将考虑到用户的语境的情况信息502(时间信息(time)、地点信息(place)、颜色信息(color)、拍摄模式信息(mode)、历史信息(history)、反馈信息(feedback)、目标信息(target)、表情信息(facial expression)中的至少一种)作为附加选定基准来利用。每个效应可以包括与相应效应相关的属性信息即元数据或各种标签、设计因素信息等。因此，效应选定部330通过将情况信息与属性信息进行比较来按照情况对效应赋予加权值，并能够提供由加权值计算的分数最高的效应或者从根据加权值计算的分数为预定水平以上的效应中随机选定的效应。
作为按照情况赋予加权值的方法中的一个例子，效应选定部330与情感501无关地将所有情况信息502作为附加选定基准来利用，并可以按情况信息502赋予相同的加权值。作为另一个例子，效应选定部330可以根据情感501选择并利用不同的作为附加选定基准的情况信息502。例如，当所述情感501为“高兴”时，可以将情况信息502中的时间信息(time)和地点信息(place)作为附加选定基准来利用，当所述情感501为“悲伤”时，可以将情况信息502中的地点信息(place)作为附加选定基准来利用。作为又一个例子，效应选定部330可以根据情感501，并按情况信息502赋予不同的加权值。例如，当所述情感501为“高兴”时，可以对情况信息502中的时间信息(time)和地点信息(place)赋予更高的加权值，当所述情感501为“悲伤”时，可以对情况信息502中的地点信息(place)赋予更高的加权值。
就作为附加选定基准的情况信息502中的时间信息而言，可以向专属于用户的拍摄日期或拍摄时间段的效应赋予加权值，例如，可以选定专属于圣诞节、情人节、深夜等特定时间段的效应。
就作为附加选定基准的情况信息502中的地点信息而言，可以从用户的拍摄位置或摄像机图像中识别特定地点，并对专属于相应地点的效应赋予加权值，例如，可以选定专属于艾菲尔铁塔、南山、明洞等特定地点的效应。
就作为附加选定基准的情况信息502中的颜色信息而言，可以通过分析摄像机屏幕内包含的颜色值或者识别图像内人物的肤色、照明颜色等，对适合于相应颜色的效应赋予加权值，例如，当摄像机内的整体背景颜色非常亮时，可以避免相似的颜色而选定形成反差的颜色的摄像机效应。
就作为附加选定基准的情况信息502中的拍摄模式信息而言，可以通过识别前置摄像机拍摄模式/后置摄像机拍摄模式或人物拍摄模式/背景拍摄模式等图像拍摄模式，对适合于相应模式的效应赋予加权值，例如，当利用前置摄像机的自拍(selfie)模式时，选定以遮罩(mask)为主的效应，当拍摄多位人员时，选定脸部交换效应等能够适用于多个人物的形态的摄像机效应，当利用后置摄像机的背景拍摄模式时，可以选定专属于背景地点的效应。
就作为附加选定基准的情况信息502中的历史信息而言，可以向用户经常使用的效应或相似的效应赋予加权值，例如，可以选定用户最近使用的效应、最近规定期间内经常使用的效应等。
就作为附加选定基准的情况信息502中的反馈信息而言，可以通过分析用户与查看器之间的对话或查看器的反应等语境，向与相应内容匹配的效应赋予加权值，例如，可以选定适合于用户与查看器之间的对话主题的效应等。
就作为附加选定基准的情况信息502中的目标信息而言，可以对适合于用户所要提供摄像机图像的目标对象的特性的效应赋予加权值，例如，当向水肺潜水俱乐部团体组提供现场直播时，可以选定与水肺潜水相关的摄像机效应，当向爱犬俱乐部组提供现场直播时，可以选定与动物相关的摄像机效应。
就作为附加选定基准的情况信息502中的表情信息而言，可以对适合于图像内脸部表情的效应赋予加权值，例如，当图像内的人物微笑时，可以选定专属于微笑表情的效应。作为另一个例子，也可以通过分析图像内的脸部表情的情感强度来选定专属于相应强度的效应，例如，当用户选择“高兴”且从图像中识别情感强度为“3”时，可以选定属于“高兴”组的效应中适于情感强度“3”的效应。
图6至图10是用于说明本发明的一个实施例中提供与情感对应的效应的过程的示例图。
图6是示例示出通过现场直播提供的摄像机图像画面600的图。摄像机图像画面600中可以包括用于选择被分为多个情感类型的效应组的情感选择菜单601。例如，效应组可以被分为6种情感类型，即高兴、恋爱、悲伤、生气、冷静、疯狂，并且，由6种情感图表组成的情感选择菜单601可以暴露在摄像机图像画面600上，以作为效应选定基准可选择情感。
参照图7，当用户从摄像机图像画面600上的情感选择菜单601中选择“高兴”图标时，从属于“高兴”组的效应中选定随机效应，并即时应用在摄像机中，从而能够将适合于情感“高兴”的效应比如反映心形效应的图像710提供到现场直播。
另外，如图8所示，当用户从摄像机图像画面600上的情感选择菜单601中选择“悲伤”图标时，从属于“悲伤”组的效应中选定随机效应，并直接应用于摄像机中，从而能够将适合于情感“悲伤”的效应比如反映眼泪效应的图像810提供到现场直播中。
如上所述，作为选定效应的基准，与用户选择的情感一起进一步利用至少一种情况信息，从而能够选定符合用户的情况的随机效应。因此，可以选定属于由用户选择的情感组的效应，并且，可以选定更适合于用户的实际情况的效应，从而提供到现场直播中。
并且，可以根据对情感选择菜单601的用户手势类型，应用不同的要反映到摄像机的效应选定对象。例如，将对情感选择菜单601的用户手势区分为点击(single tap)、双击(double tap)、长按(long tap)，并且在单击时，可以提供特定情感组中随机选定的效应，在双击时，可以提供最近使用的效应，在长按时，可以从根据预定的推荐基准而推荐的效应目录中，提供用户直接选择的效应。
当用户从摄像机图像画面600上的情感选择菜单601中点击(single tap)“高兴”图标时，如图7所示，可以将从“高兴”组中随机选定的效应比如反映心形效应的图像710提供到现场直播中。
假设“高兴”组中星形效应为最近使用的效应，如图9所示，当用户从摄像机图像画面600上的情感选择菜单601中双击“高兴”图标时，在摄像机上直接应用相应情感组中的作为最近使用的效应的星形效果而不是随机效应，从而能够将反映“高兴”组的效应中最近使用的效应的图像910提供到现场直播中。
参照图10，当用户从摄像机图像画面600上的情感选择菜单601中长按“高兴”图标时，可以将“高兴”组中符合所定条件的部分效应组成为推荐效应目录1011来提供。例如，推荐效应可以根据基于效应的用户历史信息的基准来选定，例如，可以推荐用户经常使用的效应。用户可以在由“高兴”组中经常使用的效应组成的推荐效应目录1011中直接选择要反映到摄像机中的效应，并且可以通过现场直播提供反映用户直接选择的效应(例如，嘴唇形效应)的图像1010而不是提供反映随机效应的图像。
根据如上所述的本发明的实施例，考虑到现场直播情况，能够不停止播放进度而快速提供摄像机效应，并且在现场直播期间，能够提供符合用户选择的情感或从图像中自动识别的情感的摄像机效应。并且，根据本发明的实施例，提供符合用户选择的情感或从图像自动识别的情感的摄像机效应，并且，通过考虑到用户的情况的加权建模来提供效应，从而能够提供最大限度地表达所述情感的效应。
以上说明的设备，可由硬件组件、软件组件和/或硬件组件和软件组件的组合来实施，例如，在实施例中说明的设备和组件，如处理器、控制器、算数逻辑单元(arithmeticlogic unit，ALU)、数字信号处理器(digital signal processor)、微型计算机、现场可编程门阵列(field programmable gate array，FPGA)、可编程逻辑单元(programmablelogic unit，PLU)，微处理器或者如其他运行并响应指令(instruction)的任一设备，可以利用一个以上的通用计算机或专用计算机来实现。处理设备可以执行操作系统(OS)和在所述操作系统上运行的一个以上的软件应用程序。而且，处理设备还可以响应于软件的运行来对数据进行访问、存储、操作、处理和生成。为了便于理解，在某些情况下使用一个处理设备，但本发明所属技术领域的普通技术人员可知，处理设备还可以包括多个处理元件(processing element)和/或多个类型的处理元件。例如，处理设备可以包括多个处理器或一个处理器和一个控制器。并且，处理设备还可以是并行处理器(parallel processor)等其它处理结构(processing configuration)。
软件可以包括计算机程序(computer program)、代码(code)、指令(instruction)或其中一个以上的组合，并且可以将处理设备构成为根据需要进行操作，或者，独立地或共同地(collectively)命令处理设备。为了通过处理设备解释或向处理设备提供指令或数据，软件和/或数据在某种类型的机器、组件(component)、物理设备、计算机存储介质或设备中实现(embody)。软件被分散在通过网络连接的计算机系统上，并可以以分散的方式被存储或运行。软件和数据可存储在一个以上的计算机可读记录介质中。
根据实施例的方法，能够以可通过各种计算机工具来运行的程序指令形式实现，并记录在计算机可读介质中。其中，介质也可以是持续存储计算机可运行的程序或临时存储以用于运行或者下载。并且，介质可以是由单个硬件或多个硬件结合的形式的多种记录装置或存储装置，并不局限于直接接入某些计算机系统的介质，也可以是分散在网络上的介质。作为介质的例子可以包括：如硬盘、软盘和磁带等磁介质、如CD-ROM、DVD等光记录介质、如软式光盘(floptical disk)等磁光介质(magneto-optical media)以及包括只读存储器(ROM)、随机存取存储器(RAM)、闪存等存储程序指令的结构。并且作为介质的另一个例子，可以举出流通应用程序的应用商店或提供和流通其他多种软件的网站、服务器等中进行管理的记录介质以及存储介质。
如上所述，实施例虽然通过限定的实施例和附图进行了说明，但本发明所属技术领域的普通技术人员均可以从上述记载内容进行各种修改和变形。例如，即使所述的技术以不同于上述方法的顺序实施，及/或所述系统、结构、装置、电路等组件以不同于所述方法的其他形式结合或组合，或者被其他组件或等同物代替或置换，也能够得到适当的结果。
因此，其他的实施、其他的实施例及与权利要求书等同的方式均属于权利要求书范围内。

Claims (13)

1.一种效应提供方法，其为由计算机实现的电子设备中的效应提供方法，包括以下步骤：
确定对摄像机图像的情感，作为选定要反映到所述电子设备的所述摄像机图像的效应的基准，其中，将由所述电子设备的用户选择的情感确定为选定基准，或者将从所述摄像机图像的脸部表情中识别的情感确定为效应选定基准；
收集与所述电子设备的用户相关的情况信息，其中，所述收集步骤中，收集与所述摄像机图像相关的时间信息、与所述摄像机图像相关的地点信息、与所述摄像机图像相关的颜色信息、与所述摄像机图像相关的拍摄模式信息、所述用户所使用的效应的历史信息、对所述摄像机图像的反馈信息、与所述摄像机图像相关的目标信息、从所述摄像机图像中识别的表情信息中的至少一种情况信息；以及
将根据所述确定的情感从表示相应情感的效应中随机选定的效应直接反映到所述摄像机图像中，其中，从与所述确定的情感对应的效应中随机选定，选定与所述情况信息匹配的效应。
2.根据权利要求1所述的效应提供方法，其特征在于，
所述选定步骤中，对与所述确定的情感对应的效应赋予所述情况信息的加权值，并根据所述加权值选定要反映到所述摄像机图像的效应。
3.根据权利要求1所述的效应提供方法，其特征在于，
所述选定步骤中，根据所述确定的情感，选择不同的情况信息，作为效应选定基准来利用。
4.根据权利要求1所述的效应提供方法，其特征在于，
所述选定步骤中，对与所述确定的情感对应的效应赋予所述情况信息的加权值，并根据所述加权值选定要反映到所述摄像机图像的效应，并且，根据所述确定的情感，按照所述情况信息赋予不同的加权值。
5.根据权利要求1所述的效应提供方法，其中，
所述确定步骤包括以下步骤：
提供由多个情感图标组成的情感选择菜单；以及
将通过所述情感选择菜单选择的情感确定为效应选定基准。
6.根据权利要求5所述的效应提供方法，其特征在于，
所述反映步骤中，根据对所述情感选择菜单的用户手势类型，从与所述确定的情感对应的效应中，选定不同的要反映到所述摄像机图像的效应选定对象。
7.一种计算机可读记录介质，其特征在于，记录有用于在计算机上运行权利要求1的效应提供方法的程序。
8.一种效应提供系统，其为由计算机实现的电子设备的效应提供系统，包括运行计算机可读的指令的至少一个处理器，
所述至少一个处理器包括：
情感确定部，确定对摄像机图像的情感，作为选定要反映到所述电子设备的所述摄像机图像中的效应的基准，所述情感确定部将由所述电子设备的用户选定的情感或从所述摄像机图像的脸部表情中识别的情感确定为效应选定基准；
情况收集部，其收集与所述电子设备的用户相关的情况信息，所述情况收集部收集与所述摄像机图像相关的时间信息、与所述摄像机图像相关的地点信息、与所述摄像机图像相关的颜色信息、与所述摄像机图像相关的拍摄模式信息、所述用户所使用的效应的历史信息、对所述摄像机图像的反馈信息、与所述摄像机图像相关的目标信息、从所述摄像机图像中识别的表情信息中的至少一种情况信息；以及
效应选定部，将根据所述确定的情感从表示相应情感的效应中随机选定的效应直接反映到所述摄像机图像中，所述效应选定部从与所述确定的情感对应的效应中随机选定，选定与所述情况信息匹配的效应。
9.根据权利要求8所述的效应提供系统，其特征在于，
所述效应选定部对与所述确定的情感对应的效应赋予根据所述情况信息的加权值，并根据所述加权值选定要反映到所述摄像机图像中的效应。
10.根据权利要求8所述的效应提供系统，其特征在于，
所述效应选定部根据所述确定的情感，选择不同的情况信息，作为效应选定基准来利用。
11.根据权利要求8所述的效应提供系统，其特征在于，
所述效应选定部对与所述确定的情感对应的效应赋予根据所述情况信息的加权值，并根据所述加权值，选定要反映到所述摄像机图像中的效应，并且，根据所述确定的情感，按照所述情况信息赋予不同的加权值。
12.根据权利要求8所述的效应提供系统，其特征在于，
所述情感确定部提供由多个情感图表组成的情感选择菜单，并将通过所述情感选择菜单选择的情感确定为效应选定基准。
13.根据权利要求12所述的效应提供系统，其特征在于，
所述效应选定部根据对所述情感选择菜单的用户手势类型，从与所述确定的情感对应的效应中，选定不同的要反映到所述摄像机图像中的效应选定对象。
CN201811210847.7A 2017-10-18 2018-10-17 摄像机效应的提供方法及系统 Active CN109688451B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0135369 2017-10-18
KR1020170135369A KR101968723B1 (ko) 2017-10-18 2017-10-18 카메라 이펙트를 제공하는 방법 및 시스템

Publications (2)

Publication Number Publication Date
CN109688451A CN109688451A (zh) 2019-04-26
CN109688451B true CN109688451B (zh) 2021-04-02

Family

ID=66097086

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811210847.7A Active CN109688451B (zh) 2017-10-18 2018-10-17 摄像机效应的提供方法及系统

Country Status (4)

Country Link
US (1) US10742900B2 (zh)
JP (1) JP6684883B2 (zh)
KR (1) KR101968723B1 (zh)
CN (1) CN109688451B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108305317B (zh) * 2017-08-04 2020-03-17 腾讯科技（深圳）有限公司 一种图像处理方法、装置及存储介质
CN111373408B (zh) * 2017-11-27 2023-05-02 三菱电机株式会社 表情识别装置
CN110233840B (zh) * 2019-06-06 2022-02-25 广州虎牙信息科技有限公司 一种业务处理方法、装置、设备和存储介质
JP7374430B2 (ja) * 2019-07-26 2023-11-07 株式会社オレンジテクラボ 動画像処理装置、動画像処理方法及び動画像処理プログラム
CN112307816A (zh) * 2019-07-29 2021-02-02 北京地平线机器人技术研发有限公司 车内图像获取方法、装置以及电子设备、存储介质
KR20190106850A (ko) * 2019-08-27 2019-09-18 엘지전자 주식회사 Xr 컨텐츠 제공 방법 및 xr 컨텐츠 제공 디바이스
CN111144266B (zh) * 2019-12-20 2022-11-22 北京达佳互联信息技术有限公司 人脸表情的识别方法及装置
JP7316664B2 (ja) * 2020-02-03 2023-07-28 マルコムホールディングス株式会社 対話ユーザの感情情報の提供装置
CN113434223A (zh) 2020-03-23 2021-09-24 北京字节跳动网络技术有限公司 特效处理方法及装置
US11604562B2 (en) 2020-06-10 2023-03-14 Snap Inc. Interface carousel for use with image processing software development kit
JP7385289B2 (ja) * 2021-08-03 2023-11-22 株式会社フロンティアチャンネル プログラム及び情報処理装置
US20230396729A1 (en) * 2022-06-04 2023-12-07 Jeshurun de Rox System and methods for evoking authentic emotions from live photographic and video subjects
CN115439307B (zh) * 2022-08-08 2023-06-27 荣耀终端有限公司 风格转换方法、风格转换模型的生成方法和风格转换系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005079882A (ja) * 2003-08-29 2005-03-24 Sega Corp 動画像双方向通信端末、テレビ電話システム及びコンピュータプログラム
CN1747546A (zh) * 2004-09-07 2006-03-15 乐金电子(中国)研究开发中心有限公司 移动通信终端视频通话时的视频效果提供装置及方法
JP2010066844A (ja) * 2008-09-09 2010-03-25 Fujifilm Corp 動画コンテンツの加工方法及び装置、並びに動画コンテンツの加工プログラム
CN101729785A (zh) * 2008-10-27 2010-06-09 索尼株式会社 图像处理装置、图像处理方法和程序
KR20110030223A (ko) * 2009-09-17 2011-03-23 엘지전자 주식회사 이동 단말기 및 그 제어방법
CN105791692A (zh) * 2016-03-14 2016-07-20 腾讯科技（深圳）有限公司 一种信息处理方法及终端

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4291963B2 (ja) * 2000-04-13 2009-07-08 富士フイルム株式会社 画像処理方法
KR20030029556A (ko) 2003-03-11 2003-04-14 이상광 모바일 단말기를 이용한 방송컨텐츠 제공방법 및 그프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
JP2005202854A (ja) * 2004-01-19 2005-07-28 Nec Corp 画像処理装置、画像処理方法及び画像処理プログラム
KR101533065B1 (ko) * 2008-12-01 2015-07-01 삼성전자주식회사 화상통화 중 애니메이션 효과 제공 방법 및 장치
KR101649158B1 (ko) * 2010-03-03 2016-08-18 엘지전자 주식회사 감정 정보 생성 방법, 감정 정보 생성 장치 및 이를 포함하는 영상표시장치
US9747495B2 (en) * 2012-03-06 2017-08-29 Adobe Systems Incorporated Systems and methods for creating and distributing modifiable animated video messages
JP6369073B2 (ja) * 2014-03-20 2018-08-08 フリュー株式会社 管理サーバ、写真シール作成装置、画像管理システム、画像管理方法、画像送信方法、プログラム、及び、記録媒体
US9277180B2 (en) * 2014-06-30 2016-03-01 International Business Machines Corporation Dynamic facial feature substitution for video conferencing
JPWO2016088566A1 (ja) * 2014-12-03 2017-09-14 ソニー株式会社 情報処理装置および情報処理方法、並びにプログラム
US10554908B2 (en) * 2016-12-05 2020-02-04 Facebook, Inc. Media effect application

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005079882A (ja) * 2003-08-29 2005-03-24 Sega Corp 動画像双方向通信端末、テレビ電話システム及びコンピュータプログラム
CN1747546A (zh) * 2004-09-07 2006-03-15 乐金电子(中国)研究开发中心有限公司 移动通信终端视频通话时的视频效果提供装置及方法
JP2010066844A (ja) * 2008-09-09 2010-03-25 Fujifilm Corp 動画コンテンツの加工方法及び装置、並びに動画コンテンツの加工プログラム
CN101729785A (zh) * 2008-10-27 2010-06-09 索尼株式会社 图像处理装置、图像处理方法和程序
KR20110030223A (ko) * 2009-09-17 2011-03-23 엘지전자 주식회사 이동 단말기 및 그 제어방법
CN105791692A (zh) * 2016-03-14 2016-07-20 腾讯科技（深圳）有限公司 一种信息处理方法及终端

Also Published As

Publication number Publication date
US20190116323A1 (en) 2019-04-18
KR101968723B1 (ko) 2019-04-12
JP2019075124A (ja) 2019-05-16
JP6684883B2 (ja) 2020-04-22
US10742900B2 (en) 2020-08-11
CN109688451A (zh) 2019-04-26

Similar Documents

Publication Publication Date Title
CN109688451B (zh) 摄像机效应的提供方法及系统
CN112738408B (zh) 图像修改器的选择性识别和排序
CN106385591B (zh) 视频处理方法及视频处理装置
US11237702B2 (en) Carousel interface for post-capture processing in a messaging system
US11893790B2 (en) Augmented reality item collections
US20240054709A1 (en) Music reactive animation of human characters
US11880923B2 (en) Animated expressive icon
TWI617930B (zh) 空間物件搜尋排序方法、系統與電腦可讀取儲存裝置
US20230196694A1 (en) Displaying augmented reality content in messaging application
US11756249B2 (en) Layering of post-capture processing in a messaging system
US11695718B2 (en) Post-capture processing in a messaging system
US20200412864A1 (en) Modular camera interface
US11517826B2 (en) Game result overlay system
US11750546B2 (en) Providing post-capture media overlays for post-capture processing in a messaging system
KR20220118545A (ko) 메시징 시스템에서의 캡처후 처리
US20230091214A1 (en) Augmented reality items based on scan
EP4128803A1 (en) Displaying augmented reality content in messaging application
JP2021152942A (ja) 服飾コーディネート方法及び装置、コンピューティングデバイス及び媒体
US20220319082A1 (en) Generating modified user content that includes additional text content
WO2022212669A1 (en) Determining classification recommendations for user content
CN111625101A (zh) 一种展示控制方法及装置
US20230289560A1 (en) Machine learning techniques to predict content actions
US20220318325A1 (en) Determining classification recommendations for user content
WO2022212672A1 (en) Generating modified user content that includes additional text content

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant