CN109905592B - 根据用户的交互控制或者合成的内容的提供方法及装置 - Google Patents

根据用户的交互控制或者合成的内容的提供方法及装置 Download PDF

Info

Publication number
CN109905592B
CN109905592B CN201810886244.2A CN201810886244A CN109905592B CN 109905592 B CN109905592 B CN 109905592B CN 201810886244 A CN201810886244 A CN 201810886244A CN 109905592 B CN109905592 B CN 109905592B
Authority
CN
China
Prior art keywords
content
user
partial
user terminal
character
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810886244.2A
Other languages
English (en)
Other versions
CN109905592A (zh
Inventor
郑缜
李承勋
金汝真
宋昌根
林承泽
金相贤
朴颎烈
金炯圭
朴相敏
安熙材
崔佳人
林永采
韩志雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Naboo Weber Communications Ltd.
Original Assignee
Naver Webtoon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Naver Webtoon Corp filed Critical Naver Webtoon Corp
Publication of CN109905592A publication Critical patent/CN109905592A/zh
Application granted granted Critical
Publication of CN109905592B publication Critical patent/CN109905592B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8545—Content authoring for generating interactive applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Security & Cryptography (AREA)
  • Geometry (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种在由内容提供服务器提供的内容的规定的部分内容被提供到用户终端时，基于用户的交互控制所述部分内容或者在部分内容中合成新的内容，显示被控制/合成的内容并提供到用户终端的方法及装置。

Description

根据用户的交互控制或者合成的内容的提供方法及装置
技术领域
本发明涉及一种根据用户的交互控制或者合成的内容的提供方法及装置，更详细地，涉及一种提供包括在依次显示时具有语义关联性的多个场景的内容时，根据用户的交互控制或者合成的内容的提供方法及装置。
背景技术
近年来，越来越关注在线提供诸如漫画和卡通画的内容的所谓提供网络漫画内容的服务。这种网络漫画内容将人物、动物、事物等的形状以角色的形式表现，并通过表演提示或者台词包括幽默、讽刺或者一定的情节，从而给读者提供可读内容。
这种网络漫画内容可以通过读者滚动相关网络漫画内容来被读者阅览。网络漫画内容包括多个场景，读者可以通过滚动依次确认多个场景，从而阅览网络漫画内容。
但是，这种网络漫画内容是由内容提供者向读者单方面地提供，读者只能通过单纯地滚动被提供的网络漫画内容来进行阅览，而不能对该网络漫画内容合成新的内容或者与网络漫画内容中包括的角色进行交互(相互作用)。
因此，需要一种在用户阅览包括网络漫画内容的内容时，能够提供根据用户的交互控制或者合成的内容的方法和装置。
另外，韩国公开专利第10-2011-0123393号(公开日：2011年11月15日)中公开了一种通过在线的直接交易来提供移动数字内容形式的漫画的技术。
以上说明的信息仅仅是为了帮助理解而已，可以包括未形成现有技术的一部分的内容，可以不包括现有技术能够向本领域技术人提示的内容。
发明内容
(一)要解决的技术问题
一个实施例可以提供一种对由内容提供服务器提供的内容，当该内容中的规定的部分内容被提供到用户终端时，基于用户的交互控制该部分内容，或者在该部分内容中合成新的内容并提供的方法。
一个实施例可以提供一种当包括多个场景的内容的规定的场景被提供到用户终端时，根据与所述规定的场景相关联的任务，感测用户的交互并在所述规定的场景中合成新的内容或者控制规定的场景所包括的内容的方法。
(二)技术方案
根据一方面，提供一种内容提供方法，其为通过用户终端的内容提供方法，所述内容提供方法包括以下步骤：对由内容提供服务器提供的第一内容，当所述第一内容中的规定的部分内容被提供到所述用户终端时，基于通过所述用户终端的用户的交互控制所述部分内容，或者将基于所述用户的交互生成的第二内容合成到所述部分内容中；以及显示被控制的所述部分内容或者合成所述第二内容的合成内容。
所述第一内容可以是包括在依次显示时具有语义关联性的多个场景的内容，所述多个场景的每一个至少包括一个层。
所述部分内容可以是所述多个场景中允许基于所述用户的交互进行控制或者合成所述第二内容的规定的场景。
所述多个场景可以通过滚动所述用户终端来依次显示。
所述规定的部分内容提供到所述用户终端的时间点可以是所述规定的场景在所述用户终端的画面的下端部开始显示的时间点。
对应于所述规定的场景的被控制的所述部分内容或者合成所述第二内容的合成内容被显示后，所述第一内容的下一个场景可以从所述画面的上端部开始显示。
被控制的所述部分内容或者合成所述第二内容的合成内容可以在所述用户终端的画面上全屏显示。
被控制的所述部分内容或者所述合成内容的至少一部分可以存储在所述用户终端或者所述内容提供服务器中。
所述部分内容可以包括全景影像(image)或者360度影像。
控制所述部分内容或者将所述第二内容合成到所述部分内容中的步骤可以包括以下步骤：基于所述用户的交互控制显示在所述用户终端的画面上的所述全景影像或者360度影像的视角。
所述用户的交互可以是与所述部分内容相关联的文本的输入、触摸或者手势输入、语音输入、影像(image)的拍摄或者影像的输入以及对所述用户终端的物理操作中的至少一种。
所述用户的交互可以是与所述部分内容相关联的文本的输入。
控制所述部分内容或者将所述第二内容合成到所述部分内容中的步骤还可以包括以下步骤：将输入的所述文本作为所述规定的场景内的文本的至少一部分进行合成。
所述用户的交互可以是触摸或者手势输入。
控制所述部分内容或者将所述第二内容合成到所述部分内容中的步骤可以包括以下步骤：根据与所述规定的场景相关联的任务，感测对与所述部分内容对应显示的影像的一部分的所述触摸或者手势输入；以及在视角上变更所述触摸或者手势输入被感测的所述影像的一部分。
控制所述部分内容或者将所述第二内容合成到所述部分内容中的步骤还可以包括以下步骤：提供关于所述任务或者需要输入的用户的交互的引导信息。
所述用户的交互可以是影像的拍摄或者影像的输入。
控制所述部分内容或者将所述第二内容合成到所述部分内容中的步骤可以包括以下步骤：使用所述用户终端的摄像机拍摄所述用户或者从用户的终端接收用户的影像；从拍摄或者输入的所述用户的影像中检测脸部，并生成对应于所述脸部的角色；以及将生成的所述角色合成到所述部分内容或者第一内容的至少一部分中。
所述角色可以通过使用在构成脸部的各部位的多个候补中被选为与所述用户的脸部的部位相似的候补来生成，并且可以具有与所述第一内容中包括的其他角色具有相似的风格。
生成的所述角色可以构成一个层，并且可以重叠或者合成在所述规定的场景中包括的层。
所述部分内容可以包括角色。
控制所述部分内容或者将所述第二内容合成到所述部分内容中的步骤可以包括以下步骤：将通过所述用户终端的摄像机拍摄的影像作为所述角色的背景进行合成。
控制所述部分内容或者将所述第二内容合成到所述部分内容中的步骤还可以包括以下步骤：基于所述用户的交互控制显示在所述用户终端的画面上的所述背景和所述角色的视角。
在所述用户终端的画面上显示所述背景和所述角色中的至少一个的一部分，可以根据用户的交互，显示的所述背景或者所述角色的部分变更。
可以根据所述用户交互，与所述角色相关联的文本的显示位置变更，与对应于所述用户的角色相关联的文本的显示位置被保持。
控制所述部分内容或者将所述第二内容合成到所述部分内容中的步骤可以包括以下步骤：使用所述用户终端的摄像机拍摄所述用户与所述背景以及所述角色的至少一部分；以及将拍摄的所述影像的背景变更为与所述第一内容相关联的背景，并且将所述用户变更为对应于所述用户的角色，从而生成合成影像。
所述内容提供方法中，所述用户的交互对控制所述部分内容或者生成所述第二内容不充分时，可以通知所述不充分。
另一方面，提供一种内容提供装置，可以包括：通信部，接收由内容提供服务器提供的第一内容；内容生成/控制部，当所述第一内容中的规定的部分内容被提供到所述用户终端时，基于通过所述用户终端的用户的交互控制所述部分内容，或者将基于所述用户的交互生成的第二内容合成到所述部分内容中；以及显示部，显示被控制的所述部分内容或者合成所述第二内容的合成内容。
根据另一方面，提供一种内容提供方法，其为通过用户终端的内容提供方法，其可以包括以下步骤：对由内容提供服务器提供的第一内容，当所述第一内容中的规定的部分内容通过滚动被提供到所述用户终端时，将所述部分内容中包括的全景影像(image)或者360度影像的至少一部分在所述用户终端的画面上全屏显示；基于通过所述用户终端的用户交互控制所述全景影像(image)或者360度影像的视角；以及视角被控制的所述全景影像或者360度影像在所述用户终端的画面上全屏显示。
(三)有益效果
在提供如网络漫画内容的包括多个场景的内容时，当规定的场景被提供到用户终端时，根据用户的交互在规定的所述场景中合成新的内容或者控制规定的场景所包括的内容，并提供被合成/控制的内容，从而能够提高用户对网络漫画内容的兴趣。
根据用户的交互在作为内容的一部分的部分内容中合成新的内容或者控制所述部分内容，并提供被合成/控制的内容，从而能够提供基于用户的交互的个人化的内容。
在提供如网络漫画内容的包括多个场景的内容时，在规定的场景中合成基于用户的交互的新的内容，从而使用户能够介入所述网络漫画的故事中。
附图说明
图1表示根据一个实施例的在提供诸如网络漫画内容的内容时，基于用户的交互控制内容或者生成合成内容并提供的方法。
图2表示根据一个实施例的用于向用户提供内容的服务器和用户终端。
图3是表示根据一个实施例的提供根据用户交互控制或者合成的内容的方法的流程图。
图4是表示根据一个实施例的基于用户的交互控制第一内容的规定的部分内容或者在部分内容中合成第二内容的方法的流程图。
图5是表示根据一个实施例的基于用户的交互生成与用户对应的角色作为第二内容，并将该第二内容合成到第一内容的规定的部分内容的方法的流程图。
图6是表示根据一个实施例的在第一内容的规定的部分内容中合成被拍摄的影像，并且基于用户的交互控制合成被拍摄的影像的部分内容或者在合成被拍摄的影像的部分内容中合成新的内容(第二内容)的方法的流程图。
图7是表示根据一个实施例的用于控制第一内容的规定的部分内容或者在部分内容中合成第二内容的用户的交互不充分时，通知该情况的方法的流程图。
图8是表示根据一个实施例的基于用户的交互控制作为第一内容的规定的部分内容的全景影像或者360度影像的视角，并且提供视角被控制的内容的方法的流程图。
图9至图16表示基于用户的交互控制第一内容的规定的部分内容或者在所述部分内容中合成新的内容从而提供被控制/合成的内容的具体示例。
具体实施方式
下面，参照附图对本发明的实施例进行详细说明。
图1表示根据一个实施例的在提供诸如网络漫画内容的内容时，基于用户的交互控制内容或者生成合成内容并提供的方法。
在图1中将说明如下方法：通过用户终端100阅览从内容提供服务器提供到用户终端100的第一内容102时，第一内容102的规定的部分内容105被提供到用户终端100时，基于通过用户终端100的用户的交互控制部分内容105，或者将基于用户的交互生成的第二内容合成到部分内容105。
第一内容102被提供到用户终端100时，在部分内容105被提供的时间点，在用户终端100上可以显示被控制的部分内容105或者合成第二内容的部分内容105。
第一内容可以是包括在依次显示时具有语义关联性的多个场景(C1、C2、…)的内容。例如，第一内容在多个场景(C1、C2、…)依次排列显示时可以形成场景(C1、C2、…)有机地连接的故事。依次阅览场景(C1、C2、…)的用户可以理解第一内容的故事。例如，第一内容可以对应于网络漫画内容。网络漫画内容可以是基于有线/无线网通过网络提供的数字内容形式的漫画。
第一内容102的场景(C1、C2、…)被提供到用户终端100时，用户可以通过滚动用户终端100的画面来依次阅览场景(C1、C2、…)。
通过滚动来阅览第一内容102时，在用户终端100的画面中显示与部分内容105对应的场景C3的时间点，被控制的部分内容105或者合成第二内容的部分内容105可以显示在用户终端105。场景C3可以是多个场景(C1、C2、…)中允许基于用户的交互控制或者合成所述第二内容的规定的场景。
例如，在滚动对应于部分内容105的场景C3的时间点，用户终端100可以接收请求执行与部分内容105相关联的规定的任务的通知。用户终端100的用户可以响应所述通知在用户终端100输入规定的交互。根据输入的交互被控制的部分内容105或者合成第二内容的部分内容105可以在部分内容105显示在用户终端的时间点(即，场景C3显示在用户终端100的位置)显示在用户终端100的画面上。
因此，阅览对应于网络漫画内容的第一内容102的用户在阅览网络漫画内容的特定场景C3时，可以阅览根据自己的交互被控制或者合成额外的内容的内容。
通过实施例可以控制包括规定的场景的内容，并提供被合成/控制的内容，从而能够提高用户对网络漫画内容的兴趣。由此可以向用户提供基于用户的交互被个人化的网络漫画内容，用户可以介入到网络漫画内容的故事中。
第一内容可以作为根据用户的交互完成的网络漫画内容被提供给用户，因此从这方面来看第一内容可以对应于未完成网络漫画内容。
将参照图2至图16更加详细地说明基于用户的交互控制内容或者生成合成内容并提供的更加具体的方法。
图2表示根据一个实施例的为了向用户提供内容而使用的服务器和用户终端。
对用于将参照图1描述的第一内容102提供到用户终端100的内容提供服务器(内容提供系统)200和用于显示第一内容102和被合成/控制的内容并提供给用户的用户终端100进行更加详细的说明。
内容提供服务器200可以是向作为客户端(client)的用户终端100提供对应于第一内容102的网络漫画内容的服务平台。内容提供服务器200可以以通过与设置在用户终端100上的应用进行通信来向用户终端100提供第一内容102的方式实现，也可以以包括在客户端-服务器环境下提供网络漫画服务的服务平台的方式实现。
通信部210可以是内容提供服务器200用于与其他服务器或者用户终端100进行通信的装置。换言之，通信部210可以是用于与其他服务器或者用户终端100传送/接收数据和/或信息的诸如内容提供服务器200的网络接口卡、网络接口芯片及网络接口端口的硬件模块或者诸如网络设备驱动程序(driver)或者网络程序的软件模块。
控制部220可以管理内容提供服务器200的组件，并且可以运行在向用户终端100提供第一内容102时使用的程序或者应用，并且可以处理运行所述程序或者应用以及处理数据等所需的运算。并且，控制部220可以被配置为处理从其他服务器或者用户终端100接收的数据。控制部220可以是内容提供服务器200中的至少一个处理器或者处理器内的至少一个核心(core)。
用户终端100可以包括个人计算机(PC，personal computer)、笔记本电脑(laptopcomputer)、智能手机(smart phone)、平板电脑(tablet)、可穿戴式计算机(wearablecomputer)等，并且可以是能够设置并运行用于访问与内容提供服务器200相关联的网站/移动网站或者用于接收和阅览第一内容102的应用/程序的所有终端。用户终端100在网站/移动网站或者专用应用/程序的控制下，可以执行构成服务画面、输入数据、收发数据、存储数据等服务的所有操作。
用户终端100相当于向用户提供内容的装置，因此从这方面来看用户终端100可以对应于内容提供装置。
用户终端100可以包括通信部110、控制部120、显示部130及摄像机140。
通信部110可以是用户终端100用于与其他服务器或者用户终端进行通信的装置。换言之，通信部110可以是用于与其他服务器或者用户终端进行传送/接收数据和/或信息的诸如用户终端110的网络接口卡、网络接口芯片及网络接口端口的硬件模块或者诸如网络设备驱动程序(driver)或者网络程序的软件模块。通信部110可以接收由内容提供服务器200提供的第一内容102。
控制部120可以管理用户终端100的组件，并且可以运行用户终端100使用的程序或者应用。例如，控制部120可以设置并运行用于接收和阅览由内容提供服务器200提供的第一内容102的应用/程序，并且可以处理运行所述程序或者应用以及处理数据等所需的运算。控制部120可以是用户终端100的至少一个处理器或者处理器内的至少一个核心(core)。
控制部120可以包括内容生成/控制部125，在从内容提供服务器200向用户终端100提供第一内容102中的规定的部分内容105时，所述内容生成/控制部125基于通过用户终端100的用户的交互控制部分内容105或者将基于用户的交互生成的第二内容合成到部分内容105中。
参照将在下面说明的图3至图16对内容生成/控制部125的具体功能和操作进行更加详细的说明。内容生成/控制部125可以在至少一个处理器内实现，并且内容生成/控制部125的功能和操作可以通过至少一个处理器来执行。
显示部130可以输出从内容提供服务器200接收的第一内容102和被合成/控制的内容。并且，显示部130可以输出用户输入的数据。显示部130可以包括触摸屏，在这种情况下，显示部130可以被配置为包括用于接收包括触摸输入、手势输入的用户的交互的输入部(未示出)的功能。
例如，用户可以通过在显示部130中触摸或者滑动(滚动)显示滚动的部分来阅览对应于网络漫画内容的第一内容102。在显示部130中显示第一内容102中的规定的部分内容105时(即，在显示的时间点/位置)，用户可以在显示部130的规定的部分输入用户的交互，由此，显示部130可以显示被控制的部分内容105或者合成第二内容的部分内容105。
并且，显示部140可以显示关于与部分内容105相关联的规定的任务的引导信息和/或对于需要输入的用户的交互的引导信息。
摄像机140可以是用于拍摄用户或者其他对象的装置。摄像机140可以包括图像传感器。内容生成/控制部125可以通过摄像机140拍摄用户或者其他对象并生成影像(图像和/或视频)，并且可以对生成的影像进行加工作为第二内容合成到部分内容105中。
并且，虽然图中未示出，用户终端100可以包括作为用于存储数据或者信息的装置的存储部。存储部可以包括任意的存储器或者存储装置。存储部中可以存储由控制部120运行的程序或者应用及与此相关联的信息。例如，存储部可以存储基于用户的交互控制的部分内容或者在部分内容105中合成第二内容的合成内容的至少一部分。另外，所述被控制的部分内容或者所述合成内容的至少一部分也可以存储在内容提供服务器200或者其他外部服务器中。
并且，虽然图中未示出，用户终端100可以包括传感器部，所述传感器部用于感测作为用户的交互的对于用户终端100的物理操作(例如，倾斜、晃动、转动等)。例如，传感器部可以包括如加速度传感器、陀螺仪传感器、全球定位系统(GPS)、近距离传感器等用于感测用户的交互的任意类型的传感器。
虽然被描述为用于控制部分内容105和用于将第二内容合成到部分内容105的数据处理和操作通过内容生成/控制部125执行，但是所述处理和操作的至少一部分也可以通过内容提供服务器200执行。省略关于通过内容提供服务器200执行所述处理和操作的至少一部分的情况的重复说明。
并且，用于将第二内容合成到部分内容105中的数据处理和操作也可以通过设置在用户终端100的用于提供内容的应用/程序执行。
以上，参照图1描述的的关于技术特征的说明可以照样适用于图2，因此省略重复的说明。
图3是表示根据一个实施例的提供根据用户的交互控制或者合成的内容的方法的流程图。
在步骤310中，内容生成/控制部125可以通过通信部110从内容提供服务器200接收第一内容102。第一内容102是包括依次显示时具有语义关联性的多个场景(C1、C2、…)的内容，例如，可以是网络漫画内容。多个场景(C1、C2、…)可以通过滚动用户终端100的显示部130来依次显示。多个场景(C1、C2、…)的每一个可以包括至少一个层。场景中包括的层可以分别对应于该场景的背景、该场景中包括的角色、该场景中包括的文本(例如，对话框或者表演提示等)的层。角色作为假设的角色可以对应于网络漫画内容中包括的人物或者食物。
在步骤320中，在用户阅览第一内容102时，当第一内容102中的规定的部分内容105被提供到用户终端100时，内容生成/控制部125可以基于通过用户终端100的用户的交互控制部分内容105或者将基于用户的交互生成的第二内容合成到部分内容105中。
将更详细地说明步骤320，步骤320可以包括将在下面说明的步骤322至步骤326。
在步骤322中，内容生成/控制部125可以感测规定的部分内容105的提供时间点。规定的部分内容105的提供时间点可以是部分内容105开始显示在显示部130上的时间点。例如，规定的部分内容105被提供到用户终端100的时间点可以是包括在第一内容102的多个场景(C1、C2、…)通过用户终端100的滚动被依次显示时对应于部分内容105的规定的场景C3开始显示在用户终端的显示部(画面)130的下端部的时间点。
当感测到规定的部分内容105的提供时间点时，作为一例，内容生成/控制部125可以将规定的部分内容105显示在显示部130上。例如，规定的部分内容105可以是对应于网络漫画内容的规定场景C3的影像。或者，规定的部分内容105可以包括全景影像(image)或者360度影像。这种部分内容105可以在显示部130上全屏显示。
在步骤324中，内容生成/控制部125可以感测与显示的规定的部分内容105相关联的用户的交互。此时，显示部130上可以提供与需要输入的用户的交互类型或者输入位置相关联的引导信息。
在步骤326中，内容生成/控制部125可以基于输入的用户的交互控制显示的部分内容105。例如，显示的部分内容105的视角被控制或者显示的部分内容105可以通过在显示的部分内容105(或者规定的场景C3)中添加、删除或者变更对象/层来在视角上发生变更。将参照图4至图16对控制显示的规定的部分内容105的方法进行更加详细的说明。
或者，当感测到规定的部分内容105的提供时间点后，作为另一例，内容生成/控制部125可以请求生成用于合成在规定的部分内容105中的第二内容。例如，内容生成/控制部125可以请求用于合成在对应于网络漫画内容的规定的场景C3的规定的部分内容105的文本或者角色的生成/输入或者其他影像的生成/输入。
在步骤324中，内容生成/控制部125可以感测与用于合成在规定的部分内容105的第二内容的生成相关联的用户的交互。
在步骤326中，内容生成/控制部125可以基于输入用户的交互生成用于合成在规定的部分内容105的第二内容，并可以将生成的第二内容合成在规定的部分内容105中。此时，合成前的部分内容105可以只包括空的(空白)层，也可以只包括有意图的场景C1的一部分的内容。换言之，通过将第二内容合成在规定的部分内容105中来完成场景C2。将参照图4至图16对生成第二内容并将该第二内容合成在部分内容105中的方法进行更加详细的说明。
在步骤330中，内容生成/控制部125可以通过显示部130显示通过步骤320控制的部分内容105或者在部分内容105中合成第二内容的合成内容。被控制的部分内容105或者合成第二内容的合成内容可以在显示部130上全屏显示。
例如，上述的用户的交互可以是与部分内容105相关联的文本的输入、与部分内容105相关联的触摸或者手势输入、与部分内容105相关联的语音输入、影像(image)的拍摄或者影像的输入以及对用户终端100的物理操作(例如，倾斜、晃动、转动等)中的至少一种。并且，用户的交互可以是指用于控制部分内容105和用于生成/合成用于部分内容105的第二内容的对用户终端100的任何输入。
根据步骤330规定的场景C3显示在显示部130上后，下一个场景可以显示在显示部130上。例如，对应于规定的场景C3的被控制的部分内容105或者合成第二内容的合成内容被显示后，第一内容102的下一个场景可以从显示部130的上端部开始显示。换言之，所述下一个场景可以从画面的上端部开始显示，而在画面上不显示之前的场景C3。因此，在阅览下一个场景时，规定的场景C3的阅览不会造成妨碍，用户可以在最佳的条件下阅览下一个场景。
所述下一个场景可以包括与之前的场景C3中执行的任务(控制部分内容105或者合成第二内容)语义上相关联的内容。
如上述的步骤310至步骤330，由于诸如网络漫画内容的内容被提供给用户，因此能够提高用户对内容的兴趣，并且能够提供被个人化并且用户可参与的形式的内容，而不向用户单方面地提供内容。
以上，参照图1和图2描述的关于技术特征的说明可以照样适用于图3，因此省略重复的说明。
图4是表示根据一个实施例的基于用户的交互控制第一内容的规定的部分内容或者在部分内容中合成第二内容的方法的流程图。
参照图4对上述的步骤320进行更加详细的说明。
作为一例，部分内容105可以包括全景影像(image)或者360度影像。全景影像或者360度影像可以是对应于网络漫画内容的规定的场景C3的影像。在步骤410-1中，内容生成/控制部125可以基于用户的交互控制显示在用户终端100的显示部130上的全景影像或者360度影像的视角。例如，用户可以通过倾斜或者转动用户终端100，在显示部130上显示全景影像或者360度影像的其他视角的视图(view)。因此，用户可以感受到好像进入到实际网络漫画内容的场景C3中的空间感。
作为另一例，用户的交互可以是与部分内容相关联的文本的输入，在步骤410-2中，内容生成/控制部125基于用户的交互在规定的部分内容105中将文本作为第二内容进行合成。内容生成/控制部125可以将输入的文本作为对应于部分内容105的规定的场景C3中的文本的至少一部分进行合成。例如，用户输入的文本为特定角色的“名字”时，包括规定的场景C1在内的第一内容102的多个场景(C1、C1、…)的各个场景中，可以在具有特定角色的名字的台词/表演提示的部分合成用户输入的文本。因此，用户可以具有参与到实际网络漫画内容的故事中或者成为了网络漫画中的剧中人物的感受。
作为另一例，用户的交互可以是触摸或者手势输入，在步骤410-3中，内容生成/控制部125可以感测对与部分内容105对应显示的影像的一部分的触摸或者手势输入，并且可以在视角上变更所述触摸或者手势输入被感测的所述影像的一部分。例如，可以通过对显示的部分内容105(或者规定的场景C3)添加、删除或者变更对象/层来在视角上变更显示的部分内容105。因此，用户能够参与到实际网络漫画内容的故事中。
根据上述的步骤410-1至步骤410-3的部分内容的控制和第二内容的合成可以根据与部分内容105(或者规定的场景C3)相关联的任务实现。在上述的步骤410-1至步骤410-3之前，内容生成/控制部125可以提供关于需要执行的任务或者需要输入的用户的交互的引导信息(步骤420)。引导信息可以以文本、图像及符号中的任意一种形式提供，并且可以在显示部130中以额外的弹出窗口或者与显示的部分内容105重叠的形式提供。引导信息与部分内容105重叠时，引导信息可以具有规定的透明度。
将参照下面说明的图9至图16对上述的步骤410-1至步骤410-3的具体示例进行更加详细的说明。
以上，参照图1和图3描述的关于技术特征的说明可以照样适用于图4，因此省略重复的说明。
图5是表示根据一个实施例的基于用户的交互生成与用户对应的角色作为第二内容，并将该第二内容合成到第一内容的规定的部分内容的方法的流程图。
参照图5，将更加详细地说明上述的步骤320。步骤320可以包括将在下面说明的步骤510至步骤530。
上述的用户的交互可以是影像的拍摄或者影像的输入，在步骤510中，内容生成/控制部125可以使用用户终端100的摄像机140拍摄用户或者从用户的终端接收用户的影像。
在步骤520中，内容生成/控制部125从拍摄或者输入的用户的影像中检测脸部，并生成对应于所述脸部的角色。例如，角色可以通过使用在构成被检测的脸部的各部位的多个候补中被选为与所述用户的脸部的部位相似的候补来生成。并且，被生成的角色可以具有与第一内容中包括的其他角色相似的风格。换言之，被生成的对应于用户的脸部的角色可以被描述为与作为网络漫画内容的第一内容中包括的其他角色相同或者相似的画风。
基于用户的影像生成对应于用户的角色时，可以使用诸如机械学习或者深度学习的人工智能技术。例如，对用户的影像可以应用机械学习或者深度学习作为网络漫画内容的第一内容的作者的图像的结果，生成可识别为与该作者的画风相同或者相似的角色。
用于检测用户的脸部或者生成角色的数据处理和操作的至少一部分也可以通过内容提供服务器200或者其他外部服务器执行，而不是通过用户终端100执行。
在步骤530中，内容生成/控制部125可以将生成的角色合成在部分内容105或者第一内容102的至少一部分中。例如，生成的角色可以构成一个层，并且，包括生成的角色的层可以重叠或者合成在对应于部分内容105的规定的场景C3或者第一内容102中包括的场景(C1、C2、…)中的至少一部分中包括的层。生成的角色由层构成，从而与从用户的影像检测的脸部的大小和生成的角色的大小无关，角色能够无违和感并自然地合成在规定的场景C3或者第一内容102中包括的场景(C1、C2、…)。
通过这样的角色合成，用户可以参与到实际网络漫画内容的故事中，或者具有好像成为了网络漫画中的剧中人物的感受，并且由于用户的角色和其他角色的画风相同(或者至少相似)，因此用户不会感到违和感。
根据上述的步骤510至步骤530的角色的生成和合成可以根据与部分内容105(或者规定的场景C3)相关联的任务来实现。虽然图中未示出，在上述的步骤510至步骤530之前，内容生成/控制部125可以提供关于需要执行的任务或者需要输入的用户的交互的引导信息。
以上，参照图1和图4描述的关于技术特征的说明可以照样适用于图5，因此省略重复的说明。
图6是表示根据一个实施例的在第一内容的规定的部分内容合成被拍摄的影像，并且基于用户的交互控制合成被拍摄的影像的部分内容或者在合成被拍摄的影像的部分内容中合成新的内容(第二内容)的方法的流程图。
将参照图6对上述的步骤320进行更加详细的说明。步骤320可以包括将在下面说明的步骤610至步骤640。参照步骤610至步骤640详细说明在增强现实/虚拟现实环境下提供部分内容105的方法。
部分内容105可以包括角色。在此，角色可以是网络漫画内容中的剧中人物，也可以被宽泛地解释为包括特定事物。
在步骤610中，内容生成/控制部125可以将通过用户终端100的摄像机140拍摄的影像作为部分内容105中包括的角色的背景进行合成。因此，可以在用户终端100内体现角色好像位于用户所在的实际环境的增强现实/虚拟现实的环境。或者，内容生成/控制部125不仅可以将实时拍摄的影像作为部分内容105中包括的角色的背景进行合成，而且还可以将存储在用户终端100的影像作为部分内容105中包括的角色的背景进行合成。
在步骤620中，内容生成/控制部125可以基于用户的交互控制显示在用户终端100的显示部130的合成的背景或者角色的视角。例如，用户终端100的显示部140上可以只显示所述背景和/或所述角色的一部分，并且可以根据用户的交互变更所述背景或者所述角色的部分。
作为一例，内容生成/控制部125可以感测用户倾斜或者转动用户终端100的方向，并且根据感测的方向变更通过显示部130显示的合成的背景和角色的部分。例如，用户可以通过变更摄像机140的视角来变更通过显示部130显示的背景，因此，可以在各种位置观察角色。
在步骤630中，内容生成/控制部125可以使用摄像机140拍摄用户和在步骤610中合成的背景以及角色的至少一部分。
在步骤640中，内容生成/控制部125将拍摄的影像的背景变更为与所述第一内容相关联的背景，并且将用户变更为对应于所述用户的角色，从而可以生成合成影像。对应于所述用户的角色可以是参照图5描述的在步骤520中生成的角色。与所述第一内容相关联的背景可以是对应于部分内容105的场景C3的背景。或者，与所述第一内容相关联的背景可以是将所述拍摄的影像变更为与作为网络漫画内容的第一内容的背景的画风相同或者相似的画风来生成的。此时，可以类似地应用参照步骤520描述的有关角色生成的技术特征，因此省略重复的说明。
通过步骤630和步骤640，用户可以具有与第一内容中包括的角色一起进行自拍的感受。并且，有关于将用户变更为对应于第一内容的自己的角色，并且将实际背景变更为与第一内容相关联的背景，从而能够具有参与到网络漫画内容的故事中的感受。
步骤630和步骤610可以在根据步骤620满足特定条件时执行。例如，根据步骤620中的视角控制，角色的特定部分显示在显示部130上或者特定部分显示在显示部130上规定时间以上时可以执行。
上述的步骤610至步骤640的背景的合成和与对应于用户的角色的合成影像的生成可以根据与部分内容105(或者规定的场景C3)相关联的任务来实现。虽然图中未示出，在上述的步骤610至步骤640的各个步骤之前，内容生成/控制部125可以提供关于需要执行的任务或者需要输入的用户的交互的引导信息。
以上，参照图1和图5描述的关于技术特征的说明可以照样适用于图6，因此省略重复的说明。
图7是表示根据一个实施例的用于控制第一内容的规定的部分内容或者在部分内容中合成第二内容的用户的交互不充分时，通知该情况的方法的流程图。
步骤320可以包括将在下面说明的步骤710至步骤730。
内容生成/控制部125可以感测用于控制第一内容102的规定的部分内容102或者在部分内容105中合成第二内容的用户的交互(步骤710)，并且能够感测该用户的交互对控制所述部分内容105或者生成所述第二内容是否充分(步骤720)。当该用户的交互对控制所述部分内容105或者生成所述第二内容不充分时，内容生成/控制部125可以向用户通知该不充分(步骤730)。所述通知可以通过在不充分显示部130上显示的方式来实现。通知可以通过在显示部130上显示的弹出窗口的形式提供给用户，并且可以包括第一内容102中包括的角色。
以上，参照图1和图6描述的关于技术特征的说明可以照样适用于图7，因此省略重复的说明。
图8是表示根据一个实施例的基于用户的交互控制作为第一内容的规定的部分内容的全景影像或者360度影像的视角，并且提供视角被控制的内容的方法的流程图。
通过图8的将在下面说明的步骤810至步骤830，对参照图3至图7描述的实施例的更加具体的实施例进行说明。
在步骤810中，对于由内容提供服务器200提供的第一内容102，当第一内容102中的规定的部分内容105通过滚动被提供到用户终端100时，内容生成/控制部125可以将部分内容105中包括的全景影像(image)或者360度影像的至少一部分在用户终端100的显示部(画面)130上全屏显示。
在步骤820中，内容生成/控制部125可以基于通过用户终端100的用户的交互，控制显示在用户终端100的显示部130上的全景影像(image)或者360度影像的视角。
在步骤830中，内容生成/控制部125可以在用户终端100的显示部130上全屏显示视角被控制的所述全景影像或者360度影像。例如，用户可以通过诸如倾斜或者转动用户终端100的交互，在显示部130上显示全景影像或者360度影像的其他视角的视图。因此，用户可以感受到好像进入到实际网络漫画内容的场景C3中的空间感。
以上，参照图1和图7描述的关于技术特征的说明可以照样适用于图8，因此省略重复的说明。
图9至图16表示基于用户的交互控制第一内容的规定的部分内容或者在所述部分内容中合成新的内容从而提供被控制/合成的内容的具体示例。
通过图9至图16，对上述的参照图4至图8说明的示例进行更加详细的说明。
图9表示如参照图4和图8描述的示例的规定的部分内容105包括全景影像或者360度影像的示例。
如图所示，规定的部分内容105可以包括全景影像900。全景影像900可以是包括在与部分内容105相关联的场景中的影像。如图所示，用户通过滚动来阅览第一内容(网络漫画内容)102时，到达规定的任务开始位置时(即，部分内容105的开始位置位于显示部(画面)130的下端部时)，可以在显示部130上全屏显示全景影像900的一部分。此时，通过触摸输入或者滑动，或者通过输入诸如倾斜或者转动用户终端100的交互，内容生成/控制部125可以在显示部130上显示与当前显示的部分不同的其他部分。
可以通过按X标识结束对全景影像900的阅览或者在实现规定的任务时结束对部分内容105的阅览。规定的任务可以是开始阅览全景影像900后经过规定的时间或者使特定的全景影像900的特定部分显示在显示部130上。
当结束对部分内容105的阅览时，对应于部分内容105的场景的下一个场景可以显示在显示部130上。此时，所述下一个场景的上端部可以位于显示部(画面)130的上端部。因此，在阅览下一个场景时，部分内容105的阅览不会造成妨碍，用户可以在最佳的条件下阅览下一个场景。
以上，参照图1～图8描述的技术特征的说明可以照样适用于图9，因此省略重复的说明。
图10表示如参照图4描述的示例的在规定的部分内容105中合成作为第二内容的文本的示例。
如图所示，用户通过滚动来阅览第一内容(网络漫画内容)102时，当到达规定的任务开始位置时(即，部分内容105的开始位置位于显示部(画面)130的下端部时)，可以请求用户输入对应于“名字”的文本。当用户输入“洪吉童”的文本作为名字时，可以在显示部130上显示用于确认用户的名字是否为“洪吉童”的信息。当确认“洪吉童”为用户的名字时，可以在部分内容105中合成包括对应于用户的名字“洪吉童”的第二内容1000并显示在显示部130上。此时，用户输入的名字可以对应于第一内容102中包括的特定角色的“名字”。因此，不仅在对应于部分内容105的场景，而且还在第一内容102的其他场景，在包括该特定角色的名字的台词/表演提示的部分中可以合成“洪吉童(或者(根据台词)为吉童)”。因此，用户可以具有参与到实际网络漫画内容的故事中或者好像成为了网络漫画中的剧中人物的感受。
图11和图12表示如参照图4描述的示例的根据作为用户的交互的触摸或者手势输入来控制规定的部分内容105的方法。
用户通过滚动来阅览第一内容(网络漫画内容)102时，到达规定的任务开始位置时(即，部分内容105的开始位置位于显示部(画面)130的下端部时)，在显示部130上可以显示如图12所示的引导信息。引导信息可以包括关于需要与部分内容105相关联地进行的任务和需要输入的用户的交互相关的信息。在图11中示出的示例中，任务是去除(a)的角色的头发上的灰尘。如(b)所示，可以通过触摸所述灰尘并滑动推动来从角色去除灰尘。如(c)所示，当灰尘全部被去除时结束部分内容105的阅览并在显示部130上显示下一个场景。图中示出的示例的灰尘的去除可以是对于对应于部分内容105的场景删除对应于灰尘的对象或者删除包括对应于灰尘的对象的层。
(a)至(c)中示出的部分内容105可以包括规定的动画效果，并且可以根据用户的交互产生动画效果。
通过将拖动输入、多点触摸输入或者规定的手势作为用户的交互来输入，可以通过相似的方式实现在视角上变更部分内容105中包括的角色的表现的各种示例。
另外，与图中示出的示例不同，还可以通过由用户终端100的麦克风输入语音作为用户交互在视角上变更部分内容105中包括的角色的表现。在这种示例中也能够适用与上述的技术特征相似的技术特征，因此省略重复的说明。
如图12所示的引导信息不仅对于图11的示例而且还对于与其他示例的任务执行和与用户的交互的输入相关联的方面，也可以以相似的方式通过显示部130提供。
图13示出如参照图5描述的示例的生成与用户的脸部相似的角色，并将生成的角色合成到第一内容102或者其部分内容105的示例。
用户通过滚动来阅览第一内容(网络漫画内容)102时，到达规定的任务开始位置时(即，部分内容105的开始位置位于显示部(画面)130的下端部时)，用户可以被请求拍摄自己的脸部。如(a)所示，当拍摄用户的脸部时，可以在拍摄的影像中识别到脸部。之后，如(b)所示，可以生成对应于被识别的用户的脸部的角色1300。生成的角色可以被描写为与第一内容102中包括的其他角色相同或者相似的画风。如(c)所示，对应于生成的用户的脸部的角色可以合成到部分内容105中。并且，在生成的角色出现的第一内容102的其他场景中也可以合成生成的角色。如(b)所示，当用户不满意生成的角色时，用户可以重新拍摄自己的脸部以再次生成角色。
生成的角色可以根据用户的请求存储在用户终端100或者外部服务器(或者内容提供服务器200)中。
通过这样的角色的合成，用户可以具有参与到实际网络漫画内容中或者好像成为了网络漫画中的剧中人物的感受，并且由于用户的角色和其他角色的画风相同而用户不会感到违和感。
图14至图16表示如参照图6描述的示例的在增强现实/虚拟现实环境下提供部分内容105的示例。
用户通过滚动来阅览第一内容(网络漫画内容)102时，当到达规定的任务开始位置时(即，部分内容105的开始位置位于显示部(画面)130的下端部时)，用户可以被请求用摄像机140开始拍摄。摄像机140开始拍摄时，如(a)所示，通过摄像机拍摄的(实时)影像可以作为部分内容105中包括的角色的背景来被合成。当背景被合成时，如(b)所示，可以显示部分内容105中包括的角色的一部分和背景的一部分。内容生成/控制部125可以感测用户倾斜或者转动用户终端100的方向，并且根据感测的方向变更通过显示部130显示的合成的背景和角色的部分。例如，用户可以通过变更摄像机140的视角来变更通过显示部130显示的背景，因此可以在各种位置观察角色。即，用户可以在示出的角色和环境的范围1400内自由地观察角色。如(c)所示，当满足规定的条件A时，可以再生与角色相关联的动画效果。条件A可以是在显示部130(画面)内角色显示规定％以上或者显示角色的特定部位或者角色的特定部位显示特定时间以上的情况。另外，如(d)所示，满足规定的条件B时，用户可以被请求与角色进行自拍(即，执行自拍任务)。条件B可以是与条件A不同的条件，也可以是与条件A相同的条件。或者为了满足条件B而需要先满足条件A。
参照图15对根据图14的(b)的摄像机视角变更的与角色相关联的文本的显示方法进行说明。根据用户的交互，与角色相关联的文本(例如，对话框)的显示位置可以改变。但是，与对应于用户的角色相关联的文本的显示位置可以保持不变。如(a)至(c)所示，与对应于用户的角色相关联的文本1500-1至1500-3的显示位置可以保持在显示部130的下端部。另外，不对应于用户的角色的文本可以显示在显示部130的上部，以使得对话框的尾部朝向角色的头部位置。例如，当角色位于显示部130外部的右侧上端时，与角色相关联的文本可以显示在显示部130的右侧上端，并且其对话框的尾部可以显示为朝向显示部130的右侧上端侧。
参照图16对图14的(d)的自拍任务进行说明。用户可以使用摄像机140拍摄包括自己与(通过摄像机140被拍摄的)背景和角色的影像。如(b)所示，内容生成/控制部125可以将拍摄的影像的背景变更为对应于网络漫画内容的背景，如(c)所示，内容生成/控制部125可以将拍摄的影像的用户的脸部变更为与网络漫画内容相关联的角色。参照图6对背景和角色的变更进行了详细说明，因此省略详细的说明。如(c)所示的完成的自拍可以根据用户的请求存储在用户终端100或者外部服务器(或者内容提供服务器200)中。
另外，在上述的示例中，在影像的输入和拍摄时，可以需要获得用于访问相册或者使用摄像机的权限。当没有获得这种权限时，内容生成/控制部125在显示部130上显示弹出窗口等来请求用户获得权限。
以上，参照图1至图8描述的关于技术特征的说明可以照样适用于图9至图16，因此省略重复的说明。
以上说明的装置可以由硬件组件、软件组件和/或硬件组件和软件组件的组合来实现。例如，在实施例中说明的装置和组件可以利用一个以上的通用计算机或者特殊目的计算机来实现，如处理器、控制器、算数逻辑单元(ALU，arithmetic logic unit)、数字信号处理器(digital signal processor)、微型计算机、现场可编程门阵列(FPGA,fieldprogrammable gate array)、可编程逻辑单元(PLU，programmable logic unit)、微处理器或者能够执行并响应指令(instruction)的其他任何装置。处理装置可以执行在操作系统(OS)和在所述操作系统上执行的一个以上的应用软件。并且，处理装置可以响应软件的运行，访问、存储、操作、处理和生成数据。为了方便理解，说明了使用一个处理装置的情况，但是本领域技术人员可知处理装置可以包括多个处理元件(processing element)和/或多个类型的处理元件。并且，也可以是诸如并行处理器(parallel processor)的其他处理结构(processing configuration)。
软件可以包括计算机程序(computer program)、代码(code)、指令(instruction)或者它们中的一个以上的组合，并且将处理装置配置为根据需求进行操作，或者单独或者联合(collectively)地命令处理装置。为了通过处理装置解释或者向处理装置提供指令或者数据，软件和/或数据可以具体化(embody)在某些类型的机器、组件(component)、物理装置、虚拟装置(virtual equipment)、计算机存储介质或者装置。软件可以分散在用网络连接的计算机系统上，以分散的方法存储或者运行。软件和数据可以存储在一个以上的计算机可读记录介质中。
根据实施例的方法可以以通过各种计算机装置执行的程序指令方式实现，并存储在计算机可读记录介质中。此时，介质可以是继续存储可通过计算机运行的程序或者为了运行或下载临时存储的。并且，介质可以是单个或者多个硬件结合的形式的各种记录装置或者存储装置，不限定于直接接入某些计算机系统的介质，也可以是分散存在于网络上的。例如，介质可以包括：如硬盘、软盘及磁带的磁介质；如CD-ROM及DVD的光记录介质；如光盘(floptical disk)的磁光介质(magneto-optical medium)；以及包括ROM、RAM、闪存存储器等而存储程序指令的结构。并且，作为其他介质的示例，可以举出流通应用的应用商店或者提供和流通其他各种软件的网站、服务器等中进行管理的记录介质以及存储介质。
如上所述，虽然通过限定的实施例和附图对实施例进行了说明，但是本领域技术人员能够通过上述记载进行各种修改和变形。例如，说明的技术以不同于说明的方法的顺序执行，和/或说明的系统、结构、装置、电路等组件以不同于说明的方法的形式结合或者组合，或者即使被其他组件或者等同替代或者替代也能够实现适当的结果。
因此，其他实施方式、其他实施例及与权利要求书等同的也属于权利要求书的范围。

Claims (18)

1.一种内容提供方法，其为通过用户终端的内容提供方法，所述内容提供方法包括以下步骤：
对由内容提供服务器提供的第一内容，当所述第一内容中的规定的部分内容被提供到所述用户终端时，所述用户终端接收请求执行与所述部分内容相关联的规定的任务的通知，所述用户终端的用户响应所述通知在所述用户终端输入规定的交互，基于通过所述用户终端的所述用户的交互控制所述部分内容，或者将基于所述用户的交互生成的第二内容合成到所述部分内容中；以及
显示被控制的所述部分内容或者合成所述第二内容的合成内容，
所述第一内容是包括在依次显示时具有语义关联性的多个场景的内容，所述多个场景的每一个至少包括一个层，
所述部分内容是所述多个场景中的规定的场景，
所述用户的交互包括影像的拍摄或者影像的输入，
控制所述部分内容或者将所述第二内容合成到所述部分内容中的步骤包括以下步骤：
使用所述用户终端的摄像机拍摄所述用户或者从用户的终端接收用户的影像；
从拍摄或者输入的所述用户的影像中检测脸部，并生成对应于所述脸部的角色，其中，被生成的角色具有与所述第一内容中包括的其他角色相似的风格；以及
将生成的所述角色合成到所述部分内容或者第一内容的至少一部分中，
在所述规定的场景中，将生成的所述角色作为所述第二内容合成，生成的所述角色为包括在所述第一内容的剧中人物。
2.根据权利要求1所述的内容提供方法，其中，
所述部分内容是所述多个场景中允许基于所述用户的交互进行控制或者合成所述第二内容的规定的场景。
3.根据权利要求2所述的内容提供方法，其中，
所述多个场景通过滚动所述用户终端来依次显示，
所述规定的部分内容被提供到所述用户终端的时间点是所述规定的场景在所述用户终端的画面的下端部开始显示的时间点，
对应于所述规定的场景的被控制的所述部分内容或者合成所述第二内容的合成内容被显示后，所述第一内容的下一个场景从所述画面的上端部开始显示。
4.根据权利要求1所述的内容提供方法，其中，
被控制的所述部分内容或者合成所述第二内容的合成内容在所述用户终端的画面上全屏显示。
5.根据权利要求1所述的内容提供方法，其中，
被控制的所述部分内容或者所述合成内容的至少一部分存储在所述用户终端或者所述内容提供服务器中。
6.根据权利要求1所述的内容提供方法，其中，
所述部分内容包括全景影像或者360度影像，
控制所述部分内容或者将所述第二内容合成到所述部分内容中的步骤包括以下步骤：
基于所述用户的交互控制显示在所述用户终端的画面上的所述全景影像或者360度影像的视角。
7.根据权利要求2所述的内容提供方法，其中，
所述用户的交互是与所述部分内容相关联的文本的输入、触摸或者手势输入、语音输入、影像的拍摄或者影像的输入以及对所述用户终端的物理操作中的至少一种。
8.根据权利要求7所述的内容提供方法，其中，
所述用户的交互是与所述部分内容相关联的文本的输入，
控制所述部分内容或者将所述第二内容合成到所述部分内容中的步骤还包括以下步骤：
将输入的所述文本作为所述规定的场景内的文本的至少一部分进行合成。
9.根据权利要求7所述的内容提供方法，其中，
所述用户的交互是触摸或者手势输入，
控制所述部分内容或者将所述第二内容合成到所述部分内容中的步骤包括以下步骤：
根据与所述规定的场景相关联的任务，感测对与所述部分内容对应显示的影像的一部分的所述触摸或者手势输入；以及
在视角上改变所述触摸或者手势输入被感测的所述影像的一部分。
10.根据权利要求9所述的内容提供方法，其中，
控制所述部分内容或者将所述第二内容合成到所述部分内容中的步骤还包括以下步骤：
提供关于所述任务或者需要输入的用户的交互的引导信息。
11.根据权利要求1所述的内容提供方法，其中，
所述角色通过使用在构成脸部的各部位的多个候补中被选为与所述用户的脸部的部位相似的候补来生成，并且具有与所述第一内容中包括的其他角色相似的风格。
12.根据权利要求1所述的内容提供方法，其中，
生成的所述角色构成一个层，并且重叠或者合成在所述规定的场景中包括的层。
13.根据权利要求1所述的内容提供方法，其中，
所述部分内容包括角色，
控制所述部分内容或者将所述第二内容合成到所述部分内容中的步骤包括以下步骤：
将通过所述用户终端的摄像机拍摄的影像作为所述角色的背景进行合成。
14.根据权利要求13所述的内容提供方法，其中，
控制所述部分内容或者将所述第二内容合成到所述部分内容中的步骤还包括以下步骤：
基于所述用户的交互控制显示在所述用户终端的画面上的所述背景和所述角色的视角，
在所述用户终端的画面上显示所述背景和所述角色中的至少一个的一部分，
根据所述用户的交互，显示的所述背景或者所述角色的部分变更，
根据所述用户的交互，与所述角色相关联的文本的显示位置变更，与对应于所述用户的角色相关联的文本的显示位置被保持。
15.根据权利要求13所述的内容提供方法，其中，
控制所述部分内容或者将所述第二内容合成到所述部分内容中的步骤包括以下步骤：
使用所述用户终端的摄像机拍摄所述用户与所述背景以及所述角色的至少一部分；以及
将拍摄的所述影像的背景变更为与所述第一内容相关联的背景，并且将所述用户变更为对应于所述用户的角色，从而生成合成影像。
16.根据权利要求1所述的内容提供方法，其包括以下步骤：
所述用户的交互对控制所述部分内容或者生成所述第二内容不充分时，通知所述不充分。
17.一种内容提供装置，包括：
通信部，接收由内容提供服务器提供的第一内容；
内容生成/控制部，当所述第一内容中的规定的部分内容被提供到用户终端时，所述用户终端接收请求执行与所述部分内容相关联的规定的任务的通知，所述用户终端的用户响应所述通知在所述用户终端输入规定的交互，基于通过所述用户终端的所述用户的交互控制所述部分内容，或者将基于所述用户的交互生成的第二内容合成到所述部分内容中；以及
显示部，显示被控制的所述部分内容或者合成所述第二内容的合成内容，
所述第一内容是包括在依次显示时具有语义关联性的多个场景的内容，所述多个场景的每一个至少包括一个层，
所述部分内容是所述多个场景中的规定的场景，
所述用户的交互包括影像的拍摄或者影像的输入，
控制所述部分内容或者将所述第二内容合成到所述部分内容中的步骤包括以下步骤：
使用所述用户终端的摄像机拍摄所述用户或者从用户的终端接收用户的影像；
从拍摄或者输入的所述用户的影像中检测脸部，并生成对应于所述脸部的角色，其中，被生成的角色具有与所述第一内容中包括的其他角色相似的风格；以及
将生成的所述角色合成到所述部分内容或者第一内容的至少一部分中，
在所述规定的场景中，将生成的所述角色作为所述第二内容合成，生成的所述角色为包括在所述第一内容的剧中人物。
18.一种内容提供方法，其为通过用户终端的内容提供方法，其包括以下步骤：
对由内容提供服务器提供的第一内容，当所述第一内容中的规定的部分内容通过滚动被提供到所述用户终端时，所述用户终端接收请求执行与所述部分内容相关联的规定的任务的通知，所述用户终端的用户响应所述通知在所述用户终端输入规定的交互，基于通过所述用户终端的所述用户的交互控制所述部分内容，或者将基于所述用户的交互生成的第二内容合成到所述部分内容中，将所述部分内容中包括的全景影像或者360度影像的至少一部分在所述用户终端的画面上全屏显示；
基于通过所述用户终端的所述用户交互控制所述全景影像或者360度影像的视角；以及
所述视角被控制的所述全景影像或者360度影像在所述用户终端的画面上全屏显示，
所述第一内容是包括在依次显示时具有语义关联性的多个场景的内容，所述多个场景的每一个至少包括一个层，
所述部分内容是所述多个场景中的规定的场景，
所述用户的交互包括影像的拍摄或者影像的输入，
控制所述部分内容或者将所述第二内容合成到所述部分内容中的步骤包括以下步骤：
使用所述用户终端的摄像机拍摄所述用户或者从用户的终端接收用户的影像；
从拍摄或者输入的所述用户的影像中检测脸部，并生成对应于所述脸部的角色，其中，被生成的角色具有与所述第一内容中包括的其他角色相似的风格；以及
将生成的所述角色合成到所述部分内容或者第一内容的至少一部分中，
在所述规定的场景中，将生成的所述角色作为所述第二内容合成，生成的所述角色为包括在所述第一内容的剧中人物。
CN201810886244.2A 2017-12-08 2018-08-06 根据用户的交互控制或者合成的内容的提供方法及装置 Active CN109905592B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0168638 2017-12-08
KR1020170168638A KR102009426B1 (ko) 2017-12-08 2017-12-08 사용자의 인터랙션에 따라 제어 또는 합성된 콘텐츠를 제공하는 방법 및 장치

Publications (2)

Publication Number Publication Date
CN109905592A CN109905592A (zh) 2019-06-18
CN109905592B true CN109905592B (zh) 2021-07-20

Family

ID=66697548

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810886244.2A Active CN109905592B (zh) 2017-12-08 2018-08-06 根据用户的交互控制或者合成的内容的提供方法及装置

Country Status (3)

Country Link
US (1) US11019410B2 (zh)
KR (1) KR102009426B1 (zh)
CN (1) CN109905592B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102276816B1 (ko) * 2019-06-24 2021-07-13 네이버웹툰 유한회사 공간 단위로 구성된 컨텐츠를 제공하는 방법 및 시스템
KR102101889B1 (ko) * 2019-07-29 2020-04-17 주식회사 자이언트스텝 Ai 기반의 얼굴 애니메이션 구현 시스템 및 방법, 및 컴퓨터 판독 가능한 저장매체
KR102227523B1 (ko) * 2019-08-07 2021-03-15 네이버웹툰 유한회사 만화 컨텐츠의 재배치 방법
US11704851B2 (en) * 2020-05-27 2023-07-18 Snap Inc. Personalized videos using selfies and stock videos
KR20210146741A (ko) * 2020-05-27 2021-12-06 삼성전자주식회사 3차원 객체에 2차원 객체를 합성하기 위한 전자 장치, 전자 장치의 동작 방법 및 비일시적 저장 매체
KR102524015B1 (ko) * 2021-07-13 2023-04-20 주식회사 제네시스랩 동영상 인터랙션 플랫폼의 제공방법 및 이를 수행하는 서버시스템
KR102494057B1 (ko) * 2022-07-15 2023-02-06 신헌주 인공지능 기반의 작품 관리 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105745938A (zh) * 2013-11-20 2016-07-06 谷歌公司 多视角音频和视频交互式回放
JP2017138912A (ja) * 2016-02-05 2017-08-10 株式会社バンダイナムコエンターテインメント 画像生成システム及びプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110123393A (ko) 2010-05-07 2011-11-15 주식회사 제노웰 모바일 디지털 만화 콘텐츠 제공 시스템 및 그 제공 방법
US20140055607A1 (en) * 2012-08-22 2014-02-27 Jiunn-Kuang Chen Game character plugin module and method thereof
KR101968977B1 (ko) * 2012-09-26 2019-04-15 네이버웹툰 주식회사 카툰 제공 시스템, 카툰 제공 장치 및 카툰 제공 방법
US9177225B1 (en) * 2014-07-03 2015-11-03 Oim Squared Inc. Interactive content generation
WO2016032303A1 (ko) * 2014-08-29 2016-03-03 주식회사 퓨처플레이 문맥 정보에 기초하여 스크롤을 제어하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
RU2580437C2 (ru) * 2014-09-02 2016-04-10 Общество С Ограниченной Ответственностью "Яндекс" Способ обработки входящего электронного сообщения и сервер
KR101650153B1 (ko) * 2015-03-19 2016-08-23 네이버 주식회사 만화 데이터 편집 방법 및 만화 데이터 편집 장치
US20170076362A1 (en) * 2015-09-11 2017-03-16 Zachary Joyner Future Kicks

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105745938A (zh) * 2013-11-20 2016-07-06 谷歌公司 多视角音频和视频交互式回放
JP2017138912A (ja) * 2016-02-05 2017-08-10 株式会社バンダイナムコエンターテインメント 画像生成システム及びプログラム

Also Published As

Publication number Publication date
US11019410B2 (en) 2021-05-25
CN109905592A (zh) 2019-06-18
KR20190068341A (ko) 2019-06-18
KR102009426B1 (ko) 2019-10-21
US20190182563A1 (en) 2019-06-13

Similar Documents

Publication Publication Date Title
CN109905592B (zh) 根据用户的交互控制或者合成的内容的提供方法及装置
US10742900B2 (en) Method and system for providing camera effect
US10706212B1 (en) Cross-platform presentation of digital content
US10970843B1 (en) Generating interactive content using a media universe database
JP2019054510A (ja) 動画内のコメントを処理するための方法およびシステム
US20200201514A1 (en) Placement of objects in an augmented reality environment
CN112230909B (zh) 小程序的数据绑定方法、装置、设备及存储介质
CN108846886B (zh) 一种ar表情的生成方法、客户端、终端和存储介质
US20130181975A1 (en) Systems and methods for objects associated with a three-dimensional model
CN115699097A (zh) 用于图像处理的软件开发工具包
US11513658B1 (en) Custom query of a media universe database
KR20190009081A (ko) 클라우드 소싱 기반의 ａｒ 컨텐츠 템플릿을 수집하여 ａｒ 컨텐츠를 자동으로 생성하는 방법 및 시스템
GB2487039A (en) Visualizing Illustrated Books And Comics On Digital Devices
JP7393487B2 (ja) プロフィール写真を推薦する方法とシステム、および非一時的なコンピュータ読み取り可能な記録媒体
CN110431838B (zh) 提供人脸识别摄像机的动态内容的方法及系统
EP3652704B1 (en) Systems and methods for creating and displaying interactive 3d representations of real objects
TWI514319B (zh) 藉由虛擬物件編輯資料之方法及系統，及相關電腦程式產品
KR101668450B1 (ko) 디지털 컨텐츠 제공 방법 및 이를 수행하는 장치
KR101934799B1 (ko) 파노라마 영상을 이용하여 새로운 컨텐츠를 생성하는 방법 및 시스템
CN111652986A (zh) 舞台效果呈现方法、装置、电子设备及存储介质
KR102533209B1 (ko) 다이나믹 확장현실(xr) 콘텐츠 생성 방법 및 시스템
KR20210081935A (ko) 제스처를 이용하여 대화 메시지에 감정을 표현하는 방법, 시스템, 및 컴퓨터 프로그램
US20230334792A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
US20240185546A1 (en) Interactive reality computing experience using multi-layer projections to create an illusion of depth
TWM560053U (zh) 線上整合擴增實境的編輯裝置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: Gyeonggi Do, South Korea

Patentee after: Nabo webtone Co.,Ltd.

Address before: Gyeonggi Do, South Korea

Patentee before: NAVER Webtoon Corp.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220105

Address after: Gyeonggi Do, South Korea

Patentee after: Naboo Weber Communications Ltd.

Address before: Gyeonggi Do, South Korea

Patentee before: Nabo webtone Co.,Ltd.