KR101968599B1 - Generation method and apparatus of story video according to input text - Google Patents

Generation method and apparatus of story video according to input text Download PDF

Info

Publication number
KR101968599B1
KR101968599B1 KR1020170151625A KR20170151625A KR101968599B1 KR 101968599 B1 KR101968599 B1 KR 101968599B1 KR 1020170151625 A KR1020170151625 A KR 1020170151625A KR 20170151625 A KR20170151625 A KR 20170151625A KR 101968599 B1 KR101968599 B1 KR 101968599B1
Authority
KR
South Korea
Prior art keywords
clip
story
text
moving picture
input
Prior art date
Application number
KR1020170151625A
Other languages
Korean (ko)
Inventor
한성호
박용
Original Assignee
한성호
박용
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한성호, 박용 filed Critical 한성호
Priority to KR1020170151625A priority Critical patent/KR101968599B1/en
Application granted granted Critical
Publication of KR101968599B1 publication Critical patent/KR101968599B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles

Abstract

According to the present invention, a method for generating a story video according to an input text comprises the steps of: recognizing an input of a text; generating and displaying a clip video corresponding to the text from at least one video related to the recognized text; displaying a clip video selected among the displayed clip videos as a clip video for a story for configuring a story video; adjusting a video playing order for a plurality of clip videos for a story including the displayed clip video for a story; and storing a story video corresponding to the adjusted video playing order.

Description

입력 텍스트에 따른 스토리 동영상 생성방법 및 장치{Generation method and apparatus of story video according to input text}[0001] The present invention relates to a method and apparatus for generating a story video according to input texts,

본 발명은 언어 학습을 위한 동영상에 관한 것으로, 보다 상세하게는 사용자가 임의로 선택한 텍스트에 대응하는 스토리 동영상을 생성할 수 있도록 하는 기술에 관한 것이다. BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a moving picture for language learning, and more particularly, to a technique for enabling a user to create a story moving picture corresponding to a text arbitrarily selected.

언어는 글로벌 시대의 경쟁력이라는 생각이 자리 잡으면서 성인들은 물론 언어를 익히지 않은 상태의 영·유아들까지도 부모들에 의해 영어, 중국어 등의 외국어를 접하고 배우고 있는 실정이다. 특히, 언어는 어려서부터 자연스럽게 배우고 익히는 것이 중요하다는 생각에서 많은 부모들이 영·유아나 어린이 등의 자녀에게 영어 등 외국어를 접하게 하고 있다.The idea that language is a competitiveness of the global era has been established, and adults and children who are not yet learning languages are being taught by parents to learn foreign languages such as English and Chinese. Especially, since it is important to learn and learn naturally from a young age, many parents have children of English, children, and children come to know English and other foreign languages.

언어의 단어나 문장을 배우고 익히는 것이 쉽도록 하기 위한 다양한 형태의 언어 학습장치가 제안되고 있다. 초기의 언어 학습장치는 단순히 단어나 문장을 문자나 음성으로 출력하는 형태의 것이었으나 기억력 향상을 위해 사진이나 동영상 자료를 함께 디스플레이하는 것도 제안되었다.Various types of language learning devices have been proposed to facilitate learning and learning of words and sentences in language. The initial language learning device was simply a word or sentence in the form of text or voice output, but it was also proposed to display pictures or moving images together to improve memory.

종래에는 사진 등의 이미지를 단어나 문장과 함께 디스플레이하여 언어 학습 능력을 향상시킬 수 있도록 하고 있다. 그런데 상기와 같이 사진이나 동영상 등의 이미지를 디스플레이하는 언어 학습 장치에 있어서도 그 효과가 기대에 미치지 못하고 있다. 단순히 사진이나 동영상을 디스플레이한다고 해서 학습효과가 크게 향상되는 것은 아니기 때문이다. 학습을 하는 자가 학습에 흥미를 느끼지 못하는 경우에는 큰 효과를 기대하기 어렵다. 따라서, 종래의 언어학습 장치는 강제적인 학습환경의 제공에 그치는 것일 뿐이어서 학습효과를 향상시키는데 한계가 있다.Conventionally, images such as photographs are displayed together with words or phrases to improve language learning ability. However, even in a language learning apparatus for displaying an image such as a picture or a moving picture as described above, the effect is not satisfied. Simply displaying a picture or video does not mean that the learning effect will improve significantly. It is difficult to expect a great effect when the learning person is not interested in learning. Therefore, the conventional language learning apparatus is merely a provision of a compulsory learning environment, which limits the improvement of the learning effect.

본 발명은 사용자가 임의로 선택한 텍스트에 대응하는 동영상을 생성 및 재생하여 사용자가 능동적으로 언어 학습을 수행할 수 있도록 하는 입력 텍스트에 따른 스토리 동영상 생성방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for generating a story moving picture according to an input text that enables a user to actively learn a language by generating and playing a moving picture corresponding to a text arbitrarily selected by the user.

상기의 과제를 해결하기 위한 본 발명에 따른 입력 텍스트에 따른 스토리 동영상 생성방법은 텍스트의 입력을 인식하는 단계; 상기 인식된 텍스트와 관련된 적어도 하나 이상의 동영상으로부터 상기 텍스트에 대응하는 클립 동영상을 생성 및 표시하는 단계; 상기 표시된 클립 동영상 중에서 선택된 클립 동영상을 스토리 동영상의 구성을 위한 스토리용 클립 동영상으로 표시하는 단계; 상기 표시된 스토리용 클립 동영상을 포함하는 복수의 스토리용 클립 동영상들에 대한 동영상 재생 순서를 조정하는 단계; 및 상기 조정된 동영상 재생 순서에 대응하는 스토리 동영상을 저장하는 단계를 포함한다.According to another aspect of the present invention, there is provided a method of generating a story moving picture according to an input text, including: recognizing input of a text; Generating and displaying a clip movie corresponding to the text from at least one or more videos associated with the recognized text; Displaying a clip movie selected from among the displayed clip animations as a clip animation for a story for constituting a story animation; Adjusting a moving picture playing order of a plurality of story clip videos for the story including the displayed clip clip for the story; And storing the story moving picture corresponding to the adjusted moving picture playing order.

상기 텍스트의 입력을 인식하는 단계는, 스캐닝 펜을 이용한 스캐닝 동작에 따라 입력된 텍스트를 인식하는 것을 특징으로 한다.The step of recognizing the input of the text is characterized in that the input text is recognized according to a scanning operation using the scanning pen.

상기 클립 동영상을 생성 및 표시하는 단계는, 상기 인식된 텍스트와 관련된 동영상을 검색하는 단계; 상기 검색된 동영상 파일로부터 상기 텍스트에 대응하는 클립 동영상을 생성하는 단계; 및 상기 생성된 클립 동영상의 클립 리스트를 사용자 인터페이스 화면에 표시하는 단계를 포함하는 것을 특징으로 한다.The step of generating and displaying the clip movie may include: searching for a movie related to the recognized text; Generating a clip moving picture corresponding to the text from the retrieved moving picture file; And displaying a clip list of the generated clip animation on a user interface screen.

상기 동영상을 검색하는 단계는, 상기 입력되는 텍스트와 관련된 자막을 포함하는 자막 파일을 추출한 후에, 상기 추출된 자막 파일에 대응하는 상기 동영상을 검색하는 것을 특징으로 한다.The retrieving of the moving picture may include extracting a caption file including a caption associated with the input text, and then searching for the caption corresponding to the extracted caption file.

상기 클립 동영상을 생성하는 단계는, 상기 텍스트와 관련된 자막의 시작 시점과 종료 시점을 추출하고, 추출된 상기 시작 시점 및 상기 종료 시점에 대응하는 상기 클립 동영상을 생성하는 것을 특징으로 한다.The generating of the clip moving image may include extracting a starting point and a finishing point of a caption associated with the text, and generating the clip moving picture corresponding to the extracted starting point and ending point.

상기 클립 동영상을 생성하는 단계는, 상기 검색된 동영상에서 자막의 시작 시점과 종료 시점에 대응하는 동영상의 속성만을 이용해서 클립 동영상을 생성하는 것을 특징으로 한다.The generating of the clip animation may include generating a clip animation using only the attributes of the animation corresponding to the start and end points of the subtitle in the searched animation.

상기 클립 동영상을 생성한 후에, 상기 생성된 클립 동영상의 색상, 밝기, 색조, 크기 중 적어도 하나를 포함하는 속성을 조정하는 단계를 더 포함하는 것을 특징으로 한다.And adjusting an attribute including at least one of a color, a brightness, a hue, and a size of the generated clip moving image after generating the clip moving image.

상기 클립 리스트에 대한 사용자의 선택에 따라, 상기 클립 리스트 중 선택된 클립 동영상을 미리보기 화면을 통해 표시하는 단계를 더 포함하는 것을 특징으로 한다.And displaying the selected clip video on the preview screen according to the selection of the clip list by the user.

상기 인식된 텍스트와 관련된 동영상을 검색하는 단계 후에, 상기 검색된 동영상이 존재하는가를 판단하는 단계; 및 상기 검색된 동영상이 존재하지 않는다면, 상기 인식된 텍스트에 대응하는 음성 정보를 생성하는 단계를 더 포함하고, 상기 생성된 음성 정보를 상기 사용자 인터페이스 화면에 표시하는 것을 특징으로 한다.Determining whether the searched moving image exists after searching for a moving image related to the recognized text; And generating voice information corresponding to the recognized text if the retrieved moving picture does not exist, and displaying the generated voice information on the user interface screen.

상기 스토리용 클립 동영상을 표시한 후에, 다른 텍스트가 입력되는가를 판단하는 단계를 더 포함하고, 다른 텍스트가 입력되면, 상기 다른 텍스트에 대응하는 클립 동영상의 생성 및 표시 단계와 스토리용 클립 동영상의 표시 단계를 반복적으로 수행하는 것을 특징으로 한다.Further comprising the step of determining whether another text is input after displaying the story clip video, and when another text is input, a step of generating and displaying a clip movie corresponding to the different text, Is repeatedly performed.

상기 스토리 동영상을 저장한 후에, 상기 저장된 스토리 동영상을 재생하는 단계를 더 포함하는 것을 특징으로 한다.And reproducing the stored story moving picture after storing the story moving picture.

상기의 과제를 해결하기 위한 본 발명에 따른 입력 텍스트에 따른 스토리 동영상 생성장치는 텍스트의 입력을 인식하는 텍스트 인식모듈; 상기 텍스트를 입력받고, 상기 인식된 텍스트와 관련된 적어도 하나 이상의 동영상으로부터 생성된 클립 동영상의 클립 리스트를 표시하고, 상기 표시된 클립 리스트 중에서 선택된 클립 동영상을 스토리 동영상을 구성하기 위한 스토리용 클립 동영상으로 표시하는 입출력 인터페이스 모듈; 상기 클립 동영상을 생성하고, 상기 표시된 스토리용 클립 동영상을 포함하는 복수의 스토리용 클립 동영상들에 대한 동영상 재생 순서를 조정하고, 상기 조정된 동영상 재생 순서에 대응하는 스토리 동영상을 저장하도록 제어하는 프로세싱 모듈; 및 상기 프로세싱 모듈의 제어에 따라, 상기 스토리 동영상을 저장하는 데이터베이스를 포함한다.According to another aspect of the present invention, there is provided an apparatus for generating a story moving picture according to an input text, the apparatus comprising: a text recognition module for recognizing input of text; And a display unit for displaying a clip list of the clip movie generated from at least one or more videos related to the recognized text and displaying the clip movie selected from the displayed clip list as a clip movie for a story for constituting a story movie An input / output interface module; A processing module for generating the clip moving image, adjusting a moving image playback order of a plurality of story clip videos for the story including the displayed clip clip for the displayed story, and storing the story moving image corresponding to the adjusted moving image playback order, ; And a database for storing the story moving picture under the control of the processing module.

상기 입출력 인터페이스 모듈은, 스캐닝 펜을 이용한 스캐닝 동작에 따라 상기 텍스트를 입력받는 것을 특징으로 한다.The input / output interface module receives the text according to a scanning operation using a scanning pen.

상기 프로세싱 모듈은, 상기 인식된 텍스트와 관련된 동영상을 검색하고, 상기 검색된 동영상으로부터 상기 텍스트에 대응하는 클립 동영상을 생성하는 것을 특징으로 한다.The processing module searches for a moving picture associated with the recognized text and generates a clip moving picture corresponding to the text from the retrieved moving picture.

상기 프로세싱 모듈은, 상기 입력되는 텍스트와 관련된 자막을 포함하는 자막 파일을 추출한 후에, 상기 추출된 자막 파일에 대응하는 동영상을 검색하는 것을 특징으로 한다.The processing module extracts a caption file including a caption associated with the input text, and then searches for a caption corresponding to the extracted caption file.

상기 프로세싱 모듈은, 상기 텍스트와 관련된 자막의 시작 시점과 종료 시점을 추출하고, 추출된 상기 시작 시점 및 상기 종료 시점에 대응하는 상기 클립 동영상을 추출하는 것을 특징으로 한다.Wherein the processing module extracts a start time and an end time of a caption associated with the text and extracts the clip video corresponding to the extracted start time and end time.

상기 프로세싱 모듈은, 상기 검색된 동영상에서 자막의 시작 시점과 종료 시점에 대응하는 동영상의 속성만을 이용해서 클립 동영상을 생성하는 것을 특징으로 한다.The processing module generates a clip video using only the attributes of the video corresponding to the start time and the end time of the caption in the searched video.

상기 프로세싱 모듈은, 상기 생성된 클립 동영상의 색상, 밝기, 색조, 크기 중 적어도 하나를 포함하는 속성을 조정하는 것을 특징으로 한다.Wherein the processing module adjusts an attribute including at least one of color, brightness, hue, and size of the generated clip moving image.

상기 사용자 인터페이스 모듈은, 상기 클립 리스트에 대한 사용자의 선택에 따라, 상기 클립 리스트 중 선택된 클립 동영상을 미리보기 화면을 통해 표시하는 것을 특징으로 한다.And the user interface module displays a selected clip video of the clip list on a preview screen according to a user's selection of the clip list.

상기 프로세싱 모듈은, 상기 인식된 텍스트와 관련된 동영상을 검색하는 경우에, 상기 검색된 동영상이 존재하는가를 판단하고, 상기 검색된 동영상이 존재하지 않는다면, 상기 인식된 텍스트에 대응하는 음성 정보를 생성하는 것을 특징으로 한다.Wherein the processing module is configured to determine whether the searched moving picture exists when the moving picture related to the recognized text is searched and to generate voice information corresponding to the recognized text if the searched moving picture does not exist, .

상기 프로세싱 모듈은, 상기 스토리용 클립 동영상을 표시한 후에, 다른 텍스트가 입력되는가를 판단하고, 다른 텍스트가 입력되면, 상기 다른 텍스트에 대응하는 클립 동영상의 생성 및 표시와 스토리용 클립 동영상의 표시를 반복하도록 제어하는 것을 특징으로 한다.The processing module determines whether another text is input after displaying the clip movie for the story. When the other text is inputted, the processing module generates and displays a clip movie corresponding to the different text and displays a clip movie for a story So as to be repeatedly controlled.

상기 스토리 동영상을 저장한 후에, 상기 저장된 스토리 동영상을 재생하는 동영상 재생모듈을 더 포함하는 것을 특징으로 한다.And a moving picture playing module for playing back the stored story moving picture after storing the story moving picture.

본 발명에 따르면, 사용자가 입력한 텍스트와 관련된 동영상으로부터 클립 동영상을 생성하고, 생성된 클립 동영상들의 재생 순서에 대응하는 스토리 동영상을 생성함으로써, 언어를 학습하는데 있어서 사용자별 언어 수준 또는 사용자의 취향 등이 반영된 고유의 편집 동영상을 제공할 수 있으므로, 사용자에게 언어 학습에 대한 흥미를 지속적으로 유발할 수 있도록 한다. According to the present invention, a clip movie is generated from a movie related to a text input by a user, and a story movie corresponding to a reproduction order of the generated clip movies is generated. Thus, in learning a language, So that the user can continue to be interested in language learning.

도 1은 본 발명에서 입력 텍스트에 따른 스토리 동영상 생성장치(100)를 설명하기 위한 일 실시예의 블록도이다.
도 2는 입출력 인터페이스 모듈(110)에 의해 표시되는 사용자 인터페이스 화면의 초기 화면을 예시하는 참조도이다.
도 3은 입출력 인터페이스 모듈(110)에 의해 표시되는 사용자 인터페이스 화면의 초기 화면을 예시하는 참조도이다.
도 4는 사용자 인터페이스 화면 상에 표시된 클립 리스트를 예시하는 참조도이다.
도 5는 사용자 인터페이스 화면 상에 표시된 클립 리스트 중에서 선택된 클립 동영상에 대한 미리보기 화면(500)을 예시하는 참조도이다.
도 6은 사용자 인터페이스 화면 상에 표시된 스토리용 클립 동영상을 예시하는 참조도이다.
도 7은 사용자 인터페이스 화면 중에서 스토리창에 표시된 스토리용 클립 동영상들의 재생 순서가 조정된 상태를 예시하는 참조도이다.
도 8은 입출력 인터페이스 모듈(110)의 메뉴 버튼을 통한 저장 동작을 예시하는 참조도이다.
도 9는 사용자 인터페이스 화면의 초기 화면에서 재생 메뉴버튼의 선택에 따른 스토리 동영상의 재생 화면을 예시하는 참조도이다.
도 10은 본 발명에서 입력 텍스트에 따른 스토리 동영상 생성방법을 설명하기 위한 일 실시예의 플로차트이다.
도 11은 도 10에 도시된 클립 동영상의 생성 및 표시 단계를 설명하기 위한 일 실시예의 플로차트이다.1 is a block diagram of an embodiment for explaining an apparatus 100 for generating a story according to input text in the present invention.
2 is a reference view illustrating an initial screen of a user interface screen displayed by the input / output interface module 110. As shown in FIG.
3 is a reference view illustrating an initial screen of a user interface screen displayed by the input / output interface module 110. As shown in FIG.
4 is a reference diagram illustrating a list of clips displayed on the user interface screen.
5 is a reference view illustrating a preview screen 500 for a clip movie selected from the clip list displayed on the user interface screen.
6 is a reference view illustrating a clip movie for a story displayed on the user interface screen.
FIG. 7 is a reference view illustrating a state in which a reproduction order of clip animations for a story displayed in a story window is adjusted in a user interface screen.
FIG. 8 is a reference diagram illustrating a storing operation through a menu button of the input / output interface module 110. FIG.
9 is a reference view illustrating a playback screen of a story moving picture according to a selection of a play menu button on an initial screen of the user interface screen.
FIG. 10 is a flowchart of a method for generating a story moving picture according to an input text according to an embodiment of the present invention.
FIG. 11 is a flowchart of an embodiment for explaining the steps of generating and displaying the clip moving picture shown in FIG.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.　 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

본 발명의 실시예들은 당해 기술 분야에서 통상의 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위하여 제공되는 것이며, 아래의 실시예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 아래의 실시예들로 한정되는 것은 아니다. 오히려, 이들 실시예는 본 개시를 더욱 충실하고 완전하게 하며 당업자에게 본 발명의 사상을 완전하게 전달하기 위하여 제공되는 것이다.　 Embodiments of the present invention are provided to more fully describe the present invention to those skilled in the art, and the following embodiments may be modified in various other forms, The present invention is not limited to the following embodiments. Rather, these embodiments are provided so that this disclosure will be more thorough and complete, and will fully convey the concept of the invention to those skilled in the art.

본 명세서에서 사용된 용어는 특정 실시예를 설명하기 위하여 사용되며, 본 발명을 제한하기 위한 것이 아니다. 본 명세서에서 사용된 바와 같이 단수 형태는 문맥상 다른 경우를 분명히 지적하는 것이 아니라면, 복수의 형태를 포함할 수 있다. 또한, 본 명세서에서 사용되는 경우 "포함한다(comprise)" 및/또는"포함하는(comprising)"은 언급한 형상들, 숫자, 단계, 동작, 부재, 요소 및/또는 이들 그룹의 존재를 특정하는 것이며, 하나 이상의 다른 형상, 숫자, 동작, 부재, 요소 및/또는 그룹들의 존재 또는 부가를 배제하는 것이 아니다. 본 명세서에서 사용된 바와 같이, 용어 "및/또는"은 해당 열거된 항목 중 어느 하나 및 하나 이상의 모든 조합을 포함한다.　 The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. As used herein, the singular forms "a", "an," and "the" include plural forms unless the context clearly dictates otherwise. Also, " comprise " and / or " comprising " when used herein should be interpreted as specifying the presence of stated shapes, numbers, steps, operations, elements, elements, and / And does not preclude the presence or addition of one or more other features, integers, operations, elements, elements, and / or groups. As used herein, the term " and / or " includes any and all combinations of one or more of the listed items.

본 명세서에서 제1, 제2 등의 용어가 다양한 부재, 영역 및/또는 부위들을 설명하기 위하여 사용되지만, 이들 부재, 부품, 영역, 층들 및/또는 부위들은 이들 용어에 의해 한정되어서는 안됨은 자명하다. 이들 용어는 특정 순서나 상하, 또는 우열을 의미하지 않으며, 하나의 부재, 영역 또는 부위를 다른 부재, 영역 또는 부위와 구별하기 위하여만 사용된다. 따라서, 이하 상술할 제1 부재, 영역 또는 부위는 본 발명의 가르침으로부터 벗어나지 않고서도 제2 부재, 영역 또는 부위를 지칭할 수 있다.Although the terms first, second, etc. are used herein to describe various elements, regions and / or regions, it should be understood that these elements, components, regions, layers and / Do. These terms do not imply any particular order, top, bottom, or top row, and are used only to distinguish one member, region, or region from another member, region, or region. Thus, the first member, region or region described below may refer to a second member, region or region without departing from the teachings of the present invention.

이하, 본 발명의 실시예들은 본 발명의 실시예들을 개략적으로 도시하는 도면들을 참조하여 설명한다. 도면들에 있어서, 예를 들면, 제조 기술 및/또는 공차에 따라, 도시된 형상의 변형들이 예상될 수 있다. 따라서, 본 발명의 실시예는 본 명세서에 도시된 영역의 특정 형상에 제한된 것으로 해석되어서는 아니 되며, 예를 들면 제조상 초래되는 형상의 변화를 포함하여야 한다.Hereinafter, embodiments of the present invention will be described with reference to the drawings schematically showing embodiments of the present invention. In the figures, for example, variations in the shape shown may be expected, depending on manufacturing techniques and / or tolerances. Accordingly, embodiments of the present invention should not be construed as limited to any particular shape of the regions illustrated herein, including, for example, variations in shape resulting from manufacturing.

도 1은 본 발명에서 입력 텍스트에 따른 스토리 동영상 생성장치(100)를 설명하기 위한 일 실시예의 블록도이다. 1 is a block diagram of an embodiment for explaining an apparatus 100 for generating a story according to input text in the present invention.

도 1을 참조하면, 스토리 동영상 생성장치(100)는 입출력 인터페이스 모듈(110), 텍스트 인식모듈(120), 통신 인터페이스 모듈(130), 데이터베이스(140), 프로세싱 모듈(150) 및 동영상 재생모듈(160)을 포함한다.1, the story moving picture generating apparatus 100 includes an input / output interface module 110, a text recognition module 120, a communication interface module 130, a database 140, a processing module 150, 160).

입출력 인터페이스 모듈(110)은 사용자로부터 입력된 명령 또는 데이터를 스토리 동영상 생성장치(100)의 다른 구성요소들로 전달한다. 또한, 입출력 인터페이스 모듈(110)은 스토리 동영상 생성장치(100)의 다른 구성요소들로부터 수신된 명령 또는 데이터를 영상 신호 또는 음성 신호로 출력한다. The input / output interface module 110 transfers commands or data input from the user to other components of the story moving image generating apparatus 100. The input / output interface module 110 outputs commands or data received from other components of the story moving picture generating apparatus 100 as a video signal or a voice signal.

입출력 인터페이스 모듈(110)은 사용자로부터 텍스트(예를 들어, 국어, 영어 등을 포함하는 다양한 단어 또는 문장 등을 포함)를 입력받는다. 텍스트를 입력받기 위해, 입출력 인터페이스 모듈(110)은 예를 들면, 키 보드(key board), 패널 (touch panel), 스캐닝 펜(scanning pen), 또는 초음파 (ultrasonic) 입력 디바이스 등을 포함할 수 있다. 키 보드는 예를 들면, 물리적인 버튼, 광학식 키, 또는 키패드를 포함할 수 있다. 터치 패널은, 예를 들면, 정전식, 감압식, 적외선 방식, 또는 초음파 방식 중 적어도 하나의 방식을 사용할 수 있다. 터치 패널은 택타일 레이어(tactile layer)를 더 포함하여, 사용자에게 촉각 반응을 제공할 수 있다. 스캐닝 펜은 터치 패널의 일부이거나, 별도의 인식용 쉬트 (sheet)를 포함할 수 있다. 초음파 입력 디바이스는 초음파 신호를 발생하는 입력 도구를 통해, 마이크로 음파를 감지하여 데이터를 확인할 수 있다. The input / output interface module 110 receives text (for example, various words or phrases including English, Korean, and the like) from a user. The input / output interface module 110 may include a key board, a touch panel, a scanning pen, an ultrasonic input device, or the like for receiving texts . The keyboard may include, for example, a physical button, an optical key, or a keypad. The touch panel may use at least one of electrostatic, pressure sensitive, infrared, and ultrasonic methods, for example. The touch panel may further include a tactile layer to provide a tactile response to the user. The scanning pen may be part of the touch panel or may include a separate recognition sheet. The ultrasonic input device can recognize the data by sensing microwaves through an input tool for generating ultrasonic signals.

또한, 입출력 인터페이스 모듈(110)은 스토리 동영상 생성장치(100)의 다른 구성요소들로부터 수신된 명령 또는 데이터를 사용자 인터페이스 화면을 통해 영상 또는 음성으로 출력한다. 영상 출력을 위해, 입출력 인터페이스 모듈(110)은 예를 들면, 액정 디스플레이 (LCD), 발광 다이오드 (LED) 디스플레이, 유기 발광 다이오드 (OLED) 디스플레이, 또는 마이크로 전자기계 시스템 (microelectromechanical systems (MEMS)) 디스플레이, 또는 전자종이 (electronic paper) 디스플레이를 포함할 수 있다. 입출력 인터페이스 모듈(110)은 사용자에게 각종 콘텐츠 (예: 텍스트, 이미지, 비디오, 아이콘, 또는 심볼 등)을 표시할 수 있다. 또한, 음성 출력을 위해, 입출력 인터페이스 모듈(110)은 예를 들면, 스피커 , 리시버, 이어폰, 또는 마이크 등을 통해 입력 또는 출력되는 음성 정보를 처리할 수 있다. In addition, the input / output interface module 110 outputs commands or data received from other components of the story-moving image generating apparatus 100 as images or sounds through the user interface screen. Output interface module 110 may be coupled to a display device such as a liquid crystal display (LCD), a light emitting diode (LED) display, an organic light emitting diode (OLED) display, or a microelectromechanical systems (MEMS) , Or an electronic paper display. The input / output interface module 110 may display various contents (e.g., text, image, video, icons, symbols, etc.) to the user. In addition, for audio output, the input / output interface module 110 can process audio information input or output through, for example, a speaker, a receiver, an earphone, or a microphone.

도 2는 입출력 인터페이스 모듈(110)에 의해 표시되는 사용자 인터페이스 화면의 초기 화면을 예시하는 참조도이다. 도2를 참조하면, 메이커(Maker) 메뉴버튼(MB)은 스토리 동영상의 생성을 위한 버튼에 해당하며, 플레이어(Player) 메뉴버튼(PB)은 생성된 스토리 동영상의 재생을 위한 버튼에 해당한다.2 is a reference view illustrating an initial screen of a user interface screen displayed by the input / output interface module 110. As shown in FIG. Referring to FIG. 2, a maker menu button MB corresponds to a button for generating a story video, and a player menu button PB corresponds to a button for playing a generated story video.

사용자가 도 2의 메이커 메뉴버튼을 선택하게 되면, 입출력 인터페이스 모듈(110)은 텍스트 입력을 위한 사용자 인터페이스 화면을 표시한다. When the user selects the maker menu button in FIG. 2, the input / output interface module 110 displays a user interface screen for text input.

도 3은 입출력 인터페이스 모듈(110)에 의해 표시되는 사용자 인터페이스 화면의 초기 화면을 예시하는 참조도이다. 도 3을 참조하면, 사용자 인터페이스 화면 상에 텍스트 입력창(300)이 표시되어 있다. 이에 따라, 사용자가 텍스트 입력창(200)에 자신이 원하는 텍스트(예를 들어, "I love you" )를 입력하면, 입출력 인터페이스 모듈(110)은 입력된 텍스트 정보를 텍스트 인식모듈(120)로 전달한다. 3 is a reference view illustrating an initial screen of a user interface screen displayed by the input / output interface module 110. As shown in FIG. Referring to FIG. 3, a text input window 300 is displayed on a user interface screen. Accordingly, when the user inputs desired text (for example, " I love you ") into the text input window 200, the input / output interface module 110 transmits the input text information to the text recognition module 120 .

또한, 입출력 인터페이스 모듈(110)은 스캐닝 펜을 이용한 스캐닝 동작에 따라 서적 또는 전자기기등에 표시된 텍스트를 스캐닝할 수 있다.입출력 인터페이스 모듈(110)은 스캐닝 펜을 이용해 텍스트를 스캐닝하고, 스캐닝된 텍스트 정보를 텍스트 인식모듈(120)로 전달할 수 있다. The input / output interface module 110 scans the text using a scanning pen, and outputs the scanned text information. The input / output interface module 110 scans text displayed on a book, an electronic device, or the like according to a scanning operation using the scanning pen. To the text recognition module 120.

텍스트 인식모듈(120)은 입출력 인터페이스 모듈(110)로부터 전달받은 텍스트 정보를 인식한다. 텍스트 인식모듈(110)은 도 2a에 도시된 사용자 인터페이스 화면을 통해 입력되는 텍스트 또는 스캐닝 펜을 통해 입력되는 텍스트에 대한 문자 의미정보를 인식할 수 있다. 텍스트 인식모듈(120)은 문자 의미정보가 인식된 텍스트 인식결과를 프로세싱 모듈(150)로 전달한다.The text recognition module 120 recognizes the text information transmitted from the input / output interface module 110. The text recognition module 110 can recognize text input through a user interface screen shown in FIG. 2A or textual information on text input through a scanning pen. The text recognition module 120 delivers the text recognition result in which the character semantic information is recognized to the processing module 150. [

통신 인터페이스 모듈(130)은 텍스트와 관련한 동영상을 제공하는 외부 서버 또는 외부 데이터베이스와 유선 통신 또는 무선 통신을 하기 위한 유선 통신 모듈 또는 무선 통신 모듈을 포함하고 있다. 예를 들면, 유선 통신 모듈은 인터넷망, USB (universal serial bus), HDMI (high definition multimedia interface), RS-232 (recommended standard 232)을 위한 통신 프로토콜을 지원할 수 있다. 또한, 무선 통신 모듈은 WiFi, LTE, LTE-A, CDMA, WCDMA, UMTS, WiBro, 또는 GSM 등의 무선 통신망을 위한 통신 프로토콜을 지원할 수 있다. The communication interface module 130 includes a wired communication module or a wireless communication module for wired communication or wireless communication with an external server or an external database providing moving pictures related to text. For example, a wired communication module may support a communication protocol for an Internet network, a universal serial bus (USB), a high definition multimedia interface (HDMI), and an RS-232 (recommended standard 232). The wireless communication module may also support communication protocols for wireless communication networks such as WiFi, LTE, LTE-A, CDMA, WCDMA, UMTS, WiBro, or GSM.

데이터베이스(140)는 프로세싱 모듈(150)의 제어에 따라 생성된 클립 동영상을 저장하며, 또한 프로세싱 모듈(150)의 제어에 따라 재생 순위가 조정된 스토리 동영상을 저장한다. 또한, 데이터베이스(140)는 텍스트에 대응하는 다양한 동영상들을 저장할 수도 있다.The database 140 stores clip animations generated according to the control of the processing module 150 and also stores story animations whose reproduction rankings are adjusted according to the control of the processing module 150. [ In addition, the database 140 may store various moving pictures corresponding to the text.

프로세싱 모듈(150)은 텍스트와 관련된 적어도 하나 이상의 동영상으로부터 텍스트에 대응하는 클립 동영상을 생성한다. The processing module 150 generates a clip movie corresponding to the text from at least one or more videos associated with the text.

먼저, 프로세싱 모듈(150)은 문자 의미정보가 인식된 텍스트와 관련된 동영상을 통신 인터페이스 모듈(130)을 통해 검색한다. 프로세싱 모듈(150)은 인식된 텍스트와 관련된 자막을 포함하는 자막 파일을 추출한 후에, 상기 추출된 자막 파일에 대응하는 동영상을 검색할 수 있다. 프로세싱 모듈(150)은 인터넷망에 연결되어 동영상 서비스를 제공하거나 동영상을 게시하는 서버(예를 들어, 유튜브 서버, 포털 서버 등)와 접속하여 텍스트와 관련된 동영상을 검색할 수 있다. 또한, 프로세싱 모듈(150)은 데이터베이스(140)에 기 저장되어 있는 동영상들 중에서 텍스트 인식모듈(120)에 의해 인식된 텍스트에 대응하는 동영상을 검색할 수도 있다. First, the processing module 150 searches the communication interface module 130 for a moving picture related to the text in which the character semantic information is recognized. The processing module 150 may extract a caption file including a caption related to the recognized text and then search for a caption corresponding to the extracted caption file. The processing module 150 may be connected to an Internet network to provide a video service or access a server (e.g., a YouTube server, a portal server, or the like) for posting a video to search for a video related to the text. In addition, the processing module 150 may search for a moving image corresponding to the text recognized by the text recognition module 120 among the moving images stored in the database 140.

프로세싱 모듈(150)은 인식된 텍스트와 관련된 동영상을 검색하는 과정에서, 인식된 텍스트와 관련된 동영상이 존재하는가를 판단할 수 있다. 만일, 인식된 텍스트와 관련된 동영상이 존재하지 않는다면, 프로세싱 모듈(150)은 인식된 텍스트에 대응하는 음성 정보를 생성한다. 프로세싱 모듈(150)은 TTS(Text To Speech) 기술을 이용하여 문자를 음성 단위로 분할하고, 분할된 문자에 대응하는 음성을 합성하여 출력할 수 있다.The processing module 150 may determine whether a moving image related to the recognized text exists in the process of searching for a moving image related to the recognized text. If there is no moving picture associated with the recognized text, the processing module 150 generates the audio information corresponding to the recognized text. The processing module 150 may divide a character into units of speech using TTS (Text To Speech) technology, and synthesize and output the speech corresponding to the divided characters.

프로세싱 모듈(150)은 검색된 하나 또는 복수의 동영상으로부터 텍스트에 대응하는 클립 동영상을 생성한다. 프로세싱 모듈(150)은 추출된 자막 파일에서 텍스트와 관련된 자막의 시작 시점과 종료 시점을 추출하고, 추출된 상기 시작 시점 및 상기 종료 시점에 대응하는 상기 클립 동영상을 추출할 수 있다. 예를 들어, 텍스트가 "I love you"라 할 때, 프로세싱 모듈(150)은 추출된 동영상에 대응하는 자막 파일 중에서 "I love you"라는 텍스트 중 텍스트 "I"가 시작되는 자막 시점과 텍스트 "you"가 끝나는 자막 시점을 추출한다. 그 후, 프로세싱 모듈(150)은 추출된 동영상 중에서 자막의 시작 시점과 종료 시점에 대응하는 클립 동영상을 생성한다. The processing module 150 generates a clip movie corresponding to the text from the retrieved one or more videos. The processing module 150 may extract the start and end points of the subtitle associated with the text in the extracted subtitle file and extract the clip video corresponding to the extracted start and end points. For example, when the text is " I love you ", the processing module 150 extracts a caption point at which the text " I "quot; you " ends. Thereafter, the processing module 150 generates clip moving pictures corresponding to the start and end points of the subtitles in the extracted moving pictures.

프로세싱 모듈(150)은 자막의 시작 시점과 종료 시점에 대응하는 클립 동영상을 생성할 경우에 2가지의 생성 방식을 사용할 수 있다. The processing module 150 may use two methods of generating a clip moving picture corresponding to the start time and the end time of the caption.

첫번째 방식에 따르면, 프로세싱 모듈(150)은 검색된 원본 동영상에서 자막의 시작 시점과 종료 시점에 대응하는 동영상을 그대로 복사해서 클립 동영상을 생성할 수 있으며, 이를 카피(copy) 방식이라 칭할 수 있다. 카피 방식에 의할 경우에는, 원본 동영상과 별개의 독립적인 클립 동영상이 생성되므로, 클립 동영상의 용량이 그만큼 증대된다는 특징이 있다. According to the first method, the processing module 150 can copy the moving picture corresponding to the starting point and the ending point of the subtitle in the original moving picture to generate a moving picture clip, which can be called a copying method. In the case of the copying method, since the independent clip video independent of the original video is generated, the capacity of the clip video increases accordingly.

또한, 두번째 방식에 따르면, 프로세싱 모듈(150)은 검색된 원본 동영상에서 자막의 시작 시점과 종료 시점에 대응하는 동영상의 속성만을 이용해서 클립 동영상을 생성할 수 있다. 이를 인스턴스(Instance) 방식이 칭하며, 이렇게 생성된 클립 동영상을 인스턴스 본이라 칭할 수 있다. 인스턴스 방식에 의할 경우에는, 클립 동영상은 외형적으로는 자막의 시작 시점과 종료 시점에 대응하는 원본 동영상과 동일하나 원본 동영상의 속성값 만을 이용하여 생성된 것이므로, 클립 동영상의 용량이 크지 않다는 특징이 있다. 이에 따라 많은 클립 동영상들이 생성되는 경우에는 데이터베이스(140)의 메모리 공간을 많이 차지하지는 않는 특징이 있다. 다만, 인스턴스(Instance) 방식에 의할 경우에는, 원본 동영상이 삭제가 되거나 훼손이 되면 인스턴스 본은 즉시 함께 사라질 수 있는 위험성이 있다. In addition, according to the second method, the processing module 150 can generate a clip video using only the attributes of the video corresponding to the start and end points of the subtitles in the searched original video. This is referred to as an instance method, and the clip movie thus generated can be referred to as an instance bone. In the case of the instance method, since the clip video is generated by using only the attribute value of the original video, which is the same as the original video corresponding to the start time and end time of the caption, . Thus, when many clip videos are generated, the memory 140 does not occupy a large amount of memory space. However, when the original video is deleted or damaged, there is a risk that the instant copy may disappear immediately.

인스턴스 방식에 따라 생성된 클립 동영상은 원본 동영상의 속성 값만 달리줘도 완전히 다른 클립 동영상으로 속성이 변환될 수 있다. 프로세싱 모듈(150)은 생성된 클립 동영상의 속성 예를 들어, 영상의 색상, 밝기, 색조, 크기 등을 사용자의 요청에 따라 조정한다. 이에 따라, 여러 원본 동영상에서 서로 다른 느낌의 동영상을 스토리에 맞게 추출하여 동일한 속성 값(색조, 화면크기 등)을 조절 후 연결하면 원본은 그대로 보존 후에 또 하나의 새로운 인스턴스 영상본이 생성될 수 있다.A clip movie generated according to the instance method can be converted into a completely different clip movie even if only the property value of the original movie is different. The processing module 150 adjusts the attributes of the created clip movie, for example, the color, brightness, hue, size, and the like of the image according to a user's request. Accordingly, when a plurality of original moving images are extracted in accordance with the story and the same attribute values (color tone, screen size, etc.) are adjusted and connected, another original image image may be generated after preserving the original image .

프로세싱 모듈(150)은 텍스트와 관련된 동영상 파일이 하나인 경우에는 하나의 클립 동영상을 생성하며, 텍스트와 관련된 동영상 파일이 복수개인 경우에는 복수개의 클립 동영상들을 생성할 수 있다. 프로세싱 모듈(150)은 클립 동영상들을 생성할 때에, 생성되는 클립 동영상에 대응하는 클립 동영상 제목을 함께 생성할 수 있다. 클립 동영상 제목은 미리 설정된 방식으로 네이밍되어 생성될 수 있다. 프로세싱 모듈(150)은 생성된 클립 동영상들 및 이에 대응하는 클립 동영상 제목들을 입출력 인터페이스 모듈(110)로 전달한다. 또한, 인식된 텍스트와 관련된 동영상이 존재하지 않아서 음성 정보가 생성된 경우에는, 프로세싱 모듈(150)은 생성된 음성 정보에 대응하는 음성 제목을 입출력 인터페이스 모듈(110)로 전달할 수 있다. The processing module 150 may generate one clip video when there is one video file associated with the text, and may generate a plurality of clip videos when there are a plurality of video files associated with the text. When generating the clip videos, the processing module 150 may generate a clip movie title corresponding to the generated clip movie. The clip video title may be created by naming in a predetermined manner. The processing module 150 transfers the generated clip videos and the corresponding clip video titles to the input / output interface module 110. In addition, when voice information is generated because no moving picture related to the recognized text exists, the processing module 150 can transmit a voice title corresponding to the generated voice information to the input / output interface module 110. [

입출력 인터페이스 모듈(110)은 수신된 클립 동영상 제목들 또는 음성 제목에 대한 클립 리스트를 사용자 인터페이스 화면 상에 표시한다. The input / output interface module 110 displays a clip list of received clip titles or voice titles on the user interface screen.

도 4는 사용자 인터페이스 화면 상에 표시된 클립 리스트를 예시하는 참조도이다. 도 4를 참조하면, 사용자 인터페이스 화면은 클립 동영상 제목들 또는 음성 제목이 표시될 수 있는 검색창(400)과 후술할 스토리용 클립 동영상들이 표시될 수 있는 스토리창(410)으로 구분될 수 있다. 도 4에 도시된 바와 같이, "I love you"라는 텍스트와 관련한 동영상들로부터 추출된 클립 동영상 제목들에 해당하는 클립 리스트(예를 들어, 클립 동영상 1 내지 9)가 검색창(400)에 표시되어 있음을 확인할 수 있다.4 is a reference diagram illustrating a list of clips displayed on the user interface screen. Referring to FIG. 4, the user interface screen may be divided into a search window 400 in which clip titles or voice titles can be displayed, and a story window 410 in which clip animations for a story to be described later can be displayed. (E.g. clip videos 1 to 9) corresponding to the clip video titles extracted from the videos related to the text " I love you " are displayed on the search window 400 as shown in FIG. 4 .

입출력 인터페이스 모듈(110)은 사용자 인터페이스 화면에 표시된 클립 리스트 중에서 선택된 클립 동영상을 미리보기 화면을 통해 표시할 수 있다. The input / output interface module 110 may display a clip movie selected from the clip list displayed on the user interface screen on a preview screen.

도 5는 사용자 인터페이스 화면 상에 표시된 클립 리스트 중에서 선택된 클립 동영상에 대한 미리보기 화면(500)을 예시하는 참조도이다. 도 5를 참조하면, 사용자가 클립 리스트 중에서 어느 하나의 클립 동영상 제목(CV1)을 선택하면, 선택된 클립 동영상 제목(CV1)에 대응하는 클립 동영상이 미리보기 화면(500)에 표시됨을 확인할 수 있다.5 is a reference view illustrating a preview screen 500 for a clip movie selected from the clip list displayed on the user interface screen. Referring to FIG. 5, when the user selects one clip video title (CV1) from the clip list, the clip video corresponding to the selected clip video title (CV1) is displayed on the preview screen 500.

입출력 인터페이스 모듈(110)은 사용자 인터페이스 화면에 표시된 클립 리스트 중에서 선택된 클립 동영상을 스토리용 클립 동영상으로 표시한다. 스토리용 클립 동영상은 스토리 리스트 중에서 스토리 동영상을 구성하기 위해 선택되는 동영상을 의미한다. 예를 들어, 입출력 인터페이스 모듈(110)은 검색창에 표시된 클립 리스트 중에서 어느 하나의 클립 동영상 제목을 선택하여 스토리창으로 드레그앤드롭(drag-and-drop)방식으로 이동시켜서 스토리용 클립 동영상을 표시할 수 있다. The input / output interface module 110 displays a clip video selected from the clip list displayed on the user interface screen as a clip video for a story. The clip video for story refers to a moving picture selected from a story list to constitute a story video. For example, the input / output interface module 110 selects one of the clip video titles from the clip list displayed in the search window and moves the content to a story window in a drag-and-drop manner, can do.

도 6은 사용자 인터페이스 화면 상에 표시된 스토리용 클립 동영상을 예시하는 참조도이다. 도 6을 참조하면, 입출력 인터페이스 모듈(110)은 검색창에 표시된 클립 리스트 중에서 선택된 클립 동영상 제목(예를 들어, 클립 동영상 1(CV1), 클립 동영상 3(CV3), 클립 동영상 5(CV5), 클립 동영상 7(CV7))을 스토리창으로 드레그앤드롭(drag-and-drop)방식으로 이동시킴으로써, 스토리용 클립 동영상(SCV)을 표시할 수 있다.6 is a reference view illustrating a clip movie for a story displayed on the user interface screen. Referring to FIG. 6, the input / output interface module 110 displays a clip video title (for example, clip video 1 (CV1), clip video 3 (CV3), clip video 5 (CV5) Clip video 7 (CV7)) is moved to the story window in a drag-and-drop manner, thereby displaying the clip video for story (SCV).

프로세싱 모듈(150)은 스토리용 클립 동영상의 표시 후에, 입출력 인터페이스 모듈(110)을 통해 다른 텍스트가 입력되는가를 판단하고, 다른 텍스트가 입력되면, 다른 텍스트에 대응하는 클립 동영상의 생성 및 표시와 스토리용 클립 동영상의 표시를 반복적으로 수행하도록 제어한다. The processing module 150 determines whether another text is inputted through the input / output interface module 110 after displaying the clip movie for the story. If another text is inputted, the processing module 150 generates and displays a clip movie corresponding to another text, So that the display of the clip clip for the clip is repeatedly performed.

그 후, 프로세싱 모듈(150)은 상기 표시된 스토리용 클립 동영상을 포함하는 복수의 스토리용 클립 동영상들에 대한 동영상 재생 순서를 조정한다. 프로세싱 모듈(150)은 입출력 인터페이스 모듈(110)을 통한 드래그 동작에 대응하여 스토리용 클립 동영상의 재생 순서를 조정할 수 있다. The processing module 150 then adjusts the movie playback order for the clip animations for a plurality of stories, including clip animations for the displayed story. The processing module 150 may adjust the playback order of the story clip video in response to the drag operation through the input / output interface module 110.

도 7은 사용자 인터페이스 화면 중에서 스토리창에 표시된 스토리용 클립 동영상들의 재생 순서가 조정된 상태를 예시하는 참조도이다. 도 7을 참조하면, 스토리용 클립 동영상들(SCV)이 입출력 인터페이스 모듈(110)을 통한 드래그 과정을 통해 재생 순위(PS)가 조정됨으로써, 도 6에서 도시된 것과 다른 재생 순서(PS)를 갖게 됨을 확인할 수 있다.FIG. 7 is a reference view illustrating a state in which a reproduction order of clip animations for a story displayed in a story window is adjusted in a user interface screen. Referring to FIG. 7, the story sequence clip (SCV) is regulated through the dragging process through the input / output interface module 110 so that the playback sequence PS has a playback sequence PS different from that shown in FIG. 6 .

그 후, 프로세싱 모듈(150)은 상기 조정된 동영상 재생 순서에 대응하는 스토리 동영상을 저장하도록 입출력 인터페이스 모듈(110) 및 데이터베이스(140)를 제어한다. Thereafter, the processing module 150 controls the input / output interface module 110 and the database 140 to store the story moving picture corresponding to the adjusted moving picture playing order.

도 8은 입출력 인터페이스 모듈(110)의 메뉴 버튼을 통한 저장 동작을 예시하는 참조도이다. 도 8을 참조하면, 사용자가 스토리 동영상의 저장을 위한 저장 메뉴 버튼(800)을 선택하면, 입출력 인터페이스 모듈(110)은 스토리 동영상의 저장을 위해 필요한 스토리 제목 또는 스토리 제작자 등의 정보 입력을 위한 스토리 저장 메뉴창(810)을 표시한다. 이에 따라, 사용자가 스토리 제목 또는 스토리 제작자 정보 등을 입력하면, 프로세싱 모듈(150)은 입력된 정보를 스토리 동영상과 매핑하여 데이터베이스(140)에 저장하도록 제어한다. 한편, 입출력 인터페이스 모듈(110)은 스토리 동영상의 저장을 위한 메뉴버튼 이외에, 다른 스토리 동영상에 대한 열기, 삭제, 초기화 등를 위한 메뉴버튼을 표시할 수도 있다.FIG. 8 is a reference diagram illustrating a storing operation through a menu button of the input / output interface module 110. FIG. 8, when a user selects a storage menu button 800 for storing a story movie, the input / output interface module 110 generates a story for storing a story movie, a story for inputting information of a story creator, The storage menu window 810 is displayed. Accordingly, when the user inputs a story title or story maker information, the processing module 150 controls the input information to be mapped to the story moving picture and stored in the database 140. In addition, the input / output interface module 110 may display menu buttons for opening, deleting, initializing, etc., other story videos in addition to a menu button for storing a story movie.

동영상 재생 모듈(160)은 스토리 동영상을 저장한 후에, 저장된 스토리 동영상을 재생한다. The video playback module 160 plays back the stored story video after storing the story video.

도 9는 사용자 인터페이스 화면의 초기 화면에서 재생 메뉴버튼의 선택에 따른 스토리 동영상의 재생 화면을 예시하는 참조도이다. 도 9를 참조하면, 사용자 인터페이스 화면은 스토리 동영상 제목들이 표시되는 스토리 동영상 리스트창(900) 및 스토리 동영상이 재생되는 동영상 재생창(910)을 포함할 수 있다. 그밖에, 사용자 인터페이스 화면은 스토리 동영상의 재생을 위한 일시정지 버튼, 정지 버튼, 반복 버튼, 소리리 온/오프 버튼, 자막 설정 버튼 등을 표시할 수 있다.9 is a reference view illustrating a playback screen of a story moving picture according to a selection of a play menu button on an initial screen of the user interface screen. Referring to FIG. 9, the user interface screen may include a story video list window 900 displaying story video titles and a video playing window 910 where story videos are played. In addition, the user interface screen can display a pause button, a stop button, a repeat button, a sound on / off button, a caption setting button, and the like for playing a story video.

스토리 동영상 리스트창(900) 중에서 사용자가 어느 하나의 스토리 동영상 제목을 선택하면, 입출력 인터페이스 모듈(110)은 선택된 스토리 동영상에 대한 재생 명령을 동영상 재생 모듈(160)로 전달한다. 동영상 재생 모듈(160)은 입출력 인터페이스 모듈(110)로부터 전달받은 스토리 동영상 제목에 대응하는 동영상을 동영상 재생창(910)을 통해 재생시킨다. 이에 따라, 동영상 재생창(910)을 통해 선택된 스토리 동영상이 재생된다. When the user selects one of the story titles in the story video list window 900, the input / output interface module 110 delivers a play command for the selected story to the video playback module 160. [ The video playback module 160 plays back the video corresponding to the story video title received from the input / output interface module 110 through the video playback window 910. Accordingly, the story moving picture selected through the moving picture playback window 910 is played back.

도 10은 본 발명에서 입력 텍스트에 따른 스토리 동영상 생성방법을 설명하기 위한 일 실시예의 플로차트이다. FIG. 10 is a flowchart of a method for generating a story moving picture according to an input text according to an embodiment of the present invention.

먼저, 스토리 동영상 생성장치는 텍스트의 입력을 인식한다(S1000 단계). 스토리 동영상 생성장치는 사용자 인터페이스 화면을 통해 입력되는 텍스트 또는 스캐닝 펜을 통해 입력되는 텍스트에 대한 문자 의미정보를 인식할 수 있다. First, the story moving picture generating apparatus recognizes input of text (step S1000). The story-moving image generating apparatus can recognize the text input through the user interface screen or the character semantics information about the text input through the scanning pen.

S1000 단계 후에, 스토리 동영상 생성장치는 인식된 텍스트와 관련된 적어도 하나 이상의 동영상으로부터 텍스트에 대응하는 클립 동영상을 생성 및 표시한다(S1002 단계).After step S1000, the story-moving image generating apparatus generates and displays a clip movie corresponding to the text from at least one or more moving images related to the recognized text (step S1002).

도 11은 도 10에 도시된 클립 동영상의 생성 및 표시 단계를 설명하기 위한 일 실시예의 플로차트이다.FIG. 11 is a flowchart of an embodiment for explaining the steps of generating and displaying the clip moving picture shown in FIG.

스토리 동영상 생성장치는 인식된 텍스트와 관련된 동영상을 검색한다(S1100 단계). 스토리 동영상 생성장치는 인식된 텍스트와 관련된 자막을 포함하는 자막 파일을 검색한 후에, 상기 검색된 자막 파일에 대응하는 동영상을 검색할 수 있다. 스토리 동영상 생성장치는 인터넷망에 연결되어 동영상 서비스를 제공하거나 동영상을 게시하는 서버와 접속하여 텍스트와 관련된 동영상을 검색할 수 있다. 또한, 스토리 동영상 생성장치는 데이터베이스에 기 저장되어 있는 동영상들 중에서 텍스트에 대응하는 동영상을 검색할 수도 있다. The story-moving image generating apparatus searches for a moving image associated with the recognized text (step S1100). The story-moving image generating apparatus may search for a subtitle file including a subtitle associated with the recognized text, and then search for a moving image corresponding to the searched subtitle file. The story video generation apparatus can be connected to the Internet network to provide a video service or access a server for posting a video, thereby searching for a video related to the text. Also, the story moving picture generating apparatus may search for moving pictures corresponding to the text among the moving pictures stored in the database.

S1100 단계 후에, 스토리 동영상 생성장치는 S1100 단계에서 검색된 동영상이 존재하는가를 판단한다(S1102 단계). After step S1100, the story-moving image generating apparatus determines whether the searched moving image exists in step S1100 (step S1102).

만일, S1102 단계에서, 검색된 동영상이 존재한다면, 스토리 동영상 생성장치는 검색된 동영상으로부터 텍스트에 대응하는 클립 동영상을 생성한다(S1104 단계). 스토리 동영상 생성장치는 추출된 자막 파일에서 텍스트와 관련된 자막의 시작 시점과 종료 시점을 추출하고, 추출된 상기 시작 시점 및 상기 종료 시점에 대응하는 상기 클립 동영상을 생성할 수 있다. 스토리 동영상 생성장치는 자막의 시작 시점과 종료 시점에 대응하는 클립 동영상을 2가지의 방식으로 생성할 수 있다. 첫번째 방식으로, 스토리 동영상 생성장치는 검색된 원본 동영상에서 자막의 시작 시점과 종료 시점에 대응하는 동영상을 그대로 복사해서 클립 동영상을 생성할 수 있다. 또한, 두번째 방식으로, 스토리 동영상 생성장치는 검색된 원본 동영상에서 자막의 시작 시점과 종료 시점에 대응하는 동영상의 속성만을 이용해서 클립 동영상을 생성할 수 있다.If the retrieved moving image exists in step S1102, the story moving image generating apparatus generates a clip moving image corresponding to the text from the searched moving image (step S1104). The story moving picture generating apparatus may extract a start time and an end time of a caption associated with the text in the extracted caption file and generate the clip video corresponding to the extracted start time and end time. The story moving picture generating apparatus can generate the clip moving picture corresponding to the start time and the end time of the subtitle in two ways. In the first method, the story moving picture generating apparatus can generate a clip moving picture by copying the moving picture corresponding to the start point and the end point of the subtitle in the original moving picture. In the second method, the story moving picture generating apparatus can generate a clip moving picture using only the attributes of the moving picture corresponding to the start time and the end time of the subtitle in the searched original moving picture.

스토리 동영상 생성장치는 텍스트와 관련된 동영상 파일이 하나인 경우에는 하나의 클립 동영상을 생성하며, 텍스트와 관련된 동영상 파일이 복수개인 경우에는 복수개의 클립 동영상들을 생성할 수 있다. 스토리 동영상 생성장치는 클립 동영상들을 생성할 때에, 생성되는 클립 동영상에 대응하는 클립 동영상 제목을 함께 생성할 수 있다. 클립 동영상 제목은 미리 설정된 방식으로 네이밍되어 생성될 수 있다. The story moving picture generating apparatus generates one clip moving image when the moving picture file related to the text is one, and a plurality of clip moving pictures when the moving picture file related to the text is plural. The story-moving-image generating apparatus may generate a clip-moving-image title corresponding to the generated moving-image clip when generating the moving-image clip. The clip video title may be created by naming in a predetermined manner.

S1104 단계 후에, 스토리 동영상 생성장치는 생성된 클립 동영상의 속성을 조정한다(S1106 단계). 인스턴스 영상본은 속성 값만 달리줘도 완전히 다른 동영상으로 변환된다. 따라서, 스토리 동영상 생성장치는 생성된 클립 동영상의 속성 예를 들어, 영상의 색상, 밝기, 색조, 크기 등을 사용자의 요청에 따라 조정할 수 있다. 이에 따라, 여러 원본 동영상에서 서로 다른 느낌의 동영상을 스토리에 맞게 추출하여 동일한 속성 값(색조, 화면크기 등)을 조절 후 연결하면 원본은 그대로 보존 후에 또 하나의 새로운 인스턴스 영상본이 생성될 수 있다.After step S1104, the story moving picture generating apparatus adjusts the property of the generated clip moving picture (step S1106). Instance video patterns are converted to completely different videos even if only property values are different. Accordingly, the story moving picture generating apparatus can adjust the color, brightness, color tone, size, and the like of the created clip movie, for example, an image according to a user's request. Accordingly, when a plurality of original moving images are extracted in accordance with the story and the same attribute values (color tone, screen size, etc.) are adjusted and connected, another original image image may be generated after preserving the original image .

S1106 단계 후에, 스토리 동영상 생성장치는 생성된 클립 동영상의 클립 리스트를 사용자 인터페이스 화면에 표시한다(S1108 단계). 스토리 동영상 생성장치는 전술한 도 4에 도시된 바와 같이, 클립 동영상 제목들이 표시될 수 있는 검색창과 후술할 스토리용 클립 동영상들이 표시될 수 있는 스토리창을 포함하는 사용자 인터페이스 화면을 제공할 수 있다. 따라서, 스토리 동영상 생성장치는 텍스트와 관련한 동영상들로부터 추출된 클립 동영상 제목들에 해당하는 클립 리스트를 검색창에 표시할 수 있다.After step S1106, the story-moving image generating apparatus displays a clip list of the generated clip movie on the user interface screen (step S1108). As shown in FIG. 4, the story-moving-image generating apparatus can provide a user interface screen including a search window in which clip video titles can be displayed and a story window in which clip videos for a story to be described later can be displayed. Accordingly, the story-moving image generating apparatus can display a clip list corresponding to the clip-movie titles extracted from the videos related to the text in the search window.

S1108 단계 후에, 스토리 동영상 생성장치는 상기 클립 리스트에 대한 사용자의 선택에 따라, 상기 클립 리스트 중 선택된 클립 동영상을 미리보기 화면을 통해 표시한다(S1110 단계). 사용자가 클립 리스트 중에서 어느 하나의 클립 동영상 제목을 선택하면, 스토리 동영상 생성장치는 선택된 클립 동영상 제목에 대응하는 클립 동영상을 미리보기 화면에 표시할 수 있다.After step S1108, the story moving picture generating apparatus displays the selected clip movie in the preview screen on the preview screen according to the user's selection of the clip list (step S1110). If the user selects any clip video title from the clip list, the story video generation apparatus can display the clip video corresponding to the selected clip video title on the preview screen.

또한, S1102 단계에서, 검색된 동영상이 존재하지 않는다면, 스토리 동영상 생성장치는 인식된 텍스트에 대응하는 음성 정보를 생성한다(S1112 단계). 그 후, 스토리 동영상 생성장치는 생성된 음성 정보에 대응하는 음성 제목을 사용자 인터페이스 화면 상에 표시하는 과정(S1108 단계) 및 미리 보기 화면에 표시하는 과정(S1110 단계)를 수행할 수 있다. 이는 텍스트에 대응하는 동영상이 존재하지 않는 경우에, 동영상 대신에 텍스트에 대응하는 음성 정보를 제공하기 위해 음성 제목을 사용자 인터페이스 화면의 검색창에 표시한다.If the retrieved moving picture does not exist in step S1102, the story moving picture generating apparatus generates voice information corresponding to the recognized text (step S1112). Thereafter, the story-moving image generating apparatus may perform a process of displaying the voice title corresponding to the generated voice information on the user interface screen (step S1108) and displaying the voice title on the preview screen (step S1110). This displays a voice title in the search window of the user interface screen in order to provide the voice information corresponding to the text instead of the video when there is no video corresponding to the text.

한편, S1002 단계 후에, 스토리 동영상 생성장치는 표시된 클립 동영상 중에서 선택된 클립 동영상을 스토리 동영상의 구성을 위한 스토리용 클립 동영상으로 표시한다(S1004 단계). 스토리 동영상 생성장치는 검색창에 표시된 클립 리스트 중에서 어느 하나의 클립 동영상 제목을 선택하여 스토리창으로 드레그앤드롭(drag-and-drop)방식으로 이동시킴으로써, 선택 클립 동영상을 스토리용 클립 동영상으로 표시할 수 있다. On the other hand, after step S1002, the story-moving image generating apparatus displays the selected clip movie among the displayed clip images as a clip image for story for the structure of the story movie in step S1004. The story-moving image generating apparatus selects any one of the clip-movie titles from the list of clips displayed in the search window and moves the selected clip-title to the story window in a drag-and-drop manner, thereby displaying the selected clip- .

S1004 단계 후에, 스토리 동영상 생성장치는 다른 텍스트가 입력되는가를 판단한다(S1006 단계). 다른 텍스트가 입력되면, 스토리 동영상 생성장치는 상기 다른 텍스트에 대응하는 클립 동영상의 생성 및 표시 단계와 스토리용 클립 동영상의 표시 단계(S1000 단계 내지 S1004 단계)를 반복적으로 수행할 수 있다.After step S1004, the story-moving picture generating apparatus determines whether another text is input (step S1006). If another text is input, the story-moving image generating apparatus can repeatedly perform the steps of generating and displaying the clip movie corresponding to the different text and displaying the clip movie for the story (steps S1000 to S1004).

S1006 단계에서, 다른 텍스트가 입력되지 않는다면, 스토리 동영상 생성장치는 표시된 스토리용 클립 동영상을 포함하는 복수의 스토리용 클립 동영상들에 대한 동영상 재생 순서를 조정한다(S1008 단계). 스토리 동영상 생성장치는 사용자 인터페이스 화면을 통한 드래그 동작에 대응하여 스토리용 클립 동영상의 재생 순서를 조정할 수 있다. If no other text is input in step S1006, the story moving image generating apparatus adjusts a moving image playback order for a plurality of story clip animations including a story clip image in step S1008. The story moving picture generating apparatus can adjust the order of playing the story clip animated picture in response to the drag operation through the user interface screen.

S1008 단계 후에, 스토리 동영상 생성장치는 조정된 동영상 재생 순서에 대응하는 스토리 동영상을 저장한다(S1010 단계). 사용자가 스토리 동영상의 저장을 위한 사용자 인터페이스 화면의 저장 메뉴 버튼을 선택하면, 스토리 동영상 생성장치는 스토리 동영상의 저장을 위해 필요한 스토리 제목 또는 스토리 제작자 등의 정보 입력을 위한 스토리 저장 메뉴창을 표시한다. 이에 따라, 사용자가 스토리 제목 또는 스토리 제작자 정보 등을 입력하면, 스토리 동영상 생성장치는 입력된 정보를 스토리 동영상과 매핑하여 데이터베이스에 저장한다. After step S1008, the story moving picture generating apparatus stores a story moving picture corresponding to the adjusted moving picture playing order (step S1010). When the user selects the storage menu button on the user interface screen for storing the story movie, the story movie generation apparatus displays a story storage menu window for inputting information such as a story title or a story producer necessary for storing the story animation. Accordingly, when the user inputs a story title or story maker information, the story moving picture generating device maps the inputted information to the story moving picture and stores the mapped information in the database.

S1010 단계 후에, 스토리 동영상 생성장치는 상기 저장된 스토리 동영상을 재생한다(S1012 단계). 스토리 동영상 생성장치는 스토리 동영상의 재생을 위한 사용자 인터페이스 화면을 표시할 수 있다. 사용자 인터페이스 화면은 스토리 동영상 제목들이 표시되는 스토리 동영상 리스트창 및 스토리 동영상이 재생되는 동영상 재생창을 포함할 수 있다. 스토리 동영상 리스트창 중에서 사용자가 어느 하나의 스토리 동영상 제목을 선택하면, 스토리 동영상 생성장치는 스토리 동영상 제목에 대응하는 동영상을 동영상 재생창을 통해 재생시킨다. After step S1010, the story moving picture generating apparatus reproduces the stored story moving picture (step S1012). The story moving picture generating apparatus can display a user interface screen for playing the story moving picture. The user interface screen may include a story video list window in which story video titles are displayed and a movie play window in which story videos are played. When the user selects any of the story video titles in the story video list window, the story video generation apparatus reproduces the video corresponding to the story video title through the video playback window.

본 발명은 소프트웨어적인 프로그램으로 구현하여 컴퓨터로 읽을 수 있는 소정 기록매체에 기록해 둠으로써 다양한 재생장치에 적용할 수 있다. 다양한 재생장치는 PC, 노트북, 휴대용 단말 등일 수 있다. 예컨대, 기록매체는 각 재생장치의 내장형으로 하드디스크, 플래시 메모리, RAM, ROM 등이거나, 외장형으로 CD-R, CD-RW와 같은 광디스크, 콤팩트 플래시 카드, 스마트 미디어, 메모리 스틱, 멀티미디어 카드일 수 있다.The present invention can be applied to various playback apparatuses by being implemented in a software program and recorded in a predetermined recording medium readable by a computer. The various playback devices may be a PC, a notebook, a portable terminal, and the like. For example, the recording medium may be a hard disk, a flash memory, a RAM, a ROM, or the like embedded in each reproduction apparatus, or an external optical disk such as a CD-R or a CD-RW, a compact flash card, a smart media, have.

이상과 같이 본 발명의 실시예를 설명하였으나, 본 발명의 명세서에 개시된 실시예들은 본 발명을 한정하는 것이 아니다. 본 발명의 범위는 아래의 특허청구범위에 의해 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술도 본 발명의 범위에 포함되는 것으로 해석해야 할 것이다.Although the embodiments of the present invention have been described above, the embodiments disclosed in the specification of the present invention do not limit the present invention. The scope of the present invention should be construed according to the following claims, and all the techniques within the scope of equivalents should be construed as being included in the scope of the present invention.

100: 스토리 동영상 생성장치
110: 입출력 인터페이스 모듈
120: 텍스트 인식모듈
130: 통신 인터페이스 모듈
140: 데이터베이스
150: 프로세싱 모듈
160: 동영상 재생모듈100: Story video creation device
110: Input / output interface module
120: Text recognition module
130: Communication interface module
140: Database
150: Processing module
160: Video Playback Module

Claims (22)

텍스트의 입력을 인식하는 단계;
상기 인식된 텍스트와 관련된 적어도 하나 이상의 관련 동영상으로부터 상기 텍스트에 대응하는 클립 동영상을 생성 및 표시하는 단계;
상기 표시된 클립 동영상 중에서 선택된 클립 동영상을 스토리 동영상의 구성을 위한 스토리용 클립 동영상으로 표시하는 단계;
상기 표시된 스토리용 클립 동영상을 포함하는 복수의 스토리용 클립 동영상들에 대한 동영상 재생 순서를 조정하는 단계; 및
상기 조정된 동영상 재생 순서에 대응하는 스토리 동영상을 저장하는 단계를 포함하고,
상기 클립 동영상을 생성 및 표시하는 단계는,
상기 관련 동영상을 검색하는 단계;
상기 검색된 관련 동영상으로부터 상기 텍스트에 대응하는 클립 동영상을 생성하는 단계; 및
상기 생성된 클립 동영상의 클립 리스트를 사용자 인터페이스 화면에 표시하는 단계를 포함하고,
상기 관련 동영상을 검색하는 단계는,
상기 입력되는 텍스트와 관련된 자막을 포함하는 자막 파일을 추출한 후에, 상기 추출된 자막 파일에 대응하는 상기 관련 동영상을 검색하고,
상기 클립 동영상을 생성하는 단계는,
상기 검색된 관련 동영상 중에서 상기 자막이 나타나는 동영상의 시작 시점과 상기 자막이 사라지는 동영상의 종료 시점을 추출하고, 추출된 상기 시작 시점 및 상기 종료 시점 사이의 동영상을 상기 클립 동영상으로 생성하며,
상기 클립 동영상의 생성시에 상기 관련 동영상에서 상기 시작 시점과 상기 종료 시점 사이의 동영상을 그대로 복사하는 카피 방식 또는 상기 시작 시점과 상기 종료 시점의 속성값을 이용하는 인스턴스 방식 중 어느 하나를 선택하여 상기 클립 동영상을 생성하는 것을 특징으로 하는 입력 텍스트에 따른 스토리 동영상 생성방법. Recognizing input of text;
Generating and displaying a clip movie corresponding to the text from at least one or more related videos associated with the recognized text;
Displaying a clip movie selected from among the displayed clip animations as a clip animation for a story for constituting a story animation;
Adjusting a moving picture playing order of a plurality of story clip videos for the story including the displayed clip clip for the story; And
And storing the story moving picture corresponding to the adjusted moving picture playing order,
Wherein the generating and displaying the clip moving picture comprises:
Searching for the related moving picture;
Generating a clip moving picture corresponding to the text from the retrieved related moving picture; And
And displaying a clip list of the generated clip movie on a user interface screen,
The step of searching for the related moving image may include:
Extracts a caption file including a caption associated with the input text, searches the related caption corresponding to the extracted caption file,
Wherein the generating the clip moving picture comprises:
Extracting a start time point of a moving picture in which the subtitles are displayed and a moving picture end point in which the subtitles disappear from among the searched related moving pictures and generating a moving picture between the extracted starting point and the end point as the clip moving picture,
A copying method of copying the moving picture between the starting point and the ending point in the related moving picture at the time of generating the clip moving image or an instance method using the attribute value of the starting point and the end point, And generating a moving picture according to the input text. 청구항 1에 있어서,
상기 텍스트의 입력을 인식하는 단계는,
스캐닝 펜을 이용한 스캐닝 동작에 따라 입력된 텍스트를 인식하는 것을 특징으로 하는 입력 텍스트에 따른 스토리 동영상 생성방법.The method according to claim 1,
Wherein recognizing the input of the text comprises:
And the input text is recognized according to the scanning operation using the scanning pen. 삭제delete 삭제delete 삭제delete 삭제delete 청구항 1에 있어서,
상기 클립 동영상을 생성한 후에, 상기 생성된 클립 동영상의 색상, 밝기, 색조, 크기 중 적어도 하나를 포함하는 속성을 조정하는 단계를 더 포함하는 것을 특징으로 하는 입력 텍스트에 따른 스토리 동영상 생성방법.The method according to claim 1,
Further comprising the step of adjusting an attribute including at least one of a color, a brightness, a color tone, and a size of the generated clip moving image after the clip moving image is generated. 청구항 1에 있어서,
상기 클립 리스트에 대한 사용자의 선택에 따라, 상기 클립 리스트 중 선택된 클립 동영상을 미리보기 화면을 통해 표시하는 단계를 더 포함하는 것을 특징으로 하는 입력 텍스트에 따른 스토리 동영상 생성방법. The method according to claim 1,
Further comprising the step of displaying, through a preview screen, a clip movie selected from the clip list according to a user's selection of the clip list. 청구항 1에 있어서,
상기 인식된 텍스트와 관련된 동영상을 검색하는 단계 후에, 상기 검색된 동영상이 존재하는가를 판단하는 단계; 및
상기 검색된 동영상이 존재하지 않는다면, 상기 인식된 텍스트에 대응하는 음성 정보를 생성하는 단계를 더 포함하고,
상기 생성된 음성 정보를 상기 사용자 인터페이스 화면에 표시하는 것을 특징으로 하는 입력 텍스트에 따른 스토리 동영상 생성방법. The method according to claim 1,
Determining whether the searched moving image exists after searching for a moving image related to the recognized text; And
Further comprising generating voice information corresponding to the recognized text if the retrieved moving picture does not exist,
And displaying the generated voice information on the user interface screen. 청구항 1에 있어서,
상기 스토리용 클립 동영상을 표시한 후에, 다른 텍스트가 입력되는가를 판단하는 단계를 더 포함하고,
다른 텍스트가 입력되면, 상기 다른 텍스트에 대응하는 클립 동영상의 생성 및 표시 단계와 스토리용 클립 동영상의 표시 단계를 반복적으로 수행하는 것을 특징으로 하는 입력 텍스트에 따른 스토리 동영상 생성방법. The method according to claim 1,
Further comprising the step of determining whether another text is input after displaying the story clip video,
A step of generating and displaying a clip movie corresponding to the different text and a step of displaying a clip movie for a story are repeatedly performed when another text is input. 청구항 1에 있어서,
상기 스토리 동영상을 저장한 후에, 상기 저장된 스토리 동영상을 재생하는 단계를 더 포함하는 것을 특징으로 하는 입력 텍스트에 따른 스토리 동영상 생성방법. The method according to claim 1,
The method of claim 1, further comprising: after storing the story moving picture, playing the stored story moving picture. 텍스트의 입력을 인식하는 텍스트 인식모듈;
상기 텍스트를 입력받고, 상기 인식된 텍스트와 관련된 적어도 하나 이상의 관련 동영상으로부터 생성된 클립 동영상의 클립 리스트를 표시하고, 상기 표시된 클립 리스트 중에서 선택된 클립 동영상을 스토리 동영상을 구성하기 위한 스토리용 클립 동영상으로 표시하는 입출력 인터페이스 모듈;
상기 클립 동영상을 생성하고, 상기 표시된 스토리용 클립 동영상을 포함하는 복수의 스토리용 클립 동영상들에 대한 동영상 재생 순서를 조정하고, 상기 조정된 동영상 재생 순서에 대응하는 스토리 동영상을 저장하도록 제어하는 프로세싱 모듈; 및
상기 프로세싱 모듈의 제어에 따라, 상기 스토리 동영상을 저장하는 데이터베이스를 포함하고,
상기 프로세싱 모듈은,
상기 입력되는 텍스트와 관련된 자막을 포함하는 자막 파일을 추출한 후에, 상기 추출된 자막 파일에 대응하는 상기 관련 동영상을 검색하고, 상기 검색된 관련 동영상 중에서 상기 자막이 나타나는 동영상의 시작 시점과 상기 자막이 사라지는 동영상의 종료 시점을 추출하고, 추출된 상기 시작 시점 및 상기 종료 시점 사이의 동영상을 상기 클립 동영상으로 생성하며, 상기 클립 동영상의 생성시에 상기 관련 동영상에서 상기 시작 시점과 상기 종료 시점 사이의 동영상을 그대로 복사하는 카피 방식 또는 상기 시작 시점과 상기 종료 시점의 속성값을 이용하는 인스턴스 방식 중 어느 하나를 선택하여 상기 클립 동영상을 생성하는 것을 특징으로 하는 입력 텍스트에 따른 스토리 동영상 생성장치.A text recognition module for recognizing input of text;
And displays a clip list of a clip movie generated from at least one or more relevant videos related to the recognized text, and displays a clip movie selected from the displayed clip list as a clip movie for a story for constituting a story movie An input / output interface module;
A processing module for generating the clip moving image, adjusting a moving image playback order of a plurality of story clip videos for the story including the displayed clip clip for the displayed story, and storing the story moving image corresponding to the adjusted moving image playback order, ; And
And a database for storing the story moving picture under the control of the processing module,
Wherein the processing module comprises:
A subtitle file including subtitles related to the input text is extracted and then the related moving picture corresponding to the extracted subtitles file is searched for and the starting point of the moving picture in which the subtitles appear and the moving picture And generating a moving image between the extracted starting point and the end point as the clip moving image, and when generating the clip moving image, moving the moving image between the starting point and the end point in the related moving image as it is Wherein the clip movie is generated by selecting any one of a copying method of copying or an instance method using an attribute value of the start point and the end point. 청구항 12에 있어서,
상기 입출력 인터페이스 모듈은,
스캐닝 펜을 이용한 스캐닝 동작에 따라 상기 텍스트를 입력받는 것을 특징으로 하는 입력 텍스트에 따른 스토리 동영상 생성장치.The method of claim 12,
The input / output interface module includes:
And the text is input according to a scanning operation using a scanning pen. 삭제delete 삭제delete 삭제delete 삭제delete 청구항 12에 있어서,
상기 프로세싱 모듈은,
상기 생성된 클립 동영상의 색상, 밝기, 색조, 크기 중 적어도 하나를 포함하는 속성을 조정하는 것을 특징으로 하는 입력 텍스트에 따른 스토리 동영상 생성장치.The method of claim 12,
Wherein the processing module comprises:
And adjusting attributes including at least one of color, brightness, hue, and size of the generated clip moving image. 청구항 12에 있어서,
상기 입출력 인터페이스 모듈은,
상기 클립 리스트에 대한 사용자의 선택에 따라, 상기 클립 리스트 중 선택된 클립 동영상을 미리보기 화면을 통해 표시하는 것을 특징으로 하는 입력 텍스트에 따른 스토리 동영상 생성장치. The method of claim 12,
The input / output interface module includes:
And displaying a selected clip movie of the clip list on a preview screen according to a user's selection of the clip list. 청구항 12에 있어서,
상기 프로세싱 모듈은,
상기 인식된 텍스트와 관련된 동영상을 검색하는 경우에, 상기 검색된 동영상이 존재하는가를 판단하고, 상기 검색된 동영상이 존재하지 않는다면, 상기 인식된 텍스트에 대응하는 음성 정보를 생성하는 것을 특징으로 하는 입력 텍스트에 따른 스토리 동영상 생성장치. The method of claim 12,
Wherein the processing module comprises:
When the moving picture related to the recognized text is searched, it is determined whether the searched moving picture exists, and if the searched moving picture does not exist, the audio information corresponding to the recognized text is generated. A device for generating a story video. 청구항 12에 있어서,
상기 프로세싱 모듈은,
상기 스토리용 클립 동영상을 표시한 후에, 다른 텍스트가 입력되는가를 판단하고, 다른 텍스트가 입력되면, 상기 다른 텍스트에 대응하는 클립 동영상의 생성 및 표시와 스토리용 클립 동영상의 표시를 반복하도록 제어하는 것을 특징으로 하는 입력 텍스트에 따른 스토리 동영상 생성장치.The method of claim 12,
Wherein the processing module comprises:
After the story clip video is displayed, it is determined whether other text is inputted. If another text is inputted, control is performed so that generation and display of the clip movie corresponding to the other text and display of the clip movie for the story are repeated Wherein the input device is a device for generating a story moving picture according to an input text. 청구항 12에 있어서,
상기 스토리 동영상을 저장한 후에, 상기 저장된 스토리 동영상을 재생하는 동영상 재생모듈을 더 포함하는 것을 특징으로 하는 입력 텍스트에 따른 스토리 동영상 생성장치.
The method of claim 12,
Further comprising a moving picture playing module for playing back the stored story moving picture after storing the story moving picture.
KR1020170151625A 2017-11-14 2017-11-14 Generation method and apparatus of story video according to input text KR101968599B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170151625A KR101968599B1 (en) 2017-11-14 2017-11-14 Generation method and apparatus of story video according to input text

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170151625A KR101968599B1 (en) 2017-11-14 2017-11-14 Generation method and apparatus of story video according to input text

Publications (1)

Publication Number Publication Date
KR101968599B1 true KR101968599B1 (en) 2019-04-15

Family

ID=66104891

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170151625A KR101968599B1 (en) 2017-11-14 2017-11-14 Generation method and apparatus of story video according to input text

Country Status (1)

Country Link
KR (1) KR101968599B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102570134B1 (en) * 2022-11-28 2023-08-28 앞으로아카데미 주식회사 Method for generating short-form clip and system thereof
KR102602936B1 (en) * 2023-07-14 2023-11-16 (주)엔아이지씨 Electronic device for generating short form based on collected data through artificial intelligence and method using the same

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100056839A (en) * 2008-11-20 2010-05-28 주식회사 대우일렉트로닉스 Apparatus and method for searching frame through text recognition of video data
JP2014501940A (en) * 2010-11-10 2014-01-23 ロイ、ダニエル Language training system
KR20150034877A (en) * 2013-09-26 2015-04-06 넥스트리밍(주) Method, apparatus, terminal, and recording medium for providing story service
KR101780029B1 (en) * 2017-05-26 2017-09-19 한성호 Scanning pen, and scanning method using thefor scanning the same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100056839A (en) * 2008-11-20 2010-05-28 주식회사 대우일렉트로닉스 Apparatus and method for searching frame through text recognition of video data
JP2014501940A (en) * 2010-11-10 2014-01-23 ロイ、ダニエル Language training system
KR20150034877A (en) * 2013-09-26 2015-04-06 넥스트리밍(주) Method, apparatus, terminal, and recording medium for providing story service
KR101780029B1 (en) * 2017-05-26 2017-09-19 한성호 Scanning pen, and scanning method using thefor scanning the same

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102570134B1 (en) * 2022-11-28 2023-08-28 앞으로아카데미 주식회사 Method for generating short-form clip and system thereof
KR102602936B1 (en) * 2023-07-14 2023-11-16 (주)엔아이지씨 Electronic device for generating short form based on collected data through artificial intelligence and method using the same

Similar Documents

Publication Publication Date Title
US8719029B2 (en) File format, server, viewer device for digital comic, digital comic generation device
JP5634853B2 (en) Electronic comic viewer device, electronic comic browsing system, viewer program, and electronic comic display method
US11350178B2 (en) Content providing server, content providing terminal and content providing method
JP5674450B2 (en) Electronic comic viewer device, electronic comic browsing system, viewer program, recording medium on which the viewer program is recorded, and electronic comic display method
US20120276504A1 (en) Talking Teacher Visualization for Language Learning
EP2106140A2 (en) Information display apparatus and information display method
KR20100095633A (en) Method and apparatus for playing pictures
JP2003307997A (en) Language education system, voice data processor, voice data processing method, voice data processing program, and recording medium
KR20090003533A (en) Method and system for creating and operating user generated contents and personal portable device using thereof
WO2012086359A1 (en) Viewer device, viewing system, viewer program, and recording medium
KR101968599B1 (en) Generation method and apparatus of story video according to input text
JP5674451B2 (en) Viewer device, browsing system, viewer program, and recording medium
KR102346668B1 (en) apparatus for interpreting conference
JP7229296B2 (en) Related information provision method and system
JP2005321706A (en) Method for reproducing digital book and apparatus for the same
JP2004325905A (en) Device and program for learning foreign language
US9253436B2 (en) Video playback device, video playback method, non-transitory storage medium having stored thereon video playback program, video playback control device, video playback control method and non-transitory storage medium having stored thereon video playback control program
JP2006195900A (en) Multimedia content generation device and method
KR102359962B1 (en) Apparatus for interpreting presentation
KR102295826B1 (en) E-book service method and device for providing sound effect
KR100879667B1 (en) Method of learning language in multimedia processing apparatus
KR101111688B1 (en) Apparatus and Method for Helping Language Learning
JP2008299493A (en) Content creation support system and computer program
KR20230062650A (en) Cartoon reproduction system, its method, its computer software program, and cartoon data used therein
KR101089679B1 (en) System and method for producing augmented reality contents, and the recording media storing the program performing the said method

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant