KR20190130774A

KR20190130774A - 언어 교육을 위한 영상의 자막 처리 방법 및 장치

Info

Publication number: KR20190130774A
Application number: KR1020180055306A
Authority: KR
Inventors: 남정화
Original assignee: (주)우리랑코리아
Priority date: 2018-05-15
Filing date: 2018-05-15
Publication date: 2019-11-25
Also published as: KR102552857B1

Abstract

본 발명은 언어 교육을 위한 영상의 자막 처리 방법 및 장치에 관한 것으로서, 언어 교육을 위한 영상의 자막 처리 방법은 동영상의 음성을 수신하고 인식하여 텍스트로 수신하는 단계; 텍스트 중 적어도 일부에 대해서 데이터베이스를 참조하여 단어의 난이도 또는 문법적 요소를 결정하는 단계; 단어의 난이도 또는 문법적 요소를 텍스트 중 적어도 일부에 다른 텍스트와 구별되도록 적용하는 단계; 및 적용된 텍스트 중 적어도 일부를 동영상 상에 자막으로 출력하는 단계를 포함한다. 이에, 사용자에게 만족도 높은 자막 서비스를 제공할 수 있다.

Description

언어 교육을 위한 영상의 자막 처리 방법 및 장치{SUBTITLE PROCESSING METHOD FOR LANGUAGE EDUCATION AND APPARATUS THEREOF}

본 발명은 언어 교육을 위한 영상의 자막 처리 방법 및 장치에 관한 것으로서, 보다 상세하게는 음성 인식을 기반으로 동영상의 음성을 텍스트로 수신하고, 단어의 난이도 및 문법적 요소를 결정하여 다른 텍스트와 구별되도록 적용함으로써, 사용자의 언어 학습 효율을 증대시키는, 언어 교육을 위한 영상의 자막 처리 방법 및 장치에 관한 것이다.

최근 들어, 한국어 대한 외국인들의 관심도가 크게 증가하고 있다. 이에, 한국어를 학습하고자 하는 외국인들은 드라마, 가요, 예능 프로그램 등 다양한 콘텐츠를 활용하는 경우가 대다수이다. 이때, 외국인들은 한국어를 자유롭게 구사하는 것을 최종적인 목표로 하며, 이를 위해 아주 기초적인 문자, 발음 등에서부터 언어 학습을 시작한다. 뿐만 아니라, 언어를 학습하기 위해, 학원 강의, 어학 연수, 방송 청취 등 다양한 방법을 사용하지만, 학원 강의나 어학 연수 등은 비용이 비용과 시간의 제약이 있다. 그렇기 때문에, 한국어를 학습하고자 하는 사람들은 비용과 시간이 많이 들지 않으면서도 언어를 학습하는데 효과적인 방법을 찾기 위해 노력하며, 그러한 방법 중에는 영상을 통한 언어 학습 방법이 있다.

영상을 통한 언어 학습 방법은 학원 강의나 어학 연수 등의 언어 학습 방법과 비교하면, 비용이나 시간적인 측면에서 제약이 크지 않다는 장점이 있다.

다만, 드라마 및 가요 등과 같은 영상에는 미리 저장된 자막 정보를 불러와 자막을 통한 학습이 가능하지만, 미리 저장된 자막 정보가 존재하지 않는 다른 일부 콘텐츠 들은 대충 이해하는 정도에 머무를 수 밖에 없는 단점이 있다.

뿐만 아니라, 미리 저장된 자막 정보가 있는 동영상 콘텐츠라고 하더라도 파생어, 변형어, 합성어 등에 대한 변형예를 외국인들이 단번에 이해하기란 쉽지 않다. 예를 들어, -해요, -했어요, -했었어요 가 '-하다'에서 파생된 것과 같이, 어미 변화의 헷갈림 정도를 완화할 필요성이 있다.

이와 같이 동영상 콘텐츠를 통해 학습하는 학습자들이 영상을 통해 언어 학습 효율을 증대시키기 위해서는 음성인식을 통한 자막 인식 기술을 통해 모든 동영상 콘텐츠에 대한 자막 제공이 가능해야 한다.

본 발명이 해결하고자 하는 과제는 상술한 바와 같은 문제점을 해결하기 위해 언어 교육을 위한 영상의 자막 처리 방법 및 장치를 제공하는 것이다.

구체적으로, 본 발명이 해결하고자 하는 과제는 사용자에게 동영상의 음성을 자동으로 인식하고 인식된 음성을 텍스트로 변환함으로써 자막 정보를 출력하는 언어 교육을 위한 영상의 자막 처리 방법 및 장치를 제공하는 것이다.

본 발명이 해결하고자 하는 또 다른 과제는 출력된 텍스트 중 단어의 난이도 및 문법적 요소를 자동으로 인식하는 영상의 자막 인식 기술을 활용하여 사용자의 언어 학습 효율을 증대시킬 수 있는 언어 교육을 위한 영상의 자막 처리 방법 및 장치를 제공하는 것이다.

본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 언어 교육을 위한 영상의 자막 처리 방법은 동영상의 음성을 수신하고 인식하여 텍스트로 수신하는 단계; 텍스트 중 적어도 일부에 대해서 데이터베이스를 참조하여 단어의 난이도 또는 문법적 요소를 결정하는 단계; 단어의 난이도 또는 문법적 요소를 텍스트 중 적어도 일부에 다른 텍스트와 구별되도록 적용하는 단계; 및 적용된 텍스트 중 적어도 일부를 동영상 상에 자막으로 출력하는 단계를 포함한다. 이에, 사용자에게 만족도 높은 자막 서비스를 제공할 수 있다.

본 발명의 다른 특징에 따르면, 동영상은 사용자가 학습하고자 하는 주제에 대한 난이도, 분류, 단어 및 문법 중 적어도 하나에 대한 사용자의 입력에 대응하여 출력될 수 있다.

본 발명의 또 다른 특징에 따르면, 파생어, 유의어, 합성어, 복합어 및 단일어 중 적어도 어느 하나의 형태로 이루어진 단어에 대한 변형어를 텍스트 중 적어도 일부에 다른 텍스트와 구별되도록 결정하는 단계를 더 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 문법적 요소는 조사, 어미 및 접사 중 적어도 어느 하나의 형태로 이루어진 텍스트를 기초로 문법적 요소를 결정하는 단계를 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 텍스트 중 단어의 난이도 또는 문법적 요소를 갖는 텍스트에 대응하는 사전적 내용을 자막과는 별도로 출력하는 단계를 더 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 조사는 주격, 목적격, 관형격, 부사격 및 서술격 중 적어도 하나의 변형예를 더 포함하며, 어미는 평서형, 의문형, 명령형, 청유형, 감탄형, 부정형, 높임, 시제, 양태, 피동 및 사동의 변형예 중 적어도 하나의 변형예를 더 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 단어의 난이도 또는 문법적 요소를 텍스트 중 적어도 일부에 다른 텍스트와 구별되도록 하는 단계는,

단어의 난이도 또는 문법적 요소를 포함하는 텍스트에 대한 속성을 변경시키는 단계를 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 제1 영역에 대한 사전 정보를 선택적으로 출력하는 단계를 더 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 텍스트에 대한 속성을 변경시키는 단계는, 단어의 난이도를 포함하는 텍스트에 제1 속성을 적용시키는 단계; 및 문법적 요소를 포함하는 텍스트에 제2 속성을 적용시키는 단계를 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 제1 속성 및 제2 속성은 텍스트에 대한 크기, 색상, 모양 및 하이라이트 중 적어도 어느 하나의 속성으로 구별되도록 적용할 수 있다.

본 발명의 또 다른 특징에 따르면, 제1 속성 및 제2 속성이 동시에 변경되는 경우, 제1 속성 및 제2 속성에는 속성 중 서로 상이한 속성을 적용시킬 수 있다.

본 발명의 또 다른 특징에 따르면, 텍스트 중 적어도 일부를 동영상 상에 자막으로 출력하는 단계는,

동영상에 포함된 적어도 한 명의 화자에 대한 음성에 대응하여 화자별로 자막이 구별되도록 표시하여 출력하는 단계를 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 동영상에 지정된 대화 상대를 선택적으로 결정하고 결정된 대화 상대와 사용자의 영상을 동시에 출력하는 단계를 더 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 대화 상대의 영상 및 사용자의 영상의 음성을 각각 인식하여 영상 상에 자막을 출력하는 단계를 더 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 동영상에 대한 시청이 종료된 경우, 자막으로 출력된 텍스트 중 단어의 난이도 또는 문법적 요소에 대응되는 문제를 출제하는 단계를 더 포함할 수 있다.

본 발명의 일 실시예에 따른 언어 교육을 위한 영상의 자막 처리 장치는, 동영상의 음성을 수신하고 인식하여 텍스트로 수신하는 수신부; 단어의 난이도를 가진 텍스트 및 문법적 요소를 가진 텍스트가 저장된 데이터베이스; 수신된 텍스트 중 적어도 일부에 대해서 데이터베이스를 참조하여 단어의 난이도 또는 문법적 요소를 결정하는 결정부; 단어의 난이도 또는 문법적 요소를 텍스트 중 적어도 일부에 다른 텍스트와 구별되도록 적용하고, 적용된 텍스트 중 적어도 일부를 동영상 상에 자막으로 출력하는 출력부를 포함할 수 있다.

기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명은 사용자에게 동영상의 음성 인식을 기반으로 자막 정보를 제공함으로써, 사용자에게 만족도 높은 자막 서비스를 제공할 수 있다.

또한, 본 발명은 자막 정보 내에서 단어 및 문법적 요소를 자동으로 인식하는 영상의 자막 인식 기술을 활용하여 사용자의 언어 학습 효율을 증대시킬 수 있다.

또한, 본 발명은 음성 인식을 기반으로 한 자막 정보가 포함된 동영상에 대한 학습이 완료된 후 자막 정보에 대응되는 복수의 문제 형태를 갖는 문제들을 제공함으로써, 사용자의 동영상에 대한 이해도를 파악할 수 있다.

본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.

도 1은 본 발명의 일 실시예에 따른 언어 교육을 위한 영상의 자막 처리 시스템을 설명하기 위한 개략도이다.
도 2는 본 발명의 일 실시예에 따른 사용자 장치를 설명하기 위한 개략도이다.
도 3은 본 발명의 일 실시예에 따른 언어 교육을 위한 영상의 자막 처리 방법을 설명하기 위한 개략적인 순서도이다.
도 4a는 본 발명의 일 실시예에 따른 언어 교육을 위한 영상의 자막 처리 장치의 검색 카테고리를 통해 사용자가 학습하고자 하는 문법 및/또는 주제를 수신하여 동영상을 표시하는 예시적인 출력 화면을 도시한 도면이다.
도 4b는 본 발명의 일 실시예에 따른 사용자 장치로부터 사용자가 학습하고자 하는 문법 및/또는 주제에 대응하는 동영상 출력창과 해당 동영상에 대한 대화 상대 정보 제공창을 출력하는 예시적인 출력 화면을 도시한 도면이다.
도 4c는 본 발명의 일 실시예에 따른 언어 교육을 위한 영상의 예문 메뉴에 대응하는 예문창을 출력하는 예시적인 출력 화면을 도시한 도면이다.
도 4d는 본 발명의 일 실시예에 따른 언어 교육을 위한 영상의 자막 처리 장치의 대화신청 메뉴에 대응하여 대화 상대 영상 및 사용자 영상이 동시에 출력되는 예시적인 출력 화면을 도시한 도면이다.
도 4e는 본 발명의 일 실시예에 따른 언어 교육을 위한 영상의 자막 처리 장치의 주제 검색 방법을 설명하기 위한 도면이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

또한 제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.

이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시예들을 상세히 설명한다.

도 1은 본 발명의 일 실시예에 따른 언어 교육을 위한 영상의 자막 처리 시스템을 설명하기 위한 개략도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 언어 교육을 위한 영상의 자막 처리 시스템은 서비스 제공 장치(100) 및 적어도 하나의 사용자 장치(200)를 포함한다. 여기서, 언어 교육을 위한 영상의 자막 처리 시스템은 동영상의 음성을 수신하고 인식하여 텍스트로 수신하고, 텍스트 중 적어도 일부에 대해서 데이터베이스를 참조하여 단어의 난이도 또는 문법적 요소를 결정하고, 단어의 난이도 또는 문법적 요소를 텍스트 중 적어도 일부에 다른 텍스트와 구별되도록 적용하고, 적용된 텍스트 중 적어도 일부를 동영상 상에 자막으로 출력하는 시스템이다.

서비스 제공 장치(100)는 적어도 하나의 사용자 장치(200)로부터 학습하고자 하는 문법 및/또는 주제를 수신하고, 수신된 문법 및/또는 주제에 대응되는 복수의 동영상 콘텐츠(403)를 저장하고 있는 데이터베이스(202)로부터 적어도 하나의 동영상을 수신하고, 복수의 동영상 콘텐츠(403)에 중 수신된 동영상의 음성을 수신하고 인식하여 텍스트를 적어도 하나의 사용자 장치(200)로 송신할 수 있다.

여기서, 학습하고자 하는 문법 및/또는 주제는 사용자가 학습하고자 하는 주제에 대한 레벨, 분류, 문법 및 주제 중 적어도 하나에 대한 선택을 포함할 수 있다.

또한, 복수의 동영상 콘텐츠(403)는 언어 교육을 위한 영상의 자막 처리 시스템에서 제공하는 여행, 음식, K-문화, 패션, 뷰티, 시사, 강연, 비즈니스 등을 포함하는 콘텐츠일 수 있다.

또한, 서비스 제공 장치(100) 및 적어도 하나의 사용자 장치(200)는 서로 동일한 네트워크 내에 존재하거나 통신으로 연결되어 본 발명의 언어 교육을 위한 영상의 자막 처리 방법 및 이를 이용한 장치를 수행할 수 있도록 구성된다. 서비스 제공 장치(100)의 구체적인 구성 및 기능에 대해서는 도 2를 참조하여 후술하도록 한다.

적어도 하나의 사용자 장치(200)는 사용자에게 언어 교육을 위한 영상의 자막 서비스를 제공하기 위한 사용자 인터페이스를 제공하는 장치로서, 사용자의 컴퓨터일 수 있고, 또는 사용자의 휴대용 단말일 수도 있다. 도 1에서는 적어도 하나의 사용자 장치(200)가 스마트폰 또는 컴퓨터인 것으로 도시하고 있지만, 본 발명의 사상은 이에 제한되지 않는다. 적어도 하나의 사용자 장치(200)는 상술한 바와 같이 언어 교육을 위한 영상의 자막 서비스를 제공하기 위한 어플리케이션 또는 프로그램이 탑재될 수 있는 것이라면 제한 없이 채용될 수 있다. 예를 들어, 스마트폰, 태블릿 PC, 웨어러블 장치 등일 수 있다.

적어도 하나의 사용자 장치(200)에 탑재된 해당 어플리케이션 또는 프로그램은 적어도 하나의 사용자 장치(200)와 서비스 제공 장치(100)를 서로 접속시킬 수 있다.

사용자는 해당 어플리케이션 또는 프로그램을 통해서 온라인 상에서 사용자의 위치에 따른 적어도 하나의 동영상에 대응하여 음성인식을 기반으로 자막 정보를 제공받는 것을 기본으로 한다. 다만, 이에 제한되지 않고, 저장된 자막 정보를 제공받을 수 있으며, 사용자는 이렇게 제공받은 자막 정보에 대한 복수의 형태의 문제를 제공받을 수 있다. 다양한 실시예에서 해당 어플리케이션 또는 프로그램은 예를 들어, 사용자의 계정마다 온라인 선생님이 할당되고, 할당된 온라인 선생님과 학습한 자막 정보 또는 동영상에 대한 영상 채팅 서비스를 제공할 수 있다. 또한, 동영상에 대응하는 문제가 제공되고, 정답률에 따라 지급되는 보상 서비스를 제공할 수도 있다.

구체적으로, 적어도 하나의 사용자 장치(200)는 화면을 표시하는 디스플레이 및 사용자로부터 데이터를 입력받는 입력 장치를 구비할 수도 있다.

다양한 실시예에서 적어도 하나의 사용자 장치(200) 및 서비스 제공 장치(100)는 영상 채팅을 위한 카메라 모듈을 구비할 수 있다. 구체적으로, 적어도 하나의 사용자 장치(200)는 카메라 모듈을 통해 사용자의 영상 정보(예: 사용자 장치에 대한 영상 정보)를 획득하고, 획득된 영상 정보를 서비스 제공 장치(100)로 전달할 수 있다.

다양한 실시예에서 적어도 하나의 사용자 장치(200) 및 서비스 제공 장치(100)는 근거리 통신(예: 블루투스, BLE, Zigbee 또는 NFC 등)을 위한 통신 모듈을 구비할 수 있다. 구체적으로, 적어도 하나의 사용자 장치(200)는 근거리 통신을 통해 서비스 제공 장치(100)로부터 문제 정보, 자막 정보 또는 보상 서비스에 대한 정보 등을 수신하고, 서비스 제공 장치(100)로 문제 정보 요청, 문제의 정답/오답에 대한 메시지를 전달할 수 있다.

도 1에서는 설명의 편의를 위해 언어 교육을 위한 서비스 제공 장치(100) 및 사용자 장치가 각각 1개인 것으로 도시되어 있지만, 이에 제한되지 않고, 서비스 제공 장치(100) 및 사용자 장치는 복수 개 구비될 수도 있고 서비스 제공 장치(100)가 적어도 하나의 사용자 장치(200)와 통신할 수 있다.

이하에서는, 언어 교육을 위한 영상의 자막 처리 시스템에서의 서비스 제공 장치(100)의 구성에 대하여 설명하기로 한다. 보다 상세한 설명을 위하여 도 2를 함께 참조한다.

도 2는 본 발명의 일 실시예에 따른 사용자 장치를 설명하기 위한 개략도이다.

도 2를 참조하면, 사용자 장치는 수신부(201), 데이터베이스(202), 결정부(203) 및 출력부(204)를 포함한다.

수신부(201)는 사용자 장치가 외부 장치와 통신 가능하도록 연결한다. 예를 들어, 수신부(201)는 유/무선 네트워크를 통해 서비스 제공 장치(100)와 연결되고, 사용자의 영상 정보를 서비스 제공 장치(100)로 전달하고, 서비스 제공 장치(100)로부터 학습하고자 하는 문법 및/또는 주제를 수신하고, 수신된 문법 및/또는 주제에 대응되는 복수의 동영상 콘텐츠(403)를 저장하고 있는 데이터베이스(202)로부터 적어도 하나의 동영상을 수신하고, 동영상 콘텐츠(403) 중 수신된 동영상의 음성을 수신하고 인식하여 텍스트를 수신할 수 있다. 다양한 실시예에서 수신부(201)는 셀룰러 통신 또는 와이파이(WiFi), 블루투스, NFC(near field communication) 등과 같은 근거리 무선 통신 또는 GPS(Global Positioning System)를 포함하는 무선 통신을 이용할 수 있다.

데이터베이스(202)는 언어 교육을 위한 영상의 자막 서비스에 대한 다양한 데이터를 저장할 수 있다. 예를 들어, 데이터베이스(202)는 언어 교육을 위한 영상의 자막 서비스를 제공하기 위한 어플리케이션 또는 프로그램 등을 저장하거나 수신부(201)를 통해서 서비스 제공 장치(100)로부터 수신된 학습하고자 하는 문법 및/또는 주제, 수신된 문법 및/또는 주제에 대응되는 복수의 동영상 콘텐츠(403), 및 복수의 동영상 콘텐츠(403) 중 동영상의 음성을 수신하고 인식하여 수신된 텍스트(즉, 자막 정보)를 저장할 수 있다.

결정부(203)는 수신된 텍스트 중 적어도 일부에 대해서 데이터베이스(202)를 참조하여 단어의 난이도 또는 문법적 요소를 결정할 수 있다. 구체적으로, 데이터베이스(202)에 저장된 난이도별 단어와 단어에 대한 의미와 단어의 다양한 변형예 등을 참조하여 단어의 난이도를 결정할 수 있다. 또한, 데이터베이스(202)에 저장된 문법적 요소의 형태와 문법적 요소의 의미 등을 참조하여 문법적 요소를 결정할 수 있다.

출력부(204)는 사용자에게 각종 콘텐츠(예: 텍스트, 이미지, 비디오, 아이콘, 배너 또는 심볼 등)을 표시할 수 있다. 구체적으로, 출력부(204)는 사용자에 요청에 의해서 실행된 언어 교육을 위한 영상의 자막 서비스를 제공하기 위한 어플리케이션 또는 프로그램 등의 실행 화면을 표시할 수 있다. 출력부(203)는 수신부(201)를 통해 서비스 제공 장치(100)로부터 수신된 학습하고자 하는 문법 및/또는 주제를 입력하기 위한 사용자 인터페이스를 표시하거나, 학습하고자 하는 문법 및/또는 주제에 대응하는 동영상과 해당 동영상의 음성을 수신하고 인식하여 텍스트를 표시할 수 있다. 다양한 실시예에서 출력부(203)는 터치스크린을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치(touch), 제스처(gesture), 근접, 드래그(drag), 스와이프(swipe) 또는 호버링(hovering) 입력 등을 수신할 수 있다.

도 2에 도시되지는 않았지만, 프로세서는 수신부(201), 데이터베이스(202) 및 출력부(204)와 동작 가능하게 연결될 수 있으며, 언어 교육을 위한 영상의 자막 서비스를 제공하기 위한 다양한 명령들을 수행할 수 있다. 이하에서는 언어 교육을 위한 영상의 자막 서비스를 제공하는 어플리케이션을 이용하여 동영상의 음성을 수신하고 인식하여 텍스트로 수신하고, 그에 따른 동영상 및 자막 정보를 표시하는 동작들에 대해서 구체적으로 설명하도록 한다.

수신부(201)는 사용자로부터 학습하고자 하는 문법 및/또는 주제에 대한 입력을 제공받고, 상기 입력에 대응하여 복수의 동영상 콘텐츠(403) 중 적어도 하나의 동영상 및 동영상의 음성을 수신한다. 이후에, 수신된 동영상의 음성을 인식하여 텍스트로 수신한다. 본 명세서에서는 수신부(201)가 동영상을 수신하고 수신된 동영상의 음성을 수신하고 인식하여 텍스트로 수신하는 것으로 명시되어 있지만, 동영상만 수신할 수도 있다.

결정부(203)는 수신된 텍스트 중 적어도 일부에 대해서 데이터베이스(202)를 참조하여 단어의 난이도 또는 문법적 요소를 결정할 수 있다.

출력부(204)는 단어의 난이도 또는 문법적 요소를 텍스트 중 적어도 일부에 다른 텍스트와 구별되도록 적용하고, 적용된 텍스트 중 적어도 일부를 동영상 상에 자막으로 출력할 수 있다. 여기서, 자막은 사용자로부터 입력된 동영상 콘텐츠(403) 중 적어도 하나의 동영상에 매칭된 자막 정보를 의미하며, 사용자 장치(200)의 출력부(204)에 표시된다.

출력부(204)는 사용자의 어플리케이션 실행 요청에 따라 언어 교육을 위한 영상의 자막 서비스를 제공하는 어플리케이션의 실행 화면을 표시할 수 있다. 상기 실행 화면은 자막 정보를 제공하기 위해 동영상 내에서 발생하는 음성 정보를 자동으로 인식하고, 인식된 음성 정보들을 텍스트로 변환하여 출력된 자막 정보를 표시할 수 있다. 또한, 사용자로부터 입력되고 수신하는 검색 카테고리, 콘텐츠 대분류 메뉴, 콘텐츠 소분류 메뉴, 키워드 메뉴 등을 표시할 수 있다.

또한, 출력부(204)는 사용자 입력에 대응하는 동영상 콘텐츠 및 동영상 출력창이 표시될 수 있고, 해당 동영상에 대한 단어 메뉴(406), 문법 메뉴(407), 예문 메뉴(408), 질문 메뉴(409), 대화신청 메뉴(410) 등을 표시할 수 있다.

상술한 음성 인식 시스템을 통해 자동으로 텍스트로 변환된 자막 정보는 단어의 난이도 또는 문법적 요소를 포함하는 텍스트를 다른 텍스트 즉, 단어의 난이도 또는 문법적 요소를 포함하고 있지 않은 텍스트와 구별되도록 할 수 있다.

이때, 단어의 난이도 또는 문법적 요소를 포함하는 텍스트는 단어의 난이도 또는 문법적 요소를 포함하고 있지 않은 다른 텍스트들과 구별되도록 속성을 변경시킬 수 있다.

구체적으로, 단어의 난이도를 포함하는 텍스트에 제1 속성(404a', 404a'')을 적용시키고, 문법적 요소를 포함하는 텍스트에 제2 속성(404b)을 적용시킬 수 있다. 제1 속성(404a', 404a'') 및 제2 속성(404b)은 각각 밑줄 표시 또는 하이라이트 표시 또는 색깔 표시 중 어느 하나로 표시되는 표시될 수 있다. 후술할 도 4a에서는 제1 속성(404a' 404a'')이 각각 밑줄 표시 및 하이라이트 표시, 제2 속성(404b)이 붉은색 글씨로 표시되어 있지만, 이에 제한되지 않고 굵은 글자 표시 등 다양한 표식으로 표시될 수 있으며, 제1 속성(404a', 404a'')와 제2 속성(404b)에 표시되는 표식의 순서가 바뀔 수도 있다.

이하에서는, 앞서 도 1 및 도 2를 참조하여 설명한 본 발명의 일 실시예에 따른 적어도 하나의 사용자 장치(200)에 대한 설명에 기초하고, 도 3 내지 도 4e를 참조하여 언어 교육을 위한 영상의 자막 처리 방법에 대하여 설명하기로 한다.

도 3은 본 발명의 일 실시예에 따른 언어 교육을 위한 영상의 자막 처리 방법을 설명하기 위한 개략적인 순서도이다. 도 4a는 본 발명의 일 실시예에 따른 언어 교육을 위한 영상의 자막 처리 장치의 검색 카테고리를 통해 사용자가 학습하고자 하는 문법 및/또는 주제를 수신하여 동영상을 표시하는 예시적인 출력 화면을 도시한 도면이다. 도 4b는 본 발명의 일 실시예에 따른 사용자 장치로부터 사용자가 학습하고자 하는 문법 및/또는 주제에 대응하는 동영상 출력창과 해당 동영상에 대한 대화 상대 정보 제공창을 출력하는 예시적인 출력 화면을 도시한 도면이다. 도 4c는 본 발명의 일 실시예에 따른 언어 교육을 위한 영상의 예문 메뉴에 대응하는 예문창을 출력하는 예시적인 출력 화면을 도시한 도면이다. 도 4d는 본 발명의 일 실시예에 따른 언어 교육을 위한 영상의 자막 처리 장치의 대화신청 메뉴에 대응하여 대화 상대 영상 및 사용자 영상이 동시에 출력되는 예시적인 출력 화면을 도시한 도면이다. 도 4e는 본 발명의 일 실시예에 따른 언어 교육을 위한 영상의 자막 처리 장치의 주제 검색 방법을 설명하기 위한 도면이다.

먼저, 본 발명의 일 실시예에 따른 언어 교육을 위한 영상의 자막 처리 장치는 사용자 디바이스(사용자 장치, 200)로부터 동영상의 음성을 수신하고 인식하여 텍스트로 수신한다(S100).

도 4a를 참조하면, 본 발명의 일 실시예에 적어도 하나의 사용자 장치(200)의 디스플레이(203)는 검색 카테고리(401) 및 콘텐츠 카테고리(402) 중 적어도 어느 하나의 방법으로 학습하고자 하는 동영상 콘텐츠(403)에 대응하는 복수의 동영상을 출력하여 표시할 수 있다.

도 4a를 참조하면, 검색 카테고리(401)는 콘텐츠 대분류 메뉴(401a), 콘텐츠 소분류 메뉴(401b) 및 키워드 메뉴(401c)를 통해 사용자에게 구현될 수 있다. 콘텐츠 대분류 메뉴(401a), 콘텐츠 소분류 메뉴(401b)를 통해 사용자가 학습하고자 하는 주제를 설정할 수 있다. 사용자는 키워드 메뉴(401c)를 통해 사용자가 학습하고자 하는 단어 또는 문법을 설정할 수 있다. 검색 카테고리(401)는 콘텐츠 대분류 메뉴(401a), 콘텐츠 소분류 메뉴(401b) 및 키워드 메뉴(401c) 중 적어도 어느 하나에 대한 입력을 수신할 수 있다.

도 4a를 참조하면, 콘텐츠 카테고리(402)는 사용자가 학습하고자 하는 주제를 식별이 용이하도록 카테고리별로 분류한 것으로서, 사용자에 의해 구현될 수 있다. 예를 들어, 콘텐츠 카테고리(402)는 언어 교육을 위한 영상의 자막 서비스에서 제공하는 우리랑 패턴, 여행, 음식, K-문화, 패션, 뷰티, 시사, 강연, 비즈니스 등으로 대분류될 수 있다. 여기서, K-문화는 K-POP, K-DRAMA 및 기타로 소분류될 수 있다.

도 4a에서는 검색 카테고리(401)가 콘텐츠 대분류 메뉴(401a), 콘텐츠 소분류 메뉴(401b) 및 키워드 메뉴(401c)로 구성되는 것으로 도시되었으나, 도 4e에 도시된 바와 같이, 보다 세부적으로 검색할 수도 있다. 이에 대해, 도 4e를 참조하여 후술하기로 한다.

예를 들어, 사용자가 학습하고자 하는 주제로 비즈니스를 선택한 경우, 도 4a에 도시된 바와 같이, 비즈니스에 해당하는 복수의 동영상 콘텐츠(403)들이 출력부(204)에 표시될 수 있다. 각각의 동영상 콘텐츠(403)들은 동영상 콘텐츠(403)들의 레벨(또는 난이도), 재생 시간, 재생에 필요한 코인, 조회수, 관심도 등에 대한 정보를 표시할 수 있다.

이하에서는, 도 4b 및 도 4c를 참조하여, 사용자가 복수의 동영상 콘텐츠(403) 중에서 난이도가 초급인 피자시장의 혁신에 대한 동영상을 학습하고자 선택한 경우에 대하여 구체적으로 설명하기로 한다.

이어서, 본 발명의 언어 교육을 위한 영상의 자막 처리 장치는 텍스트 중 적어도 일부에 대해서 데이터베이스(202)를 참조하여 단어의 난이도 또는 문법적 요소를 결정한다(S200). 이어서, 본 발명의 일 실시예에 따른 언어 교육을 위한 영상의 자막 처리 장치는 단어의 난이도 또는 문법적 요소를 텍스트 중 적어도 일부에 다른 텍스트와 구별되도록 적용한다(S300).

도 4b를 참조하면, 상술한 바와 같은 검색 카테고리(401)를 통해 출력된 복수의 동영상 콘텐츠(403) 중 사용자의 입력에 대응하는 동영상 출력창(404)이 출력부(204)에 표시될 수 있다.

도 4b를 참조하면, 동영상 출력창(404)은 제1 속성(404a', 404a'') 및 제2 속성(404b)을 포함하는 텍스트를 표시할 수 있다. 여기서, 텍스트는 동영상에 대한 음성 정보를 자동으로 인식하여 음성 정보가 텍스트 정보로 자동 변환된 것을 의미하는 것으로서, 텍스트는 제1 속성(404a', 404a'')이 적용된 텍스트, 제2 속성(404b)이 텍스트 및 나머지 텍스트로 구성될 수 있다.

여기서, 제1 속성(404a', 404a'')은 단어의 난이도를 포함하는 텍스트에 적용되고, 제2 속성(404b)은 문법적 요소를 포함하는 텍스트에 적용되는 것을 특징으로 한다. 자막 정보를 구성하는 텍스트에 제1 속성(404a', 404a'') 및 제2 속성(404b) 중 어느 하나만 변경될 경우에는 텍스트에 대한 크기, 색상, 모양 및 하이라이트 중 적어도 어느 하나의 속성이 적용되지만, 자막 정보를 구성하는 텍스트에 제1 속성(404a', 404a'') 및 제2 속성(404b)이 동시에 변경되는 경우에는 우에는 제1 속성(404a', 404a'')과 제2 속성(404b)에 서로 다른 속성을 적용시켜 구별되도록 하는 것을 특징으로 한다.

또한, 자막 정보는 동영상 출력창(404)의 영상 상에서 일정한 길이의 문장으로 구분되어 출력되는 것을 특징으로 한다.

복수의 단어 형태는 파생어, 유의어, 합성어, 복합어 및 단일어 중 적어도 하나의 형태로 이루어진 단어에 대한 변형어를 포함할 수 있고, 해당 변형어는 상기 자막 정보를 구성하는 텍스트 중 적어도 일부에 다른 텍스트와 구별되도록 결정하는 단계를 포함할 수 있다.

또한, 문법적 요소는 조사, 어미 및 접사 중 적어도 어느 하나의 형태로 이루어진 텍스트를 기초로 결정되는 것을 특징으로 한다. 여기서, 조사는 주격, 목적격, 관형격, 부사격 및 서술격 중 적어도 하나의 변형예를 더 포함할 수 있다.

또한, 어미는 평서형, 의문형, 명령형, 청유형, 감탄형, 부정형, 높임, 시제, 양태, 피동 및 사동의 변형예 중 적어도 하나의 변형예를 더 포함할 수 있다.

또한, 본 발명의 다른 실시예에 따른 언어 교육을 위한 영상의 자막 처리 장치는 텍스트 중 단어의 난이도 또는 문법적 요소를 갖는 텍스트에 대응하는 사전적 내용을 자막과는 별도로 출력할 수 있다.

구체적으로, 사용자가 단어의 난이도 및 문법적 요소 중 적어도 어느 하나를 갖는 텍스트에 대한 사전적 내용을 위해 해당 텍스트를 클릭하면 자막과는 별도로 사전적 내용을 포함하는 팝업창을 생성할 수도 있고, 자막의 상단 및 하단 중 어느 한 쪽에 사전적 내용을 표시할 수도 있다.

즉, 사용자가 디스플레이(203)의 단어메뉴(406)를 선택하지 않고, 제1 속성(404a', 404a'')이 적용된 단어를 선택함으로써 단어에 대한 사전적 의미를 새로운 창에 표시할 수 있다. 이때, 상기 사전 정보는 동영상 출력창(404) 내에서 팝업 형태로 표시될 수 있으며, 해당 단어에 대한 사전적 의미가 검색된 사전에 대한 링크를 자동 연결하여 해당 사이트가 출력될 수 있다.

도 4b에 도시하지는 않았지만, 본 발명의 다른 실시예에 따른 언어 교육을 위한 영상의 자막 처리 장치는 상술한 단어의 난이도 및 문법적 요소에 대한 사전적 내용을 별도로 저장함으로써, 사용자만의 사전 정보를 만들 수 있다. 이에 따라, 사용자는 학습한 동영상 별로 사용자만의 사전 정보를 저장하고 표시할 수 있으며, 학습한 모든 동영상에 대한 사전 정보를 저장하고 표시할 수도 있다.

따라서, 사용자는 음성 인식을 기반으로 한 자막 정보가 포함된 동영상에 대한 학습이 완료된 후, 사용자가 별도로 저장한 사전 정보를 통해 모르는 단어 또는 문법에 대한 학습을 효과적으로 할 수 있는 효과가 있다.

또한, 본 발명의 다른 실시예에 따른 언어 교육을 위한 영상의 자막 처리 장치는 동영상 출력창(404)의 영상 중 자막 정보를 구성하는 텍스트 중 단어 형태의 텍스트를 해당 텍스트와 대응하는 영상 이미지가 서로 대응하는 것임을 표시할 수 있다. 예를 들어, 제1 영역에 '피자'라는 단어가 표시되고 동영상 출력창(404)에 피자와 관련된 이미지가 표시된 경우, 해당 단어와 피자 이미지가 동일한 것임을 나타내도록 하는 표시를 제공할 수 있다. 이때, 상기 표시는 해당 이미지에 대한 블록처리일 수 있고, 동그라미 표시일 수 있고, 선을 통한 이미지와 단어 간 연결일 수 있다.

또한, 문법적 요소는 조사, 어미 및 접사 중 적어도 하나를 포함할 수 있다. 여기서, 조사는 주격, 목적격, 관형격, 부사격 및 서술격 중 적어도 하나의 변형예를 더 포함하며, 어미는 평서형 의문형, 명령형, 청유형, 감탄형, 부정형, 높임, 시제, 양태, 피동 및 사동의 변형예 중 적어도 하나의 변형예를 더 포함할 수 있다.

상술한 제1 속성(404a', 404a'') 및 제2 속성(404b)는 상기 자막 정보를 구성하는 글자에 대한 크기, 색상, 모양 및 하이라이트 중 적어도 하나일 수 있고, 제1 속성(404a', 404a''), 제2 속성(404b) 및 나머지 영역은 모두 상이한 속성을 갖을 수 있다. 즉, 나머지 영역은 어떠한 속성도 갖지 않는 글자를 의미하는 것일 수 있다.

도 4b에서는, 자막 정보를 구성하는 복수의 구성요소 중 데이터베이스(202)를 참조하여 단어의 난이도를 갖는 텍스트인, '거대한'을 제1 속성(404a')으로 표시하였으며, '들썩이'를 제1 속성(404'')으로 표시하였습니다.

또한, 자막 정보를 구성하는 복수의 구성요소 중 데이터베이스(202)를 참조하여 문법적 요소를 포함하는 텍스트를 제2 표식(404b)으로 표시하였습니다. 제1 속성(404a', 404a'')과 제2 속성(404b)에는 각각 밑줄, 하이라이트, 붉은색의 속성이 적용되었지만, 제1 속성(404a', 404a'')과 제2 속성(404b)에 서로 상이한 속성이 적용된다면 이에 제한되지 않을 수 있다.

도 4b를 참조하면, 본 발명의 일 실시예에 따른 출력부(204)는 대화 상대 정보 제공창(405)을 출력할 수 있다. 대화 상대 정보 제공창(405)은 예를 들어, 동영상 출력창(404)에 해당하는 온라인 선생님에 대한 정보를 표시하고, 각 선생님에 대한 프로필 정보를 함께 제공하여 사용자가 대화하고자 하는 선생님을 선택하여 대화할 수 있도록 대화신청 메뉴(410)를 함께 출력하여 표시할 수 있다.

이하에서는, 도 4d를 참조하여 대화신청 메뉴(410)에 대응하는 사용자의 입력에 대응하는 예시적인 출력 화면을 구체적으로 후술하기로 한다.

도 4b를 참조하면, 본 발명의 일 실시예에 따른 디스플레이(203)는 동영상 출력창(404)에 대한 학습을 위한 단어 메뉴(406), 문법 메뉴(407), 예문 메뉴(408) 및 질문 메뉴(409)를 더 포함할 수 있다.

단어 메뉴(406)는 사용자가 학습하고자 하는 동영상 입력에 대응하는 동영상에 포함된 복수의 단어에 대한 발음 표시 및 단어의 의미를 제공하기 위한 메뉴일 수 있다. 예를 들어, 도 4b에 도시된 바와 같이 동영상 출력창(404)에서 출력되는 자막 정보를 포함한 동영상은 '거대한', '들썩이다'와 같은 단어를 포함하고, 각각의 단어는 제1 표식(404a) 및 제2 표식(404b)으로 표시되어 있다. 이때, 사용자가 제1 표식(404a) 및 제2 표식(404b)으로 표시된 단어를 학습하고자 단어 메뉴(406)를 선택하는 경우, 각각 단어에 대한 파생어, 발음 및 의미를 제공할 수 있다. 예를 들어, '거대한'에 대한 단어의 파생어, 발음 및 의미로서 거대하다, [거대하다], to be huge, great가 표시되고, '들썩이다'에 대한 단어의 발음 및 의미로서 [들써기다], to be turn up slightly가 표시된다. 여기서, 단어의 의미에 대한 이해를 위해 한국어를 공부한 외국어로 표시되는 것을 기본으로 하지만, 이에 제한되는 것은 아니다.

문법 메뉴(407)는 사용자가 학습하고자 하는 동영상 입력에 대응하는 동영상에 포함된 문법 즉, 한국말의 패턴을 제공하기 위한 메뉴일 수 있다. 예를 들어, 도 4b에 도시된 바와 같이, 동영상 출력창(404)에서 출력되는 자막 정보를 포함한 동영상은 '~하고 있다'와 같은 문법적 요소를 포함하하는 텍스트인 '고 있'이 제2 속성(404b)으로 표시되어 있다. 이때, 사용자가 제2 속성(404b)으로 표시된 문법을 학습하고자 문법 메뉴(407)를 선택하는 경우, '고 있'에 해당하는 문법 정보가 표시될 수 있다. 즉, 해당 문법적 요소의 패턴과 해당 패턴의 의미 및 해당 패턴을 활용한 예문까지 함께 표시될 수 있다. 도 4b에 도시된 바와 같이, 제2 속성(404b)을 갖는 '고 있'은 '(동사)+ ~고 있다'의 패턴을 갖는 문법으로서, 어떤 동작이나 상태가 진행되고 있음을 나타내는 표현임을 의미하고, 상기 패턴이 사용되는 예문으로는 최근 수박이 많이 팔리'고 있'다, 지금 공부하'고 있'다 등이 제공될 수 있다.

예문 메뉴(408)는 사용자가 학습하고자 하는 동영상 입력에 대응하는 동영상에 포함된 모든 자막에 대한 정보를 제공하기 위한 메뉴일 수 있다. 여기서, 본 발명의 일 실시예에 따른 자막 정보는 음성 인식을 기초로 출력되는 것을 특징으로 하지만, 자막 데이터를 데이터베이스(202)에 미리 저장하여 데이터베이스(202)로부터 자막 데이터를 수신할 수도 있다. 예를 들어, 도 4c에 도시된 바와 같이, 동영상 출력창(404)에서 출력되는 동영상 측면에 동영상에 매칭되는 자막 데이터가 미리 저장된 데이터베이스(202)로부터 자막 데이터를 수신하여 예문창(418)에 표시할 수 있다. 사용자는 예문창(418)을 통해 사용자가 학습하고자 하는 동영상에 포함된 단어 및 문법적 패턴을 한눈에 파악할 수 있는 효과가 있다.

이이서, 질문 메뉴(409)는 사용자가 학습한 동영상에 대한 이해도 파악을 위해 미리 제공되는 복수의 질문사항을 제공하기 위한 메뉴일 수 있다. 이에, 사용자들은 동영상에 대한 학습이 종료된 후 질문 메뉴(409)에 제공되는 질문, 예를 들어, '한국식 피자를 먹어 봤어요? 어땠어요?'와 같은 질문사항 등이 제공될 수 있다. 또한, 도 4c에 도시되지는 않았지만, 질문 메뉴(409)에서 제공되는 질문사항에 대한 피드백이 이루어질 수 있도록 녹음기능이 더 제공될 수 있다.

또한, 사용자는 제공되는 질문 메뉴(409)에서 제공되는 질문사항에 대한 답을 생각한 후, 도 4c에 도시된 대화신청 메뉴(410)를 통해 온라인 선생님과 해당 질문사항에 대한 대화를 나눌 수 있다.

도 4d를 참조하면, 사용자가 선택한 대화신청 메뉴(410)에 대응하는 대화 상대 영상(411)과 사용자 영상(412)이 출력부(204)에 동시에 출력되고, 출력부(203)에는 사용자가 학습한 동영상에 대한 예문창(418)이 함께 출력될 수 있다. 이에, 사용자는 대화 상대 즉, 선생님과의 대화 중에도 동시에 표시되는 예문창(418)을 함께 보면서 해당 예문창(418)에서의 질문사항 또는 질문 메뉴(409)에서 제공된 질문사항에 대한 대화를 나눌 수 있다.

이때, 대화 상대 영상(411) 및 사용자 영상(412)은 음성 인식 시스템을 통해 실시간으로 자막 정보를 출력하여 표시할 수 있다. 즉, 도 4d에 도시된 바와 같이, 대화 상대 영상(411)의 음성을 각각 인식하여 대화 상대 영상(411) 상에 제1 자막(411a)을 출력한다. 또한, 사용자 영상(412)의 음성을 인식하여 사용자 영상(412) 상에 제2 자막(412a)을 출력한다. 여기서, 대화 상대 영상(411) 및 사용자 영상(412)은 동시에 출력되는 것을 특징으로 하지만, 이에 제한되지 않으며, 각각 다른 화면에서 출력될 수도 있다.

제1 자막(411a) 및 제2 자막(412a)을 포함하는 대화 상대 영상(411) 및 사용자 영상(412)을 통해 학습한 동영상에 대한 피드백을 수행하는 사용자는 음성을 자동으로 인식하여 출력되는 자막 정보를 통해 대화 상대와의 대화를 보다 신속하고 정확하게 이해할 수 있는 효과가 있다.

또한, 도 4d에 도시하지는 않았지만, 제1 자막(411a) 및 제2 자막(412a)에는 단어의 난이도 또는 문법적 요소를 포함하는 텍스트를 각각 제1 속성 및 제2 속성으로 나누어 표시할 수 있다. 따라서, 사용자는 대화 상대인 선생님과의 대화를 하면서도 단어의 난이도 또는 문법적 요소를 한눈에 파악할 수 있는 효과가 있다.

이하에서는, 도 4e를 참조하여 언어 교육을 위한 영상의 자막 처리 장치의 주제 검색 방법을 상세하게 설명하기로 한다.

도 4e를 참조하면, 사용자는 콘텐츠 대분류 메뉴(401a), 콘텐츠 소분류 메뉴(401b) 및 키워드 메뉴(401c)로 구성된 검색 카테고리(401) 이외에 주제검색 메뉴를 통한 세부적인 주제검색을 할 수 있다.

도 4e를 참조하면, 사용자는 주제검색 메뉴를 통해 주제의 레벨, 분류, 문법 및 주제를 선택하여 작문 시스템을 활용할 수 있다. 도 4e에 도시된 바와 같이, 사용자가 레벨로서는 초급을 선택하고, 분류로서는 '새로운 것, 시도'에 대한 것을 선택하고, 학습하고자 하는 문법으로는 '아/어 보다'를 선택하고, 주제로서는 여행을 선택한 경우, 사용자의 선택에 대응하는 문장을 자동적으로 제공해줄 수 있다. 예를 들어, 상기 선택에 대응하여 '전주에서 비빔밥을 먹어 보다'와 같은 예문이 출력되어 표시될 수 있고, '-아/어 보다'의 변형예인 '-해 보다'를 포함한 '제주도에서 수영을 해 보다'와 같은 예문이 출력되어 표시될 수 있다.

도 4e에서는 주제선택 메뉴와 검색문장 메뉴에 문장이 동시에 출력된 것으로 도시되었으나, 순차적으로 출력될 수 있다.

구체적으로, 주제검색 메뉴 중 분류에 대응하는 사용자의 입력에 대응하여 출력된 주제선택 예문 중, '제주도에서 수영을 해 보다'와 관련하여 사용자가 작문을 하려는 경우, 사용자가 검색문장 메뉴에 직접 문장을 입력할 수 있다.

사용자가 검색문장 메뉴에 문장을 입력하고 검색 메뉴를 선택할 경우, 사용자가 입력한 문장에 대한 오기 및 비문 등을 자동으로 확인해주면서, 보다 정확한 문장을 제공해 줄 수 있다. 예를 들어, 사용자가 검색문장에 '내일 친구와 전주에서 비빔밥을 먹어 보다'라고 입력하고 검색 메뉴를 선택한 경우, 제안문장 메뉴에서는 상기 검색문장에서의 틀린 표현들을 수정하여 올바른 표현의 문장을 출력하여 표시할 수 있다. 즉, 제안문장 메뉴는 '내일 친구와 전주에서 비빔밥을 먹어 볼 것이다' 또는 '오늘 친구와 전주에서 비빔밥을 먹어 보았다' 와 같은 표현을 함께 제공하여 사용자가 올바른 표현을 사용할 수 있도록 여러가지 활용예를 표시할 수 있다.

이에, 본 발명의 일 실시예에 따른 언어 교육을 위한 영상의 자막 처리 장치 및 방법에서는 사용자에게 자동 자막 인식 기술을 활용하여 사용자가 손쉽게 문법 지식 및 단어를 파악하여 학습할 수 있도록 하는 효과가 있고, 여기에 실생활에서 사용되는 활용예를 예문을 통해 제공함으로써 구어체에 대한 학습능력도 향상시킬 수 있는 효과가 있습니다.

또한, 학습한 동영상에 대해 사용자가 원하는 온라인 선생님을 매칭시킴으로써 온라인 선생님과 동영상에 대한 피드백을 실시간으로 수행할 수 있으므로, 문법, 읽기, 쓰기 뿐만 아니라 말하기도 학습할 수 있도록 하는 효과가 있다.

따라서, 본 발명의 일 실시예에 따른 언어 교육을 위한 영상의 자막 처리 장치 및 방법을 사용하는 사용자는 자막 정보 내에서 단어 및 문법적 요소를 빠르고 효율적으로 파악하여 언어 학습 효율을 증대시킬 수 있다.

또한, 본 발명의 일 실시예에 따른 언어 교육을 위한 영상의 자막 처리 장치 및 방법에서는 음성 인식을 기반으로 한 자막 정보가 포함된 동영상에 대한 학습이 완료된 후 자막 정보에 대응되는 복수의 문제 형태를 갖는 문제들을 제공함으로써, 사용자의 동영상에 대한 이해도를 파악할 수 있다.

본 명세서에서, 각 블록 또는 각 단계는 특정된 논리적 기능 (들) 을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또한, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서에 의해 실행되는 하드웨어, 소프트웨어 모듈 또는 그 2 개의 결합으로 직접 구현될 수도 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM 또는 당업계에 알려진 임의의 다른 형태의 저장 매체에 상주할 수도 있다. 예시적인 저장 매체는 프로세서에 커플링되며, 그 프로세서는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형실시될 수 있다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100: 서비스 제공 장치
200 적어도 하나의 사용자 장치
201: 수신부
202: 데이터베이스
203: 결정부
204: 출력부
401: 검색 카테고리
401a: 콘텐츠 대분류 메뉴
401b: 콘텐츠 소분류 메뉴
401c: 키워드 메뉴
402: 콘텐츠 카테고리
403: 동영상 콘텐츠
404: 동영상 출력창
404a', 404a'': 제1 속성
404b: 제2 속성
405: 대화 상대 정보 제공창
406: 단어 메뉴
407: 문법 메뉴
408: 예문 메뉴
409: 질문 메뉴
410: 대화신청 메뉴
411: 대화 상대 영상
411a: 제1 자막
412: 사용자 영상
412a: 제2 자막
418: 예문창

Claims

동영상의 음성을 수신하고 인식하여 텍스트로 수신하는 단계;
상기 텍스트 중 적어도 일부에 대해서 데이터베이스를 참조하여 단어의 난이도 또는 문법적 요소를 결정하는 단계;
상기 단어의 난이도 또는 상기 문법적 요소를 상기 텍스트 중 적어도 일부에 다른 텍스트와 구별되도록 적용하는 단계; 및
적용된 상기 텍스트 중 적어도 일부를 상기 동영상 상에 자막으로 출력하는 단계를 포함하는, 언어 교육을 위한 영상의 자막 처리 방법.
제1항에 있어서,
상기 동영상은 사용자가 학습하고자 하는 주제에 대한 난이도, 분류, 단어 및 문법 중 적어도 하나에 대한 상기 사용자의 입력에 대응하여 출력되는, 언어 교육을 위한 영상의 자막 처리 방법.
제1항에 있어서,
파생어, 유의어, 합성어, 복합어 및 단일어 중 적어도 어느 하나의 형태로 이루어진 상기 단어에 대한 변형어를 상기 텍스트 중 적어도 일부에 다른 텍스트와 구별되도록 결정하는 단계를 더 포함하는, 언어 교육을 위한 영상의 자막 처리 방법.
제1항에 있어서,
상기 문법적 요소는 조사, 어미 및 접사 중 적어도 어느 하나의 형태로 이루어진 상기 텍스트를 기초로 상기 문법적 요소를 결정하는 단계를 포함하는, 언어 교육을 위한 영상의 자막 처리 방법.
제1항에 있어서,
상기 텍스트 중 상기 단어의 난이도 또는 상기 문법적 요소를 갖는 상기 텍스트에 대응하는 사전적 내용을 상기 자막과는 별도로 출력하는 단계를 더 포함하는, 언어 교육을 위한 영상의 자막 처리 방법.
제5항에 있어서,
상기 단어의 난이도 또는 상기 문법적 요소에 대한 상기 사전적 내용을 별도의 사전 정보로 저장하는 단계를 더 포함하는, 언어 교육을 위한 영상의 자막 처리 방법.
제5항에 있어서,
상기 조사는 주격, 목적격, 관형격, 부사격 및 서술격 중 적어도 하나의 변형예를 더 포함하며,
상기 어미는 평서형, 의문형, 명령형, 청유형, 감탄형, 부정형, 높임, 시제, 양태, 피동 및 사동의 변형예 중 적어도 하나의 변형예를 더 포함하는, 언어 교육을 위한 영상의 자막 처리 방법.
제1항에 있어서,
상기 단어의 난이도 또는 상기 문법적 요소를 상기 텍스트 중 적어도 일부에 다른 텍스트와 구별되도록 하는 단계는,
상기 단어의 난이도 또는 상기 문법적 요소를 포함하는 상기 텍스트에 대한 속성을 변경시키는 단계를 포함하는, 언어 교육을 위한 영상의 자막 처리 방법.
제8항에 있어서,
상기 텍스트에 대한 속성을 변경시키는 단계는,
상기 단어의 난이도를 포함하는 텍스트에 제1 속성을 적용시키는 단계; 및
상기 문법적 요소를 포함하는 텍스트에 제2 속성을 적용시키는 단계를 포함하는, 언어 교육을 위한 영상의 자막 처리 방법
제9항에 있어서,
상기 제1 속성 및 상기 제2 속성은
상기 텍스트에 대한 크기, 색상, 모양 및 하이라이트 중 적어도 어느 하나의 속성으로 구별되도록 적용하는, 언어 교육을 위한 영상의 자막 처리 방법.
제9항에 있어서,
상기 제1 속성 및 상기 제2 속성이 동시에 변경되는 경우, 상기 제1 속성 및 상기 제2 속성에는 상기 속성 중 서로 상이한 속성을 적용시키는, 언어 교육을 위한 영상의 자막 처리 방법.
제1항에 있어서,
상기 텍스트 중 적어도 일부를 상기 동영상 상에 자막으로 출력하는 단계는,
상기 동영상에 포함된 적어도 한 명의 화자에 대한 음성에 대응하여 화자별로 자막이 구별되도록 표시하여 출력하는 단계를 포함하는, 언어 교육을 위한 영상의 자막 처리 방법.
제1항에 있어서,
상기 동영상에 지정된 대화 상대를 선택적으로 결정하고 결정된 상기 대화 상대와 사용자의 영상을 동시에 출력하는 단계를 더 포함하는, 언어 교육을 위한 영상의 자막 처리 방법.
제1항에 있어서,
상기 대화 상대의 영상 및 상기 사용자의 영상의 음성을 각각 인식하여 상기 영상 상에 자막을 출력하는 단계를 더 포함하는, 언어 교육을 위한 영상의 자막 처리 방법.
제1항에 있어서,
상기 동영상에 대한 시청이 종료된 경우, 자막으로 출력된 상기 텍스트 중 상기 단어의 난이도 또는 문법적 요소에 대응되는 문제를 출제하는 단계를 더 포함하는, 언어 교육을 위한 영상의 자막 처리 방법.
동영상의 음성을 수신하고 인식하여 텍스트로 수신하는 수신부;
단어의 난이도를 가진 텍스트 및 문법적 요소를 가진 텍스트가 저장된 데이터베이스;
수신된 상기 텍스트 중 적어도 일부에 대해서 상기 데이터베이스를 참조하여 단어의 난이도 또는 문법적 요소를 결정하는 결정부;
상기 단어의 난이도 또는 문법적 요소를 상기 텍스트 중 적어도 일부에 다른 텍스트와 구별되도록 적용하고, 적용된 상기 텍스트 중 적어도 일부를 상기 동영상 상에 자막으로 출력하는 출력부를 포함하는, 언어 교육을 위한 영상의 자막 처리 장치.