KR102150226B1 - Apparatus and method for controlling video time and filtering harmful video displayed on smart TV - Google Patents

Apparatus and method for controlling video time and filtering harmful video displayed on smart TV Download PDF

Info

Publication number
KR102150226B1
KR102150226B1 KR1020200020183A KR20200020183A KR102150226B1 KR 102150226 B1 KR102150226 B1 KR 102150226B1 KR 1020200020183 A KR1020200020183 A KR 1020200020183A KR 20200020183 A KR20200020183 A KR 20200020183A KR 102150226 B1 KR102150226 B1 KR 102150226B1
Authority
KR
South Korea
Prior art keywords
image
sub
harmful
smart
video
Prior art date
Application number
KR1020200020183A
Other languages
Korean (ko)
Inventor
김태주
송병학
정지모
Original Assignee
주식회사 플랜티넷
김태주
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 플랜티넷, 김태주 filed Critical 주식회사 플랜티넷
Priority to KR1020200020183A priority Critical patent/KR102150226B1/en
Application granted granted Critical
Publication of KR102150226B1 publication Critical patent/KR102150226B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2407—Monitoring of transmitted content, e.g. distribution time, number of downloads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity

Abstract

The present invention relates to an apparatus and a method for controlling a video time on a smart TV and filtering a harmful video displayed on the smart TV. According to one embodiment of the present invention, the apparatus for controlling the video time on the smart TV and filtering the harmful video displayed on the smart TV may comprise: a full screen image generation unit which captures the full screen displayed on the smart TV and generates a full screen image; a sub image extraction unit which identifies at least one sub image area of the generated full screen images, and extracts a sub image included in the identified sub image area; a play determination unit which determines whether the at least one sub image extracted is being currently played or not; a condition checking unit which checks at least one preset blocking condition when the at least one sub image extracted is being currently played; a content blocking unit which controls the sub image being currently played to be blocked when the sub image being currently played is proper for the at least one preset blocking condition; and a log record processing unit which records a log of the sub image being currently played when the sub image being currently played is not proper for the at least one preset blocking condition. The apparatus and the method for controlling a video time on a smart TV and filtering a harmful video displayed on a smart TV are able to record and manage the log including the image title and the playing time in real-time.

Description

스마트 TV 동영상 시간 제어 및 유해동영상 필터링을 위한 장치 및 방법{Apparatus and method for controlling video time and filtering harmful video displayed on smart TV}Apparatus and method for controlling video time and filtering harmful video displayed on smart TV}

본 발명은 스마트 TV 동영상 시간 제어 및 유해동영상 필터링을 위한 기술에 관한 것으로서, 보다 상세하게는 스마트 TV에서 재생하는 영상에 대한 로그를 기록하거나 유해 정도를 판단하여 관련 영상을 차단하는 기술에 관한 것이다.The present invention relates to a technology for controlling a video time of a smart TV and filtering a harmful video, and more particularly, to a technology for blocking a related video by recording a log for an image played on a smart TV or determining the degree of harmfulness.

최근의 통신 서비스는 고유의 서비스영역인 음성통화 서비스를 기반으로 무선 데이터 서비스로 그 서비스영역을 확장하고 있다. 무선 데이터 서비스는 스마트 통신 단말기의 다기능화, 데이터 전송속도의 향상 등 네트워크 기술의 발전에 따라, 텍스트 위주의 서비스에서 멀티미디어 서비스로 진화하고 있는 추세이다.The recent communication service is expanding its service area to wireless data service based on voice call service, which is a unique service area. Wireless data services are evolving from text-oriented services to multimedia services with the development of network technologies such as multifunctional smart communication terminals and improved data transmission speeds.

이러한 멀티미디어 서비스 중 하나가 주문형 영상 서비스(Video On Demand: VOD)이다. VOD 서비스는 영상매체를 시간에 구애받지 않고 다운로드 하거나 실시간으로 디스플레이할 수 있도록 하는 서비스로서, 각종 동영상 다운로드 서비스, 실시간 중계 서비스 등이 대표적 VOD 서비스이다. One of these multimedia services is Video On Demand (VOD). VOD service is a service that enables video media to be downloaded or displayed in real time regardless of time, and various video download services and real-time relay services are representative VOD services.

VOD 전송방식은 다운로드 방식과 스트리밍 방식이 있으나, 근래에는 스마트 통신 단말기와 통신망의 발달로 인해 스트리밍 방식의 서비스가 널리 이용되고 있다.The VOD transmission method includes a download method and a streaming method, but in recent years, a streaming service is widely used due to the development of smart communication terminals and communication networks.

이러한 VOD 서비스는 스마트 통신 단말기를 이용하여 시간과 장소에 관계없이 통신 서비스 사업자 및 영상 제공자가 제공하는 디지털 영상을 통신망을 통해 수신할 수 있으므로, 컬러 단말기의 보급 확대를 통해 더욱 활성화될 것으로 전망된다.This VOD service can receive digital images provided by communication service providers and video providers regardless of time and place using a smart communication terminal through a communication network, so it is expected to be further activated through the expansion of color terminals.

한편, 스마트 통신 단말기의 사용이 대중화되면서 많은 아동과 청소년들이 스마트 통신 단말기를 소지하고 있으며, 이에 따라, 성인 뿐만 아니라 스마트 통신 단말기를 소지한 아동과 청소년까지 VOD 서비스, 스마트 TV에서동영상을 제공하는 웹사이트를 이용할 수 있다.Meanwhile, as the use of smart communication terminals has become popular, many children and adolescents have smart communication terminals. Accordingly, not only adults but also children and adolescents with smart communication terminals have VOD services and web providing videos on smart TVs. You can use the site.

그런데, 관련된 서비스를 통해 제공되는 콘텐츠 중에는 아동과 청소년이 시청하더라도 무해한 콘텐츠가 있는 반면, 폭력, 성, 비어나 속어 등의 언어 등을 담고 있는 성인용 콘텐츠가 있다. However, among the contents provided through related services, there are contents that are harmless even if children and adolescents watch them, while there are contents for adults that contain languages such as violence, sex, and empty or slang.

따라서, 현재의 스마트 통신 서비스에서는 성인용 콘텐츠가 아동과 청소년에게 무분별하게 노출될 수 있으며, 이에 따라, 아동과 청소년의 정신건강을 해칠 우려가 있는 것이다.Therefore, in the current smart communication service, adult content may be indiscriminately exposed to children and adolescents, and accordingly, there is a concern that mental health of children and adolescents may be harmed.

한편, 텔레비전 방송의 경우, 아동과 청소년의 시청이 불가한 프로그램의 경우, 프로그램의 방송 전에 아동과 청소년의 시청 제한을 요구하는 메시지를 표시하고, 프로그램의 방송 중에는 시청제한되는 나이를 나타내는 마크를 표시하고 있다. 그러나, 이러한 시청제한용 마크를 표시한다고 해서 아동과 청소년의 시청을 방지할 수 있는 것은 아니며, 부모나 보호자가 부재하는 중에는 아동과 청소년의 시청을 차단할 방법이 없다.On the other hand, in the case of television broadcasting, in the case of programs that cannot be viewed by children and adolescents, a message requesting restriction of the viewing of children and teenagers is displayed before the program is broadcast, and a mark indicating the age at which the viewing is restricted is displayed during the broadcasting Are doing. However, displaying such a parental control mark does not prevent children and adolescents from viewing, and there is no way to block children and adolescents from viewing while parents or guardians are absent.

또한, 컴퓨터의 경우, 아동과 청소년이 인터넷을 통해 무분별한 콘텐츠에 접하는 것을 방지하기 위해, 미리 설정한 특정 사이트에 접속하지 못하게 하는 프로그램이 개발되어 있다. 그러나, 접속이 금지되는 금지사이트는 사용자에 의해 일일이 설정되어야 하므로, 아동과 청소년에게 유해한 사이트가 새로이 생성되면, 추가로 금지사이트로 설정해야 할 뿐만 아니라, 금지 설정이 되지 아니한 사이트의 경우에는 접속을 차단할 방법이 없다는 단점이 있다.In addition, in the case of computers, in order to prevent children and adolescents from accessing indiscriminate content through the Internet, a program has been developed that prevents access to a predetermined specific site. However, since the prohibited sites from which access is prohibited must be set by the user, if a new site that is harmful to children and youth is newly created, not only must it be additionally set as a prohibited site, but in the case of a site that is not prohibited, access is not allowed. The downside is that there is no way to block it.

한국등록특허 제10-0725544호 "스마트 통신 단말기 및 그의 유해정보 차단방법"Korean Patent Registration No. 10-0725544 "Smart communication terminal and its harmful information blocking method" 한국등록특허 제10-2022014호 "유해 콘텐츠 탐지 장치"Korean Patent Registration No. 10-2022014 "Hazardous Content Detection Device" 한국등록특허 제10-1496632호 "안심 콘텐츠 서비스를 위한 시스템 및 이를 위한 방법"Korean Patent Registration No. 10-1496632 "System for reliable content service and method therefor"

본 발명은 스마트 TV에서 영상을 제공하는데 있어, 스마트 TV에서 캡쳐된 전체 화면 이미지를 이용해서, 재생되는 영상 제목과 재생 시간 정도 등의 로그를 실시간 기록하고 관리하는 것을 목적으로 한다.In providing an image from a smart TV, an object of the present invention is to record and manage a log such as a title of a reproduced image and a reproduction time degree in real time using a full screen image captured from the smart TV.

본 발명은 스마트 TV에서 영상을 제공하는데 있어, 해당 영상이 유해하다고 판단되면, 필터링을 통해 해당 영상을 원천적으로 차단하는 것을 목적으로 한다.The present invention provides an image in a smart TV, and if it is determined that the image is harmful, it is an object of the present invention to fundamentally block the image through filtering.

본 발명은 캡쳐 이미지를 기반으로 유해한 영상에 대한 필터링을 처리하는 것을 목적으로 한다.An object of the present invention is to process filtering for harmful images based on a captured image.

일실시예에 따른 스마트 TV 동영상 시간 제어 및 유해동영상 필터링 장치는 스마트 TV에 표시되는 전체 화면을 캡쳐하여 전체 화면 이미지를 생성하는 전체 화면 이미지 생성부, 상기 생성된 전체 화면 이미지 중에서 적어도 하나 이상의 서브 이미지 영역을 식별하고, 상기 식별된 서브 이미지 영역 내에 포함된 서브 이미지를 추출하는 서브 이미지 추출부, 상기 추출된 적어도 하나 이상의 서브 이미지가 현재 재생 중인지 여부를 판단하는 재생 판단부, 상기 추출된 적어도 하나 이상의 서브 이미지가 현재 재생 중인 경우, 기설정된 적어도 하나 이상의 차단 조건을 확인하는 조건 확인부, 상기 현재 재생 중인 서브 이미지가 상기 기설정된 적어도 하나 이상의 차단 조건에 부합되는 경우, 상기 재생 중인 서브 이미지를 차단하도록 제어하는 콘텐츠 차단부, 및 상기 현재 재생 중인 서브 이미지가 상기 기설정된 적어도 하나 이상의 차단 조건에 부합되지 않는 경우에는 상기 재생 중인 서브 이미지에 대한 로그를 기록하는 로그 기록 처리부를 포함할 수 있다.A smart TV video time control and harmful video filtering device according to an embodiment includes a full screen image generator configured to generate a full screen image by capturing a full screen displayed on a smart TV, and at least one sub image from among the generated full screen images A sub-image extraction unit that identifies a region and extracts a sub-image included in the identified sub-image region, a reproduction determination unit that determines whether the extracted at least one sub-image is currently being reproduced, and the extracted at least one or more When the sub-image is currently being played, a condition check unit that checks at least one preset blocking condition; when the currently playing sub-image meets the preset at least one blocking condition, blocking the playing sub-image A content blocking unit controlling, and when the currently playing sub-image does not meet the at least one preset blocking condition, a log recording processing unit that records a log of the playing sub-image.

일실시예에 따른 상기 재생 판단부는, 상기 추출된 적어도 하나 이상의 서브 이미지가 현재 재생 중이 아닌 경우, 상기 서브 이미지 영역 내에 포커싱된 버튼이 존재하는지 판단하는 포커싱 판단부, 상기 서브 이미지 영역 내에 포커된 버튼이 존재하는 경우, 상기 포커싱된 버튼으로부터 텍스트를 추출하는 텍스트 추출부, 및 상기 추출된 텍스트에서 영상 제목을 임시 저장하는 저장부를 포함하고, 상기 로그 기록 처리부는 상기 임시 저장된 영상 제목과 재생 시간 정보를 매칭시켜 상기 로그로 기록할 수 있다.The reproduction determination unit according to an embodiment includes a focusing determination unit configured to determine whether a focused button exists in the sub-image area when the extracted at least one sub-image is not currently being played, and a button focused in the sub-image area. If present, a text extraction unit for extracting text from the focused button, and a storage unit for temporarily storing an image title from the extracted text, and the log recording processing unit stores the temporarily stored image title and playback time information. It can be matched and recorded as the log.

일실시예에 따른 상기 차단 조건은, 카테고리, 시청가능 시간대, 시청가능 요일, 및 전체 시청시간 중에서 적어도 하나를 포함할 수 있다.The blocking condition according to an embodiment may include at least one of a category, a viewing available time zone, a viewing available weekday, and a total viewing time.

일실시예에 따른 상기 로그 기록 처리부는 상기 재생 중인 서브 이미지에 대한 로그로서, 재생하는 앱 이름, 영상 제목, 분류, 마지막 재생 시각, 및 재생시간 중에서 적어도 하나를 기록할 수 있다.The log recording processor according to an embodiment may record at least one of a name of an app to be played, a title of an image, a classification, a last playback time, and a playback time as a log of the sub-image being played.

일실시예에 따른 스마트 TV 동영상 시간 제어 및 유해동영상 필터링 장치는 스마트 텔레비전에 표시되는 전체 화면을 캡쳐하여 전체 화면 이미지를 생성하는 전체 화면 이미지 생성부, 상기 생성된 전체 화면 이미지 중에서 적어도 하나 이상의 서브 이미지 영역을 식별하고, 상기 식별된 서브 이미지 영역 내에 포함된 서브 이미지를 추출하는 서브 이미지 추출부, 상기 추출된 적어도 하나 이상의 서브 이미지가 현재 재생 중인지 여부를 판단하는 재생 판단부, 상기 추출된 적어도 하나 이상의 서브 이미지가 현재 재생 중인 경우, 기설정된 적어도 하나 이상의 차단 조건을 확인하는 조건 확인부, 상기 현재 재생 중인 서브 이미지가 상기 기설정된 적어도 하나 이상의 차단 조건에 부합되는 경우, 상기 재생 중인 서브 이미지를 차단하도록 제어하는 콘텐츠 차단부, 및 상기 현재 재생 중인 서브 이미지가 상기 기설정된 적어도 하나 이상의 차단 조건에 부합되지 않는 경우에는 상기 재생 중인 서브 이미지에 대한 유해성 여부를 판단하는 유해성 판단부를 포함할 수 있다.A smart TV video time control and harmful video filtering device according to an embodiment includes a full screen image generator configured to generate a full screen image by capturing a full screen displayed on a smart TV, and at least one sub-image from among the generated full screen images A sub-image extraction unit that identifies a region and extracts a sub-image included in the identified sub-image region, a reproduction determination unit that determines whether the extracted at least one sub-image is currently being reproduced, and the extracted at least one or more When the sub-image is currently being played, a condition check unit that checks at least one preset blocking condition; when the currently playing sub-image meets the preset at least one blocking condition, blocking the playing sub-image A content blocking unit controlling, and when the currently playing sub-image does not meet at least one predetermined blocking condition, a harmfulness determining unit determining whether the playing sub-image is harmful.

일실시예에 따른 콘텐츠 차단부는, 상기 유해성 판단부의 판단 결과, 상기 서브 이미지가 유해 임계값 이상으로 유해한 경우, 상기 콘텐츠 차단부는, 상기 재생 중인 서브 이미지를 차단하도록 제어할 수 있다.The content blocking unit according to an embodiment may control to block the sub-image being played when the sub-image is harmful by a harmfulness threshold or higher as a result of the determination by the harmfulness determination unit.

일실시예에 따른 스마트 TV 동영상 시간 제어 및 유해동영상 필터링 장치는 상기 서브 이미지가 유해 임계값 이상으로 유해하지 않은 경우, 상기 재생 중인 서브 이미지에 대한 로그를 기록하는 로그 기록 처리부를 더 포함할 수 있다.The smart TV video time control and harmful video filtering apparatus according to an embodiment may further include a log recording processing unit for recording a log of the sub-image being played when the sub-image is not harmful beyond a harmful threshold value. .

일실시예에 따른 상기 로그 기록 처리부는 상기 재생 중인 서브 이미지에 대한 로그로서, 재생하는 앱 이름, 영상 제목, 분류, 마지막 재생 시각, 및 재생시간 중에서 적어도 하나를 기록할 수 있다.The log recording processor according to an embodiment may record at least one of a name of an app to be played, a title of an image, a classification, a last playback time, and a playback time as a log of the sub-image being played.

일실시예에 따른 재생 판단부는, 상기 추출된 적어도 하나 이상의 서브 이미지가 현재 재생 중이 아닌 경우, 상기 서브 이미지 영역 내에 포커싱된 버튼이 존재하는지 판단하는 포커싱 판단부, 상기 서브 이미지 영역 내에 포커된 버튼이 존재하는 경우, 상기 포커싱된 버튼으로부터 텍스트를 추출하는 텍스트 추출부, 및 상기 추출된 텍스트에서 영상 제목을 임시 저장하는 저장부를 더 포함하고, 상기 로그 기록 처리부는 상기 임시 저장된 영상 제목과 재생 시간 정보를 매칭시켜 상기 로그로 기록할 수 있다.According to an embodiment, when the extracted at least one sub-image is not currently being played, the reproduction determination unit includes a focusing determination unit that determines whether a focused button exists in the sub-image area, and a button focused in the sub-image area If present, further comprises a text extraction unit for extracting text from the focused button, and a storage unit for temporarily storing an image title from the extracted text, and the log recording processing unit stores the temporarily stored image title and playback time information It can be matched and recorded as the log.

일실시예에 따른 상기 차단 조건은, 카테고리, 시청가능 시간대, 시청가능 요일, 및 전체 시청시간 중에서 적어도 하나를 포함할 수 있다.The blocking condition according to an embodiment may include at least one of a category, a viewing available time zone, a viewing available weekday, and a total viewing time.

일실시예에 따른 스마트 TV 동영상 시간 제어 및 유해동영상 필터링 방법은 스마트 TV의 구동 중에 타이머 또는 키 다운 이벤트가 발생하고, 동영상 스트리밍 앱이 실행되는 경우, 스마트 TV에 표시되는 전체 화면을 캡쳐하여 전체 화면 이미지를 생성하는 단계, 상기 생성된 전체 화면 이미지 중에서 적어도 하나 이상의 서브 이미지 영역을 식별하고, 상기 식별된 서브 이미지 영역 내에 포함된 서브 이미지를 추출하는 단계, 상기 추출된 적어도 하나 이상의 서브 이미지가 현재 재생 중인지 여부를 판단하는 단계, 상기 추출된 적어도 하나 이상의 서브 이미지가 현재 재생 중인 경우, 기설정된 적어도 하나 이상의 차단 조건을 확인하는 단계, 상기 현재 재생 중인 서브 이미지가 상기 기설정된 적어도 하나 이상의 차단 조건에 부합되는 경우, 상기 재생 중인 서브 이미지를 차단하도록 제어하는 단계, 상기 현재 재생 중인 서브 이미지가 상기 기설정된 적어도 하나 이상의 차단 조건에 부합되지 않는 경우, 상기 재생 중인 서브 이미지가 최초 재생인지 여부를 판단하는 단계, 상기 서브 이미지가 최초 재생인 경우, 상기 서브 이미지로부터 추출되는 제목, 대표 이미지를 참고하여 상기 서브 이미지의 유해성 여부를 판단하는 단계, 상기 서브 이미지가 유해 임계값 이상으로 유해한 경우, 상기 재생 중인 서브 이미지를 차단하도록 제어하는 단계, 및 상기 서브 이미지가 유해 임계값 이상으로 유해하지 않은 경우, 상기 재생 중인 서브 이미지에 대한 로그를 기록하는 단계를 포함할 수 있다.In the smart TV video time control and harmful video filtering method according to an embodiment, when a timer or key down event occurs while the smart TV is running, and the video streaming app is running, the entire screen displayed on the smart TV is captured and Generating an image, identifying at least one sub-image area among the generated full screen images, and extracting a sub-image included in the identified sub-image area, and the extracted at least one sub-image is currently reproduced Determining whether the sub-images are being played, if the extracted at least one sub-image is currently being played, checking at least one preset blocking condition, and the currently playing sub-image meets the preset at least one blocking condition If yes, controlling to block the playing sub-image, when the currently playing sub-image does not meet the at least one preset blocking condition, determining whether the playing sub-image is the first playback , When the sub-image is the first reproduction, determining whether the sub-image is harmful by referring to a title and a representative image extracted from the sub-image, and when the sub-image is harmful beyond a harmful threshold, the playing sub Controlling the image to be blocked, and if the sub-image is not harmful beyond the harmful threshold, recording a log of the sub-image being reproduced.

일실시예에 따른 스마트 TV 동영상 시간 제어 및 유해동영상 필터링 방법은 상기 추출된 적어도 하나 이상의 서브 이미지가 현재 재생 중이 아닌 경우, 상기 서브 이미지 영역 내에 포커싱된 버튼이 존재하는지 판단하는 단계, 상기 서브 이미지 영역 내에 포커된 버튼이 존재하는 경우, 상기 포커싱된 버튼으로부터 텍스트를 추출하는 단계, 및 상기 추출된 텍스트에서 영상 제목을 임시 저장하는 단계를 더 포함하고, 상기 서브 이미지에 대한 로그를 기록하는 단계는, 상기 임시 저장된 영상 제목과 재생 시간 정보를 매칭시켜 상기 로그로 기록하는 단계를 포함할 수 있다.In the smart TV video time control and harmful video filtering method according to an embodiment, when the extracted at least one sub-image is not currently being played, determining whether a focused button exists in the sub-image area, the sub-image area When there is a focused button in the inside, the step of extracting text from the focused button, and temporarily storing an image title from the extracted text, and recording a log of the sub-image, Matching the temporarily stored image title and playback time information may include the step of recording the log.

일실시예에 따른 상기 차단 조건은, 카테고리, 시청가능 시간대, 시청가능 요일, 및 전체 시청시간 중에서 적어도 하나를 포함할 수 있다.The blocking condition according to an embodiment may include at least one of a category, a viewing available time zone, a viewing available weekday, and a total viewing time.

일실시예에 따른 상기 서브 이미지에 대한 로그를 기록하는 단계는, 상기 재생 중인 서브 이미지에 대한 로그로서, 재생하는 앱 이름, 영상 제목, 분류, 마지막 재생 시각, 및 재생시간 중에서 적어도 하나를 기록하는 단계를 포함할 수 있다.In the recording of the log for the sub-image according to an embodiment, as a log for the sub-image being played, at least one of the name of the playing app, the video title, the classification, the last playing time, and the playing time is recorded. It may include steps.

일실시예에 따르면, 스마트 TV에서 영상을 제공하는데 있어, 스마트 TV에서 캡쳐된 전체 화면 이미지를 이용해서, 재생되는 영상 제목과 재생 시간 정도 등의 로그를 실시간 기록하고 관리할 수 있다.According to an embodiment, in providing an image from a smart TV, a log such as a title of a reproduced image and an extent of a playing time may be recorded and managed in real time using a full screen image captured from the smart TV.

일실시예에 따르면, 스마트 TV에서 영상을 제공하는데 있어, 해당 영상이 유해하다고 판단되면, 필터링을 통해 해당 영상을 원천적으로 차단할 수 있다.According to an embodiment, in providing an image on a smart TV, if the image is determined to be harmful, the image may be fundamentally blocked through filtering.

일실시예에 따르면, 캡쳐 이미지를 기반으로 유해한 영상에 대한 필터링을 처리할 수 있다.According to an embodiment, filtering for a harmful image may be processed based on the captured image.

도 1은 영상에 대한 로그를 기록하는, 스마트 TV 동영상 시간 제어 및 유해동영상 필터링 장치를 설명하는 도면이다.
도 2는 영상에 유해성을 판단하는 스마트 TV 동영상 시간 제어 및 유해동영상 필터링 장치를 설명하는 도면이다.
도 3a는 이미지 분류 모델을 이용하여 서브 이미지의 유해 예측값을 산출하는 실시예를 설명하는 도면이다.
도 3b은 텍스트 카테고리 분류 모델을 이용하여 텍스트에 대한 카테고리 예측값을 산출하는 실시예를 설명하는 도면이다.
도 4는 스마트 TV의 전체 화면 이미지로부터 영상이 재생됨에 따른 로그를 기록 및 갱신하는 실시예를 구체적으로 설명하는 도면이다.
도 5는 스마트 TV의 전체 화면 이미지로부터 영상의 유해성을 검사하는 실시예를 구체적으로 설명하는 도면이다.
도 6a는 스마트 TV에서 시청 가능한 카테고리를 설정하는 실시예를 설명하는 도면이다.
도 6b는 스마트 TV에서 일일 시청 가능 시간을 설정하는 실시예를 설명하는 도면이다.
도 6c는 스마트 TV에서 시청 가능 시간대를 설정하는 실시예를 설명하는 도면이다.
도 7은 스마트 TV 동영상 시간 제어 및 유해동영상 필터링 방법을 설명하는 도면이다.
도 8은 분류기를 활용하여 서브 이미지의 유해 여부를 판단하는 이미지 분류 과정을 설명하는 도면이다.1 is a diagram illustrating an apparatus for controlling a video time of a smart TV and filtering a harmful video for recording an image log.
2 is a diagram illustrating an apparatus for controlling a video time of a smart TV and filtering a harmful video for determining harmfulness to an image.
3A is a diagram illustrating an example in which a harmful predictive value of a sub-image is calculated using an image classification model.
3B is a diagram illustrating an embodiment of calculating a category predicted value for text using a text category classification model.
4 is a diagram specifically illustrating an exemplary embodiment of recording and updating a log according to reproduction of an image from a full screen image of a smart TV.
FIG. 5 is a diagram specifically illustrating an embodiment of inspecting harmfulness of an image from a full screen image of a smart TV.
6A is a diagram illustrating an embodiment of setting a category viewable on a smart TV.
6B is a diagram illustrating an embodiment of setting a daily viewing time on a smart TV.
6C is a diagram illustrating an embodiment of setting a viewing time zone on a smart TV.
7 is a diagram illustrating a method of controlling a video time of a smart TV and filtering a harmful video.
8 is a diagram illustrating an image classification process for determining whether a sub-image is harmful using a classifier.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.Specific structural or functional descriptions of the embodiments according to the concept of the present invention disclosed in this specification are exemplified only for the purpose of describing the embodiments according to the concept of the present invention, and embodiments according to the concept of the present invention They may be implemented in various forms and are not limited to the embodiments described herein.

본 발명의 개념에 따른 실시예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시예들을 특정한 개시형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 변경, 균등물, 또는 대체물을 포함한다.Since the embodiments according to the concept of the present invention can apply various changes and have various forms, the embodiments will be illustrated in the drawings and described in detail herein. However, this is not intended to limit the embodiments according to the concept of the present invention to specific disclosed forms, and includes changes, equivalents, or substitutes included in the spirit and scope of the present invention.

제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들어 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.Terms such as first or second may be used to describe various elements, but the elements should not be limited by the terms. The above terms are only for the purpose of distinguishing one component from other components, for example, without departing from the scope of rights according to the concept of the present invention, the first component may be named as the second component, Similarly, the second component may also be referred to as a first component.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 표현들, 예를 들어 "~사이에"와 "바로~사이에" 또는 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.When a component is referred to as being "connected" or "connected" to another component, it is understood that it may be directly connected or connected to the other component, but other components may exist in the middle. Should be. On the other hand, when a component is referred to as being "directly connected" or "directly connected" to another component, it should be understood that there is no other component in the middle. Expressions describing the relationship between components, for example, "between" and "just between" or "directly adjacent to" should be interpreted as well.

본 명세서에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the present specification are only used to describe specific embodiments and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In the present specification, terms such as "comprise" or "have" are intended to designate that the specified features, numbers, steps, actions, components, parts, or combinations thereof exist, but one or more other features or numbers, It is to be understood that the presence or addition of steps, actions, components, parts or combinations thereof does not preclude the possibility of preliminary exclusion.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by a person of ordinary skill in the art to which the present invention belongs. Terms as defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related technology, and should not be interpreted as an ideal or excessively formal meaning unless explicitly defined in this specification. Does not.

이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. However, the scope of the patent application is not limited or limited by these embodiments. The same reference numerals in each drawing indicate the same members.

도 1은 영상에 대한 로그를 기록하는, 스마트 TV 동영상 시간 제어 및 유해동영상 필터링 장치(100)를 설명하는 도면이다.1 is a diagram illustrating an apparatus 100 for controlling a video time of a smart TV and filtering a harmful video for recording a log of an image.

일실시예에 따른 스마트 TV 동영상 시간 제어 및 유해동영상 필터링 장치(100)를 이용하면, 스마트 TV에서 캡쳐된 전체 화면 이미지를 이용해서, 재생되는 영상 제목과 재생 시간 등의 로그를 실시간 기록하고 관리할 수 있다.Using the smart TV video time control and harmful video filtering device 100 according to an embodiment, a log such as the title of the video being played and the playback time can be recorded and managed in real time using the full screen image captured from the smart TV. I can.

이를 위해, 스마트 TV 동영상 시간 제어 및 유해동영상 필터링 장치(100)는 전체 화면 이미지 생성부(110), 서브 이미지 추출부(120), 재생 판단부(130), 조건 확인부(140), 콘텐츠 차단부(150), 및 로그 기록 처리부(160)를 포함할 수 있다.To this end, the smart TV video time control and harmful video filtering device 100 includes a full screen image generating unit 110, a sub image extracting unit 120, a playback determining unit 130, a condition checking unit 140, and content blocking. A unit 150 and a log recording processing unit 160 may be included.

먼저, 일실시예에 따른 전체 화면 이미지 생성부(110)는 스마트 TV의 디스플레이에 표시되는 전체 화면을 캡쳐하여 전체 화면 이미지를 생성할 수 있다.First, the full screen image generator 110 according to an embodiment may generate a full screen image by capturing the full screen displayed on the display of the smart TV.

다음으로, 일실시예에 따른 서브 이미지 추출부(120)는 생성된 전체 화면 이미지 중에서 적어도 하나 이상의 서브 이미지 영역을 식별할 수 있다.Next, the sub-image extractor 120 according to an embodiment may identify at least one sub-image area from the generated full screen image.

서브 이미지 영역은, 서브 이미지를 표시하기 위해서 스마트 TV의 브라우저가 전체 화면 중에서 일부를 할당하는 영역으로서, 하나의 서브 이미지 영역에는 하나의 서브 이미지가 삽입될 수도 있고, 연관된 복수 개의 서브 이미지들이 삽입될 수도 있다.The sub-image area is an area in which a browser of a smart TV allocates a part of the entire screen to display a sub-image. One sub-image may be inserted into one sub-image area, or a plurality of related sub-images may be inserted. May be.

또한, 본 명세서에서는 전체 화면에서 서브 이미지 영역이 복수 개로 분할된 예시를 통해 발명을 설명하고 있지만, 전체 화면에서 서브 이미지 영역이 하나로 할당되는 예시도 고려할 수 있다.In addition, although the present specification describes the invention through an example in which a sub-image area is divided into a plurality of sub-image areas in a full screen, an example in which a sub-image area is allocated to one in a full screen may also be considered.

서브 이미지 추출부(120)는 식별된 적어도 하나 이상의 서브 이미지 영역 내에 삽입된 적어도 하나 이상의 서브 이미지를 추출할 수 있다.The sub-image extractor 120 may extract at least one sub-image inserted into the identified at least one sub-image area.

일실시예에 따르면, 서브 이미지 영역과 서브 이미지가 동일한 의미로 해석될 수도 있다. 이 경우, 전체 화면에서 서브 이미지 영역을 식별하고, 식별된 서브 이미지 영역에서 서브 이미지를 추출하는 과정이 구분되지 않고, 하나의 프로세스로 처리될 수도 있다. 예를 들면, 전체 화면에서 서브 이미지가 바로 추출될 수 있다.According to an embodiment, the sub-image area and the sub-image may be interpreted as having the same meaning. In this case, the process of identifying the sub-image area in the entire screen and extracting the sub-image from the identified sub-image area is not distinguished, and may be processed as one process. For example, a sub image may be directly extracted from the entire screen.

일실시예에 따른 재생 판단부(130)는 추출된 적어도 하나 이상의 서브 이미지가 현재 재생 중인지 여부를 판단할 수 있다.The reproduction determination unit 130 according to an embodiment may determine whether the extracted at least one sub-image is currently being reproduced.

서브 이미지가 현재 재생 중인지 여부를 판단하기 위해, 재생 판단부(130)는 동일한 서브 이미지 영역에서 일정 시간 간격으로 추출된 서브 이미지를 비교할 수 있다.In order to determine whether the sub-image is currently being reproduced, the reproduction determination unit 130 may compare the sub-images extracted from the same sub-image area at predetermined time intervals.

예를 들어, 동일한 서브 이미지 영역에서 1초 간격으로 서브 이미지들을 추출하고, 추출된 서브 이미지들의 유사도를 확인하여 기준 이하로 유사도가 낮은 경우 해당 서브 이미지가 재생 중이라고 판단할 수 있다.For example, when sub-images are extracted at 1-second intervals from the same sub-image area, and the similarity of the extracted sub-images is checked, if the similarity is lower than a reference, it may be determined that the corresponding sub-image is being reproduced.

다음으로, 조건 확인부(140)는 추출된 적어도 하나 이상의 서브 이미지가 현재 재생 중인 경우, 기설정된 적어도 하나 이상의 차단 조건을 확인할 수 있다. 참고로, 영상을 캡쳐하는 경우 서브 이미지가 생성될 수 있다. 따라서 본 명세서의 전반에서 사용되는 재생되는 서브 이미지는 영상, 또는 동영상으로 해석될 수 있다.Next, when the extracted at least one sub-image is currently being played, the condition check unit 140 may check at least one preset blocking condition. For reference, when capturing an image, a sub image may be generated. Accordingly, the reproduced sub-image used throughout the present specification may be interpreted as an image or a moving image.

또한, 콘텐츠 차단부(150)는 현재 재생 중인 서브 이미지가 상기 기설정된 적어도 하나 이상의 차단 조건에 부합되는 경우, 재생 중인 서브 이미지를 차단하도록 제어할 수 있다.Also, the content blocking unit 150 may control to block the playing sub-image when the currently playing sub-image satisfies the at least one preset blocking condition.

예를 들어, 차단 조건은 사전에 설정되어 스마트 TV의 사용자 별로 데이터베이스에 기록될 수 있다. 구체적으로, 차단 조건은 시청 가능한 카테고리, 시청가능 시간대, 시청가능 요일, 전체 시청시간 등을 포함할 수 있다.For example, the blocking condition may be set in advance and recorded in a database for each user of the smart TV. Specifically, the blocking condition may include a viewable category, a viewable time zone, a viewable day of the week, and a total viewing time.

만약, 서브 이미지가 현재 재생 중이나, 현재가 차단 조건에 부합되는 시간대라면 콘텐츠 차단부(150)는 현재 재생 중인 서브 이미지를 차단하도록 제어할 수 있다.If the sub-image is currently being played, or if the current is a time zone that satisfies the blocking condition, the content blocking unit 150 may control to block the currently playing sub-image.

한편, 로그 기록 처리부(160)는 현재 재생 중인 서브 이미지가 기설정된 적어도 하나 이상의 차단 조건에 부합되지 않는 경우, 재생 중인 서브 이미지에 대한 로그를 기록할 수 있다. 특히, 로그 기록 처리부(160)는 재생 중인 서브 이미지에 대한 로그로서, 재생하는 앱 이름, 영상 제목, 분류, 마지막 재생 시각, 및 재생시간 중에서 적어도 하나를 기록할 수 있다.Meanwhile, the log recording processor 160 may record a log of the sub-image being reproduced when the sub-image currently being reproduced does not meet at least one blocking condition set in advance. In particular, the log recording processing unit 160 may record at least one of a name of an app to be played, a title of an image, a classification, a last playback time, and a playback time as a log of a sub-image being played.

일실시예에 따른 재생 판단부(130)는, 추출된 적어도 하나 이상의 서브 이미지가 현재 재생 중이 아닌 경우, 서브 이미지 영역 내에 포커싱된 버튼이 존재하는지 판단하는 포커싱 판단부를 더 포함할 수 있다. The reproduction determination unit 130 according to an embodiment may further include a focusing determination unit that determines whether a focused button exists in the sub image region when at least one extracted sub image is not currently being reproduced.

버튼이라 함은, 서브 이미지 영역 내에 표시되는 영상, 예를 들면 이미지, 아이콘, 캐릭터, 영역 등으로 해석될 수 있다. 또한, 포커싱된 버튼은 여러 버튼들 중에서 사용자의 선택에 따라 활성화된 버튼을 의미하며, 포커싱된 버튼은 다른 여러 버튼들에 비해 테두리가 볼드 또는 구별되는 색상으로 렌더링되거나, 확대 처리되는 등의 이벤트가 발생할 수 있다.The button may be interpreted as an image displayed in the sub-image area, for example, an image, an icon, a character, or an area. In addition, a focused button means a button that is activated according to a user's selection among various buttons, and the focused button has an event such as a bold or distinctive color rendering or enlargement process compared to other buttons. Can occur.

일실시예에 따른 재생 판단부(130)는 서브 이미지 영역 내에 포커싱된 버튼이 존재하는 경우, 포커싱된 버튼으로부터 텍스트를 추출하는 텍스트 추출부와 추출된 텍스트에서 영상 제목을 임시 저장하는 저장부를 더 포함할 수 있다. 또한, 이때의 로그 기록 처리부(160)는 임시 저장된 영상 제목과 재생 시간 정보를 매칭시켜 로그로서 기록할 수 있다.The reproduction determination unit 130 according to an embodiment further includes a text extraction unit for extracting text from the focused button and a storage unit for temporarily storing an image title from the extracted text when a focused button exists in the sub image area. can do. In addition, the log recording processing unit 160 at this time may match the temporarily stored video title with the playback time information and record it as a log.

로그 기록 처리부(160)는 재생 중인 서브 이미지가 추출되는 시점부터 실시간으로 영상의 재생을 카운팅할 수 있다. 따라서, 영상이 언제부터 얼마 동안 재생이 되었는지, 영상의 처음부터 재생이 되었는지, 영상의 끝까지 재생이 되었는지 등을 확인하여 로그로서 데이터베이스에 기록할 수 있다. 또한, 로그 기록 처리부(160)는 서브 이미지로부터 확인되는 정보뿐만 아니라, 데이터베이스에 기록되어 있는 영상에 대한 정보들을 활용하여 로그에 매칭시켜 기록할 수도 있다.The log recording processing unit 160 may count the reproduction of the image in real time from the time when the sub image being reproduced is extracted. Accordingly, it is possible to check whether an image has been reproduced from when and for how long, whether the image has been reproduced from the beginning of the image, and has been reproduced to the end of the image, and recorded as a log in the database. In addition, the log recording processing unit 160 may match and record a log using information on images recorded in the database as well as information identified from the sub-image.

일례로 서브 이미지로부터 텍스트가 수집되면, 로그 기록 처리부(160)는 텍스트로부터 영상에 대한 제목 등의 정보를 식별할 수 있다. 이에, 로그 기록 처리부(160)는 식별된 영상에 대한 정보를 활용하여 데이터베이스에 해당 영상과 관련된 추가 정보들을 독출하여, 현재 모니터링 중인 로그에 매칭 시킬 수 있다. 보다 구체적으로는, 스마트 TV에서 영상을 재생하는 앱의 이름, 영상의 제목, 분류, 마지막 재생 시각, 재생시간 등을 로그로서 기록할 수 있으며, 이 중에서 영상을 재생하는 앱의 이름, 영상의 제목, 분류 등을 데이터베이스로부터 독출할 수 있다.For example, when text is collected from the sub-image, the log recording processing unit 160 may identify information such as a title for the image from the text. Accordingly, the log recording processing unit 160 may read additional information related to the image to the database by using information on the identified image, and match the log currently being monitored. More specifically, the name of the app that plays the video on the smart TV, the title of the video, the classification, the last playback time, the playback time, etc. can be recorded as a log, among which the name of the app playing the video, the title of the video , Classification, etc. can be read from the database.

도 2는 영상에 유해성을 판단하는 스마트 TV 동영상 시간 제어 및 유해동영상 필터링 장치를 설명하는 도면이다.2 is a diagram illustrating an apparatus for controlling a video time of a smart TV and filtering a harmful video for determining harmfulness to an image.

일실시예에 따른 스마트 TV 동영상 시간 제어 및 유해동영상 필터링 장치(100)를 이용하는 경우, 스마트 TV에서 제공하는 영상이 유해하다고 판단되면, 필터링을 통해 해당 영상을 원천적으로 차단할 수 있다. 이때에도, 캡쳐 이미지를 기반으로 유해한 영상에 대한 필터링을 처리할 수 있다.In the case of using the smart TV video time control and harmful video filtering apparatus 100 according to an embodiment, if it is determined that the video provided by the smart TV is harmful, the video may be fundamentally blocked through filtering. Even at this time, filtering for harmful images may be processed based on the captured image.

본 명세서에서 사용되는 유해한 영상은, 포르노, 폭력물, 공포물, 자살 및 도박을 주제한 영상, 해당 영상을 제공하는 웹사이트 등을 모두 포함하는 의미로 해석될 수 있다.Harmful images used in the present specification may be interpreted as including all of pornography, violence, horror, suicide and gambling-themed images, and websites that provide the images.

이를 위해, 스마트 TV 동영상 시간 제어 및 유해동영상 필터링 장치(200)는 전체 화면 이미지 생성부(210), 서브 이미지 추출부(220), 재생 판단부(230), 조건 확인부(240), 콘텐츠 차단부(250), 유해성 판단부(260), 및 로그 기록 처리부(270)를 포함할 수 있다.To this end, the smart TV video time control and harmful video filtering device 200 includes a full screen image generation unit 210, a sub image extraction unit 220, a playback determination unit 230, a condition check unit 240, and a content blocking unit. A unit 250, a hazard determination unit 260, and a log recording processing unit 270 may be included.

먼저, 일실시예에 따른 전체 화면 이미지 생성부(210)는 스마트 TV의 디스플레이에 표시되는 전체 화면을 캡쳐하여 전체 화면 이미지를 생성할 수 있다.First, the full screen image generator 210 according to an embodiment may generate a full screen image by capturing a full screen displayed on a display of a smart TV.

다음으로, 일실시예에 따른 서브 이미지 추출부(220)는 생성된 전체 화면 이미지 중에서 적어도 하나 이상의 서브 이미지 영역을 식별할 수 있다.Next, the sub-image extraction unit 220 according to an embodiment may identify at least one sub-image area from among the generated full screen images.

서브 이미지 영역은, 서브 이미지를 표시하기 위해서 스마트 TV의 브라우저가 전체 화면 중에서 일부를 할당하는 영역으로서, 하나의 서브 이미지 영역에는 하나의 서브 이미지가 삽입될 수도 있고, 연관된 복수 개의 서브 이미지들이 삽입될 수도 있다.The sub-image area is an area in which a browser of a smart TV allocates a part of the entire screen to display a sub-image. One sub-image may be inserted into one sub-image area, or a plurality of related sub-images may be inserted. May be.

또한, 본 명세서에서는 전체 화면에서 서브 이미지 영역이 복수 개로 분할된 예시를 통해 발명을 설명하고 있지만, 전체 화면에서 서브 이미지 영역이 하나로 할당되는 예시도 고려할 수 있다.In addition, although the present specification describes the invention through an example in which a sub-image area is divided into a plurality of sub-image areas in a full screen, an example in which a sub-image area is allocated to one in a full screen may also be considered.

서브 이미지 추출부(220)는 식별된 적어도 하나 이상의 서브 이미지 영역 내에 삽입된 적어도 하나 이상의 서브 이미지를 추출할 수 있다.The sub-image extractor 220 may extract at least one sub-image inserted in the identified at least one sub-image area.

일실시예에 따르면, 서브 이미지 영역과 서브 이미지가 동일한 의미로 해석될 수도 있다. 이 경우, 전체 화면에서 서브 이미지 영역을 식별하고, 식별된 서브 이미지 영역에서 서브 이미지를 추출하는 과정이 구분되지 않고, 하나의 프로세스로 처리될 수도 있다. 예를 들면, 전체 화면에서 서브 이미지가 바로 추출될 수 있다.According to an embodiment, the sub-image area and the sub-image may be interpreted as having the same meaning. In this case, the process of identifying the sub-image area in the entire screen and extracting the sub-image from the identified sub-image area is not distinguished, and may be processed as one process. For example, a sub image may be directly extracted from the entire screen.

일실시예에 따른 재생 판단부(230)는 추출된 적어도 하나 이상의 서브 이미지가 현재 재생 중인지 여부를 판단할 수 있다.The reproduction determination unit 230 according to an embodiment may determine whether at least one extracted sub-image is currently being reproduced.

서브 이미지가 현재 재생 중인지 여부를 판단하기 위해, 재생 판단부(230)는 동일한 서브 이미지 영역에서 일정 시간 간격으로 추출된 서브 이미지를 비교할 수 있다.In order to determine whether the sub-image is currently being reproduced, the reproduction determination unit 230 may compare the sub-images extracted from the same sub-image area at predetermined time intervals.

서브 이미지가 재생 중인지 여부는 앞선 도 1의 설명을 참고할 수 있다.Whether or not the sub image is being reproduced may be referred to the description of FIG. 1.

다음으로, 조건 확인부(240)는 추출된 적어도 하나 이상의 서브 이미지가 현재 재생 중인 경우, 기설정된 적어도 하나 이상의 차단 조건을 확인할 수 있다. 참고로, 영상을 캡쳐하는 경우 서브 이미지가 생성될 수 있다. 따라서 본 명세서의 전반에서 사용되는 재생되는 서브 이미지는 영상, 또는 동영상으로 해석될 수 있다.Next, when the extracted at least one sub-image is currently being played, the condition check unit 240 may check at least one preset blocking condition. For reference, when capturing an image, a sub image may be generated. Accordingly, the reproduced sub-image used throughout the present specification may be interpreted as an image or a moving image.

또한, 콘텐츠 차단부(250)는 현재 재생 중인 서브 이미지가 상기 기설정된 적어도 하나 이상의 차단 조건에 부합되는 경우, 재생 중인 서브 이미지를 차단하도록 제어할 수 있다.In addition, the content blocking unit 250 may control to block the playing sub-image when the currently playing sub-image satisfies the at least one preset blocking condition.

한편, 유해성 판단부(260)는 현재 재생 중인 서브 이미지에 대한 유해 정도를 판단하여 차단 여부를 결정하는데 활용할 수 있다.Meanwhile, the harmfulness determination unit 260 may be used to determine whether to block by determining the degree of harmfulness of the sub-image currently being played.

유해성 판단부(260)는 현재 재생 중인 서브 이미지가 기설정된 적어도 하나 이상의 차단 조건에 부합되지 않는 경우에는 재생 중인 서브 이미지에 대한 유해성 여부를 판단할 수 있다.When the currently playing sub-image does not meet at least one predetermined blocking condition, the harmfulness determination unit 260 may determine whether the sub-image being reproduced is harmful.

일례로, 콘텐츠 차단부(250)는 유해성 판단부의 판단 결과, 서브 이미지가 유해 임계값 이상으로 유해한 경우, 재생 중인 서브 이미지를 차단하도록 제어할 수 있다.As an example, the content blocking unit 250 may control to block the sub-image being played when the sub-image is harmful beyond the harmful threshold value as a result of the determination by the harmfulness determination unit.

유해성 판단부(260)는 유해 여부를 판단하기 위해, 외부의 분류기를 활용할 수 있다.The hazard determination unit 260 may use an external classifier to determine whether it is harmful.

분류기는 이미지나 텍스트 등을 수집하여 유해한 영상인지 여부를 판단할 수 있다. 이러한 판단은 CNN(Convolutional Neural Network), RNN(Recurrent Neural Networks), 또는 DNN(Deep Neural Network) 등의 딥러닝을 통해서 구현이 가능하며, 유해 여부를 판단할 수 있는 기존에 다양한 연구 결과나 소프트웨어, 모듈 등을 활용할 수 있다.The classifier may collect images or text to determine whether or not the image is harmful. This determination can be implemented through deep learning such as CNN (Convolutional Neural Network), RNN (Recurrent Neural Networks), or DNN (Deep Neural Network), and various existing research results or software, which can determine whether it is harmful, Modules can be used.

분류기는 딥 러닝을 기반으로, 서브 이미지(섬네일 이미지 등)에 대한 로컬화 이미지 분류(Image classification with localization), 객체 탐지(Object detection), 객체 분할(Object segmentation), 이미지 스타일 전이(Image style transfer), 이미지 색상화(Image colorization), 이미지 재구성(Image reconstruction), 이미지 슈퍼레졸루션(Image super-resolution), 이미지 합성(Image synthesis) 등을 수행하고, 이를 기반으로 유해 정도를 판단할 수 있다.The classifier is based on deep learning, image classification with localization, object detection, object segmentation, and image style transfer for sub-images (thumbnail images, etc.) , Image colorization, image reconstruction, image super-resolution, image synthesis, etc. can be performed, and the degree of harmfulness can be determined based on this.

일실시예에 따른 서브 이미지 추출부(220)는 추출된 적어도 하나 이상의 서브 이미지에 가중치를 부여할 수 있다. 또한, 일실시예에 따른 유해성 판단부(260)는 서브 이미지에 부여된 가중치를 고려하여 유해 여부를 판단할 순서를 결정할 수 있다. 또한, 결정된 순서에 따라서 적어도 하나 이상의 서브 이미지에 대한 이미지 분류를 처리할 수 있다.The sub-image extractor 220 according to an embodiment may assign a weight to the extracted at least one sub-image. In addition, the harmfulness determination unit 260 according to an exemplary embodiment may determine an order of determining whether or not harmfulness is harmful in consideration of a weight assigned to the sub-image. In addition, image classification for at least one or more sub-images may be processed according to the determined order.

일례로, 특정 서브 이미지 영역 내의 포커싱된 버튼이 존재한다면, 포커싱된 버튼과 관련된 영상이 재생될 확률이 가장 높으므로, 포커싱된 버튼과 관련된 서브 이미지에 대해서 우선적으로 유해 여부를 판단할 수 있다.For example, if there is a focused button in a specific sub-image area, since an image related to the focused button is most likely to be played, it is possible to determine whether the sub-image related to the focused button is harmful.

다만, 포커싱된 버튼이 존재하지 않거나, 확인이 어려운 경우 가중치에 기초하여 유해 여부를 판단할 순서를 결정할 수 있다.However, if the focused button does not exist or it is difficult to check, the order of determining whether the button is harmful may be determined based on the weight.

유해성 판단부(260)는 결정된 순서에 따라서 이미지 분류를 처리하되, 적어도 하나 이상의 서브 이미지 중에서 가중치를 고려하여 일부의 서브 이미지에 대해서만 이미지 분류를 처리할 수 있다. 즉, 시스템 자원을 고려하여, 서브 이미지들 전부에 대해서 유해 여부를 판단하지 않고, 유해하다고 판단될 가능성이 높은 일부의 서브 이미지들에 대해서만 선별하여 유해 여부를 판단함으로써, 한정된 자원을 효율적으로 사용할 수 있다.The harmfulness determination unit 260 processes image classification according to the determined order, but may process image classification for only some sub-images in consideration of a weight among at least one sub-image. That is, by considering system resources, not determining whether all of the sub-images are harmful, but selecting only some sub-images that are likely to be harmful, and determining whether they are harmful, it is possible to use limited resources efficiently. have.

이를 위해, 서브 이미지 추출부(220)는 추출된 적어도 하나 이상의 서브 이미지에 대한 넓이, 중앙 좌표와의 거리 중에서 적어도 하나를 고려하여 가중치를 부여할 수 있다.To this end, the sub-image extractor 220 may assign a weight by considering at least one of the area of the extracted at least one sub-image and the distance to the center coordinate.

일실시예에 따른 콘텐츠 차단부(250)는 적어도 하나 이상의 서브 이미지가 유해 이미지로 분류되는 경우에 해당 영상에 대한 차단 여부를 판단할 수 있다. 만약, 서브 이미지에 대한 유해 정도가 미미한 경우에는 차단하지 않겠지만, 적어도 하나 이상의 서브 이미지에 대한 유해 정도가 미리 설정된 유해 임계값 이상인 경우에 적어도 하나 이상의 서브 이미지에 대응되는 영상을 차단할 수 있다.The content blocker 250 according to an embodiment may determine whether to block the corresponding image when at least one sub-image is classified as a harmful image. If the degree of harmfulness to the sub-image is insignificant, the blocking will not be performed. However, when the degree of harmfulness to the at least one sub-image is greater than or equal to a preset harmfulness threshold, an image corresponding to at least one sub-image may be blocked.

예를 들면, 콘텐츠 차단부(250)는 전체 화면에서 해당되는 서브 이미지 영역을 블라인드 하거나, 전체 화면의 로딩을 제한 함으로써 차단할 수 있다.For example, the content blocker 250 may block a corresponding sub-image area in the full screen by blinding or limiting the loading of the full screen.

한편, 일실시예에 따른 유해성 판단부(260)는 포커싱된 버튼으로부터 수집되는 대표 섬네일 이미지, 제목 텍스트, 또는 설명 텍스트 중에서 적어도 하나를 독출하여 재생 중인 서브 이미지에 대한 유해 여부를 판단할 수 있다.Meanwhile, the harmfulness determination unit 260 according to an embodiment may read at least one of a representative thumbnail image, a title text, or a description text collected from the focused button to determine whether the sub-image being played is harmful.

앞서 언급한 분류기가 서브 이미지와 관련된 텍스트(제목 텍스트 또는 설명 텍스트 등)를 입력 받는 경우, 자동 요약(Automatic Summarization), 대용어 해소(Co-reference Resolution), 담화 분석(Discourse Analysis), 형태론적 구분(morphological segmentation), 개체명 인식(Named Entity Recognition, NER), 자연어 생성, 자연어 이해, POS(Part of Speech) 태깅, 감성 분석(sentiment analysis), 스피치 인식(speech recognition) 등을 수행하여 유해 정도를 판단할 수 있다.When the aforementioned classifier receives text related to sub-images (such as title text or explanatory text), automatic summarization, co-reference resolution, discourse analysis, morphological classification (morphological segmentation), Named Entity Recognition (NER), natural language generation, natural language understanding, POS (Part of Speech) tagging, sentiment analysis, speech recognition, etc. I can judge.

이에, 서브 이미지와 관련된 텍스트가 유해한 것으로 판단되는 경우, 콘텐츠 차단부(250)는 해당 영상의 재생을 차단할 수 있다.Accordingly, when it is determined that the text related to the sub-image is harmful, the content blocker 250 may block the reproduction of the corresponding image.

또한, 스마트 TV 동영상 시간 제어 및 유해동영상 필터링 장치(200)는 서브 이미지가 유해 임계값 이상으로 유해하지 않은 경우, 재생 중인 서브 이미지에 대한 로그를 기록하는 로그 기록 처리부(270)를 더 포함할 수 있다.In addition, the smart TV video time control and harmful video filtering apparatus 200 may further include a log recording processing unit 270 that records a log of the sub-image being played when the sub-image is not harmful beyond the harmful threshold. have.

로그 기록 처리부(270)는 현재 재생 중인 서브 이미지가 기설정된 적어도 하나 이상의 차단 조건에 부합되지 않는 경우, 재생 중인 서브 이미지에 대한 로그를 기록할 수 있다. 특히, 로그 기록 처리부(270)는 재생 중인 서브 이미지에 대한 로그로서, 재생하는 앱 이름, 영상 제목, 분류, 마지막 재생 시각, 및 재생시간 중에서 적어도 하나를 기록할 수 있다.The log recording processing unit 270 may record a log of the sub-image being reproduced when the sub-image currently being reproduced does not meet at least one predetermined blocking condition. In particular, the log recording processing unit 270 may record at least one of an app name to be played back, a video title, a classification, a last playback time, and a playback time as a log of the sub-image being played.

일실시예에 따른 재생 판단부(230)는, 추출된 적어도 하나 이상의 서브 이미지가 현재 재생 중이 아닌 경우, 서브 이미지 영역 내에 포커싱된 버튼이 존재하는지 판단하는 포커싱 판단부를 더 포함할 수 있다.The reproduction determination unit 230 according to an embodiment may further include a focusing determination unit that determines whether a focused button exists in the sub image area when at least one extracted sub-image is not currently being reproduced.

일실시예에 따른 재생 판단부(230)는 서브 이미지 영역 내에 포커된 버튼이 존재하는 경우, 포커싱된 버튼으로부터 텍스트를 추출하는 텍스트 추출부와 추출된 텍스트에서 영상 제목을 임시 저장하는 저장부를 더 포함할 수 있다. 또한, 이때의 로그 기록 처리부(270)는 임시 저장된 영상 제목과 재생 시간 정보를 매칭시켜 로그로서 기록할 수 있다.The reproduction determination unit 230 according to an embodiment further includes a text extracting unit for extracting text from the focused button and a storage unit for temporarily storing an image title from the extracted text when there is a focused button in the sub image area. can do. In addition, the log recording processing unit 270 at this time may match the temporarily stored image title with the playback time information and record it as a log.

로그 기록 처리부(270)는 재생 중인 서브 이미지가 추출되는 시점부터 실시간으로 영상의 재생을 카운팅할 수 있다. 따라서, 영상이 언제부터 얼마 동안 재생이 되었는지, 영상의 처음부터 재생이 되었는지, 영상의 끝까지 재생이 되었는지 등을 확인하여 로그로서 데이터베이스에 기록할 수 있다. 또한, 로그 기록 처리부(270)는 서브 이미지로부터 확인되는 정보뿐만 아니라, 데이터베이스에 기록되어 있는 영상에 대한 정보들을 활용하여 로그에 매칭시켜 기록할 수도 있다.The log recording processing unit 270 may count the reproduction of the image in real time from the time when the sub image being reproduced is extracted. Accordingly, it is possible to check whether an image has been reproduced from when and for how long, whether the image has been reproduced from the beginning of the image, and has been reproduced to the end of the image, and recorded as a log in the database. In addition, the log recording processing unit 270 may match and record a log using information on an image recorded in a database as well as information identified from a sub-image.

도 3a는 이미지 분류 모델을 이용하여 서브 이미지의 유해 예측값을 산출하는 실시예를 설명하는 도면이다.3A is a diagram illustrating an example in which a harmful predictive value of a sub-image is calculated using an image classification model.

도 3a는 이미지 분류 모델을 이용하여 서브 이미지의 유해 예측값을 산출하는 실시예를 설명하는 도면이다.3A is a diagram illustrating an example in which a harmful predictive value of a sub-image is calculated using an image classification model.

분류기는 이미지 분류 모델을 이용해서 입력되는 서브 이미지에 대한 유해 정도를 산출할 수 있다. 특히, 서브 이미지로부터 산출되는 유해 예측값과, 기타 텍스트의 카테고리 분류 등을 더 반영하여 최종적으로 유해 정도를 산출할 수 있다.The classifier may calculate the degree of harmfulness of the input sub-image using the image classification model. In particular, the degree of harmfulness may be finally calculated by further reflecting a harmful prediction value calculated from a sub-image and classification of other text categories.

이미지 분류 모델이 산출하는 유해 예측값은 서브 이미지가 입력층, 은닉층, 출력층을 지나 산출될 수 있고, 선정성, 폭력성, 및 공포성 각각이 개별적으로 판단될 수 있다.The harmful prediction value calculated by the image classification model may be calculated by passing the sub-image through the input layer, the hidden layer, and the output layer, and each of the sensationality, violence, and fear may be individually determined.

스마트 TV 동영상 시간 제어 및 유해동영상 필터링 장치는 분류기가 산출하는 유해 정도를 고려하여 해당 영상의 차단을 결정할 수 있다. 이를 위해, 유해 정도와 대비되는 유해 임계값을 사전에 설정해야 하는데, 기기에 접근 가능한 사용자들의 연령대나 기타 특성을 고려하여 유해 임계값을 높이거나 낮추도록 제어될 수 있다.The smart TV video time control and harmful video filtering apparatus may determine blocking of a corresponding video in consideration of the degree of harmfulness calculated by the classifier. To this end, a harmful threshold value that contrasts with the degree of harmfulness needs to be set in advance, and may be controlled to increase or decrease the harmful threshold value in consideration of the age group or other characteristics of users who can access the device.

도 3b은 텍스트 카테고리 분류 모델을 이용하여 텍스트에 대한 카테고리 예측값을 산출하는 실시예를 설명하는 도면이다.3B is a diagram illustrating an embodiment of calculating a category predicted value for text using a text category classification model.

분류기는 서브 이미지와 관련된 텍스트를 입력 받고, 텍스트 카테고리 분류 모델을 이용해서 입력된 텍스트에 대한 카테고리 예측값을 산출할 수 있다.The classifier may receive text related to the sub-image and calculate a category prediction value for the input text using the text category classification model.

카테고리 예측값은 입력되는 텍스트에 대해 영화, 음악, 성인 등의 카테고리로 분류할 수 있다.The category prediction value can classify the input text into categories such as movies, music, and adults.

도 4는 스마트 TV의 전체 화면 이미지(410)로부터 영상이 재생됨에 따른 로그를 기록 및 갱신하는 실시예를 구체적으로 설명하는 도면이다.FIG. 4 is a diagram specifically illustrating an embodiment of recording and updating a log as an image is reproduced from a full screen image 410 of a smart TV.

스마트 TV 동영상 시간 제어 및 유해동영상 필터링 장치는 전체 화면을 캡쳐하여 전체 화면 이미지(410)를 생성할 수 있다.The smart TV video time control and harmful video filtering device may generate a full screen image 410 by capturing the entire screen.

특히, 스마트 TV 동영상 시간 제어 및 유해동영상 필터링 장치는 전체 화면 이미지(410)에서 서브 이미지 영역들을 식별하고, 식별된 서브 이미지 영역들 중에서 현재 포커싱된 마이클 잭슨 공연 영상에 대한 서브 이미지(420)를 선택할 수 있다. 즉, 현재 포커싱된 서브 이미지(420)가 재생될 확률이 가장 높기 때문에 현재 포커싱된 서브 이미지에 대한 분석을 가장 먼저 수행한다.In particular, the smart TV video time control and harmful video filtering device identifies sub-image regions in the full screen image 410, and selects a sub-image 420 for the currently focused Michael Jackson performance image among the identified sub-image regions. I can. That is, since the currently focused sub-image 420 has the highest probability of being reproduced, the currently focused sub-image is analyzed first.

스마트 TV 동영상 시간 제어 및 유해동영상 필터링 장치는 추출된 마이클 잭슨 공연 영상에 대한 서브 이미지가 현재 재생 중인지 여부를 판단하고, 기 설정된 차단 조건에 부합되는지 여부를 판단할 수 있다.The smart TV video time control and harmful video filtering device may determine whether a sub-image of the extracted Michael Jackson performance video is currently being played, and determine whether a preset blocking condition is met.

만약, 현재 재생 중이고, 차단 조건들에 부합되지 않는다면, 스마트 TV 동영상 시간 제어 및 유해동영상 필터링 장치는 마이클 잭슨 공연 영상에 대한 재생 로그를 기록하거나, 서브 이미지의 유해성을 판단하여 필요하다면 차단할 수 있다.If it is currently being played and does not meet the blocking conditions, the smart TV video time control and harmful video filtering device may record a playback log for the Michael Jackson performance video or determine the harmfulness of the sub-image and block it if necessary.

도면부호 430에서 보는 바와 같이, 스마트 TV 동영상 시간 제어 및 유해동영상 필터링 장치는 재생 직전에 서브 이미지에 대한 유해성을 판단하거나, 로그를 기록할 수 있다. 특히, 서브 이미지에 대한 차단 조건으로서, 재생 시간의 검사를 통해 영상에 대한 차단을 제어할 수 있다.As shown by reference numeral 430, the smart TV video time control and harmful video filtering apparatus may determine the harmfulness of the sub-image immediately before playback or record a log. In particular, as a blocking condition for a sub-image, blocking of an image may be controlled through inspection of a playback time.

또한, 스마트 TV 동영상 시간 제어 및 유해동영상 필터링 장치는 포커싱된 버튼으로부터 추출되는 텍스트를 이용해서 영상 제목을 통해 카테고리를 분류할 수 있다.In addition, the smart TV video time control and harmful video filtering device may classify a category through an image title using text extracted from a focused button.

또한, 스마트 TV 동영상 시간 제어 및 유해동영상 필터링 장치는 딥러닝을 구현하는 분류기를 활용하여 영상 제목과 대표 이미지 유해성 검사를 수행하고, 필요시 관련된 영상을 차단할 수 있다.In addition, the smart TV video time control and harmful video filtering device may perform a video title and representative image harmfulness test using a classifier implementing deep learning, and block related videos if necessary.

또한, 스마트 TV 동영상 시간 제어 및 유해동영상 필터링 장치는 캡쳐한 서브 이미지로부터 실시간으로 모니터링 하는 정보들을 기반으로 재생 정보와 관련된 로그를 기록할 수 있다.In addition, the smart TV video time control and harmful video filtering apparatus may record a log related to playback information based on information monitored in real time from the captured sub-images.

한편, 도면부호 440에서 보는 바와 같이, 스마트 TV 동영상 시간 제어 및 유해동영상 필터링 장치는 재생 중에 서브 이미지에 대한 유해성을 판단하거나, 로그를 기록할 수도 있다.Meanwhile, as shown by reference numeral 440, the smart TV video time control and harmful video filtering device may determine the harmfulness of the sub-image or record a log during playback.

도 5는 스마트 TV의 전체 화면 이미지로부터 영상의 유해성을 검사하는 실시예를 구체적으로 설명하는 도면이다.FIG. 5 is a diagram specifically illustrating an embodiment of inspecting harmfulness of an image from a full screen image of a smart TV.

스마트 TV 동영상 시간 제어 및 유해동영상 필터링 장치는 전체 화면을 캡쳐하여 전체 화면 이미지(510)를 생성할 수 있다.The smart TV video time control and harmful video filtering device may generate a full screen image 510 by capturing the entire screen.

특히, 스마트 TV 동영상 시간 제어 및 유해동영상 필터링 장치는 전체 화면 이미지(510)에서 서브 이미지 영역들을 식별하고, 식별된 서브 이미지 영역들 중에서 현재 포커싱된 마이클 잭슨 공연 영상에 대한 서브 이미지(520)를 선택할 수 있다. 즉, 현재 포커싱된 서브 이미지(520)가 재생될 확률이 가장 높기 때문에 현재 포커싱된 서브 이미지에 대한 분석을 가장 먼저 수행한다.In particular, the smart TV video time control and harmful video filtering apparatus identifies sub-image regions in the full screen image 510 and selects a sub-image 520 for the currently focused Michael Jackson performance image among the identified sub-image regions. I can. That is, since the currently focused sub-image 520 has the highest probability of being reproduced, the currently focused sub-image is analyzed first.

또한, 사용자의 선택에 의해 활성화된 서브 이미지(520)는 포커싱된 버튼으로 해석될 수 있다.In addition, the sub-image 520 activated by the user's selection may be interpreted as a focused button.

서브 이미지(520)에는 영상의 썸네일 이미지뿐만 아니라, 영상에 대한 제목, 개시자, 개시일, 조회수 등이 포함될 수 있다.The sub-image 520 may include not only a thumbnail image of the image, but also a title, initiator, start date, and number of views of the image.

스마트 TV 동영상 시간 제어 및 유해동영상 필터링 장치는 서브 이미지(520)에서 대표 이미지(530)를 추출하고, 추출된 대표 이미지(530)에 대한 유해성을 검사할 수 있다.The smart TV video time control and harmful video filtering apparatus may extract the representative image 530 from the sub-image 520 and inspect the extracted representative image 530 for harmfulness.

또한, 스마트 TV 동영상 시간 제어 및 유해동영상 필터링 장치는 서브 이미지(520)의 하단에 배치된 텍스트를 추출하고, 추출된 텍스트로부터 영상에 대한 제목, 개시자, 개시일, 조회수 등의 정보를 추출할 수 있다. 또한, 추출된 정보들을 활용하여 카테고리를 분류하거나, 유해성 검사를 처리할 수 있다.In addition, the smart TV video time control and harmful video filtering device extracts text disposed at the bottom of the sub-image 520, and extracts information such as title, initiator, start date, and views of the image from the extracted text. have. In addition, the extracted information can be used to classify a category or process a hazard test.

예를 들어, 스마트 TV 동영상 시간 제어 및 유해동영상 필터링 장치는 텍스트로부터 추출된 제목으로서, "Michael Jackson live in Johannesburg, South Africa"를 독출하고, 해당 제목의 유해성 여부를 데이터베이스나 딥러닝을 통해 검사할 수 있다.For example, a smart TV video time control and harmful video filtering device reads "Michael Jackson live in Johannesburg, South Africa" as the title extracted from the text, and checks whether the title is harmful through a database or deep learning. I can.

도 6a는 스마트 TV에서 시청 가능한 카테고리를 설정하는 실시예를 설명하는 도면이다.6A is a diagram illustrating an embodiment of setting a category viewable on a smart TV.

도 6a에서 보는 바와 같이, 사용자는 사전에 시청 가능한 카테고리를 설정해 놓을 수 있다.As shown in FIG. 6A, the user may set a viewable category in advance.

예를 들어, 보호자는 자녀의 보호를 위해 여러 카테고리들 중에서 스포츠, 음악, 및 교육의 카테고리에 대해서만 허용 가능한 카테고리로 설정해 놓을 수 있다.For example, for the protection of children, a guardian may set a category that is allowed only for sports, music, and education among various categories.

이에, 영화, 게임, 엔터테인먼트, 뉴스, 및 성인과 관련된 카테고리에 해당하는 영상은 차단될 수 있도록 차단 조건에 등록될 수 있다.Accordingly, videos corresponding to categories related to movies, games, entertainment, news, and adults may be registered in a blocking condition so that they may be blocked.

이에, 스마트 TV의 전체 화면에서 캡쳐된 서브 이미지에 대해 분석된 카테고리가 영화, 게임, 엔터테인먼트, 뉴스, 및 성인과 관련되었다면 차단될 수 있다.Accordingly, if the category analyzed for the sub-images captured on the full screen of the smart TV is related to movies, games, entertainment, news, and adults, it may be blocked.

도 6b는 스마트 TV에서 일일 시청 가능 시간을 설정하는 실시예를 설명하는 도면이다.6B is a diagram illustrating an embodiment of setting a daily viewing time on a smart TV.

도 6b에서 보는 바와 같이, 사용자는 사전에 일일 시청 가능 시간을 설정해 놓을 수 있다.As shown in FIG. 6B, the user may set the daily viewing time in advance.

예를 들어, 보호자는 자녀의 보호를 위해 각 요일별로 시청 가능 시간을 설정해 놓을 수 있다. 도면부호 620에서 보는 바와 같이, 월요일은 '종일 차단', 화요일은 '1시간30분', 수요일은 '2시간', 목요일은 '종일 차단', 금요일은 2시간, 주말은 '제한 없음'으로 설정될 수 있다.For example, a guardian may set a viewing time for each day of the week to protect children. As shown in drawing number 620, Monday is'all day blocked', Tuesday is '1 hour and 30 minutes', Wednesday is '2 hours', Thursday is'all day blocked', Friday is 2 hours, and weekend is'No limit'. Can be set.

만약, 화요일에 스마트 TV를 통해 영상을 시청하는 경우 '1시간30분'이 초과되는 경우에는 영상의 시청이 차단될 수 있다.If the video is viewed on a smart TV on Tuesday, the video may be blocked if it exceeds '1 hour and 30 minutes'.

이를 위해, 스마트 TV 동영상 시간 제어 및 유해동영상 필터링 장치는 서브 이미지의 재생 시작 시각과, 시청 시간을 카운팅 하여 '1시간30분'이 초과 되는지 여부를 실시간으로 판단할 수 있다.To this end, the smart TV video time control and harmful video filtering device may determine in real time whether '1 hour 30 minutes' is exceeded by counting the playback start time and viewing time of the sub-image.

도 6c는 스마트 TV에서 시청 가능 시간대를 설정하는 실시예를 설명하는 도면이다.6C is a diagram illustrating an embodiment of setting a viewing time zone on a smart TV.

도 6c에서는 보다 구체적인 시청 가능 시간대를 설정할 수 있다.In FIG. 6C, a more specific viewing time zone may be set.

사용자는 일단위로 구분되는 '요일'과 1시간 단위로 구분되는 '시간'을 변수로 하여 특정 요일에 시청 가능한 시간대를 설정할 수 있다.The user can set a viewing time zone on a specific day of the week by using'day of the week' divided by day and'time' divided by hour as variables.

도면부호 630에서 보는 바와 같이, 화요일의 경우 08시부터 10시, 15시부터 19시가 시청 가능한 시간대로 분류될 수 있다.As shown in reference numeral 630, in the case of Tuesday, 8 o'clock to 10 o'clock and 1 o'clock to 19 o'clock may be classified as viewing time zones.

도 7은 스마트 TV 동영상 시간 제어 및 유해동영상 필터링 방법을 설명하는 도면이다.7 is a diagram illustrating a method of controlling a video time of a smart TV and filtering a harmful video.

스마트 TV 동영상 시간 제어 및 유해동영상 필터링 방법은, 먼저 스마트 TV에서 타이머 또는 키 다운 이벤트가 발생하였는지 여부를 판단할 수 있다(단계 701).The smart TV video time control and harmful video filtering method may first determine whether a timer or a key down event has occurred in the smart TV (step 701).

단계 701의 판단 결과 어떠한 이벤트도 발생하지 않았다면, 해당 이벤트가 발생할 때까지 관련된 판단 동작을 주기적으로 수행할 수 있다.If no event occurs as a result of the determination in step 701, a related determination operation may be periodically performed until the event occurs.

다음으로, 스마트 TV의 구동 중에 타이머 또는 키 다운 이벤트가 발생하였다면, 스마트 TV에서 동영상 스트리밍 앱이 실행되는지 여부를 판단할 수 있다(단계 702).Next, if a timer or a key down event occurs while driving the smart TV, it may be determined whether or not a video streaming app is executed on the smart TV (step 702).

판단 결과, 스마트 TV에서 동영상 스트리밍 앱이 실행되지 않는다면 검사할 영상이 없는 것이므로 단계 701로 분기하여 이벤트의 감지 여부를 판단할 수 있다.As a result of the determination, if the video streaming app is not executed on the smart TV, since there is no image to be inspected, it can be branched to step 701 to determine whether an event is detected.

만약, 스마트 TV에서 동영상 스트리밍 앱이 실행되고 있다면, 스마트 TV 동영상 시간 제어 및 유해동영상 필터링 방법은 스마트 TV에 표시되는 전체 화면을 캡쳐하여 전체 화면 이미지를 생성할 수 있다(단계 703). 또한, 스마트 TV 동영상 시간 제어 및 유해동영상 필터링 방법은 생성된 전체 화면 이미지 중에서 적어도 하나 이상의 서브 이미지 영역을 식별하고, 상기 식별된 서브 이미지 영역 내에 포함된 서브 이미지를 추출할 수 있다.If the video streaming app is running on the smart TV, the smart TV video time control and harmful video filtering method may generate a full screen image by capturing the entire screen displayed on the smart TV (step 703). In addition, the smart TV video time control and harmful video filtering method may identify at least one sub-image area among the generated full-screen images, and extract sub-images included in the identified sub-image area.

스마트 TV 동영상 시간 제어 및 유해동영상 필터링 방법은 추출된 적어도 하나 이상의 서브 이미지가 현재 재생 중인지 여부를 판단함으로써, 영상 재생 화면인지를 판단할 수 있다(단계 704).In the smart TV video time control and harmful video filtering method, by determining whether the extracted at least one sub-image is currently being played, it may be determined whether it is a video playback screen (step 704).

다음으로는, 단계 704의 판단 결과 추출된 적어도 하나 이상의 서브 이미지가 현재 재생 중인 경우, 기설정된 적어도 하나 이상의 차단 조건을 확인할 수 있다. 특히, 현재 시간이 차단 시간인지 여부를 판단 함으로써 차단 여부를 결정할 수 있다. 만약, 기설정된 차단 조건에 부합되는 상황이라면 단계 712로 분기하여 영상을 차단할 수 있다.Next, when at least one sub-image extracted as a result of the determination in step 704 is currently being played, at least one preset blocking condition may be checked. In particular, it is possible to determine whether to block by determining whether the current time is a blocking time. If the situation meets the preset blocking condition, the process proceeds to step 712 to block the image.

현재 재생 중인 서브 이미지가 기설정된 적어도 하나 이상의 차단 조건에 부합되지 않는 경우, 현재 재생 중인 서브 이미지가 최초 재생인지 여부를 판단할 수 있다(단계 706).If the currently playing sub-image does not meet at least one blocking condition set in advance, it may be determined whether the currently playing sub-image is the first playback (step 706).

만약, 최초 재생이라면 제목 텍스트, 대표 이미지의 유해성 여부를 판단할 수 있다(단계 707). 또한, 단계 707의 판단 결과, 유해하지 않은 경우 캡쳐한 영상 이미지에 대한 유해성 여부를 더 판단할 수 있다(단계 708).If it is the first playback, it is possible to determine whether the title text and the representative image are harmful (step 707). In addition, as a result of the determination in step 707, if it is not harmful, it may be further determined whether the captured image is harmful (step 708).

단계 707의 판단 결과, 또는 단계 708의 판단 결과 중에서 적어도 어느 하나의 판단 결과가 유해한 경우라면, 단계 712로 분기하여 차단할 수 있다.If at least one of the determination result of step 707 or the determination result of step 708 is harmful, the process proceeds to step 712 to block.

한편, 단계 707의 판단 결과, 및 단계 708의 판단 결과가 모두 유해하지 않다면 스마트 TV 동영상 시간 제어 및 유해동영상 필터링 방법은 임시저장한 영상 제목과 재생 시간 정보를 포함하는 로그를 기록할 수 있다(단계 709).Meanwhile, if the determination result of step 707 and the determination result of step 708 are not all harmful, the smart TV video time control and harmful video filtering method may record a log including temporarily stored image title and playback time information (step 709).

한편, 스마트 TV 동영상 시간 제어 및 유해동영상 필터링 방법은 단계 704의 판단 결과 추출된 적어도 하나 이상의 서브 이미지가 현재 재생 중이 아닌 경우, 캡쳐된 전체 화면 내에 포커스 버튼이 존재하는지를 판단할 수 있다(단계 710). Meanwhile, in the smart TV video time control and harmful video filtering method, when at least one sub-image extracted as a result of the determination in step 704 is not currently being played, it may be determined whether a focus button exists in the captured full screen (step 710). .

단계 710의 판단 결과 포커스 버튼이 존재하는 경우, 버튼에서 텍스트를 추출하여 영상 제목 정보 등을 임시 저장하고, 추후 유해성 여부를 판단하거나, 로그를 기록할 때 매칭되는 정보로 활용할 수 있다.If the focus button exists as a result of the determination in step 710, text may be extracted from the button to temporarily store image title information, and may be used as matching information when determining whether it is harmful or not or when recording a log.

또한, 단계 710의 판단 결과 포커스 버튼이 존재하지 않는 다면 단계 701로 분기하여 타이머 또는 키 다운 이벤트가 발생하였는지 여부를 판단할 수 있다.In addition, if the focus button does not exist as a result of the determination in step 710, it may be branched to step 701 to determine whether a timer or a key down event has occurred.

도 8은 분류기를 활용하여 서브 이미지의 유해 여부를 판단하는 이미지 분류 과정을 설명하는 도면이다.8 is a diagram illustrating an image classification process for determining whether a sub-image is harmful using a classifier.

스마트 TV에 설치된 앱(810)은 분류기(820)와 연동하여 유해 스트리밍 영상 필터링 방법을 구현할 수 있다.The app 810 installed on the smart TV may implement a harmful streaming image filtering method in conjunction with the classifier 820.

앱(810)은 전체 화면을 캡쳐하고, 캡쳐된 전체 화면에서 서브 이미지를 추출하여 분류기(820)에 전달하여, 유해 정도를 산출하기 위한 이미지 분류를 요청할 수 있다.The app 810 may capture the entire screen, extract a sub-image from the captured full screen, and transmit it to the classifier 820, thereby requesting image classification to calculate the degree of harmfulness.

분류기(820)는 전달된 서브 이미지를 딥러닝으로 분석하여 유해 정도를 산출하여 앱(810)에 회신할 수 있다.The classifier 820 may analyze the transmitted sub-images by deep learning to calculate the degree of harmfulness, and may reply to the app 810.

이에, 앱(810)은 사전에 설정된 유해 임계값과, 분류기(820)가 산출한 유해 정도를 대비하여 해당 영상에 대한 차단 여부를 결정할 수 있다.Accordingly, the app 810 may determine whether to block a corresponding image by comparing a pre-set harmful threshold value and a degree of harmfulness calculated by the classifier 820.

앱(810)과 분류기(820)가 처리하는 이러한 일련의 과정은 미리 설정된 시간 간격으로 반복해서 처리될 수 있다. 본 도 8의 실시예에서는 1초 간격으로 전체 화면을 캡쳐하고, 이미지를 분류하여 차단 여부를 결정하는 과정을 반복해서 수행할 수 있다.This series of processes processed by the app 810 and the classifier 820 may be repeatedly processed at preset time intervals. In the exemplary embodiment of FIG. 8, a process of capturing the entire screen at 1-second intervals, classifying images, and determining whether to block or not may be repeatedly performed.

또한, 이러한 반복 과정은 영상의 스트리밍이 종료되는 시점 또는 앱(810)의 실행이 종료되는 시점까지 반복될 수 있다.In addition, this repetition process may be repeated until the time when the streaming of the video ends or the execution of the app 810 ends.

본 발명을 이용하면, 스마트 TV에서 영상을 제공하는데 있어, 스마트 TV에서 캡쳐된 전체 화면 이미지를 이용해서, 재생되는 영상 제목과 재생 시간 정도 등의 로그를 실시간 기록하고 관리할 수 있다.According to the present invention, in providing an image from a smart TV, a log such as a title of a reproduced image and a play time degree can be recorded and managed in real time using a full screen image captured from the smart TV.

또한, 스마트 TV에서 영상을 제공하는데 있어, 해당 영상이 유해하다고 판단되면, 캡쳐 이미지를 기반으로 하는 필터링을 통해 해당 영상을 원천적으로 차단할 수 있다.In addition, in providing an image on a smart TV, if the image is determined to be harmful, the image may be fundamentally blocked through filtering based on the captured image.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 처리되는 하나 이상의 소프트웨어 애플리케이션을 처리할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The apparatus described above may be implemented as a hardware component, a software component, and/or a combination of a hardware component and a software component. For example, the devices and components described in the embodiments include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable array (FPA), It can be implemented using one or more general purpose computers or special purpose computers, such as a programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions. The processing device may process an operating system (OS) and one or more software applications processed on the operating system. In addition, the processing device may access, store, manipulate, process, and generate data in response to the execution of software. For the convenience of understanding, although it is sometimes described that one processing device is used, one of ordinary skill in the art, the processing device is a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that it may include. For example, the processing device may include a plurality of processors or one processor and one controller. In addition, other processing configurations are possible, such as a parallel processor.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of these, configuring the processing unit to behave as desired or processed independently or collectively. You can command the device. Software and/or data may be interpreted by a processing device or to provide instructions or data to a processing device, of any type of machine, component, physical device, virtual equipment, computer storage medium or device. , Or may be permanently or temporarily embodyed in a transmitted signal wave. The software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer-readable recording media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 처리될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 처리하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 처리하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be processed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -Includes magneto-optical media, and a hardware device specially configured to store and process program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those produced by a compiler but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as one or more software modules to process the operation of the embodiment, and vice versa.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 처리되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described by the limited drawings, various modifications and variations are possible from the above description to those of ordinary skill in the art. For example, the described techniques are processed in a different order from the described method, and/or components such as systems, structures, devices, circuits, etc. described are combined or combined in a form different from the described method, or other components Alternatively, even if substituted or substituted by an equivalent, an appropriate result can be achieved.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and claims and equivalents fall within the scope of the claims to be described later.

Claims (14)

스마트 TV에 표시되는 전체 화면을 캡쳐하여 전체 화면 이미지를 생성하는 전체 화면 이미지 생성부;
상기 생성된 전체 화면 이미지 중에서 적어도 하나 이상의 서브 이미지 영역을 식별하고, 상기 식별된 서브 이미지 영역 내에 포함된 서브 이미지를 추출하는 서브 이미지 추출부;
상기 추출된 적어도 하나 이상의 서브 이미지가 현재 재생 중인지 여부를 판단하는 재생 판단부;
상기 추출된 적어도 하나 이상의 서브 이미지가 현재 재생 중인 경우, 기설정된 적어도 하나 이상의 차단 조건을 확인하는 조건 확인부;
상기 현재 재생 중인 서브 이미지가 상기 기설정된 적어도 하나 이상의 차단 조건에 부합되는 경우, 상기 재생 중인 서브 이미지를 차단하도록 제어하는 콘텐츠 차단부;
상기 현재 재생 중인 서브 이미지가 상기 기설정된 적어도 하나 이상의 차단 조건에 부합되지 않는 경우에는 상기 재생 중인 서브 이미지에 대한 로그를 기록하는 로그 기록 처리부; 및
상기 서브 이미지가 입력층, 은닉층, 출력층으로 이루어진 이미지 분류 모델을 통과하여 상기 서브 이미지에 대한 유해 예측값을 선정성, 폭력성 및 공포성 각각에 대해 개별적으로 산출하고,
상기 서브 이미지와 관련된 텍스트가 입력층, 은닉층, 출력층으로 이루어진 텍스트 카테고리 분류 모델을 통과하여 상기 텍스트에 대한 유해 정도를 카테고리로 분류하고,
상기 서브 이미지로부터 산출되는 상기 유해 예측값과 상기 텍스트에 대한 유해 정도를 분류한 상기 카테고리를 반영하여 최종적으로 유해 정도를 산출하도록 구성된 분류기를 포함하는 스마트 TV 동영상 시간 제어 및 유해동영상 필터링 장치.A full screen image generator configured to generate a full screen image by capturing the entire screen displayed on the smart TV;
A sub image extracting unit that identifies at least one sub image region from among the generated full screen images and extracts a sub image included in the identified sub image region;
A reproduction determination unit for determining whether the extracted at least one sub-image is currently being reproduced;
A condition check unit for checking at least one preset blocking condition when the extracted at least one sub-image is currently being reproduced;
A content blocking unit configured to block the playing sub-image when the currently playing sub-image satisfies at least one predetermined blocking condition;
A log recording processor configured to record a log of the sub-image being reproduced when the currently reproduced sub-image does not meet the at least one preset blocking condition; And
The sub-image passes through an image classification model consisting of an input layer, a hidden layer, and an output layer, and a harmful predictive value for the sub-image is individually calculated for sensationality, violence, and fear,
The text related to the sub-image passes through a text category classification model consisting of an input layer, a hidden layer, and an output layer to classify the degree of harm to the text into categories,
Smart TV video time control and harmful video filtering apparatus including a classifier configured to finally calculate the degree of harmfulness by reflecting the harmful prediction value calculated from the sub-image and the category of classifying the level of harmfulness of the text. 제1항에 있어서,
상기 재생 판단부는,
상기 추출된 적어도 하나 이상의 서브 이미지가 현재 재생 중이 아닌 경우, 상기 서브 이미지 영역 내에 포커스된 버튼이 존재하는지 판단하는 포커스 판단부;
상기 서브 이미지 영역 내에 포커된 버튼이 존재하는 경우, 상기 포커스된 버튼으로부터 텍스트를 추출하는 텍스트 추출부; 및
상기 추출된 텍스트에서 영상 제목을 임시 저장하는 저장부
를 포함하고,
상기 로그 기록 처리부는 상기 임시 저장된 영상 제목과 재생 시간 정보를 매칭시켜 상기 로그로 기록하는 스마트 TV 동영상 시간 제어 및 유해동영상 필터링 장치.The method of claim 1,
The reproduction determination unit,
A focus determination unit determining whether a focused button exists in the sub-image area when the extracted at least one sub-image is not currently being played;
A text extraction unit for extracting text from the focused button when there is a focused button in the sub image area; And
A storage unit temporarily storing an image title from the extracted text
Including,
The log recording processing unit is a smart TV video time control and harmful video filtering device for matching the temporarily stored video title and playback time information to record the log. 제1항에 있어서,
상기 차단 조건은,
카테고리, 시청가능 시간대, 시청가능 요일, 및 전체 시청시간 중에서 적어도 하나를 포함하는 스마트 TV 동영상 시간 제어 및 유해동영상 필터링 장치.The method of claim 1,
The blocking condition is,
Smart TV video time control and harmful video filtering device including at least one of a category, a viewing time zone, a viewing available day, and a total viewing time. 제1항에 있어서,
상기 로그 기록 처리부는 상기 재생 중인 서브 이미지에 대한 로그로서, 재생하는 앱 이름, 영상 제목, 분류, 마지막 재생 시각, 및 재생시간 중에서 적어도 하나를 기록하는 스마트 TV 동영상 시간 제어 및 유해동영상 필터링 장치.The method of claim 1,
The log recording processing unit, as a log of the sub-image being played, a smart TV video time control and harmful video filtering device for recording at least one of a playing app name, video title, classification, last playback time, and playback time. 스마트 텔레비전에 표시되는 전체 화면을 캡쳐하여 전체 화면 이미지를 생성하는 전체 화면 이미지 생성부;
상기 생성된 전체 화면 이미지 중에서 적어도 하나 이상의 서브 이미지 영역을 식별하고, 상기 식별된 서브 이미지 영역 내에 포함된 서브 이미지를 추출하는 서브 이미지 추출부;
상기 추출된 적어도 하나 이상의 서브 이미지가 현재 재생 중인지 여부를 판단하는 재생 판단부;
상기 추출된 적어도 하나 이상의 서브 이미지가 현재 재생 중인 경우, 기설정된 적어도 하나 이상의 차단 조건을 확인하는 조건 확인부;
상기 현재 재생 중인 서브 이미지가 상기 기설정된 적어도 하나 이상의 차단 조건에 부합되는 경우, 상기 재생 중인 서브 이미지를 차단하도록 제어하는 콘텐츠 차단부; 및
상기 현재 재생 중인 서브 이미지가 상기 기설정된 적어도 하나 이상의 차단 조건에 부합되지 않는 경우에는 상기 재생 중인 서브 이미지에 대한 유해성 여부를 판단하는 유해성 판단부를 포함하고,
상기 유해성 판단부는,
상기 서브 이미지가 입력층, 은닉층, 출력층으로 이루어진 이미지 분류 모델을 통과하여 상기 서브 이미지에 대한 유해 예측값을 선정성, 폭력성 및 공포성 각각에 대해 개별적으로 산출하고,
상기 서브 이미지와 관련된 텍스트가 입력층, 은닉층, 출력층으로 이루어진 텍스트 카테고리 분류 모델을 통과하여 상기 텍스트에 대한 유해 정도를 카테고리로 분류하고,
상기 서브 이미지로부터 산출되는 상기 유해 예측값과 상기 텍스트에 대한 유해 정도를 분류한 상기 카테고리를 반영하여 최종적으로 유해 정도를 산출하는 스마트 TV 동영상 시간 제어 및 유해동영상 필터링 장치.A full screen image generator configured to generate a full screen image by capturing a full screen displayed on a smart television;
A sub image extracting unit that identifies at least one sub image region from among the generated full screen images and extracts a sub image included in the identified sub image region;
A reproduction determination unit for determining whether the extracted at least one sub-image is currently being reproduced;
A condition check unit for checking at least one preset blocking condition when the extracted at least one sub-image is currently being reproduced;
A content blocking unit configured to block the playing sub-image when the currently playing sub-image satisfies at least one predetermined blocking condition; And
If the currently playing sub-image does not meet the at least one predetermined blocking condition, including a harmfulness determination unit to determine whether the playing sub-image is harmful,
The hazard determination unit,
The sub-image passes through an image classification model consisting of an input layer, a hidden layer, and an output layer, and a harmful predictive value for the sub-image is individually calculated for sensationality, violence, and fear,
The text related to the sub-image passes through a text category classification model consisting of an input layer, a hidden layer, and an output layer to classify the degree of harm to the text into categories,
A smart TV video time control and harmful video filtering device that finally calculates the degree of harmfulness by reflecting the harmful prediction value calculated from the sub-image and the category in which the degree of harmfulness to the text is classified. 제5항에 있어서,
상기 콘텐츠 차단부는,
상기 유해성 판단부의 판단 결과, 상기 서브 이미지가 유해 임계값 이상으로 유해한 경우, 상기 콘텐츠 차단부는, 상기 재생 중인 서브 이미지를 차단하도록 제어하는 스마트 TV 동영상 시간 제어 및 유해동영상 필터링 장치.The method of claim 5,
The content blocking unit,
As a result of the determination by the harmfulness determination unit, when the sub-image is harmful by more than a harmful threshold value, the content blocking unit controls the playing time of the sub-image to be blocked. 제5항에 있어서,
상기 서브 이미지가 유해 임계값 이상으로 유해하지 않은 경우, 상기 재생 중인 서브 이미지에 대한 로그를 기록하는 로그 기록 처리부
를 더 포함하는 스마트 TV 동영상 시간 제어 및 유해동영상 필터링 장치.The method of claim 5,
When the sub-image is not harmful beyond the harmful threshold, a log recording processing unit that records a log of the sub-image being reproduced
Smart TV video time control and harmful video filtering device comprising a further. 제7항에 있어서,
상기 로그 기록 처리부는 상기 재생 중인 서브 이미지에 대한 로그로서, 재생하는 앱 이름, 영상 제목, 분류, 마지막 재생 시각, 및 재생시간 중에서 적어도 하나를 기록하는 스마트 TV 동영상 시간 제어 및 유해동영상 필터링 장치.The method of claim 7,
The log recording processing unit, as a log of the sub-image being played, a smart TV video time control and harmful video filtering device for recording at least one of a playing app name, video title, classification, last playback time, and playback time. 제7항에 있어서,
상기 재생 판단부는,
상기 추출된 적어도 하나 이상의 서브 이미지가 현재 재생 중이 아닌 경우, 상기 서브 이미지 영역 내에 포커스된 버튼이 존재하는지 판단하는 포커스 판단부;
상기 서브 이미지 영역 내에 포커된 버튼이 존재하는 경우, 상기 포커스된 버튼으로부터 텍스트를 추출하는 텍스트 추출부; 및
상기 추출된 텍스트에서 영상 제목을 임시 저장하는 저장부
를 더 포함하고,
상기 로그 기록 처리부는 상기 임시 저장된 영상 제목과 재생 시간 정보를 매칭시켜 상기 로그로 기록하는 스마트 TV 동영상 시간 제어 및 유해동영상 필터링 장치.The method of claim 7,
The reproduction determination unit,
A focus determination unit determining whether a focused button exists in the sub-image area when the extracted at least one sub-image is not currently being played;
A text extraction unit for extracting text from the focused button when there is a focused button in the sub image area; And
A storage unit temporarily storing an image title from the extracted text
Including more,
The log recording processing unit is a smart TV video time control and harmful video filtering device for matching the temporarily stored video title and playback time information to record the log. 제5항에 있어서,
상기 차단 조건은,
카테고리, 시청가능 시간대, 시청가능 요일, 및 전체 시청시간 중에서 적어도 하나를 포함하는 스마트 TV 동영상 시간 제어 및 유해동영상 필터링 장치.The method of claim 5,
The blocking condition is,
Smart TV video time control and harmful video filtering device including at least one of a category, a viewing time zone, a viewing available day, and a total viewing time. 스마트 TV의 구동 중에 타이머 또는 키 다운 이벤트가 발생하고, 동영상 스트리밍 앱이 실행되는 경우, 스마트 TV에 표시되는 전체 화면을 캡쳐하여 전체 화면 이미지를 생성하는 단계;
상기 생성된 전체 화면 이미지 중에서 적어도 하나 이상의 서브 이미지 영역을 식별하고, 상기 식별된 서브 이미지 영역 내에 포함된 서브 이미지를 추출하는 단계;
상기 추출된 적어도 하나 이상의 서브 이미지가 현재 재생 중인지 여부를 판단하는 단계;
상기 추출된 적어도 하나 이상의 서브 이미지가 현재 재생 중인 경우, 기설정된 적어도 하나 이상의 차단 조건을 확인하는 단계;
상기 현재 재생 중인 서브 이미지가 상기 기설정된 적어도 하나 이상의 차단 조건에 부합되는 경우, 상기 재생 중인 서브 이미지를 차단하도록 제어하는 단계;
상기 현재 재생 중인 서브 이미지가 상기 기설정된 적어도 하나 이상의 차단 조건에 부합되지 않는 경우, 상기 재생 중인 서브 이미지가 최초 재생인지 여부를 판단하는 단계;
상기 서브 이미지가 최초 재생인 경우, 상기 서브 이미지로부터 추출되는 제목, 대표 이미지를 참고하여 상기 서브 이미지의 유해성 여부를 판단하는 단계;
상기 서브 이미지가 유해 임계값 이상으로 유해한 경우, 상기 재생 중인 서브 이미지를 차단하도록 제어하는 단계; 및
상기 서브 이미지가 유해 임계값 이상으로 유해하지 않은 경우, 상기 재생 중인 서브 이미지에 대한 로그를 기록하는 단계를 포함하고,
상기 서브 이미지의 유해성 여부를 판단하는 단계에서,
상기 서브 이미지가 입력층, 은닉층, 출력층으로 이루어진 이미지 분류 모델을 통과하여 상기 서브 이미지에 대한 유해 예측값을 선정성, 폭력성 및 공포성 각각에 대해 개별적으로 산출하고,
상기 서브 이미지와 관련된 텍스트가 입력층, 은닉층, 출력층으로 이루어진 텍스트 카테고리 분류 모델을 통과하여 상기 텍스트에 대한 유해 정도를 카테고리로 분류하고,
상기 서브 이미지로부터 산출되는 상기 유해 예측값과 상기 텍스트에 대한 유해 정도를 분류한 상기 카테고리를 반영하여 최종적으로 유해 정도를 산출하는 스마트 TV 동영상 시간 제어 및 유해동영상 필터링 방법.Generating a full screen image by capturing a full screen displayed on the smart TV when a timer or a key down event occurs while the smart TV is driven and a video streaming app is executed;
Identifying at least one sub-image area from among the generated full-screen images and extracting sub-images included in the identified sub-image area;
Determining whether the extracted at least one sub-image is currently being played;
Checking at least one preset blocking condition when the extracted at least one sub-image is currently being played;
Controlling to block the currently playing sub-image when the currently playing sub-image satisfies the at least one preset blocking condition;
If the currently playing sub-image does not meet the at least one preset blocking condition, determining whether the playing sub-image is the first playback;
Determining whether the sub-image is harmful by referring to a title and a representative image extracted from the sub-image when the sub-image is initially reproduced;
Controlling the sub-image being reproduced to be blocked when the sub-image is harmful beyond a harmful threshold value; And
If the sub-image is not harmful beyond the harmful threshold, recording a log of the sub-image being reproduced,
In the step of determining whether the sub-image is harmful,
The sub-image passes through an image classification model consisting of an input layer, a hidden layer, and an output layer, and a harmful predictive value for the sub-image is individually calculated for sensationality, violence, and fear,
The text related to the sub-image passes through a text category classification model consisting of an input layer, a hidden layer, and an output layer to classify the degree of harm to the text into categories,
Smart TV video time control and harmful video filtering method for finally calculating the degree of harmfulness by reflecting the harmful prediction value calculated from the sub-image and the category in which the degree of harmfulness to the text is classified. 제11항에 있어서,
상기 추출된 적어도 하나 이상의 서브 이미지가 현재 재생 중이 아닌 경우, 상기 서브 이미지 영역 내에 포커스된 버튼이 존재하는지 판단하는 단계;
상기 서브 이미지 영역 내에 포커된 버튼이 존재하는 경우, 상기 포커스된 버튼으로부터 텍스트를 추출하는 단계; 및
상기 추출된 텍스트에서 영상 제목을 임시 저장하는 단계
를 더 포함하고,
상기 서브 이미지에 대한 로그를 기록하는 단계는,
상기 임시 저장된 영상 제목과 재생 시간 정보를 매칭시켜 상기 로그로 기록하는 단계
를 포함하는 스마트 TV 동영상 시간 제어 및 유해동영상 필터링 방법.The method of claim 11,
Determining whether a focused button exists in the sub-image area when the extracted at least one sub-image is not currently being played;
Extracting text from the focused button when there is a focused button in the sub-image area; And
Temporarily storing an image title from the extracted text
Including more,
The step of recording a log for the sub-image,
Matching the temporarily stored image title and playback time information and recording the log as the log
Smart TV video time control and harmful video filtering method comprising a. 제11항에 있어서,
상기 차단 조건은,
카테고리, 시청가능 시간대, 시청가능 요일, 및 전체 시청시간 중에서 적어도 하나를 포함하는 스마트 TV 동영상 시간 제어 및 유해동영상 필터링 방법.The method of claim 11,
The blocking condition is,
Smart TV video time control and harmful video filtering method including at least one of a category, a viewing time zone, a viewing available day of the week, and a total viewing time. 제11항에 있어서,
상기 서브 이미지에 대한 로그를 기록하는 단계는,
상기 재생 중인 서브 이미지에 대한 로그로서, 재생하는 앱 이름, 영상 제목, 분류, 마지막 재생 시각, 및 재생시간 중에서 적어도 하나를 기록하는 단계
를 포함하는 스마트 TV 동영상 시간 제어 및 유해동영상 필터링 방법.
The method of claim 11,
The step of recording a log for the sub-image,
As a log of the sub-image being played, recording at least one of a playing app name, video title, classification, last playback time, and playback time
Smart TV video time control and harmful video filtering method comprising a.
KR1020200020183A 2020-02-19 2020-02-19 Apparatus and method for controlling video time and filtering harmful video displayed on smart TV KR102150226B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200020183A KR102150226B1 (en) 2020-02-19 2020-02-19 Apparatus and method for controlling video time and filtering harmful video displayed on smart TV

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200020183A KR102150226B1 (en) 2020-02-19 2020-02-19 Apparatus and method for controlling video time and filtering harmful video displayed on smart TV

Publications (1)

Publication Number Publication Date
KR102150226B1 true KR102150226B1 (en) 2020-08-31

Family

ID=72234428

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200020183A KR102150226B1 (en) 2020-02-19 2020-02-19 Apparatus and method for controlling video time and filtering harmful video displayed on smart TV

Country Status (1)

Country Link
KR (1) KR102150226B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220108915A (en) * 2021-01-28 2022-08-04 김민석 Real-time harmfulness inspection apparatus and method for video content

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100725544B1 (en) 2006-05-01 2007-06-08 삼성전자주식회사 Mobile telecommunication terminal and restricting method for harmful information thereof
KR20100016713A (en) * 2008-08-05 2010-02-16 구진국 A system and a method for alternating bad contents during tv broadcast
KR20110022446A (en) * 2009-08-27 2011-03-07 주식회사 케이티 Method, terminal unit and system for preventting obscene contents
KR101496632B1 (en) 2010-11-04 2015-03-03 한국전자통신연구원 System for safe contents service for youths and method therefor
KR101574027B1 (en) * 2014-12-19 2015-12-03 (주) 이비즈네트웍스 System for blocking harmful program of smartphones
KR101711833B1 (en) * 2017-01-22 2017-03-13 주식회사 이노솔루텍 Analyzing and blocking system of harmful multi-media contents
KR102022014B1 (en) 2017-07-12 2019-09-17 최갑천 Apparatus for detecting harmful contents

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100725544B1 (en) 2006-05-01 2007-06-08 삼성전자주식회사 Mobile telecommunication terminal and restricting method for harmful information thereof
KR20100016713A (en) * 2008-08-05 2010-02-16 구진국 A system and a method for alternating bad contents during tv broadcast
KR20110022446A (en) * 2009-08-27 2011-03-07 주식회사 케이티 Method, terminal unit and system for preventting obscene contents
KR101496632B1 (en) 2010-11-04 2015-03-03 한국전자통신연구원 System for safe contents service for youths and method therefor
KR101574027B1 (en) * 2014-12-19 2015-12-03 (주) 이비즈네트웍스 System for blocking harmful program of smartphones
KR101711833B1 (en) * 2017-01-22 2017-03-13 주식회사 이노솔루텍 Analyzing and blocking system of harmful multi-media contents
KR102022014B1 (en) 2017-07-12 2019-09-17 최갑천 Apparatus for detecting harmful contents

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220108915A (en) * 2021-01-28 2022-08-04 김민석 Real-time harmfulness inspection apparatus and method for video content
WO2022164235A1 (en) * 2021-01-28 2022-08-04 김민석 Device and method for inspecting harmfulness of video content in real time
KR102454230B1 (en) 2021-01-28 2022-10-14 김민석 Real-time harmfulness inspection apparatus and method for video content

Similar Documents

Publication Publication Date Title
US20210105535A1 (en) Control method of playing content and content playing apparatus performing the same
CN112753225B (en) Video processing for embedded information card positioning and content extraction
KR101999389B1 (en) Identification and presentation of internet-accessible content associated with currently playing television programs
US20190373322A1 (en) Interactive Video Content Delivery
JP5789854B2 (en) Media processing method and arrangement
CN101682729B (en) Systems and methods to identify intentionally placed products
KR102189482B1 (en) Apparatus and method for filtering harmful video file
US8453179B2 (en) Linking real time media context to related applications and services
US20050289151A1 (en) Method and apparatus for programme generation and classification
CN112753227A (en) Audio processing for detecting the occurrence of crowd noise in a sporting event television program
US20100259688A1 (en) method of determining a starting point of a semantic unit in an audiovisual signal
CN110557671A (en) Method and system for automatically processing unhealthy content of video
CN103918277B (en) The system and method for the confidence level being just presented for determining media item
WO2017181969A1 (en) Playback control method and device
KR102150226B1 (en) Apparatus and method for controlling video time and filtering harmful video displayed on smart TV
KR102352955B1 (en) Method and Apparatus for Convenient TV Viewing Support based on Highlight Video using Pose Recognition Technique
WO2017152611A1 (en) Playing control method and device
EP2621180A2 (en) Electronic device and audio output method
KR102308303B1 (en) Apparatus and method for filtering harmful video file
JP2007129500A (en) Viewing system for content with cm
KR102219250B1 (en) Method for providing video and apparatus using the same
CN112866793B (en) Media mode switching method, device, equipment and storage medium
KR102220074B1 (en) Method and Apparatus for Generating of Data for Providing Real-View Immersion Determination Service based on Image Recognition
KR101821602B1 (en) System to insert a customized information of video content
EP3193300A1 (en) Method and system for analyzing a media signal

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant