KR102487111B1 - 수화 방송 품질 모니터링 방법 및 장치 - Google Patents
수화 방송 품질 모니터링 방법 및 장치 Download PDFInfo
- Publication number
- KR102487111B1 KR102487111B1 KR1020180057291A KR20180057291A KR102487111B1 KR 102487111 B1 KR102487111 B1 KR 102487111B1 KR 1020180057291 A KR1020180057291 A KR 1020180057291A KR 20180057291 A KR20180057291 A KR 20180057291A KR 102487111 B1 KR102487111 B1 KR 102487111B1
- Authority
- KR
- South Korea
- Prior art keywords
- sign language
- region
- broadcasting
- time
- monitoring
- Prior art date
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 70
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000011664 signaling Effects 0.000 claims abstract description 19
- 230000008520 organization Effects 0.000 claims abstract description 8
- 230000036571 hydration Effects 0.000 claims description 19
- 238000006703 hydration reaction Methods 0.000 claims description 19
- 238000004458 analytical method Methods 0.000 description 41
- 238000007405 data analysis Methods 0.000 description 23
- 238000003860 storage Methods 0.000 description 9
- 239000013598 vector Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 208000032041 Hearing impaired Diseases 0.000 description 3
- 230000003111 delayed effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000012806 monitoring device Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/56—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
- H04H60/59—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 of video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
- H04N21/2407—Monitoring of transmitted content, e.g. distribution time, number of downloads
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
본 개시는 수화 방송의 품질을 모니터링하는 방법 및 장치에 대한 것이다. 본 개시의 일 실시 예에 따른 수화 방송 품질을 모니터링하는 방법은, 방송 콘텐츠를 미리 정해진 제1시간 단위마다 캡쳐한 적어도 하나의 캡쳐 영상을 확인하는 단계; 상기 적어도 하나의 캡쳐 영상에 대한 차영상을 생성하고, 상기 방송 콘텐츠 단위에 대한 상기 차영상을 누적하여 수화 후보 영역을 검출하는 단계; 상기 수화 후보 영역에 대응되는 상기 적어도 하나의 캡쳐 영상을 분석하여, 수화 영역을 결정하는 단계; 및 상기 캡쳐 영상에 관련된 방송 편성 정보, 시그널링 정보, 모니터링 단위 대상, 또는 모니터링 세부 단위 대상 중의 하나 이상에 기초하고, 상기 방송 콘텐츠 중 상기 수화 영역에 포함되는 영상을 사용하여, 상기 방송 콘텐츠의 수화 방송 품질을 결정하는 단계를 포함할 수 있다.
Description
본 개시는 수화 방송에 대한 것이며, 구체적으로는 수화 방송의 품질을 모니터링하는 방법 및 장치에 대한 것이다.
최근 들어 장애인을 위한 방송 부가 서비스에 대한 지원이 증가하고 있다. 예를 들어, 방송 콘텐츠에 자막이 제공되거나, 화면 해설 정보가 제공되거나, 수화 통역 화면이 제공되는 등의 청각 장애인을 위한 방송 부가 서비스가 증가하고 있다. 또한, 방송통신위원회에서는 자막, 화면해설, 수화통역의 편성 비율을 높이도록 목표를 설정하였다.
이러한 수화 방송이 제공되는지 여부를 모니터링하기 위해서, 비장애인이 직접 방송을 시청하면서 수동적으로 일부 샘플을 조사하는 수준에 머무르고 있다. 즉, 아직까지는 수화 방송의 품질을 자동적으로 모니터링하는 방안은 마련되지 않은 실정이다.
본 개시의 기술적 과제는 수화 방송에서 수화 영역을 검출하는 방법 및 장치를 제공하는 것이다.
본 개시의 다른 기술적 과제는 수화 방송에서 수화 시간을 측정하는 방법 및 장치를 제공하는 것이다.
본 개시의 또 다른 기술적 과제는 수화 방송의 품질을 결정하는 방법 및 장치를 제공하는 것이다.
본 개시에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 개시의 일 양상에 따른 수화 방송 품질을 모니터링하는 방법은, 방송 콘텐츠를 미리 정해진 제1시간 단위마다 캡쳐한 적어도 하나의 캡쳐 영상을 확인하는 단계; 상기 적어도 하나의 캡쳐 영상에 대한 차영상을 생성하고, 상기 방송 콘텐츠 단위에 대한 상기 차영상을 누적하여 수화 후보 영역을 검출하는 단계; 상기 수화 후보 영역에 대응되는 상기 적어도 하나의 캡쳐 영상을 분석하여, 수화 영역을 결정하는 단계; 및 상기 캡쳐 영상에 관련된 방송 편성 정보, 시그널링 정보, 모니터링 단위 대상, 또는 모니터링 세부 단위 대상 중의 하나 이상에 기초하고, 상기 방송 콘텐츠 중 상기 수화 영역에 포함되는 영상을 사용하여, 상기 방송 콘텐츠의 수화 방송 품질을 결정하는 단계를 포함할 수 있다.
본 개시의 다른 양상에 따른 수화 방송 품질을 모니터링하는 장치는, 방송 콘텐츠를 사용자에게 제공하는 적어도 하나의 수집 장치로부터 상기 방송 콘텐츠를 미리 정해진 제1시간 단위마다 캡쳐한 적어도 하나의 캡쳐 영상을 수신 및 저장하는 분석 관리부와, 상기 적어도 하나의 캡쳐 영상에 대한 차영상을 생성하고, 상기 방송 콘텐츠 단위에 대한 상기 차영상을 누적하여 수화 후보 영역을 검출하고, 상기 수화 후보 영역에 대응되는 상기 적어도 하나의 캡쳐 영상을 분석하여, 수화 영역을 결정하고, 상기 캡쳐 영상에 관련된 방송 편성 정보, 시그널링 정보, 모니터링 단위 대상, 또는 모니터링 세부 단위 대상 중의 하나 이상에 기초하고, 상기 방송 콘텐츠 중 상기 수화 영역에 포함되는 영상을 사용하여, 상기 방송 콘텐츠의 수화 방송 품질을 결정하는 데이터 분석부를 포함할 수 있다.
본 개시에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 개시의 상세한 설명의 예시적인 양상일 뿐이며, 본 개시의 범위를 제한하는 것은 아니다.
본 개시에 따르면, 수화 방송에서 수화 영역을 검출하는 방법 및 장치가 제공될 수 있다.
본 개시에 따르면, 수화 방송에서 수화 시간을 측정하는 방법 및 장치가 제공될 수 있다.
본 개시에 따르면, 수화 방송의 품질을 결정하는 방법 및 장치가 제공될 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1 및 도 2는 본 개시에 따른 수화 방송 품질 모니터링 장치의 예시적인 구성을 나타내는 도면이다.
도 3a 내지 도 3h는 다양한 수화 영역을 포함하는 방송 콘텐츠를 예시하는 도면이다.
도 4a 및 도 4b는 본 개시의 실시예에 따른 수화 영역 검출 방안을 설명하기 위한 도면이다.
도 5 및 도 6은 본 개시에 따른 수화 시간 검출 방안의 예시들을 설명하기 위한 도면이다.
도 7은 본 개시에 따른 수집 장치의 동작을 설명하기 위한 흐름도이다.
도 8은 본 개시에 따른 분석 서버의 동작을 설명하기 위한 흐름도이다.
도 3a 내지 도 3h는 다양한 수화 영역을 포함하는 방송 콘텐츠를 예시하는 도면이다.
도 4a 및 도 4b는 본 개시의 실시예에 따른 수화 영역 검출 방안을 설명하기 위한 도면이다.
도 5 및 도 6은 본 개시에 따른 수화 시간 검출 방안의 예시들을 설명하기 위한 도면이다.
도 7은 본 개시에 따른 수집 장치의 동작을 설명하기 위한 흐름도이다.
도 8은 본 개시에 따른 분석 서버의 동작을 설명하기 위한 흐름도이다.
이하에서는 첨부한 도면을 참고로 하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
본 개시의 실시 예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 개시에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 개시에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결관계뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 개시에 있어서, 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 개시의 범위 내에서 일 실시 예에서의 제1 구성요소는 다른 실시 예에서 제2 구성요소라고 칭할 수도 있고, 마찬가지로 일 실시 예에서의 제2 구성요소를 다른 실시 예에서 제1 구성요소라고 칭할 수도 있다.
본 개시에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시 예도 본 개시의 범위에 포함된다.
본 개시에 있어서, 다양한 실시 예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시 예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시 예도 본 개시의 범위에 포함된다. 또한, 다양한 실시 예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시 예도 본 개시의 범위에 포함된다.
본 개시에서 사용하는 용어에 대한 정의는 다음과 같다.
- 수화 방송: 수화 영역을 포함하는 영상을 포함하는 방송 콘텐츠 또는 이러한 방송 콘텐츠를 송출하는 것.
- 수화 영상: 수화 영역을 포함하는 영상.
- 수화 영역: 수화 영상에서 수화자가 표시되는 영역.
- 수화자: 수화 영상에서 수화 동작을 표시하는 객체. 수화자는 일반적으로 사람이지만 사람과 유사한 형상의 그래픽으로 대체될 수도 있음.
- 수화 배경: 수화 영역에서 수화자로 인식되는 부분을 제외한 나머지 영역.
- 수화 시간: 수화 방송 중에서 수화가 제공되는 시간.
- 비수화 시간: 수화 방송 중에서 수화 시간을 제외한 나머지 시간.
- 수화 방송 품질: 수화 영역 존재 여부, 수화 동작 상태, 수화 시간 비중, 수화 제공 빈도 등에 기초한, 유효한 수화 서비스가 제공되는 정도를 나타내는 값.
전술한 용어들의 정의는 단지 예시적인 것일 뿐, 본 발명의 범위가 이러한 정의에 의해서 제한되는 것은 아니다. 예를 들어, 위와 같은 용어의 정의는, 해당 용어에 대해서 당업자에 의해서 용이하게 이해되는 기본적인 의미를 배제하는 것은 아니다.
이하에서는, 본 개시에 따른 수화 방송의 품질을 모니터링하는 방법 및 장치에 대한 본 개시의 다양한 예시들에 대해서 설명한다.
방송통신위원회는 장애인을 위한 방송 서비스 개선을 목표로, 방송 사업자가 장애인을 위한 다양한 부가 서비스를 제공할 것을 고려하고 있다. 예를 들어, 청각 장애인을 위한 방송을 제공할 의무 사업자를 선정하고, 선정된 사업자는 자막, 화면 해설, 수화 통역 등의 편성 비율에 대한 소정의 목표를 달성하도록 하였다. 그러나, 방송통신위원회가 장애인 방송 고시 의무 사업자 선정 기준을 축소하고, 자막, 화면 해설, 수화 통역 등의 편성 비율 목표 달성 시점을 2~3년 연기했다. 이번 개정안의 주요 내용은 현실 방송 환경이 열악함을 고려해서, 방송 채널 사용 사업자의 대상과 범위를 축소하고, 권고 편성 시점도 2~3년 연기한다는 것이다. 즉, KBS, MBS, SBS와 같은 지상파 방송 사업자는 2013년까지 자막 100%, 수화통역 5%, 2014년까지는 화면해설 10%를 달성해야 했으나, 이러한 목표 달성은 2016년까지로 연기되었다. 또한, 위성방송, 종편 등의 유료방송은 2016년까지 자막 70~100%, 화면 해설 5~7%, 수화 통역 3~5% 편성해야 했으나 이 시점도 2018년까지로 수정되었다.
방송통신위원회는 개정 이유로 "장애인 방송 제작 인프라 환경이 열악하고 방송 광고 침체로 어려움을 겪는 방송 사업자의 재정 상황을 고려해 장애인 방송 편성 비율 목표치 달성 시점을 일정 기간 연기한다"라고 밝혔다.
이와 같이 장애인 방송 의무 편성 기준의 적용이 연기되는 이유 중의 하나는, 수화 방송의 품질을 자동적으로 평가하는 방안이 마련되어 있지 않기 때문이다. 즉, 현재까지는, 장애인 협회 등을 중심으로 비장애인이 방송을 직접 시청하면서 자막, 화면 해설, 수화 통역 등이 제공되는지를 수동적으로 조사하고, 이러한 확인 작업은 모든 방송 채널의 모든 방송 시간에 대해서 수행할 수 없기 때문에 일부 샘플링 기준에 따라서 조사하는 정도에 머무르고 있는 실정이다.
본 개시에서는 이러한 문제점을 해결하기 위해서, 장애인 방송 서비스 중의 하나인 수화 방송 품질의 모니터링을 자동화하는 방안을 제공함으로써, 모든 방송 채널에 대한 모든 방송 시간에 걸쳐서 수화 방송의 품질을 전수 조사할 수 있는 토대를 마련할 수 있다.
도 1 및 도 2는 본 개시에 따른 수화 방송 품질 모니터링 장치의 예시적인 구성을 나타내는 도면이다.
현행 방송 표준에 따르면 방송 송출 신호 자체에는, 해당 방송이 수화 방송을 포함하는지 여부를 나타내는 정보가 포함되지는 않는다. 또한, 방송 신호의 시그널링 정보는 화면 해설 오디오 및/또는 폐쇄 자막의 편성 유무와 품질에 대한 정보를 포함할 수 있지만, 수화 방송에 대한 방송 시그널링 정보는 전송 스트림(Transport Stream, TS) 상에 포함되지는 않는다.
따라서, 방송 사업자가 제공하는 방송 편성 정보(예를 들어, 채널, 프로그램명, 방송일자, 프로그램 시작시간 및 종료시간 등) 및 시그널링 정보(예를 들어, 다중화된 프로그램에 속한 복잡한 전송 스트림(TS)에 필요한 프로그램 정보를 테이블 형식으로 표현한 메타 데이터)를 기반으로 수화 방송 영상을 분석하여, 영상에 수화 영역이 포함되어 있는지를 확인함으로써, 수화 방송 유무를 결정할 수 밖에 없다.
이에 따라, 본 개시에 따른 수화 방송 품질 모니터링 장치는 수집 장치(100) 및 분석 서버(200)를 포함할 수 있다. 수집 장치(100) 각각에 의해서 방송 프로그램 단위로 캡쳐된 하나 이상의 영상에 기초하여, 분석 서버(200)는 해당 방송 프로그램의 수화 방송 품질(예를 들어, 수화 영역 존재 여부, 수화 동작 상태, 수화 시간 비중, 수화 제공 빈도 등)을 결정할 수 있다.
도 1 및 도 2를 참조하면 수화 방송 품질 모니터링 장치는 N 개의 수집 장치(100_1, 100_2, ..., 100_N) 및 분석 서버(200)를 포함할 수 있다.
도 1을 참조하면 N 개의 수집 장치(100_1, 100_2, ..., 100_N)에서, N 은 1 이상의 자연수일 수 있다. 또한, N 개의 수집 장치(100_1, 100_2, ..., 100_N)의 각각은 하나의 모니터링 단위 대상에 대응할 수 있다. 즉, N 개의 수집 장치(100_1, 100_2, ..., 100_N)에 의해서 N 개의 모니터링 단위 대상에 대한 정보를 동시에 수집할 수 있다.
예를 들어, 모니터링 단위 대상은 지역, 채널, 시간, 프로그램, 타입 단위로 정의될 수 있다. 예를 들어, N은 모니터링 대상인 방송 지역의 개수, 방송 채널의 개수, 방송 시간의 개수, 방송 프로그램의 개수, 방송 타입(예를 들어, 뉴스, 예능, 교양 등)의 개수에 대응할 수도 있다.
각각의 수집 장치(100)는 M 개의 디먹스/튜너 모듈(110), 저장 모듈(120) 및 수집 관리 모듈(130)을 포함할 수 있다.
M 개의 디먹스/튜너 모듈(110)에서, M 은 1 이상의 자연수일 수 있다. 또한, M 개의 디먹스/튜너 모듈(110)의 각각은 하나의 모니터링 세부 단위 대상에 대응할 수 있다. 즉, M 개의 디먹스/튜너 모듈(110_1, 110_2, ..., 110_M)에 의해서 M 개의 모니터링 세부 단위 대상에 대한 정보를 동시에 수집할 수 있다.
모니터링 단위 대상이 지역, 채널, 시간, 프로그램, 타입 중의 어느 하나로 결정되면, 모니터링 세부 단위 대상은 나머지 하나로 결정될 수 있다. 이에 따라, 지역, 채널, 시간, 프로그램, 또는 타입 중의 임의의 조합에 대한 모니터링이 가능하다. 예를 들어, 임의의 조합은 수화 방송으로 편성된 또는 편성 가능한 모든 모니터링 대상을 전수 조사할 수 있도록 정의될 수 있다.
예를 들어, 모니터링 단위 대상이 지역인 경우, 모니터링 세부 단위 대상은 채널, 시간, 프로그램, 또는 타입으로 정의될 수 있다.
예를 들어, 모니터링 단위 대상이 채널인 경우, 모니터링 세부 단위 대상은 지역, 시간, 프로그램, 또는 타입으로 정의될 수 있다.
예를 들어, 모니터링 단위 대상이 시간인 경우, 모니터링 세부 단위 대상은 지역, 채널, 프로그램, 또는 타입으로 정의될 수 있다.
예를 들어, 모니터링 단위 대상이 프로그램인 경우, 모니터링 세부 단위 대상은 지역, 채널, 시간, 또는 타입으로 정의될 수 있다.
예를 들어, 모니터링 단위 대상이 타입인 경우, 모니터링 세부 단위 대상은 지역, 채널, 시간, 또는 프로그램으로 정의될 수 있다.
또한, 복수의 수집 장치(100)의 각각에 포함되는 디먹스/튜너 모듈(110)의 개수는 서로 동일할 수도 있고 서로 다를 수도 있다. 예를 들어, 제 1 수집 장치(100_1)에 포함되는 디먹스/튜너 모듈(110)의 개수와, 제 2 수집 장치(100_2)에 포함되는 디먹스/튜너 모듈(110)의 개수는 서로 동일할 수도 있고 서로 다를 수도 있다.
각각의 디먹스/튜너 모듈(110)은 수신되는 방송 신호로부터 방송 콘텐츠에 해당하는 동영상을 소정의 주기마다 캡쳐하고, 캡쳐된 영상을 저장 모듈(120)로 전달할 수 있다. 또한, 각각의 디먹스/튜너 모듈(120)은 수신되는 방송 신호의 전송 스트림(TS)을 분석하여, PSIP(Program and System Information Protocol) 및/또는 PSI(Program Specific Information) 정보를 수집 관리 모듈(130)로 전달할 수 있다.
저장 모듈(120)은 디먹스/튜너 모듈(110)로부터 획득된 수화 방송 콘텐츠의 캡쳐 영상들을, 모니터링 단위 대상 및 모니터링 세부 단위 대상 별로 저장 및 관리할 수 있다. 예를 들어, 저장 모듈(120)은, 지역, 채널, 시간, 프로그램, 또는 타입 중의 임의의 조합 별로, 해당 방송 콘텐츠의 캡쳐 영상들을 저장 및 관리할 수 있다.
또한, 저장 모듈(120)은 캡쳐 영상과 함께 방송 편성 정보(PSIP) 및 시그널링 정보(PSI) 등을 저장할 수 있다.
수집 관리 모듈(130)은 디먹스/튜너 모듈(110)로부터 획득된 PSIP 및/또는 PSI 정보에 기초하여, 모니터링 단위 대상 및 모니터링 세부 단위 대상 별로 방송 프로그램 편성 정보 및 프로그램 시그널링 정보를 관리할 수 있다. 예를 들어, 수집 관리 모듈(130)은, 지역, 채널, 시간, 프로그램, 또는 타입 중의 임의의 조합 별로, 해당 방송 프로그램의 편성 정보 및 프로그램 시그널링 정보를 관리할 수 있다.
또한, 수집 관리 모듈(130)은 웹 EPG(Electronic Program Guide) 정보로부터 PSIP를 획득할 수도 있다.
또한, 수집 관리 모듈(130)은 디먹스/튜너 모듈(110)을 제어하여, 모니터링 단위 대상 및 모니터링 세부 단위 대상 별로 시그널링 정보(PSI)를 분석할 수 있다.
또한, 수집 관리 모듈(130)은 저장 모듈(120)에 저장된 방송 편성 정보(PSIP) 및 시그널링 정보(PSI)를 분석한 분석 결과를 방송 콘텐츠 캡쳐 영상과 함께 분석 서버(200)로 전달할 수 있다.
도 2를 참조하면 분석 서버(200)는 분석 관리 모듈(210), 통계 모듈(220), 데이터 분석 모듈(230) 및 데이터베이스(240)를 포함할 수 있다.
분석 관리 모듈(210)은 N 개의 수집 장치(100_1, 100_2, ..., 100_N) 각각으로부터 소정의 주기에 따라 수행된 모니터링 결과를 수신할 수 있다. 여기서, 모니터링 결과는, 수화 방송 콘텐츠 캡쳐 영상 및 관련 정보를 포함할 수 있다. 여기서, 관련 정보는, 해당 캡쳐 영상이 포함된 모니터링 단위 대상, 모니터링 세부 단위 대상, 방송 편성 정보(PSIP), 또는 시그널링 정보(PSI) 중의 하나 이상을 포함할 수 있다.
또한, 분석 관리 모듈(210)은 수신된 모니터링 결과를 데이터베이스(240)에 저장할 수 있다.
또한, 분석 관리 모듈(210)은 수신된 모니터링 결과를 분석하여 수집 장치(100)의 오류 유무를 주기적으로 확인할 수도 있다.
통계 모듈(220)은 모니터링 단위 대상 및/또는 모니터링 세부 단위 대상 별로 데이터 분석 모듈(230)의 분석 결과를 집계하고 관리할 수 있다.
데이터 분석 모듈(230)은 데이터베이스(240)에 저장된 모니터링 단위 대상 및/또는 모니터링 세부 단위 대상 별 모니터링 결과를 실시간 또는 비 실시간으로 분석하고, 분석 결과를 데이터베이스(240)에 저장할 수 있다.
또한, 데이터 분석 모듈(230)은 모니터링 결과를 분석하여 수화 영역 존재 여부, 수화 동작 상태, 수화 시간 비중, 수화 제공 빈도 등을 결정할 수 있다.
한편, 도 3a 내지 도 3h는 다양한 수화 영역을 포함하는 방송 콘텐츠를 예시하는 도면이다.
도 3a 및 도 3b를 참조하면, 제1방송 콘텐츠(310)와 제2방송 콘텐츠(320)는 복수의 수화 영역을 포함하는 것을 예시한다. 예컨대, 제1방송 콘텐츠(310)와 제2방송 콘텐츠(320)는 복수의 사용자가 나타나는 방송 콘텐츠일 수 있으며, 복수의 사용자 각각은 서로 다른 음성을 출력할 수 있다. 이에 대응하여 제1방송 콘텐츠(310)와 제2방송 콘텐츠(320)는 각각 복수의 사용자 각각에 대응되는 수화 영역을 포함하도록 구비될 수 있다.
또한, 도 3c를 참조하면, 제3방송 콘텐츠(330)는 청각 장애인 전용 방송 콘텐츠 일 수 있으며, 방송 영상 영역(331)보다 상대적으로 크게 구성된 수화 영역(332)을 포함할 수 있다. 나아가, 상기 수화 영역(332)은 제3방송 콘텐츠(330) 내에서 상대적으로 중앙 영역에 마련될 수 있다.
또한, 도 3d 내지 도 3g를 참조하면, 제4 내지 제7방송 콘텐츠(340, 350, 360, 370)는 각각 소정의 자막 영역(341, 351, 361, 371)을 포함할 수 있는데, 이러한 자막 영역(341, 351, 361, 371)은 다양한 크기와 위치에 마련될 수 있다. 이에 따라, 제4 내지 제7방송 콘텐츠(340, 350, 360, 370)는 이러한 자막 영역(341, 351, 361, 371)의 크기와 위치를 고려하여, 수화 영역(342, 352, 362, 372)의 위치가 다양하게 변경될 수 있다.
또 다른 예로서, 도 3 h를 참조하면, 제8방송 콘텐츠(380)에 구비되는 수화 영역(381)은 배경 영역을 포함하지 않고 수화자만을 포함하도록 구비될 수 있다.
전술한 바와 같이, 방송 콘텐츠 내에 포함되는 수화 영역과 관련하여, 특별한 규제 또는 규정이 없기 때문에, 방송 콘텐츠 내에 다양한 형태의 수화 영역이 구비될 수 있다. 따라서, 방송 콘텐츠 내에 포함된 수화 영역을 자동적으로 검출하고, 방송 콘텐츠가 수화 방송을 수행하고 있는지를 판단하는 것이 용이하지 않다. 본 개시의 일 실시예에서는, 방송 콘텐츠 내에 포함된 수화 영역을 정확하게 검출할 수 있는 방법을 제공한다.
도 4a 및 도 4b는 본 개시의 실시예에 따른 수화 영역 검출 방안을 설명하기 위한 도면이다.
도 4a 및 도 4b를 참조하여 설명하는 수화 영역 검출 방안은, 방송 신호(예를 들어, PSIP, PSI 등) 또는 별도의 정보(예를 들어, EPG 정보)를 참조하여도, 해당 방송 콘텐츠가 수화 영역을 포함하는지 여부를 알 수 없는 경우 또는 해당 방송 콘텐츠에서 수화 영역이 어디에 위치하는지 알 수 없는 경우에 적용될 수 있다. 그러나, 본 개시의 범위가 이에 제한되는 것은 아니며, 방송 신호 또는 별도의 정보로 수화 영역을 판단할 수 있는 경우에도, 검증을 위해 도 4a 및 도 4b를 참조하여 설명하는 예시들이 적용될 수도 있다.
영상 처리 분야에서 정의하는 다양하고 복잡한 영상 분석 알고리즘을 수화 영역을 분석하기 위해서 사용할 수도 있지만, 수화 영상을 분석함에 있어서 복잡하거나 고사양의 하드웨어 또는 소프트웨어 리소스를 사용하는 알고리즘을 사용할 필요는 없다. 따라서, 본 개시에서는 간단하고 효율적으로 수화 영상을 분석하는 예시들에 대해서 설명한다.
특히, 본 개시에서는 캡쳐 영상에서 수화 영역을 특정 또는 검출하는 예시들에 대해서 설명한다.
우선, 도 4a를 참조하면, 본 개시의 일 실시예에 따른 수화 영역 검출 방안에서는, 수화 영역의 움직임이 다른 영역, 즉 비수화 영역에 비해서 픽셀값의 변화가 많이 없다는 특징을 이용하여 차영상 기반으로 수화영역을 검출할 수 있다.
우선, 방송 프로그램의 시작된 후부터 종료될 때까지 사이의 시간 동안 주기적으로 캡쳐된 복수의 영상(410)에 대해서, 캡처된 시간 순서 상관없이 모든 차영상을 순열을 생성한다. 예컨대, 캡쳐된 영상 두 개를 한 쌍으로 하여 차영상을 생성하고, 한쌍의 영상에서 생성된 차영상에 대한 순열을 생성할 수 있다.
캡쳐된 복수의 영상(410)을 원본 영상 그대로 차영상을 생성할 수 있으나, 바람직하게, 캡쳐된 복수의 영상(410)에 구비되는 픽셀을 휘도값으로 변환한 후, 변환된 영상에 대한 차영상을 생성할 수 있다. 이와 다른 예로서, 캡쳐된 복수의 영상(410)에 구비되는 픽셀을 미리 정해진 색상값(예, 적색(red))을 기준으로 변환한 후, 변환된 영상에 대한 차영상을 생성할 수도 있다.
그리고, 생성된 n개의 차영상(diff(n))(420)에는 노이즈가 많기에, 작은 크기의 노이즈 픽셀을 제거한다.
이후, n개의 차영상(diff(n))(420)에서 픽셀값 차이가 적은 좌표만을 추출하고, 해당 좌표 위치를 누적시켜 차영상 히스토그램(430)을 생성한다.
나아가, 이와 같이 생성된 차영상 히스토그램(430)에서 작은 크기의 노이즈를 제거함으로써, 최종적인 차영상 히스토그램을 생성할 수 있다.
다음으로, 소정의 임계치를 기준으로, 차영상 히스토그램의 값이 적게 나타나는 영역을 검출할 수 있다. 여기서, 차영상 히스토그램의 값이 적게 나타나는 영역은, 영상 내의 동일한 위치에 동일한 오브젝트가 존재할 확률이 높은 것을 의미한다. 이에 따라, 검출된 영역은 수화 후보 영역이라고 결정할 수 있다.
또한, 소정의 임계치는 방송 사업자, 방송 프로그램, 방송 타입 등에 따라서 상이하게 설정될 수 있다. 예를 들어, 예능 프로그램의 경우에는 뉴스 프로그램에 비하여 대부분의 영역에서 변화량이 많을 것으로 예상할 수 있으므로, 예능 프로그램에 대한 임계치는 뉴스 프로그램에 대한 임계치보다 낮게 설정될 수도 있다.
차영상 히스토그램을 통해서 캡쳐 영상에서 검출된 수화 후보 영역의 각각에 대해서, 얼굴 검출을 시도할 수 있다. 이에 따라, 수화 후보 영역 중에서 하나의 얼굴이 검출되는 영역을 최종적으로 수화 영역으로 결정할 수 있다.
캡쳐 영상(400)에서 변화량이 소정의 임계치 이하인 제 1, 제2, 및 제3 수화 후보 영역(451, 452, 453)가 검출되는 경우를 가정한다. 보다 구체적으로, 제 1, 제2, 및 제3 수화 후보 영역(451, 452, 453)은 복수의 캡쳐 영상에 걸쳐서 차영상 히스토그램 값이 적은 영역, 즉, 동일한 위치에 동일한 오브젝트가 고정적으로 위치하는 영역에 해당할 수 있다.
다음으로, 제 1, 제2, 및 제3 수화 후보 영역(451, 452, 453)의 각각에 대해서 얼굴 검출을 시도할 수 있다. 제 1 수화 후보 영역(451)에서는 하나의 얼굴이 검출되므로 최종적으로 수화 영역이라고 결정할 수 있다. 제2 및 제3 수화 후보 영역(452, 453)에서는 얼굴 인식에 실패하므로, 수화 영역이 아닌 것으로 결정할 수 있다.
또한, 얼굴 인식 대신에 수화 영역 패턴 매칭 검사를 수행할 수도 있다. 구체적으로, 차영상 히스토그램 값이 적은 것으로 검출된 수화 후보 영역에 대해서, 소정의 수화 영역 패턴과 매칭되는지를 검사할 수 있다. 예를 들어, 소정의 수화 영역 패턴을 형상(예컨대, 타원형 또는 원형)의 배경으로 설정할 수 있다. 도 4b의 예시에서 제 1 수화 후보 영역(451)은 상기 소정의 수화 영역 패턴과 비교하여 타원형의 배경 부분이 소정의 비율(예를 들어, 50%) 이상으로 매칭되므로, 최종적으로 수화 영역이라고 결정할 수 있다. 제 2 수화 후보 영역(452)는 상기 소정의 수화 영역 패턴과 일치하는 비율이 낮으므로, 수화 영역이 아닌 것으로 결정할 수 있다.
여기서, 소정의 수화 영역 패턴의 예시는 타원형으로 제한되는 것은 아니다. 예를 들어, 방송 사업자, 방송 프로그램, 방송 타입 등에 따라 다른 패턴(예를 들어, 검은색 직사각형)과의 매칭 정도를 검사할 수도 있다. 즉, 본 개시의 범위는 소정의 수화 영역 패턴의 예시에 제한되는 것이 아니라, 소정의 수화 영역 패턴과의 매칭 정도를 이용한 수화 영역 검출의 다양한 방안들을 포함한다.
도 5 및 도 6은 본 개시에 따른 수화 시간 검출 방안의 예시들을 설명하기 위한 도면이다.
수화 시간을 검출하기 위해서는, 수화 영역이 존재하는 시간 중에서 비수화 시간을 제외하는 방안을 적용할 수 있다. 이를 위하여 비수화 시간을 검출하는 예시들에 대해서 이하에서 설명한다.
도 5의 예시는 손 위치 인식 또는 손 제스쳐 인식을 기반으로 수화 시간 또는 비수화 시간을 측정하는 방안에 대한 것이다. 예를 들어, 수화자의 손을 인식하고, 인식된 손의 위치를 소정의 주기마다 분석할 수 있다.
또한, 수화자의 손을 인식하는 시점은 수화 영역에서 수화자의 얼굴이 인식된 시점에 포함될 수 있다. 즉, 수화자의 얼굴이 인식되지 않은 시점은 손 위치를 인식하지 않더라도 비수화 시간으로 결정할 수 있고, 수화자의 얼굴이 인식되는 시점에서 손 위치 인식에 기초하여 비수화 시간 또는 수화 시간 여부를 결정할 수 있다.
도 5의 예시에서 t-1의 시점에서는 인식된 손의 위치가 수화 영역의 하단 중앙을 벗어난 중단 좌우측이므로, 수화 시간에 속하는 것으로 결정할 수 있다.
다음으로, t 및 t+1의 시점에서는 인식된 손의 위치가 수화 영역의 하단 중앙이므로, 비수화 시간에 속하는 것으로 결정할 수 있다.
다음으로, t+2의 시점에서는 인식된 손의 위치가 수화 영역의 하단 중앙을 벗어난 중단 중앙이므로, 수화 시간에 속하는 것으로 결정할 수 있다.
즉, 수화자의 손으로 인식된 오브젝트의 위치가 수화 영역의 하단 중앙에 위치하는 시간을 비수화 시간으로 결정하고, 전체 프로그램 제공 시간 중에서 수화 영역이 존재하는 시간 동안에 상기 비수화 시간을 제외한 나머지를 수화 시간으로 결정할 수 있다.
도 6의 예시는 칼라 인식 기반으로 수화 시간 또는 비수화 시간을 측정하는 방안에 대한 것이다. 예를 들어, 수화 영역 중의 특정 하위 영역의 칼라를 인식하여, 인식된 칼라가 수화자의 손의 칼라에 매칭되는지 여부를 소정의 주기마다 분석할 수 있다.
또한, 수화 영역의 특정 하위 영역의 칼라를 인식하는 시점은 수화 영역에서 수화자의 얼굴이 인식된 시점에 포함될 수 있다. 즉, 수화자의 얼굴이 인식되지 않은 시점은 특정 하위 영역의 칼라를 인식하지 않더라도 비수화 시간으로 결정할 수 있고, 수화자의 얼굴이 인식되는 시점에서 특정 하위 영역의 칼라 인식에 기초하여 비수화 시간 또는 수화 시간 여부를 결정할 수 있다.
도 6의 예시에서 t-1의 시점에서는 수화 영역의 하단 중앙의 특정 하위 영역에 수화자의 손의 칼라 값의 비중이 낮으므로, 수화 시간에 속하는 것으로 결정할 수 있다.
다음으로, t 및 t+1의 시점에서는 수화 영역의 하단 중앙의 특정 하위 영역에 수화자의 손의 칼라 값의 비중이 높으므로, 비수화 시간에 속하는 것으로 결정할 수 있다.
다음으로, t+2의 시점에서는 수화 영역의 하단 중앙의 특정 하위 영역에 수화자의 손의 칼라 값의 비중이 낮으므로, 수화 시간에 속하는 것으로 결정할 수 있다.
즉, 수화 영역에서 특정 하위 영역(예를 들어, 하단 중앙)의 칼라를 분석하여, 수화자의 손의 칼라 값과 유사한 칼라가 차지하는 시간 및/또는 영역의 크기가 소정의 임계치에 비하여 높다면 비수화 시간이라고 결정할 수 있다. 이에 따라, 전체 프로그램 제공 시간 중에서 수화 영역이 존재하는 시간 동안에 상기 비수화 시간을 제외한 나머지를 수화 시간으로 결정할 수 있다.
도 6과 같은 예시를 적용하기 위해서 수화자는 수화 영역의 배경(예를 들어, 파란색)과 명확하게 구분되면서, 수화자의 얼굴 및 손의 색깔과 명확하게 구분되는 칼라의 복장을 갖출 수 있다.
추가적인 예시로서, 모션 벡터 기반으로 수화 시간을 측정할 수도 있다.
모션 벡터는 제 1 시점의 영상에서 특정 위치가 제 2 시점의 영상에서 이동한 변위를 벡터로 나타낸 것이다. 본 개시에서는 제 1 시점의 캡쳐 영상의 수화 영역에서의 복수의 특징점(예를 들어, 픽셀 단위) 각각의 위치가 제 2 시점의 캡쳐 영상에서 이동한 변위에 기초한 모션 벡터를 측정하고, 복수의 특징점들에 대한 모션 벡터의 스칼라 총합의 값이 소정의 임계치 이하인지 여부를 판단할 수 있다.
만약 모션 벡터 총합이 임계치 이하인 경우에는, 수화자의 수화 동작이 없는 시간으로 볼 수 있으므로, 제 1 시점 및 제 2 시간 사이의 시간 동안을 비수화 시간이라고 결정할 수 있다. 이에 따라, 전체 프로그램 제공 시간 중에서 수화 영역이 존재하는 시간 동안에 상기 비수화 시간을 제외한 나머지를 수화 시간으로 결정할 수 있다.
만약 모션 벡터 총합이 임계치 초과인 경우에는, 수화자의 수화 동작이 있는 시간으로 볼 수 있으므로, 제 1 시점 및 제 2 시간 사이의 시간 동안을 수화 시간이라고 결정할 수도 있다.
도 7은 본 개시에 따른 수집 장치의 동작을 설명하기 위한 흐름도이다.
도 7의 단계 S710에서 수집 장치(100)는 방송 편성 정보(예를 들어, 채널 정보, 프로그램명, 방영 날짜, 프로그램 시작 시간, 프로그램 종료 시간 등)를 획득할 수 있다. 예를 들어, 이러한 방송 편성 정보(또는 PSIP)는 웹 EPG로부터 수집 관리 모듈(130)이 직접 획득할 수도 있고, 디먹스/튜너 모듈(110)이 방송 신호를 수신 및 분석하여 획득한 PSIP 정보를 수집 관리 모듈(130)에게 전달하여 줄 수도 있다.
단계 S720에서 수집 장치(100)는 모니터링 단위 대상 및/또는 모니터링 세부 단위 대상에 대한 시그널링 정보(예를 들어, 다중화된 프로그램에 속한 복잡한 전송 스트림(TS)에 필요한 프로그램 정보를 테이블 형식으로 표현한 메타 데이터)를 분석할 수 있다. 예를 들어, 수집 관리 모듈(130)은 디먹스/튜너 모듈(110)을 제어하여 지역, 채널, 시간, 프로그램, 또는 타입 중의 임의의 조합 별로 시그널링 정보(또는 PSI)를 분석할 수 있다.
단계 S730에서 수집 장치(100)는 주기적으로 방송 프로그램 화면을 캡쳐할 수 있다. 예를 들어, 디먹스/튜너 모듈(110)은 방송 프로그램 제공 시간 동안 소정의 주기 마다 캡쳐 영상을 생성할 수 있다.
단계 S740에서 수집 장치(100)는 캡쳐 영상을 저장하면서, 해당 캡쳐 영상의 관련 정보를 저장할 수 있다. 예를 들어, 저장 모듈(120)은 캡쳐 영상과 함께, 해당 캡쳐 영상이 포함된 모니터링 단위 대상, 모니터링 세부 단위 대상, 방송 편성 정보(PSIP), 또는 시그널링 정보(PSI) 중의 하나 이상을 관련 정보로서 저장할 수 있다.
단계 S750에서 수집 장치(100)는 저장된 캡쳐 영상 및 관련 정보를 분석 서버(200)로 전송할 수 있다. 또한, 수집 장치(100)는 해당 캡쳐 영상의 관련 정보에 대한 분석 결과도 분석 서버(200)로 전송할 수 있다. 예를 들어, 예를 들어, 수집 관리 모듈(130)은 저장 모듈(120)에 저장된 캡쳐 영상, 관련 정보(예를 들어, 모니터링 단위 대상, 모니터링 세부 단위 대상, PSIP, 또는 PSI 중의 하나 이상) 및 분석 결과를 분석 서버(200)의 분석 관리 모듈(210)로 전송할 수 있다.
분석 결과는 관련 정보에 대한 오류 정보를 포함할 수 있다. 예를 들어, 분석 결과는 시그널링 정보에 대한 오류가 있는지, 오류가 있다면 어떠한 오류가 발생하였는지 등을 나타내는 정보를 포함할 수 있다.
도 7의 예시에서 수집 장치는 단계 S730 내지 S750의 동작을 소정의 캡쳐 주기 마다 반복하여 수행할 수 있다.
또는, 단계 S730 및 S740을 소정의 캡쳐 주기마다 수행하고, 단계 S750에서는 누적하여 저장된 복수의 캡쳐 주기에 대응하는 복수의 캡쳐 영상, 관련 정보 및 분석 결과를 한 번에 분석 서버(200)로 전송할 수도 있다.
도 8은 본 개시에 따른 분석 서버의 동작을 설명하기 위한 흐름도이다.
도 8의 단계 S810에서 분석 서버(200)는 수집 장치(100)로부터 캡쳐 영상, 관련 정보 및 분석 결과를 수신할 수 있다. 예를 들어, 분석 관리 모듈(210)은 수집 장치(100)의 수집 관리 모듈(130)로부터 전송되는 캡쳐 영상, 관련 정보 및 분석 결과를 수신할 수 있다.
단계 S820에서 분석 서버(200)는 수신된 데이터를 저장할 수 있다. 예를 들어, 분석 관리 모듈(210)은 수신된 데이터(예를 들어, 캡쳐 영상, 관련 정보 및 분석 결과)를 데이터베이스(240)에 저장할 수 있다.
단계 S830에서 분석 서버(200)는 저장된 데이터를 분석할 수 있다. 예를 들어, 데이터 분석 모듈(230)은 저장된 데이터(예를 들어, 캡쳐 영상, 관련 정보 및 분석 결과)를 분석할 수 있다.
또한, 데이터 분석 모듈(230)은 저장된 데이터의 캡쳐 영상에 수화 영역이 존재하는지 여부를 결정할 수 있다. 예를 들어, 데이터 분석 모듈(230)은 캡쳐 영상에 수화 영역이 존재하는지 여부를 방송 편성 정보 및/또는 시그널링 정보에 기초하여 결정할 수도 있다. 예를 들어, 데이터 분석 모듈(230)은 캡쳐 영상에 수화 영역이 존재하는지 여부를 차영상에 대한 히스토그램 분석, 얼굴 인식, 패턴 매칭 등의 방식에 기초하여 결정할 수도 있다.
구체적으로, 데이터 분석 모듈(230)은 방송 프로그램의 시작된 후부터 종료될 때까지 사이의 시간 동안 주기적으로 캡쳐된 복수의 영상(410)에 대해서, 캡처된 시간 순서 상관없이 모든 차영상을 순열을 생성한다. 예컨대, 데이터 분석 모듈(230)은 캡쳐된 영상 두 개를 한 쌍으로 하여 차영상을 생성하고, 한쌍의 영상에서 생성된 차영상에 대한 순열을 생성할 수 있다.
캡쳐된 복수의 영상(410)을 원본 영상 그대로 차영상을 생성할 수 있으나, 바람직하게, 데이터 분석 모듈(230)은 캡쳐된 복수의 영상(410)에 구비되는 픽셀을 휘도값으로 변환한 후, 변환된 영상에 대한 차영상을 생성할 수 있다. 이와 다른 예로서, 데이터 분석 모듈(230)은 캡쳐된 복수의 영상(410)에 구비되는 픽셀을 미리 정해진 색상값(예, 적색(red))을 기준으로 변환한 후, 변환된 영상에 대한 차영상을 생성할 수도 있다.
나아가, 데이터 분석 모듈(230)은 생성된 n개의 차영상(diff(n))(420)에서 작은 크기의 노이즈 픽셀을 제거할 수 있다.
이후, 데이터 분석 모듈(230)은 n개의 차영상(diff(n))(420)에서 픽셀값 차이가 적은 좌표만을 추출하고, 해당 좌표 위치를 누적시켜 차영상 히스토그램(430)을 생성한다.
나아가, 데이터 분석 모듈(230)은 이와 같이 생성된 차영상 히스토그램(430)에서 작은 크기의 노이즈를 제거함으로써, 최종적인 차영상 히스토그램을 생성할 수 있다.
다음으로, 데이터 분석 모듈(230)은 소정의 임계치를 기준으로, 차영상 히스토그램의 값이 적게 나타나는 영역을 검출할 수 있다. 여기서, 차영상 히스토그램의 값이 적게 나타나는 영역은, 영상 내의 동일한 위치에 동일한 오브젝트가 존재할 확률이 높은 것을 의미한다. 이에 따라, 데이터 분석 모듈(230)은 검출된 영역을 수화 후보 영역이라고 결정할 수 있다.
또한, 소정의 임계치는 방송 사업자, 방송 프로그램, 방송 타입 등에 따라서 상이하게 설정될 수 있다. 예를 들어, 예능 프로그램의 경우에는 뉴스 프로그램에 비하여 대부분의 영역에서 변화량이 많을 것으로 예상할 수 있으므로, 예능 프로그램에 대한 임계치는 뉴스 프로그램에 대한 임계치보다 낮게 설정될 수도 있다.
이후, 데이터 분석 모듈(230)은 차영상 히스토그램을 통해서 캡쳐 영상에서 검출된 수화 후보 영역의 각각에 대해서, 얼굴 검출을 시도할 수 있다. 이에 따라, 수화 후보 영역 중에서 하나의 얼굴이 검출되는 영역을 최종적으로 수화 영역으로 결정할 수 있다.
또한, 데이터 분석 모듈(230)은 저장된 데이터의 캡쳐 영상이 수화 시간에 속하는지 또는 비수화 시간에 속하는지 여부를 결정할 수 있다. 예를 들어, 데이터 분석 모듈(230)은 캡쳐 영상이 수화 시간 또는 비수화 시간에 속하는지 여부를 방송 편성 정보 및/또는 시그널링 정보에 기초하여 결정할 수도 있다. 예를 들어, 데이터 분석 모듈(230)은 캡쳐 영상에 캡쳐 영상이 수화 시간 또는 비수화 시간에 속하는지 여부를 손 위치 인식, 칼라 인식, 모션 벡터 분석 등의 방식에 기초하여 결정할 수도 있다.
또한, 데이터 분석 모듈(230)은 저장된 데이터의 캡쳐 영상 분석 결과(예를 들어, 수화 방송 유무, 수화 방송 품질 등)을 관련 정보(예를 들어, 모니터링 단위 대상, 모니터링 세부 단위 대상, PSIP, 또는 PSI 중의 하나 이상)와 함께 데이터베이스(240)에 저장할 수 있다.
또한, 데이터 분석 모듈(230)은 저장된 데이터에서 캡쳐 영상이 수화 방송이 아닌 경우에는 삭제할 수도 있다.
단계 S840에서 분석 서버(200)는 모니터링 단위 대상 및/또는 모니터링 세부 단위 대상 별로 분석 결과를 집계하고 관리할 수 있다.
예를 들어, 통계 모듈(220)은 지역, 채널, 시간, 프로그램, 또는 타입 중의 임의의 조합 별로 분석 결과를 집계하고 이를 사용자의 요구에 따라 화면에 출력할 수 있다. 예를 들어, 수화 방송 품질은 수화 제공 빈도의 값으로 나타낼 수 있으며, 수화 제공 빈도는 전체 프로그램 제공 시간 중에서 수화 시간이 차지하는 비중, 수화 시간의 분포 등의 수치로 나타낼 수 있다.
도 7의 단계 S810 내지 S840의 동작은 주기적으로 수행될 수도 있고, 복수의 캡쳐 주기에 대응하는 정보를 한 번에 수신하여 이에 대한 저장, 분석 및 통계 산출이 한 번에 수행될 수도 있다. 또는, 도 7의 단계 S810 내지 S830은 캡쳐 주기마다 반복하여 수행될 수도 있고, 단계 S840은 복수의 캡쳐 주기가 완료된 후에 누적하여 저장 및 분석된 데이터에 기초하여 한 번에 수행될 수도 있다.
본 개시에 따르면 수화 방송에 대한 새로운 영상 분석 방안을 제공하고, 이에 따라 객관적으로 또한 자동적으로 수화 방송 편성 여부를 확인할 수 있고, 수화 방송의 품질을 검증할 수 있다. 따라서, 본 개시에 따른 수화 방송 품질 모니터링 장치를 전국적으로 설치 및 운영함으로써, 장애인 방송 고시 의무 사업자 선정 및 목표 달성 여부를 검증하는 데에 활용할 수 있다.
본 개시의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 개시에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.
본 개시의 다양한 실시 예는 모든 가능한 조합을 나열한 것이 아니고 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시 예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.
또한, 본 개시의 다양한 실시 예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
본 개시의 범위는 다양한 실시 예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다.
Claims (20)
- 수화 방송 품질을 모니터링하는 방법에 있어서,
방송 콘텐츠를 미리 정해진 제1시간 단위마다 캡쳐한 적어도 하나의 캡쳐 영상을 확인하는 단계;
상기 적어도 하나의 캡쳐 영상에 대한 차영상을 생성하고, 상기 방송 콘텐츠 단위에 대한 상기 차영상을 누적하여 수화 후보 영역을 검출하는 단계;
상기 수화 후보 영역에 대응되는 상기 적어도 하나의 캡쳐 영상을 분석하여, 수화 영역을 결정하는 단계; 및
상기 캡쳐 영상에 관련된 방송 편성 정보, 시그널링 정보, 모니터링 단위 대상, 또는 모니터링 세부 단위 대상 중의 하나 이상에 기초하고, 상기 방송 콘텐츠 중 상기 수화 영역에 포함되는 영상을 사용하여, 상기 방송 콘텐츠의 수화 방송 품질을 결정하는 단계를 포함하는, 수화 방송 품질 모니터링 방법.
- 제1항에 있어서,
상기 수화 후보 영역을 검출하는 단계는,
상기 적어도 하나의 캡쳐 영상에 대한 차영상으로부터 노이즈를 제거하는 단계와,
상기 노이즈가 제거된 차영상으로부터 픽셀값의 차이가 적은 영역의 좌표를 추출하는 단계와,
상기 추출된 좌표를 누적하여 차영상 히스토그램을 생성하는 단계를 포함하는, 수화 방송 품질 모니터링 방법.
- 제2항에 있어서,
상기 수화 후보 영역을 검출하는 단계는,
상기 차영상 히스토그램으로부터 노이즈를 제거하는 단계를 더 포함하는, 수화 방송 품질 모니터링 방법.
- 제2항에 있어서,
상기 수화 후보 영역을 검출하는 단계는,
상기 차영상 히스토그램에서 미리 정해진 임계값보다 상대적으로 큰 값을 구비하는 영역을 상기 수화 후보 영역으로서 검출하는 것을 특징으로 하는 수화 방송 품질 모니터링 방법.
- 제4항에 있어서,
상기 미리 정해진 임계값은 방송 사업자, 방송 프로그램, 방송 타입 중 적어도 하나에 기초하여 설정되는 것을 특징으로 하는 수화 방송 품질 모니터링 방법.
- 제1항에 있어서,
상기 수화 영역을 결정하는 단계는,
상기 적어도 하나의 캡쳐 영상에서 상기 수화 후보 영역에 대응되는 영역으로부터 얼굴 영역의 존재여부를 확인하는 단계와,
상기 얼굴 영역이 존재하는 상기 수화 후보 영역을 상기 수화 영역으로 결정하는 단계를 포함하는 것을 특징으로 하는 수화 방송 품질 모니터링 방법.
- 제1항에 있어서,
상기 수화 영역을 결정하는 단계는,
상기 적어도 하나의 캡쳐 영상에서 상기 수화 후보 영역에 대응되는 영역이, 미리 정해진 수화 영역 패턴에 부합되는지 여부를 확인하는 단계와,
상기 미리 정해진 수화 영역 패턴에 부합되는 상기 수화 후보 영역을 상기 수화 영역으로 결정하는 단계를 포함하는 것을 특징으로 하는 수화 방송 품질 모니터링 방법.
- 제1항에 있어서,
상기 방송 콘텐츠의 수화 방송 품질을 결정하는 단계는,
상기 적어도 하나의 캡쳐 영상에서 상기 수화 영역의 영상 정보에 기초하여, 비수화 시간 또는 수화 시간 여부를 결정하는 단계를 포함하는 것을 특징으로 하는 수화 방송 품질 모니터링 방법.
- 제8항에 있어서,
상기 비수화 시간 또는 수화 시간 여부를 결정하는 단계는,
상기 수화 영역의 영상 정보로부터 손의 위치를 인식하는 단계와,
상기 손의 위치가 상기 수화 영역 내에서 미리 정해진 위치에 존재하는지 여부에 기초하고 상기 미리 정해진 제1시간 단위를 고려하여, 상기 비수화 시간 또는 수화 시간을 결정하는 단계를 포함하는 것을 특징으로 하는 수화 방송 품질 모니터링 방법.
- 제8항에 있어서,
상기 비수화 시간 또는 수화 시간 여부를 결정하는 단계는,
상기 수화 영역 내에서 미리 정해진 제1영역에 손에 대응되는 색상이 존재하는지 여부를 확인하는 단계와,
상기 미리 정해진 제1영역에 손에 대응되는 색상이 존재하는지 여부에 기초하고 상기 미리 정해진 제1시간 단위를 고려하여, 상기 비수화 시간 또는 수화 시간을 결정하는 단계를 포함하는 것을 특징으로 하는 수화 방송 품질 모니터링 방법. - 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180057291A KR102487111B1 (ko) | 2018-05-18 | 2018-05-18 | 수화 방송 품질 모니터링 방법 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180057291A KR102487111B1 (ko) | 2018-05-18 | 2018-05-18 | 수화 방송 품질 모니터링 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190132074A KR20190132074A (ko) | 2019-11-27 |
| KR102487111B1 true KR102487111B1 (ko) | 2023-01-10 |
Family
ID=68730050
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180057291A KR102487111B1 (ko) | 2018-05-18 | 2018-05-18 | 수화 방송 품질 모니터링 방법 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102487111B1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210114804A (ko) * | 2020-03-11 | 2021-09-24 | 삼성전자주식회사 | 디스플레이 장치 및 디스플레이 방법 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100394276B1 (ko) * | 1999-07-12 | 2003-08-09 | 한국전자통신연구원 | 수화 인식에서의 스테레오 정합기법을 적용한 초기 손영역 설정방법 및 장치 |
-
2018
- 2018-05-18 KR KR1020180057291A patent/KR102487111B1/ko active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| KR20190132074A (ko) | 2019-11-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2244208B1 (en) | Methods and apparatus for identifying primary media content in a post-production media content presentation | |
| TW200526023A (en) | Methods and apparatus to distinguish a signal originating from a local device from a broadcast signal | |
| MXPA03004846A (es) | Aparato y metodo para medir la sintonizacion de un receptor de difusion digital. | |
| CN103475910A (zh) | 一种用于智能电视端的机顶盒节目推荐方法及系统 | |
| CN102917193A (zh) | 对包括多个内容窗口的多媒体呈现进行监视的方法和装置 | |
| CN106454426B (zh) | 一种识别智能电视模拟频道的方法 | |
| US20170150222A1 (en) | Appratus for audience measurement on multiple devices and method of analyzing data for the same | |
| KR20130076977A (ko) | 방송 수신 장치 및 그 제어 방법 | |
| KR102487111B1 (ko) | 수화 방송 품질 모니터링 방법 및 장치 | |
| KR101377849B1 (ko) | 실시간 방송채널별 부가정보제공시스템 및 제어방법 | |
| CN108810586B (zh) | 一种机顶盒 | |
| US20140115620A1 (en) | Identifying an End of a Television Program | |
| US20230119783A1 (en) | Methods and apparatus to monitor a split screen media presentation | |
| KR102557442B1 (ko) | 수화 방송 품질 모니터링 방법 및 장치 | |
| JP5017205B2 (ja) | 番組分析装置、番組分析方法および番組分析プログラム | |
| KR20100116306A (ko) | 시청률 조사 시스템 및 그 조사 방법 | |
| KR101625567B1 (ko) | 화면동기화정보 검증장치 및 방법 | |
| CN105847889B (zh) | 数字电视广告识别方法及系统 | |
| EP2720469A1 (en) | Display apparatus and method thereof for detecting a channel change event | |
| JP4280100B2 (ja) | 送信装置、受信装置、及び視聴履歴収集システム | |
| KR101849092B1 (ko) | 실시간 영상 서비스의 화면깨짐 검출방법 및 그를 위한 장치 | |
| KR101770958B1 (ko) | 초단위 광고 실시청기반 완전시청산출방법 및 완전시청산출시스템 | |
| KR101284830B1 (ko) | Ｉｐｔｖ 셋탑박스, ｉｐｔｖ의 시청률 조사장치 및 방법 | |
| KR20010097950A (ko) | 시청자 성향에 따른 시청률 조사 방법 및 그 시스템 | |
| KR100628129B1 (ko) | 디지털 방송 수신 장치 및 그의 프로그램 정보 표시 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |