KR102074240B1 - 동영상 변환방법 및 장치 - Google Patents

동영상 변환방법 및 장치 Download PDF

Info

Publication number
KR102074240B1
KR102074240B1 KR1020180123577A KR20180123577A KR102074240B1 KR 102074240 B1 KR102074240 B1 KR 102074240B1 KR 1020180123577 A KR1020180123577 A KR 1020180123577A KR 20180123577 A KR20180123577 A KR 20180123577A KR 102074240 B1 KR102074240 B1 KR 102074240B1
Authority
KR
South Korea
Prior art keywords
video
original
audio signal
signal
frame
Prior art date
Application number
KR1020180123577A
Other languages
English (en)
Inventor
류내원
이길섭
양용석
Original Assignee
네오컨버전스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 네오컨버전스 주식회사 filed Critical 네오컨버전스 주식회사
Priority to KR1020180123577A priority Critical patent/KR102074240B1/ko
Priority to PCT/KR2018/012262 priority patent/WO2020080565A1/ko
Application granted granted Critical
Publication of KR102074240B1 publication Critical patent/KR102074240B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4398—Processing of audio elementary streams involving reformatting operations of audio signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H04N21/2335—Processing of audio elementary streams involving reformatting operations of audio signals, e.g. by converting from one coding standard to another
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 동영상 변환방법 및 장치에 관한 것이다.
본 발명의 일 실시예에 따른 동영상 변환방법은 동영상 변환장치가 동영상을 변환하는 동영상 변환방법에 있어서, 동영상 원본파일을 수신하는 단계, 동영상 원본파일에서 원본 비디오 신호와 원본 오디오 신호를 디멀티플렉싱하고, 원본 비디오 신호의 정보 테이블을 생성하는 단계, 원본 오디오 신호를 기 설정된 조정방법으로 조정하여 조정 오디오 신호를 생성하는 단계, 원본 비디오 신호와 조정 오디오 신호를 정보 테이블을 이용하여 멀티플렉싱하는 단계를 포함한다.

Description

동영상 변환방법 및 장치{METHOD AND APPARATUS OF CONVERTING VEDIO}
본 발명은 동영상 변환방법 및 장치에 관한 것이다.
휴대폰, PMP(Portable Media Player), 네비게이션 시스템, DMB(Digital Multimedia Broadcasting) 시스템, IPTV(Internet Protocol Television), MP3 재생기, MP4 재생기 등과 같은 디지털 시스템이 많이 보급되고, 일반 사용자는 디지털 기술 기반의 영상과 음성을 쉽게 보고들을 수 있는 환경은 지속적으로 확대되고 있다.
종래에는 동영상에서 오디오 볼륨을 변경해야 하는 경우에 오디오 볼품을 변경하고, 다시 멀티플렉싱을 수행하는 경우에 종래의 멀티플렉서의 경우 비디오 신호마다 오디오 신호를 단순하게 넣거나 멀티플렉서에 설정된 특정 크기마다 오디오 신호를 비디오 신호 사이에 넣어주는 방법이 사용되고 있다.
그러나, 종래에는 동영상 원본파일에서 오디오 신호가 변환되거나 조정된 경우에 비디오 신호와 오디오 신호의 싱크가 맞지 않거나, 동영상 재생에서 음성을 재생이 정상적으로 되지 않는 문제점이 있었다.
대한민국 등록특허 제10-1484101호
본 발명이 이루고자 하는 기술적인 과제는 효율적으로 동영상을 변환하는 동영상 변환방법 및 장치를 제공하는데 있다.
또한, 본 발명이 이루고자 하는 기술적인 과제는 동영상에서 오디오 신호의 변경시에 멀티플렉싱을 효율적으로 수행하는 동영상 변환방법 및 장치를 제공하는데 있다.
본 발명의 일 실시예에 따른 동영상 변환방법은 동영상 변환장치가 동영상을 변환하는 동영상 변환방법에 있어서, 동영상 원본파일을 수신하는 단계, 상기 동영상 원본파일에서 원본 비디오 신호와 원본 오디오 신호를 디멀티플렉싱하고, 상기 원본 비디오 신호의 정보 테이블을 생성하는 단계, 상기 원본 오디오 신호를 기 설정된 조정방법으로 조정하여 조정 오디오 신호를 생성하는 단계, 상기 원본 비디오 신호와 상기 조정 오디오 신호를 상기 정보 테이블을 이용하여 멀티플렉싱하는 단계를 포함한다.
상기 원본 비디오 신호의 정보 테이블을 생성하는 단계는, 상기 원본 비디오 신호의 각 비디오 프레임 구성정보와 사이즈정보를 독출하여 정보 테이블을 생성하는 것을 특징으로 한다.
상기 멀티플렉싱하는 단계는, 상기 조정 오디오 신호의 크기가 상기 원본 오디오 신호의 크기와 동일한지 확인하는 단계, 상기 조정 오디오 신호의 크기가 상기 원본 오디오 신호의 크기와 동일하지 않으면, 상기 조정 오디오 신호와 상기 원본 오디오 신호의 크기차이를 반영하고, 상기 원본 비디오 신호와 상기 조정 오디오 신호를 상기 정보 테이블을 이용하여, 상기 동영상 원본파일 형태로 멀티플렉싱하는 단계를 포함한다.
상기 멀티플렉싱하는 단계는, 상기 원본 비디오 신호에서 특정 비디오 프레임이 I프레임인지 확인하는 단계, 상기 원본 비디오 신호에서 상기 특정 비디오 프레임이 상기 I프레임이면, 상기 I프레임의 크기를 확인하는 단계, 상기 I프레임의 크기에 따라 기 설정된 개수의 상기 조정 오디오 신호를 상기 I프레임에 삽입하여, 상기 원본 비디오 신호와 상기 조정 오디오 신호를 상기 정보 테이블을 이용하여, 상기 동영상 원본파일 형태로 멀티플렉싱하는 단계를 포함한다.
본 발명의 일 실시예에 따른 동영상 변환장치는 동영상 원본파일을 수신하여, 상기 동영상 원본파일에서 원본 비디오 신호와 원본 오디오 신호를 디멀티플렉싱하고, 상기 원본 비디오 신호의 정보 테이블을 생성하는 디멀티플렉서, 상기 원본 오디오 신호를 기 설정된 조정방법으로 조정하여 조정 오디오 신호를 생성하는 신호 조정부, 상기 원본 비디오 신호와 상기 조정 오디오 신호를 상기 정보 테이블을 이용하여 멀티플렉싱하는 멀티플렉서를 포함한다.
본 발명의 실시예에 따른 동영상 변환방법 및 장치에 의하면 다음과 같은 효과가 있다.
첫째, 본 발명은 동영상 변환파일이 동영상 원본파일과 동일한 비디오 신호와 오디오 신호의 배치로 인해서 동영상 변환시 가장 빈번한 발생 문제 중 하나인 비디오 화면과 오디오(음성, 음량)의 싱크를 효율적으로 맞출 수 있다.
둘째, 본 발명은 동영상 재생시 오디오가 제대로 재생되지 않는 문제점을 해결할 수 있다.
셋째, 본 발명은 동영상에서 오디오 신호의 변경시에 정보 테이블을 이용하여 장치의 성능에 영향을 최소화하면서 효율적으로 멀티플렉싱을 수행할 수 있다.
넷째, 본 발명은 방송 채널이나 콘텐츠에 포함된 오디오 신호(음원)에서 음량을 일괄 하향 조정하지 않고 저음 부분을 비례적으로 조정 보완함으로써 오디오 신호(음원)의 전체 음량을 하향 조절하여 전체 음량은 낮아지면서도 자연스러운 소리로 저음 부분도 잘 들리게 된다.
다섯째, 본 발명은 오디오 신호(음원)의 전체구간을 세부구간으로 효율적으로 구분하고, 음량조정구간의 음량 증폭비율과 음량 조정값에 따라 저음 부분을 조정하여, 전체 음량은 낮추어 사용자의 난청 등의 문제를 해결하면서, 저음 부분도 사용자가 잘 들을 수 있는 효과가 있다.
여섯째, 본 발명은 음량조정구간의 음량 조정으로 인한 음량조정구간과 음량조정구간 외의 세부구간 사이의 경계점에서 오디오 신호(음원)의 보정을 해주어 음량의 왜곡 현상을 줄일 수 있다.
도 1은 본 발명의 일 실시예에 따른 동영상 변환장치를 설명하기 위한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 동영상 변환방법을 설명하기 위한 흐름도이다.
도 3은 동영상이 변환되는 과정에서 비디오 신호와 오디오 신호의 변화의 일 예를 도시한 것이다.
도 4는 본 발명의 일 실시예에 따른 멀티플렉싱을 수행하는 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 다른 실시예에 따른 멀티플렉싱을 수행하는 방법을 설명하기 위한 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 원본 오디오 신호를 조정하여 조정 오디오 신호를 생성하는 방법을 설명하기 위한 흐름도이다.
도 7(a)는 임의의 원본 오디오 신호에 대해서 원본 오디오 신호의 일 실시예를 도시한 것이다.
도 7(b)는 임의의 원본 오디오 신호에 대해서 본 발명이 적용되어 음량조정 후의 원본 오디오 신호인 조정 오디오 신호의 일 실시예를 도시한 것이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
또한, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 이외의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다.
이하, 본 발명을 보다 구체적으로 설명하기 위하여 본 발명에 따른 실시예들을 첨부 도면을 참조하면서 보다 상세하게 설명하고자 한다.
본 발명에서 “비디오 신호”는 동영상(또는 동영상 파일)에서 영상과 관련된 데이터를 의미한다. 비디오 신호는 모든 비디오 프레임을 포함할 수 있다.
본 발명에서 “오디오 신호”는 동영상(또는 동영상 파일)에서 음성(또는 음원)과 관련된 데이터를 의미한다. 또한, 본 발명에서 오디오 신호는 음원과 동일한 의미로 사용될 수 있다.
도 1은 본 발명의 일 실시예에 따른 동영상 변환장치를 설명하기 위한 블록도이다.
도 1을 참조하면, 동영상 변환장치(이하, “장치”라 한다.)는 디멀티플렉서(10), 신호 조정부(20), 멀티플렉서(30), 제어부(40), 메모리(50)를 포함한다.
디멀티플렉서(10)는 동영상 원본파일을 수신하여, 동영상 원본파일에서 원본 비디오 신호와 원본 오디오 신호를 디멀티플렉싱한다.
또한, 디멀티플렉서(10)는 원본 비디오 신호의 정보 테이블을 생성한다.
디멀티플렉서(10)는 제어부(40)의 제어에 따라서 동영상 원본파일을 수신하여, 동영상 원본파일에서 원본 비디오 신호와 원본 오디오 신호를 디멀티플렉싱하거나, 원본 비디오 신호의 정보 테이블을 생성할 수 있다.
이때, 정보 테이블은 장치가 멀티플렉싱을 수행할 때, 정보 테이블을 이용하여 동영상 원본파일 형태로 멀티플렉싱을 수행한다. 또한, 정보 테이블은 실시예에 따라서 다양한 정보를 더 포함할 수 있다.
여기서, 각 비디오 프레임 구성정보는 서브 프레임 개수정보와 각 비디오 프레임 위치정보를 포함할 수 있다. 또한, 각 비디오 프레임이 복수 개의 서브 프레임을 포함할 경우에는 각 비디오 프레임 구성정보는 각 서브 프레임 개수정보와 각 서브 프레임 위치정보를 포함할 수 있다.
신호 조정부(20)는 원본 오디오 신호를 기 설정된 조정방법으로 조정하여 조정 오디오 신호를 생성한다. 이때, 장치는 원본 비디오 신호는 조정하지 않는다. 다만, 다른 실시예로 장치는 원본 비디오 신호와 원본 오디오 신호를 모두 조정하여 조정 비디오 신호, 조정 오디오 신호를 생성할 수 있다. 여기서, 기 설정된 조정방법은 사용자의 설정 등에 따라 다양한 변경이 가능하다.
신호 조정부(20)는 제어부(40)의 제어에 따라서 원본 오디오 신호를 기 설정된 조정방법으로 조정하여 조정 오디오 신호를 생성할 수 있다.
멀티플렉서(30)는 원본 비디오 신호와 조정 오디오 신호를 정보 테이블을 이용하여 멀티플렉싱한다.
이와 같이, 멀티플렉서(30)는 동영상 원본파일에서 오디오 신호가 조정된 동영상 변환파일을 생성할 수 있다.
제어부(40)는 장치를 제어하는 부분으로, 디멀티플렉서(10), 신호 조정부(20), 멀티플렉서(30), 메모리(50)를 제어한다.
또한, 제어부(40)는 동영상 원본파일을 수신하여, 동영상 원본파일에서 원본 비디오 신호와 원본 오디오 신호를 디멀티플렉싱하거나, 원본 비디오 신호의 정보 테이블을 생성하도록 디멀티플렉서(10)를 제어할 수 있다.
또한, 제어부(40)는 원본 오디오 신호를 기 설정된 조정방법으로 조정하여 조정 오디오 신호를 생성하도록 신호 조정부(20)를 제어할 수 있다.
또한, 제어부(40)는 동영상 원본파일에서 오디오 신호가 조정된 동영상 변환파일을 생성하도록 멀티플렉서(30)를 제어할 수 있다.
메모리(50)는 다양한 데이터 및/또는 정보, 비디오 신호, 오디오 신호 등을 저장한다. 예를 들어, 메모리(50)는 동영상 원본파일, 원본 비디오 신호, 원본 오디오 신호, 조정 오디오 신호, 정보 테이블을 저장할 수 있다.
여기서, 정보 테이블은 원본 비디오 신호(또는 비디오 신호)의 각 비디오 프레임 구성정보와 사이즈정보를 포함하는데, 각 비디오 프레임 구성정보는 서브 프레임 개수정보와 각 비디오 프레임 위치정보를 포함할 수 있다. 또한, 각 비디오 프레임이 복수 개의 서브 프레임을 포함할 경우에는 각 비디오 프레임 구성정보는 각 서브 프레임 개수정보와 각 서브 프레임 위치정보를 포함할 수 있다.
도 2는 본 발명의 일 실시예에 따른 동영상 변환방법을 설명하기 위한 흐름도이고, 도 3은 동영상이 변환되는 과정에서 비디오 신호와 오디오 신호의 변화의 일 예를 도시한 것이다. 도 3(a)는 동영상 원본파일의 일 예를 도시한 것이고, 도 3(b)는 동영상 원본파일이 디멀티플렉서(10)에서 디멀티플렉싱(demultiplexing)된 후를 도시한 것이고, 도 3(c)는 디멀티플렉싱된 비디오 신호와 오디오 신호가 신호 조절부에서 신호 조정된 후의 비디오 신호와 오디오 신호를 도시한 것이고, 도 3(d)는 신호 조정된 비디오 신호와 오디오 신호가 멀티플렉서(30)에서 멀티플렉싱(multiplexing)된 후를 도시한 것이다.
도 2, 도 3을 참조하면, 장치는 동영상 원본파일을 수신한다(S201).
예를 들어, 동영상 원본파일은 도 3(a)와 같이 비디오 프레임1-1, 오디오1, 비디오 프레임1-2, 오디오2, 비디오 프레임1-3, 오디오3, 비디오 프레임2, 오디오4, 비디오 프레임3을 포함할 수 있다. 여기서, 비디오 프레임1-1, 비디오 프레임1-2, 비디오 프레임1-3은 비디오 프레임1의 서브 프레임이다. 즉, 비디오 프레임1은 비디오 프레임1-1, 비디오 프레임1-2, 비디오 프레임1-3의 포함할 수 있다.
장치는 동영상 원본파일에서 원본 비디오 신호와 원본 오디오 신호를 디멀티플렉싱하고, 원본 비디오 신호(또는 비디오 신호)의 각 비디오 프레임 구성정보와 사이즈정보를 독출하여 정보 테이블을 생성한다(S202).
이때, 정보 테이블은 장치가 멀티플렉싱을 수행할 때, 정보 테이블을 이용하여 동영상 원본파일 형태로 멀티플렉싱을 수행한다. 또한, 정보 테이블은 실시예에 따라서 다양한 정보를 더 포함할 수 있다.
여기서, 정보 테이블은 원본 비디오 신호(또는 비디오 신호)의 각 비디오 프레임 구성정보와 사이즈정보를 포함하는데, 각 비디오 프레임 구성정보는 서브 프레임 개수정보와 각 비디오 프레임 위치정보를 포함할 수 있다. 또한, 각 비디오 프레임이 복수 개의 서브 프레임을 포함할 경우에는 각 비디오 프레임 구성정보는 각 서브 프레임 개수정보와 각 서브 프레임 위치정보를 포함할 수 있다.
특히, 장치의 디멀티플렉서(10)에서 단계 S201, 단계 S202를 수행할 수 있다.
예를 들어, 장치는 영상 원본파일을 도 3(b)같이 비디오 프레임1, 비디오 프레임2, 비디오 프레임3을 포함하는 원본 비디오 신호와, 오디오1, 오디오2, 오디오3, 오디오4를 포함하는 원본 오디오 신호로 디멀티플렉싱한다.
장치는 원본 비디오 신호, 원본 오디오 신호, 정보 테이블을 디멀티플렉서(10)에서 신호 조정부(20)로 전송한다(S203).
장치는 원본 오디오 신호를 기 설정된 조정방법으로 조정하여 조정 오디오 신호를 생성한다(S204). 이때, 장치는 원본 비디오 신호는 조정하지 않는다. 다만, 다른 실시예로 장치는 원본 비디오 신호와 원본 오디오 신호를 모두 조정하여 조정 비디오 신호, 조정 오디오 신호를 생성할 수 있다. 여기서, 기 설정된 조정방법은 사용자의 설정 등에 따라 다양한 변경이 가능하다.
특히, 장치의 신호 조정부(20)에서 단계 S204를 수행할 수 있다.
예를 들어, 장치는 도 3(c)같이 원본 오디오 신호(오디오1, 오디오2, 오디오3, 오디오4)를 조정 오디오 신호(오디오1', 오디오2', 오디오3', 오디오4')로 조정할 수 있다.
장치가 조정 오디오 신호를 생성하는 실시예는 이하, 도 6, 도 7에서 상세히 설명하도록 한다.
장치는 원본 비디오 신호와 조정 오디오 신호를 정보 테이블을 이용하여 멀티플렉싱한다(S205).
특히, 장치의 멀티플렉서(30)에서 단계 S205를 수행할 수 있다.
예를 들어, 동영상 원본파일이 멀티플렉싱되어 생성된 동영상 변환파일은 도 3(d)와 같이 비디오 프레임1-1, 오디오1', 비디오 프레임1-2, 오디오2', 비디오 프레임1-3, 오디오3', 비디오 프레임2, 오디오4', 비디오 프레임3을 포함할 수 있다. 여기서, 비디오 프레임1-1, 비디오 프레임1-2, 비디오 프레임1-3은 비디오 프레임1의 서브 프레임이다. 즉, 비디오 프레임1은 비디오 프레임1-1, 비디오 프레임1-2, 비디오 프레임1-3의 포함할 수 있다.
상기 단계를 수행하여 장치는 동영상 원본파일에서 오디오 신호가 조정된 동영상 변환파일을 생성할 수 있다.
이와 같은 본 발명은 동영상 변환시 가장 빈번한 발생 문제 중 하나인 비디오 화면과 오디오의 불일치를 해결할 수 있다.
또한, 본 발명은 동영상 재생시 오디오가 제대로 재생되지 않는 문제점을 해결할 수 있다.
도 4는 본 발명의 일 실시예에 따른 멀티플렉싱을 수행하는 방법을 설명하기 위한 흐름도이다. 여기서, 장치는 멀티플렉서(30)가 될 수 있다.
도 4를 참조하면, 장치는 원본 비디오 신호, 조정 오디오 신호, 정보 테이블을 수신한다(S401).
장치는 조정 오디오 신호의 크기가 원본 오디오 신호의 크기와 동일한지 확인한다(S402). 즉, 장치는 원본 오디오 신호가 조정 오디오 신호로 조정되면서 크기의 변화가 있는지 확인한다.
장치는 조정 오디오 신호의 크기가 원본 오디오 신호의 크기와 동일하면, 원본 비디오 신호와 조정 오디오 신호를 정보 테이블을 이용하여, 동영상 원본파일 형태로 멀티플렉싱한다(S403).
장치는 조정 오디오 신호의 크기가 원본 오디오 신호의 크기와 동일하지 않으면, 조정 오디오 신호와 원본 오디오 신호의 크기차이를 반영하고, 원본 비디오 신호와 조정 오디오 신호를 정보 테이블을 이용하여, 동영상 원본파일 형태로 멀티플렉싱한다(S404).
도 5는 본 발명의 다른 실시예에 따른 멀티플렉싱을 수행하는 방법을 설명하기 위한 흐름도이다. 여기서, 장치는 멀티플렉서(30)가 될 수 있다.
도 5를 참조하면, 장치는 원본 비디오 신호, 조정 오디오 신호, 정보 테이블을 수신한다(S501).
장치는 원본 비디오 신호에서 특정 비디오 프레임이 I프레임인지 확인한다(S502).
장치는 원본 비디오 신호에서 특정 비디오 프레임이 I프레임이면, I프레임의 크기를 확인한다(S503).
장치는 I프레임의 크기에 따라 기 설정된 개수의 조정 오디오 신호를 I프레임에 삽입하여, 원본 비디오 신호와 조정 오디오 신호를 정보 테이블을 이용하여, 동영상 원본파일 형태로 멀티플렉싱한다(S504).
예를 들어, 장치는 I프레임의 크기가 10M 이상이고, 10M 이상마다 하나의 조정 오디오 신호를 I프레임에 삽입하도록 기 설정된 경우에, I프레임의 크기가 10M이면, 1개의 조정 오디오 신호가 I프레임에 삽입되고, I프레임의 크기가 20M이면, 2개의 조정 오디오 신호가 I프레임에 삽입되고, I프레임의 크기가 30M이면, 3개의 조정 오디오 신호가 I프레임에 삽입될 수 있다.
본 발명은 I프레임의 크기에 따라 다양한 형태의 기 설정된 개수의 조정 오디오 신호가 삽입될 수 있다. 또한, 기 설정된 개수는 사용자의 설정 등에 따라 다양한 변경이 가능하다.
장치는 원본 비디오 신호에서 특정 비디오 프레임이 I프레임이 아니면, 장치는 조정 오디오 신호의 크기가 원본 오디오 신호의 크기와 동일한지 확인한다(S505). 즉, 장치는 원본 오디오 신호가 조정 오디오 신호로 조정되면서 크기의 변화가 있는지 확인한다.
장치는 조정 오디오 신호의 크기가 원본 오디오 신호의 크기와 동일하면, 원본 비디오 신호와 조정 오디오 신호를 정보 테이블을 이용하여, 동영상 원본파일 형태로 멀티플렉싱한다(S506).
장치는 조정 오디오 신호의 크기가 원본 오디오 신호의 크기와 동일하지 않으면, 조정 오디오 신호와 원본 오디오 신호의 크기차이를 반영하고, 원본 비디오 신호와 조정 오디오 신호를 정보 테이블을 이용하여, 동영상 원본파일 형태로 멀티플렉싱한다(S507).
도 6은 본 발명의 일 실시예에 따른 원본 오디오 신호를 조정하여 조정 오디오 신호를 생성하는 방법을 설명하기 위한 흐름도이다. 도 7(a)는 임의의 원본 오디오 신호에 대해서 원본 오디오 신호의 일 실시예를 도시한 것이고, 도 7(b)는 임의의 원본 오디오 신호에 대해서 본 발명이 적용되어 음량조정 후의 원본 오디오 신호인 조정 오디오 신호의 일 실시예를 도시한 것이다.
도 6에서 원본 오디오 신호는 음원이고, 원본 오디오 신호를 조정하는 것은 음원의 음량조정이며, 조정 오디오 신호는 조정된 음원과 동일한 의미로 사용될 수 있다.
이하의 설명에서, 장치는 내부의 신호 조정부(20)에서 수행되는 것이라고 설명될 수 있다.
도 6을 참조하면, 장치는 방송 채널로부터 수신되는 원본 오디오 신호(또는 음원)이나 콘텐츠에 포함된 원본 오디오 신호(또는 음원)의 전체구간에서 전체 음량 평균(평균값)을 계산한다(S601). 여기서, 음원의 전체구간은 사용자의 설정에 따라서 다양한 길이로 설정 가능하다.
예를 들어, 전체 음량 평균은 -20이 가능하다.
장치는 원본 오디오 신호의 전체구간을 기 설정된 구간구분조건에 따라 세부구간으로 구분한다(S602). 이때, 구간구분조건은 음량 레벨이 기 설정된 최소음량(예를 들어, -40) 이하로 변경되는 경계점을 세부구간 제1구분점(또는 음원조정구간 시작점)으로 결정하고, 음량 레벨이 기 설정된 최소음량(예를 들어, -40) 이상으로 변경되는 경계점을 세부구간 제2구분점(또는 음원조정구간 종료점)으로 결정할 수 있다.
예를 들어, 장치는 원본 오디오 신호에서 음량 레벨이 기 설정된 최소음량인 -40 이하로 처음으로 변경되는 경계점1(710)을 기준으로 1구간과 2구간의 경계를 결정한다. 이때, 경계점1(710)을 기준으로 이전 구간을 1구간, 이후 구간을 2구간으로 결정한다.
또한, 장치는 음량 레벨이 기 설정된 최소음량인 -40 이상으로 처음으로 변경되는 경계점2(720)를 기준으로 2구간과 3구간의 경계를 결정한다. 이때, 경계점2(720)을 기준으로 이전 구간을 2구간, 이후 구간을 3구간으로 결정한다.
또한, 장치는 원본 오디오 신호에서 음량 레벨이 기 설정된 최소음량인 -40 이하로 두번째로 변경되는 경계점3(730)을 기준으로 3구간과 4구간의 경계를 결정한다. 이때, 경계점3(730)을 기준으로 이전 구간을 3구간, 이후 구간을 4구간으로 결정한다.
또한, 장치는 경계점3(730)에서 원본 오디오 신호가 종료되는 지점인 경계점4(740)까지를 4구간으로 결정한다.
여기서, 기 설정된 최소음량은 다양한 실시예가 가능하다.
장치는 세부구간의 음량 평균(또는 평균값)인 세부구간 음량 평균을 계산한다(S603).
예를 들어, 1구간 음량 평균은 -20, 2구간 음량 평균은 -50, 3구간 음량 평균은 -15, 4구간 음량 평균은 -60이 가능하다.
장치는 세부구간 음량 평균이 목표음량 이하인지 판단한다(S604). 예를 들어, 목표음량은 -30으로 설정 가능하다. 다만, 목표음량은 설계에 따라서 다양한 실시예가 가능하다.
장치는 세부구간 음량 평균이 목표음량 이하이면, 세부구간 음량 평균이 목표음량 이하인 세부구간을 음량조정구간으로 결정한다(S605).
예를 들어, 장치는 세부구간 음량 평균이 목표음량인 -40인 세부구간은 2구간(-50), 4구간(-60)으로, 2구간과 4구간을 음량조정구간으로 결정한다.
장치는 세부구간 음량 평균이 목표음량 이하가 아니면, 단계 S604를 수행한다.
장치는 음량조정구간의 증폭비율을 계산한다(S606).
예를 들어, 장치는 음량조정구간에서 아래 수학식 1로 음량조정구간의 증폭비율을 계산할 수 있다.
Figure 112018102141147-pat00001
예를 들어, 장치는 음량조정구간인 2구간의 증폭비율을 아래와 같은 수학식 2로 계산할 수 있다.
Figure 112018102141147-pat00002
예를 들어, 장치는 음량조정구간인 4구간의 증폭비율을 아래와 같은 수학식 3로 계산할 수 있다.
Figure 112018102141147-pat00003
장치는 증폭비율을 이용하여 음량 조정값을 계산한다(S607).
예를 들어, 장치는 음량 조정값을 아래 수학식 4를 이용하여 계산할 수 있다.
Figure 112018102141147-pat00004
예를 들어, 장치는 음량조정구간인 2구간의 음량 조정값을 아래와 같은 수학식 5로 계산할 수 있다.
Figure 112018102141147-pat00005
예를 들어, 장치는 음량조정구간인 4구간의 음량 조정값을 아래와 같은 수학식 6로 계산할 수 있다.
Figure 112018102141147-pat00006
장치는 음량조정구간의 음량 평균인 음량조정구간 음량 평균에 조정값을 반영하여 음량조정구간 음량(또는 음량 평균)을 조정한다(S608). 예를 들어, 장치는 음량조정구간의 음량 평균인 음량조정구간 음량 평균에 조정값만큼 올려서 음량조정구간 음량을 조정할 수 있다.
예를 들어, 장치는 음량조정구간인 2구간의 음량 평균인 -50을 2구간의 음량 조정값인 13.3만큼 올려서 조정된 음량조정구간인 조정2구간의 음량 평균을 36.7로 조정할 수 있다. 또한, 장치는 음량조정구간인 4구간의 음량 평균인 -60을 4구간의 음량 조정값인 22.5만큼 올려서 조정된 음량조정구간인 조정4구간의 음량 평균을 37.5로 조정할 수 있다.
장치는 음량조정구간 외의 세부구간과 조정된 음량조정구간의 경계점인 조정경계점 음량을 보정한다(S609). 여기서, 음량조정구간 외의 세부구간은 1구간, 3구간이며, 조정된 음량조정구간은 조정2구간, 조정4구간이 가능하다.
예를 들어, 장치는 1구간과 조정2구간 사이의 경계점인 조정경계점1(715), 조정2구간과 3구간 사이의 경계점인 조정경계점2(725), 3구간과 조정4구간 사이의 경계점인 조정경계점3(735), 조정4구간의 끝인 조정경계점4(745)의 음량을 보정할 수 있다.
이렇게 함으로써, 본 발명은 음량 조정(또는 원본 오디오 신호)으로 인한 경계점에서의 왜곡 현상을 줄일 수 있다.
이상과 같이 본 발명을 도면에 도시한 실시예를 참고하여 설명하였으나, 이는 발명을 설명하기 위한 것일 뿐이며, 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자라면 발명의 상세한 설명으로부터 다양한 변형 또는 균등한 실시예가 가능하다는 것을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 권리범위는 특허청구범위의 기술적 사상에 의해 결정되어야 한다.
10: 디멀티플렉서
20: 신호 조정부
30: 멀티플렉서
40: 제어부
50: 메모리

Claims (5)

  1. 동영상 변환장치가 동영상을 변환하는 동영상 변환방법에 있어서,
    동영상 원본파일을 수신하는 단계,
    상기 동영상 원본파일에서 원본 비디오 신호와 원본 오디오 신호를 디멀티플렉싱하고, 상기 원본 비디오 신호의 정보 테이블을 생성하는 단계,
    상기 원본 오디오 신호를 기 설정된 조정방법으로 조정하여 조정 오디오 신호를 생성하는 단계,
    상기 원본 비디오 신호와 상기 조정 오디오 신호를 상기 정보 테이블을 이용하여 멀티플렉싱하는 단계를 포함하되,
    상기 멀티플렉싱하는 단계는,
    상기 원본 비디오 신호에서 특정 비디오 프레임이 I프레임인지 확인하는 단계,
    상기 원본 비디오 신호에서 상기 특정 비디오 프레임이 상기 I프레임이면, 상기 I프레임의 크기를 확인하는 단계,
    상기 I프레임의 크기에 따라 기 설정된 개수의 상기 조정 오디오 신호를 상기 I프레임에 삽입하여, 상기 원본 비디오 신호와 상기 조정 오디오 신호를 상기 정보 테이블을 이용하여, 상기 동영상 원본파일 형태로 멀티플렉싱하는 단계를 포함하는 동영상 변환방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 동영상 원본파일을 수신하여, 상기 동영상 원본파일에서 원본 비디오 신호와 원본 오디오 신호를 디멀티플렉싱하고, 상기 원본 비디오 신호의 정보 테이블을 생성하는 디멀티플렉서,
    상기 원본 오디오 신호를 기 설정된 조정방법으로 조정하여 조정 오디오 신호를 생성하는 신호 조정부,
    상기 원본 비디오 신호와 상기 조정 오디오 신호를 상기 정보 테이블을 이용하여 멀티플렉싱하는 멀티플렉서를 포함하되,
    상기 멀티플렉서는,
    상기 원본 비디오 신호에서 특정 비디오 프레임이 I프레임인지 확인하고, 상기 원본 비디오 신호에서 상기 특정 비디오 프레임이 상기 I프레임이면, 상기 I프레임의 크기를 확인하고, 상기 I프레임의 크기에 따라 기 설정된 개수의 상기 조정 오디오 신호를 상기 I프레임에 삽입하여, 상기 원본 비디오 신호와 상기 조정 오디오 신호를 상기 정보 테이블을 이용하여, 상기 동영상 원본파일 형태로 멀티플렉싱하는 것을 특징으로 하는 동영상 변환장치.
KR1020180123577A 2018-10-17 2018-10-17 동영상 변환방법 및 장치 KR102074240B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180123577A KR102074240B1 (ko) 2018-10-17 2018-10-17 동영상 변환방법 및 장치
PCT/KR2018/012262 WO2020080565A1 (ko) 2018-10-17 2018-10-17 동영상 변환방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180123577A KR102074240B1 (ko) 2018-10-17 2018-10-17 동영상 변환방법 및 장치

Publications (1)

Publication Number Publication Date
KR102074240B1 true KR102074240B1 (ko) 2020-02-06

Family

ID=69569301

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180123577A KR102074240B1 (ko) 2018-10-17 2018-10-17 동영상 변환방법 및 장치

Country Status (2)

Country Link
KR (1) KR102074240B1 (ko)
WO (1) WO2020080565A1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120091868A (ko) * 2011-02-10 2012-08-20 주식회사 미디어엑셀코리아 트랜스코딩 시스템에서의 오디오 및 비디오 동기화 방법
KR101484101B1 (ko) 2010-03-08 2015-01-16 (주)테크노니아 동영상 변환 장치
KR20160106069A (ko) * 2014-01-08 2016-09-09 삼성전자주식회사 멀티미디어 데이터 재생 방법 및 장치

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6651252B1 (en) * 1999-10-27 2003-11-18 Diva Systems Corporation Method and apparatus for transmitting video and graphics in a compressed form
US7027713B1 (en) * 1999-11-30 2006-04-11 Sharp Laboratories Of America, Inc. Method for efficient MPEG-2 transport stream frame re-sequencing
TWI404419B (zh) * 2004-04-07 2013-08-01 Nielsen Media Res Inc 與壓縮過音頻／視頻資料一起使用之資料插入方法、系統、機器可讀取媒體及設備
US9338523B2 (en) * 2009-12-21 2016-05-10 Echostar Technologies L.L.C. Audio splitting with codec-enforced frame sizes

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101484101B1 (ko) 2010-03-08 2015-01-16 (주)테크노니아 동영상 변환 장치
KR20120091868A (ko) * 2011-02-10 2012-08-20 주식회사 미디어엑셀코리아 트랜스코딩 시스템에서의 오디오 및 비디오 동기화 방법
KR20160106069A (ko) * 2014-01-08 2016-09-09 삼성전자주식회사 멀티미디어 데이터 재생 방법 및 장치

Also Published As

Publication number Publication date
WO2020080565A1 (ko) 2020-04-23

Similar Documents

Publication Publication Date Title
US20060044469A1 (en) Apparatus and method for coordinating synchronization of video and captions
ES2738494T3 (es) Metadatos para control de sonoridad y rango dinámico
CN109983786B (zh) 再现方法、装置及介质、信息处理方法及装置
US9875746B2 (en) Encoding device and method, decoding device and method, and program
US10692511B2 (en) Decoding apparatus and method, and program
ES2912586T3 (es) Descodificación de una señal de audio codificada usando perfiles DRC
US20050074135A1 (en) Audio device and audio processing method
KR102393798B1 (ko) 오디오 신호 처리 방법 및 장치
CN101009952B (zh) 基于扬声器和听者的位置的有源音频矩阵解码方法和装置
DE602008001596D1 (de) Digitale audiomischung
CN103155030A (zh) 用于处理多声道音频信号的方法及设备
KR20180132032A (ko) 객체 기반 오디오 신호 균형화
ES2370218B1 (es) Procedimiento y dispositivo para sincronizar subtítulos con audio en subtitulación en directo.
CN101129088A (zh) 具有增强的立体声图像的便携式设备
CA3065364C (en) System and method for providing descriptive video
EP3323250A1 (en) Synchronising an audio signal
JP5909100B2 (ja) ラウドネスレンジ制御システム、伝送装置、受信装置、伝送用プログラム、および受信用プログラム
EP1641317A3 (en) Storage Medium Storing Stereo Enhancement Processing Program, Stereo Enhancement Apparatus and Stereo Enhancement Method
KR102074240B1 (ko) 동영상 변환방법 및 장치
KR101600891B1 (ko) 복수의 단말기에 출력되는 비디오 및 오디오를 동기화시키는 동기화시스템 및 방법
JP7096732B2 (ja) コンテンツ配信装置及びプログラム
JP2001296894A (ja) 音声処理装置および音声処理方法
EP1871102A3 (en) Digital broadcast receiving terminal and method of reproducing digital broadcast thereof
US20220013131A1 (en) Method, a system, and a program for playing back audio/video signals with automatic adjustment of latency
US20100166382A1 (en) Video and audio reproduction system, distribution device, and synchronization adjustment method

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant