KR101741747B1 - Apparatus and method for processing real time advertisement insertion on broadcast - Google Patents
Apparatus and method for processing real time advertisement insertion on broadcast Download PDFInfo
- Publication number
- KR101741747B1 KR101741747B1 KR1020160071517A KR20160071517A KR101741747B1 KR 101741747 B1 KR101741747 B1 KR 101741747B1 KR 1020160071517 A KR1020160071517 A KR 1020160071517A KR 20160071517 A KR20160071517 A KR 20160071517A KR 101741747 B1 KR101741747 B1 KR 101741747B1
- Authority
- KR
- South Korea
- Prior art keywords
- advertisement
- video
- change
- image
- audio
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
- H04N21/26208—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
- H04N21/26241—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints involving the time of distribution, e.g. the best time of the day for inserting an advertisement or airing a children program
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
- H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
Abstract
Description
본 발명은 실시간 광고 삽입이 가능한 영상 광고 처리 장치 및 방법에 관한 것이다.
The present invention relates to a video advertisement processing apparatus and method capable of real-time advertisement insertion.
전자 기술의 발달에 따라 다양한 방송 환경이 제공되고 있다. 또한 그에 따라 다양한 방송 환경에서 적용 가능한 광고 기술에 대한 개발이 이루어지고 있다.
A variety of broadcasting environments are being provided according to the development of electronic technology. Also, development of advertisement technology applicable to various broadcasting environments is being carried out accordingly.
종래의 공중파 광고 기술로는, 방송 중에 광고 시간에 대한 큐톤 신호를 방송국에서 송출하면, 큐톤 신호를 인식하여 광고 방영 시간을 확인하고 해당 시간에 자체적인 광고를 삽입하는 방식이 있다.Conventional public advertisement techniques include a method of recognizing a curtain signal by inserting a curtain signal for an advertisement time in a broadcasting station, inserting a curtain time for the curtain signal, and inserting its own advertisement at a corresponding time.
그러나, 이러한 방식은 방송 장비를 구비하여야만 큐톤 신호에 대응하여 광고를 삽입하는 것이 가능하고 또한 스포츠 중계와 같은 각회말 종료시간이 유동적인 영역에서 큐톤 신호편성이 안되는 한계가 있다. 또한 큐톤 신호를 제공하지 않는 경우에도 능동적인 광고 삽입이 불가능한 한계가 있다.
However, such a method has a limitation in that it is possible to insert an advertisement in response to a curtain signal only if it is equipped with broadcasting equipment and it is not possible to organize a curtain signal in an area where each curtain end time is flexible, such as sports broadcasting. In addition, there is a limit in which active advertisement insertion can not be performed even when the QTON signal is not provided.
또한 종래의 온라인 광고 기술로는, 지상파 방송을 셋톱박스에서 입력받아 인터넷 망으로 재송출하는 방식이 적용되고 있으며, 이러한 경우 광고를 삽입하기 위하여 동영상의 도입 부분에 스트리밍 광고를 삽입하거나, 또는 비디오 영상 내에 배너 광고를 삽입하는 방식 등이 있다. In addition, as a conventional online advertisement technology, a method of receiving a terrestrial broadcast from a set-top box and retransmitting it to an Internet network is applied. In this case, in order to insert an advertisement, a streaming advertisement is inserted into an introduction portion of a moving image, And a method of inserting a banner advertisement into the advertisement.
그러나, 이러한 종래의 온라인 광고들은, 방송 중간에 동영상 광고 처리가 불가능하고, 배너 방식 등은 시청자의 시청에 시각적인 방해를 일으키는 등의 문제를 유발하고 있다.
However, such conventional online advertisements are not capable of processing video advertisements in the middle of broadcasting, and the banner method and the like cause problems such as visually obstructing the viewer's viewing.
이러한 종래기술에 대해서는, 한국 공개특허공보 제2013-0065773호 등을 통하여 보다 쉽게 이해할 수 있다.
Such prior art can be more easily understood through Korean Patent Laid-Open Publication No. 2013-0065773.
본 발명은 상기한 종래 기술의 문제점을 해결하기 위한 것으로써, 방송 영상을 분석하여 광고 삽입 시점을 결정하여 능동적으로 방송 내에 광고를 삽입할 수 있는 영상 광고 처리 장치 및 방법을 제공하는 것이다.
Disclosure of Invention Technical Problem [8] Accordingly, the present invention has been made to solve the above problems occurring in the prior art, and it is an object of the present invention to provide a video advertisement processing apparatus and method capable of actively inserting advertisements into broadcasts by analyzing broadcast images and determining advertisement insertion time points.
본 발명의 일 기술적 측면은 영상 광고 처리 장치를 제안한다. 상기 영상 광고 처리 장치는, 비디오 신호의 알파값의 변화 및 오디오 신호의 음량의 변화로부터, 방송 영상에 광고를 삽입하기 위한 삽입 시간 정보를 포함하는 광고 삽입 시점 정보를 생성하는 광고 삽입 관리부, 복수의 광고 영상에서 상기 방송 영상에 삽입할 광고 영상를 선택하여 광고 데이터를 생성하는 광고 소스 선택부 및 상기 광고 삽입 시점 정보에 대응하여 상기 방송 영상에 상기 광고 데이터를 반영하여, 상기 방송 영상에 광고를 합성한 광고 삽입 처리 영상을 생성하는 광고 합성부를 포함할 수 있다.A technical aspect of the present invention proposes a video advertisement processing apparatus. The image advertisement processing apparatus includes an advertisement insertion management unit for generating advertisement insertion time information including insertion time information for inserting an advertisement into a broadcast image from a change in the alpha value of the video signal and a change in the volume of the audio signal, An advertisement source selection unit for selecting an advertisement image to be inserted into the broadcast image in the advertisement image to generate advertisement data, and an advertisement selection unit for reflecting the advertisement data in the broadcast image corresponding to the advertisement insertion time information, And an advertisement synthesis unit for generating an advertisement insertion process image.
일 실시예에서, 상기 영상 광고 처리 장치는, 상기 방송 영상의 비디오 신호에서 알파값의 변화를 검출하고, 상기 방송 영상의 오디오 신호에서 음량의 변화를 검출하는 영상 음성 변화 검출부를 더 포함하고, 상기 광고 삽입 관리부는, 상기 알파값의 기울기의 변화 및 상기 음량의 기울기의 변화가 각각 기 설정된 임계치 이상 변화하는 시점을, 정규 방송 또는 정규 광고의 시작 시점 또는 종료 시점으로서 판단할 수 있다.In one embodiment, the video advertisement processing apparatus further includes a video / audio change detecting unit detecting a change in the alpha value in the video signal of the broadcast video and detecting a change in the volume in the audio signal of the broadcast video, The advertisement insertion management unit may determine a time point at which the change of the slope of the alpha value and the change of the slope of the sound volume change by a predetermined threshold value or more as the start time point or the end point of the regular broadcast or the regular advertisement.
일 실시예에서, 상기 영상 광고 처리 장치는, 상기 알파값의 변화 및 상기 음량의 변화로부터 비디오-오디오 싱크의 오차를 검출하고, 상기 오차를 보정하는 오디오 싱크 조절부를 더 포함할 수 있다.In one embodiment, the video advertisement processing apparatus may further include an audio sync adjusting unit for detecting an error of the video-audio sync from the change of the alpha value and the change of the sound volume, and correcting the error.
일 실시예에서, 상기 오디오 싱크 조절부는, 스파이 클라이언트 플레이어로부터 상기 광고 삽입 처리 영상의 비디오 전환 시점 및 오디오 전환 시점에 대한 정보를 수신하고, 상기 비디오 전환 시점 및 상기 오디오 전환 시점 간의 차이를 보정하여, 스트리밍 환경에서의 상기 광고 삽입 처리 영상의 싱크 오차를 보정할 수 있다.In one embodiment, the audio sync adjustment unit receives information on a video switching point and an audio switching point of the advertisement insertion processing video from the spy client player, corrects a difference between the video switching point and the audio switching point, The sync error of the advertisement insertion processed image in the streaming environment can be corrected.
일 실시예에서, 상기 광고 소스 선택부는, 상기 광고 영상의 해상도를 조절하는 해상도 조절기 및 상기 광고 영상의 오디오를 리샘플링하는 리샘플링부를 더 포함할 수 있다.
In one embodiment, the advertisement source selection unit may further include a resolution adjuster for adjusting the resolution of the advertisement image and a resampler for resampling the audio of the advertisement image.
본 발명의 다른 일 기술적 측면은 영상 광고 처리 방법을 제안한다. 상기 영상 광고 처리 방법은, 비디오 신호의 알파값의 변화 및 오디오 신호의 음량의 변화로부터, 방송 영상에 광고를 삽입하기 위한 삽입 시간 정보를 포함하는 광고 삽입 시점 정보를 생성하는 단계, 기 저장된 광고 영상을 조절하여 상기 방송 영상에 삽입할 광고 데이터를 생성하는 단계 및 상기 광고 삽입 시점 정보에 대응하여 상기 방송 영상에 상기 광고 데이터를 반영하여, 상기 방송 영상에 광고를 합성한 광고 삽입 처리 영상을 생성하는 단계를 포함할 수 있다. Another aspect of the present invention proposes a video advertisement processing method. The method comprising the steps of generating advertisement insertion time information including insertion time information for inserting an advertisement into a broadcast image from a change in the alpha value of the video signal and a change in the volume of the audio signal, And generating advertisement data to be inserted into the broadcast image by reflecting the advertisement data in the broadcast image in response to the advertisement insertion time information, Step < / RTI >
일 실시예에서, 상기 광고 삽입 시점 정보를 생성하는 단계는, 상기 방송 영상의 비디오 신호에서 알파값의 변화를 검출하는 단계, 상기 방송 영상의 오디오 신호에서 음량의 변화를 검출하는 단계 및 상기 알파값의 기울기의 변화 및 상기 음량의 기울기의 변화가 각각 기 설정된 임계치 이상 변화하는 시점을, 정규 방송 또는 정규 광고의 시작 시점 또는 종료 시점으로서 판단하는 단계를 포함할 수 있다.In one embodiment, generating the ad insertion time information comprises: detecting a change in alpha value in a video signal of the broadcast image; detecting a change in volume in an audio signal of the broadcast image; And determining a time point at which the change in the slope of the sound signal and the change in the slope of the sound level change by a predetermined threshold value or more as the start point or the end point of the regular broadcast or the regular advertisement, respectively.
일 실시예에서, 상기 영상 광고 처리 방법은, 상기 알파값의 변화 및 상기 음량의 변화로부터 비디오-오디오 싱크의 오차를 검출하고, 상기 오차를 보정하는 단계를 더 포함할 수 있다.In one embodiment, the video advertising processing method may further include detecting an error of the video-audio sync from the change of the alpha value and the change of the volume, and correcting the error.
일 실시예에서, 상기 오차를 보정하는 단계는, 스파이 클라이언트 플레이어로부터 상기 광고 삽입 처리 영상의 비디오 전환 시점 및 오디오 전환 시점에 대한 정보를 수신하는 단계 및 상기 비디오 전환 시점 및 상기 오디오 전환 시점 간의 차이를 보정하여, 스트리밍 환경에서의 상기 광고 삽입 처리 영상의 싱크 오차를 보정하는 단계를 포함할 수 있다.In one embodiment, the step of correcting the error may include receiving information on a video switching point and an audio switching point of time of the advertisement insertion processing video from the spy client player, and detecting a difference between the video switching point and the audio switching point And correcting the sync error of the advertisement insertion processed image in the streaming environment.
일 실시예에서, 상기 광고 데이터를 생성하는 단계는, 상기 광고 삽입 시점 정보에 대응하여, 삽입될 광고의 영상 해상도, 초당 프레임 수(Frames Per Second, FPS), 투명도 또는 오디오 샘플링레이팅 중 적어도 하나를 결정하여 상기 광고 데이터의 스펙을 결정하는 단계 및 상기 광고 데이터의 스펙에 따라, 기 저장된 광고 영상을 조절하여 상기 광고 데이터를 생성하는 단계를 포함할 수 있다.In one embodiment, the step of generating the advertisement data may include at least one of a video resolution of the advertisement to be inserted, frames per second (FPS), transparency or audio sampling rating in correspondence with the advertisement insertion time information Determining a specification of the advertisement data, and generating the advertisement data by adjusting a pre-stored advertisement image according to the specification of the advertisement data.
일 실시예에서, 상기 오차를 보정하는 단계는, 상기 알파값의 기울기가, 기 설정된 제1 임계치 이상으로 변하는 제1 시점을 검출하는 단계, 상기 음량의 기울기가, 기 설정된 제2 임계치 이상으로 변하는 제2 시점을 검출하는 단계 및 상기 제1 시점 및 상기 제2 시점이 서로 상이하면, 상기 제1 시점에서의 알파값 또는 상기 제2 시점에서의 음량을 일정 시간 동안 유지시켜 싱크 오차를 보정하는 단계를 포함할 수 있다.In one embodiment, the step of correcting the error includes the steps of: detecting a first point of time at which the slope of the alpha value changes to a predetermined first threshold or more; A step of detecting a second time point and correcting a sync error by maintaining the alpha value at the first time point or the volume at the second time point for a predetermined time when the first time point and the second time point are different from each other . ≪ / RTI >
일 실시예에서, 상기 오차를 보정하는 단계는, 정규 방송의 비디오-오디오 싱크의 오차를 검출하는 단계 및 상기 정규 방송의 종료 후에 광고가 삽입되는 동안, 상기 정규 방송에 대한 오차 보정을 수행하는 단계를 포함할 수 있다.
In one embodiment, the step of correcting the error comprises the steps of: detecting an error of the video-audio sync of the regular broadcast; and performing error correction on the regular broadcast while the advertisement is inserted after the end of the regular broadcast . ≪ / RTI >
상기한 과제의 해결 수단은, 본 발명의 특징을 모두 열거한 것은 아니다. 본 발명의 과제 해결을 위한 다양한 수단들은 이하의 상세한 설명의 구체적인 실시형태를 참조하여 보다 상세하게 이해될 수 있을 것이다.
The solution of the above-mentioned problems does not list all the features of the present invention. Various means for solving the problems of the present invention can be understood in detail with reference to specific embodiments of the following detailed description.
본 발명의 일 실시형태에 따르면, 방송 영상을 분석하여 광고 삽입 시점을 결정하여 능동적으로 방송 내에 광고를 삽입할 수 있는 효과가 있다.According to an embodiment of the present invention, there is an effect that an advertisement can be actively inserted into a broadcast by analyzing a broadcast image and determining an advertisement insertion time point.
본 발명의 일 실시형태에 따르면, 광고 편성 뿐만 아니라 방송 컨텐츠의 편성을 자유롭게 할 수 있는 효과가 있다.
According to the embodiment of the present invention, there is an effect that it is possible to freely organize broadcast contents as well as advertisement formation.
도 1은 본 발명의 일 실시예에 따른 영상 광고 처리 장치의 일 적용예를 도시하는 도면이다.
도 2는 본 발명의 일 실시예에 따른 영상 광고 처리 장치를 설명하는 블록 구성도이다.
도 3은 도 2에 도시된 영상 음성 변화 검출부의 일 예를 도시하는 블록 구성도이다.
도 4는 도 2에 도시된 광고 소스 선택부의 일 예를 도시하는 블록 구성도이다.
도 5는 도 2에 도시된 광고 삽입 관리부에 의하여 광고 삽입 시점이 결정되는 일 예를 도시하는 도면이다.
도 6는 도 2에 도시된 광고 합성부에 의하여 광고가 삽입되는 일 예를 도시하는 도면이다.
도 7은 도 2에 도시된 오디오 싱크 조절부에 의하여 비디오 및 오디오의 싱크를 조절하는 일 예를 도시하는 도면이다.
도 8은 도 2에 도시된 오디오 싱크 조절부에서, 스파이 클라이언트를 이용하여 비디오 및 오디오의 싱크를 조절하는 일 예를 도시하는 도면이다.
도 9는 도 2에 도시된 오디오 싱크 조절부에서, 비디오 및 오디오의 싱크를 조절하는 또 다른 일 예를 도시하는 도면이다.
도 10는 도 2에 도시된 영상 후처리부의 일 예를 도시하는 블록 구성도이다.
도 11은 본 발명의 일 실시예에 따른 영상 광고 처리 방법의 일 예를 설명하는 순서도이다.
도 12은 도 11에 도시된 광고 삽입 처리 단계의 일 실시예를 도시하는 순서도이다.1 is a diagram showing an application example of a video advertisement processing apparatus according to an embodiment of the present invention.
2 is a block diagram illustrating a video advertisement processing apparatus according to an embodiment of the present invention.
3 is a block diagram showing an example of the video / audio change detection unit shown in FIG.
FIG. 4 is a block diagram showing an example of the advertisement source selection unit shown in FIG. 2. FIG.
FIG. 5 is a diagram illustrating an example in which an advertisement insertion time is determined by the advertisement insertion management unit shown in FIG. 2. FIG.
FIG. 6 is a diagram illustrating an example in which an advertisement is inserted by the advertisement combining unit shown in FIG. 2. FIG.
FIG. 7 is a diagram illustrating an example of adjusting the sync of video and audio by the audio sync adjusting unit shown in FIG. 2. Referring to FIG.
FIG. 8 is a diagram showing an example of adjusting the synchronization of video and audio using the spy client in the audio sync adjusting unit shown in FIG. 2. FIG.
FIG. 9 is a diagram showing another example of adjusting the sync of video and audio in the audio sync adjusting unit shown in FIG. 2. FIG.
10 is a block diagram showing an example of the image post-processing unit shown in FIG.
11 is a flowchart illustrating an example of a video advertisement processing method according to an embodiment of the present invention.
12 is a flowchart showing an embodiment of the advertisement insertion processing step shown in FIG.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 형태들을 설명한다. Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings.
그러나, 본 발명의 실시형태는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명하는 실시 형태로 한정되는 것은 아니다. 또한, 본 발명의 실시형태는 당해 기술분야에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해서 제공되는 것이다.
However, the embodiments of the present invention can be modified into various other forms, and the scope of the present invention is not limited to the embodiments described below. Further, the embodiments of the present invention are provided to more fully explain the present invention to those skilled in the art.
도 1은 본 발명의 일 실시예에 따른 영상 광고 처리 장치의 일 적용예를 도시하는 도면이다.1 is a diagram showing an application example of a video advertisement processing apparatus according to an embodiment of the present invention.
도 1을 참조하면, 영상 광고 처리 장치(100)는 방송사(10)로부터 직접 또는 셋탑 박스(20)를 통하여 방송 영상을 수신할 수 있다.Referring to FIG. 1, the video
영상 광고 처리 장치(100)는 수신받은 방송 영상에 광고를 삽입하여, TV 등의 디스플레이 장치(30)에 제공할 수 있다.The image
영상 광고 처리 장치(100)는 수신받은 방송 영상에 포함된 각 정규 방송 또는 광고의 시작 시점 및 종료 시점을 확인할 수 있다. 영상 광고 처리 장치(100)는 이러한 정규 방송 또는 광고의 시작 및 종료 시점을 확인하고, 수신한 방송 영상의 정규 방송 또는 광고 중 적어도 일부를 변경하는 편성을 수행할 수 있다. 즉, 영상 광고 처리 장치(100)는 정규 방송 및 광고의 시작 및 종료 시점을 확인할 수 있으므로, 현재의 정규 방송 또는 광고를 대체하여 다른 방송이나 광고를 삽입하여 방송 편성 기능을 제공할 수 있다.The video
영상 광고 처리 장치(100)는 방송 영상에서 정규 방송 사이에서 제공되는 정규 광고를 대체하여 새로운 광고를 삽입할 수 있다. 즉, 영상 광고 처리 장치(100)는 방송 영상에서 광고를 삽입할 시점을 탐색하여 정규 광고를 대체하여 새로운 광고를 삽입할 수 있다.The video
영상 광고 처리 장치(100)는 이와 같이 광고 또는 방송이 재 편성된 영상을 디스플레이 장치(30)에 제공하거나, 또는 클라이언트 플레이어(31)에 인터넷 스트리밍으로 송출할 수 있다. 또는, 영상 광고 처리 장치(100)는 광고 또는 방송이 재 편성된 영상을 인코딩하여 저장할 수 있다.
The video
이하에서, 도 2 내지 도 10을 참조하여 이러한 영상 광고 처리 장치(100)의 구체적인 구성에 대하여 설명한다.
Hereinafter, the specific configuration of the video
도 2는 본 발명의 일 실시예에 따른 영상 광고 처리 장치를 설명하는 블록 구성도이다.2 is a block diagram illustrating a video advertisement processing apparatus according to an embodiment of the present invention.
도 2를 참조하면, 영상 광고 처리 장치(100)는 영상 음성 변화 검출부(110), 광고 삽입 관리부(130), 광고 소스 저장부(140), 광고 소스 선택부(150) 및 광고 합성부(160)를 포함할 수 있다. 실시예에 따라, 영상 광고 처리 장치(100)는 오디오 싱크 조절부(120) 또는 영상 후처리부(170)를 더 포함할 수 있다.2, the video
영상 음성 변화 검출부(110)는 방송 영상에서 비디오 신호 및 오디오 신호의 변화를 검출할 수 있다. 즉, 영상 음성 변화 검출부(110)는 방송 영상의 비디오 신호의 알파값, 즉, 휘도값의 변화를 검출할 수 있다. 또한, 영상 음성 변화 검출부(110)는 방송 영상의 오디오 신호의 음량의 변화를 검출할 수 있다.The video / audio
일 실시예에서, 영상 음성 변화 검출부(110)는 공중파 영상에 광고의 삽입 시, 부드러운 전환 처리를 위하여, 광고 삽입 시점이 되면 공중파 영상의 비디오 알파값 및 오디오 레벨을 낮출 수 있다. 이후, 광고 영상의 삽입이 완료되면, 공중파 영상의 비디오 알파값 및 오디오 레벨을 원상태로 복구시킬 수 있다. In one embodiment, the video / audio
오디오 싱크 조절부(120)는 방송 영상의 비디오-오디오 싱크의 오차를 검출하고, 이를 보정할 수 있다. The audio
즉, 오디오 싱크 조절부(120)는 영상 음성 변화 검출부(110)에서 검출된 비디오 신호의 알파값의 변화와 오디오 신호의 음량의 변화에 기초하여, 오디오 신호와 비디오 신호의 싱크 여부를 판단할 수 있으며, 두 신호의 싱크가 맞지 않는 경우 이를 보정할 수 있다.That is, the audio
오디오 싱크 조절부(120)의 다양한 실시 형태에 대해서는 도 7 내지 도 9를 참조하여 이하에서 보다 상세히 설명한다.Various embodiments of the audio
광고 삽입 관리부(130)는 방송 영상을 입력받고, 광고를 삽입할 광고 삽입 시점을 검출할 수 있다. 즉, 광고 삽입 관리부(130)는 방송 영상에서 광고를 삽입할 시점에 대한 정보, 즉, 광고 삽입 시점 정보를 생성할 수 있다. The advertisement
광고 삽입 시간을 검출하는 일 예를 들면, 광고 삽입 관리부(130)는 방송 영상의 비디오 신호에서 알파값의 변화와, 방송 영상의 오디오 신호에서 음량의 변화를 검출하고, 상기 알파값의 변화와 상기 음량 변화에 기초하여 정규 방송의 시작과 종료 시점을 인식할 수 있다. 따라서, 영상 광고 처리 장치(100)는 정규 방송이 종료된 시점부터 광고를 삽입할 수 있다.For example, the advertisement
일 실시예에서, 광고 삽입 관리부(130)는 알파값의 변화 및 음량의 변화로부터 정규 방송의 시작과 종료 시점을 인식할 수 있다. 예컨대, 영상 음성 변화 검출부(110)는 알파값의 변화 및 음량의 변화에 대한 정보를 광고 삽입 관리부(130)에 제공할 수 있고, 광고 삽입 관리부(130)는 알파값의 기울기가 제1 임계치 이상으로 변화하고, 음량의 기울기가 제2 임계치 이상으로 변화하는 경우, 정규 방송 또는 광고의 시작 또는 종료로 판단할 수 있다. 광고 삽입 관리부(130)는 이러한 정규 방송 또는 광고의 시작 시점과 종료 시점을 포함하여, 광고 삽입 시간 정보를 생성할 수 있다.In one embodiment, the advertisement
이와 같이, 광고 삽입 관리부(130)는 방송 영상을 능동적으로 분석하고, 그에 따라 광고를 삽입할 시간을 결정할 수 있다. 그에 따라, 능동적이면서도 상황에 최적화된 광고 삽입을 수행할 수 있다. In this manner, the advertisement
광고 소스 저장부(140)는 복수의 광고 영상을 저장할 수 있다.The advertisement
광고 소스 선택부(150)는 광고 소스 저장부(140)에 저장된 복수의 광고 영상에서, 방송 영상에 삽입할 광고 영상를 선택하여 광고 데이터를 생성할 수 있다.The advertisement
광고 소스 선택부(150)는 선택된 광고를 조정하여 방송 영상에 삽입할 광고 데이터를 생성할 수 있다. 예를 들어, 광고 소스 선택부(150)는 광고 소스 저장부(140)에 저장된 광고의 영상 해상도, 초당 프레임 수(Frames Per Second, FPS), 투명도 또는 오디오 샘플링레이팅 등을 조절하여 광고 데이터를 생성할 수 있다.The advertisement
일 실시예에서, 광고 소스 선택부(150)는 광고 합성부(160)로부터 광고 데이터의 스펙에 대한 정보를 수신하고, 해당 스펙에 맞추어 상기 광고를 조정하여 광고 데이터를 생성할 수 있다. In one embodiment, the advertisement
광고 합성부(160)는 광고 삽입 관리부(130)로부터 광고 삽입 시점 정보를 제공받고, 광고 소스 선택부(150)로부터 광고 데이터를 제공받을 수 있다. 광고 합성부(160)는 광고 삽입 시점 정보에 따라, 방송 영상에 광고 데이터를 삽입하여 광고를 합성할 수 있다.The
일 실시예에서, 광고 합성부(160)는 광고 삽입 시점 정보에 대응하여, 삽입될 광고의 영상 해상도, 초당 프레임 수(Frames Per Second, FPS), 투명도 또는 오디오 샘플링레이팅 중 적어도 하나를 결정하여 광고 데이터의 스펙을 결정할 수 있다. 광고 합성부(160)는 상기 광고 데이터의 스펙에 대한 정보를 광고 소스 선택부(150)에 전송하고, 그에 따라 생성된 광고 데이터를 상기 광고 삽입 시점 정보에 따라 삽입함으로써, 방송 영상의 일부를 편성한 광고 삽입 처리 영상을 제공할 수 있다.In one embodiment, the
광고 합성부(160)에서 생성된, 광고 삽입 처리 영상은 디스플레이 장치 등에 제공되거나, 또는 영상 후처리부(170)를 통하여 영상 후처리를 수행할 수 있다.The advertisement insertion processing image generated by the
영상 후처리부(170)는 광고 소스 선택부(150)에서 출력된 광고 합성 영상을 입력받고, 이를 스트리밍 서비스로 제공하거나, 또는 인코딩하여 저장을 수행할 수 있다.
The
도 3은 도 2에 도시된 영상 음성 변화 검출부의 일 예를 도시하는 블록 구성도이다.3 is a block diagram showing an example of the video / audio change detection unit shown in FIG.
도 3을 참조하면, 영상 음성 변화 검출부(110)는 알파 변화 검출기(111) 및 음량 변화 검출기(112)를 포함할 수 있다.Referring to FIG. 3, the video and audio
알파 변화 검출기(111)는 방송 영상에서 비디오 신호의 알파값(휘도값)의 변화를 검출할 수 있다.The
음량 변화 검출기(112)는 방송 영상에서 오디오 신호의 음량의 변화를 검출할 수 있다.The
도 5는 도 2에 도시된 광고 삽입 관리부에 의하여 광고 삽입 시점이 결정되는 일 예를 도시하는 도면으로서, 도 5에 도시된 실선은 비디오 신호의 휘도값을, 점선은 오디오 신호의 음량 값을 도시하고 있다.FIG. 5 is a diagram illustrating an example in which the advertisement insertion time is determined by the advertisement insertion management unit shown in FIG. 2. The solid line shown in FIG. 5 shows the luminance value of the video signal, .
이는, 방송 영상의 경우, 정규 방송이 종료하고 광고가 방송될 때, 또는 하나의 광고가 끝나고 다른 광고 또는 정규 방송이 방송될 때, 알파값과 음량이 낮아진다. This is because, in the case of broadcast video, when the regular broadcast ends and the advertisement is broadcasted, or when one advertisement ends and another advertisement or regular broadcast is broadcast, the alpha value and the volume are lowered.
즉, 비디오 신호의 알파값이 일정 이상의 기울기 변화를 가지고, 또한 오디오 신호의 음량도 일정 이상의 기울기 변화를 가지는 경우, 이를 영상 전환 시점으로 판단할 수 있다.That is, when the alpha value of the video signal has a gradient change of more than a certain level and the volume of the audio signal also has a gradient change of more than a certain level, it can be determined as a video switching point.
따라서, 광고 삽입 관리부(130)는 이러한 알파값 및 음량의 변화로부터 정규 방송 또는 광고의 전환을 감지하고, 그러한 영상 전환 시점을 광고 삽입 시점으로 판단할 수 있다.
Accordingly, the advertisement
도 4는 도 2에 도시된 광고 소스 선택부의 일 예를 도시하는 블록 구성도이다. 이하, 도 2 및 도 4을 참조하여, 광고 소스 선택부에 대하여 보다 상세히 설명한다.FIG. 4 is a block diagram showing an example of the advertisement source selection unit shown in FIG. 2. FIG. Hereinafter, the advertisement source selection unit will be described in more detail with reference to FIG. 2 and FIG.
광고 소스 선택부(150)는 디코더(151), 해상도 조절기(152), 리샘플링부(153) 및 FPS 조절부(154)를 포함할 수 있다.The advertisement
디코더(151)는 광고 소스 저장부(140)에 저장된 데이터, 즉, 복수의 광고 원본 데이터(동영상)를 입력받고 이를 디코딩할 수 있다.The decoder 151 can receive and decode data stored in the advertisement
해상도 조절기(152)는 광고 합성부(160)에서 제공된 광고 스펙 정보에 따라, 광고 원본 데이터의 해상도를 조절할 수 있다. The resolution adjuster 152 may adjust the resolution of the advertisement original data according to the advertisement specification information provided by the
리샘플링부(153)는 광고 합성부(160)에서 제공된 광고 스펙 정보에 따라, 오디오 샘플레이트를 변환할 수 있다. 예를 들어, 오디오 주파수를 44KHz에서 22KHz로 변경하는 등과 같이, 오디오의 샘플레이트를 변경시킬 수 있다.The resampling unit 153 may convert the audio sample rate according to the advertisement specification information provided by the
FPS 조절부(154)는 해상도 조절기(152)에서 출력된 비디오에 대하여, 초당 프레임수(Frames Per Second, FPS)를 조절할 수 있다.The FPS adjuster 154 may adjust the frames per second (FPS) for the video output from the resolution adjuster 152.
이와 같이, 광고 소스 선택부(150)는 복수의 광고 소스를 기초로 광고 데이터를 생성할 수 있으며, 또한 광고 소스의 해상도 등을 조절함으로써 최적화된 광고를 삽입할 수 있도록 할 수 있다.
In this manner, the advertisement
도 6는 본 발명의 일 실시예에 따른 영상 광고 처리 장치에 의하여 시간에 따라 광고가 삽입되는 일 예를 도시하는 도면이다. 6 is a diagram illustrating an example in which an advertisement is inserted according to time by a video advertisement processing apparatus according to an embodiment of the present invention.
도 6에 도시된 예는 광고 삽입 시간을 기준으로 광고를 삽입하는 예에 관한 것으로서, 정규 광고를 삽입 광고로 대체하는 예를 도시하고 있다. The example shown in FIG. 6 relates to an example of inserting an advertisement on the basis of an advertisement insertion time, and shows an example of replacing a regular advertisement with an inserted advertisement.
도 6의 그림 (a)는 광고 합성이 이루어지기 전의 방송 영상이고, 그림 (b)는 본 발명에 따른 영상 광고 처리 장치에 의하여 광고 합성이 이루어진 후, 즉, 광고 삽입 처리된 영상이다. FIG. 6 (a) is a broadcast image before the advertisement synthesis is performed, and FIG. 6 (b) is an image after the advertisement synthesis is performed by the image advertisement processing apparatus according to the present invention, that is, the advertisement insertion processed image.
도시된 바와 같이, 영상 광고 처리 장치(100)는 정규 방송의 시작과 종료 시점을 확인하여 정규 광고 시점을 확인할 수 있다. 영상 광고 처리 장치(100)는 각 시점을 확인할 수 있으므로, 정규 광고를 대체하여 삽입 광고를 삽입할 수 있다. As shown in the figure, the video
이와 같이, 영상 광고 처리 장치(100)는 영상 및 음성의 분석으로부터 정규 방송 또는 정규 광고의 시작 및 종료를 정확하게 파악할 수 있으므로, 그에 맞추어 자연스럽게 새로운 광고를 삽입할 수 있다. 따라서, 별도의 큐톤 신호 편성 등이 없는 경우에도, 광고를 자유롭게 삽입할 수 있다.
As described above, since the image
도 7은 도 2에 도시된 오디오 싱크 조절부에 의하여 비디오 및 오디오의 싱크를 조절하는 일 예를 도시하는 도면이다.FIG. 7 is a diagram illustrating an example of adjusting the sync of video and audio by the audio sync adjusting unit shown in FIG. 2. Referring to FIG.
도 2 및 도 7을 참조하면, 영상 음성 변화 검출부(110)는 비디오 신호의 알파값의 변화와, 오디오 신호의 음량 레벨의 변화를 검출할 수 있다. 도 7의 실선은 이러한 비디오 신호의 알파값의 변화를, 점선은 오디오 신호의 음량 레벨의 변화를 나타내며, 일점 쇄선은 오디오 싱크 조절부(120)에 의하여 싱크가 보정된 오디오 신호를 나타내고 있다.Referring to FIGS. 2 and 7, the video / audio
최초 보정 전 신호를 보면, 음량의 기울기는 제1 시점(T1)에서 임계치 이상으로 변화하는 반면, 알파값의 기울기는 제2 시점(T2)에서 임계치 이상으로 변화함을 알 수 있다. 이는, 오디오의 전환 시점과 비디오의 전환 시점에 차이(T1~T2)가 발생한 것이므로, 두 신호 간의 싱크가 어긋나 있는 것을 알 수 있다.In the signal before the first correction, the slope of the volume changes from the first time point T1 to the threshold value, while the slope of the alpha value changes beyond the threshold value at the second time point T2. This indicates that the difference (T1 to T2) between the audio switching point and the video switching point occurs, so that the synchronization between the two signals is out of order.
즉, 오디오 싱크 조절부(120)는 제1 시점(T1)과 그 이후의 시점에서, 비디오와 오디오의 싱크가 어긋남을 판단할 수 있으며, 이에 따라 오디오 싱크 조절부(120)는 오디오 신호를 일정 기간 동안 동일한 음량으로 유지(구간 T1 내지 T2의 일점 쇄선)시킬 수 있다. That is, the audio-
따라서, 오디오 싱크 조절부(120)는 제2 시점(T2), 즉, 비디오 신호의 전환이 일어나는 시점에 오디오 음량의 증가된 부분을 반영함으로써, 오디오와 비디오의 싱크를 조절할 수 있다.Therefore, the audio
도시된 예에서는 오디오 신호가 선행되는 예이므로, 오디오를 일정 시간 유지시켜 싱크를 보정하였으나, 이는 예시적인 것이다. 따라서, 오디오 싱크 조절부(120)는 선행되는 신호가 비디오 신호인 경우에는 일정 시간 비디오 신호의 휘도값을 유지시킴으로써 싱크를 보정할 수도 있음은 자명하다.
In the illustrated example, since the audio signal precedes the audio signal, the audio is maintained for a certain period of time to correct the sync, but this is exemplary. Therefore, it is obvious that the audio
도 8은 도 2에 도시된 오디오 싱크 조절부에서, 스파이 클라이언트를 이용하여 비디오 및 오디오의 싱크를 조절하는 일 예를 도시하는 도면이다.FIG. 8 is a diagram showing an example of adjusting the synchronization of video and audio using the spy client in the audio sync adjusting unit shown in FIG. 2. FIG.
도 2 및 8을 참조하면, 스파이 클라이언트 플레이어(31)는 영상 광고 처리 장치(100)에서 송출된 광고 삽입 영상을 스트리밍으로 수신하는 플레이어이다. 스파이 클라이언트 플레이어(31)는 스트리밍으로 수신한 광고 삽입 영상의 비디오의 변화와 오디오의 변화를 감지할 수 있으며, 그에 대한 비디오 전환 시점(Tv)와 오디오 전환 시점(Va)를 검출하여 오디오 싱크 조절부(120)에 제공할 수 있다.Referring to FIGS. 2 and 8, the
스파이 클라이언트 플레이어(31)는 기 설명한 바와 같이, 비디오 신호의 휘도의 기울기가 일정 이상 변화하는 지점을 비디오 전환 시점(Tv)으로, 오디오 신호의 음량의 기울기가 일정 이상 변화하는 지점을 오디오 전환 시점(Va)으로 설정할 수 있다.As described above, the
오디오 싱크 조절부(120)는 스파이 클라이언트 플레이어(31)로부터 제공된 비디오 전환 시점(Tv)와 오디오 전환 시점(Va)을 이용하여 오디오와 비디오의 싱크를 보정할 수 있다. The audio
본 실시예의 경우, 인터넷 스트리밍 환경에 의한 싱크 오류를 보정할 수 있으므로, 보다 다양한 환경에서도 정확하게 싱크가 보정된 동영상을 제공할 수 있다.In the present embodiment, the sync error due to the Internet streaming environment can be corrected, so that it is possible to provide a motion-corrected video accurately even in a variety of environments.
도 9는 도 2에 도시된 오디오 싱크 조절부에서, 비디오 및 오디오의 싱크를 조절하는 또 다른 일 예를 도시하는 도면이다. 도 9에 도시된 예는, 정규 방송이 백 그라운드 상태에 있는 동안 싱크 오차를 보정하는 예에 관한 것이다.FIG. 9 is a diagram showing another example of adjusting the sync of video and audio in the audio sync adjusting unit shown in FIG. 2. FIG. The example shown in Fig. 9 relates to an example of correcting the sync error while the regular broadcast is in the background state.
즉, 정규 방송이 방송되지 않고 영상 광고 처리 장치에 의하여 방송 또는 광고가 편성되는 동안, 정규 방송에 대한 싱크 오차를 백그라운드 상태에서 보정하는 방안이다.That is, it is a method of correcting the sync error for regular broadcast in the background state while the broadcast or advertisement is organized by the video advertisement processing apparatus without regular broadcast.
도 9의 그림 (a)에서 보이듯이 정규 방송에 대한 오차를 감지할 수 있다. 이후, 광고 합성부(160)에 의하여 광고가 삽입되는 동안, 즉, 정규 방송이 백그라운드 상태에 있는 동안, 오디오 싱크 조절부(120)는 정규 방송에 대한 싱크 오차를 보정할 수 있다.As shown in FIG. 9 (a), it is possible to detect an error with respect to the regular broadcast. Thereafter, while the
싱크 오차를 보정하는 방식으로는 두 가지 방식이 적용 가능하다.Two methods are available for correcting the sync error.
첫번째 방식으로, 그림 (b1)에 도시된 바와 같이, 최저 음향(또는 최저 알파값)을 일정 시간동안 유지시켜서 싱크 오차를 보정하는 방식이 적용될 수 있다. 이는, 도 7을 참조하여 기 설명한 바에 상응한다.In the first method, a method of correcting the sync error by maintaining the lowest sound (or the lowest alpha value) for a predetermined time can be applied, as shown in the figure (b1). This corresponds to that described above with reference to Fig.
두번째 방식으로, 그림 (b2)에 도시된 바와 같이, 정규 방송이 백 그라운드 상태인 상황에서 아무 시점에서나 싱크를 조절할 수 있다. 즉, 이미 정규 방송에 대한 싱크 오차가 검출되었으므로, 선행하는 신호(음량 또는 알파값 중 어느 하나)를 상기 싱크 오차 만큼 지연 및 삭제 시킴으로써 싱크를 맞출 수 있다. 이는, 정규 방송이 백그라운드 상태에 있으므로, 이러한 두번째 방식과 같이 어느 시점에서 싱크 오차를 보정하여도 그러한 싱크 보정에 의한 영향이 나타나지 않기 때문이다.
In the second scheme, as shown in Fig. 2 (b2), the sync can be adjusted at any point in the situation that regular broadcast is in the background condition. That is, since the sync error has already been detected for the regular broadcast, the sync can be adjusted by delaying and deleting the preceding signal (either the volume or the alpha value) by the sync error. This is because the regular broadcast is in the background state, and therefore, even if the sync error is corrected at such a point as in the second method, the effect of such sync correction does not appear.
도 10는 도 2에 도시된 영상 후처리부의 일 예를 도시하는 블록 구성도이다.10 is a block diagram showing an example of the image post-processing unit shown in FIG.
이하, 도 2 및 도 10를 참조하여, 영상 후처리부(170)에 대하여 보다 상세히 설명한다.Hereinafter, the
영상 후처리부(170)는 디스플레이 출력부(171), 스트리밍 송출부(172) 및 인코딩부(173)를 포함할 수 있다.The
디스플레이 출력부(171)는 광고 영상이 삽입된 방송 영상을 디스플레이 장치에 제공할 수 있다. The
스트리밍 송출부(530)는 광고 합성 영상을 스트리밍 서비스로서 제공할 수 있다. 예를 들어, 스트리밍 송출부(530)는 핸드폰, 태블릿 PC 등과 같이, 영상 광고 처리 장치(100)와 네트워크로 연결된 장치에 대하여, 광고 삽입 처리 영상을 스트리밍으로 제공할 수 있다.The streaming transmission unit 530 may provide the advertisement composite image as a streaming service. For example, the streaming transmitting unit 530 may provide an advertisement insertion processed video streaming to a device connected to the video
인코딩부(173)는 광고 영상이 삽입된 방송 영상을 인코딩하여 저장부(174)에 저장할 수 있다. 인코딩부(173)에 의해 저장된 영상은, 디스플레이 출력이나 스트리밍 출력에 사용될 수 있다.
The
이상에서는 도 1 내지 도 10을 참조하여 영상 광고 처리 장치에 대하여 설명하였다. 이하에서는 도 11 내지 도 12을 참조하여, 본 발명의 일 실시예에 따른 영상 광고 처리 방법의 다양한 실시예들에 대하여 설명한다. The video advertisement processing apparatus has been described above with reference to FIGS. 1 to 10. FIG. Hereinafter, various embodiments of a method of processing a video advertisement according to an embodiment of the present invention will be described with reference to FIGS.
다만, 이하에서 설명할 영상 광고 처리 방법의 다양한 실시예들은 상술한 영상 광고 처리 장치에서 수행되므로, 도 1 내지 도 10을 참조하여 상술한 설명을 참조하여 보다 쉽게 이해할 수 있다.
However, since various embodiments of the image advertisement processing method to be described below are performed in the above-described image advertisement processing apparatus, it can be understood more easily with reference to the above description with reference to FIG. 1 to FIG.
도 11은 본 발명의 일 실시예에 따른 영상 광고 처리 방법의 일 예를 설명하는 순서도이다.11 is a flowchart illustrating an example of a video advertisement processing method according to an embodiment of the present invention.
도 11을 참조하면, 영상 광고 처리 장치는 라이브 영상, 예컨대 지상파 영상을 입력받고(S1110), 그에 대한 영상의 알파값 변화 및 오디오의 음량 변화를 검출할 수 있다.Referring to FIG. 11, a video advertisement processing apparatus receives a live image, for example, a terrestrial image (S1110), and can detect a change in an alpha value of the image and a change in volume of audio.
영상 광고 처리 장치는 광고 동영상을 선택하고, 삽입 환경에 맞추어 선택된 광고 동영상의 영상 또는 오디오를 변환할 수 있다(S1130). 예컨대, 광고 영상의 해상도나 FPS를 조절하거나, 또는 오디오의 샘플레이트를 변경할 수 있다.The video advertisement processing apparatus may select an advertisement video and convert the video or audio of the selected advertisement video according to the insertion environment (S1130). For example, the resolution or FPS of the advertisement image may be adjusted or the sample rate of the audio may be changed.
영상 광고 처리 장치는, 변환된 광고를 삽입처리 할 수 있다(S1140). 광고 삽입 처리에 대해서는 이하의 도 12에서 보다 상세히 설명한다.The video advertisement processing apparatus can insert the converted advertisement (S1140). The advertisement insertion process will be described in more detail in Fig. 12 below.
영상 광고 처리 장치는, 광고가 삽입된 라이브 영상에 대하여 영상 또는 오디오 싱크를 보정할 수 있다(S1150). 영상 광고 처리 장치는 광고가 삽입된 라이브 영상, 또는 그에 대한 영상 또는 오디오 싱크가 보정된 영상을, 디스플레이하거나, 스트리밍 송출하거나, 또는 인코딩 후 저장할 수 있다(S1160).
The video advertisement processing apparatus can correct the video or audio sync with respect to the live video in which the advertisement is inserted (S1150). In operation S1160, the video advertisement processing apparatus may display, stream, or encode the live video, the video, or the audio sync corrected video.
도 12은 도 11에 도시된 광고 삽입 처리 단계의 일 실시예를 도시하는 순서도이다.12 is a flowchart showing an embodiment of the advertisement insertion processing step shown in FIG.
도 12을 참조하면, 영상 광고 처리 장치는, 방송 영상에 광고를 삽입하기 위한 삽입 시간 정보를 포함하는 광고 삽입 시점 정보를 생성할 수 있다(S1210).Referring to FIG. 12, the video advertisement processing apparatus may generate advertisement insertion time information including insertion time information for inserting an advertisement into a broadcast image (S1210).
영상 광고 처리 장치는 기 저장된 광고를 조정하여 상기 방송 영상에 삽입할 광고 데이터를 생성할 수 있다(S1220).The video advertisement processing apparatus may generate ad data to be inserted into the broadcast image by adjusting the pre-stored advertisement (S1220).
이후, 영상 광고 처리 장치는 광고 삽입 시점 정보에 대응하여 방송 영상에 상기 광고 데이터를 반영하여, 상기 방송 영상에 광고를 합성할 수 있다(S1230).After that, the video advertisement processing apparatus reflects the advertisement data on the broadcast image in response to the advertisement insertion time information, and synthesizes the advertisement on the broadcast image (S1230).
한편, 영상 광고 처리 장치는, 상기 광고를 삽입하는 시점에서, 상기 방송 영상의 오디오와 비디오의 싱크를 보정할 수 있다.On the other hand, the video advertisement processing apparatus can correct the audio and video syncs of the broadcast image at the time of inserting the advertisement.
단계 S1210에 대한 일 실시예에서, 영상 광고 처리 장치는, 상기 방송 영상의 비디오 신호에서 알파값의 변화를 검출하고, 상기 방송 영상의 오디오 신호에서 음량의 변화를 검출할 수 있다. 영상 광고 처리 장치는 알파값의 변화와 음량 변화에 기초하여 정규 방송의 시작과 종료 시점을 인식하고, 정규 방송의 시작 시점과 종료 시점을 포함하여 삽입 시간 정보를 생성할 수 있다.In an embodiment of step S1210, the video advertisement processing apparatus may detect a change in the alpha value in the video signal of the broadcast image, and detect a change in the volume in the audio signal of the broadcast image. The video advertisement processing apparatus recognizes the start and end points of the regular broadcast based on the change of the alpha value and the volume change and generates the insert time information including the start point and the end point of the regular broadcast.
단계 S1220에 대한 일 실시예에서, 영상 광고 처리 장치는, 상기 광고 삽입 시점 정보에 대응하여, 삽입될 광고의 영상 해상도, 초당 프레임 수(Frames Per Second, FPS), 투명도 또는 오디오 샘플링레이팅 중 적어도 하나를 결정하여 상기 광고 데이터의 스펙을 결정할 수 있다. 영상 광고 처리 장치는 상기 광고 데이터의 스펙에 따라, 기 저장된 광고를 조정하여 상기 광고 데이터를 생성할 수 있다.
In one embodiment of operation S1220, the image advertisement processing apparatus may further include at least one of image resolution, frames per second (FPS), transparency, or audio sampling rating of the advertisement to be inserted corresponding to the advertisement insertion time information And determine a specification of the advertisement data. The video advertisement processing apparatus can generate the advertisement data by adjusting the pre-stored advertisement according to the specifications of the advertisement data.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고 후술하는 특허청구범위에 의해 한정되며, 본 발명의 구성은 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 그 구성을 다양하게 변경 및 개조할 수 있다는 것을 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 쉽게 알 수 있다.
It is to be understood that both the foregoing general description and the following detailed description are exemplary and explanatory and are not intended to limit the invention to the particular forms disclosed. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims.
10 : 방송사 20 : 셋탑박스
30 : 디스플레이 단말 31 : 클라이언트 플레이어
32 : 인코딩 저장장치
100 : 영상 광고 처리 장치
110 : 영상 음성 변화 검출부 120 : 오디오 싱크 조절부
130 : 광고 삽입 관리부 140 : 광고 소스 저장부
150 : 광고 소스 선택부 160 : 광고 합성부
170 : 영상 후처리부
111 : 알파 변화 검출기 112 : 음량 변화 검출기
151 : 디코더 152 : 해상도 조절기
153 : 리샘플링부 154 : FPS 조절부
171 : 디스플레이 출력부 172 : 스트리밍 송출부
173 : 인코딩부 174 : 저장부10: broadcaster 20: set-top box
30: display terminal 31: client player
32: encoding storage device
100: Video ad processing device
110: video / audio change detection unit 120: audio /
130: an advertisement insertion management unit 140: an advertisement source storage unit
150: an advertisement source selection unit 160: an advertisement synthesis unit
170:
111: Alpha change detector 112: Volume change detector
151: Decoder 152: Resolution adjuster
153: resampler 154: FPS controller
171: Display output unit 172: Streaming transmission unit
173: encoding unit 174:
Claims (12)
복수의 광고 영상에서 상기 방송 영상에 삽입할 광고 영상를 선택하여 광고 데이터를 생성하는 광고 소스 선택부;
상기 광고 삽입 시점 정보에 대응하여 상기 방송 영상에 상기 광고 데이터를 반영하여, 상기 방송 영상에 광고를 합성한 광고 삽입 처리 영상을 생성하는 광고 합성부; 및
상기 방송 영상의 비디오 신호에서 알파값의 변화를 검출하고, 상기 방송 영상의 오디오 신호에서 음량의 변화를 검출하는 영상 음성 변화 검출부;
를 포함하고,
상기 광고 삽입 관리부는
상기 알파값의 기울기의 변화 및 상기 음량의 기울기의 변화가 각각 기 설정된 임계치 이상 변화하는 시점을, 정규 방송 또는 정규 광고의 시작 시점 또는 종료 시점으로서 판단하는 영상 광고 처리 장치.
An advertisement insertion management unit for generating advertisement insertion time information including insertion time information for inserting an advertisement into a broadcast image from a change in the alpha value of the video signal and a change in the volume of the audio signal;
An advertisement source selecting unit for selecting an advertisement image to be inserted into the broadcast image in a plurality of advertisement images to generate advertisement data;
An advertisement synthesis unit for generating an advertisement insertion processed image in which an advertisement is synthesized in the broadcast image by reflecting the advertisement data in the broadcast image corresponding to the advertisement insertion time information; And
A video audio change detection unit detecting a change in the alpha value of the video signal of the broadcast video and detecting a change in the volume of the audio signal of the broadcast video;
Lt; / RTI >
The advertisement insertion management unit
And determines a point of time when the change of the slope of the alpha value and the change of the slope of the volume change respectively by a predetermined threshold or more as the start point or the end point of the regular broadcast or the regular advertisement.
상기 알파값의 변화 및 상기 음량의 변화로부터 비디오-오디오 싱크의 오차를 검출하고, 상기 오차를 보정하는 오디오 싱크 조절부;
를 더 포함하는 영상 광고 처리 장치.
2. The video advertisement processing apparatus according to claim 1,
An audio sync adjusting unit for detecting an error of the video-audio sync from the change of the alpha value and the change of the volume, and correcting the error;
Further comprising:
스파이 클라이언트 플레이어로부터 상기 광고 삽입 처리 영상의 비디오 전환 시점 및 오디오 전환 시점에 대한 정보를 수신하고, 상기 비디오 전환 시점 및 상기 오디오 전환 시점 간의 차이를 보정하여, 스트리밍 환경에서의 상기 광고 삽입 처리 영상의 싱크 오차를 보정하는 영상 광고 처리 장치.
The apparatus of claim 3, wherein the audio sink adjusting unit
Receiving the information on the video switching point and the audio switching point of the advertisement insertion processing video from the spy client player and correcting the difference between the video switching point and the audio switching point, A video advertisement processing apparatus for correcting an error.
상기 광고 영상의 해상도를 조절하는 해상도 조절기; 및
상기 광고 영상의 오디오를 리샘플링하는 리샘플링부;
를 더 포함하는 영상 광고 처리 장치.
The method of claim 1, wherein the advertisement source selection unit
A resolution controller for adjusting a resolution of the advertisement image; And
A resampler for resampling the audio of the advertisement image;
Further comprising:
기 저장된 광고 영상을 조절하여 상기 방송 영상에 삽입할 광고 데이터를 생성하는 단계; 및
상기 광고 삽입 시점 정보에 대응하여 상기 방송 영상에 상기 광고 데이터를 반영하여, 상기 방송 영상에 광고를 합성한 광고 삽입 처리 영상을 생성하는 단계;
를 포함하고,
상기 광고 삽입 시점 정보를 생성하는 단계는
상기 방송 영상의 비디오 신호에서 알파값의 변화를 검출하는 단계;
상기 방송 영상의 오디오 신호에서 음량의 변화를 검출하는 단계; 및
상기 알파값의 기울기의 변화 및 상기 음량의 기울기의 변화가 각각 기 설정된 임계치 이상 변화하는 시점을, 정규 방송 또는 정규 광고의 시작 시점 또는 종료 시점으로서 판단하는 단계;
를 포함하는 영상 광고 처리 방법.
Generating advertisement insertion time information including insertion time information for inserting an advertisement into a broadcast image from a change in the alpha value of the video signal and a change in the volume of the audio signal;
Generating ad data to be inserted into the broadcast image by adjusting a previously stored advertisement image; And
Generating an advertisement insertion processing image in which an advertisement is synthesized in the broadcasting image by reflecting the advertisement data in the broadcasting image in correspondence with the advertisement insertion time information;
Lt; / RTI >
The step of generating the advertisement insertion time information
Detecting a change in alpha value in a video signal of the broadcast image;
Detecting a change in loudness in the audio signal of the broadcast image; And
Determining a point of time when the change of the slope of the alpha value and the change of the slope of the volume change by a predetermined threshold or more as a start point or an end point of a regular broadcast or a regular advertisement;
The method comprising the steps of:
상기 알파값의 변화 및 상기 음량의 변화로부터 비디오-오디오 싱크의 오차를 검출하고, 상기 오차를 보정하는 단계;
를 더 포함하는 영상 광고 처리 방법.
7. The method of claim 6,
Detecting an error of the video-audio sync from the change of the alpha value and the change of the volume, and correcting the error;
The method comprising the steps of:
스파이 클라이언트 플레이어로부터 상기 광고 삽입 처리 영상의 비디오 전환 시점 및 오디오 전환 시점에 대한 정보를 수신하는 단계; 및
상기 비디오 전환 시점 및 상기 오디오 전환 시점 간의 차이를 보정하여, 스트리밍 환경에서의 상기 광고 삽입 처리 영상의 싱크 오차를 보정하는 단계;
를 포함하는 영상 광고 처리 방법.
9. The method of claim 8, wherein correcting the error comprises:
Receiving information on a video switching point and an audio switching point of the advertisement insertion processing video from a spy client player; And
Correcting a sync error of the advertisement insertion processed image in a streaming environment by correcting a difference between the video switching point and the audio switching point;
The method comprising the steps of:
상기 광고 삽입 시점 정보에 대응하여, 삽입될 광고의 영상 해상도, 초당 프레임 수(Frames Per Second, FPS), 투명도 또는 오디오 샘플링레이팅 중 적어도 하나를 결정하여 상기 광고 데이터의 스펙을 결정하는 단계 ; 및
상기 광고 데이터의 스펙에 따라, 기 저장된 광고 영상을 조절하여 상기 광고 데이터를 생성하는 단계;
를 포함하는 영상 광고 처리 방법.
7. The method of claim 6, wherein generating the advertisement data comprises:
Determining at least one of a video resolution, a frames per second (FPS), transparency, or audio sampling rating of an advertisement to be inserted corresponding to the advertisement insertion time information, and determining a specification of the advertisement data; And
Adjusting the pre-stored advertisement image according to the specification of the advertisement data to generate the advertisement data;
The method comprising the steps of:
상기 알파값의 기울기가, 기 설정된 제1 임계치 이상으로 변하는 제1 시점을 검출하는 단계;
상기 음량의 기울기가, 기 설정된 제2 임계치 이상으로 변하는 제2 시점을 검출하는 단계;
상기 제1 시점이 상기 제2 시점에 선행하면, 상기 제1 시점에서의 알파값을 상기 제2 시점까지 유지시켜 싱크 오차를 보정하는 단계; 및
상기 제2 시점이 상기 제1 시점에 선행하면, 상기 제2 시점에서의 음량을 상기 제1 시점까지 유지시켜 싱크 오차를 보정하는 단계;
를 포함하는 영상 광고 처리 방법.
9. The method of claim 8, wherein correcting the error comprises:
Detecting a first time point at which the slope of the alpha value changes to be equal to or greater than a predetermined first threshold value;
Detecting a second time point at which the slope of the volume changes to a predetermined second threshold value or more;
Correcting the sync error by maintaining the alpha value at the first time point to the second time point if the first time point precedes the second time point; And
Adjusting a sync error by maintaining the volume at the second time point to the first time point if the second time point precedes the first time point;
The method comprising the steps of:
정규 방송의 비디오-오디오 싱크의 오차를 검출하는 단계; 및
상기 정규 방송의 종료 후에 광고가 삽입되는 동안, 상기 정규 방송에 대한 오차 보정을 수행하는 단계;
를 포함하는 영상 광고 처리 방법.9. The method of claim 8, wherein correcting the error comprises:
Detecting an error of the video-audio sync of the regular broadcast; And
Performing an error correction on the regular broadcast while the advertisement is inserted after the end of the regular broadcast;
The method comprising the steps of:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160071517A KR101741747B1 (en) | 2016-06-09 | 2016-06-09 | Apparatus and method for processing real time advertisement insertion on broadcast |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160071517A KR101741747B1 (en) | 2016-06-09 | 2016-06-09 | Apparatus and method for processing real time advertisement insertion on broadcast |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101741747B1 true KR101741747B1 (en) | 2017-05-31 |
Family
ID=59052445
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020160071517A KR101741747B1 (en) | 2016-06-09 | 2016-06-09 | Apparatus and method for processing real time advertisement insertion on broadcast |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101741747B1 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180103451A (en) * | 2017-03-10 | 2018-09-19 | 한국전자통신연구원 | Method and system for contens processing using audio signal of advertisement data |
CN110213629A (en) * | 2019-06-27 | 2019-09-06 | 腾讯科技(深圳)有限公司 | A kind of Information Embedding method, apparatus, server and storage medium |
KR20190137924A (en) * | 2017-12-08 | 2019-12-11 | 구글 엘엘씨 | Modify digital video content |
KR20220021387A (en) * | 2020-08-13 | 2022-02-22 | 에스케이브로드밴드주식회사 | Set top box, and control method thereof |
KR102417373B1 (en) * | 2022-01-20 | 2022-07-06 | 홍성래 | Sound editing system |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010141545A (en) * | 2008-12-11 | 2010-06-24 | Sharp Corp | Advertisement display device, advertisement distribution system, and program |
KR101471420B1 (en) * | 2013-10-16 | 2014-12-10 | (주)판도라티비 | Method for changing advertisement in broadcasting |
-
2016
- 2016-06-09 KR KR1020160071517A patent/KR101741747B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010141545A (en) * | 2008-12-11 | 2010-06-24 | Sharp Corp | Advertisement display device, advertisement distribution system, and program |
KR101471420B1 (en) * | 2013-10-16 | 2014-12-10 | (주)판도라티비 | Method for changing advertisement in broadcasting |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180103451A (en) * | 2017-03-10 | 2018-09-19 | 한국전자통신연구원 | Method and system for contens processing using audio signal of advertisement data |
KR102234470B1 (en) | 2017-03-10 | 2021-04-01 | 한국전자통신연구원 | Method and system for contens processing using audio signal of advertisement data |
KR20190137924A (en) * | 2017-12-08 | 2019-12-11 | 구글 엘엘씨 | Modify digital video content |
KR102200317B1 (en) | 2017-12-08 | 2021-01-08 | 구글 엘엘씨 | Digital video content modification |
CN110213629A (en) * | 2019-06-27 | 2019-09-06 | 腾讯科技(深圳)有限公司 | A kind of Information Embedding method, apparatus, server and storage medium |
KR20220021387A (en) * | 2020-08-13 | 2022-02-22 | 에스케이브로드밴드주식회사 | Set top box, and control method thereof |
KR102435049B1 (en) * | 2020-08-13 | 2022-08-22 | 에스케이브로드밴드주식회사 | Set top box, and control method thereof |
KR102417373B1 (en) * | 2022-01-20 | 2022-07-06 | 홍성래 | Sound editing system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10785547B2 (en) | System and method for synchronizing metadata with audiovisual content | |
KR101741747B1 (en) | Apparatus and method for processing real time advertisement insertion on broadcast | |
US9197946B2 (en) | System and method for automatic content program discovery | |
US9942602B2 (en) | Watermark detection and metadata delivery associated with a primary content | |
KR20210021099A (en) | Establishment and use of temporal mapping based on interpolation using low-rate fingerprinting to facilitate frame-accurate content modification | |
KR102469142B1 (en) | Dynamic playback of transition frames while transitioning between media stream playbacks | |
CN114402572B (en) | Using in-band metadata as a basis for accessing reference fingerprints to facilitate content-related actions | |
RU2627040C2 (en) | Receiving device and method of synchronized processing of images in this device | |
US9609179B2 (en) | Methods for processing multimedia flows and corresponding devices | |
KR101193534B1 (en) | Watermarking apparatus and method for inserting watermark in video contents | |
EP2485501A1 (en) | Fast channel change companion stream solution with bandwidth optimization | |
US20230224552A1 (en) | Timely Addition of Human-Perceptible Audio to Mask an Audio Watermark | |
KR20220031706A (en) | Use of watermarking to control abandonment of dynamic content modifications | |
US8769562B2 (en) | Digital broadcast method, data receiving device, and data transmitting device | |
JP2005051716A (en) | Audience survey system and method, program for audience survey, and audience survey terminal and server | |
KR100864009B1 (en) | Lip-synchronize method | |
US20120008693A1 (en) | Substituting Embedded Text for Video Text Images | |
KR102435049B1 (en) | Set top box, and control method thereof | |
JP2020115626A (en) | Subtitle delay control device, control method and program | |
JP2006254176A (en) | Channel indication unit and method therefor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
GRNT | Written decision to grant |