KR101082542B1

KR101082542B1 - Method and apparatus for reconstructing bitstreams for distributed video coding

Info

Publication number: KR101082542B1
Application number: KR1020090111588A
Authority: KR
Inventors: 김철근; 서덕영; 박광훈; 김규헌
Original assignee: 경희대학교 산학협력단
Priority date: 2009-11-18
Filing date: 2009-11-18
Publication date: 2011-11-10
Also published as: KR20110054805A

Abstract

분산 비디오 코딩(Distributed Video Coding, DVC)을 위한 비트스트림 재구성 방법과 장치를 개시한다. 비트스트림 재구성 방법에서는 우선 DVC 인코더로부터 수신된 DVC 비트스트림과 기존 비트스트림을 디코딩하여 영상을 복원한다. 그리고 복원된 영상을 이용하여 현재 영상에 대한 움직임 정보를 계산한 다음, 계산된 움직임 정보를 이용하여 생성된 제1 부가 정보 영상과 현재 영상과의 차이값을 기존의 DVC 디코딩 방법에 따라 생성된 제2 부가 정보 영상과 현재 영상과의 차이값과 비교하여 새로운 데이터 전송율을 결정한다. 데이터 전송율은 이러한 차이값의 분포의 차이를 이용하여 결정할 수 있다. 그리고 결정된 전송율에 따라서 수신된 DVC 비트스트림을 재구성하여 DVC 디코더로 전송한다. 이 경우에, 움직임 정보도 함께 전송할 수 있다. Disclosed are a bitstream reconstruction method and apparatus for distributed video coding (DVC). In the bitstream reconstruction method, first, a video is reconstructed by decoding a DVC bitstream and an existing bitstream received from a DVC encoder. The motion information of the current video is calculated using the reconstructed video, and the difference value between the first additional information video generated using the calculated motion information and the current video is generated according to a conventional DVC decoding method. 2 The new data rate is determined by comparing the difference between the additional information video and the current video. The data rate can be determined using the difference in the distribution of these difference values. The received DVC bitstream is reconstructed according to the determined rate and transmitted to the DVC decoder. In this case, motion information can also be transmitted.

Description

Method and apparatus for reconstructing bitstreams for distributed video coding

본 발명은 분산 비디오 코딩(Distributed Video Coding, DVC)에 관한 것으로, 보다 구체적으로 분산 비디오 코딩(DVC)을 위한 비트스트림의 재구성 방법과 장치에 관한 것이다.The present invention relates to distributed video coding (DVC), and more particularly, to a method and apparatus for reconstructing a bitstream for distributed video coding (DVC).

정보통신(IT)기술의 급속한 발전으로 디지털 콘텐츠의 제작 및 배포가 광범위하게 전개되고 있다. 특히, 최근에는 디지털 콘텐츠에 대한 소비자들의 다양한 요구에 맞춰서 사용자 제작 콘텐츠(User Creative Contents, UCC)의 확산과 함께 이와 관련된 시장의 규모가 급증하고 있다. 그리고 종래의 방송망이 아이피티브(Internet Protocol Television, IPTV)의 발달로 인터넷망에 통합되고 있어서, 장래에는 방송에서도 UCC의 저변이 확대될 것으로 예상되고 있다. With the rapid development of information and communication (IT) technology, the production and distribution of digital content is being widely deployed. In particular, in recent years, with the proliferation of user creative contents (UCC) in response to various demands of consumers for digital contents, the size of the related market is rapidly increasing. In addition, since the conventional broadcasting network is being integrated into the Internet network due to the development of Internet Protocol Television (IPTV), it is expected that the base of UCC will be expanded in the future.

이러한 UCC는 비전문가인 일반인들이 콘텐츠를 제작하는 것으로서, 고가의 제작 장비 대신에 상대적으로 저가인 모바일 캠코더 등을 이용하여 제작되는 것이 일반적이다. 하지만, 모바일 기기는 사용 가능한 전원이 제한될 뿐만 아니라 허용되는 연산 능력에 한계가 있다. 따라서 모바일 기기 등을 사용하여 제작된 UCC를 효율적으로 전송하기 위해서는, 높은 압축 성능을 보이지만 상대적으로 복잡도가 낮은 부호화 기술이 필요하다.The UCC is produced by non-expert members of the public, and is generally produced using a relatively low-cost mobile camcorder instead of expensive production equipment. However, mobile devices not only have limited power sources available but also have limited computational power. Accordingly, in order to efficiently transmit a UCC produced using a mobile device, a coding technique that exhibits high compression performance but has a relatively low complexity is required.

그런데, MPEG-1, MPEG-2, MPEG-4와 H.26x와 같은 기존의 동영상 압축 기술은 인코더가 디코더에 비해 복잡도가 상당히 높다. 이것은 기존의 동영상 압축 기술에서는 시간적 중복성(redundancy) 등과 같은 중복성을 인코더에서 제거하기 때문이다. 예를 들어, 기존의 동영상 압축 기술에서는 이웃한 프레임들 간에 존재하는 상관도를 이용하는 움직임 예측(Motion Estimation, ME)과 움직임 보상(Motion Compensation, MC)을 통하여 시간적 중복성을 제거하는데, 이에 소요되는 연산량이 상당히 많기 때문에 인코더의 복잡도가 높다. 이러한 기존의 동영상 압축 기술은 인코더에 허용되는 연산 능력과 전력 소모량이 극히 제한적인 센서 네트워크와 같은 응용 환경에서는 사용할 수 없다.However, existing video compression techniques such as MPEG-1, MPEG-2, MPEG-4, and H.26x have a much higher complexity than encoders. This is because the existing video compression technology removes redundancy, such as temporal redundancy, from the encoder. For example, in the existing video compression technology, the amount of computation required to remove temporal redundancy through motion estimation (ME) and motion compensation (MC) using the correlation between neighboring frames. The complexity of the encoder is high because of this much. These traditional video compression techniques cannot be used in application environments such as sensor networks where the computational power and power consumption allowed for the encoder are extremely limited.

분산 비디오 코딩(DVC)은 바로 이러한 인코더의 복잡도 문제를 해결하기 위한 방법의 하나로 최근에 관심을 받고 있다. DVC는 상관도(correlation)가 있는 소스(source)들을 각각 독립적으로 부호화하여도 복호화를 서로 연계해서 한다면, 각 소스를 같이 부호화하여 얻을 수 있는 부호화 이득을 동일하게 얻을 수 있다는 것을 수학적으로 증명한 Slepian-Wolf의 정보이론에 근거한다. 동영상 압축 기술의 구현관점에서 봤을 때, Slepian-Wolf의 정보이론은 시간적 중복성을 줄이기 위하여 인코더에서 행하였던 모든 처리 절차를 부호화 이득에 별다른 손실 없이 디코 더쪽으로 옮길 수 있음을 의미한다. 따라서 Slepian-Wolf의 정보이론에 기초하면, 센서 네트워크와 같은 새로운 환경에 대응하여 부호화의 복잡도를 낮출 수가 있다. Distributed video coding (DVC) has recently attracted attention as one of methods for solving the complexity problem of the encoder. Slepian mathematically proved that DVC can achieve the same coding gains obtained by encoding each source if the decoding is linked to each other even if the sources having correlation are independently encoded. Based on Wolf's theory of information. In view of the implementation of video compression technology, Slepian-Wolf's information theory means that all the processing procedures performed by the encoder can be moved to the decoder without any loss in coding gain in order to reduce temporal redundancy. Therefore, based on Slepian-Wolf's information theory, the complexity of encoding can be reduced in response to new environments such as sensor networks.

Wyner-Ziv(WZ) 코딩 방식은 무손실 압축을 지향하는 Slepian-Wolf의 정보이론의 경계(bound) 개념을 양자화를 통한 손실 압축에 적용한 부호화 방식으로서, 이로 인하여 DVC의 가능성이 열리기 시작하였다. DVC에 대한 연구는 스탠포드 대학의 Girod 박사 연구팀, 버클리 대학의 Ramchandran 교수 연구팀, 그리고 유럽의 DISCOVER(포르투갈, 이탈리아, 스페인의 대학들이 참여한 국제공동연구로 2002년부터 2006년 12월까지 연구가 진행되었다) 연구 단체 등을 비롯한 해외의 많은 연구 기관들에 의하여 진행되었다. 그리고 MPEG 회의의 "Future MPEG Workshop"에서 2차례 정도 소개가 되었다. 그러나 아직은 DISCOVER에서도 표준화를 진행할 만큼 효율적이지 못한 것으로 평가되고 있다. 현재 관련 논물들에서 DVC의 성능이 기존 H.263 코덱의 인트라 코딩(Intra Coding)의 성능에 근접해가는 것을 볼 수 있다. The Wyner-Ziv (WZ) coding scheme is a coding scheme in which Slepian-Wolf's concept of information theory for lossless compression is applied to lossy compression through quantization, which opens the possibility of DVC. The research on DVC was a joint international study involving Dr. Girod's team at Stanford, Professor Ramchandran's at Berkeley, and DISCOVER (Europe, Italy and Spain). It was conducted by many research institutes abroad, including research groups. He was also introduced to the MPEG conference "Future MPEG Workshop" twice. However, DISCOVER is not yet efficient enough to proceed with standardization. In the current literature, we can see that the performance of DVC is close to the performance of intra coding of the existing H.263 codec.

도 1은 DVC 시스템의 하나인 DISCOVER DVC의 구조를 보여 주는 블록도이다. 도 1을 참조하면, DISCOVER DVC는 송신측(10)과 수신측(20)을 포함한다. 송신측(10)은 입력 비디오를 부호화하여 소정의 전송 네트워크(예컨대, 이동통신 네트워크)를 통해 전송하기 위한 인코더를 포함하며, 수신측(20)은 수신된 부호화된 데이터를 복원하여 영상을 재생하기 위한 디코더를 포함한다.1 is a block diagram showing the structure of a DISCOVER DVC as one of the DVC system. Referring to FIG. 1, the DISCOVER DVC includes a transmitting side 10 and a receiving side 20. The transmitting side 10 includes an encoder for encoding an input video and transmitting the same through a predetermined transmission network (eg, a mobile communication network), and the receiving side 20 restores the received encoded data to reproduce an image. It includes a decoder for.

송신측(10)은 분리기(11), 인트라 인코더(12), 및 Wyner-Ziv(WZ) 인코더(13)를 포함한다. 분리기(11)는 입력 비디오를 기존의 방식으로 인코딩할 프레임과 Wyner-Ziv(WZ)로 인코딩할 프레임을 나누어서, 전자는 인트라 인코더(12)로 보내고 후자는 Wyner-Ziv 인코더(13)로 보낸다. 인트라 인코더(12)는 기존의 동영상 압축 방법에 따라서 입력 비디오를 부호화하기 위한 것으로서, 예컨대 H.264/AVC 인트라 코딩 방법에 따라서 입력 비디오를 부호화하는 인코더일 수 있다. The transmitting side 10 includes a separator 11, an intra encoder 12, and a Wyner-Ziv (WZ) encoder 13. The separator 11 divides the frame to encode the input video in the conventional manner and the frame to encode into Wyner-Ziv (WZ), the former to the intra encoder 12 and the latter to the Wyner-Ziv encoder 13. The intra encoder 12 is for encoding input video according to an existing video compression method. For example, the intra encoder 12 may be an encoder for encoding input video according to an H.264 / AVC intra coding method.

Wyner-Ziv 인코더(13)는 입력 비디오를 Wyner-Ziv로 인코딩하기 위한 것이다. Wyner-Ziv 인코더(13)는 변환 유닛(Transform, T, 13a), 양자화 유닛(Quantization, Q, 13b), 비트 정렬 유닛(Bit Ordering, 13c), 채널 인코더(Channel Encoder, 13d), 최소율 예측 유닛(Minimum Rate Estimation, 13e), 및 버퍼(Buffer, 13f)를 포함한다. 변환 유닛(13a)은 블록 단위로 변환 과정을 수행하여 변환 계수를 출력한다. 양자화 유닛(13b)은 변환 계수에 대한 양자화 과정을 수행하여 양자화 계수를 출력한다. 비트 정렬 유닛(13c)은 출력되는 양자화 계수들을 같은 주파수 계수끼리 모은 후에 비트 레벨별로 하나의 코딩 단위로 채널 인코더(13d)로 입력시킨다. 이 때, 압축 효율을 높이기 위하여 입력되는 비트들 중에서 일부 레벨의 비트만을 채널 인코더(13d)로 보낼 수도 있다. 채널 인코더(13d)에서는 입력된 비트들에 대한 채널 인코딩을 수행하는데, 채널 인코딩의 결과로 생성되는 패러티 비트(parity bits)들은 버퍼(13f)로 전달되어 저장된다. 그리고 버퍼(13f)에 저장된 패러티 비트들은 수신측(20)으로 전송된다. DISCOVER DVC는 피드백 채널을 사용하므로, 이 피드백 채널을 통해 수신측(20)으로부터 요구된 양만큼 버퍼(13f)에 저장된 패러티 비트들이 수신측(20)으로 전송된다. 마지막으로, 최소율 예측 유닛(13e)은 전송할 최소의 패러티 비트의 양을 가상 채널 모델(virtual channel model)의 정보를 이용하여 예측함으로써 재전송 횟수를 줄일 수 있도록 한다. 이러한 최소율 예측 유닛(13e)에서의 예측을 이용하면, 반복되는 재전송으로 인한 지연(delay)과 디코딩의 복잡도를 감소시킬 수가 있다. The Wyner-Ziv encoder 13 is for encoding the input video into Wyner-Ziv. Wyner-Ziv encoder 13 is a transform unit (Transform, T, 13a), quantization unit (Quantization, Q, 13b), bit ordering unit (Bit Ordering, 13c), channel encoder (Channel Encoder, 13d), minimum rate prediction Unit (Minimum Rate Estimation, 13e), and a buffer (Buffer, 13f). The transform unit 13a performs a transform process in units of blocks and outputs transform coefficients. The quantization unit 13b performs a quantization process on the transform coefficients and outputs quantization coefficients. The bit alignment unit 13c collects the output quantization coefficients among the same frequency coefficients and inputs the same quantization coefficients to the channel encoder 13d in one coding unit for each bit level. In this case, only some level bits among the input bits may be sent to the channel encoder 13d in order to increase compression efficiency. The channel encoder 13d performs channel encoding on the input bits. Parity bits generated as a result of the channel encoding are transferred to and stored in the buffer 13f. The parity bits stored in the buffer 13f are transmitted to the receiving side 20. Since the DISCOVER DVC uses a feedback channel, parity bits stored in the buffer 13f are transmitted to the receiving side 20 by the required amount from the receiving side 20 through this feedback channel. Finally, the minimum rate prediction unit 13e may reduce the number of retransmissions by predicting the minimum amount of parity bits to be transmitted using the information of the virtual channel model. By using the prediction in this minimum rate prediction unit 13e, it is possible to reduce the delay and the complexity of decoding due to repeated retransmissions.

수신측(20)은 인트라 디코더(21), 부가 정보 추출 유닛(Side Information Extraction, 22), 가상 채널 모델 유닛(Virtual Channel Model, 23), 소프트 밸류(Soft Value) 계산 유닛(24), 및 Wyner-Ziv 디코더(25)를 포함한다. 인트라 디코더(21)는 송신측(10)의 인트라 인코더(12)에서 부호화된 프레임의 비트들을 수신하여 복원한다. 부가 정보 추출 유닛(22)은 인트라 디코더(21)에서 복원된 영상을 이용하여, 송신측(10)의 Wyner-Ziv 인코더(13)에서 부호화된 프레임(Wyner-Ziv영상)에 대한 예측값인 부가 정보(Side Information, SI)를 생성한다. 예를 들어, 부가 정보 추출 유닛(22)은 인접한 두 참조 프레임간의 움직임 보상 보간(Motion Compensated Interpolation, MCI)을 통하여 주어진 Wyner-Ziv 영상에 대한 부가 정보(SI)를 획득할 수 있다. The receiving side 20 includes an intra decoder 21, a side information extraction unit 22, a virtual channel model unit 23, a soft value calculation unit 24, and a Wyner. Includes a Ziv decoder 25. The intra decoder 21 receives and restores the bits of the frame encoded by the intra encoder 12 of the transmitting side 10. The additional information extracting unit 22 uses the image reconstructed by the intra decoder 21 and additional information which is a prediction value for the frame (Wyner-Ziv image) encoded by the Wyner-Ziv encoder 13 of the transmitting side 10. Generate (Side Information, SI). For example, the additional information extraction unit 22 may obtain additional information SI for a given Wyner-Ziv image through motion compensation interpolation (MCI) between two adjacent reference frames.

가상 채널 모델 유닛(23)은 Wyner-Ziv 영상과 해당 부가 정보(SI) 사이의 차이를 가상 채널에서의 상관성 잡음(correlation noise)으로 모델링한다. 그리고 소프트 밸류 계산 유닛(24)의 변환부(T, 24a)는 부가 정보(SI)에 대하여 송신측(10)의 Wyner-Ziv 인코더(13)의 변환 유닛(13a)에서와 같은 변환 과정을 수행하여, Wyner-Ziv 영상에 대한 변환 계수를 얻는다. 그리고 소프트 밸류 계산 유닛(24)의 소프트 입력 계산부(Soft Input Computation, 24b)는 가상 채널 모델 유닛(23)에서 만들어 낸 가상 잡음에 대한 모델을 이용하여 정보 비트(information bit)에 대한 소프트 밸류(soft value)를 계산하여 출력한다.The virtual channel model unit 23 models the difference between the Wyner-Ziv image and the corresponding side information SI as correlation noise in the virtual channel. The conversion units T and 24a of the soft value calculation unit 24 perform the same conversion process as the conversion unit 13a of the Wyner-Ziv encoder 13 of the transmitting side 10 with respect to the additional information SI. The conversion coefficients for the Wyner-Ziv image are obtained. The soft input calculation unit 24b of the soft value calculation unit 24 uses the model for the virtual noise generated by the virtual channel model unit 23 to calculate the soft value for the information bit (information bit). soft value) is calculated and printed.

Wyner-Ziv 디코더(25)의 채널 디코더(25a)는 먼저 수신된 부호화된 패러티 비트들에 대한 채널 디코딩을 수행한다. 만일 채널 디코더(25a)에서 디코딩이 실패하면, 즉 수신한 패러티 비트들이 성공적인 디코딩을 보장할 수 있을 만큼 충분하지 않다면, 디코더 성공/실패부(Decoder Succ./Failure, 25b)는 피드백 채널을 통하여 더 많은 패러티 비트들은 송신측(10)에 요구한다. 그리고 디코더 성공/실패부(Decoder Succ./Failure, 25b)에서의 이러한 피드백 과정은 성공적인 디코딩이 이루어질 때까지 반복될 수 있다. 채널 디코더(25a)에서 디코딩이 성공하면, 역양자화 및 재구성부(Q-¹ and Reconst., 25c)는 우선 수신된 패러티 비트들에 대한 역양자화를 수행하고, 또한 역양자화된 패러티 비트들을 이용하여 가상 채널 모델 유닛(23)에서 계산된 가상 채널 모델과 부가 정보(SI) 계수를 참조하여 변환 계수를 재구성한다. 그리고 역변환부(T-¹, 25d)는 재구성된 변환 계수에 대하여 역변환을 수행하여 Wyner-Ziv 영상을 복원한다.The channel decoder 25a of the Wyner-Ziv decoder 25 first performs channel decoding on the received encoded parity bits. If decoding fails at the channel decoder 25a, i.e., if the received parity bits are not sufficient to ensure successful decoding, then the decoder succ./failure 25b is further transmitted through the feedback channel. Many parity bits are required of the transmitting side 10. And this feedback process in decoder succ./failure 25b can be repeated until successful decoding is achieved. If decoding is successful in the channel decoder 25a, the dequantization and reconstruction unit Q- ¹ and Reconst. 25c first performs dequantization on the received parity bits, and further uses dequantized parity bits. The transform coefficient is reconstructed with reference to the virtual channel model calculated in the virtual channel model unit 23 and the side information (SI) coefficient. The inverse transform units T- ¹ and 25d reconstruct the Wyner-Ziv image by performing inverse transform on the reconstructed transform coefficients.

이와 같이, DVC에서는 시간적 중복성을 제거하기 위한 예측을 디코더에서 수행한다. 보다 구체적으로, DVC 인코더는 기존의 비디오 코딩과는 달리 움직임 예측 및 보상(Motion Estimation & Compensation)을 수행하지 않으며, 대신에 DVC 디코더가 움직임 보상 보간(Motion Compensated Interpolation, MCI)을 수행하고 채널 모델링을 수행한다. 따라서 DVC에서는 인코더의 복잡도는 기존의 인코더에 비하여 낮은 반면에 디코더는 기존의 디코더에 비하여 복잡도가 높다. As such, in the DVC, the decoder performs prediction to remove temporal redundancy. More specifically, unlike conventional video coding, the DVC encoder does not perform motion estimation and compensation. Instead, the DVC decoder performs motion compensation interpolation (MCI) and performs channel modeling. To perform. Therefore, in DVC, the complexity of the encoder is lower than that of a conventional encoder, while the decoder is more complex than a conventional decoder.

표 1은 DISCOVER DVC에 따른 인코딩 시간과 H.264/AVC에 따른 인코딩 시간을 비교해서 보여 주는 표이고, 표 2는 DISCOVER DVC에 따른 디코딩 시간과 H.264/AVC에 따른 디코딩 시간을 비교해서 보여 주는 표이다. 표 1과 표2은 Q_i = 4, 8이고, QCIF 영상 15Hz인 경우이다. 표 1을 참조하면, 인코딩의 경우에 H.264/AVC Intra가 DISCOVER DVC보다 약 2~4배 복잡하다는 것을 알 수 있다. 그리고 표 2를 참조하면, 디코딩의 경우에는 DISCOVER DVC가 H.264/AVC Intra보다 약 300~3000배 정도 복잡한 것을 알 수 있다.Table 1 shows the comparison between the encoding time according to DISCOVER DVC and the encoding time according to H.264 / AVC. Table 2 shows the decoding time according to DISCOVER DVC and the decoding time according to H.264 / AVC. Note is a ticket. Table 1 and Table 2 show Q _i = 4, 8, and QCIF image 15 Hz. Referring to Table 1, it can be seen that H.264 / AVC Intra is about 2-4 times more complex than DISCOVER DVC in the case of encoding. And referring to Table 2, it can be seen that the DISCOVER DVC is about 300 to 3000 times more complex than the H.264 / AVC Intra in decoding.

이와 같이, DVC는 디코더의 복잡도가 상당히 높기 때문에, 전력과 계산량의 제한이 큰 모바일 기기 등에는 DVC 디코더를 적용하기가 어렵다. 전력과 계산량의 제한이 큰 모바일 기기 등에 DVC을 적용하기 위해서는, 인코더는 별론, 디코더도 가능한 단순해야 하지만, 현재의 DVC에서는 디코딩이 상대적으로 복잡하다.As described above, since the complexity of the decoder is very high, it is difficult to apply the DVC decoder to a mobile device having a large power and computational limit. In order to apply the DVC to a mobile device having a large power and computational limit, the encoder must be as simple as possible, but the decoder is relatively complex in the current DVC.

본 발명이 해결하고자 하는 하나의 과제는 인코더는 물론 디코더의 복잡도를 감소시킬 수 있는 분산 비디오 코딩을 위한 비트스트림의 재구성 방법과 장치 및 DVC 디코딩 방법과 장치를 제공하는 것이다.One object of the present invention is to provide a method and apparatus for reconstructing a bitstream and a DVC decoding method and apparatus for distributed video coding, which can reduce the complexity of an encoder as well as a decoder.

본 발명이 해결하고자 하는 다른 하나의 과제는 지연을 최소화할 수 있을 뿐만 아니라 화질의 열화를 방지할 수 있는 분산 비디오 코딩을 위한 비트스트림의 재구성 방법과 장치 및 DVC 디코딩 방법과 장치를 제공하는 것이다.Another object of the present invention is to provide a method and apparatus for reconstructing a bitstream and a DVC decoding method and apparatus for distributed video coding that can minimize delay and prevent degradation of image quality.

본 발명의 일 실시예에 따른 분산 비디오 코딩(Distributed Video Coding, DVC)을 위한 비트스트림 재구성 방법은 우선 DVC 인코더로부터 수신된 DVC 비트스트림과 기존 비트스트림을 디코딩하여 영상을 복원한다. 그리고 복원된 영상을 이용하여 현재 영상에 대한 움직임 정보를 계산한 다음, 계산된 움직임 정보를 이용하여 생성된 제1 부가 정보 영상과 현재 영상과의 차이값을 기존의 DVC 디코딩 방 법에 따라 생성된 제2 부가 정보 영상과 현재 영상과의 차이값과 비교하여 새로운 데이터 전송율을 결정한다. 그리고 결정된 전송율에 따라서 수신된 DVC 비트스트림을 재구성하여 DVC 디코더로 전송한다. A bitstream reconstruction method for distributed video coding (DVC) according to an embodiment of the present invention first reconstructs an image by decoding a DVC bitstream and an existing bitstream received from a DVC encoder. The motion information of the current video is calculated using the reconstructed video, and the difference value between the first additional information video generated using the calculated motion information and the current video is generated according to a conventional DVC decoding method. The new data rate is determined by comparing the difference value between the second additional information image and the current image. The received DVC bitstream is reconstructed according to the determined rate and transmitted to the DVC decoder.

상기 실시예의 일 측면에 의하면, 데이터 전송율을 결정하는 단계에서는 차이값의 분포의 차이를 이용하여 새로운 데이터 전송율을 결정할 수 있다. 그리고 재구성된 DVC 비트스트림을 전송할 때, 상기 움직임 정보도 함께 전송할 수 있다. 또한, 기존 비트스트림은 전부 그대로 상기 DVC 디코더로 전송하거나 또는 기존 비트스트림의 일부는 DVC 인코딩하여 재구성된 DVC 비트스트림에 함께 포함시켜서 전송하고, 나머지 일부는 그대로 DVC 디코더로 전송할 수 있다. According to an aspect of the embodiment, in the step of determining the data rate, a new data rate may be determined using the difference in the distribution of the difference values. When transmitting the reconstructed DVC bitstream, the motion information can also be transmitted. In addition, the existing bitstream may be transmitted to the DVC decoder as it is, or part of the existing bitstream may be included together in the reconstructed DVC bitstream by DVC encoding and transmitted, and the other part may be transmitted to the DVC decoder as it is.

상기한 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 분산 비디오 코딩(Distributed Video Coding, DVC)을 위한 비트스트림 재구성 장치는 디코딩부, 움직임 추정부, 전송율 결정부, 및 비트스트림 재구성부를 포함한다. 디코딩부는 송신단으로부터 수신된 DVC 비트스트림과 기존 비트스트림을 디코딩하여 영상을 복원한다. 움직임 추정부는 복원된 영상을 이용하여 현재 영상에 대한 움직임 정보를 계산한다. 전송율 결정부는 움직임 정보를 이용하여 생성된 제1 부가 정보 영상과 현재 영상과의 차이값을 기존의 DVC 디코딩 방법에 따라 생성된 제2 부가 정보 영상과 현재 영상과의 차이값과 비교하여 새로운 데이터 전송율을 결정한다. 그리고 비트스트림 재구성부는 결정된 전송율에 따라서 DVC 비트스트림을 재구성하여 수신단으로 전송한다. In accordance with an aspect of the present invention, a bitstream reconstruction apparatus for distributed video coding (DVC) includes a decoder, a motion estimation unit, a rate determiner, and a bitstream reconstruction unit. do. The decoding unit decodes the DVC bitstream and the existing bitstream received from the transmitter to reconstruct the image. The motion estimator calculates motion information on the current image by using the reconstructed image. The data rate determining unit compares the difference value between the first additional information image generated using the motion information and the current image with the difference value between the second additional information image generated according to the conventional DVC decoding method and the current image, thereby generating a new data rate. Determine. The bitstream reconstruction unit reconstructs and transmits the DVC bitstream to the receiver according to the determined transmission rate.

상기 실시예의 일 측면에 의하면, 전송율 결정부는 차이값의 분포의 차이를 이용하여 새로운 데이터 전송율을 결정할 수 있다. 그리고 비트스트림 재구성부는 DVC 비트스트림을 전송할 때 움직임 정보도 함께 전송할 수 있다. 또한, 비트스트림 재구성부는 기존 비트스트림은 전부 그대로 수신단으로 전송하거나 또는 기존 비트스트림의 일부는 DVC 인코딩하여 재구성된 DVC 비트스트림에 함께 포함시켜서 전송하고, 나머지 일부는 그대로 수신단으로 전송할 수 있다. According to one aspect of the embodiment, the rate determining unit may determine a new data rate by using the difference in the distribution of the difference value. The bitstream reconstruction unit may also transmit motion information when transmitting the DVC bitstream. In addition, the bitstream reconstruction unit may transmit all the existing bitstreams as they are, or include a portion of the existing bitstreams in the reconstructed DVC bitstream by DVC encoding and transmit the remaining bitstreams to the receiver.

본 발명의 실시예에 따른 비트스트림 재구성 방법과 장치를 이용하면, DVC을 이용하므로 인코더의 부담을 최소화할 수 있을 뿐만 아니라 디코더에서의 연산도 최소화할 수 있다. 따라서 전력과 계산량이 제한이 큰 모바일 기기 등에서 본 발명의 실시예에 따른 비트스트림 재구성 방법과 장치가 유용하게 이용될 수 있다. 그리고 본 발명의 실시예에 의하면, 간단한 방법으로 비트스트림을 재구성할 수 있으므로, 변환 등에 따른 전송의 지연을 최소화할 수 있다. 뿐만 아니라, 본 발명의 실시예에 의하면, 이중 양자화에 따른 영상의 왜곡이나 변환이나 필터 등의 차이로 인하여 화질이 열화되는 것을 방지할 수 있다. By using the bitstream reconstruction method and apparatus according to the embodiment of the present invention, since the DVC is used, not only the burden on the encoder can be minimized but also the operation in the decoder can be minimized. Therefore, the bitstream reconstruction method and apparatus according to the embodiment of the present invention may be usefully used in a mobile device having a large power and a large amount of calculation. In addition, according to the embodiment of the present invention, since the bitstream can be reconstructed in a simple manner, the transmission delay due to the conversion can be minimized. In addition, according to an embodiment of the present invention, it is possible to prevent deterioration in image quality due to distortion, transformation, or filter of an image due to double quantization.

이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세하게 설명한다. 사용되는 용어들은 실시예에서의 기능을 고려하여 선택된 용어들로서, 그 용어의 의미는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 후술 하는 실시예들에서 사용된 용어의 의미는, 본 명세서에 구체적으로 정의된 경우에는 그 정의에 따르며, 구체적인 정의가 없는 경우는 당업자들이 일반적으로 인식하는 의미로 해석되어야 할 것이다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. The terms used are terms selected in consideration of functions in the embodiments, and the meaning of the terms may vary depending on the intention or custom of the user or operator. Therefore, the meaning of the terms used in the embodiments to be described later, according to the definition if specifically defined herein, and if there is no specific definition should be interpreted to mean generally recognized by those skilled in the art.

전술한 바와 같이, DVC는 연산 능력이나 가용 전력에 제한이 큰 모바일 기기 등에 적용하기 어렵다. 이러한 제한을 극복하기 위하여 제시된 한 가지 방법은, DVC로 인코딩된 비트스트림을 기존의 동영상 압축 코딩에 따른 비트스트림으로 트랜스코딩(transcoding)하여 수신 단말로 전송하는 것이다. 예를 들어, 중계기나 서버 등에서는 송신 단말로부터 수신된 DVC 비트스트림을 H.26x로 트랜스코딩한 다음, 생성된 H.26x 비트스트림을 수신 단말로 전송할 수 있다. 이에 의하면, 송신 단말은 상대적으로 낮은 복잡도를 갖는 DVC 인코더로 영상을 부호화할 수 있고, 수신 단말도 낮은 복잡도를 갖는 기존의 동영상 압축 코딩을 위한 디코더(예컨대, H.264/AVC 디코더)를 구비하면 된다. 따라서 모바일 기기는 상대적으로 복잡도가 낮은 DVC 인코더와 기존의 디코더를 구비하므로, 연산 능력이나 가용 전력의 제한으로부터 벗어날 수 있다. 그런데, 이러한 트랜스코딩을 이용하는 방법에 의하면, 화질 열화와 전송 지연이라는 다른 문제가 발생할 수가 있는데, 이하 DVC 비트스트림을 H.264 비트스트림으로 트랜스코딩하는 경우를 예로 들어서 이러한 문제에 대하여 보다 구체적으로 설명한다.As described above, DVC is difficult to be applied to mobile devices and the like, which have a large limit on computing power or available power. One method proposed to overcome this limitation is to transcode the DVC encoded bitstream into a bitstream according to the existing video compression coding and transmit it to the receiving terminal. For example, a repeater or a server may transcode the DVC bitstream received from the transmitting terminal into H.26x and then transmit the generated H.26x bitstream to the receiving terminal. According to this, if a transmitting terminal can encode an image with a DVC encoder having a relatively low complexity, and the receiving terminal also has a decoder for encoding a conventional video compression coding having a low complexity (eg, an H.264 / AVC decoder), do. Therefore, since the mobile device has a relatively low complexity DVC encoder and a conventional decoder, the mobile device can be freed from the limitations of computing power or available power. However, according to the method using such transcoding, other problems such as deterioration of image quality and transmission delay may occur. Hereinafter, this problem will be described in more detail by taking a case of transcoding a DVC bitstream into an H.264 bitstream. do.

MPEG-2 비트스트림을 디코딩한 후에 H.264/AVC로 다시 인코딩을 할 경우에, 양자화를 다시 수행함으로써 생기는 손실과 두 개의 코딩에서 사용하는 필터의 차 이에 따른 에러가 발생하게 되어서, 트랜스코딩된 영상은 일반적으로 화질의 열화가 발생하게 된다. DVC의 경우에, MPEG-2와 같이 인코딩/디코딩 방법이 구체적으로 정해져서 표준 프로세스가 확정되어 있지는 않지만, DVC 비트스트림을 H.264/AVC로 트랜스코딩을 할 경우에는 MPEG-2의 경우와 마찬가지로 화질 열화가 발생하는 것을 피하기는 어렵다.If the MPEG-2 bitstream is decoded in H.264 / AVC again, the loss caused by performing quantization again and an error between the filters used in the two codings are generated. In general, deterioration of image quality occurs. In the case of DVC, the encoding / decoding method is specifically determined as in MPEG-2, and the standard process is not determined. However, when transcoding a DVC bitstream to H.264 / AVC, the quality is the same as in the case of MPEG-2. It is difficult to avoid deterioration.

도 2는 기존의 DVC 프로세스를 이용하는 DVC 비트스트림을 H.264/AVC로 트랜스코딩하기 위한 시스템의 구조를 보여 주는 블록도이다. 도 2를 참조하면, DVC 디코더(Decoder)에서의 디코딩은 역양자화 과정(Inverse Quantizer)과 역변환 과정(Inverse Transform)을 포함한다. 또한, H.264/AVC 인코더(Encoder)에서의 인코딩은 다시 변환 과정(Interger Transform)과 양자화 과정(Quantization)을 포함한다. 이러한 과정을 통해서 DVC로부터 H.264/AVC로 트랜스코딩을 하게 되면, 양자화를 다시 수행하는 과정에서 발생되는 손실과 변환 과정에서 사용된 필터의 차이에 따른 손실, 및/또는 움직임 예측을 수행하는 과정에서 사용된 필터의 차이에 따른 에러가 발생할 수 밖에 없다. 따라서 트랜스코딩을 이용할 경우에는, 비록 디코더에서의 복잡도는 낮출 수가 있지만, 송신 단말에서 수신 단말로 전송하려고 했던 영상의 품질은 나빠질 수 밖에 없다.2 is a block diagram showing the structure of a system for transcoding a DVC bitstream using H.264 / AVC using an existing DVC process. Referring to FIG. 2, the decoding in the DVC decoder includes an inverse quantization process and an inverse transform process. In addition, the encoding in the H.264 / AVC encoder (Incoder) again includes a transform (Interger Transform) and the quantization (Quantization). When transcoding from DVC to H.264 / AVC through this process, a process of performing loss prediction and / or motion prediction according to the loss generated during quantization again and the difference of the filter used in the conversion process Error due to the difference of the filter used in the Therefore, in the case of using transcoding, although the complexity at the decoder can be lowered, the quality of the image that is to be transmitted from the transmitting terminal to the receiving terminal is deteriorated.

그리고 DVC 비트스트림을 H.264/AVC로 트랜스코딩을 하는 경우에, DVC 디코딩과 H.264/AVC 인코딩 과정을 거쳐야 한다. 표 1과 표 2를 참조하여 전술한 바와 같이, DVC 디코딩과 H.264/AVC 인코딩은 모두 계산이 복잡하고 연산량도 많아서 시간이 상대적으로 많이 소요된다. 따라서 트랜스코딩을 이용할 경우에는 필연적으 로 전송 지연이 발생할 수 밖에 없다. In case of transcoding the DVC bitstream into H.264 / AVC, the DVC decoding and H.264 / AVC encoding process must be performed. As described above with reference to Tables 1 and 2, DVC decoding and H.264 / AVC encoding are both computationally complicated and computationally expensive, thus requiring a relatively large amount of time. Therefore, when using transcoding, transmission delay inevitably occurs.

도 3은 서비스의 특징과 에러에 대한 민감도에 따른 구분을 나타낸다. 도 3을 참조하면, 대화형 서비스나 스트리밍 서비스와 같은 경우에는 지연에 매우 민감한 것을 알 수 있다. 그리고 화상폰 같은 대화형 서비스의 경우에는 종단간(end-to-end) 지연이 150ms 이하가 되어야 하고, VOD와 스트리밍 서비스의 경우에는 지연이 10초 이하이어야 한다. 만일, 지연이 기준치 이상으로 발생할 경우에는 에러로 간주되게 된다. 따라서 DVC 비트스트림을 H.264/AVC로 트랜스코딩하는 방법은 현실적으로 상당한 시간이 소요되므로 모바일 기기를 이용한 여러 가지 서비스에 그대로 적용하기가 어렵다.3 shows the classification according to the characteristics of the service and the sensitivity to the error. Referring to FIG. 3, it can be seen that in the case of an interactive service or a streaming service, the delay is very sensitive. In the case of an interactive service such as a videophone, the end-to-end delay should be 150 ms or less, and in the case of VOD and streaming services, the delay should be 10 seconds or less. If the delay occurs above the reference value, it is regarded as an error. Therefore, the method of transcoding a DVC bitstream to H.264 / AVC takes a considerable time in reality, so it is difficult to apply it to various services using mobile devices.

트랜스코딩을 이용할 경우에 나타나는 화질의 열화나 전송 지연의 문제를 해결할 수 있도록, 본 발명의 실시예에서는 중계기나 서버에서 트랜스코딩을 하지 않고 비트스트림 재구성기를 이용하여 DVC 비트스트림을 재구성한 다음, 재구성된 비트스트림을 DVC 디코더로 전송한다. 보다 구체적으로, 본 발명의 실시예에 의하면, 비트스트림 재구성기가 먼저 움직임 정보(예컨대, 움직임 벡터)를 이용하여 부가 정보(side Information, SI)를 구성한 다음, 이를 이용하여 비트량 예측(rate estimation)을 수행한다. 그리고 예측된 비트량에 기초하여 비트스트림을 재구성하며, 재구성된 비트스트림을 움직임 정보와 함께 DVC 디코더로 전송한다. 이에 의하면, DVC 디코더는 수신한 움직임 정보를 이용하여 부가 정보(SI)를 생성하기 때문에, 기존의 DVC 디코더에 비하여 복잡도를 감소시킬 수가 있을 뿐만 아니라, 부가 정보의 품질이 높아서 적은 패러티 비트를 이용해도 일정 수준 이상의 품질을 갖는 영상을 디코딩할 수 있다. 이러한 본 발명의 실시예에 의하면, 높은 압축 효율을 달성할 수 있을 뿐만 아니라 화질의 열화를 방지할 수가 있다. 그리고 인코딩된 비트스트림을 디코딩하지 않고 단순히 재구성하기 때문에, 트랜스코딩을 이용하는 방법에 비하여 지연도 감소된다.In the embodiment of the present invention, the DVC bitstream is reconstructed by using a bitstream reconstructor without transcoding in a repeater or a server so as to solve a problem of deterioration or transmission delay caused by using transcoding. The transmitted bitstream to the DVC decoder. More specifically, according to an embodiment of the present invention, the bitstream reconstructor first configures side information (SI) using motion information (eg, a motion vector), and then uses bit estimation to estimate bit rate. Do this. The bitstream is reconstructed based on the predicted bit amount, and the reconstructed bitstream is transmitted along with the motion information to the DVC decoder. According to this, since the DVC decoder generates the additional information (SI) using the received motion information, not only can the complexity be reduced as compared to the conventional DVC decoder, but the quality of the additional information is high, so that a small amount of parity bits can be used. It is possible to decode an image having a certain level or more of quality. According to this embodiment of the present invention, not only high compression efficiency can be achieved but also deterioration of image quality can be prevented. And since the encoded bitstream is simply reconstructed without decoding, the delay is also reduced compared to the method using transcoding.

도 4는 본 발명의 일 실시예에 따른 비트스트림 재구성 장치의 구성의 일례를 보여 주는 블록도이다. 도 4를 참조하면, 비트스트림 재구성 장치(100)는 DVC 디코더(110), 움직임 추정부(Motion Estimation, 120), 기존 디코더(Conventional Video Coding Decoder, 130), 및 비트스트림 재구성부(Bit Stream Reorganization, 140)를 포함한다. 4 is a block diagram illustrating an example of a configuration of a bitstream reconstruction apparatus according to an embodiment of the present invention. Referring to FIG. 4, the bitstream reconstruction apparatus 100 includes a DVC decoder 110, a motion estimation unit 120, a conventional video coding decoder 130, and a bitstream reorganization unit. , 140).

DVC 디코더(110)는 수신된 DVC 비트스트림(bit stream)에 대한 DVC 디코딩을 수행하여 영상, 예컨대 인터 픽쳐(inter picture)를 복원한다. DVC 디코더(110)의 구성은 특별한 제한이 없는데, DVC 인코더의 구성에 따라서 달라질 수 있다. 예를 들어, DVC 디코더(110)는 도 1을 참조하여 전술한 DISCOVER DVC의 수신측(20)의 일부와 동일한 구성이 될 수 있다. 그리고 움직임 추정부(120)는 DVC 디코더(110)에서 복원된 인터 픽쳐에 대한 움직임 예측(Motion Estimation)을 수행하여, 움직임 벡터(Motion Vector, MV)를 구한다. 움직임 예측을 위한 참조 영상은 예컨대, 기존 디코더(130)에서 복원된 인트라 픽쳐나 또는 DVC 디코더(110)에서 복원된 인터 픽쳐일 수 있다.The DVC decoder 110 performs DVC decoding on the received DVC bit stream to reconstruct an image, for example, an inter picture. The configuration of the DVC decoder 110 is not particularly limited and may vary depending on the configuration of the DVC encoder. For example, the DVC decoder 110 may have the same configuration as a part of the receiving side 20 of the DISCOVER DVC described above with reference to FIG. 1. The motion estimator 120 performs motion estimation on the inter picture reconstructed by the DVC decoder 110 to obtain a motion vector (MV). The reference picture for motion prediction may be, for example, an intra picture reconstructed by the existing decoder 130 or an inter picture reconstructed by the DVC decoder 110.

기존 디코더(130)는 기존의 영상 부호화 방법(예컨대, H.264/AVC의 인트라 코딩 방법)에 따라 부호화된 비트스트림(Conventional video coding bitstream)에 대한 디코딩을 수행하여 영상, 예컨대 인트라 픽쳐(또는 키 프레임)를 복원한다. 그리고 기존 디코더(130)는, 기존의 DVC 디코더에서와 같이, 복원된 인트라 픽쳐 및/또는 인터 픽쳐를 이용하여 MCI를 수행하여, 부가 정보(Side Information, SI) 영상을 구한다. 부가 정보(SI) 영상을 구하는 과정은 기존 디코더(130)가 아닌 별도의 유닛에서 수행될 수 있는데(도 1 참조), 이에 대한 구체적인 설명은 생략한다. The existing decoder 130 decodes a conventional video coding bitstream according to an existing video encoding method (eg, H.264 / AVC), thereby decoding an image such as an intra picture (or a key). Frame). As in the conventional DVC decoder, the existing decoder 130 performs MCI using the reconstructed intra picture and / or inter picture to obtain a side information (SI) image. The process of obtaining the additional information (SI) image may be performed in a separate unit instead of the existing decoder 130 (see FIG. 1), and a detailed description thereof will be omitted.

계속해서, 비트스트림 재구성부(140)는 움직임 예측부(120)로부터 수신된 움직임 벡터(MV)를 이용하여 구한 제1 부가 정보(SI) 영상과 종래의 DVC 알고리즘에 따라 구한 제2 부가 정보(SI) 영상을 이용하여, 디코더쪽으로 전송해야 할 비트량을 결정한다. 예를 들어, 비트스트림 재구성부(140)는 제1 부가 정보(SI) 영상과 디코딩된 영상 사이의 차이값의 분포와 제2 부가 정보(SI) 영상을 이용하여 구한 차이값의 분포를 비교한 다음, 이를 기초로 하여 디코더쪽으로 전송할 비트량을 적절하게 결정 또는 예측할 수 있다. 그리고 비트스트림 재구성부(140)는 예측된 비트량에 따라서 DVC 비트스트림을 재구성한 다음, 재구성된 DVC 비트스트림를 디코더단으로 전송한다. 실시예에 따라서는, 비트스트림 재구성부(140)는 움직임 정보(예컨대, 움직임 벡터)도 디코더단으로 전송할 수도 있다. Subsequently, the bitstream reconstruction unit 140 obtains the first additional information (SI) image obtained by using the motion vector (MV) received from the motion predictor 120 and the second additional information obtained according to the conventional DVC algorithm ( SI) is used to determine the amount of bits to be transmitted to the decoder. For example, the bitstream reconstruction unit 140 compares the distribution of the difference between the first side information (SI) image and the decoded image and the distribution of the difference value obtained using the second side information (SI) image. Then, based on this, the amount of bits to be transmitted to the decoder can be appropriately determined or predicted. The bitstream reconstruction unit 140 reconstructs the DVC bitstream according to the predicted bit amount, and then transmits the reconstructed DVC bitstream to the decoder. According to an embodiment, the bitstream reconstruction unit 140 may also transmit motion information (eg, a motion vector) to the decoder.

전술한 바와 같이, 제1 부가 정보(SI) 영상은 디코딩된 영상에 대한 움직임 정보(예컨대, MV)를 이용하여 구한 것이며, 제2 부가 정보(SI) 영상은 MCI를 수행하여 구한 것이다. 따라서 제2 부가 정보(SI) 영상에 비하여 제1 부가 정보(SI) 영상이 보다 복원된 영상과의 정합도가 높아서 두 영상 사이의 차이가 더 작다. 이러한 사실은 부가 정보(SI) 영상과 복원된 영상과의 차이값의 분포를 통해서도 확인할 수 있다. As described above, the first additional information (SI) image is obtained by using motion information (eg, MV) for the decoded image, and the second additional information (SI) image is obtained by performing MCI. Accordingly, the difference between the two images is smaller because the matching of the first additional information (SI) image with the reconstructed image is higher than that of the second additional information (SI) image. This fact can also be confirmed through the distribution of difference values between the additional information (SI) image and the reconstructed image.

도 5a는 움직임 정보를 이용한 경우의 부가 정보(SI) 영상과 복원된 영상과의 차이값의 분포를 보여 주는 그래프이고, 도 5b는 움직임 정보를 이용하지 않은 경우의 부가 정보(SI) 영상과 복원된 영상과의 차이값의 분포를 보여 주는 그래프이다. 도 5a 및 도 5b를 참조하면, 전자의 경우가 후자의 경우에 비하여 보다 좁은 범위에서 차이값들이 분포되어 있다는 것을 알 수 있다. 차이값들의 분포가 좁아지면, 일정한 화질 이상의 영상을 복원하기 위하여, 디코더쪽으로 전송해야 할 데이터의 양은 그 만큼 줄어들 수 있다.FIG. 5A is a graph illustrating a distribution of difference values between an SI image and a reconstructed image when motion information is used, and FIG. 5B is an additional information (SI) image and reconstruction when no motion information is used. It is a graph showing the distribution of difference values with the captured image. Referring to FIGS. 5A and 5B, it can be seen that difference values are distributed in a narrower range in the former case than in the latter case. If the distribution of the difference values is narrowed, the amount of data to be transmitted to the decoder can be reduced by that amount in order to reconstruct an image of a certain quality or higher.

이와 같이, 비트스트림 재구성부(140)는, 제1 부가 정보(SI) 영상을 이용할 경우 나타나는 차이값의 분포와 제2 부가 정보(SI) 영상을 이용할 경우에 나타나는 차이값의 분포의 변화에 기초하여, DVC 디코더로 전송할 비트량을 결정할 수 있다. 예를 들어, 차이값의 분포가 더 좁아진 경우에는, 이를 이용하여 전송해야 할 패러티 비트의 양을 줄일 수가 있다. 이 경우에 차이값의 분포가 변화된 정도(좁아진 정도)를 반영하여, 감소되는 패러티 비트의 비율을 결정할 수도 있다.As described above, the bitstream reconstruction unit 140 is based on the change of the distribution of the difference value that appears when the first additional information (SI) image is used and the distribution of the difference that appears when the second additional information (SI) image is used. Thus, the bit amount to be transmitted to the DVC decoder can be determined. For example, when the distribution of the difference value is narrower, the amount of parity bits to be transmitted can be reduced by using this. In this case, the ratio of the parity bits to be reduced may be determined by reflecting the degree to which the distribution of the difference values are changed (narrowed).

수학식 1은 디코딩된 영상과 부가 정보(SI) 영상 사이의 상관도를 나타내는 식으로서, 라플라시안(Laplacian) 모델, 즉 f(WZ-SI)을 통하여 근사화된 차분 값의 라플라시안 분포(Laplacian Distribution)를 나타낸다. 수학식 1에서 WZ는 DVC로 디코딩된 영상을 나타내며, SI는 부가 정보(SI) 영상을 나타낸다. 수학식 1의 라플라시안 모델에 따른 그래프는 알파(α)값에 따라서 달라질 수 있다. 수학식 2는 수학식 1에서 모델링된 SI와 WZ 사이의 상관도 분포를 이용하여 비트율(R_min(D^X))을 결정하는 것을 나타내는 식이다. 수학식 2에서 D^X는 양자화 상수의 값에 따라 결정되는 값이다. Equation 1 represents a correlation between the decoded image and the side information (SI) image, and Laplacian Distribution of the difference value approximated through a Laplacian model, f (WZ-SI) Indicates. In Equation 1, WZ denotes an image decoded by DVC, and SI denotes an additional information (SI) image. The graph according to the Laplacian model of Equation 1 may vary depending on the alpha (α) value. Equation 2 is an expression representing determining the bit rate (R _min (D ^X )) by using the correlation distribution between SI and WZ modeled in Equation 1. In Equation 2, D ^X is a value determined according to the value of the quantization constant.

도 6은 비트스트림 재구성부(140)에서 비트스트림을 재구성하여 전송하는 일례를 도식적으로 보여 주는 도면이다. 도 6에 도시된 예는 터보 코딩에서 기존의 펑쳐링 비율이 0.5이고, 움직임 예측을 수행하기 전(σ₁)과 움직임 예측을 수행한 후(σ₂)의 비율(

)이 0.5인 경우이다. 도 6을 참조하면, 비트스트림 재구성부(140)는 펑쳐링 비율을 기존의 0.5에서 0.25(0.5*0.5)로 변경하여 재구성된 비트스트림을 DVC 디코더로 전송한다. 그리고 이 경우에, 비트스트림 재구성부(140)는 움직임 정보(예컨대, 움직임 벡터(MV))도 함께 DVC 디코더로 전송할 수 있다. 6 is a diagram schematically showing an example of reconstructing and transmitting a bitstream in the bitstream reconstruction unit 140. In the example illustrated in FIG. 6, the conventional puncturing ratio is 0.5 in turbo coding, and the ratio of (before performing motion prediction (σ ₁ ) and after performing motion prediction (σ ₂ ) (

) Is 0.5. Referring to FIG. 6, the bitstream reconstruction unit 140 transmits the reconstructed bitstream to the DVC decoder by changing the puncturing ratio from 0.5 to 0.25 (0.5 * 0.5). In this case, the bitstream reconstruction unit 140 may also transmit motion information (eg, a motion vector (MV)) to the DVC decoder.

이러한 본 발명의 실시예에 의하면, 비록 움직임 정보(MV)가 추가로 DVC 디코더로 전송되지만, 전송되는 패러티 비트의 양이 더 많이 줄기 때문에, DVC 디코 더로 전송되는 데이터의 양은 전체적으로 감소할 수 있다. 또한, DVC 디코더는 움직임 정보를 이용하여 부가 정보(SI) 영상을 생성할 수도 있다. 이 경우에, DVC 디코더는 추가적으로 MCI를 수행할 필요가 없을 뿐만 아니라 보다 오차가 적은 부가 정보(SI) 영상을 얻을 수가 있다. 따라서 DVC 디코더는 보다 적은 데이터를 가지고서도 보다 우수한 화질의 영상을 복원할 수 있다.According to this embodiment of the present invention, although the motion information (MV) is further transmitted to the DVC decoder, the amount of data transmitted to the DVC decoder can be reduced as a whole because the amount of parity bits transmitted is larger. Also, the DVC decoder may generate additional information (SI) image using the motion information. In this case, the DVC decoder does not need to perform MCI additionally, and may obtain additional information (SI) image with less error. Therefore, the DVC decoder can reconstruct a higher quality image with less data.

도 7과 도 8은 각각 본 발명의 다른 실시예에 따른 비트스트림 재구성 장치를 포함하는 시스템의 구성의 일례를 보여 주는 블록도이다. 도 7과 도 8에 도시된 시스템은 수신된 비트스트림(DVC 비트스트림과 기존의 방식으로 인코딩된 비트스트림(이하, 키 프레임 비트스트림(key frame bitstream)이라 한다)을 모두 포함한다)을 디코딩하기 위한 디코딩 장치(DVC)가 비트스트림 재구성 장치(bitstream reorganizer)와는 독립된 별도의 구성 요소라는 점에서, 도 4를 참조하여 전술한 실시예와 차이가 있다. 그러나 도 7과 도 8에 도시된 예에서 비트스트림 재구성 장치(bitstream reorganizer)와 디코딩 장치(DVC)의 구분은 단지 논리적인 것이며, 물리적으로는 통합되어 하나로 구현되거나 또는 각각 분리되어 별개로 구현될 수 있다. 또한, 도 7은 키 프레임을 그대로 전송하는 경우의 시스템이며, 도 8은 키 프레임을 선택적으로 DVC로 인코딩하여 전송하는 경우의 시스템이라는 점에서 차이가 있다. 7 and 8 are each a block diagram showing an example of the configuration of a system including a bitstream reconstruction apparatus according to another embodiment of the present invention. The system shown in Figures 7 and 8 decodes the received bitstream (including both the DVVC bitstream and the conventionally encoded bitstream (hereinafter referred to as the key frame bitstream)). The decoding device (DVC) is a separate component from the bitstream reorganizer, which is different from the above-described embodiment with reference to FIG. 4. However, in the examples shown in FIGS. 7 and 8, the distinction between the bitstream reorganizer and the decoding device (DVC) is merely logical, and may be physically integrated and implemented as one, or separately and separately. have. In addition, FIG. 7 is a system in which a key frame is transmitted as it is, and FIG. 8 is a system in which a key frame is selectively encoded and transmitted in DVC.

도 7 및 도 8을 참조하면, 비트스트림의 재구성을 위한 시스템은 디코딩 장치(DVC)와 비트스트림 재구성기(bitstream reorganizer)를 포함한다. 디코딩 장치는 DVC 디코더(210, 310)와 기존 디코더(Conventional Video Coding Decoder, 230, 330)을 포함한다. 그리고 비트스트림 재구성기는 움직임 추정부(220, 320)와 비트스트림 재구성부(Bit Stream Reorganization, 240, 340)를 포함한다. 각 구성요소들의 기능은 도 4를 참조하여 위에서 상세하게 설명하였으므로, 여기에서는 불필요한 중복 설명은 생략한다. 여기에서 설명되지 않은 사항은 도 4를 참조하여 설명한 사항이 동일하게 적용될 수 있다.7 and 8, a system for reconstruction of a bitstream includes a decoding device (DVC) and a bitstream reorganizer. The decoding apparatus includes DVC decoders 210 and 310 and conventional video coding decoders 230 and 330. The bitstream reconstructor includes a motion estimator 220 and 320 and a bitstream reorganization unit 240 and 340. Since functions of the respective components have been described in detail above with reference to FIG. 4, unnecessary redundant descriptions are omitted here. In the matters not described herein, the matters described with reference to FIG. 4 may be equally applied.

도 7 및 도 8을 참조하면, 디코딩 장치(210, 230, 310, 330)는 디코딩된 영상(Decoded frame)과 비트스트림(DVC bitstream), 그리고 채널 정보(channel info.)를 비트스트림 재구성기로 전달한다. 비트스트림 재구성기로 전달된 비트스트림과 디코딩된 영상 등은 프레임 저장부(Frame store, 215, 315)에 저장된다. 프레임 저장부(215, 315)는 디코딩된 복원된 프레임을 저장하기 위한 저장 수단으로서, 저장된 영상은 움직임 예측이나 MCI 등에서 참조 프레임으로 이용될 수 있다. 움직임 추정부(Motion estimation, 220, 320)는 프레임 저장부(215, 315)에 저장되어 있는 영상을 이용하여 움직임 예측을 수행하고, 그 결과(움직임 정보)를 전송율 결정부(Rate Estimation, 242, 342)로 전달한다. 전송율 결정부(242, 342)는 전달 받은 움직임 정보를 이용하여, DVC 디코더로 전송할 비트량 예측을 수행한다. 그리고 비트스트림 재구성부(244, 344)는 결정된 비트량 비율에 따라서 비트스트림을 재구성한 다음, 재구성된 비트스트림을 움직임 정보와 함께 DVC 디코더로 전송한다. 7 and 8, the decoding apparatuses 210, 230, 310, and 330 deliver a decoded frame, a bitstream, and channel information to a bitstream reconstructor. do. The bitstream and the decoded image transmitted to the bitstream reconstructor are stored in the frame stores 215 and 315. The frame storage units 215 and 315 are storage means for storing decoded reconstructed frames. The stored images may be used as reference frames in motion prediction or MCI. The motion estimation units 220 and 320 perform motion prediction using images stored in the frame storage units 215 and 315, and transmit the result (motion information) to the rate estimator 242. 342). The rate determining units 242 and 342 perform bit amount prediction to be transmitted to the DVC decoder by using the received motion information. The bitstream reconstruction units 244 and 344 reconstruct the bitstream according to the determined bit rate ratio, and then transmit the reconstructed bitstream together with the motion information to the DVC decoder.

도 7의 경우에 키 프레임 중에서 일부는 DVC 인코더(DVC encoder, 350)에서 선택적으로 DVC 인코딩되어서 DVC 디코더로 전송되고, 나머지 일부는 그대로 DVC 디코더로 전송된다. 반면, 도 8의 경우에는 도 4의 경우와 마찬가지로 모든 키 프레임이 그대로 DVC 디코더로 전송된다. 따라서 도 7에 의하면, DVC 디코더로 전송되는 키 프레임의 숫자를 감소시킬 수가 있다. In the case of FIG. 7, some of the key frames are selectively DVC-encoded in the DVC encoder 350 to be transmitted to the DVC decoder, and others are transmitted to the DVC decoder as it is. On the other hand, in the case of FIG. 8, all key frames are transmitted to the DVC decoder as in FIG. 4. Therefore, according to FIG. 7, the number of key frames transmitted to the DVC decoder can be reduced.

도 9는 본 발명의 일 실시예에 따른 비트스트림 재구성기(bitstream reorganization)의 구성의 일례를 보여 주는 블록도이다. 도 9에 도시된 비트스트림 재구성기는 도 4, 도 7, 또는 도 8에 도시된 비트스트림 재구성 장치의 구성과 동일하거나 또는 그 일부일 수 있다. 9 is a block diagram illustrating an example of a configuration of a bitstream reorganization according to an embodiment of the present invention. The bitstream reconstructor illustrated in FIG. 9 may be the same as or part of the configuration of the bitstream reconstruction apparatus illustrated in FIGS. 4, 7, or 8.

도 9를 참조하면, 비트스트림 재구성기는 비트율 조절기(Rate Controller, 442)와 펑처링 비율 조절기(Puncturing rate controller, 444)를 포함한다. 비트율 조절기(442)는 움직임 정보를 사용한 경우의 차이값의 분포(σ with motion vector)와 움직임 정보를 사용하지 않은 경우의 차이값의 분포(σ without motion vector)를 입력으로 받아서, 움직임 정보를 사용한 경우와 사용하지 않은 경우 사이의 비트율의 비율을 결정한다. 그리고 비트율 조절기(442)는 결정된 비율값을 펑쳐링 비율 조절기(444)로 전달한다. 펑처링 비율 조절기(444)는 전달받은 비트율의 비율값을 이용하여 입력받은 DVC 비트스트림에 대한 펑쳐링을 수행하여 DVC 비트스트림을 다시 생성한다. 그리고 다시 생성된 DVC 비트스트림, 즉 재구성된 DVC 비트스트림을 디코더로 전송되는데, 이 경우에 움직임 정보(MV)도 함께 디코더로 전송될 수 있다. Referring to FIG. 9, the bitstream reconstructor includes a rate controller 442 and a puncturing rate controller 444. The bit rate controller 442 receives a distribution of the difference value (σ with motion vector) when the motion information is used and a distribution of the difference value (σ without motion vector) when the motion information is not used, and uses the motion information. Determines the ratio of bit rates between cases and unused ones. The bit rate controller 442 transmits the determined ratio value to the puncturing ratio controller 444. The puncturing ratio controller 444 performs puncturing on the input DVC bitstream using the ratio of the received bitrate to regenerate the DVC bitstream. The regenerated DVC bitstream, that is, the reconstructed DVC bitstream, is transmitted to the decoder. In this case, the motion information MV may also be transmitted to the decoder.

도 10은 본 발명의 일 실시예에 따른 DVC 디코더의 개략적인 구성을 보여 주는 블록도이다. 도 10을 참조하면, DVC 디코더는 채널 디코더(Turbo decoder, 510), 부가 정보 생성기(Side Information generator, 520), 기존 디코더(Conventional Video decoder, 530), 에러 검증기(CRC Checker, 540), 및 후처리 수단(DQ, DT, Reconstruction & post processing, 550)를 포함한다.10 is a block diagram illustrating a schematic configuration of a DVC decoder according to an embodiment of the present invention. Referring to FIG. 10, the DVC decoder may include a channel decoder 510, a side information generator 520, a conventional video decoder 530, an error verifier CR, and a post decoder. Processing means (DQ, DT, Reconstruction & post processing, 550).

채널 디코더(510)는 비트스트림 재구성기로부터 수신된 DVC 비트스트림에 대한 채널 디코딩을 수행한다. 비트스트림 재구성기로부터는 DVC 비트스트림 외에 움직임 정보도 함께 수신될 수 있는데, 수신된 움직임 정보는 부가 정보 생성기(520)로 전달된다. 수신된 DVC 비트스트림이 터보 인코더로 채널 인코딩된 경우에, 채널 디코더(510)는 그에 대응하여 터보 디코더가 될 수 있다. 다만, 채널 디코더(510)가 터보 디코더에만 한정되는 것은 아니라는 것은 당업자에게 자명하다.The channel decoder 510 performs channel decoding on the DVC bitstream received from the bitstream reconstructor. In addition to the DVC bitstream, motion information may be received from the bitstream reconstructor, and the received motion information is transmitted to the additional information generator 520. If the received DVC bitstream is channel encoded with a turbo encoder, the channel decoder 510 may correspondingly be a turbo decoder. However, it will be apparent to those skilled in the art that the channel decoder 510 is not limited to the turbo decoder.

부가 정보 생성기(520)는 부가 정보(SI) 영상을 생성한다. 이 경우에, 부가 정보(SI) 영상은 기존의 DVC 디코더에서와 마찬가지로 기존 디코더(530)에서 디코딩된 키 프레임만을 이용하여 MCI를 수행하여 생성하거나 또는 전달받은 움직임 정보를 이용하여 생성할 수도 있다. 전자의 경우에, 부가 정보(SI) 영상을 생성하기 위하여 움직임 정보는 불필요하며, 따라서 움직임 정보는 부가 정보 생성기(520)로 전달되지 않을 수도 있다. 도 11은 이러한 부가 정보 생성기(520)의 세부 구성의 일례를 보여 주는 블록도이다. 도 11을 참조하면, 부가 정보 생성기(520)는 움직임 정보를 이용하여 부가 정보(SI) 영상을 생성하는 움직임 보상부(522)와 기존의 방법대로 디코딩된 영상을 이용하여 MCI를 수행하여 부가 정보(SI) 영상을 생성하는 움직임 보상 보간부(524)를 포함한다.The additional information generator 520 generates an additional information (SI) image. In this case, as in the conventional DVC decoder, the additional information (SI) image may be generated by performing MCI using only the key frame decoded by the existing decoder 530 or may be generated using the received motion information. In the former case, motion information is unnecessary to generate an additional information (SI) image, and thus the motion information may not be transmitted to the additional information generator 520. 11 is a block diagram showing an example of a detailed configuration of the additional information generator 520. Referring to FIG. 11, the additional information generator 520 performs an MCI using a motion compensation unit 522 that generates additional information (SI) image using motion information and an image decoded according to a conventional method, and performs additional information. (SI) motion compensation interpolation unit 524 for generating an image.

에러 검증기(CRC Checker, 540)는 디코딩된 영상에 에러가 있는지를 검증하 고, 만일 에러가 있는 것으로 판정되면 이를 정정한다. 그리고 후처리 수단(DQ, DT, Reconstruction & post processing, 550)는 통상적인 DVC 디코딩 절차에 따라서 후속 처리, 예컨대 역양자화 과정과 역변환 과정 등을 수행한다. 역양자화 과정이나 역변환 과정을 수행하는 구체적인 알고리즘에 대해서는 특별한 제한이 없으며, DVC 인코딩 절차에서 사용된 변환 과정과 양자화 과정에 대응하는 알고리즘이 사용될 수 있다. The CRC checker 540 verifies whether there is an error in the decoded image and corrects the error if it is determined that there is an error. The post-processing means (DQ, DT, Reconstruction & post processing, 550) performs subsequent processing, such as inverse quantization and inverse transformation, according to a conventional DVC decoding procedure. There is no particular limitation on a specific algorithm for performing the inverse quantization process or the inverse transform process, and an algorithm corresponding to the transform process and the quantization process used in the DVC encoding procedure may be used.

이상의 설명은 본 발명의 실시예에 불과할 뿐, 이 실시예에 의하여 본 발명의 기술 사상이 한정되는 것으로 해석되어서는 안된다. 본 발명의 기술 사상은 특허청구범위에 기재된 발명에 의해서만 특정되어야 한다. 따라서 본 발명의 기술 사상을 벗어나지 않는 범위에서 전술한 실시예는 다양한 형태로 변형되어 구현될 수 있다는 것은 당업자에게 자명하다. The above description is only an embodiment of the present invention, and the technical idea of the present invention should not be construed as being limited by this embodiment. The technical idea of the present invention should be specified only by the invention described in the claims. Therefore, it will be apparent to those skilled in the art that the above-described embodiments may be implemented in various forms without departing from the spirit of the present invention.

도 1은 DVC 시스템의 하나인 DISCOVER DVC의 구조를 보여 주는 블록도이다.1 is a block diagram showing the structure of a DISCOVER DVC as one of the DVC system.

도 2는 기존의 DVC 프로세스를 이용하는 DVC 비트스트림을 H.264/AVC로 트랜스코딩하기 위한 시스템의 구조를 보여 주는 블록도이다.2 is a block diagram showing the structure of a system for transcoding a DVC bitstream using H.264 / AVC using an existing DVC process.

도 3은 서비스의 특징과 에러에 대한 민감도에 따른 구분을 나타낸다.3 shows the classification according to the characteristics of the service and the sensitivity to the error.

도 4는 본 발명의 일 실시예에 따른 비트스트림 재구성 장치의 구성의 일례를 보여 주는 블록도이다.4 is a block diagram illustrating an example of a configuration of a bitstream reconstruction apparatus according to an embodiment of the present invention.

도 5a는 움직임 정보를 이용한 경우의 부가 정보(SI) 영상과 복원된 영상과의 차이값의 분포를 보여 주는 그래프이고, 도 5b는 움직임 정보를 이용하지 않은 경우의 부가 정보(SI) 영상과 복원된 영상과의 차이값의 분포를 보여 주는 그래프이다.FIG. 5A is a graph illustrating a distribution of difference values between an SI image and a reconstructed image when motion information is used, and FIG. 5B is an AP image and reconstruction when no motion information is used. It is a graph showing the distribution of difference values with the captured image.

도 6은 도 4의 비트스트림 재구성부에서 비트스트림을 재구성하여 전송하는 일례를 도식적으로 보여 주는 도면이다.FIG. 6 is a diagram schematically showing an example of reconfiguring and transmitting a bitstream in the bitstream reconstruction unit of FIG. 4.

도 7은 본 발명의 다른 실시예에 따른 비트스트림 재구성 장치를 포함하는 시스템의 구성의 일례를 보여 주는 블록도이다.7 is a block diagram illustrating an example of a configuration of a system including a bitstream reconstruction apparatus according to another embodiment of the present invention.

도 8은 본 발명의 또 다른 실시예에 따른 비트스트림 재구성 장치를 포함하는 시스템의 구성의 일례를 보여 주는 블록도이다.8 is a block diagram illustrating an example of a configuration of a system including a bitstream reconstruction apparatus according to another embodiment of the present invention.

도 9는 본 발명의 일 실시예에 따른 비트스트림 재구성기(bitstream reorganization)의 구성의 일례를 보여 주는 블록도이다.9 is a block diagram illustrating an example of a configuration of a bitstream reorganization according to an embodiment of the present invention.

도 10은 본 발명의 일 실시예에 따른 DVC 디코더의 개략적인 구성을 보여 주 는 블록도이다.10 is a block diagram showing a schematic configuration of a DVC decoder according to an embodiment of the present invention.

도 11은 도 10의 부가정보 생성기의 세부 구성의 일례를 보여 주는 블록도이다.FIG. 11 is a block diagram illustrating an example of a detailed configuration of the additional information generator of FIG. 10.

Claims

In distributed video coding (DVC),

Reconstructs the video by decoding the DVC bitstream and the existing bitstream received from the DVC encoder,

The motion information of the current image is calculated using the reconstructed image,

A new data rate by comparing a difference value between the first additional information image generated using the motion information and the current image with a difference value between the second additional information image generated according to a conventional DVC decoding method and the current image; To determine, and

And reconstructing the DVC bitstream according to the determined transmission rate and transmitting the same to the DVC decoder.

The method of claim 1,

The determining of the data rate is a bitstream reconstruction method for distributed video coding to determine a new data rate using the difference in the distribution of the difference value.

The method of claim 1,

And transmitting the motion information when the reconstructed DVC bitstream is transmitted.

The method of claim 1,

Distributed video coding for transmitting the existing bitstream as it is or the part of the existing bitstream as DVC-encoded to be included together in the reconstructed DVC bitstream, and transmitting the remaining bitstream to the DVC decoder. Bitstream Reconstruction Method

In distributed video coding (DVC),

A decoding unit for decoding the DVC bitstream and the existing bitstream received from the transmitter to reconstruct an image;

A motion estimator for calculating motion information of the current video using the image reconstructed by the decoder;

The difference value between the first additional information image generated by using the motion information obtained by the motion estimation unit and the current image and the difference value between the second additional information image generated by a conventional DVC decoding method and the current image and A rate determining unit for comparing and determining a new data rate; And

And a bitstream reconstruction unit for reconstructing and transmitting the DVC bitstream to a receiver according to the transmission rate determined by the rate determining unit.

The method of claim 5,

And the rate determiner determines a new data rate by using a difference of distributions of the difference values.

The method of claim 5,

And the bitstream reconstruction unit also transmits the motion information when transmitting the DVC bitstream.

The method of claim 5,

The bitstream reconstruction unit transmits the existing bitstream as it is or transmits the existing bitstream as it is, or a part of the existing bitstream is included in the reconstructed DVC bitstream together with DVC encoding, and the other part is transmitted to the receiving end as it is. Bitstream reconstruction device for video coding.

In the decoding device for Distributed Video Coding (DVC),

A turbo decoder for reconstructing the DVC image using the DVC bitstream reconstructed according to the bitstream reconstruction method of claim 1 or the additional information image received from the bitstream reconstruction apparatus of claim 5;

An existing decoder for reconstructing an image from an existing video stream; And

And a side information generator for generating the side information image by using the image reconstructed by one or more decoders of the turbo decoder and the existing decoder.

In the decoding device for Distributed Video Coding (DVC),

An additional information generator for generating the additional information image by using the image reconstructed by one or more decoders of the turbo decoder and the existing decoder;

The additional information generator generates the additional information video using the motion information included in the DVC bitstream reconstructed according to the bitstream reconstruction method or the motion information included in the DVC bitstream received from the bitstream reconstruction apparatus. Decoding device.