PL185157B1

PL185157B1 - Apparatus for and method of low-noise encoding and decoding

Info

Publication number: PL185157B1
Application number: PL97340708A
Authority: PL
Inventors: Haoping Yu; David L. Mcneely; Billy W. Beyers Jr.
Original assignee: Thomson Licensing Sa
Priority date: 1997-12-23
Filing date: 1997-12-23
Publication date: 2003-03-31
Also published as: PL340708A1

Abstract

Sposób przetwarzania formatu sygnałów wizyjnych, mających różne formaty obrazów, podczas którego wykrywa się obecność tych sygnałów wizyjnych, znamienny tym, że gdy wykryje się pierwszy sygnał wizyjny, to przekształca się ten pierwszy sygnał wizyjny na przetworzony sygnał o innym formacie, odfiltrowuje się ten przetworzony sygnał na sygnał filtrowany, ponownie przekształca się sygnał filtrowany na sygnał ponownie przekształcony o pierwotnym formacie pierwszego sygnału, przetwarza się ponownie przekształcony sygnał na sygnał o mniejszej rozdzielczości, koduje się sygnał o mniejszej rozdzielczości na sygnał kodowany i przesyła się sygnał kodowany do kanału wyjściowego oraz gdy wykryje się drugi sygnał wizyjny odfiltrowuje się ten drugi sygnał wizyjny na sygnał filtrowany, przekształca się sygnał filtrowany na sygnał o mniejszej rozdzielczości, koduje się sygnał o mniejszej rozdzielczości na sygnał kodowany i przesyła się sygnał kodowany do kanału wyjściowego.The method of signal format processing videos having different image formats, during the presence of these signals is detected vision, characterized in that when it is detected the first video signal is transformed into this one the first video signal to the processed signal with a different format, the processed one is filtered out signal to a filtered signal, it converts again the filtered signal is converted back into the signal about the original format of the first signal, it processes itself again transformed signal to signal with lower resolution, it encodes the signal with lower resolution becomes the coded signal and transmitting the scrambled signal to the channel output and when a second signal is detected video, this second video signal is filtered out on filtered signal converts to filtered signal for a signal with lower resolution, it is coded signal with lower resolution to coded signal and transmitting the scrambled signal to the channel output.

Description

Przedmiotem wynalazku jest sposób przetwarzania formatu sygnałów wizyjnych przy zastosowaniu standardu cyfrowej telewizji wysokiej jakości GA HDTV do naziemnego nadawania telewizji cyfrowej. System GA HDTV wykorzystuje standard MPEG-2 kompresji obrazu wideo.The present invention relates to a method for processing the format of video signals using the GA HDTV digital high quality television standard for digital terrestrial broadcasting. The GA HDTV system uses the MPEG-2 standard for video image compression.

Znany jest z opisu patentowego Stanów Zjednoczonych Ameryki nr 5 530 484 sposób adaptacyjnego przetwarzania formatu wybierania w nadajniku-koderze systemu przetwarzania sygnałów wizyjnych, takiego jak system telewizyjny wysokiej jakości HDTV. W zależności od rodzaju formatu jest wymagane kodowanie i nadawanie przez kanał wyjściowy. Podobnie w odbiorniku odbierany format wybierania jest automatycznie przetwarzany na wymagany format odtwarzania. Dla przykładu, odbierany sygnał międzyliniowy będzie automatycznie przetwarzany na format kolejnoliniowy dla uzgodnienia z urządzeniem odtwarzającym z wybieraniem kolejnoliniowym. Odbierany kolejny sygnał będzie przesyłany do urządzenia odtwarzającego bez przetwarzania formatu. Automatyczne przetwarzanie wybierania jest realizowane na przykład tak, że zamiana głównego programu telewizyjnego z wybieraniem kolejnoliniowym i komercyjnego programu z wybieraniem międzyliniowym jest realizowana bez zjawisk ubocznych i w sposób niewidoczny dla widza.There is known from US Patent No. 5,530,484 a method for adaptive processing of the dialing format in a encoder-encoder of a video signal processing system, such as a high-quality HDTV system. Depending on the type of format, encoding and transmission via the output channel are required. Likewise, at the receiver, the received selection format is automatically converted to the required reproduction format. For example, the received interline signal will be automatically converted to progressive format to match with the progressive scan reproduction apparatus. The received subsequent signal will be sent to the reproducing apparatus without format processing. Automatic selection processing is carried out, for example, such that the change of main TV program progressive scan and commercial program interline scan is performed without side effects and in a manner invisible to the viewer.

Znany jest z publikacji „Information Technology-Generic Coding of Moving Picture and Associated Audio Information: Video” („Technika informacji - kodowanie ogólne obrazu ruchomego i skojarzonej informacji wizyjnej”), ISO/IEC 13818-2: 1996 (E), sposób przetwarzania formatu sygnałów wizyjnych, wykorzystujący nowoczesne i skomplikowane metody kompresji obrazów wideo, takie jak przetwarzanie danych źródłowych, ocena i kompensacja ruchu, reprezentacja przekształceń i kodowanie statystyczne, dzięki którym układ kompresji MPEG zmniejsza konieczną szybkość przesyłania danych 50 razy lub więcej. Całkowity sygnał HD o wysokiej jakości, trwający jedną sekundę, wymaga około jednego miliarda bitów przed kompresją. Znane jest, że obrazy zawierające 1920 na 1080 pikseli czyli elementów obrazu, o częstotliwości 60 pól na sekundę, są zagęszczane do 18 megabitów na sekundę przed nadawaniem cyfrowym.It is known for the publication "Information Technology-Generic Coding of Moving Picture and Associated Audio Information: Video", ISO / IEC 13818-2: 1996 (E), processing method video signal format, using modern and complex video image compression methods, such as source data processing, motion evaluation and compensation, transformation representation and statistical coding, thanks to which the MPEG compression system reduces the necessary data transfer rate by 50 times or more. A complete high-quality HD signal lasting one second requires approximately one billion bits to compress. It is known that images having 1,920 by 1,080 pixels or image elements at a frequency of 60 fields per second are compacted to 18 megabits per second prior to digital broadcasting.

Znany jest sposób przetwarzania formatu sygnałów wizyjnych w układzie kompresji obrazów wideo GA, który zawiera zwykle dwa główne podukłady, preprocesor i koder wizyjny MPEG-2, a następnie bufor wyjściowy. Sygnałem wejściowym preprocesora jest analogowy sygnał wizyjny o formacie RGB. Preprocesor przetwarza sygnały wejściowe na postać cyfrową i wykonuje korekcję gamma każdego składowego koloru w celu kompensacji nieliniowego działania kamery. Korekcja gamma zmniejsza widzialność szumu kwantowania zawartego w zagęszczonym obrazie, szczególnie w ciemnych obszarach obrazu. Następnie preprocesor przekształca liniowo cyfrowe i skorygowane próbki RGB na przestrzeń kolorów SMPTE 240M YC1C2. W końcu uzyskane składowe chrominancji są podpróbkowane w celu utworzenia cyfrowego wejściowego sygnału wizyjnego 4:2:0. Oprócz opisanych zadań preprocesor wykonuje przetwarzanie obrazu. Na przykład w satelitarnym systemie nadawania cyfrowego sygnał wizyjny jest dziesiątkowany w poziomie z 720 pikseli na linię do 544 pikseli na linię w celu dalszego zmniejszenia wymagań co do szerokości pasma. Sygnał jest wysyłany do kodera wizyjnego MPEG-2.There is known a method for processing the video signal format in a GA video compression circuit which typically comprises two main sub-systems, an MPEG-2 video encoder and preprocessor, followed by an output buffer. The preprocessor input signal is an analog RGB video signal. The preprocessor digitizes the input signals and performs gamma correction for each color component to compensate for non-linear camera performance. Gamma correction reduces the visibility of the quantization noise contained in the condensed image, especially in the dark areas of the image. The preprocessor then converts the linearly digital and corrected RGB samples to the SMPTE 240M YC1C2 color space. Finally, the resulting chrominance components are subsampled to form a 4: 2: 0 digital input video signal. In addition to the tasks described, the preprocessor performs image processing. For example, in a satellite digital broadcasting system the video signal is horizontally decimated from 720 pixels per line to 544 pixels per line to further reduce bandwidth requirements. The signal is sent to the MPEG-2 video encoder.

W znanym sposobie w koderze wizyjnym MPEG-2 zagęszcza się wejściowy cyfrowy sygnał wizyjny przez usunięcie pewnej chwilowej redundancji między ramkami i pewnej przestrzennej redundancji wewnątrz ramek. Ogólnie kompresja jest uzyskiwana przez wykorzystanie kolejno pewnej liczby różnych technik, jak opisano powyżej. Regulując dokładność kwantowania umożliwia się koderowi generowanie zagęszczonego strumienia bitów z dowolną szybkością, określoną przez aplikację. Kwantowanie w układach MPEG-2 jest wykonywane na współczynnikach DCT bloku danych, które zawierają informację o oryginalnym obrazie lub informację resztkową o ocenie ruchu. Stosując macierze kwantowania w połączeniu ze skalowalnymi rozmiarami etapów kwantowania, urządzenie kwantujące wybiera i kwantuje tylko małą część współczynników DCT z każdego bloku DCT przeznaczonego do transmisji, co daje znaczną redukcję danych. Macierze kwantowania zmieniają się na podstawie ramek według statystycznego rozkładu współczynników DCT i zawartości sygnału wizyjnego. Dla różnych obszarów ramki kwantowanie jest dokładnie dobrane w makroblokuIn the known method, an MPEG-2 video encoder compacts the input digital video signal by removing some temporary redundancy between frames and some spatial redundancy within frames. Generally, compression is achieved by using a number of different techniques sequentially, as described above. By adjusting the quantization accuracy, it is possible for the encoder to generate a compact bitstream at any rate specified by the application. Quantization in MPEG-2 systems is performed on data block DCT coefficients which contain original image information or residual motion evaluation information. Using quantization matrices in conjunction with the scalable sizes of the quantization steps, the quantizer selects and quantifies only a small fraction of the DCT coefficients from each DCT block to be transmitted, resulting in a significant data reduction. The quantization matrices change from frame to frame according to the statistical distribution of the DCT coefficients and the video content. For the different areas of the frame, quantization is carefully selected in the macroblock

185 157 przez skalowanie rozmiaru etapu kwantowania na podstawie złożoności makrobloku. Dla danej szybkości przesyłania sygnału wyjściowego bufor wyjściowy dostarcza sygnały sterujące stosowane przez koder do regulacji rozmiaru etapu kwantowania dla danej ramki w celu maksymalizacji rozdzielczości kwantowania w dostępnej szerokości pasma.185 157 by scaling the size of the quantization step based on the complexity of the macroblock. For a given output rate, the output buffer provides the control signals used by the encoder to adjust the quantization step size for a given frame to maximize the quantization resolution in the available bandwidth.

W idealnym przypadku, w układzie kompresji obrazów wideo usuwa się składowe wielkiej częstotliwości, których braku widzowie nie zauważają, gdy obraz jest odtworzony i wyświetlony. Pozostałe składowe małej częstotliwości są kwantowane zgodnie z dostępną szerokością pasma. Szum kwantowania wprowadzony do sygnału powinien być również niewidoczny dla widzów po odtworzeniu obrazu. Jednak w rzeczywistym układzie jest dokonywany kompromis między przesyłaną informacją i rozmiarem etapu kwantowania dla dostępnej szerokości pasma. Jeżeli układ nie zmniejsza wystarczającej ilości współczynników kwantowania, zwiększa on rozmiar etapu kwantowania, dając w efekcie blokowe zjawiska uboczne w odtworzonym obrazie. Jeżeli obraz traci zbyt dużo informacji wielkiej częstotliwości podczas procesu kompresji, odtworzony obraz zawiera inne zauważalne zjawiska uboczne brzegowe.Ideally, the video image compression system removes the high-frequency components that the viewers fail to notice when the image is reproduced and displayed. The remaining low frequency components are quantized according to the available bandwidth. Quantization noise introduced into the signal should also be invisible to viewers after reproducing the image. However, in the actual system, a trade-off is made between the information transmitted and the quantization step size for the available bandwidth. If the system does not reduce the quantity of quantization coefficients sufficiently, it increases the size of the quantization step, resulting in blocky side effects in the reconstructed image. If the image loses too much high frequency information during the compression process, the reconstructed image contains other noticeable edge side effects.

Ponadto różnice w kwantowaniu między każdą ramką powodują, że ramki w grupie obrazów GOP zawierają zmienne składowe wielkiej częstotliwości. Na przykład ramka I ma znaczną ilość składowych wielkiej częstotliwości opuszczonych podczas kodowania, podczas gdy ramki P i B zachowają współczynniki wielkiej częstotliwości, odpowiadające współczynnikom opuszczonym w ramce I. Odtworzona grupa obszarów GOP zawiera teraz zjawiska uboczne, ponieważ informacja wielkiej częstotliwości różni się dla różnych ramek stosowanych do odtwarzania.In addition, differences in quantization between each frame cause the frames in a group of GOP pictures to contain variable high frequency components. For example, an I-frame has a significant amount of high-frequency components dropped during encoding, while P and B-frames will retain the high-frequency coefficients corresponding to the coefficients dropped in the I-frame. used for playback.

Przez dalsze zagęszczanie sygnału obrazu HD jedynie obniża się jakość odtworzonego obrazu. Przy nadawaniu sygnałów HD tylko jeden program może być przesyłany na raz przez przekaźnik. Jak dotąd zagęszczanie programu HD, aby zmieścić jednocześnie dwa programy w jednym kanale satelitarnym, na przykład zastosowanie modulacji 24 MHz 4-PSK, powoduje równocześnie niedopuszczalne pogorszenie jakości obrazu.By further compressing the HD image signal, the quality of the reproduced image only degrades. When broadcasting HD signals, only one program can be transmitted by the transmitter at a time. So far, compacting the HD program to fit two programs simultaneously into one satellite channel, for example the use of 24 MHz 4-PSK modulation, at the same time causes an unacceptable deterioration in picture quality.

Sposób według wynalazku polega na tym, że gdy wykryje się pierwszy sygnał wizyjny, to przekształca się ten pierwszy sygnał wizyjny na przetworzony sygnał o innym formacie, odfiltrowuje się ten przetworzony sygnał na sygnał filtrowany, ponownie przekształca się sygnał filtrowany na sygnał ponownie przekształcony o pierwotnym formacie pierwszego sygnału, przetwarza się ponownie przekształcony sygnał na sygnał o mniejszej rozdzielczości, koduje się sygnał o mniejszej rozdzielczości na sygnał kodowany i przesyła się sygnał kodowany do kanału wyjściowego oraz gdy wykryje się drugi sygnał wizyjny odfiltrowuje się ten drugi sygnał wizyjny na sygnał filtrowany, przekształca się sygnał filtrowany na sygnał o mniejszei rozejzielczości,kodujesię eygnał o mniejszei rozdzielzzości na synnał kodowany i przesyła się sygnał kodowany do kanału wyjściowego.The method according to the invention is that when the first video signal is detected, it converts this first video signal to a processed signal of a different format, this processed signal is filtered out into a filtered signal, the filtered signal is again converted into a converted signal of the original format again. of the first signal, the converted signal is re-converted to a lower resolution signal, the lower resolution signal is encoded to the scrambled signal and the scrambled signal is sent to the output channel, and when a second video signal is detected, this second video signal is filtered to a filtered signal, the signal is filtered into a signal with lower resolution, the signal with lower resolution is encoded into the encoded signal and the encoded signal is sent to the output channel.

Korzystnie jako pierwszy sygnał wizyjny stosuje się sygnał wybierania międzyliniowego, który przekształca się na początku na sygnał z wybieraniem kolejnkliniowym.Preferably, an interline scan signal is used as the first video signal, which is converted initially to a line scan signal.

Korzystnie jako pierwszy sygnał wizyjny stosuje się sygnał filmu telekina, który przekształca się na początku na sygnał inny niż mający cechy telekina.Preferably, the first video signal is a telekine film signal which is first converted to a signal other than a telekine signal.

Korzystnie jako drugi sygnał wizyjny stosuje się sygnał wybierania kolejekliniaawegk.Preferably the second video signal is the line queue select signal ngk.

Korzystnie podczas filtrowania realizuje się filtrowanie dolnoprzepustowe.Preferably, low-pass filtering is performed during filtering.

Korzystnie podczas filtrowania realizuje się filtrowanie dwuwymiarowe.Preferably, two-dimensional filtering is performed during filtering.

Korzystnie podczas filtrowania realizuje się filtrowanie adaptacyjne dobrane dla jednej grupy ramek obrazów, pojedynczej ramki i części ramki.Preferably, during filtering, adaptive filtering is performed that is selected for one group of picture frames, a single frame and a part of a frame.

Korzystnie podczas filtrowania filtruje się tymczasowo Zklnkprzepustkwk i zmienia się adaptacyjnie charakterystyki filtrowania w odpowiedzi na charakterystyki sygnału.Preferably, during filtering, Zklnkpasswordwk is temporarily filtered and the filtering characteristics are adapted adaptively in response to the signal characteristics.

Korzystnie podczas filtrowania filtruje się przestrzennie dklnoprzepustowk i zmienia się adaptacyjnie charakterystyki filtrowania w odpowiedzi na charakterystyki sygnału.Preferably, the dclpass is spatially filtered during filtering and the filtering characteristics are adapted adaptively in response to the signal characteristics.

Korzystnie koduje się zgodnie ze standardem MPEG-2.Preferably, it is encoded in accordance with the MPEG-2 standard.

Korzystnie stosuje się sygnał o mniejszej rozdzielczości, mający rozdzielczość 1280 na 1080 próbek danych na ramkę.Preferably a lower resolution signal having a resolution of 1280 by 1080 data samples per frame is used.

18S 15718S 157

Korzystnie jako pierwszy i drugi sygnały wizyjne stosuje się sygnały o dużej rozdzielczości, mające rozdzielczość 1920 na 1080 próbek danych na ramkę.Preferably, high-resolution signals having a resolution of 1920 by 1080 data samples per frame are used as the first and second video signals.

Sposób według innego przykładu wykonania wynalazku polega na tym, że przy przetwarzaniu sygnału wizyjnego z wybieraniem międzyliniowym i sygnału filmu telekina, wykrywa się obecność sygnału wizyjnego z wybieraniem międzyliniowym lub sygnału filmu telekina, przekształca się wykryty sygnał na sygnał odpowiednio z wybieraniem kolejnoliniowym lub sygnał pozbawiony cech telekina jako sygnał przekształcony, odfiltrowuje się sygnał przekształcony, na sygnał filtrowany, ponownie przekształca się sygnał filtrowany na sygnał odpowiednio z wybieraniem międzyliniowym lub sygnał telekina jako sygnał ponownie przekształcony przetwarza się sygnał ponownie przekształcony na sygnał o mniejszej rozdzielczości, koduje się sygnał o mniejszej rozdzielczości na sygnał kodowany i przesyła się sygnał kodowany do kanału wyjściowego.A method according to another embodiment of the invention is that when processing an interline video signal and a telekine film signal, detecting the presence of an interline video signal or a telekine film signal, converting the detected signal to a sequential scanning signal or a decay signal, respectively. telekine as a transformed signal, the transformed signal is filtered out to a filtered signal, the filtered signal is re-converted to a signal with interline selection, respectively, or the telekine signal as a re-converted signal is re-converted to a signal with lower resolution, the signal with lower resolution is encoded into the scrambled signal and sends the scrambled signal to the output channel.

Korzystnie podczas filtrowania realizuje się filtrowanie dolnoprzepustowe, a podczas kodowania realizuje się kodowanie MPEG-2.Preferably lowpass filtering is performed during filtering and MPEG-2 encoding is performed during encoding.

Sposób według innego przykładu wykonania wynalazku polega na tym, że przy przetwarzaniu sygnału wizyjnego z wybieraniem kolejnoliniowym, filtruje się adaptacyjnie wykryty sygnał na sygnał filtrowany, przetwarza się filtrowany sygnał na sygnał o mniejszej rozdzielczości, koduje się w formacie MPEG sygnał o mniejszej rozdzielczości na sygnał kodowany i przesyła się sygnał kodowany do kanału wyjściowego.The method according to another embodiment of the invention consists in that in the processing of a video signal with progressive scan, the adaptively detected signal is filtered into a filtered signal, the filtered signal is converted into a signal with lower resolution, the MPEG signal is encoded into a coded signal. and transmitting the scrambled signal to the output channel.

Korzystnie podczas filtrowania realizuje się filtrowanie dolnoprzepustowe, a podczas kodowania realizuje się kodowanie w standardzie MPEG-2.Preferably, low pass filtering is performed during filtering, and encoding is performed in MPEG-2 standard.

Sposób według jeszcze innego przykładu wykonania wynalazku polega na tym, że przy przetwarzaniu sygnału wizyjnego z wybieraniem kolejnoliniowym, filtruje się wykryty sygnał na sygnał filtrowany, przetwarza się sygnał filtrowany na sygnał o mniejszej rozdzielczości, mający 1280 na H^)80 próbek na ramkę, koduje się sygnał o mniejszej rozdzielczości na sygnał kodowany i przesyła się sygnał kodowany do kanału wyjściowego.A method according to yet another embodiment of the invention is that in processing a video signal with sequential scan, the detected signal is filtered to a filtered signal, the filtered signal is converted to a lower resolution signal having 1280 by H ^) 80 samples per frame, the signal with lower resolution is transferred to the scrambled signal and the scrambled signal is sent to the output channel.

Sposób według innego przykładu wykonania wynalazku polega na tym, że przy przetwarzaniu odbieranego cyfrowego sygnału wizyjnego, mającego więcej niż jedną rozdzielczość obrazu, włącznie z rozdzielczością 1280 na 1080 próbek danych na ramkę, dekoduje się sygnał na sygnał dekodowany, określa się rozdzielczość obrazu sygnału dekodowanego, przekształca się informację linii z sygnału dekodowanego na inną rozdzielczość, jeżeli sygnał dekodowany ma rozdzielczość linii obrazu równą 1280 próbek na linię jako sygnał przekształcony i przesyła się sygnał przekształcony do urządzenia wyjściowego.The method according to another embodiment of the invention is that when processing a received digital video signal having more than one image resolution, including a resolution of 1280 by 1080 data samples per frame, the signal is decoded into a decoded signal, the image resolution of the decoded signal is determined, converting the line information from the decoded signal to a different resolution, if the decoded signal has a line resolution of 1280 samples per line as the converted signal and transmits the converted signal to an output device.

Korzystnie podczas przekształcania realizuje się przekształcenie ze zwiększeniem ilości próbek danych do rozdzielczości równej 1920 próbek na linię.Preferably, during the transformation, the transformation is carried out with increasing the number of data samples to a resolution of 1920 samples per line.

Korzystnie podczas przekształcania realizuje się przekształcanie ze zmniejszeniem ilości próbek danych do mniejszej rozdzielczości.Preferably, during transformation, the transformation is performed with the number of data samples reduced to a lower resolution.

Korzystnie stosuje się odebrany cyfrowy sygnał wizyjny zgodny ze standardem z MPEG-2.Preferably, a received digital video signal conforming to the MPEG-2 standard is used.

Korzystnie filtruje się adaptacyjnie niezależnie od podpróbkowania sygnału podczas przekształcenia.Preferably, it is adaptively filtered independently of the sub-sampling of the signal during the transformation.

Korzystnie stosuje się filtrowanie adaptacyjne w funkcji parametrów sygnału obrazu sprzed filtrowania.Preferably, adaptive filtering is applied as a function of the image signal parameters before filtering.

Korzystnie stosuje się proces od filtrowania adaptacyjnego do przesyłania sygnału w odniesieniu do formatu ramki obrazu nieruchomego.Preferably, a process is used from adaptive filtering to transmitting the signal with respect to the format of the still image frame.

Korzystnie stosuje się filtrowanie adaptacyjne wewnątrz ramki obrazu.Preferably, adaptive filtering is applied within the picture frame.

Korzystnie filtrowanie adaptacyjne realizuje się piksel po pikselu.Preferably, the adaptive filtering is performed pixel by pixel.

Korzystnie definiuje się format przez 1280 elementów obrazu na 1080 elementów obrazu.Preferably, the format is defined by 1280 image elements by 1080 image elements.

Korzystnie stosuje się 1280 elementów obrazu reprezentujących informację linii i 1080 elementów obrazu reprezentujących informację pola.Preferably, 1280 picture elements representing line information and 1080 picture elements representing field information are used.

Korzystnie informację wizyjną nadaje się jako informację satelitarną.Preferably, the video information is broadcast as satellite information.

185 157185 157

Zaletą wynalazku jest zapewnienie poprawy jakości obrazu przez to, że cyfrowy procesor obrazu identyfikuje typ sygnału wizyjnego i w razie potrzeby selektywnie przetwarza oryginalny format sygnału na inny format. Przetworzony sygnał jest w razie potrzeby ponownie przekształcany do oryginalnego formatu.It is an advantage of the invention to provide an improvement in image quality in that the digital image processor identifies the type of the video signal and selectively converts the original signal format to another format if necessary. The converted signal is re-converted to its original format if necessary.

Przedmiot wynalazku jest uwidoczniony w przykładach wykonania na rysunku, na którym fig. 1 przedstawia jedną konfigurację kompresora obrazów wideo według wynalazku, fig. 2 - szczegółowy schemat adaptacyjnego procesora obrazu z fig. 1, fig. 3 - odpowiedź filtru zawartego w adaptacyjnym procesorze obrazu, fig. 4 - sieć działań układu nadawczego według wynalazku i fig. 5 - sieć działań układu odbiorczego według wynalazku.Fig. 1 shows one configuration of a video image compressor according to the invention, Fig. 2 is a detailed diagram of the adaptive image processor of Fig. 1, Fig. 3 - response of a filter contained in an adaptive image processor. Fig. 4 is a flowchart of an inventive transmitter circuit; and Fig. 5 is a flowchart of an inventive receiver circuit.

Figura 1 przedstawia przykładową konfigurację układu kompresji obrazów wideo według wynalazku. Wejściowy sygnał wizyjny jest odbierany przez detektor 20 filmu, który identyfikuje, czy sygnał jest sygnałem filmu, który został przeformatowany metodami telekina z 24 ramek na sekundę do 30 ramek na sekundę. Przeformatowany sygnał filmu jest kierowany do właściwej sekcji adaptacyjnego procesora 22 obrazu. Jeśli sygnał wejściowy nie jest przeformatowanym sygnałem filmu, jest on przesyłany do innej sekcji adaptacyjnego procesora 22 obrazu. Identyfikacja sygnałów filmu telekina następuje znanymi sposobami.Figure 1 shows an exemplary configuration of a video compression system according to the invention. The input video signal is received by the film detector 20, which identifies whether the signal is a film signal that has been telekinetised from 24 frames per second to 30 frames per second. The reformatted movie signal is directed to the appropriate section of the adaptive image processor 22. If the input signal is not a reformatted movie signal, it is sent to another section of the adaptive image processor 22. The identification of the telekine film signals follows known methods.

Procesor 22 odbiera informacje sterowania z bufora wyjściowego 26 i kodera MPEG-2 24 przez sterownik 28 oraz filtruje ramki obrazu, a koder 24 koduje wydajnie ramki, aby zmieścić się w dostępnej szybkości transmisji danych i pozbyć się zauważalnych zjawisk ubocznych. Procesor 22 obrazu filtruje sygnał w dwóch wymiarach, na przykład w poziomie i w pionie, co jest potrzebne dla poprawienia jakości obrazu odtwarzanego ze strumienia bitów, kodowanego w formacie MPEG-2, ograniczonego do średniej szybkości transmisji danych. Celem jest modyfikacja lokalnej zawartości częstotliwości w danych źródłowych dwuwymiarowych w celu poprawienia wydajności kodowania MPEG-2 w sposób najmniej szkodliwy dla odtwarzanego obrazu MPEG-2 co do ostrości obrazu i zjawisk ubocznych kodowania. Filtrowanie sygnału jest wykonywane na określonych z góry danych, na przykład na grupie obrazów GOP lub ramek, na pojedynczej ramce lub piksel po pikselu.Processor 22 receives control information from the output buffer 26 and MPEG-2 encoder 24 by controller 28 and filters the picture frames, and encoder 24 efficiently encodes the frames to fit within the available data rate and to get rid of noticeable side effects. The image processor 22 filters the signal in two dimensions, such as horizontally and vertically, as needed to improve the image quality of an MPEG-2 encoded bitstream limited to an average bitrate. The aim is to modify the local frequency content in the two-dimensional source data in order to improve the MPEG-2 coding efficiency in a way that is least detrimental to the reproduced MPEG-2 picture in terms of image sharpness and coding side effects. Signal filtering is performed on predetermined data, for example on a group of GOP pictures or frames, on a single frame or pixel by pixel.

Filtr dwuwymiarowy realizuje filtrowanie dolnoprzepustowe obrazu. Optymalnie informacja wielkiej częstotliwości, która jest usuwana, jest albo redundancyjna albo niezauważalna przez widza. W praktyce, aby uzyskać żądaną szybkość transmisji danych, mogą zostać usunięte pewne informacje wielkiej częstotliwości, które są zauważalne dla widza. Jednak układ, który zawiera procesor 22, generuje przed kodowaniem typu MPEG-2 obraz nadrzędny dla układu bez procesora 22.The two-dimensional filter implements low-pass filtering of the image. Optimally, the high frequency information that is removed is either redundant or unnoticeable by the viewer. In practice, in order to obtain the desired data rate, some high frequency information which is noticeable to the viewer may be removed. However, the circuit which includes processor 22, prior to MPEG-2 encoding, generates a master image for the non-processor 22.

Przefiltrowany sygnał jest kodowany przez koder MPEG-2 24, który odbiera parametry obrazu z procesora 22 i bufora wyjściowego 26 przez sterownik 28 oraz reguluje kompresję MPEG-2, aby uzyskać zgodność z dostępną szybkością transmisji danych. Kompresja następuje w znany sposób. Koder 24 wysyła zagęszczone dane do bufora wyjściowego 26, który dostarcza zagęszczone dane z określoną z góry szybkością w celu transportowania danych kodowanych, modulowanych i przesyłanych przez kanał transmisyjny przy użyciu znanych technik przetwarzania sygnałów. Przed modulacją zagęszczony sygnał jest wysyłany do multipleksera statystycznego w celu multipleksowania z licznymi programami dla przesyłania w pojedynczym kanale. Układy przetwarzające sygnały, dołączone za buforem 26, są znane i dlatego nie są pokazane na fig. 1.The filtered signal is encoded by the MPEG-2 encoder 24, which receives the image parameters from the processor 22 and the output buffer 26 by the controller 28 and adjusts MPEG-2 compression to match the available data rate. Compression occurs in a known manner. The encoder 24 sends the condensed data to the output buffer 26 which provides the condensed data at a predetermined rate to transport the data encoded, modulated, and transmitted over the transmission channel using known signal processing techniques. Prior to modulation, the concentrated signal is sent to a statistical multiplexer to be multiplexed with multiple programs for transmission on a single channel. Signal processing circuits downstream of the buffer 26 are known and are therefore not shown in Fig. 1.

Układ kompresji obrazów wizyjnych jest skonfigurowany tak, aby odbierać dowolny typ sygnału wizyjnego. Układ z fig. 1 jest skonfigurowany tak, że odbiera zarówno programy telewizyjne z kamery, jak i filmowe, sformatowane zgodnie ze znanymi standardami przemysłowymi. Wspólna konfiguracja dla układu z fig. 1 zapewnia odbieranie sygnału wyjściowego z preprocesora. Układ jest skonfigurowany tak, aby odbierać inne typy sygnałów wizyjnych przez dodanie sprzętu właściwego sprzętu i/lub oprogramowania.The video compression circuitry is configured to receive any type of video signal. The arrangement of Fig. 1 is configured to receive both camera television and movie broadcasts formatted according to known industry standards. The common configuration for the circuit of Fig. 1 provides for receiving an output from the preprocessor. The system is configured to receive other types of video signals by adding hardware, appropriate hardware and / or software.

Detektor 20 filmu rozpoznaje obecność pewnych zależności w sygnale wejściowym, stosowanych do poprawienia wydajności kodowania: 60 pól/sekunda źródła z wybieraniem międzyliniowym (typ 1), 60 pól/sekunda wybieranego międzyliniowo filmu 30 ramek na sekundę (typ 2), 60 pól/sekunda wybieranego międzyliniowo filmu 24 ramki na sekundę (typ 3), źródło z wybieraniem kolejnoliniowym (typ 4), 60 ramek/sekunda wybieranego kolejnoliniowoThe film detector 20 recognizes the presence of certain dependencies in the input signal used to improve encoding efficiency: 60 fields / second of interline source (type 1), 60 fields / second of interline film 30 frames per second (type 2), 60 fields / second progressive scan 24 frames per second (type 3), source with progressive scan (type 4), 60 frames / second with progressive scan

185 157 filmu 30 ramek na sekundę (typ 5) i 60 ramek/sekunda wybieranego kolejnoliniowo filmu 24 ramek na sekundę (typ 6). Detekcja następuje w odpowiedzi na zewnętrzny sygnał sterujący (nie pokazany) lub znanymi technikami, takimi jak zastosowane w aktualnych koderach MPEG-2 o standardowej rozdzielczości. Informacja o formacie sygnału jest przesyłana z sygnałem do adaptacyjnego procesora 22 obrazu. Detektor 20 filmu wykrywa również, czy sygnał jest typu stosowanego przy wybieraniu międzyliniowym czy kolejnoliniowym i przesyła tę informacje do procesora 22 obrazu. Rodzaje wybierania są przykładowe i określają parametry, za pomocą których sygnały są kierowane przez procesor 22. Można zastosować także inne przykłady wykonań dla częstości pól i ramek.185 157 30 frames per second (type 5) and 60 frames / second of 24 frames per second sequential (type 6) film. Detection occurs in response to an external control signal (not shown) or by known techniques such as those used in current standard definition MPEG-2 encoders. The signal format information is transmitted with the signal to the adaptive image processor 22. The film detector 20 also detects whether the signal is of the type used in interline or progressive scan and transmits this information to the image processor 22. The selection types are exemplary and define the parameters by which the signals are routed by processor 22. Other embodiments for field and frame rates may also be used.

Adaptacyjny procesor 22 obrazu wykonuje kilka funkcji programowych, które zmniejszają ilość danych zagęszczonych przez koder 24. Procesor 22 obrazu wykonuje operacje na każdej ramce, ogólnie tak, że przetworzona ramka jest optymalnie kodowana w celu eliminacji lub znacznego zmniejszenia szumu, który byłby zauważalny dla widza. Procesor 22 jest ogólnie traktowany jako zmienny przestrzennie, dwuwymiarowy filtr dolnoprzepustowy, ponieważ próbkuje on każdą ramkę obrazu przestrzennie i adaptacyjnie odfiltrowuje wybrane dwuwymiarowe składowe wielkiej częstotliwości z sygnału. Filtrowanie adaptacyjne jest regulowane dla serii ramek lub pojedynczej ramki albo kolejnych pikseli w celu wytworzenia przetworzonej ramki.The adaptive image processor 22 performs several software functions that reduce the amount of data compacted by the encoder 24. The image processor 22 performs operations on each frame generally such that the processed frame is optimally encoded to eliminate or significantly reduce noise that would be noticeable to the viewer. Processor 22 is generally regarded as a spatially variable two-dimensional lowpass filter because it samples each image frame spatially and adaptively filters out the selected two-dimensional high-frequency components from the signal. Adaptive filtering is adjusted over a series of frames or a single frame or consecutive pixels to produce a processed frame.

Procesor 22 ułatwia kodowanie dowolnego typu sygnału. Jednak w tym przykładzie wykonania procesor 22 jest zaprogramowany na przetwarzanie danych o wysokiej jakości albo 1920 na 1080 pikseli na obraz albo 1280 na 720 pikseli na obraz. Każdy format wysokiej jakości wymaga w przybliżeniu 18 megabitów na sekundę przy nadawaniu. W celu uproszczenia dyskusji zostanie omówiony szczegółowo tylko format 1920 na 1080. Dyskusja dotyczy również formatu 1280 na 720 lub dowolnego innego formatu.The processor 22 facilitates the encoding of any type of signal. However, in this embodiment, processor 22 is programmed to process high quality data of either 1920 by 1080 pixels per image or 1280 by 720 pixels per image. Each high-quality format requires approximately 18 megabits per second to transmit. To simplify the discussion, only 1920 by 1080 will be discussed in detail. 1280 by 720 or any other format will also be discussed.

Figura 2 przedstawia szczegółowo adaptacyjny procesor 22 obrazu. Zależnie od informacji o formacie sygnału, odebranej z detektora 20, sygnał obrazu jest kierowany przez sterownik 28 do przetwornika 221 wybierania międzyliniowego na kolejnoliniowe (typ 1), układu 222 wykonującego formatowanie przeciwne niż w telekinie (typ 2, 3) lub przechodzi niemodyfikowany (typ 4-6) do ograniczającego pasmo, przestrzennego, dolnoprzepustowego filtru 223. Filtr 223 odbiera sygnały wyjściowe z układów 221 i 222 po przetworzeniu sygnałów.Figure 2 shows in detail the adaptive image processor 22. Depending on the signal format information received from the detector 20, the image signal is directed by the controller 28 to the progressive interline converter 221 (type 1), circuit 222 which performs non-telekine formatting (type 2, 3), or passes unmodified (type 2). 4-6) to a band limiting spatial lowpass filter 223. Filter 223 receives the outputs from circuits 221 and 222 after processing the signals.

Przetwornik 221 odbiera sygnał, jeśli jego format zawiera przeplecione pola o częstotliwości 60 Hz i przetwarza sygnał na kolejne ramki o częstotliwości 60 ramek na sekundę. Kolejna ramka zawiera wszystkie informacje o obrazie w każdej ramce. Filtrowanie sygnału wybierania kolejnoliniowego zwykle nie wprowadza zjawisk ubocznych, które występują przy filtrowaniu informacji o polu w sygnale międzyliniowym. Przetwornik 221 wykorzystuje znane metody przetwarzania międzyliniowych pól na kolejną ramkę.The converter 221 receives the signal if its format contains interleaved fields at 60 Hz, and converts the signal into successive frames at 60 frames per second. The next frame contains all the image information in each frame. Filtering the progressive scan signal typically does not introduce the side effects that occur when filtering field information in an interline signal. The converter 221 uses known methods to convert the interlinear fields to the next frame.

Układ 222 do formatowania przeciwnego niż w telekinie eliminuje pola redundancyjne z filmu wybieranego międzyliniowo z częstotiiwOŚcią 60 Hz i odtwarza oryginalny film wybierany kolejnoliniowo. Format kolejnoliniowy pozwala, aby następne filtrowanie dolnoprzepustowe pola było wolne od zjawisk ubocznych ruchu. Jeśli wejściowe dane źródłowe filmu (typ 2 lub typ 3) są przetwarzane jako dane źródłowe typu 1, dolnoprzepustowe filtrowanie pola zmniejsza zdolność kodera MPEG-2 do detekcji i właściwego przetworzenia danych źródłowych filmu. Ucierpi na tym wydajność kodowania. Układ 222 przetwarza sygnał na format kolejnoliniowy i usuwa redundancyjne pola/ramki przed filtrowaniem, ponieważ filtrowanie może filtrować różnie informację redundancyjną. Jeśli informacja redundancyjna nie jest usunięta przed filtrowaniem informacja może nie być identyczna po filtrowaniu i koder może nie rozpoznać sygnału jako sygnału typu 2/3. Następnie koder będzie kodował informację, która w przeciwnym przypadku zostałaby usunięta' w wyniku nadmiarowości.The anti-telekine formatting circuit 222 eliminates redundancy fields from 60 Hz interline film and recreates the original progressive movie. The progressive format allows the subsequent lowpass filtering of the field to be free from the side effects of motion. If the movie's input source data (type 2 or type 3) is processed as type 1 source data, low-pass filtering of the field reduces the ability of the MPEG-2 encoder to detect and properly process the movie's source data. Encoding efficiency will suffer. Circuit 222 converts the signal to sequential format and removes redundant fields / frames prior to filtering, because filtering may filter redundant information differently. If redundant information is not removed before filtering, the information may not be identical after filtering and the encoder may not recognize the signal as a 2/3 type signal. The encoder will then encode information that would otherwise be removed by redundancy.

Konstrukcja procesora 22 obrazu jest uproszczona przez dostarczenie pojedynczego taktu wyjściowego z układu 222. Jeśli układ 222 dostarcza wyjściowe, kolejne obrazy filmu z częstotliwością 24 ramek na sekundę i 30 ramek na sekundę, wymagane są dwa wyjściowe takty i obwody wspomagające.The construction of image processor 22 is simplified by providing a single output clock from circuit 222. If circuit 222 provides output, consecutive film images at 24 frames per second and 30 frames per second, two output clock and booster circuits are required.

185 157185 157

Sygnały, które były pierwotnie generowane w formacie kolejnoliniowym 30 ramek na sekundę, przechodzą bezpośrednio do filtru 223. Filtr 223 oczekuje na informację wizyjną, reprezentowaną jako ramki całkowitego obrazu. Przestrzenny dolnoprzepustowy filtr 223 jest w rzeczywistości zestawem filtrów. Na przykład pierwszy filtr jest dolnoprzepustowym filtrem korygującym wady obrazowania linii. Drugi filtr jest dolnoprzepustowym filtrem pola. Ostatni filtr jest dwuwymiarowym filtrem dolnoprzepustowym. Współczynniki każdego odczepu filtru są ustalane adaptacyjnie zgodnie z informacją sterującą z kodera 24 i bufora 26, jak widać na fig. 1. Kolejny sygnał jest filtrowany dolnoprzepustowo liniowo w celu eliminacji błędów obrazowania dla kolejnych próbek w przetworniku 226 szybkości próbkowania. Końcowy sygnał wyjściowy linii 1920 pikseli na linię ma 1280 pikseli na linię. W celu wyeliminowania szumu błędów obrazowania w końcowym sygnale dolnoprzepustowy filtr 223 ma częstotliwość odcięcia równą 640 okresów na linię. Filtr błędów obrazowania linii zawarty w filtrze 223 jest na przykład 17-odczepowym filtrem o skończonej odpowiedzi na impuls FIR z następującymi współczynnikami odczepów:Signals that were originally generated in a progressive 30 frames per second format pass directly to the filter 223. The filter 223 waits for video information, represented as frames of the overall picture. The spatial low pass filter 223 is, in fact, a filter bank. For example, the first filter is a low pass filter for correcting for line imaging defects. The second filter is a low-pass field filter. The last filter is a two-dimensional low-pass filter. The coefficients of each filter tap are set adaptively according to the control information from encoder 24 and buffer 26 as seen in Fig. 1. The next signal is lowpass filtered linearly to eliminate imaging errors for subsequent samples in the sampling rate converter 226. The final line output of 1920 pixels per line is 1280 pixels per line. To eliminate imaging error noise in the final signal, low-pass filter 223 has a cutoff frequency of 640 periods per line. The line imaging error filter included in filter 223 is, for example, a 17-tap finite FIR impulse response filter with the following tap factors:

[fO, fi,..., fl5, fl 6] = [-4, 10, 0, -30, 48, 0, -128, 276, 680, 276, -128, 0, 48, -30, 0, 10, -4]/1024.[fO, fi, ..., fl5, fl 6] = [-4, 10, 0, -30, 48, 0, -128, 276, 680, 276, -128, 0, 48, -30, 0 , 10, -4] / 1024.

Kodowanie sygnałów wizyjnych o wysokiej jakości i zmniejszonej szybkości transmisji danych zwykle wymaga zastosowania dodatkowego filtrowania dolnoprzepustowego pola w celu dalszego zmniejszenia szerokości pasma sygnałów wizyjnych. Usunięcie energii wielkiej częstotliwości pola przed kodowaniem MPEG jest konieczne, aby uzyskać dopuszczalną ogólną jakość obrazu. Zakresy częstotliwości pola o największej czułości na fazę są tłumione. Częstotliwość odcięcia pola jest ustalana na pewien ułamek częstotliwości Nyquista. Na przykład dla niektórych danych wizyjnych jest właściwa częstotliwość odcięcia równa w przybliżeniu połowie częstotliwości linii wejściowego sygnału o wysokiej jakości. Dla sygnału o wysokiej jakości 1080 linii/wysokość obrazu (1/ph) odpowiada to częstotliwości odcięcia równej 540 1/ph. Ta częstotliwość jest programowalna, a programowalna częstotliwość odcięcia jest ustalana przez sterownik 28 na podstawie parametrów uzyskiwanych z kodera 24 i bufora 26 z fig. 1, to jest na podstawie żądanej szybkości transmisji danych, macierzy kwantowania itd. Dolnoprzepustowy filtr pola, zawarty w filtrze 223, jest 17-odczepowym filtrem FIR z następującymi współczynnikami odczepów:The coding of high quality video signals with reduced data rate typically requires additional low-field filtering to further reduce the bandwidth of the video signals. Removal of the RF energy prior to MPEG encoding is necessary to obtain an acceptable overall image quality. The field frequency ranges with the highest phase sensitivity are suppressed. The field cutoff frequency is fixed at a fraction of the Nyquist frequency. For example, for some video data, an appropriate cutoff frequency is approximately half the line frequency of the high quality input signal. For a high quality signal, 1080 lines / image height (1 / ph) corresponds to a cutoff frequency of 540 1 / ph. This frequency is programmable and the programmable cutoff frequency is set by the controller 28 based on the parameters obtained from the encoder 24 and the buffer 26 of Fig. 1, i.e. based on the requested data rate, quantization matrix, etc. Low pass field filter included in filter 223 , is a 17 tap FIR filter with the following tap factors:

[fO, fl,..„ fl5, fl6] = [-4, -7, 14, 28, -27, -81, 37, 316, 472, 316, 37, -81, -27, 28, 14, -7, -4J/1024.[fO, fl, .. "fl5, fl6] = [-4, -7, 14, 28, -27, -81, 37, 316, 472, 316, 37, -81, -27, 28, 14, -7, -4J / 1024.

W innym przypadku częstotliwość odcięcia jest równa dwukrotnej częstotliwości linii sygnału SD. Zwylde dolnoprzepustowy filtr linii występuje po filtrze błędów obrazowania linii.Otherwise, the cut-off frequency is twice the frequency of the SD signal line. The Zwylde lowpass line filter follows the line display fault filter.

Procesor 22 obrazu wykonuje filtrowanie pola zamiast dziesiątkowania pola, utrzymując w ten sposób stałą rozdzielczość linii w pionie. Aktualnie filtrowanie jest preferowane względem dziesiątkowania dla sygnałów wizyjnych międzyliniowych. Przekształcanie rozdzielczości linii w pionie dla sekwencji obrazów wybieranych międzyliniowo wymaga skomplikowanego sprzętu i oprogramowania, co w wyniku komplikuje odbiornik. Przemiana szybkości próbkowania pola jest kompromisem w stosunku do parametrów wielkiej częstotliwości pola ze względu na zwiększoną złożoność odczepów, połączoną z próbkowaniem Nyąuista, to jest bez próbkowania nadmiarowego. Analiza kosztowa odbiornika zniechęca obecnie do zmniejszania rozdzielczości pola w celu redukcji zjawisk ubocznych i szybkości transmisji kodowanych danych. Wyświetlany obraz jest znacznie pogorszony przez użycie obecnej techniki w przetwornikach szybkości próbkowania pola zamiast dolnoprzepustowego - filtru pola. Jednak wydajne i tanie przetworniki szybkości próbkowania pola zastępują filtr pola bez odchodzenia od zasad wynalazku.The image processor 22 performs field filtering instead of decimating the field, thus keeping the vertical line resolution constant. Currently, filtering is preferred over decimation for interline video signals. Converting the vertical line resolution for interlining image sequences requires complex hardware and software which complicates the receiver as a result. The conversion of the field sampling rate is a compromise to the high field frequency parameters due to the increased complexity of taps, coupled with Nyquist sampling, i.e., no oversampling. Receiver cost analysis currently discourages the reduction of field resolution in order to reduce side effects and the transmission rate of the encoded data. The displayed image is significantly degraded by the use of current technology in field sampling rate converters instead of the low-pass field filter. However, efficient and low-cost field sampling rate converters replace the field filter without departing from the principles of the invention.

Współczynniki filtrów dolnoprzepustowych linii i pola są modyfikowane przez oprogramowanie i stosowane na poziomie pikseli w celu uzyskania docelowej szybkości transmisji danych bez generowania zjawisk ubocznych w odtwarzanym obrazie. Ogólnie modyfikacja współczynników w funkcji ramek jest wystarczająca. Alternatywą dla wolniejszych procesorów jest zaprogramowanie z góry pewnej liczby różnych zestawów współczynników dla filtrów i wybieranie najbardziej właściwego zestawu dla informacji przetwarzanego obrazu.The line and field low-pass filter coefficients are modified by the software and applied at the pixel level to achieve the target data rate without generating side effects in the reproduced image. In general, modifying the coefficients as a function of the frames is sufficient. An alternative to slower processors is to program a number of different sets of coefficients for the filters in advance and select the most appropriate set for the processed image information.

185 157185 157

Większa elastyczność filtrów adaptacyjnych umożliwia, że cały układ wytwarza strumień danych z mniejszą liczbą zjawisk ubocznych względem układu bez filtrów adaptacyjnych.The greater flexibility of adaptive filters allows the entire system to produce a data stream with fewer side effects to the system without adaptive filters.

Po poddaniu sygnału filtracji dolnoprzepustowej linii i pola w filtrze 223, sterownik 28 ustala, czy sygnał może być jednorodnie kodowany przez koder 24 w funkcji ramek bez wprowadzania znacznego szumu kwantowania. Jeśli tak, sygnał jest przesyłany do jednego z układów 224, 225 lub 226, zależnie od jego formatu. Jeśli jednak istnieje prawdopodobieństwo, że proces kodowania wprowadzi szum i/lub zjawiska uboczne do sygnału, sygnał jest wysyłany do dwuwymiarowego, dolnoprzepustowego filtru 223 w celu dalszego filtrowania adaptacyjnego. Parametry sterujące z procesora 22 obrazu, kodera 24 i bufora wyjściowego 26 z fig. 1 pozwalają, aby sterownik 28 lub indywidualny sterownik w filtrze 223 ustalił, czy dalsze filtrowanie jest potrzebne. Parametrami sterującymi stosowanymi do ustalenia tego są na przykład wyniki pomiarów ruchu i kontrastu, dostępne tablice kwantowania, wydajność kodowania i bieżąca docelowa szybkość transmisji danych.After the signal has been lowpassed with the line and field in the filter 223, the controller 28 determines whether the signal can be uniformly encoded by the encoder 24 as a function of the frames without introducing significant quantization noise. If so, the signal is sent to one of the chips 224, 225, or 226, depending on its format. However, if the encoding process is likely to introduce noise and / or side effects to the signal, the signal is sent to a two-dimensional low-pass filter 223 for further adaptive filtering. The control parameters from the image processor 22, encoder 24, and output buffer 26 in Fig. 1 allow the controller 28 or an individual controller in filter 223 to determine if further filtering is needed. The control parameters used to determine this are, for example, the results of motion and contrast measurements, the available quantization tables, the coding efficiency and the current target data rate.

Dwuwymiarowy filtr 223 redukuje informację wielkiej częstotliwości w ramce obrazu głównie wzdłuż przekątnej, zamiast jedynie wzdłuż kierunków poziomego lub pionowego. Oko ludzkie Jest bardzo czułe na szum wielkiej częstotliwości w kierunkach pionowym i poziomym względem kierunków przekątnych. Dostateczne usunięcie informacji wielkiej częstotliwości po przekątnej w celu umożliwienia jednorodnego kwantowania przez koder 24 daje ogólnie sygnał o lepszej jakości z mniej zauważalnym szumem. Filtr przekątnej, podobnie jak wszystkie poprzednie filtry, działa na całej ramce obrazu i jest programowalny.Two-dimensional filter 223 reduces high-frequency information in a picture frame mainly along the diagonal, rather than just along the horizontal or vertical directions. Human eye It is very sensitive to high frequency noise in vertical and horizontal directions in relation to diagonal directions. Sufficient removal of the diagonal high frequency information to allow for uniform quantization by encoder 24 results in a generally better quality signal with less noticeable noise. The diagonal filter, like all previous filters, works across the entire image frame and is programmable.

Filtr przekątnej jest kompatybilny z macierzami kwantowania w koderze. Macierze kwantowania często wykorzystują macierze o kształcie graniastosłupa w celu kwantowania ramki I. Jednak macierze te często wywołują szum, ponieważ ramki B i P stosują, inne typy macierzy kwantowania, które zachowują składowe wielkiej częstotliwości podczas procesu kompresji i kompensacji ruchu, który występuje w koderze 24. Filtry procesora 22 obrazu usuwają informację wielkiej częstotliwości z każdej ramki obrazu, zanim koder MPEG-2 24 przetworzy dane dla ramek I, P i B w sieci oceny ruchu. Zatem składowe wielkiej częstotliwości są ogólnie eliminowane z ramek P i B, jak również z ramek I. Przy odtwarzaniu obraz jest ogólnie wolny od zjawisk ubocznych, wytwarzanych przez znane kodowanie MPEG-2.The diagonal filter is compatible with the encoder quantization matrices. Quantization matrices often use prism-shaped matrices to quantize the I-frame. However, these matrices often cause noise because B and P-frames use other types of quantization matrices that preserve high-frequency components during the compression and motion compensation process that occurs in the encoder 24 Picture processor 22 filters remove high frequency information from each picture frame before the MPEG-2 encoder 24 has processed data for I, P, and B frames in the traffic evaluation network. Thus, the high frequency components are generally eliminated from the P-frames and B-frames as well as from the I-frames. In playback, the picture is generally free from side effects produced by the known MPEG-2 encoding.

Na fig. 1 w praktyce sterownik 28 ocenia parametry sygnału, na przykład ruch, kontrast itd. przed filtrowaniem danej ramki przez procesor 22 obrazu i ustala wartości parametrów dla wszystkich filtrów w filtrze 223, włącznie z filtrowaniem po przekątnej. Podczas procesu filtrowania danej ramki sterownik 28 monitoruje parametry sygnału z procesora 22 obrazu, kodera 24 i bufora 26 oraz zmienia w razie potrzeby współczynniki w celu utrzymania docelowej szybkości transmisji danych z minimalnymi zjawiskami ubocznymi i szumem. Każda ramka jest filtrowana w oparciu o ostatnie parametry sygnału i jest przesyłana do kodera 74 w celu kompresji, a następnie do bufora 26, gdy następna informacja jest wprowadzana do filtru 223.In Figure 1, in practice, the controller 28 evaluates the signal parameters, e.g., motion, contrast, etc., before filtering a given frame by the image processor 22, and determines parameter values for all filters in the filter 223, including diagonal filtering. During the filtering process of a given frame, the controller 28 monitors the signal parameters from the image processor 22, encoder 24 and buffer 26 and changes the coefficients as necessary to maintain the target data rate with minimal side-effects and noise. Each frame is filtered based on the last signal parameters and is sent to encoder 74 for compression, and then to buffer 26 as the next information is entered into filter 223.

Jeśli sygnał powstał jako sygnał filmu o 24 ramkach na sekundę, filtrowany sygnał jest przekazywany do układu 224 redukującego w skali 3:2. Układ 224 odtwarza wybrane ramki w celu dostarczenia sygnału wyjściowego o 30 ramkach na sekundę. Jest to realizowane znanymi metodami. Następnie sygnał jest przesyłany z układu 224 do przetwornika 226 zmniejszającego ilość próbek w linii.If the signal was produced as a 24 frames per second movie signal, the filtered signal is passed to a 3: 2 reduction circuitry 224. Circuit 224 recreates the selected frames to provide an output signal of 30 frames per second. This is done using known methods. The signal is then sent from circuit 224 to transducer 226 to reduce the number of samples per line.

Układ 225 podpróbkujący pola przetwarza kolejne sygnały z filtru 223 z formatu wybierania kolejnoliniowego na międzyliniowe znanymi metodami. Bez przetworzenia z powrotem do formatu międzyliniowego sygnał zawierałby dwa razy większą ilość danych, ponieważ szybkość przesyłania kolejnych ramek z urządzenia 221 jest równa 60 Hz. Sygnał międzyliniowy jest dostarczany do przetwornika 226.The field sub-sampler 225 converts the successive signals from the filter 223 from progressive to interline format by known methods. Without converting back to the inter-line format, the signal would contain twice as much data as the rate of successive frames from device 221 is 60 Hz. The interlinear signal is provided to transducer 226.

Przetwornik 226 szybkości próbkowania odbiera kolejne sygnały o 30 ramkach na sekundę bezpośrednio z filtru 223. Również układy 224 i 225 dostarczają sygnały do przetwornika 226. Przetwornik 226 redukuje próbki sygnałów o wysokiej jakości zgodnie z wybranym formatem transmisji. Format ten nie musi być formatem standardowym. Może on być dowolnym żądanym współczynnikiem obrazu i rozmiarem ramki. Niestandardowy format wymaga jednak modyfikacji odbiornika.Sampling rate converter 226 receives consecutive 30 frames per second signals directly from filter 223. Also, circuits 224 and 225 provide signals to converter 226. Converter 226 reduces samples of high quality signals according to the selected transmission format. This format does not have to be a standard format. It may be any desired image ratio and frame size. However, the non-standard format requires modification of the receiver.

185 157185 157

Gdy przetwornik 226 odbiera sygnały GA HDTV 1920 na 1080, przetwornik 226 zmniejsza ilość próbek w informacji linii i generuje hybrydowy format ramki 1280 na 1080 pikseli. Odbiorniki GA HDTV są zdolne odbierać ramki obrazów zawierające 1920 na 1080 pikseli i 1280 na 720 pikseli. Zatem odbiorniki kompatybilne GA mogą być modyfikowane do rozdzielczości 1280 pikseli poziomo i 1080 pikseli pionowo. Układy kompatybilnego odbiornika zwiększają liczbę próbek w poziomie z 1280 do 1920 pikseli wraz ze zwiększeniem rozdzielczości linii. Jednak odbiorniki GA nie są wymagane ani programowane na odbiór rozdzielczości ramki obrazu 1280 na 1080 pikseli poziomo na pionowo jako zdefiniowany format. Układy są właściwe do odbioru i dekodowania tej rozdzielczości, ale trzeba dodać oprogramowanie wspomagające do dekodowania i zwiększania tylko rozdzielczości linii. Dodawanie oprogramowania jest proste w porównaniu z przeprojektowywaniem i dodawaniem nowego sprzętu potrzebnego w przypadku innych, niestandardowych formatów.When the converter 226 receives GA HDTV 1920 signals to 1080, the converter 226 reduces the number of samples in the line information and generates a hybrid frame format of 1280 by 1080 pixels. GA HDTV receivers are capable of receiving image frames containing 1920 by 1080 pixels and 1280 by 720 pixels. Thus, GA compatible receivers can be modified to a resolution of 1280 pixels horizontally and 1080 pixels vertically. The compatible receiver circuitry increases the horizontal number of samples from 1280 to 1920 pixels as the line resolution increases. However, GA receivers are not required or programmed to receive a picture frame resolution of 1280 by 1080 pixels horizontally to vertically as a defined format. The chips are okay to receive and decode this resolution, but you need to add an assist software for decoding and only line resolution enhancement. Adding software is easy compared to redesigning and adding new hardware for other non-standard formats.

Procesor 22 zapewnia format hybrydowy 1280 na 1080, ponieważ aktualna technika wyświetlania nie jest zdolna wyświetlać przy rozdzielczości 1920 pikseli na linię. Aktualnie najlepsze monitory telewizyjne wyświetlają tylko przy rozdzielczości około 1200 do 1300 pikseli na linię. Zatem ograniczenie wyjściowej rozdzielczości do 1280 pikseli na linię w kierunku poziomym ma mały, jeśli w ogóle ma, negatywny wpływ na jakość obrazu. Przy zapewnianiu rozdzielczości wyświetlania 1280 na 1080, która jest wspomagana przez istniejący sprzęt dekodowania i dekompresji odbiornika, producenci odbiorników są zaangażowani minimalnie, ponieważ potrzebna jest tylko zmiana w oprogramowaniu. W pewnych odbiornikach, takich jak dla satelitów nadawania programów, modyfikacja oprogramowania może zostać przesłana i zainstalowana zdalnie łączem satelitarnym. W przypadku tych odbiorników nie ma potrzeby angażowania techników serwisu.Processor 22 provides a hybrid format of 1280 by 1080 as the current display technique is unable to display at 1920 pixels per line. Currently, the best TV monitors only display at resolutions of about 1200 to 1300 pixels per line. Thus, limiting the output resolution to 1280 pixels per line in the horizontal direction has little, if any, negative impact on image quality. In providing a display resolution of 1280 by 1080 which is assisted by the receiver's existing decoding and decompression hardware, the receiver manufacturers are minimally involved as only a software change is needed. In certain receivers, such as for broadcasting satellites, a software modification may be uploaded and installed remotely over the satellite link. There is no need to engage service technicians with these receivers.

Format hybrydowy jest korzystny, ponieważ dostawcy programu naziemnego i satelitarnego są niechętni przesyłaniu programów HD. Przekaźnik satelitarny przesyła strumień danych z szybkością, około 24 Mbitów na sekundę. Nadawcy programu naziemnego HDTV przesyłają do 19 Mbitów na sekundę, co obejmuje program Hd z 18 Megabitami na sekundę i unie informacje, takie jak sygnałyacustyczne, przewodnik po programie, warunkowy itd. Każdy z aktualnych przekaźników satelitarnych przesyła najwyżej jeden program HDTV, co według dostawców programu satelitarnego nie jest dostatecznie dochodowe. Proste zmniejszenie rozdzielczości linii ramki z 1920 do 1280 nie jest dostateczne, aby umożliwić jednoczesne przesyłanie dwóch programów HD przez jeden przekaźnik satelitarny. Filtrowanie zapewnione przez procesor 22 obrazu umożliwia korzystnie transmisję podwójnego programu HD w jednym kanale.The hybrid format is beneficial because terrestrial and satellite broadcast providers are reluctant to transmit HD broadcasts. The satellite transmitter transmits the data stream at a rate of approximately 24 Mbit per second. HDTV terrestrial broadcasters transmit up to 19 Mbit per second, which includes Hd program at 18 Megabits per second and unbind information such as acoustic signals, program guide, conditional etc. Each of the current satellite transmitters transmits at most one HDTV program, which according to program providers satellite is not profitable enough. Simply reducing the frame line resolution from 1920 to 1280 is not sufficient to allow two HD broadcasts to be transmitted simultaneously through one satellite repeater. The filtering provided by the image processor 22 advantageously enables the transmission of dual HD program on one channel.

Charakterystyki filtrowania zapewniane przez procesor 22 obrazu mogą mieć różne kształty, na przykład kształt graniastosłupa, krzyża i hiperboli od osi do osi, gdzie każdy filtr filtruje po przekątnej.The filtering characteristics provided by image processor 22 can be of various shapes, such as a prism, a cross, and an axis-to-axis hyperbola shape, with each filter diagonally filtering.

Figura 3 przedstawia jeden z możliwych kształtów charakterystyki filtrowania, hiperbolę dwuwymiarową, szczególnie korzystną w tym zastosowaniu i dającą odpowiedź amplitudy w funkcji częstotliwości. Regulowana częstotliwość odcięcia filtru jest ogólnie ustalana tak, aby GOP, ramka lub wybrana część ramki były jednorodnie zagęszczane przez koder 24. W razie potrzeby może być filtrowana dodatkowa informacja wielkiej częstotliwości linii i pola, ale ogólnie nie jest to konieczne. Jeżeli złożoność obrazu zmienia się lub jeżeli rośnie dostępna szybkość transmisji, ilość danych filtrowanych przez filtr przekątnej i inne poprzednie filtry maleje. Filtr dwuwymiarowy można opisać na przykład jako dwuwymiarowy filtr FIRz 13 odczepami w każdym kierunku 13 na 13 lub jako dwuwymiarowy filtr IIR o nieskończonej odpowiedzi impulsowej.Figure 3 shows one possible filter pattern shape, a two-dimensional hyperbola, particularly advantageous for this application and giving an amplitude versus frequency response. The adjustable cutoff frequency of the filter is generally set so that the GOP, frame, or a selected portion of the frame are compacted uniformly by the encoder 24. Additional high frequency line and field information may be filtered if desired, but generally not necessary. If the complexity of the image changes or the available bit rate increases, the amount of data filtered by the diagonal filter and other previous filters decreases. A two-dimensional filter can be described, for example, as a two-dimensional FIR filter with 13 taps in each direction 13 by 13 or as a two-dimensional IIR filter with infinite impulse response.

Dwuwymiarowy filtr FIR, zawarty w filtrze 223, jest filtrem o 13 na 13 odczepach z następującymi współczynnikami:The two-dimensional FIR filter contained in filter 223 is a 13-tap filter with the following coefficients:

185 157185 157

0 0 0 0 0 0 1 1 -3 -3 5 5 -5 -5 5 5 -3 -3 1 1 0 0 0 0 0 0 0 0 0 0 1 1 -1 -1 -3 -3 9 9 -11 -11 9 9 -3 -3 -1 -1 1 1 0 0 0 0 0 0 1 1 -1 -1 -4 -4 4 4 6 6 -13 -13 6 6 4 4 -4 -4 -1 -1 0 0 0 0 1 1 -1 -1 -4 -4 1 1 14 14 -13 -13 4 4 -13 -13 14 14 1 1 -4 -4 -1 -1 1 1 -3 -3 -3 -3 4 4 14 14 5 5 -47 -47 61 61 -47 -47 5 5 14 14 4 4 -3 -3 -3 -3 5 5 9 9 6 6 -13 -13 -47 -47 -55 -55 193 193 -55 -55 -47 -47 -13 -13 6 6 9 9 5 5 -5 -5 -11 -11 -13 -13 4 4 61 61 193 193 556 556 193 193 61 61 4 4 -13 -13 -11 -11 -5 -5 5 5 9 9 6 6 -13 -13 -47 -47 -55 -55 193 193 -55 -55 -47 -47 -13 -13 6 6 9 9 5 5 -3 -3 -3 -3 4 4 14 14 5 5 -47 -47 61 61 -47 -47 5 5 14 14 4 4 -3 -3 -3 -3 1 1 -1 -1 -4 -4 1 1 14 14 -13 -13 4 4 -13 -13 14 14 1 1 -4 -4 -1 -1 1 1 0 0 1 1 -1 -1 -4 -4 4 4 6 6 -13 -13 6 6 4 4 -4 -4 -1 -1 1 1 0 0 0 0 0 0 1 1 -1 -1 -3 -3 9 9 -11 -11 9 9 -3 -3 -1 -1 1 1 0 0 0 0 0 0 0 0 0 0 1 1 -3 -3 5 5 -5 -5 5 5 -3 -3 1 1 0 0 0 0 0 0

Dla tych współczynników, wzmocnienie stałoprądowe jest równe 1024. Współczynniki mają symetrię oktantową, co daje 28 niezależnych współczynników. Obszary o symetrycznych współczynnikach umożliwiają szybsze opracowanie regulowanego filtru. Możliwe jest jednak, że każdy oktant jest inny, jeśli na przykład filtrowany obraz lub obszar ma inne charakterystyki w jednej części obrazu.For these factors, the DC gain is 1024. The factors have octant symmetry, which gives 28 independent factors. Areas with symmetrical coefficients allow for faster development of an adjustable filter. However, it is possible that each octant is different if, for example, the filtered image or area has different characteristics in one part of the image.

Odpowiedź filtrowania procesora 22 zmienia się w sposób ciągły od jednego zestawu współczynników do drugiego w funkcji różnych pikseli. Zatem procesor 22 ma różne parametry robocze w celu utrzymywania dobrej jakości obrazu przy ograniczonej szybkości transmisji danych.The filter response of processor 22 varies continuously from one set of coefficients to another as a function of different pixels. Thus, the processor 22 has different operating parameters to maintain a good image quality at a limited data rate.

Procesor 22 jest modyfikowany adaptacyjnie w celu adaptacyjnego filtrowania zależnie od parametru czy parametrów użytych do określania adaptacji filtru. Na przykład zmiany ramki obrazu są stosowane do podzielenia obrazu na obszary o różnym sposobie przetwarzania. Krawędzie są ważną cechą obrazu, gdyż dominujące krawędzie maskują błędy kodowania w ich sąsiedztwie i określają również obszary obrazu. Można użyć kolorymetrii do identyfikacji obszarów o małej złożoności, takich jak ciało i niebo. Tekstury są również identyfikowane i przetwarzane jako obszary, ale są ogólnie mniej ważne niż krawędzie. Zatem tekstury identyfikują obszary, które są odfiltrowywane bardziej niż inne obszary. Również rozkład kinematyczny jest używany do lokalizacji ważnych rysunków lub działań, które wymagają większej wydajności kodowania, a zatem słabszego filtrowania. Tło jest ogólnie osłabiane przez głębię ostrości optyki kamery i może być silniej filtrowane. Informacje o panoramiczności i wybieraniu są używane do określania centrum zainteresowania obrazem w celu innego przetwarzania przez procesor 22.Processor 22 is adaptively modified to adaptively filter depending on the parameter or parameters used to determine filter adaptation. For example, changes to the picture frame are used to divide the picture into areas with different processing methods. Edges are an important feature of an image as dominant edges mask encoding errors in their vicinity and also define image areas. You can use colorimetry to identify areas of low complexity, such as the body and the sky. Textures are also identified and processed as areas, but are generally less important than edges. Thus, textures identify areas that are filtered out more than other areas. Also, the kinematic distribution is used to locate important drawings or activities that require higher coding efficiency and therefore less filtering. The background is generally weakened by the depth of field of the camera optics and can be more heavily filtered. The panning and selection information is used to determine the center of interest of the image for other processing by processor 22.

Działanie kodera 24 jest kompatybilne ze standardem MPEG-2. Koder 24 dostarcza informację przez sterownik 28, który procesor 22 używa do zwiększania wydajności. Takie informacje obejmują na przykład szybkość transmisji danych. Informacja o szybkości transmisji danych zawiera średnią szybkość transmisji danych dla GOP, szybkość transmisji danych ramki i szybkość transmisji danych makrobloku lub bloku. Inne informacje, które zwiększaj ą wydajność procesora 22, obejmują parametry dyskretnej transformaty kosinus, typ użytej macierzy kwantowania i stosowany wymiar skoku macierzy kwantowania. Procesor 22 dostarcza również informacje do kodera 24 przez sterownik 28 w celu regulacji jego działania, aby uzyskać poprawienie wydajności kodowania.The operation of the encoder 24 is compatible with the MPEG-2 standard. The encoder 24 provides information through the controller 28, which processor 22 uses to improve performance. Such information includes, for example, the data rate. The data rate information includes the average data rate of the GOP, the data rate of a frame, and the data rate of a macroblock or block. Other information that increases the performance of processor 22 includes the parameters of the discrete cosine transform, the type of quantization matrix used, and the step dimension of the quantization matrix used. The processor 22 also provides information to the encoder 24 through the controller 28 to adjust its operation to obtain an improvement in coding efficiency.

Po uformowaniu w transportowy strumień danych pakietu przy zastosowaniu znanych technik, sygnał HD jest przesyłany do odbiornika w znany sposób. Z wyjątkiem wymaganego zwiększenia ilości próbek do pełnej rozdzielczości pikseli HD w odbiorniku, przetwarzanie sygnału zapewniane przez procesor 22 obrazu jest niewidoczne dla dekodera w odbiorniku.After forming the packet into a transport data stream using known techniques, the HD signal is transmitted to the receiver in a known manner. Except as required to increase the number of samples to full HD pixel resolution at the receiver, the signal processing provided by the image processor 22 is invisible to the decoder at the receiver.

W odbiorniku strumień danych jest demodulowany i strumień transportowy jest przetwarzany w celu odzyskania pakietów danych i informacji programowej przy użyciu znanych technik. W przypadku programów HD o formacie hybrydowym, w sygnale jest zwiększana ilość próbek w kierunku poziomym w procesorze odtwarzania, jeśli układ odtwarzaniaAt the receiver, the data stream is demodulated and the transport stream is processed to recover data packets and program information using known techniques. In the case of HD programs with hybrid format, the signal is incremented in the horizontal direction in the playback processor, if the playback system

185 157 wymaga zastosowania pełnego sygnału HD. Liczba linii pionowych w sygnale obrazu jest niezmieniona. Powoduje to odtworzenie pełnego sygnału HD o rozdzielczości 1920 na 1080 w celu odtwarzania przez układ odtwarzający obraz wysokiej jakości. Jeśli układ odtwarzający obraz wymaga niepełnego sygnału HD, w sygnale jest zmniejszona znanymi sposobami ilość próbek podczas odtwarzania obrazu przed jego wyświetleniem. Odbiorniki wymagają modyfikacji oprogramowania, aby móc odtwarzać sygnał hybrydowy. Modyfikacja oprogramowania umożliwia, aby sprzętowe i programowe procedury przetwarzania linii i pola, przypisane standardowym trybom, były w razie potrzeby wybierane niezależnie w stosunku do przychodzącego sygnału.185 157 requires a full HD signal. The number of vertical lines in the image signal is unchanged. This reproduces the full HD signal with a resolution of 1920 by 1080 for playback by the high-quality playback system. If the image reproducing system requires an incomplete HD signal, the signal is reduced by known methods in the number of samples when the image is reproduced before it is displayed. The receivers require a software modification to be able to play the hybrid signal. A software modification allows the hardware and software line and field processing routines assigned to the standard modes to be selected independently of the incoming signal as needed.

Figura 4 przedstawia sieć działań sygnału obrazu wideo przez układ kodowania. W etapie 30 jest identyfikowany format sygnału, zaś informacja identyfikacyjna jest przenoszona z sygnałem wizyjnym. Informacja o formacie może wskazywać na przykład, czy sygnał pochodzi z filmu o formacie 24 ramek na sekundę i czy sygnał jest stosowany z wybieraniem międzyliniowym czy kolejnoliniowym. Jeśli sygnał wizyjny jest przepleciony, sygnał jest przetwarzany na sygnał kolejny o 60 ramkach na sekundę w etapie 31. Jeśli sygnał został przetworzony przez redukcję 3:2, ramki redundancyjne są usuwane w etapie 32. Jeśli sygnał wizyjny jest już w formacie kolejnoliniowym, jest przesyłany bezpośrednio do filtru w etapie 34, w którym sygnał wizyjny jest filtrowany przestrzennie dolnoprzepustowo. Obejmuje to filtrowanie pola, linii i po przekątnej. W etapie 35 sygnał jest ponownie przetwarzany na sygnał kolejny, który został przetworzony z sygnału przeplecionego w etapie 31 lub ponownie na sygnał między linio wy. W etapie 36 sygnał jest poddawany redukcji 3:2 w celu ponownego umieszczenia ramek redundancyjnych, usuniętych poprzednio w etapie 32. Sygnały wizyjne, przesyłane bezpośrednio z etapu 30 do etapu 34, przechodzą teraz bezpośrednio z etapu 34 do etapu 38, w którym w sygnale wizyjnym z jednego z etapów 34, 35 i 36 jest zmniejszana ilość próbek do hybrydowej rozdzielczości sygnału HD 1280 na 1080 lub do innego formatu wyjściowego. W etapie 40 sygnał hybrydowy jest kodowany w formacie MPEG-2. W etapie 42 kodowany sygnał jest przetwarzany na sygnał transportowy, a w etapie 44 sygnał transportowy jest modulowany dla transmisji w kanale wyjściowym, na przykład w kanale nadawania naziemnego o częstotliwości radiowej. W końcu w etapie 46 jest przesyłany modulowany sygnał.Figure 4 shows a flowchart of a video image signal through an encoder. In step 30, the signal format is identified and the identification information is conveyed with the video signal. The format information may indicate, for example, whether the signal is from a 24 frames per second movie and whether the signal is used with interline or progressive scanning. If the video signal is interleaved, the signal is converted to a further 60 frames per second signal in step 31. If the signal has been processed by a 3: 2 reduction, the redundant frames are removed in step 32. If the video signal is already in sequential format, it is transmitted directly to the filter in step 34 wherein the video signal is spatially lowpass filtered. This includes field, line and diagonal filtering. In step 35, the signal is re-converted into a subsequent signal, which was converted from the interleaved signal in step 31, or again into an inter-line signal. In step 36, the signal is reduced 3: 2 to replace the redundancy frames previously removed in step 32. The video signals sent directly from step 30 to step 34 now go directly from step 34 to step 38 where in the video signal from one of steps 34, 35 and 36, the sample size is downsampled to the hybrid HD 1280 to 1080 signal resolution or to a different output format. In step 40, the hybrid signal is encoded in MPEG-2 format. In step 42, the encoded signal is converted into a transport signal, and in step 44 the transport signal is modulated for transmission on an output channel, e.g., a radio frequency terrestrial channel. Finally, in step 46, the modulated signal is transmitted.

Figura 5 przedstawia sieć działań sygnału obrazu nadawanego przez odbiornik. Zakłada się, że rozdzielczość obrazu odbieranego sygnału odpowiada sygnałowi hybrydowemu HD 1280 na 1080. W etapie 50 przesyłany sygnał jest odbierany przez układ strojenia i demodulowany. Demodulowany sygnał jest dekodowany zgodnie z formatem MPEG-2 i poddawany dekompresji w etapie 52. W etapie 54 jest identyfikowana rozdzielczość sygnału wizyjnego jako 1280 na 1080 pikseli na obraz przez informację sterowania przesyłaną z sygnałem. Protokół GA MPEG-2 dostarcza informację o rozdzielczości obrazu z przesyłanym sygnałem. Sygnał hybrydowy jest ogólnie identyfikowany przez unikalny kod, takjak sygnał o dowolnej innej rozdzielczości. Sygnał hybrydowy jest również definiowany w inny sposób, naprzykład przez informację zawartą w danych użytkownika w przesyłanych danych. W hybrydowym sygnale wizyjnym jest zwiększana ilość próbek linii do pełnego sygnału HD 1920 na 1080 podczas przetwarzania związanego z wyświetlaniem w etapie 56. W sygnale hybrydowym ilość próbek jest zwiększana przy pomocy nowego oprogramowania w połączeniu z istniejącym sprzętem i oprogramowaniem istniejącym w odbiorniku. W końcu pełny sygnał wizyjny HD jest wyświetlany w układzie odtwarzania 1920 na 1080 w etapie 58.Figure 5 is a flowchart of an image signal transmitted by the receiver. It is assumed that the image resolution of the received signal corresponds to the hybrid signal HD 1280 by 1080. In step 50, the transmitted signal is received by a tuner and demodulated. The demodulated signal is decoded according to MPEG-2 format and decompressed in step 52. In step 54, the resolution of the video signal is identified as 1280 by 1080 pixels per image by control information communicated with the signal. The GA MPEG-2 protocol provides information about the image resolution with the transmitted signal. The hybrid signal is generally identified by a unique code, as is any other resolution signal. The hybrid signal is also defined in other ways, such as by information contained in user data in the transmitted data. In the hybrid video signal, the line samples are incremented to a full HD 1920 by 1080 signal during the display processing in step 56. In the hybrid signal, the number of samples is increased with new software in conjunction with existing hardware and software in the receiver. Finally, full HD video is displayed in the 1920 by 1080 playback frame at step 58.

Koder MPEG-2, zwierający urządzenia według wynalazku, zawiera dwuwymiarowy filtr przed koderem. Koder, bufor wyjściowy i filtr wytwarzają informację, która jest wykorzystywana przez inne układy do zwiększania sprawności ogólnej. Taka informacja dotyczy na przykład ruchu obrazu, kontrastu obrazu, wyboru macierzy kwantowania, wyboru współczynnika skalowania, szybkości transmisji danych na wyjściu każdego układu, tekstury obrazu. Informacja jest przesyłana między układami przez sterownik, który nadzoruje proces kodowania lub indywidualne sterowniki znajdujące się w każdym układzie.The MPEG-2 encoder, including devices according to the invention, includes a two-dimensional filter upstream of the encoder. The encoder, output buffer, and filter produce information that is used by other circuits to increase overall efficiency. Such information relates to, for example, image movement, image contrast, quantization matrix selection, scaling factor selection, data rate at the output of each system, image texture. The information is transferred between the systems by the controller which oversees the coding process or the individual controllers residing in each system.

Sterownik ocenia przychodzącą informację i identyfikuje charakterystyczne elementy grupy obrazów, ramkę lub fragment ramki, które są korzystnie stosowane do modyfikacjiThe controller evaluates the incoming information and identifies the characteristic elements of the picture group, frame or frame fragment, which are preferably used for modification

185 157 działania filtru i/lub kodera w celu wydajnego kodowania grupy, ramki lub fragmentu ramki dla docelowej szybkości transmisji danych. Filtr jest regulowany, ponieważ regulacja filtru wywołuje mniejszy szum niż regulacja kodera. Filtr jest w rzeczywistości zespołem filtrów, który umożliwia uzyskanie większej elastyczności przez dobranie współczynników poszczególnych filtrów. Filtrami tymi są dolnoprzepustowy filtr korygujący wady obrazowania linii, dolnoprzepustowy filtr pola i dwuwymiarowy filtr dolnoprzepustowy. Sterownik ocenia odebraną informację odnośnie bieżącego ustawienia filtru i kodera oraz wykonuje regulacje w jednym lub kilku filtrach i/lub w koderze według jednego lub większej ilości dominujących elementów charakterystycznych. Końcowym wynikiem jest sygnał wejściowy odfiltrowany dolnoprzepustowo przez filtr w sposób, który umożliwia kodowanie przez koder obrazu jednorodnie grupie obrazów, ramce lub fragmencie ramki względem dominującego elementu charakterystycznego danych, które sąjednorodnie kodowane.185 157 operating a filter and / or encoder to efficiently encode a group, frame, or portion of a frame at a target data rate. The filter is adjustable because the filter adjustment produces less noise than the encoder adjustment. A filter is in fact an array of filters that allows greater flexibility by selecting the coefficients of the individual filters. These filters are a low pass line imaging defect filter, a low pass field filter and a two dimensional low pass filter. The controller evaluates the received information regarding the current filter and encoder setting and makes adjustments in the one or more filters and / or the encoder according to the one or more dominant features. The final result is an input signal lowpass filtered by the filter in a manner which allows the image encoder to encode uniformly a group of pictures, a frame or a frame portion with respect to a dominant characteristic element of the data which is uniformly coded.

Kodowany sygnał jest przesyłany w dostępnej szerokości pasma, a następnie odtwarzany i wyświetlany bez zjawisk ubocznych, które znalazłyby się w nim w przeciwnym przypadku. Dla sygnałów o wysokiej jakości, mających 1920 na 1020 pikseli na ramkę obrazu, rozdzielczość pozioma jest zmniejszona do 1280 pikseli na linię po filtrowaniu i przed kodowaniem w celu dalszego zmniejszenia szerokości pasma potrzebnej dla przesyłanego sygnału. Wynikiem jest hybrydowa rozdzielczość obrazu, której odbiorniki o wysokiej jakości odbierają, dekodują i wyświetlają po niewielkich zmianach oprogramowania.The encoded signal is transmitted within the available bandwidth, and then played back and displayed without any side effects that would otherwise be there. For high quality signals having 1920 by 1020 pixels per image frame, the horizontal resolution is reduced to 1280 pixels per line after filtering and before encoding to further reduce the bandwidth needed for the transmitted signal. The result is a hybrid image resolution that high-quality receivers receive, decode and display with little software modification.

Sposoby i urządzenie opisane powyżej są stosowane w licznych konfiguracjach w celu uzyskania lepszej jakości odtwarzanego obrazu o wysokiej rozdzielczości. Stosuje się opcje adaptacyjne i nieadaptacyjne, zależnie od wymagań danego układu.The methods and apparatus described above are used in numerous configurations to achieve a better high definition reproduction image quality. Adaptive and non-adaptive options apply, depending on the requirements of the system.

Opcją nieadaptacyjną jest ustawienie filtrowania ramek przez procesor 22 obrazu na docelową szybkość transmisji danych i umożliwienie jednorodnego przetwarzania wszystkich obrazów. Inna opcja nieadaptacyjną zakłada, że środek wyświetlanego obrazu jest najbardziej interesującym obszarem. Zakłada się również, że krawędzie obrazu są mniej interesujące a zatem mniej ważne dla widza. Współczynniki filtrów procesora 22 obrazu są ustawiane przez sterownik 28 przez parametry, które są funkcjami położenia przestrzennego pikseli i cała infonnacja o obrazie jest przetwarzana jednorodnie.A non-adaptive option is to set the frame filtering by image processor 22 to a target data rate and allow all images to be processed uniformly. Another non-adaptive option assumes that the center of the displayed image is the most interesting area. It is also assumed that the edges of the image are less interesting and therefore less important to the viewer. The filter coefficients of the image processor 22 are set by the controller 28 by parameters that are functions of the spatial position of the pixels and all information about the image is processed uniformly.

Opcją adaptacyjną, jest podział obrazu na obszary, stosując parametry modelu tekstur, lokalnej wariancji wizyjnej, kolorymetrii lub innych miar złożoności obrazu w oparciu o obraz źródłowy. Charakterystyki filtrowania procesora 22 obrazu są modyfikowane adaptacyjnie dla różnych obszarów.An adaptive option is to split the image into regions using the parameters of the texture model, local visual variance, colorimetry, or other measures of image complexity based on the source image. The filtering characteristics of the image processor 22 are adaptively modified for the various regions.

Inną opcją jest modyfikowanie adaptacyjne charakterystyk filtrowania przez procesor 22 obrazu w fiinkcji różnicy między rzeczywistą szybkością transmisji danych i docelową szybkością transmisji danych. W tym przypadku pojedynczy parametr steruje zmianą współczynników filtrowania dla odpowiedzi w zakresie częstotliwości dla dwóch wymiarów.Another option is to adapt the image processor 22 to adapt the filtering characteristics to be a difference between the actual data rate and the target data rate. In this case, a single parameter controls the change of the filter coefficients for the frequency response for the two dimensions.

Inną opcją jest zaprojektowanie odpowiedzi w zakresie częstotliwości dla filtrowania dwuwymiarowego, zapewnianego przez procesor 22 obrazu, jako kompatybilnej z macierzą, kwantowania wykorzystywaną przez koder 24. Macierz kwantowania jest uważana na przykład za filtr dolnoprzepustowy, który ma kształt dwuwymiarowy. W tej opcji wartości współczynników filtru są funkcją wymiaru skoku macierzy kwantowania. Jeżeli wymiar skoku zmienia się zgodnie ze znanym działaniom kodera, odpowiadająca mu zmiana wystąpi we współczynnikach filtru.Another option is to design the frequency response for the two-dimensional filtering provided by the image processor 22 to be compatible with the quantization matrix used by the encoder 24. The quantization matrix is considered, for example, a low pass filter that has a two-dimensional shape. In this option, the values of the filter coefficients are a function of the step dimension of the quantization matrix. If the pitch dimension changes according to the known actions of the encoder, a corresponding change will occur in the filter coefficients.

Powyższe opcje ilustrują elastyczność urządzenia według wynalazku. Takie urządzenie korzystnie działa w kontekście sterowania szybkością transmisji danych MPEG-2 w celu zwiększenia możliwości kompresji MPEG-2 przez redukcję zjawisk ubocznych kodowania i innego szumu. Uniwersalność i ekonomia tworzenia sygnałów HDTV są poprawione dzięki zastosowaniu wynalazku. Liczba programów o wysokiej jakości, przesyłanych przez przekaźnik układu satelitarnego nadawania bezpośredniego, to jest 24 MHz 4-PSK, jest zwiększona z jednego do dwóch programów lub jednego programu o wysokiej jakości z licznymi programami SD. Wynalazek stwarza możliwość przesyłania jednego programu o wysokiej jakości z licznymi programami SD w kanale nadawania naziemnego.The above options illustrate the flexibility of the device of the invention. Such a device advantageously functions in the context of controlling the MPEG-2 data rate to increase the MPEG-2 compression capability by reducing coding side effects and other noise. The versatility and economy of creating HDTV signals are improved by using the invention. The number of high quality programs transmitted by the relay of the direct broadcast satellite system, i.e. 24 MHz 4-PSK, is increased from one to two programs or one high quality program with numerous SD programs. The invention makes it possible to transmit one high quality program with multiple SD programs on the terrestrial channel.

185 157185 157

Wynalazek znajduje zastosowanie w innych sytuacjach, na przykład w układach do zapisu danych. W takich układach, jak uniwersalny dysk wideo DvD, dane wizyjne są kodowane i zapisywane w celu odtworzenia w późniejszym czasie. Nośnik danych ma ograniczoną ilość dostępnego miejsca do zapisu. Jeśli kodowany program, film lub inna sekwencja wideo przekracza dostępną przestrzeń na nośniku, dalsze kodowanie/kompresja potrzebna do zmieszczenia programu, może spowodować powstawanie niedopuszczalnych zjawisk ubocznych. Wynalazek znajduje zastosowanie do wydajnego kodowania programu przy mniejszej szybkości transmisji danych, co umożliwia zmieszczenie programu na dysku lub zmieszczenie licznych programów na jednym dysku. Wynalazek jest również stosowany przy cyfrowym zapisie na taśmie.The invention finds application in other situations, for example in data recording systems. In systems such as universal DvD video disc, video data is encoded and saved for later playback. The data carrier has a limited amount of available storage space. If the encoded program, movie or other video sequence exceeds the available space on the medium, further encoding / compression to accommodate the program may result in unacceptable side effects. The invention is applicable to efficiently coding a program at a lower data rate, which makes it possible to fit a program on a disk or to fit multiple programs on one disk. The invention is also applicable to digital recording on tape.

185 157185 157

FIQ 3 ^2N0rmali_20Wana FIQ 3 ^2N0r small _20Wana

185 157185 157

FIG. 2FIG. 2

FIG. 5FIG. 5

185 157185 157

Departament Wydawniciw UPR.P. INN^łałł 60 egz. Cena 4,00 zł.Publishing Department of the UPR.P. INN ^ wałł 60 copies. Price PLN 4.00.

Claims

Patent claims

A method for processing the format of video signals having different image formats, during which the presence of the video signals is detected, characterized in that when a first video signal is detected, it converts the first video signal to a processed signal with a different format, the said video signal is filtered out. the converted signal to a filtered signal, re-converts the filtered signal to the re-converted signal with the original format of the first signal, converts the converted signal back to a lower resolution signal, encodes the lower resolution signal to a scrambled signal and sends the scrambled signal to the output channel; and when a second video signal is detected, this second video signal is filtered to a filtered signal, the filtered signal is converted to a lower resolution signal, the lower resolution signal is encoded into an encoded signal, and the encoded signal is output to the output channel.

2. The method according to p. The process of claim 1, wherein the first video signal is an interline scan signal which is initially converted to a progressive scan signal.

3. The method according to p. The method of claim 1, wherein the first video signal is a telekine film signal that is first converted to a signal other than a telekinetic signal.

4. The method according to p. The process of claim 1, wherein the second video signal is a progressive scan signal.

5. The method according to p. The method of claim 1, wherein low-pass filtering is performed during the filtering.

6. The method according to p. The method of claim 5, wherein two-dimensional filtering is performed during filtering.

7. The method according to p. The method of claim 1, wherein the filtering performs adaptive filtering that is selected for one group of picture frames, a single frame and a portion of a frame.

8. The method according to p. The method of claim 1, wherein the filtering is temporarily lowpassed and the filtering characteristics are adapted adaptively in response to the signal characteristics.

9. The method according to p. The method of claim 1, wherein the filtering is spatially lowpassed and the filtering characteristics are adapted adaptively in response to the signal characteristics.

10. The method according to p. The method of claim 1, which is encoded in accordance with the MPEG-2 standard.

11. The method according to p. The method of claim 1, wherein the lower resolution signal having a resolution of 1280 by 1080 data samples per frame is used.

12. The method according to p. The method of claim 1, wherein the first and second video signals are high resolution signals having a resolution of 1920 by 1080 data samples per frame.

13. A method for processing the format of video signals having different image formats, during which the presence of these video signals is detected, characterized in that in processing the interline video signal and the telekine film signal, the presence of an interline video signal or a telekine film signal is detected. , converts the detected signal to a progressive scan signal, respectively, or a non-telekine signal as a transformed signal, filters out the transformed signal to a filtered signal, re-converts the filtered signal to an interline scan signal, respectively, or a telekine signal as re-transformed signal, processes the signal re-converted to a smaller signal

185%, the lower resolution signal is encoded into a scrambled signal, and the scrambled signal is output to the output channel.

14. The method according to p. The method of claim 13, wherein low pass filtering is performed during filtering, and MPEG-2 encoding is performed during encoding.

15. The method according to p. The method of claim 13, wherein the lower resolution signal having a resolution of 1280 by 1080 data samples per frame is used.

16. A method for converting the format of video signals having different image formats, during which the presence of the video signals is detected, characterized in that in processing the video signal with progressive scan, the detected signal is adapted adaptively to a filtered signal, the filtered signal is converted into a signal. with a lower resolution, the lower resolution signal is encoded in the MPEG format into a scrambled signal and the scrambled signal is sent to the output channel.

17. The method according to p. The method of claim 16, wherein low-pass filtering is performed during filtering, and MPEG-2 encoding is performed during encoding.

18. A method for converting the format of video signals having different image formats, during which the presence of the video signals is detected, characterized in that in the progressive processing of the video signal, the detected signal is filtered into a filtered signal, the filtered signal is converted to a signal with a smaller signal. having 1280 by 1080 samples per frame, you encode the lower resolution signal into a scrambled signal and output the scrambled signal to the output channel.

19. A method for processing the format of video signals having different image formats, during which the presence of the video signals is detected, characterized in that, in processing a received digital video signal having more than one image resolution, including a resolution of 1280 by 1080 data samples per frame , the signal is decoded into a decoded signal, the picture resolution of the decoded signal is determined, the line information is converted from the decoded signal to another resolution, if the decoded signal has a picture line resolution of 1280 samples per line as the converted signal, and the converted signal is output to an output device.

20. The method according to p. The method of claim 19, characterized in that during the transformation, the transformation is performed with increasing the number of data samples to a resolution equal to 1920 samples per line.

21. The method of p. The method of 19, wherein during the transformation, it performs the transformation reducing the number of data samples to a lower resolution.

22. The method according to p. The method of 19, wherein the received digital video signal conforms to MPEG-2 standard.

23. The method according to p. The method of claim 16, characterized in that it is adaptively filtered regardless of the sub-sampling of the signal during the transformation.

24. The method according to p. The method of claim 16, wherein the filtering is adaptive as a function of the pre-filtering image signal parameters.

25. The method according to p. The method of claim 16, wherein an adaptive filtering process is used to transmit the signal with respect to the format of the still image frame.

26. The method according to p. The method of claim 16, wherein adaptive filtering is applied within the picture frame.

27. The method according to p. The method of claim 26, wherein the adaptive filtering is performed pixel by pixel.

28. The method according to p. The method of any of the preceding claims, wherein the format is defined by 1280 image elements by 1080 image elements.

29. The method according to p. The method of claim 28, characterized in that there are 1280 picture elements representing the line information and 1080 picture elements representing the field information.

30. The method according to p. The method of claim 28, characterized in that the video information is broadcast as satellite information.

185 157