SE525615C2

SE525615C2 - Device for effecting video signal change

Info

Publication number: SE525615C2
Application number: SE0202614A
Authority: SE
Inventors: Harald Brusewitz
Original assignee: Iqc Transcoding Ab
Priority date: 2002-09-04
Filing date: 2002-09-04
Publication date: 2005-03-22
Also published as: WO2004023820A1; SE0202614D0; SE0202614L; AU2003256213A1

Abstract

A device and a system for converting or reducing the bit rate in a digital video signal, or for compressing a digital video signal. The video signal is subjected to a transformation utilising quantised transform components, and supporting information. The device as a separate one or included in the system may include a decoder, which receives the video signal to be converted, and a coder, which provides the digital signal in converted or reduced form. Alternatively, the device forms a coder. The respective device is arranged to modify solely the transform components, which means that the supporting information is at least substantially not influenced. The device enables a decrease of the bit rate in a coded video or compression of the video signal without the occurrence of any substantial deterioration of the image or signal quality.

Description

25 30 far -_:;ç| 2 . att förenkla kodaren, samt förbättra prestanda i hastighetskonverteringen. Nämnda sido-information kan bestå av bildtyp, macro-block-typ, rörelsevektorer, mm. (Järnför ovan nämnda standarder för bildkompression för deﬁnition av dessa begrepp). En viktig egenskap i denna metod är att därigenom spara bitar. Denna omkvantisering innebär försämring av bildkvaliteten när den resulterande bitströmmen senare avko- das. I en prestandamässigt ekvivalent metod har avkodare och efterföljande kodare integrerats i en loop. Denna metod finns beskriven i vetenskaplig litteratur. 25 30 far -_ :; ç | 2. to simplify the encoder, as well as improve the performance of the speed conversion. Said side information can consist of image type, macro-block type, motion vectors, etc. (Compare the above-mentioned standards for image compression for the definition of these concepts). An important feature of this method is to thereby save pieces. This re-quantization means deterioration of the image quality when the resulting bitstream is later decoded. In a performance-equivalent method, decoders and subsequent encoders have been integrated in a loop. This method is described in the scientific literature.

Det hänvisas även generellt till: ISO/IEC (JPEG) ITU-T H.261 ITU-T H.262 ITU-T H.263 ITU-T H.264 ISO/IEC 1 1172-2 (MPPEG-1) ISO/IEC 13818-2 (MPPEG-2) ISO/IEC 14496-2 (MPPEG-4) ”Transcoding of MEG bitstreams” Signal Processing: Image Communication 8 (1996) pp 481-500 G. Keesman et. All.Reference is also generally made to: ISO / IEC (JPEG) ITU-T H.261 ITU-T H.262 ITU-T H.263 ITU-T H.264 ISO / IEC 1 1172-2 (MPPEG-1) ISO / IEC 13818-2 (MPPEG-2) ISO / IEC 14496-2 (MPPEG-4) “Transcoding of MEG bitstreams” Signal Processing: Image Communication 8 (1996) pp 481-500 G. Keesman et. All.

”Real-time Transcoding of MPEG-2 Video Bit Streams” Intemational Broad- casting (IBC 97) PN Rudor and OH Wemer (BBC). 5 .wwrﬂsawßwwr I anslutning till anordningar och system av hithörande slag föreligger b1.a. uttalade önskemål om att bithastigheten skall kuxma sänkas väsentligt i kodad video, s.k. rate konvertering, utan att innehållet i aktuell videosignal försämras väsentligt, dvs. utan att bilduppfattningen upplevs som försämrad eller upplevs som väsentligen bättre än vid användandet av känd teknik. Det föreligger även önskemål om att från en redan kodad eller komprimerad stillbilds- eller videosignal väsentligt minska antalet bitar eller bandbredden utan att nämnda försämringar kommer till stånd. Uppﬁnningen har till ändamål att lösa bl.a. hela eller delar av denna problematik.“Real-time Transcoding of MPEG-2 Video Bit Streams” Intemational Broadcasting (IBC 97) PN Rudor and OH Wemer (BBC). 5 .wwr ﬂ sawßwwr In connection with devices and systems of this kind there are b1.a. expressed desire that the bit rate should kuxma be significantly reduced in coded video, s.k. rate conversion, without the content of the current video signal deteriorating significantly, ie. without the perception of the image being perceived as deteriorating or perceived as being significantly better than with the use of known technology. There is also a desire to substantially reduce the number of bits or bandwidth from an already coded or compressed still image or video signal without said deteriorations occurring. The purpose of the invention is to solve e.g. all or part of this problem.

Det föreligger även behov av att rent allmänt förbättra prestanda i kodare av hithö- rande slag. Det föreligger även önskemål om att enkelt kunna variera i anordningen och systemet utnyttjade parametrar. Så t.ex. skall värdet på ”lev” i vissa utvalda DCT- 10 15 20 25 30 !"f\.“' 3 -i i- f/lf' v* lx. komponenter kunna ändras utan att omkvantisering krävs. I en utfóringsforin skall en återkopplingsloop kunna användas för att undvika felfortplantering från bild till bild.There is also a need to generally improve the performance of encoders of this kind. There is also a desire to be able to easily vary the parameters used in the device and the system. So e.g. the value of "lev" in certain selected DCT-10 15 20 25 30! "f \." '3 -i i- f / lf' v * lx. can be used to avoid image-to-image error propagation.

En sådan loop skall kurma undvikas om intrakodning används ofta i inkommande (och därmed utgående) bitström. Det föreligger även önskemål om att kunna kombinera de för uppfinningen karaktäristiska särdragen med omkvantisering. I stället för att trans- mittera samma värde på ”quant” för varje macro-block alternativt skall värdena ”lev” på transformkomponentema alternativt kunna ändras individuellt, enligt ett speciellt kriterium. Detta kriterium skall kunna baseras på att en stor bitbesparing skall kunna göras samtidigt som resulterande förlust i bildkvalitet begränsas. Det föreligger även önskemål om att en del information i inkommande bitström skall kunna återanvändas i utgående bitström och att anordningen eller systemet skall kurma arbeta med eller utan loop i videofallet. Uppﬁnningen avser att lösa även hela eller delar av detta pro- blemkomplex.Such a loop should be avoided if intracoding is often used in incoming (and thus outgoing) bitstream. There is also a desire to be able to combine the features characteristic of the invention with quantization. Instead of transmitting the same value of “quant” for each macro-block, alternatively, the values “lev” of the transform components must alternatively be able to be changed individually, according to a special criterion. This criterion must be able to be based on the fact that a large bit saving can be made at the same time as the resulting loss in image quality is limited. There is also a desire that some information in incoming bitstream can be reused in outgoing bitstream and that the device or system should be able to work with or without a loop in the video case. The invention also intends to solve all or parts of this problem complex.

I vissa kritiska fall kan det föreligga behov av att modifiera annan information i bit- strömmen än transforrnkomponenter. Ett sådant fall kan uppkomma när inkommande bitström innehåller fel, t.ex. på grund av dåliga mottagningsförhållanden. En felaktig bitström kan innehålla otillåtna värden på sidoinformationen, och det kan då vara lämpligt att tex. på i och för sig känt sätt tilldela tillåtna värden på de felaktiga para- metrarna. Uppfinningen löser även detta problem.In some critical cases, there may be a need to modify bitstream information other than transform components. Such a case can occur when incoming bitstream contains errors, e.g. due to poor reception conditions. An incorrect bitstream may contain unauthorized values on the side information, and it may then be appropriate to e.g. assign permissible values of the incorrect parameters in a manner known per se. The invention also solves this problem.

Det föreligger även önskemål att i beroende av anordningens eller systemets använd- ning kunna ändra värdet eller värdena på kvantiserade DCT-komponenter i en s.k. rate-konverterare eller i en kodare. Uppﬁnningen löser även detta problem.There is also a desire, depending on the use of the device or system, to be able to change the value or values of quantized DCT components in a so-called rate converter or in an encoder. The invention also solves this problem.

Det som huvudsakligen kan anses vara kännetecknande för en anordning enligt upp- ﬁnningen är att den är anordnad att under förändringen av videosignalen modifiera väsentligen enbart tranformkomponentema i ett av följande två fall, nämligen där anordningen bildar en videosignalen konverterande eller reducerande enhet som inne- fattar en avkodare, företrädesvis VLD-avkodare, som mottar videosignalen, och en kodare, företrädesvis VLC-kodare, som effektuerar en förändring i form av konverte- ring eller reducering av den mottagna videosignalen, varvid nämnda modifiering med- för att den supporterande informationen blir åtminstone väsentligen opåverkad, samt där anordningen utgör en videosigrialen mottagande kodare anordnad att i sig själv 10 15 20 25 30 .ß i (__ '\ a. å f; åstadkomma en förändring i form av komprimering av den mottagna videosignalen och alstra den suppoiterande informationen väsentligen oberoende av komprime- ringen.What can mainly be considered as characteristic of a device according to the invention is that during the change of the video signal it is arranged to modify substantially only the transform components in one of the following two cases, namely where the device forms a video signal converting or reducing unit which comprises a decoder, preferably VLD decoder, which receives the video signal, and an encoder, preferably VLC encoder, which effects a change in the form of conversion or reduction of the received video signal, said modification causing the supporting information to become at least substantially unaffected, and where the device constitutes a video signal receiving encoder arranged to itself bring about a change in the form of compression of the received video signal and to generate the supporting information substantially independently of the compression.

I vidareutvecklingar av uppfinningstanken kan även vbv-fördröjningen i PlC-headem vara underkastad förändringsfunktion. Även makroblocktyp och rörelsevektorer kan underkastas förändringsfunktioner vilket är aktuellt i det fall inkommande bitström är felaktig. Anordningen kan arbeta i ett kretsarrangemang med eller utan återkopplings- krets. Vid användning av återkopplingskrets är denna anordnad att undvika felfort- plantering från bild till bild. Vid modifiering av transforkomponent eller transform- komponenter kan anordningen arbeta med eller utan omkvantisering. Anordningen kan även vara anordnad att medge förändring på värdet av en eller ﬂera transform- komponenter, t.ex. lev, enligt ett valt kriterium, t.ex. ett kriterium baserat på stor bit- besparing med samtidig liten reducering av, eller väsentligen bibehållen, bildkvalitet.In further developments of the inventive concept, the vbv delay in the PlC head can also be subject to change function. Macroblock type and motion vectors can also be subjected to change functions, which is relevant in case the incoming bitstream is incorrect. The device can operate in a circuit arrangement with or without a feedback circuit. When using a feedback circuit, this is arranged to avoid incorrect propagation from image to image. When modifying a transformer component or transformer components, the device can operate with or without re-quantization. The device can also be arranged to allow a change in the value of one or more of your transform components, e.g. lev, according to a selected criterion, e.g. a criterion based on large bit savings with at the same time small reduction of, or substantially maintained, image quality.

I ytterligare utföringsforrner är anordningen anordnad att inte modifiera någon trans- formkomponent i ett enskilt DCT-block, att modifiera enskild transformkomponent i ett enskilt DCT-block, att modifiera ﬂera transforrnkomponenter, men inte alla, i ett enskilt DCT-block, att modifiera samtliga transforrnkomponenter i ett enskilt DCT- block, och/eller att modifiera sarntliga transforrnkomponenter i ett enskilt macro- block. Vidare kan en enskild transformkomponerit, t.ex. lev, vara ändringsbar med en enhet, t.ex. från 1 (ett) till 0 (noll) eller t.ex. från -1 (minus ett) till 0 (noll) eller t.ex. från 4 (fyra) till 3 (tre), i det fall detta innebär bitbesparing med ett på förhand bestämt minsta antal bitar Alternativt kan en enskild transformkomponent, t.ex. lev vara ändringsbar med med mer än en enhet, t.ex. från 2 (två) till 0 (noll) eller t.ex. från -3 (minus tre) till 0 (noll) eller t.ex. från 4 (fyra) till 2 (två), om detta innebär bitbespa- ring med ett på förhand bestämt minsta antal bitar. I en ytterligare alternativ utförings- form kan ﬂera transforrnkomponenter tillsammans, t.ex. lev, vara ändringsbara med en eller ﬂera enheter, om detta innebär en total bitbesparing med ett på. förhand bestämt minsta antal bitar.In further embodiments, the device is arranged not to modify any transform component in a single DCT block, to modify individual transform component in a single DCT block, to modify your transform components, but not all, in a single DCT block, to modify all transformer components in a single DCT block, and / or to modify specific transformer components in a single macroblock. Furthermore, an individual transform composer, e.g. live, be changeable with a device, e.g. from 1 (one) to 0 (zero) or e.g. from -1 (minus one) to 0 (zero) or e.g. from 4 (four) to 3 (three), in case this means bit saving with a predetermined minimum number of bits Alternatively, a single transform component, e.g. lev be changeable with with more than one unit, e.g. from 2 (two) to 0 (zero) or e.g. from -3 (minus three) to 0 (zero) or e.g. from 4 (four) to 2 (two), if this means bit saving with a predetermined minimum number of bits. In a further alternative embodiment, the transformer components can together, e.g. live, be changeable with one or ﬂ your devices, if this means a total bit saving with one on. predetermined minimum number of bits.

Ett system enligt uppfinningen kan huvudsakligen vara kännetecknat av att respektive anordning för åstadkommande av påverkan eller förändring av videosignalen antingen innefattar avkodare och kodare eller i sig bildar en kodare som komprimerar den mot- 10 15 20 25 30 få" .di- 5 . e? tagna videosignalen samt att en eller ﬂera av nämnda anordningar är anordnade att modiﬁera väsentligen enbart transformkomponenterna och att den supporterande informationen sålunda blir väsentligen opåverkad. Respektive berörda anordning kan ingå i eller vara anslutbar till något av följande funktionsaltemativ, inspelning på digitala lagringsmedier för att åstadkomma minnesbesparing och/eller modifierad bildkvalitet, vidaresändning i eller till transmissionsnät med lägre bandbredd, multi- plexering av två eller ﬂera video-kanaler, övergång från variabel till konstant bithas- tighet, övergång från konstant till variabel bithastighet, övergång från konstant till konstant lägre bithastighet, övergång från variabel till variabel lägre bithastighet, eller komprimering av videosignalen mellan sänd- och mottagningsutrustingar.A system according to the invention can mainly be characterized in that the respective device for effecting or changing the video signal either comprises decoders and encoders or in itself forms an encoder which compresses the counter "30". the video signal and that one or more of said devices are arranged to modify essentially only the transform components and that the supporting information is thus substantially unaffected. and / or modified image quality, forwarding in or to lower bandwidth transmission networks, multiplexing of two or two video channels, transition from variable to constant bit rate, transition from constant to variable bit rate, transition from constant to constant lower bit rate, transition from vari capable of variable lower bit rate, or compression of the video signal between transmission and reception equipment.

Genom det i ovan föreslagna erhålles en fördelaktig lösning på de inledningsvis Omnämnda problemen. Bithastigheten kan med väsentligen bibehållen bildkvalitet sänkas på ett fördelaktigt sätt och uppbyggnaden kan till stora delar utgöras av väl beprövade och tekniskt enkla medel. Funktioner och parametrar kan optimeras och varieras medelst program- och datorstymingar t.ex. via tele- och/eller datakommuni- kationsförbindelser, även Intemet. Uppﬁnningen kan om så önskas baseras på stan- darder och kända tekniker. Valet av kriterier eller parametrar för att avgöra eller ställa in värden på transforkomponenter och därmed bitbesparing och bildkvalitet kan utfö- ras med hjälp av buffertreglering, t.ex. åstadkommen med en modul. Uppﬁnningen möjliggör även anordnings- och systemuppbyggnader med mindre komplexitet än tidigare. Vissa bitar i inkommande bitström kan utnyttjas i utgående bitström. Ingen loop krävs i videofallet och värdet av ”lev” i vissa utvalda DTC-komponenter kan ändras utan att omkvantisering krävs.Through the above proposed, an advantageous solution to the problems mentioned in the introduction is obtained. The bit rate can be reduced in an advantageous manner with substantially maintained image quality and the construction can largely consist of well-proven and technically simple means. Functions and parameters can be optimized and varied by means of program and computer controls, e.g. via telecommunications and / or data communication connections, including the Internet. The invention can, if desired, be based on standards and known techniques. The selection of criteria or parameters for determining or setting values of transfer components and thus bit savings and image quality can be performed by means of buffer control, e.g. achieved with a module. The invention also enables device and system constructions with less complexity than before. Some bits in incoming bitstream can be used in outgoing bitstream. No loop is required in the video case and the value of "lev" in some selected DTC components can be changed without the need for re-quantization.

En för närvarande föreslagen utföringsform av en anordning och ett system enligt uppfinningen skall beskrivas i nedanstående under samtidig hänvisning till bifogade ritningar där figur l i blockschemaform och principiellt visar konvertering av bithastig- het med avkodare och kodare enligt känd teknik, figur 2 i blockschemaforrn och principiellt visar konvertering av bithastig- het med avkodare, kodare och extrainfonnation enligt känd teknik, 10 15 20 25 30 ﬁgur 3 ﬁgur 4 ﬁgur 5 ﬁgur 6 ﬁgur 7 figur 8 figur9 ﬁgur 10 figur ll ﬁgur 12 Pnf- fait- i blockschemaforrn och principiellt visar avkodare följd av koclare för stillbild enligt känd teknik, i blockschemaforrn och principiellt visar avkodare följd av kodare för video integrerade i en förenklad loop i enlighet med känd teknik, i blockschemaforrn och principiellt visar bithastighetskonvertering enligt föreliggande uppfinning utan loop och utan omkvantisering, i blockschemaforrn och principiellt visar bithastighetskonvertering enligt föreliggande uppﬁnning utan loop och med omkvantisering, i blockschemaforrn och principiellt visar bithastighetskonvertering enligt uppfinningen med loop och med omkvantisering, i blockschemaforrn och principiellt visar en videokodare enligt känd teknik, i blockschemaforrn och principiellt visar en videokodare med modifierade DCT-koefﬁcienter enligt uppﬁnningen, i blockschemaforrn och principiellt visar exempel på inspelning på digitalt lagringsmedia med användandet av föreliggande uppﬁn- ning, i blockschemaforin och principiellt visar exempel på vidaresänd- ning till transmissionsnät med lägre bandbredd med användande av föreliggande uppfinning, och i blockschemaforrn och principiellt visar exempel på multiplexe- ring av ﬂera videokanaler med användande av föreliggande upp- ﬁnning. 10 15 20 25 30 får' v/Agr* I figuren 1 anges symboliskt en avkodare 1, en kodare 2 och en inkommande kodad videosignal 3 med viss bithastighet. En avkodad videosignal 4 avges från avkodaren till kodaren 2. Efter bearbetningen i kodaren 2 erhålles på dennas utgång en kodad videosignal 5 med lägre bithastighet än förstnämnda bithastighet.A presently proposed embodiment of a device and a system according to the invention will be described in the following with simultaneous reference to the accompanying drawings, in which: conversion of bit rate with decoder, encoder and extra information according to known technology, 10 15 20 25 30 ﬁ gur 3 ﬁ gur 4 ﬁ gur 5 ﬁ gur 6 ﬁ gur 7 figure 8 figure9 ﬁ gur 10 figure ll ﬁ gur 12 Pnf- fait- in block diagram form and in principle shows decoder sequence of prior art still image couplers, in block diagram form and in principle shows decoders followed by video encoders integrated in a simplified loop according to the prior art, in block diagram form and in principle shows bit rate conversion according to the present invention without loop and without quantization, in block diagram form and principle shows bit rate conversion according to lecture in block diagram format and in principle shows bit rate conversion according to the invention with loop and with quantization, in block diagram form and in principle shows a video encoder according to the prior art, in block diagram form and in principle shows a video encoder with modified DCT coefficients in the block diagram and in principle shows examples of recording on digital storage media using the present invention, in block diagram form and in principle shows examples of retransmission to lower bandwidth transmission networks using the present invention, and in block diagram form and in principle shows examples of multiplexing of ﬂ your video channels using the present invention. Figure 15 symbolically indicates a decoder 1, an encoder 2 and an incoming coded video signal 3 with a certain bit rate. A decoded video signal 4 is output from the decoder to the encoder 2. After the processing in the encoder 2, an encoded video signal 5 with a lower bit rate than the first-mentioned bit rate is obtained at its output.

Figur 2 motsvarar fallet enligt ﬁguren 1 med den skillnaden att extra information utöver den okodade informationen överföres mellan avkodaren och kodaren. Avkoda- ren är i detta fall angiven med 6 och kodaren med 7. En kodad videosignal har beteckningen 8 och en avkodad videosignal har angivits med 9. Med 10 avses en kodad videosignal med lägre bithastighet än den i punkt 8. 11 avser en sidoinformation eller sidoinforrnationssignal.Figure 2 corresponds to the case according to clock 1 with the difference that additional information in addition to the uncoded information is transmitted between the decoder and the encoder. The decoder is in this case indicated by 6 and the encoder by 7. An encoded video signal has the designation 8 and a decoded video signal is indicated by 9. By 10 is meant an encoded video signal with a lower bit rate than that in point 8. 11 refers to a side information or side information signal.

Figur 3 illustrerar i mer detaljerad form ett fall motsvarande ﬁguren 1 för stillbild.Figure 3 illustrates in more detail a case corresponding to the 1 clock 1 for still image.

En variabellängdavkodare är visad med 12 och en inverskvantiserare 1 med 13. Till sistnämnda komponent är ansluten en Invers Qiscret Qosinustransforrn (IDCT) 14. 15 avser en Discret Cosinustransform och 16 en kvantiserare 2. En variabellängdkodare är angiven med 17. I figuren är komponenterna även angivna med sina respektive förkortningar. Till komponenten 12 inkommer en kodad stillbild 18 och komponenten avger kvantiserade DCT-komponenter 19. På komponentens 13 utgång erhålles inverskvantiserade DCT-komponenter 20. 21 avser att symbolisera en avkodad stillbild som tillföres komponenten 15. Denna avger DCT-komponenter 22 till komponenten 16 som i sin tur tillhandahåller omkvantiserade DCT-komponenter 23. 24 avser att illustrera en omkodad stillbild, med färre bitar än den kodade stillbilden i punkt 18.A variable length decoder is shown by 12 and an inverse quantizer 1 by 13. To the latter component is connected an Inverse Qiscret Qosinustransform (IDCT) 14. 15 refers to a Discret Cosine transform and 16 a quantizer 2. A variable length encoder is indicated by 17. In the figure the components are also indicated with their respective abbreviations. Component 12 receives a coded still image 18 and the component emits quantized DCT components 19. At the output of component 13, inverse quantized DCT components 20 are obtained. 21 is intended to symbolize a decoded still image which is supplied to component 15. This emits DCT components 22 to component 16 which in turn, provides quantized DCT components 23. 24 is intended to illustrate an encoded still image, with fewer bits than the encoded still image in point 18.

I ﬁgur 4 har utförandet enligt ﬁguren 2 ersatts med en förenklad loop, beskrivet i de tidigare angivna referenserna 9 och 10. På kvantiserarens 27 utgång har en inverskvantiserare 28 anslutits och i sin tur kopplats till en subtraherare som även är ansluten till den till kvantiseraren 27 inkommande signalen. Subtraherarens utgång är ansluten till en invers-transforrnerare (IDCT = Inverse I_)_iscrete Qosine Iransform). I detta fall anges en variabellängdavkodare VLD med 25 och en inverskvantiserare 1 med IQ| som betecknats 26. En kvantiserare 2 (Qg) är angiven med 27 och inverskvantiserare IQ; med 28. 29 är hänförbar till en Invers Discret 10 15 20 25 30 Cosinustransforrn (IDCT) 29. 30 utgör en rörelsekompenserare som använder en del av sidoinformationen, vilken rörelsekornpenserare har beteckningen 30. Till rörelsekompenseraren är ansluten en Discret Cosinustransform (DCT) som har betecknats med 31. En variabellängdkodare VLC är angiven med 32. En kodad videosignal har betecknats 33 och kvantiserade DCT-komponenter med 34.In Figure 4, the embodiment according to Figure 2 has been replaced by a simplified loop, described in the previously stated references 9 and 10. At the output of the quantizer 27, an inverse quantizer 28 has been connected and in turn connected to a subtractor which is also connected to the quantizer 27. the incoming signal. The output of the subtractor is connected to an inverse transformer (IDCT = Inverse I _) _ iscrete Qosine Iransform). In this case, a variable length decoder VLD is specified with 25 and an inverse quantizer 1 with IQ | designated 26. A quantizer 2 (Qg) is denoted by 27 and inverse quantizer IQ; with 29. 29 is attributable to an Inverse Discret 10 15 20 25 30 The Cosine Transformer (IDCT) 29. 30 is a motion compensator which uses part of the side information, which motion grain compensator has the designation 30. To the motion compensator is connected a Discret Cosine Transformer (DCT) which has denoted by 31. A variable length encoder VLC is denoted by 32. An encoded video signal is denoted by 33 and quantized DCT components by denoted by 34.

Inverskvantiserade DCT-komponenter har beteckningen 35 och DCT-komponenter kompenserade för kvantiseringsfel i tidigare bilder, via en subtraherare, har betecknats 36. Omkvantiserade DCT-komponenter har beteckningen 37 och invers av omkvantiserade DCT-komponenter har angivits med 38. Kvantiseringsfel av DCT- komponenter är angivna med 39 och 40 avser att visa ett återkopplat inverstransformerat kvantiseringsfel. 41 utgör rörelsekompenserad återkopplingssignal, medan 42 anger DCT-transformerad och rörelsekompenserad återkopplingssignal. En omkodad videosignal 43 uppvisar lägre bithastighet än i punkt 33. I figuren 4 utgör 44 sidoinformation.Inversquantized DCT components have the designation 35 and DCT components compensated for quantization errors in previous images, via a subtractor, have been designated 36. Re-quantized DCT components have the designation 37 and inverse of re-quantized DCT components are denoted by 38. Quantization errors of DCT components are indicated by 39 and 40 are intended to show a feedback inversely transformed quantization error. 41 is motion-compensated feedback signal, while 42 is DCT-transformed and motion-compensated feedback signal. A transcoded video signal 43 has a lower bit rate than in point 33. In Figure 4, 44 constitutes side information.

I figuren 5 utnyttjas en modiﬁeringsenhet för DCT-komponenter mellan avkodaren och kodaren. Parallellt med enheten är anordnad en bevakningsenhet för övrig infor- mation. Detta utförande arbetar utan loop, jämför med figur 4. En variabellängdav- kodare VLD är angiven med 45 och en modifierad DCT-enhet är visad med 46. Även i detta fall står DCT för Qiscret Qosinustransform. Denna komponent är väsentlig för föreliggande uppfinning genom att vissa utvalda kvantiserade DCT-komponenter får ett förändrat värde i ett fórutbestärnt kriterium. 47 anger en variabellängdkodare VLC.In Figure 5, a modifier for DCT components between the decoder and the encoder is used. A monitoring unit for other information is arranged in parallel with the unit. This design works without a loop, compare with figure 4. A variable length decoder VLD is indicated by 45 and a modified DCT unit is indicated by 46. Also in this case, DCT stands for Qiscret Qosinustransform. This component is essential to the present invention in that certain selected quantized DCT components are altered in a predetermined criterion. 47 indicates a variable length encoder VLC.

En kodad videosignal 48 införes på variabellängdavkodaren 45, vilken till komponenten 46 överför kvantiserade DCT-komponenter. Kvantiserade modiﬁerade DCT-komponenter är visade med 50. 51 anger en omkodad videosignal med lägre bit- hastighet än nämnda kodade videosignalen 48. 52 är hänförbar till sidoinformation.An encoded video signal 48 is input to the variable length decoder 45, which transmits quantized DCT components to the component 46. Quantized modified DCT components are shown at 50. 51 indicates an encoded video signal at a lower bit rate than said coded video signal 48. 52 is attributable to side information.

Fiwen 6 visar fallet utan loop och med omkvantisering. En variabellängdavkodare VLD är angiven med 53 och en variabellängdkodare VLC med 57. En inverskvanti- serare 1 (IQ1) är visad med 54 och en kvantiserare 2 (Qg) är angiven med 55. Även i detta fall utnyttjas en kärnkomponent enligt ovan, vilken kärnkomponent har beteck- ningen 56 och avser modifiering av DCT-komponenter. Uppﬁnningen arbetar i detta fall med vissa utvalda kvantiserade DCT-komponenter som får ett förändrat värde enligt förutbestämt kriterium. 58 är hänförbar till en kodad videosignal och 59 till 10 15 20 25 30 Pfyf /4r kvantiserade DCT-komponenter. Inverskvantiserade DCT-komponenter är angivna med 60 och omkvantiserade DCT-komponenter är angivna med 61. 62 avser omkvantiserade och modifierade DCT-komponenter och 63 anger en omkodad videosignal som uppvisar en bithastighet som är lägre än bithastigheten hos den kodade videosignalen 58. En sidoinforrnation är angiven med 64.Fiwen 6 shows the case without loop and with quantization. A variable length decoder VLD is indicated by 53 and a variable length encoder VLC by 57. An inverse quantizer 1 (IQ1) is indicated by 54 and a quantizer 2 (Qg) is indicated by 55. Also in this case a core component as above is used, which core component has the designation 56 and refers to modification of DCT components. In this case, the invention works with certain selected quantized DCT components that have a changed value according to a predetermined criterion. 58 is attributable to an encoded video signal and 59 to Pfyf / 4r quantized DCT components. Inversquantized DCT components are denoted by 60 and requantized DCT components are denoted by 61. 62 denotes requantized and modified DCT components and 63 denotes a transcoded video signal having a bit rate lower than the bit rate of the encoded video signal 58. A side information is indicated by 64.

Figuren 7 avser att visa fallet med bildkonvertering med loop och omkvantisering.Figure 7 is intended to show the case of image conversion with loop and quantization.

Uppbyggnaden motsvarar utförandet enligt ﬁguren 4, bortsett ﬁån att kvantiseraren efterföljes av en enhet som modiﬁerar DCT. I detta fall är en variabellängdkodare VLD angiven med 65, en inverskvantiserare 1 (IQ1) med 66, och en kvantiserare 2 (Qz) med 67. Modifiering av DCT-komponenter sker i 68 och utgör i likhet med ovan en kärnkomponent i föreliggande uppﬁnning genom att vissa utvalda kvantiserade DCT-komponenter får ett förändrat värde enligt förutbestämt kriterium. En inverskvantiserare 2 (IQZ) är visad med 69, en Invers Discret Cosinustransform (IDCT) med 70, en rörelsekompenserare MC som använder delar av sidoinformation med 71, en Discret Cosinustransform (DCT) med 72 och en variabellängdkodare (VLC) med 73. En kodad videosignal har beteckningen 74, kvantiserade DCT- komponenter är angivna med 75, inverskvantiserade DCT-komponenter är angivna med 76 och inverskvantiserade DCT-komponenter, kompenserade för kvantiseringsfel i tidigare bilder, är angivna med 77. Omkvantiserade DCT-komponenter har beteck- ningen 78 och omkvantiserade och modifierade DCT-komponenter har beteckningen 79. Modiﬁerade och inverskvantiserade DCT-komponenter är angivna med 80 och kvantiseringsfel av DCT-komponenter är angivet med 81. Ett inverstranformerat kvantiseringsfel har beteckningen 82, och ett rörelsekompenserat och inverstransfor- merat kvantiseringsfel har beteckningen 83. Ett återkopplat, rörelsekompenserat och DCT-tranformerat kvantiseringsfel har angivits med 84. 85 avser en ornkodad video- signal med lägre bithastighet än den i punkt 74. En sidoinformation är i detta fallet angiven med 86.The structure corresponds to the design according to ﬁ clock 4, except that the quantizer is followed by a unit that modifies DCT. In this case, a variable length encoder VLD is denoted by 65, an inverse quantizer 1 (IQ1) by 66, and a quantizer 2 (Qz) by 67. that certain selected quantized DCT components have a changed value according to a predetermined criterion. An inverse quantizer 2 (IQZ) is shown with 69, an inverse discrete cosine transform (IDCT) with 70, a motion compensator MC using parts of side information with 71, a discrete cosine transform (DCT) with 72 and a variable length encoder (VLC) with 73. coded video signal has the designation 74, quantized DCT components are denoted by 75, inverse quantized DCT components are denoted by 76 and inverse quantized DCT components, compensated for quantization errors in previous images, are denoted by 77. Requantized DCT components are denoted by 78 and quantized and modified DCT components are designated 79. Modified and inversely quantized DCT components are denoted by 80 and quantization errors of DCT components are denoted by 81. An inversely transformed quantization error is denoted by 82, and a motion compensated and inversely quantized transformer is denoted by 80. A feedback, motion compensated and DCT transformed quantization error has been reported with d 84. 85 refers to an orncoded video signal with a lower bit rate than that of item 74. In this case, a side information is indicated by 86.

I utföringsexemplet enligt ﬁguren 8 anges en Discret Cosinustransforrn DCT med 87, en kvantiserare Q med 88, en inverskvantiserare IQ med 89, en Invers Discret Cosinustransform IDCT med 90, rörelsekompenserare MC som använder delar av sidoinforrnationen med 91, en beslutsmodul ME innefattande rörelseestimering med 92, och en variabellängdkodare VLC med 93. En okomprimerad videosignal anges 10 15 20 25 30 med 94, ett prediktionsfel med 95, DCT-komponenter av transfonnerat prediktionsfel med 96, kvantiserade DCT-komponenter med 97, inverskvantiserade DCT- komponenter med 98, inverstransformerade DCT-komponenter med 99, rekonstruerad video med 100, prediktion, dvs rörelsekompenserad rekonstruerad video med 101, sidoinforrnation med 102 och kodad video med 103.In the embodiment according to Figure 8, a Discrete Cosine Transform DCT with 87, a quantizer Q with 88, an inverse quantizer IQ with 89, an Inverse Discret Cosine Transform IDCT with 90, motion compensator MC using parts of the side information with 91, a decision module ME comprising motion estimation with 92 , and a variable length encoder VLC with 93. An uncompressed video signal is indicated by 94, a prediction error with 95, DCT components of transposed prediction error with 96, quantized DCT components with 97, inversely quantized DCT components with 98, inversely transformed DCT -components with 99, reconstructed video with 100, prediction, ie motion-compensated reconstructed video with 101, side information with 102 and coded video with 103.

I ﬁguren 9 är en Discret Cosinustransfonn DCT angiven med 104, en kvantiserare Q med 105, och modifiering av DCT-komponenter med 106. Sistnämnda komponent utgör kärnkomponent i föreliggande uppfinning, i vilken vissa valda kvantiserade DCT-komponenter tär ett förändrat värde enligt forutbestämt kriterium. Med 107 anges en inverskvantiserare, med 108 en invers Discret Cosinustransform IDCT, med 109 en rörelsekompenserare MC som använder delar av sidoinforrnationen, med 110 en beslutsmodul ME som innefattar rörelseestimering, med lll en variabellängdkodare VLC, med 112 en okomprimerad videosignal, med 113 ett prediktionsfel, med 114 DCT-komponenter av transformerat prediktionsfel, med 115 kvantiserade DCT-komponenter, med 116 modifierade DCT-komponenter, med 117 modiﬁerade med 1 18 inverstransformerade DCT-komponenter, med 119 rekonstruerad video, med 120 inverskvantiserade och DCT-komponenter, prediktion och rörelsekompenserad rekoristruerad video, med 121 sidoinformation, och med 122 kodad video. Metoden och arrangemanget att ändra värdet på kvantiserade transforrn-komponenter, t.ex. lev, är användbar även i en kodare, dvs. En anordning där okomprimerad, analog eller digital, video omvandlas till komprimerad fonn. En kodare enligt känd teknik illustreras i ﬁgur 8, och en kodare kompletterad enligt föreliggande uppfinning illustreras i figur 9. Således kännetecknas enheten 106 i figur 9 av att värdet på lev ändras till nytt värde om detta innebär besparing av minst ett förutbestämt värde. 112 kan även anses symbolisera mottagningsutrustning som tar emot okomprimerad videosignal, och 122 kan anses symbolisera sändutrustning som sänder kornprimerad videosignal.In Figure 9, a discrete cosine transform DCT is denoted by 104, a quantizer Q by 105, and a modification of DCT components by 106. The latter component is a core component of the present invention, in which certain selected quantized DCT components consume an altered value according to a predetermined criterion. . 107 indicates an inverse quantizer, 108 an inverse Discrete Cosine Transform IDCT, 109 an motion compensator MC using parts of the side information, 110 a decision module ME which includes motion estimation, 11 a variable length encoder VLC, 112 an uncompressed video signal, 113 a prediction error , with 114 DCT components of transformed prediction error, with 115 quantized DCT components, with 116 modified DCT components, with 117 modified with 1 18 inversely transformed DCT components, with 119 reconstructed video, with 120 inversely quantized and DCT components, prediction and motion-compensated reconstructed video, with 121 page information, and with 122 encoded video. The method and arrangement of changing the value of quantized transformer components, e.g. lev, is also useful in an encoder, i.e. A device where uncompressed, analog or digital, video is converted to compressed form. A prior art encoder is illustrated in Figure 8, and an encoder supplemented according to the present invention is illustrated in Figure 9. Thus, the unit 106 in Figure 9 is characterized in that the value of lev is changed to a new value if this means saving at least one predetermined value. 112 can also be considered to symbolize receiving equipment that receives uncompressed video signal, and 122 can be considered to symbolize transmitting equipment that transmits grain-compressed video signal.

I fallet enligt figuren 10 med inspelning på digital lagringsmedia med användande av föreliggande uppfinning ingår en parabolantenn 123. Dessutom utnyttjas en ”Set-top- box” for digital TV-mottagare 124, en televisionsapparat 125, en ratekonverterare 126 enligt föreliggande uppfinning, och ett digitalt lagringsmedium 127, t.ex. en hårddisk. 128 illustrerar en signal från parabolantenn, 129 en avkodad videosignal, 130 en 10 15 20 25 30 "PP far 11 _ ...w _, kodad videosignal och 131 en konverterad videosignal med lägre bandbredd än den kodade videosignalen 130.The case of digital storage media recording using the present invention includes a satellite dish 123. In addition, a set-top box for digital TV receivers 124, a television set 125, a rate converter 126 according to the present invention, and a digital storage medium 127, e.g. a hard drive. 128 illustrates a signal from satellite dish, 129 a decoded video signal, 130 an encoded video signal, and a converted video signal with lower bandwidth than the encoded video signal 130.

Figuren 11 visar exempel på vidaresändning till transmissionsnät med lägre band- bredd. I detta fall utnyttjas en parabolantenn 132, en modul 133 för extraherande av kodad videosignal, en ratekonverterare 134 enligt föreliggande uppﬁmiing, och ett transmissionsnät 135, t.ex. Internet. 136 utgör signal från parabolantenn, 137 en kodad videosignal, och 138 en konverterad videosignal med lägre bandbredd än den kodade videosignalen 137.Figure 11 shows examples of forwarding to lower bandwidth transmission networks. In this case, a satellite dish 132, a module 133 for extracting coded video signal, a rate converter 134 according to the present invention, and a transmission network 135, e.g. Internet. 136 is a signal from a satellite dish, 137 is an encoded video signal, and 138 is a converted video signal having a lower bandwidth than the encoded video signal 137.

I exemplet enligt figuren 12 visas multiplexering av flera videokanaler. I detta fall utgör 139 en parabolantenn, 140 en modul för extraherande av kodad videosignal 150, 141 en ratekonverterare enligt föreliggande uppﬁnning, 142 antenn för marksänd digital-TV, 143 modul för extraherande av kodad videosignal 153, 144 ratekonverte- rare enligt föreliggande uppﬁnning, 145 en TV-kamera, 146 en videokodare, 147 en ratekonverterare enligt föreliggande uppﬁnning, och 148 en multilexor. 149 utgör signal från parabolantenn, 150 en kodad videosignal, 151 konverterad videosignal med lägre bandbredd än den kodade videosignalen 150, 152 signal från TV-antenn, 153 en kodad videosignal, 154 en konverterad videosignal med lägre bandbredd än sistnärrmda kodade videosignal 153, 155 en videosignal, 156 en kodad videosignal, 157 en konverterad videosignal med lägre bandbredd än videosignalen 156, och de kodade och bithastighetskonverterade videosignalerna multiplexerade till en bitström 158.The example according to Figure 12 shows multiplexing of several video channels. In this case, 139 constitutes a satellite dish, 140 a module for extracting coded video signal 150, 141 a rate converter according to the present invention, 142 antenna for terrestrial digital TV, 143 module for extracting coded video signal 153, 144 rate converters according to the present invention, 145 a TV camera, 146 a video encoder, 147 a rate converter according to the present invention, and 148 a multilexor. 149 is a signal from a satellite dish, 150 an encoded video signal, 151 a converted video signal with a lower bandwidth than the encoded video signal 150, 152 a signal from a TV antenna, 153 a coded video signal, 154 a converted video signal with a lower bandwidth than the latter encoded video signal 153, 155 a video signal, 156 an encoded video signal, 157 a converted video signal with a lower bandwidth than the video signal 156, and the encoded and bit rate converted video signals multiplexed to a bitstream 158.

Uppfinningen kan således i enlighet med ovanstående utnyttja att viss information från inkommande bitström återanvänds i utgående bitström. Ingen loop krävs t.ex. i videofallet i enlighet med ﬁgur 5, även om loop såsom visats i och för sig kan används i vissa utföringsfonner. Värdet på ”lev” i vissa utvalda DCT-komponenter ändras utan att omkvantisering krävs.Thus, in accordance with the above, the invention can utilize that certain information from incoming bitstream is reused in outgoing bitstream. No loop required e.g. in the video case according to ﬁ gur 5, although loop as shown per se can be used in some embodiments. The value of "lev" in some selected DCT components changes without the need for re-quantization.

Så mycket som möjligt av inkommande bitström transmitteras vidare utan att ändras.As much as possible of incoming bitstream is passed on without change.

Detta gäller SEQ-, GOP-, PIC- och SLI-headers, macro-block-typ (intra, skipped, mc- typ) och rörelsevektorer. Det enda som i en utföringsforrn modifieras är DCT-kompo- nenter, jämför t.ex. med ñgur 5, även vbv-delay i PIC-header ändras. 10 15 20 25 30 12 Q' . _ J i- tf I vissa fall, t.ex. kritiska fall, kan det vara lärnpligt att modiﬁera annan information i bitströmmen än transformkomponenter. Ett sådant fall kan uppkomma om inkom- mande bitström innehåller fel, t.ex. på grund av dåliga mottagningsförhållanden. En falaktig bitström kan innehålla otillåtna värden på sidoinfonnationen, och det kan då vara lämpligt att tilldela tillåtna värden på de felaktiga parametrarna.This applies to SEQ, GOP, PIC and SLI headers, macro-block type (intra, skipped, mc type) and motion vectors. The only thing that is modified in one embodiment are DCT components, compare e.g. with ñgur 5, vbv delay in PIC header also changes. 10 15 20 25 30 12 Q '. _ J i- tf In some cases, e.g. In critical cases, it may be mandatory to modify other information in the bitstream than transform components. Such a case can occur if the incoming bitstream contains errors, e.g. due to poor reception conditions. An erroneous bitstream may contain unauthorized values on the side information, and it may then be appropriate to assign permissible values on the erroneous parameters.

I t.ex. figuren 4 används en återkopplingsloop för att undvika felfortplantning från bild till bild. En sådan loop kan undvikas om intrakodning används ofta i inkom- mande (och därmed utgående) bitström. Det föreligger dock inom ramen för uppﬁn- ningen att använda en sådan loop i kombination med det genom föreliggande uppﬁn- ning föreslagna.In e.g. Figure 4 uses a feedback loop to avoid image-to-image error propagation. Such a loop can be avoided if intracoding is often used in incoming (and thus outgoing) bitstream. However, it is within the scope of the invention to use such a loop in combination with what is proposed by the present invention.

Transformkomponentema behöver inte omkvantiseras, utan samma värde på ”quant” kan transmitteras för varje mackro-block. Det är dock möjligt att kombinera förelig- gande uppﬁnning med omkvantisering. Istället ändras värdena ”lev” på transform- komponentema individuellt, enligt ett speciellt kriterium.The transform components do not need to be quantized, but the same value of "quant" can be transmitted for each macro block. However, it is possible to combine the present invention with quantization. Instead, the values “lev” on the transform components are changed individually, according to a special criterion.

Uppﬁnningen kan arbeta med olika kriterier för ändring av ”lev”. Ett enstaka ”lev” kan ändras med en enhet, t.ex. från värdet l (ett) till 0 (noll), om detta innebär en bit- besparing med minst k; bitar. Två eller flera intilliggande ”lev” kan ändras med en enhet vardera, t.ex. från värdet l (ett) till O (noll), om detta innebär en bitbesparing med minst k; bitar, ”lev” kan även ändras från t.ex. 2 till 0 eller från 2 till 1 om detta innebär en bitbesparing med minst k; respektive k4 bitar. Ett enstaka ”lev” kan ändras från värdet O (noll) till l (ett) l, om detta innebär en bitbesparing med minst kg bitar.The invention can work with different criteria for changing "lev". A single "lev" can be changed with one unit, e.g. from the value l (one) to 0 (zero), if this means a bit saving of at least k; pieces. Two or more adjacent "lev" can be changed with one unit each, e.g. from the value l (one) to 0 (zero), if this means a bit saving of at least k; pieces, "lev" can also be changed from e.g. 2 to 0 or from 2 to 1 if this means a bit saving of at least k; respectively k4 bits. A single "lev" can be changed from the value 0 (zero) to 1 (one) l, if this means a bit saving of at least kg bits.

Kriterierna kan väljas vid användning i olika fall. Valet av kriterier för att ändra värden på transformkomponenter avgör den bitbesparing och bildkvalitet som uppnås.The criteria can be selected for use in different cases. The choice of criteria for changing the values of transform components determines the bit saving and image quality achieved.

Detta kan effektueras med eller i en modul kallad buffertreglering. Det är värt att påpeka och klargöra att nämnda kriterier arbetar oberoende av frekvenspositioner för ändrade DCT-komponenter (lev), och att resulterande värde på ”lev” inte är förutbestämt, utan beror på ursprungligt och resulterande lev-värden samt motsvarande bit åtgång för respektive värden. 10 15 20 25 30 13 “ 'i “i i 'i Uppﬁnningen är inte begränsad till de i ovan såsom exempel visade utíöringsfonnerna utan kan underkastas modifikationer inom ramen för efterföljande patentkrav och uppﬁnnigstarﬂcen.This can be effected with or in a module called buffer control. It is worth pointing out and clarifying that said criteria work independently of frequency positions for changed DCT components (lev), and that the resulting value of "lev" is not predetermined, but depends on the original and resulting lev values and the corresponding bit consumption for each values. The invention is not limited to the embodiments shown above as examples, but may be subject to modifications within the scope of the appended claims and the invention.

Claims

10 15 20 25 30 PATENT REQUIREMENTS

Device for effecting change of a video signal which is subjected to transformation using quantized transform components and working with supporting information, characterized in that - the device comprises a unit arranged to modify selected quantized discrete cosine transform components (DCT) components. according to a predetermined criterion, and that the modes are essentially only transform components, where the criterion is such that the modification of transform components is independent of the frequency positions of the components within the DCT block and that the values of modified components depend on incoming transform component values - original bit rate - that the device comprises a variable length encoder arranged to produce a video signal with a bit rate lower than or equal to the original bit rate, and - the encoder is arranged to provide mma reduction of the bit rate without significantly affecting the supporting information.

Device according to claim 1, characterized in that the device constitutes a unit which converts or reduces the video signal, - the device comprises a decoder, which receives the video signal in coded form, and - the encoder implements a change in the form of conversion or reduction of the received the video signal, in which said change results in substantially unchanged supporting information.

Device according to claim 2, characterized in that a video buffer verification delay in an image header is also subject to change friction.

Device according to one of Claims 2 or 3, characterized in that the macro-block type and motion vectors are subject to change functions, in the event that these have impermissible values. 10 15 20 25 30 15 ._ .l ca 5.1-

Device according to one of Claims 2, 3 or 4, characterized in that the device operates without a feedback circuit and without quantization.

Device according to one of Claims 2, 3 or 4, characterized in that the device operates without a feedback circuit and with quantization.

Device according to one of Claims 2, 3 or 4, characterized in that the device operates with a feedback circuit arranged to avoid error propagation from image to image, and with quantization.

Device according to claim 1, characterized in that the device constitutes an encoder which receives the video signal in uncompressed form, in which the encoder is designed to perform itself change in the form of compression of received video signal, and to generate supporting information substantially independently of said compression.

Device according to any one of the preceding claims, characterized in that it is arranged to change the value of one or more transform components, e.g. lev, according to a selected criterion, e.g. a criterion based on large bit savings with at the same time small reduction of or substantially maintenance of image quality.

Device according to one of the preceding claims, characterized in that a single transform component can be changed by one unit, if this means bit saving with a predetermined minimum number of bits.

Device according to one of the preceding claims, characterized in that a single transform component can be changed by more than one unit, if this means bit saving with a predetermined minimum number of bits.

Device according to one of the preceding claims, characterized in that trans your transformer components can be changed together with one or ﬂ your units, if this means a total bit saving with a predetermined minimum number of bits. r * n r 'z 4' f 16 \. ... _. 'J

A system comprising one or more devices for converting, reducing or compressing a video signal, according to any one of the preceding claims.