FR2996978A1

FR2996978A1 - Method for processing video signal coded into digital data stream in e.g. Digital terrestrial TV network, involves generating error detection data of gel of image if length of succession of images is greater than threshold

Info

Publication number: FR2996978A1
Application number: FR1259727A
Authority: FR
Inventors: Amelie Lanfranchie; Pascal Dupain
Original assignee: Telediffusion de France ets Public de Diffusion
Current assignee: Telediffusion de France ets Public de Diffusion
Priority date: 2012-10-11
Filing date: 2012-10-11
Publication date: 2014-04-18
Anticipated expiration: 2032-10-11
Also published as: FR2996978B1

Abstract

The method involves an extracting (S23) movement vector for each image of a succession of images from a digital data stream. Length of a succession of images having zero movement vectors is compared (T26) with a threshold e.g. short threshold and long threshold. Error detection data of gel of images is generated (S28) if the length is greater than the threshold, where the detection data includes a detection ratio of error if the length is greater than the threshold, and the data includes a video sequence, which is recorded if the length is greater than the long threshold. Independent claims are also included for the following: (1) a device for processing a video signal coded into a digital data stream (2) a computer program product comprising program code instructions recorded on a medium readable by a computer for executing a method for processing a video signal coded into a digital data stream (3) a network head integrating a device for processing a video signal coded into a digital data stream.

Description

DETECTION DE GEL D'IMAGE La présente invention concerne une détection de gel d'image notamment dans un signal vidéo codé en un flux de données numériques, mettant en oeuvre des moyens informatiques. Dans un réseau de transmission vidéo tel que par exemple le réseau pour la télévision numérique terrestre (TNT), des erreurs de fonctionnement (par exemple de codage ou de transmission) peuvent intervenir ponctuellement et provoquer un gel d'image. Le gel d'image d'une vidéo correspond à une suite d'images identiques au sein d'une séquence vidéo. S'il n'est pas détecté rapidement et analysé, un gel d'image peut avoir des conséquences préjudiciables pour les utilisateurs du réseau de transmission vidéo. En effet, un gel d'image peut être complétement invisible au niveau du codage des données vidéo. Ainsi, sans moyen de détection, par exemple compris en tête de réseau, il est possible que seuls les utilisateurs se rendent compte, à leurs dépens, d'un gel d'image. De plus, l'analyse de ce gel d'image, par exemple effectué à l'aide de l'enregistrement vidéo de la séquence d'images gelées ou d'un journal de détection détaillé, donne aux opérateurs de réseau des outils perfectionnés pour une meilleure compréhension des problèmes présents sur leurs réseaux. Habituellement, il est possible d'analyser, après un décodage complet, une séquence d'images afin de détecter de manière analogique un gel d'image. Le document - PERCEPTUAL VIDEO QUALITY AND BLOCKINESS METRICS FOR MULTIMEDIA STREAMING APPLICATIONS, Stefan WINKLER, Animesh SHARMA, David MCNALLY, (Genimedia, EPFL - PSE) - divulgue différentes méthodes pour détecter analogiquement un gel d'image. Ces méthodes font intervenir des algorithmes de détection basés sur différentes mesures de corrélation croisée ou de FFT (transformée de Fourier rapide pour « Fast Fourier Transform »). Néanmoins, une telle détection analogique est très coûteuse en capacité de calcul. En effet, pour qu'un gel d'image soit détecté, il est nécessaire que le signal soit entièrement décodé afin d'être disponible sous forme analogique. De plus, les algorithmes de détection analogique nécessitent aussi d'importantes ressources de calcul. Il est alors difficile d'envisager un module de détection de ce type pour surveiller par exemple en temps réel un flux de données vidéo comprenant plusieurs chaînes en haute définition. La présente invention vient améliorer la situation.The present invention relates to an image freeze detection in particular in a video signal encoded in a digital data stream, implementing computer means. In a video transmission network such as for example the network for digital terrestrial television (DTT), operating errors (for example coding or transmission) may occur punctually and cause image freezing. The image freeze of a video corresponds to a sequence of identical images within a video sequence. If it is not detected quickly and analyzed, an image freeze can have detrimental consequences for users of the video transmission network. Indeed, an image freeze can be completely invisible at the coding of the video data. Thus, without detection means, for example at the head of the network, it is possible that only the users realize, at their expense, an image freeze. In addition, the analysis of this image freeze, for example performed using the video recording of the frozen image sequence or a detailed detection log, gives network operators advanced tools for a better understanding of the problems present on their networks. Usually, it is possible to analyze, after a complete decoding, a sequence of images in order to analogically detect an image freeze. PERCEPTUAL VIDEO QUALITY AND BLOCKINESS METRICS FOR MULTIMEDIA STREAMING APPLICATIONS, Stefan WINKLER, Animesh SHARMA, and David MCNALLY, (Genimedia, EPFL - PSE) - discloses various methods for analogically detecting an image freeze. These methods involve detection algorithms based on different cross-correlation measurements or FFT (Fast Fourier Transform). Nevertheless, such analog detection is very expensive in computing capacity. Indeed, for an image freeze is detected, it is necessary that the signal is fully decoded to be available in analog form. In addition, analog detection algorithms also require significant computing resources. It is therefore difficult to envisage a detection module of this type to monitor, for example in real time, a video data stream comprising several channels in high definition. The present invention improves the situation.

Elle propose à cet effet un procédé de traitement d'au moins un signal vidéo codé en un flux de données numériques comportant : a. une extraction, à partir du flux, d'un vecteur de mouvement pour chaque image d'une succession d'images ; b. une comparaison à au moins un seuil de la longueur d'une succession d'images ayant toutes des vecteurs de mouvement nuls ; c. une génération de données de détection de gel d'image si ladite longueur est supérieure au seuil. Ainsi, la présente invention, en utilisant les vecteurs de mouvement extraits du flux codé, permet avantageusement de détecter un gel d'image sans avoir à décoder le signal vidéo et sans avoir à lui appliquer d'algorithme complexe de détection analogique de gel d'image. En effet, les vecteurs de mouvement utilisés dans la présente invention sont inclus initialement dans le flux de données numériques. L'extraction de ces vecteurs de mouvement est rapide et ne nécessite pas un décodage complet du signal vidéo codé.It proposes for this purpose a method of processing at least one video signal encoded in a digital data stream comprising: a. extracting, from the stream, a motion vector for each image of a succession of images; b. a comparison to at least one threshold of the length of a succession of images all having zero motion vectors; vs. generating image freeze detection data if said length is greater than the threshold. Thus, the present invention, by using the motion vectors extracted from the coded stream, advantageously makes it possible to detect an image freeze without having to decode the video signal and without having to apply to it a complex analog gel detection algorithm. picture. Indeed, the motion vectors used in the present invention are initially included in the digital data stream. The extraction of these motion vectors is fast and does not require a complete decoding of the coded video signal.

De plus, le calcul de la longueur d'une succession d'images ayant toutes des vecteurs de mouvement nuls fait intervenir des opérations logiques et de comptage simples et rapides à exécuter. Dans une réalisation, les données de détection précitées comprennent un rapport de détection d'erreur si la longueur d'une succession d'images ayant toutes des vecteurs de mouvement nuls est supérieur audit seuil. Ce rapport de détection d'erreur peut avantageusement comprendre par exemple des données d'horodatage du gel d'image, du nombre d'images gelées, du canal vidéo concerné ou encore du nombre de blocs de données d'images gelées. Ces informations peuvent par exemple permettre d'établir des statistiques relatives à la qualité de service (QoS pour « Quality of Service ») d'un réseau. Par ailleurs, la comparaison précitée peut être effectuée par rapport à un seuil court et un seuil long. Si la longueur de succession d'images ayant toutes des vecteurs de mouvement nuls est supérieure audit seuil long, un gel long est détecté et les données de détection précitées comprennent une séquence vidéo qui est enregistrée par exemple pour une analyse détaillée et fine du gel. L'enregistrement de cette séquence vidéo met avantageusement une base de données de vidéos défectueuses à disposition de l'opérateur de réseau pour qu'il puisse par exemple analyser ces erreurs et les traiter. Par ailleurs, la distinction entre un gel court et un gel long rend possible un traitement pertinent des données de détection. La détection d'un gel long traduit des dysfonctionnements qui rendent nécessaire l'analyse de la séquence vidéo enregistrée.Moreover, the calculation of the length of a succession of images all having zero motion vectors involves logical and counting operations that are simple and fast to execute. In one embodiment, the aforementioned detection data includes an error detection report if the length of a succession of images all having zero motion vectors is greater than said threshold. This error detection report may advantageously comprise, for example, timestamp data of the image freeze, the number of frozen images, the video channel concerned or the number of blocks of frozen image data. For example, this information can be used to establish quality of service (QoS) statistics for a network. Moreover, the aforementioned comparison can be made with respect to a short threshold and a long threshold. If the sequence length of images all having zero motion vectors is greater than said long threshold, a long gel is detected and the aforementioned detection data comprise a video sequence which is recorded for example for a detailed and fine analysis of the gel. The recording of this video sequence advantageously makes a database of defective videos available to the network operator so that he can for example analyze these errors and process them. Moreover, the distinction between a short gel and a long gel makes possible a relevant treatment of the detection data. The detection of a long gel reflects malfunctions that make it necessary to analyze the recorded video sequence.

Dans une réalisation, la comparaison précitée peut être effectuée par rapport à un seuil court et un seuil long. Si la longueur de succession d'images ayant toutes des vecteurs de mouvement nuls est supérieure audit seuil court, un gel court est détecté et les données de détection précitées comprennent simplement un rapport de détection d'erreur. La distinction entre un gel court et un gel long rend possible un traitement pertinent des données de détection. La détection d'un gel court ne nécessite pas forcément l'enregistrement de séquences vidéo qui, si elles sont systématiquement enregistrées, risqueraient de saturer les bases de données prévues à cet effet. Il est par contre opportun de générer un rapport de détection pour établir des statistiques dans ce cas.In one embodiment, the aforementioned comparison can be made with respect to a short threshold and a long threshold. If the sequence length of images all having zero motion vectors is greater than said short threshold, a short gel is detected and the aforementioned detection data simply comprises an error detection report. The distinction between a short gel and a long gel makes possible a relevant treatment of the detection data. The detection of a short gel does not necessarily require the recording of video sequences which, if they are systematically recorded, could saturate the databases provided for this purpose. On the other hand, it is advisable to generate a detection report to establish statistics in this case.

Dans une réalisation, le seuil précité (ou les deux seuils dans le mode de réalisation ci-dessus) est paramétrable selon un degré de précision prédéterminé pour la détection de gel d'image. Ainsi, l'opérateur a la possibilité d'adapter la détection en fonction de la qualité du service qu'il cherche à analyser. Dans une réalisation, le vecteur de mouvement précité utilisé pour la détection d'un gel au niveau d'une image courante B caractérise le mouvement entre l'image précédente A et l'image courante B. De cette manière, chacune des images peuvent être prises en compte de manière successive. Par ailleurs, dans un autre mode de réalisation, le vecteur de mouvement précité d'une image courante B caractérise le mouvement entre l'image suivante C et l'image courante B. Ainsi, une alternative est proposée pour utiliser les vecteurs de mouvement allant dans le sens contraire à la succession d'images. Comme cela est précisé par la suite, ces vecteurs de mouvement allant dans le sens contraire de la succession d'image sont redondants par rapport à certains vecteurs allant dans le sens de la succession d'image. Ainsi, ce mode de réalisation permet avantageusement d'opérer une détection complémentaire à des fins de vérification. Dans un mode de réalisation, une vérification de l'absence d'une image totalement noire est effectuée préalablement à la comparaison au seuil. Ces mesures complémentaires préalables à la détection de gel d'image à partir des vecteurs de mouvement éliminent avantageusement une grande partie de fausses détections de gel d'image. En effet, il existe des cas pour lesquels la détection de gel d'image n'est pas pertinente. Par exemple, un canal désactivé peut présenter une image noire. Il n'est pas pertinent de détecter un gel d'image et de générer des rapports de détection et des enregistrements vidéo dans ce cas. Dans un mode de réalisation, une vérification de la présence de données audio est effectuée préalablement à la comparaison au seuil. Ces mesures complémentaires préalables à la détection de gel d'image à partir des vecteurs de mouvement éliminent avantageusement une grande partie de fausses détections de gel d'image. En effet, il existe des cas pour lesquels la détection de gel d'image n'est pas pertinente. Par exemple, un affichage de diapositives ou de cartes géographiques dans une vidéo. Il n'est pas pertinent de détecter un gel d'image et de générer des rapports de détection et des enregistrements vidéo dans ce cas non plus. Dans un mode de réalisation, chaque première image d'un groupement d'images courant est comparée avec la première image d'un autre groupement d'images. Cette analyse complémentaire permet une analyse précise d'un gel d'image. En effet, et comme décrit par la suite, les premières images d'un groupement d'image peuvent ne pas être prédites (elles peuvent être calculées à partir de données brutes). Ainsi, une détection de gel d'image entre ces images peut par exemple révéler une erreur de codage de données brutes (par exemple sur les caractéristiques des pixels) quand une détection de gel d'image entre images d'un même groupement d'images révélerait par exemple une erreur de prédiction. Dans un mode de réalisation, le flux de données numériques est un multiplex de canaux télévisuels et l'étape d'extraction comporte : un traitement des données de type « premier arrivé, premier servi », un démultiplexage de la pluralité de canaux compris dans le multiplex, et un décodage partiel par une pluralité de décodeurs de ladite pluralité de canaux pour récupérer au moins lesdites informations auxiliaires.In one embodiment, the aforementioned threshold (or both thresholds in the above embodiment) is parameterizable to a predetermined degree of accuracy for image freeze detection. Thus, the operator has the opportunity to adapt the detection according to the quality of the service he seeks to analyze. In one embodiment, the aforementioned motion vector used for the detection of a gel at a current image B characterizes the movement between the previous image A and the current image B. In this way, each of the images can be taken into account successively. Moreover, in another embodiment, the above-mentioned motion vector of a current image B characterizes the movement between the following image C and the current image B. Thus, an alternative is proposed to use the motion vectors going in the opposite direction to the succession of images. As is specified hereinafter, these motion vectors going in the opposite direction of the image succession are redundant with respect to certain vectors going in the direction of the image succession. Thus, this embodiment advantageously makes it possible to perform additional detection for verification purposes. In one embodiment, a check of the absence of a totally black image is performed prior to the threshold comparison. These complementary measurements prior to the detection of image freezing from the motion vectors advantageously eliminate a large part of false image gel detections. Indeed, there are cases for which image freeze detection is irrelevant. For example, a disabled channel may have a black image. It is not relevant to detect an image freeze and generate detection reports and video recordings in this case. In one embodiment, a verification of the presence of audio data is performed prior to the threshold comparison. These complementary measurements prior to the detection of image freezing from the motion vectors advantageously eliminate a large part of false image gel detections. Indeed, there are cases for which image freeze detection is irrelevant. For example, viewing slides or maps in a video. It is not relevant to detect an image freeze and generate detection reports and video recordings in this case either. In one embodiment, each first image of a current image array is compared with the first image of another image array. This additional analysis allows an accurate analysis of an image freeze. Indeed, and as described later, the first images of an image group can not be predicted (they can be calculated from raw data). Thus, an image freeze detection between these images may, for example, reveal a raw data encoding error (for example on the characteristics of the pixels) when an image freeze detection between images of the same group of images. would reveal for example a prediction error. In one embodiment, the digital data stream is a television channel multiplex and the retrieval step includes: first-come, first-served data processing, demultiplexing the plurality of channels included in the multiplexing, and partial decoding by a plurality of decoders of said plurality of channels to recover at least said auxiliary information.

Ainsi, la présente invention rend avantageusement possible une extraction optimisée en temps et en ressources d'informations auxiliaires nécessaires à la détection de gel d'image. Par exemple, le traitement de données de type « premier arrivé, premier servi » peut ne pas nécessiter de calculs d'ordonnancement des tâches : le démultiplexage rend par exemple possible une analyse d'un flux comprenant un multiplex de canaux télévisuels (c'est-à-dire comprenant plusieurs vidéos à analyser). Un simple décodage partiel peut permettre d'extraire par exemple des données nécessaires pour la détection de gel d'image sans pour autant reconstituer totalement la séquence vidéo. Cette extraction sans reconstitution complète de la séquence vidéo réduit avantageusement le temps de détection et les ressources de calcul à mettre en oeuvre pour la détection. L'invention peut être mise en oeuvre par un dispositif de traitement d'un signal vidéo codé en un flux de données numériques, le flux comprenant en outre des informations auxiliaires sur ledit signal, le dispositif comportant: des moyens d'extraction desdites informations auxiliaires sous forme d'un vecteur de mouvement pour chaque image d'une succession d'images comprises dans un groupement d'images ; des moyens de comparaison à au moins un seuil de la longueur d'une succession d'images comprises dans un groupement d'images ayant toutes des vecteurs de mouvement nuls ; des moyens de génération de données de détection de gel d'image si ladite longueur est supérieure au seuil. La présente invention peut avantageusement être située en tête de réseau pour établir par exemple des statistiques sur l'ensemble du réseau d'un opérateur.Thus, the present invention advantageously makes possible an optimized extraction of time and resources of auxiliary information necessary for the detection of image freezing. For example, "first come, first served" data processing may not require task scheduling calculations: for example, demultiplexing makes it possible to analyze a stream comprising a multiplex of television channels (this is ie including several videos to analyze). A simple partial decoding can make it possible, for example, to extract data necessary for the detection of image freezing without completely reconstructing the video sequence. This extraction without complete reconstruction of the video sequence advantageously reduces the detection time and the computing resources to be used for the detection. The invention may be implemented by a device for processing a video signal encoded in a digital data stream, the stream further comprising auxiliary information on said signal, the device comprising: means for extracting said auxiliary information in the form of a motion vector for each image of a succession of images included in a group of images; means for comparing at least one threshold of the length of a succession of images included in a group of images all having zero motion vectors; image gel detection data generating means if said length is greater than the threshold. The present invention can advantageously be located at the head of the network for establishing, for example, statistics on the entire network of an operator.

La présente invention peut être mise en oeuvre par l'exécution d'un programme d'ordinateur comprenant des instructions de code de programme enregistrées sur un support lisible par un ordinateur et vise à ce titre un tel programme.The present invention may be implemented by executing a computer program comprising program code instructions recorded on a computer readable medium and as such is intended for such a program.

D'autres avantages et caractéristiques de l'invention apparaîtront à la lecture de la description détaillée ci-après donnée à titre d'exemple de réalisation possible, aucunement limitatif, et des dessins annexés sur lesquels : la figure 1 illustre schématiquement un dispositif pour la mise en oeuvre de l'invention, la figure 2 illustre schématiquement un groupement d'images et les vecteurs de mouvement correspondants, la figure 3 est une représentation graphique d'une image comprise dans le groupement d'images précité, la figure 4 illustre schématiquement les étapes permettant d'extraire les vecteurs de mouvement et les données utiles à la détection de gel d'image, les figures 5a et 5b sont des représentations graphiques des matrices utilisées lors de l'extraction des données utiles à la détection précitée, les figures 6a, 6b et 6c illustrent les étapes d'un procédé au sens de l'invention, dans des exemples de réalisation non limitatifs, la figure 7 illustre schématiquement un dispositif pour la mise en oeuvre de l'invention, les figures 8a, 8b, 8c et 8d illustrent les différents vecteurs de mouvement disponibles à des fins de détection de gel d'image. Une description plus détaillée du procédé de détection de gel d'image mis en oeuvre par un dispositif situé après le codage des données vidéo et audio est maintenant donnée en liaison avec la figure 1 et les figures suivantes.Other advantages and characteristics of the invention will become apparent on reading the following detailed description given by way of a possible, in no way limiting, embodiment, and the accompanying drawings, in which: FIG. 1 schematically illustrates a device for FIG. 2 schematically illustrates a grouping of images and the corresponding motion vectors, FIG. 3 is a graphical representation of an image included in the aforementioned group of images, FIG. 4 illustrates schematically the steps for extracting the motion vectors and the data useful for the image freeze detection, FIGS. 5a and 5b are graphic representations of the matrices used during the extraction of the data useful for the aforementioned detection, FIGS. 6a, 6b and 6c illustrate the steps of a method in the sense of the invention, in non-limiting exemplary embodiments, FIG. schematically a device for implementing the invention, Figures 8a, 8b, 8c and 8d illustrate the various motion vectors available for image freeze detection purposes. A more detailed description of the image freeze detection method implemented by a device located after coding the video and audio data is now given in connection with FIG. 1 and the following figures.

La figure 1 donne une vision d'ensemble du système de transmission numérique dans lequel peut être mise en oeuvre la présente invention. Dans ce système, un signal transmis ST est traité par le dispositif de détection DIS de gel d'image selon un mode de réalisation de l'invention puis diffusé par un canal de diffusion CD pour être fourni à un système d'affichage vidéo TV. Un tel canal de transmission peut par exemple prendre la forme d'un signal hertzien HZ comme décrit dans un des modes de réalisation précisé par la suite. Le signal transmis ST prend la forme d'un flux codé FC lorsqu'il est analysé par le dispositif DIS, lorsqu'il est acheminé à l'antenne de diffusion ANT1 et lorsqu'il est acheminé au dispositif d'affichage vidéo TV via l'antenne ANT2. Lorsqu'un gel d'image est détecté par le dispositif DIS, ce dernier génère des données de détection DD à des fins de télémétrie.Figure 1 gives an overview of the digital transmission system in which the present invention can be implemented. In this system, a transmitted signal ST is processed by the image gel detection device DIS according to an embodiment of the invention and then broadcast by a broadcast channel CD to be supplied to a video display system TV. Such a transmission channel may for example take the form of a HZ radio signal as described in one of the embodiments specified below. The transmitted signal ST takes the form of an FC encoded stream when it is analyzed by the DIS device, when it is routed to the broadcast antenna ANT1 and when it is routed to the video display device TV via the antenna ANT2. When an image freeze is detected by the DIS device, the latter generates DD detection data for telemetry purposes.

Préalablement à la description proprement dite du procédé de détection de gel d'image, objet de la présente invention, un rappel de la définition et des paramètres de définition du codage et du décodage d'un signal vidéo en un flux de données numériques comprenant des informations auxiliaires est donnée ci-après.Prior to the actual description of the image-freezing detection method, which is the subject of the present invention, a reminder of the definition and definition parameters of coding and decoding of a video signal into a digital data stream comprising auxiliary information is given below.

D'une manière générale, on indique qu'un tel codage comprend une compression vidéo afin de réduire la quantité de données tout en minimisant l'impact sur la qualité visuelle de la vidéo. L'intérêt de la compression vidéo est de réduire les coûts de stockage et de transmission des fichiers vidéo. D'une manière générale, les séquences vidéo contiennent une très grande redondance statistique, aussi bien dans le domaine temporel que dans le domaine spatial. Une telle redondance se traduit par une grande corrélation spatiale et temporelle entre pixels. Une séquence vidéo avec une grande corrélation spatiale présente de nombreux pixels adjacents similaires sur chaque image. Dans une séquence vidéo avec une grande corrélation temporelle, les pixels des images passées et futures sont très proches du pixel courant. En raison du phénomène de redondance temporelle précité, on indique que le codage utilise la possibilité de prévoir l'importance d'un pixel particulier à partir des pixels d'une image voisine. Les techniques utilisées à cet effet sont appelées techniques de codage inter-images. Ainsi, dans un exemple de réalisation possible, on utilise les données auxiliaires générées par ces techniques de codage inter-images. On précise ci-après une technique de codage inter-images, à titre d'exemple de réalisation.In general, it is indicated that such encoding includes video compression to reduce the amount of data while minimizing the impact on the visual quality of the video. The advantage of video compression is to reduce the cost of storing and transmitting video files. In general, the video sequences contain a very high statistical redundancy, both in the time domain and in the spatial domain. Such redundancy results in a high spatial and temporal correlation between pixels. A video sequence with high spatial correlation has many similar adjacent pixels on each image. In a video sequence with a high temporal correlation, the pixels of the past and future images are very close to the current pixel. Due to the aforementioned temporal redundancy phenomenon, it is indicated that the coding uses the possibility of predicting the importance of a particular pixel from the pixels of a neighboring image. The techniques used for this purpose are called inter-image coding techniques. Thus, in one possible embodiment, the auxiliary data generated by these inter-image coding techniques are used. Hereinafter, an inter-image coding technique is specified as an exemplary embodiment.

En particulier, on définit trois types d'images pour ces techniques de codage inter-images : une image de type It dite intra, une image de type P dite prédite et une image de type B dite bidirectionnelle ou interpolée. On définit également un groupement d'images (GOP pour Group Of Pictures) qui comprend une séquence d'images dont toutes les images sont codées à partir d'une image de référence de type It. Ce groupement d'images et les images qui le composent sont représentés à la figure 2.In particular, three types of images are defined for these inter-image coding techniques: a so-called intra-type image, a so-called predicted P-type image and a so-called bidirectional or interpolated B-type image. An image grouping (GOP for Group Of Pictures) is also defined which comprises a sequence of images, all of whose images are encoded from a reference image of type It. This grouping of images and the images that compose it are represented in FIG.

L'image de type It est donc codée sans aucune référence à d'autres images, et elle sert ainsi de référence pour la reconstruction des autres images dudit groupement d'images. L'image de type P est codée (CodP) par rapport à l'image de type It ou P, précédente, grâce aux techniques de prédiction avec des compensations de 10 mouvement. Enfin, l'image du type de B est codée par interpolation (CodB) entre deux images de type It ou P précédente et suivante qui l'encadrent. Les images It et P sont décodées avant B, elles sont stockées en mémoire pour décoder les images B. La figure 3 indique par exemple que chaque image est découpée en tranches (TR) 15 elles-mêmes décomposées en plusieurs macroblocs (MB). Ces macroblocs peuvent par exemple contenir 16x16 pixels sous forme d'échantillons de luminance et de chrominance. Par exemple, si une image de 720x576 découpée en macroblocs de 16x16 pixels a 45x36 macroblocs. De manière générale, on indique que les techniques de codage inter-images 20 utilisent la prédiction compensée de mouvement. Cette prédiction est basée sur l'estimation du mouvement entre images vidéo. Un vecteur de mouvement est utilisé pour décrire le mouvement d'un macrobloc d'une image courante vers une image suivante. Ainsi, pour une séquence d'images présentant une grande redondance temporelle, on peut par exemple estimer une image suivante à 25 partir des vecteurs de mouvements d'une image précédente vers une image courante. Usuellement, un seul vecteur de mouvement (MV) est estimé, codé et transmis pour chaque macrobloc. A partir des vecteurs de mouvement obtenus, les images ont les propriétés suivantes : 30 - Les macroblocs de l'image de type It Intra ne possèdent pas de vecteurs de mouvement ; - Les macroblocs de l'image de type P Prédite en ont un, qui est référencé par rapport à l'image lntra précédente ; - Les macroblocs de l'image de type B Bidirectionnelle en possèdent deux.The image of type It is thus coded without any reference to other images, and thus serves as a reference for the reconstruction of the other images of said group of images. The P-type image is encoded (CodP) with respect to the previous It or P-type image, using prediction techniques with motion compensations. Finally, the image of the type of B is encoded by interpolation (CodB) between two images of type It or P preceding and following that frame it. The images It and P are decoded before B, they are stored in memory to decode the images B. For example, FIG. 3 indicates that each image is divided into slices (TR) 15 themselves decomposed into several macroblocks (MB). These macroblocks can for example contain 16x16 pixels in the form of luminance and chrominance samples. For example, if a 720x576 image cut into macroblocks of 16x16 pixels has 45x36 macroblocks. In general, it is indicated that the inter-image coding techniques 20 use the motion compensated prediction. This prediction is based on the estimation of the movement between video images. A motion vector is used to describe the movement of a macroblock from a current image to a next image. Thus, for a sequence of images having a high temporal redundancy, it is possible for example to estimate a next image from the motion vectors of a previous image to a current image. Usually, a single motion vector (MV) is estimated, encoded and transmitted for each macroblock. From the motion vectors obtained, the images have the following properties: The macroblocks of the It Intra-type image do not have motion vectors; The macroblocks of the predicted P-type image have one, which is referenced with respect to the previous image lntra; - The macroblocks of the Bidirectional B-type image have two.

On décrit maintenant un exemple de décodage du flux vidéo codé. A la réception, le flux binaire est décodé en utilisant le schéma de principe de la figure 4. D'abord le décodeur de longueur variable (VLD pour Variable length Decoding), qui transforme le flux binaire avec des mots de longueur variable en mots de longueur fixe plus faciles à exploiter. Ensuite, ces mots en série sont analysés suivant un ordre prédéfini. A titre d'exemple, deux matrices utilisées pour ce processus d'analyse inverse sont présentées aux figures 5a et 5b. La matrice choisie doit correspondre à celle utilisée lors du codage. Cette matrice contient toutes les informations pour reconstituer l'image. A l'issue du processus de quantification inverse et transformée en cosinus discrète inverse (DCT pour Discrete Cosinus Transform), les données (DATA) permettant d'afficher l'image (avec par exemple les matrices de luminance et de chrominance) sont restituées. C'est à ce stade que l'analyse des vecteurs mouvements se fait car ils sont eux aussi décodés.An example of decoding the encoded video stream is now described. On reception, the bit stream is decoded using the block diagram of Figure 4. First the variable length decoder (VLD), which transforms the bitstream with variable length words into words of variable length. fixed length easier to operate. Then, these serial words are analyzed according to a predefined order. By way of example, two matrices used for this inverse analysis process are presented in FIGS. 5a and 5b. The chosen matrix must correspond to that used during the coding. This matrix contains all the information to reconstruct the image. At the end of the inverse quantization process and transformed into an inverse discrete cosine (DCT for Discrete Cosine Transform), the data (DATA) for displaying the image (with for example the luminance and chrominance matrices) are restored. It is at this stage that the motion vector analysis is done because they are also decoded.

On décrit maintenant un procédé de détection de gel d'image selon un mode de réalisation de l'invention, utilisant des données codées pour exploiter les redondances temporelles des signaux vidéo. Ainsi, les vecteurs de mouvement à l'origine de la prédiction compensée de mouvement sont réutilisés comme indicateurs de gel d'image.An image freeze detection method according to an embodiment of the invention is now described, using encoded data to exploit the temporal redundancies of the video signals. Thus, the motion vectors at the origin of the motion compensated prediction are reused as image freeze indicators.

En se référant à la figure 6a, on décrit un procédé de détection de gel d'image du signal transmis ST présent dans le flux codé FC. A l'étape S21, le flux codé FC représentant une image In est décomposé en différentes composantes comme par exemple le signal codé SC ou le vecteur de 30 mouvement VM. A l'étape S22, les vecteurs de mouvements de l'image In sont extraits. Cette extraction peut par exemple être effectuée directement au moyen de circuits programmables de type FPGA (« Field Programmable Gate Array » pour réseau de portes programmables) ou d'un microprocesseur mettant en oeuvre un programme de plus haut niveau.Referring to Figure 6a, there is described an image freeze detection method of the transmitted signal ST present in the FC encoded stream. In step S21, the FC-encoded stream representing an In picture is decomposed into different components such as, for example, the SC encoded signal or the VM motion vector. In step S22, the motion vectors of the image In are extracted. This extraction can for example be carried out directly by means of programmable circuits of the FPGA type ("Field Programmable Gate Array" for programmable gate network) or a microprocessor implementing a higher level program.

Un premier test T24 vérifie ensuite que ce vecteur de mouvement n'est pas nul. Si non, le procédé reprend pour une image ln,' suivante. Si oui, une étape S25 va compter le nombre d'images successives pour lesquelles le vecteur de mouvement VM est nul.A first test T24 then verifies that this motion vector is not zero. If no, the process resumes for a next image. If so, a step S25 will count the number of successive images for which the motion vector VM is zero.

Le test T26 vérifie si le nombre d'images successives est supérieur à un seuil THR. Si oui, la détection est caractérisée à l'étape S27. Si non, le procédé reprend pour une image ln,' suivante. A l'étape S28, des données de détection d'erreur DD sont générées.The test T26 checks whether the number of successive images is greater than a threshold THR. If yes, the detection is characterized in step S27. If no, the process resumes for a next image. In step S28, error detection data DD is generated.

De plus, d'autres modes de réalisation permettent d'effectuer des tests complémentaires T29 si la détection est caractérisée à l'étape S27. En effet, dans un mode de réalisation représenté à la figure 6b, deux types de seuil paramétrables, court THR1 et long THR2, rendent avantageusement possible une détection adaptée aux canaux/flux/programmes à surveiller. Le test T26 vérifie si le nombre d'images successives est supérieur au seuil court paramétrable THR1. En cas de vérification positive (flèche 0 en sortie du test T26), la détection d'un gel court est caractérisée à l'étape S27.In addition, other embodiments make it possible to perform complementary tests T29 if the detection is characterized in step S27. Indeed, in one embodiment shown in FIG. 6b, two types of parameterizable thresholds, short THR1 and long THR2, advantageously make possible a detection adapted to the channels / streams / programs to be monitored. The test T26 checks whether the number of successive images is greater than the configurable short threshold THR1. In the case of positive verification (arrow 0 at the output of the T26 test), the detection of a short gel is characterized in step S27.

Sinon (flèche N), le procédé reprend pour une image ln,' suivante. A l'étape S28, un rapport de détection d'erreur est généré. Ce rapport indique par exemple l'heure précise du gel d'image et/ou le canal/flux/programme concerné.Otherwise (arrow N), the process resumes for a next image ln '. In step S28, an error detection report is generated. This report indicates, for example, the exact time of freezing of the image and / or the channel / flow / program concerned.

Le test T29 vérifie si le nombre d'images successives est supérieur au seuil long paramétrable THR2. En cas de vérification positive (flèche 0 en sortie du test T29), la détection d'un gel long est caractérisée à l'étape S30.The test T29 checks whether the number of successive images is greater than the configurable long threshold THR2. In the case of positive verification (arrow 0 at the output of the test T29), the detection of a long gel is characterized in step S30.

Sinon (flèche N), le procédé de détection est mis en oeuvre pour une image ln,' suivante.Otherwise (arrow N), the detection method is implemented for a next image.

A l'étape S31, une vidéo de la séquence d'images pour lequel le vecteur de mouvement est nul est enregistrée pour être, par exemple, analysée ultérieurement.In step S31, a video of the sequence of images for which the motion vector is zero is recorded to be, for example, analyzed later.

Une description plus détaillée du choix des vecteurs de mouvement caractérisant une succession d'images gelées précédemment citées à l'étape A et B de la figure 1, est maintenant donnée en liaison avec les figures 8a et 8b.A more detailed description of the choice of motion vectors characterizing a succession of frozen images previously cited in step A and B of FIG. 1 is now given with reference to FIGS. 8a and 8b.

Sur la figure 8a, on a représenté une succession d'images appartenant à groupement d'images. Chaque image possède un indice qui permet de l'identifier au sein de la succession d'images. Comme cela a été préalablement présenté, les images de type P sont calculées à partir d'une première image de référence de type It puis à partir de l'image de type P qui la précède. Par exemple, pour un entier i, l'image P, est calculée grâce au vecteur mouvement entre l'image P1 et l'image P. Une image de type B peut quant à elle être calculée à partir de l'image P qui la précède et/ou l'image P qui la succède. Préférentiellement, une ou deux images de type B s'intercalent entre deux images de type P. Ainsi, dans le cas où une seule image de type B s'intercale entre deux images de type P, pour un entier k, l'image Bk est calculée à partir du vecteur de mouvements caractérisant le mouvement entre l'image Pk_i et l'image Bk et à partir du vecteur de mouvement entre l'image Pk+1 et l'image Bk. Dans la suite de la description et pour des raisons de clarté, on considèrera qu'une seule image B s'intercale entre deux images de type P. Un raisonnement analogue peut être appliqué avec plusieurs images de type B intercalées entre deux images de type P. Bien entendu, la présente invention ne se limite pas à une seul image B intercalée entre deux images P; elle s'étend à d'autres combinaisons d'images I, P et B au sein du GOP.In FIG. 8a, a succession of images belonging to an image group is shown. Each image has an index that identifies it within the sequence of images. As previously presented, the P-type images are computed from a first reference image of type It and then from the P-type image which precedes it. For example, for an integer i, the image P is computed from the motion vector between the image P1 and the image P. An image of type B can itself be calculated from the image P which precedes and / or the image P which succeeds it. Preferably, one or two type B images are intercalated between two P type images. Thus, in the case where a single type B image is inserted between two P type images, for an integer k, the image Bk is calculated from the motion vector characterizing the movement between the image Pk_i and the image Bk and from the motion vector between the image Pk + 1 and the image Bk. In the remainder of the description and for reasons of clarity, it will be considered that a single image B is intercalated between two P-type images. Similar reasoning can be applied with several type B images inserted between two P-type images. Of course, the present invention is not limited to a single image B interposed between two images P; it extends to other combinations of I, P and B images within the GOP.

Il existe donc trois types de vecteurs de mouvements au sein d'un GOP : les vecteurs de mouvements caractérisant le mouvement de l'image de référence de type It vers une de type P. Ces vecteurs de mouvements sont dans le sens de la succession d'images, de la première image du groupement d'images vers une image P successive. Ainsi, ce premier type de vecteur de mouvement caractérise un mouvement dans le sens de la succession d'images entre la première image de type It et une image de type P. Ces vecteurs de mouvements sont représentés par les vecteur a, sur la figure 8.b. Préférentiellement, seul le vecteur de mouvement de l'image It vers la première image P est pris en compte (le vecteur al sur la figure 8.b). les vecteurs de mouvements caractérisant le mouvement d'une image de type P vers une autre image de type P. Comme spécifié dans le paragraphe précédent, des images de type B s'intercalent entre les images de type P. Les images de type P peuvent par exemple se compter de deux en deux (P3, P5, Ce type de vecteur de mouvement entre deux images P caractérise donc un mouvement dans le sens de la succession d'images. Ces vecteurs de mouvements sont représentés par les vecteur (3, sur la figure 8.c. les vecteurs de mouvements caractérisant le mouvement d'une image de type P vers une image de type B. Les images de type B sont calculées à partir des images de type P. Par exemple, une image de type B peut être calculée à partir du vecteur de mouvement '/k-1k caractérisant le mouvement de l'image de type P précédente vers cette image de type B et du vecteur de mouvement yk+1k caractérisant le mouvement de l'image de type P suivante vers cette image de type B. De nombreuses autres configurations sont possibles pour calculer ces images B, par exemple et de manière non limitative, à partir des vecteurs '/k-1k seulement, à partir des vecteurs yk+ik seulement ou encore à partir des vecteurs yk-i.k ou VI(+1k. Ces vecteurs mouvements ont été générés lors du codage en tant que données auxiliaires. Ils ont pour objet initial de décoder les images comme spécifié dans le paragraphe ci-dessus mais ils sont utilisés à des fins de détection de gel d'image dans la présente invention. Dans un premier mode de réalisation, le vecteur de mouvement utilisé pour détecter un gel d'erreur d'une image In d'un groupement d'image est le vecteur de mouvement caractérisant le mouvement entre l'image précédente In-1 et l'image courante In. Pour un groupement d'images possédant N images, on a n E II; 11. Il est précisé que dans ce mode de réalisation, l'image courante In peut être de type lt, P ou B et l'image précédente 'ni peut être de type It ou P. En effet, et comme le montre la figure 8.d, il n'existe pas de vecteur de mouvement d'une image B vers une image P. Dans ce mode de réalisation non limitatif, les vecteurs de mouvements utilisés pour la détection peuvent correspondre aux vecteurs a,, (3, ou '/k-i.k tels que représentés aux figures 8b, 8c ou 8d. Dans un second mode de réalisation, le vecteur de mouvement utilisé pour détecter le gel d'erreur d'une image In d'un groupement d'image est le vecteur de mouvement caractérisant le mouvement entre l'image suivante In,' et l'image courante In. Pour un groupement d'images possédant N images, on a n Il; Il est précisé que dans ce mode de réalisation, l'image courante In peut être uniquement de type B et l'image suivante In,' peut être uniquement de type P.There are therefore three types of motion vectors within a GOP: the motion vectors characterizing the movement of the reference image of type It to a type P. These motion vectors are in the direction of the succession of images, from the first image of the image group to a successive image P. Thus, this first type of motion vector characterizes a movement in the direction of the succession of images between the first image of type It and a P-type image. These motion vectors are represented by the vectors a, in FIG. 8 .b. Preferably, only the motion vector of the image It to the first image P is taken into account (the vector al in FIG. 8.b). the motion vectors characterizing the movement of a P-type image to another P-type image. As specified in the previous paragraph, type B images are inserted between P-type images. for example, to count two in two (P3, P5, This type of vector of motion between two images P thus characterizes a movement in the direction of the succession of images.These motion vectors are represented by the vectors (3, on Figure 8.c.The motion vectors characterizing the movement of a P-type image to a B-type image. B-type images are calculated from P-type images. For example, a B-type image can be calculated from the motion vector '/ k-1k characterizing the motion of the previous P-type image to this B-type image and the yk + 1k motion vector characterizing the motion of the next P-type image to this type B picture. Many more s configurations are possible to compute these images B, for example and in a nonlimiting manner, from the vectors' / k-1k only, from the vectors yk + ik only or from the vectors yk-ik or VI (+ 1k. These motion vectors were generated during the coding as auxiliary data. Their initial purpose is to decode the images as specified in the paragraph above but they are used for image freeze detection purposes in the present invention. In a first embodiment, the motion vector used to detect an error gel of an image In of an image array is the motion vector characterizing the motion between the previous image In-1 and the image. current image In. For a group of images having N images, we have an E II; 11. It is specified that in this embodiment, the current image In can be of type lt, P or B and the preceding image 'ni can be of type It or P. Indeed, and as shown in FIG. 8.d, there is no motion vector from an image B to an image P. In this non-limiting embodiment, the motion vectors used for the detection can correspond to the vectors a ,, (3, or /ki.k as shown in Figures 8b, 8c or 8d In a second embodiment, the motion vector used to detect the error freeze of an In image of an image array is the vector of a motion characterizing the movement between the next image In, 'and the current image In. For a grouping of images having N images, it is specified that in this embodiment, the current image In only be of type B and the following image In, 'can only be of type P.

En effet, et comme le montre la figure 8.d, il n'existe pas de vecteur de mouvement d'une image suivante In,' vers une image courante In autre qu'un vecteur de mouvement d'une image P vers une image B. Dans ce mode de réalisation non limitatif, les vecteurs de mouvements utilisés pour la détection peuvent correspondre aux vecteurs yk,i.k tels que représentés à la figure 8d.Indeed, and as shown in Figure 8.d, there is no motion vector of a next image In, 'to a current image In other than a motion vector of a picture P to an image B. In this nonlimiting embodiment, the motion vectors used for the detection may correspond to the vectors yk, ik as shown in FIG. 8d.

Dans un troisième mode de réalisation, le procédé de détection se prémunit de fausses détections de gel d'image en analysant préalablement le type d'image et les données audio liés au canal de transmission des données vidéo.In a third embodiment, the detection method protects against false image gel detections by first analyzing the type of image and the audio data related to the video data transmission channel.

Ainsi, en référence maintenant à la figure 6c, le test T61 vérifie si l'image pour laquelle est extrait un vecteur mouvement est totalement noire. En cas de vérification positive, le processus de détection peut continuer avec le test T62. Sinon, le procédé reprend pour une image In,' suivante.Thus, with reference now to FIG. 6c, the test T61 checks whether the image for which a motion vector is extracted is totally black. In case of positive verification, the detection process can continue with the T62 test. Otherwise, the process resumes for a next In, 'image.

Le test T62 vérifie ensuite si des données audio correspondant à la séquence d'image sont présentes. En cas de vérification positive, le processus de détection peut continuer avec le test T24.The test T62 then checks whether audio data corresponding to the image sequence is present. In case of positive verification, the detection process can continue with the T24 test.

Sinon, le procédé reprend pour une image In,' suivante.Otherwise, the process resumes for a next In, 'image.

Dans un quatrième mode de réalisation, les images It de plusieurs groupements d'images sont décodées et comparées entre elles. La comparaison de ces images peut être faite de manière numérique ou de manière analogique par un circuit programmable ou un microprocesseur exécutant un programme.In a fourth embodiment, the images It of several image groups are decoded and compared with each other. The comparison of these images can be done numerically or analogically by a programmable circuit or a microprocessor executing a program.

La figure 7 présente de manière non limitative un dispositif DIS pour détecter un gel d'erreur. A cet effet, le dispositif DIS comporte une entrée E pour recevoir le flux codé FC et le seuil par exemple paramétrable THR, un processeur PROC pour détecter le gel d'image à l'aide d'une mémoire MEM dans laquelle sont par exemple stockées le nombre d'images successives ayant des vecteurs de mouvement nuls, une sortie S pour renvoyer les données de détection de gel d'image et notamment un rapport de détection d'erreur DD. Bien entendu, la présente invention ne se limite pas aux formes de réalisation décrites ci-avant à titre d'exemple ; elle s'étend à d'autres variantes. On a décrit ci-avant un mode de réalisation basé sur une détection d'au moins un signal. Bien entendu, l'invention peut être mise en oeuvre à partir d'un ou plusieurs signaux présents dans le flux de données.Figure 7 shows in a non-limiting manner a DIS device for detecting an error freeze. For this purpose, the device DIS comprises an input E for receiving the coded stream FC and the parameterizable threshold THR for example, a processor PROC for detecting the image freezing by means of a memory MEM in which, for example, are stored the number of successive images having zero motion vectors, an output S for returning the image freezing detection data and in particular an error detection report DD. Of course, the present invention is not limited to the embodiments described above by way of example; it extends to other variants. An embodiment has been described above based on a detection of at least one signal. Of course, the invention may be implemented from one or more signals present in the data stream.

On a décrit ci-avant un mode de réalisation sophistiqué basé sur une détection de deux seuils (court et long). Bien entendu, l'invention peut être mise en oeuvre, dans une réalisation plus simple, à partir d'une comparaison à un seuil de la longueur de succession d'images gelées, pour générer un rapport de détection et/ou une séquence vidéo comportant des images précédant, pendant et succédant le gel. On a décrit ci-avant un mode de réalisation optimisé basé sur un dispositif connecté à une tête de réseau. Bien entendu, l'invention peut être mise en oeuvre, à partir de n'importe quel dispositif présent à n'importe quel niveau du réseau.We have described above a sophisticated embodiment based on a detection of two thresholds (short and long). Of course, the invention can be implemented, in a simpler embodiment, from a comparison with a threshold of the succession length of frozen images, to generate a detection report and / or a video sequence comprising images preceding, during and succeeding the freeze. An improved embodiment based on a device connected to a headend has been described above. Of course, the invention can be implemented from any device present at any level of the network.

Claims

REVENDICATIONS1. A method of processing at least one encoded video signal into a digital data stream, characterized in that it comprises: a. extracting, from the stream, a motion vector for each image of a succession of images; b. a comparison to at least one threshold of the length of a succession of images all having zero motion vectors; vs. generating image freeze detection data if said length is greater than the threshold.

2. Method according to claim 1, characterized in that said detection data comprises an error detection report if the image succession length all having zero motion vectors is greater than said threshold.

3. Method according to claim 2, characterized in that: - said comparison is made with respect to a short threshold and with respect to a long threshold; and - said detection data comprises a video sequence which is recorded if the sequence length of images all having zero motion vectors is greater than said long threshold.

4. Method according to one of claims 2 and 3, characterized in that: - said comparison is made with respect to a short threshold and with respect to a long threshold; and said detection data comprises an error detection report if the image succession length, all of which has zero motion vectors, is greater than said short threshold.

5. Method according to one of claims 3 and 4, characterized in that said threshold is parameterizable to a predetermined degree of accuracy for the detection of image freezing.

6. Method according to one of the preceding claims, characterized in that said motion vector of a current image B characterizes the movement between the previous image A and the current image B.

7. Method according to one of claims 1 to 5, characterized in that said motion vector of a current image B characterizes the movement between the next image C and the current image B.

8. Method according to one of the preceding claims, characterized in that a verification of the absence of a completely black image is performed prior to comparison to the threshold.

9. Method according to one of the preceding claims, characterized in that a verification of the presence of audio data is performed prior to the comparison to the threshold.

10. Method according to one of the preceding claims, characterized in that each first image of a current image group (GOP) is compared with the first image of another group of images.

11. Method according to one of the preceding claims, characterized in that the digital data stream is a multiplex of television channels and in that the extraction step comprises: a first-come, first-served data processing Demultiplexing the plurality of channels included in the multiplex, and partial decoding by a plurality of decoders of said plurality of channels to recover at least said auxiliary information.

12. A device for processing a coded video signal into a digital data stream, the stream further comprising auxiliary information on said signal, characterized in that it comprises: a. means for extracting said auxiliary information in the form of a motion vector for each image of a succession of images included in a group of images; b. means for comparing at least one threshold of the length of a succession of images included in a group of images all having zero motion vectors; vs. image gel detection data generating means if said length is greater than the threshold.

13. Device according to claim 12, characterized in that it comprises connection means to a headend.

A computer program product comprising program code instructions recorded on a computer readable medium for performing the steps of the method of any one of claims 1 to 11.

15. Head end incorporating a device according to one of claims 12 and 13.