FR2811111A1 - Procede de detection de changement de plan, au sein d'une sequence video, programme informatique et dispositif correspondants - Google Patents
Procede de detection de changement de plan, au sein d'une sequence video, programme informatique et dispositif correspondants Download PDFInfo
- Publication number
- FR2811111A1 FR2811111A1 FR0008552A FR0008552A FR2811111A1 FR 2811111 A1 FR2811111 A1 FR 2811111A1 FR 0008552 A FR0008552 A FR 0008552A FR 0008552 A FR0008552 A FR 0008552A FR 2811111 A1 FR2811111 A1 FR 2811111A1
- Authority
- FR
- France
- Prior art keywords
- indicator
- values
- images
- sequence
- change
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/142—Detection of scene cut or scene change
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/74—Browsing; Visualisation therefor
- G06F16/745—Browsing; Visualisation therefor the internal structure of a single video sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Human Computer Interaction (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
L'invention concerne un procédé de détection de changement de plan, au sein d'une séquence vidéo source comprenant un ensemble d'images. Selon l'invention, un tel procédé met en oeuvre les étapes suivantes :- construction d'au moins un indicateur représentatif d'un changement de contenu d'image;- application dudit au moins un indicateur à des couples d'images de ladite séquence source, de façon à déterminer les valeurs (13) dudit au moins un indicateur pour certaines desdites images;- identification (17) de changements de plan au sein de ladite séquence source, en fonction d'un paramètre appartenant au groupe comprenant : - les valeurs dudit au moins un indicateur;- les variations des valeurs dudit au moins un indicateur.
Description
l 2811111 Procédé de détection de changement de plan, au sein d'une
séquence
vidéo, programme informatique et dispositif correspondants.
Le domaine de l'invention est celui du traitement de signaux vidéo. Plus précisément, l'invention concerne un procédé de détection de changement de plan, au sein d'une séquence vidéo. Par les termes plan et séquence, on entend ici, et dans toute la suite du
document, respectivement une suite continue d'images et une suite de plans.
L'invention a de nombreuses applications, telles que, par exemple, la localisation rapide d'un reportage donné, au sein d'une séquence diffusée au cours d'un journal télévisé, ou l'isolation d'une scène particulière au sein d'une séquence cinématographique. L'invention est particulièrement adaptée aux professionnels de l'audiovisuel et du cinéma, mais elle concerne également les amateurs qui réalisent ou visualisent des séquences vidéo, et plus généralement
tous les domaines du traitement de signaux vidéo.
L'invention peut être appliquée aux séquences vidéo numériques et/ou analogiques. L'invention peut, par exemple, être appliquée aux séquences vidéo enregistrées sur des supports de données numériques, tels qu'un CDRom, et/ou aux séquences vidéo enregistrées sur des bandes magnétiques, ou tout autre
support de données de nature analogique.
La localisation rapide et précise d'un plan au sein d'une séquence est indispensable au cours de toutes les étapes du traitement de cette succession d'images, et notamment au cours des phases de production, de diffusion, ou d'exploitation par exemple. La fragmentation d'une séquence en plans successifs, dont on localise avec précision le début et la fin (par exemple, la première et la dernière image), permet de réaliser la numérisation de la séquence, son édition, son indexation, ou encore son archivage de manière rapide, efficace, et fiable. La mise en oeuvre d'une telle fragmentation repose sur la détection des changements
de scènes, au sein de la séquence d'images étudiée.
Traditionnellement, la méthode mise en oeuvre pour détecter les changements de scènes au sein d'une succession de plans vidéo repose sur une visualisation de la séquence par un utilisateur. Un technicien ou un amateur parcourt la séquence à fragmenter, en faisant éventuellement défiler les images à une vitesse supérieure à la vitesse de lecture, de manière à accroître la rapidité du processus. Il isole alors les différents plans constitutifs de la séquence, en sélectionnant manuellement les images de début et de fin de chacun des plans visualisés. Il peut par exemple noter les références temporelles de la première et de la dernière image de chaque plan, de manière à pouvoir localiser rapidement un plan particulier, si nécessaire. Il peut encore insérer, sur le support de la séquence vidéo, des index correspondant au début et à la fin de chaque plan (ou d'un
ensemble de plans).
Un inconvénient de cette technique de l'art antérieur est qu'elle est très
coûteuse en temps et en ressources humaines, et donc onéreuse.
Un autre inconvénient de cette technique de l'art antérieur est qu'elle est très fastidieuse, l'utilisateur étant contraint de visualiser l'intégralité de la
séquence vidéo pour pouvoir isoler les différents plans qui la constituent.
Un autre inconvénient de cette technique de l'art antérieur est qu'elle est peu fiable. En effet, le nombre d'images défilant par seconde dans une séquence vidéo est tel, qu'il est très difficile pour un utilisateur de sélectionner avec
précision la première (respectivement la dernière) image d'un plan donné.
Encore un autre inconvénient de cette technique de l'art antérieur est que, les images défilant a un rythme très soutenu, il est fréquent que l'utilisateur ne stoppe la lecture de la séquence vidéo que plusieurs instants (par exemple quelques secondes) après le début (respectivement la fin) du plan à isoler. Dans le cas o la séquence vidéo est enregistrée sur une cassette par exemple, l'utilisateur est alors contraint de rembobiner la bande, de visualiser à nouveau le passage concerné, éventuellement à vitesse plus réduite, de manière à pouvoir isoler le
début (respectivement la fin) du plan avec davantage de précision.
3 2811111
Encore un autre inconvénient de cette technique de l'art antérieur est qu'un changement de plan peut échapper à l'attention de l'utilisateur, qui visualise la
séquence vidéo.
L'invention a notamment pour objectif de pallier ces inconvénients de l'art antérieur. Plus précisément, un objectif de l'invention est de fournir un procédé de détection de changement de plans vidéo, qui présente une fiabilité accrue, par
rapport aux techniques de l'art antérieur.
Un autre objectif de l'invention est de mettre en oeuvre un procédé de changement de plans vidéo simple et peu coûteux, notamment en temps et en
ressources humaines.
L'invention a encore pour objectif de fournir un procédé semi-automatisé de détection de changement de plans vidéo, autorisant des fonctionnalités
améliorées et/ou nouvelles par rapport aux procédés classiques.
Encore un autre objectif de l'invention est de mettre en oeuvre un procédé de détection de changement de plans vidéo, permettant à un utilisateur de déterminer, de manière interactive, les changements de scène au sein d'une séquence. L'invention a également pour objectif de fournir un procédé de détection de changement de plan, permettant une fragmentation rapide d'une séquence
vidéo en plans successifs.
Encore un autre objectif de l'invention est de mettre en oeuvre un dispositif de détection de changement de plan, présentant une interface homme - machine simple et pratique, permettant à un utilisateur d'avoir accès rapidement à toutes les informations nécessaires à la fragmentation d'une séquence vidéo, et/ou à
l'exploitation d'une séquence vidéo fragmentée.
L'invention a également pour objectif de fournir un procédé de détection de changement de plan se distinguant de l'art antérieur en ce qu'il permet un accès
direct à un plan donné d'une séquence vidéo, plutôt qu'un accès semiséquentiel.
4 2811111
Ces objectifs, ainsi que d'autres qui apparaîtront par la suite sont atteints à l'aide d'un procédé de détection de changement de plan, au sein d'une séquence
vidéo source comprenant un ensemble d'images.
Selon l'invention, un tel procédé met en oeuvre les étapes suivantes construction d'au moins un indicateur représentatif d'un changement de contenu d'image; - application dudit au moins un indicateur à des couples d'images ou de zones d'images de ladite séquence source, de façon à déterminer les valeurs dudit au moins un indicateur pour certaines desdites images; - identification de changements de plan au sein de ladite séquence source, en fonction d'un paramètre appartenant au groupe comprenant - les valeurs dudit au moins un indicateur;
- les variations des valeurs dudit au moins un indicateur.
Ainsi, l'invention repose sur une approche tout à fait nouvelle et inventive de la détection de changement de plan, au sein d'une séquence vidéo. En effet, l'invention met notamment en oeuvre un procédé interactif de détection de changement de plan, assisté par ordinateur. Le traitement, long et coûteux, d'une séquence vidéo à fragmenter est ainsi effectué de manière rapide et précise, par un dispositif adapté; I'utilisateur conserve, quant à lui, un contrôle étroit sur le procédé de détection de changement de plans, et peut modifier et/ou améliorer la fragmentation de la séquence, effectuée par le dispositif (par exemple un ordinateur). Un tel procédé selon l'invention repose notamment, avantageusement, sur le calcul de la valeur d'un indicateur de changement de contenu visuel, qui permet d'évaluer le degré de ressemblance entre deux images consécutives ou non de la séquence vidéo. La détection de pics marqués, dans la courbe représentative d'un tel indicateur, permet à l'utilisateur de déterminer, rapidement et efficacement, les
changements de scène, et donc d'isoler les différents plans de la séquence.
Avantageusement, ladite étape d'identification de changements de plan met en oeuvre les sous-étapes suivantes:
2811111
- sélection des valeurs dudit au moins un indicateur supérieures ou égales à une valeur seuil prédéterminée - élaboration d'un critère d'analyse desdites variations des valeurs dudit au moins un indicateur; exploitation dudit critère, de façon à distinguer au moins deux cas, selon que lesdites valeurs sélectionnées sont ou non significatives de
changements de plan.
En effet, après analyse de la séquence source, on peut déterminer les valeurs des indicateurs qui sont supérieures à une valeur seuil, fixée par exemple par un opérateur, et auxquelles est donc associée une forte probabilité de
changement de plan.
Cependant, certaines valeurs d'indicateurs peuvent être supérieures à la valeur seuil, mais ne pas être significatives d'un changement de plan au sein de la séquence vidéo. Par exemple, la courbe représentative des valeurs des indicateurs peut rester supérieure à la valeur seuil pendant une longue durée, si le passage de la séquence vidéo analysé correspond à un zoom, ou à la visualisation d'une scène panoramique. Seul le premier passage de la courbe représentative de l'indicateur au dessus de la valeur seuil doit donc être identifié, dans ce cas précis, comme
significatif d'un changement de plan.
Il est donc nécessaire d'élaborer un critère d'analyse des variations des valeurs de l'indicateur, de façon à distinguer si les valeurs sélectionnées comme supérieures à une valeur seuil prédéterminée sont ou non significatives d'un
changement de plan au sein de la séquence source.
Selon un mode de réalisation avantageux de l'invention, ladite étape d'exploitation dudit critère d'analyse repose sur la mise en oeuvre d'une technique
d'intelligence artificielle.
Ainsi, on peut envisager l'utilisation d'un ordinateur à intelligence artificielle, mettant par exemple en oeuvre un programme exprimé selon un langage de type "Prolog", pour décider de la présence ou non d'un changement de plan, au sein de la séquence, en fonction des valeurs de l'indicateur et de leurs
6 2811111
variations. On peut également envisager de mettre en oeuvre toute autre technique
d'intelligence artificielle adaptée à l'invention.
Selon une technique avantageuse, ledit au moins un indicateur est composite, résultant de la combinaison pondérée d'au moins deux indicateurs selon au moins une pondération prédéterminée. En effet, il est intéressant de construire plusieurs indicateurs (par exemple, un indicateur de détection de mouvement au sein des images, et un indicateur associé à la luminosité des images de la séquence), et de combiner ces indicateurs
pour accroître la fiabilité de la détection de changement de plan.
Ainsi, en utilisant une combinaison pondérée de plusieurs indicateurs, on peut détecter des changements de plan qui n'auraient pas été décelés avec un seul indicateur. Par exemple, un changement de plan entre deux plans consécutifs de luminosité similaire peut ne pas être détecté à partir d'un indicateur associé à la luminosité des images, mais apparaître clairement si cet indicateur est combiné à
un indicateur de détection de mouvement, et/ou de couleur.
Par ailleurs, il peut apparaître que certains indicateurs sont plus pertinents que d'autres pour la détection des changements de plan, et on peut donc envisager de leur donner un poids plus fort dans la combinaison pondérée des différents indicateurs mis en ceuvre. Par exemple, on peut construire un indicateur résultant de la combinaison pondérée d'un indicateur de détection de mouvement à 70%, d'un indicateur associé à la luminosité des images à 20%, et d'un indicateur significatif de la couleur des images à 10%. Les coefficients de cette pondération peuvent également être déterminés par une technique d'intelligence artificielle, de
manière à optimiser la détection de changement de plan.
Selon une caractéristique avantageuse, au moins certaines desdites images sont découpées en au moins deux zones et on applique ledit au moins un
indicateur à chacune de ces zones.
En effet, on peut envisager qu'une image représente une vue panoramique (un paysage de montagne par exemple) devant laquelle se tient un premier personnage, de taille réduite par rapport à la taille de l'image globale. L'image suivante dans la séquence vidéo représente la même vue panoramique, mais la position occupée par le premier personnage est désormais occupée par un second
personnage: il y a eu changement de plan entre ces deux images consécutives.
Cependant, seul le contenu visuel d'une petite portion de l'image a changé entre la première et la seconde image: il est donc possible que la valeur de l'indicateur
construit semble ne pas être significative d'un changement de plan.
En revanche, si les première et deuxième images sont segmentées en une pluralité de zones (par exemple, en 4 ou 8 zones distinctes), la valeur de l'indicateur de la zone dans laquelle se tiennent les personnages sera supérieure à
la valeur seuil prédéterminée.
On peut alors détecter un changement de plan entre ces deux images consécutives, car la valeur de l'indicateur de l'une des zones de l'image est
significative d'un changement de plan.
Avantageusement, lesdites images étant construites à partir de données vidéo, un tel procédé comprend en outre au moins l'une des étapes préliminaires suivantes: - décompression desdites données vidéo; - souséchantillonnage desdites données vidéo à une fréquence
prédéterminée, de manière à former une séquence vidéo sous-
échantillonnée, constituant ladite séquence vidéo source.
Ainsi, ces étapes de compression et de sous-échantillonnage des données vidéo permettent de faciliter l'analyse de la séquence source en vue de la détection de changements de plan. Notamment, le sous-échantillonnage permet de réduire le nombre d'images à analyser, et donc le nombre d'indicateurs à calculer: le procédé de détection de changement de plan est ainsi accéléré, et est moins coûteux en
termes de puissance de calcul et de capacité de traitement et de mémoire.
Préférentiellement, lesdits couples d'images sont formés de deux images
consécutives de ladite séquence vidéo source.
8 2811111
Pour détecter les changements de plan de manière précise, il est en effet préférable d'appliquer l'indicateur à des couples d'images consécutives de la
séquence source.
On peut cependant envisager, selon unc autre variante de réalisation, d'appliquer l'indicateur à des couples d'images non consécutives, de manière à réduire le nombre de valeurs d'indicateurs à calculer, et ainsi alléger le traitement
d'analyse de la séquence vidéo en vue de la détection de changement de plan.
Avantageusement, les valeurs dudit indicateur sont déterminées en mettant en oeuvre une technique appartenant au groupe comprenant: - la détection de mouvement au sein desdits couples d'images; - la comparaison d'histogrammes élaborés à partir desdites données vidéo permettant de construire respectivement chaque image desdits couples; - la comparaison de la couleur et/ou de la luminosité d'au moins une zone prédéterminée, respectivement de chaque image desdits couples;
- l'analyse fréquentielle desdites images desdits couples.
Selon un mode de réalisation préférentiel de l'invention, ledit au moins un indicateur est construit à partir d'au moins une information produite par un
procédé de compression de données d'images.
En effet, les algorithmes de compression vidéo standards, tels que les normes de type MPEG, par exemple (ou tout autre format de compression standardisé vidéo) mettent généralement en couvre un filtrage des images, de
manière à détecter des évolutions dans le contenu d'images consécutives.
L'invention tire avantageusement profit des informations obtenues à l'aide de tels algorithmes de compression vidéo pour construire et calculer la valeur des
indicateurs mis en oeuvre dans la détection de changement de plan.
Préfércntiellement, un tel procédé comprend en outre une étape de normalisation dudit indicateur, de façon que la valeur dudit indicateur soit
comprise entre deux valeurs A et B prédéterminées.
9 2811111
Une telle normalisation peut par exemple consister à obtenir un ensemble de valeurs d'indicateurs qui sont toutes comprises entre 0 et 1, ou entre toutes
autres valeurs A et B souhaitées.
De manière préférentielle, un tel procédé comprend en outre une étape de stockage desdites valeurs dudit indicateur et/ou de références temporelles permettant de localiser lesdites images au sein de ladite séquence, de manière à permettre une identification rapide de changements de plan au sein de ladite séquence source, sans qu'il soit nécessaire de réitérer lesdites étapes de
construction et/ou d'application dudit indicateur.
Ainsi, l'analyse de la séquence vidéo, consistant notamment à calculer la valeur de l'indicateur pour les couples d'images souhaités de la séquence, n'a pas besoin d'être répétée à chaque utilisation (par exemple diffusion) de la séquence vidéo. Après calcul, les valeurs des indicateurs et/ou les références temporelles permettant de localiser les images au sein de la séquence sont stockées dans un fichier, et peuvent être réutilisées sans qu'il soit nécessaire d'appliquer un nouveau traitement long et coûteux à la séquence vidéo. Un tel stockage permet un gain de
temps considérable lors de détections de changements de plans successives.
Avantageusement, lesdites valeurs dudit indicateur et/ou lesdites références temporelles sont stockées sur le même support que lesdites données
vidéo.
De cette façon, on peut faire défiler la séquence vidéo et les résultats de son analyse (c'est-à-dire les valeurs de l'indicateur et/ou les références temporelles) de manière simultanée, ce qui facilite la tâche d'un utilisateur en
charge de la détection de changement de plan.
On peut aussi envisager, selon une autre variante, que les valeurs de l'indicateur et/ou les références temporelles soient stockées sur un support de données distinct de celui de la séquence vidéo, mais pouvant être lu simultanément. Préférentiellement, un tel procédé comprend en outre une étape d'affichage d'au moins une des informations suivantes:
2811111
- les valeurs dudit au moins un indicateur; - des imagettes extraites des images associées auxdites valeurs sélectionnées; - des références temporelles permettant de localiser les images associées auxdites valeurs sélectionnées, au sein de ladite séquence;
- ladite valeur seuil prédéterminée.
Ainsi, un opérateur en charge de la détection de changement de plan peut visualiser simultanément la courbe représentative des valeurs de l'indicateur et la valeur seuil, de manière à sélectionner rapidement les valeurs de l'indicateur supérieures à la valeur seuil. En cas de doute (par exemple pour une valeur d'indicateur atteignant presque la valeur seuil), il peut visionner l'imagette correspondante, de façon à confirmer que la valeur d'indicateur litigieuse est ou
non significative d'un changement de plan.
Enfin, lorsqu'un changement de plan est effectivement détecté, I'opérateur peut directement lire sur l'écran (ou tout autre dispositif d'affichage) la référence temporelle associée à la première image du nouveau plan et/ou à la dernière image du plan précédent, de manière à pouvoir aisément retrouver l'image
correspondante, et, par exemple, diffuser la séquence vidéo à partir de cette image.
L'invention concerne également un programme informatique comprenant des séquences d'instructions adaptées à la mise en ceuvre d'un procédé de détection de changement de plan, au sein d'une séquence vidéo source, tel que
décrit ci-dessus.
L'invention concerne encore un dispositif de détection de changement de plan, au sein d'une séquence vidéo source comprenant un ensemble d'images, comprenant: - des moyens de construction d'au moins un indicateur représentatif d'un changement de contenu d'image; - des moyens d'application dudit au moins un indicateur à des couples d'images de ladite séquence source, de façon à déterminer les valeurs dudit au moins un indicateur pour lesdites images de ladite séquence source; il 2811111 des moyens d'identification de changements de plan au sein de ladite séquence source, en fonction d'un paramètre appartenant au groupe comprenant: - les valeurs dudit au moins un indicateur; - les variations des valeurs dudit au moins un indicateur. D'autres caractéristiques et avantages de l'invention apparaîtront plus
clairement à la lecture de la description suivante d'un mode de réalisation
préférentiel, donné à titre de simple exemple illustratif et non limitatif, et des dessins annexés, parmi lesquels: - la figure I illustre la succession d'étapes mises en oeuvre au cours d'un procédé de détection de changement de plan selon l'invention; - les figures 2a et 2b présentent un synoptique de l'interface graphique d'un dispositif de détection de changement de plan, mettant en oeuvre le procédé
de la figure 1.
Le principe général de l'invention repose sur la détermination d'un indicateur de changement de contenu visuel, aussi appelé CCI (en anglais "Content Change Index "), qui permet d'évaluer le degré de ressemblance de deux images consécutives dans la séquence vidéo à fragmenter. Dans toute la suite du document, par souci de simplification, on désigne par CCI un indicateur de
changement de contenu visuel.
On présente, en relation avec la figure 1, un mode de réalisation d'une
fragmentation d'une séquence vidéo, cn plans successifs.
Au cours d'une première étape référencée 11, les données vidéo, à partir desquelles est construite la séquence que l'on souhaite fragmenter, sont décompressées. Cette étape référencée 11 est une étape facultative du procédé de détection de changement de plans selon l'invention, et elle a donc été représentée sur la figure I en lignes discontinues. En effet, on peut envisager que la séquence vidéo soit suffisamment courte pour que les données vidéo soient peu volumineuses, et qu'elles ne soient donc pas compressées. Dans le cas contraire o la séquence vidéo est longue et/ou complexe, il est fréquent de procéder à une
12 2811111
compression des données vidéo, par exemple pour faciliter la diffusion ou le
stockage de la séquence.
Au cours d'une deuxième étape référencée 12, on procède à un sous-
échantillonnage des données vidéo, à une fréquence I/N prédéterminée, par exemple fixée par l'utilisateur. Cette étape permet de ne conserver qu'une image sur N, parmi toutes les images de la séquence vidéo. Un tel sous-échantillonnage permet de réduire la quantité de données à traiter, et donc d'accélérer le procédé de détection de changement de plan: les étapes suivantes du procédé, illustré en figure 1, mettent alors en ceuvre une séquence vidéo sous-échantillonnée, à partir de la séquence vidéo d'origine. (On notera qu'on parle ici de sous-échantillonnage de la séquence vidéo. En effet, une séquence vidéo correspond généralement déjà à un échantillonnage d'une séquence d'images réelles.) L'étape référencée 12 est facultative, et l'on peut envisager, selon une variante de réalisation, que l'utilisateur, par exemple par souci de précision, choisisse d'appliquer le procédé de détection de changement de plan, à l'ensemble
des images constitutives de la séquence vidéo, sans procéder à un sous-
échantillonnage préalable.
L'étape référencée 13 concerne le calcul et la normalisation des CCI. Les images consécutives de la séquence vidéo (éventuellement souséchantillonnée)
sont comparées deux à deux, selon un algorithme prédéterminé.
Selon une première variante de réalisation, l'algorithme de comparaison des images successives consiste à comparer la couleur et/ou la luminosité d'une
zone prédéterminée de chaque image.
Selon une autre variante de réalisation, l'algorithme de comparaison repose sur la détection de mouvement, au cours du passage d'une première image à
l'image suivante dans la séquence vidéo.
Selon encore une autre variante de réalisation, l'algorithme de comparaison met en oeuvre la comparaison d'histogrammes, établis à partir des
données vidéo caractéristiques des images à analyser.
L'invention peut encore reposer sur tout autre algorithme de comparaison du contenu visuel de deux images consécutives, qui permet d'évaluer le degré de ressemblance d'images successives. Au cours de l'étape référencée 13, on détermine alors le CCI associé à chaque image de la séquence (éventuellement sous-échantillonnée). On peut envisager, au cours de cette étape référencée 13, un traitement facultatif de normalisation des CCI, de façon que leurs valeurs numériques soient sensiblement comprises entre 0.0 et 1.0. On peut également envisager tout autre traitement de normalisation des CCI, de manière à ce que leurs valeurs numériques soient comprises entre deux valeurs A et B
prédéterminées.
L'étape référencée 14 consiste à stocker les CCI normalisés dans un fichier, de préférence sur le même support d'enregistrement que la séquence vidéo. Dans un autre mode de réalisation, les CCI normalisés sont stockés sur un support d'enregistrement différent de celui de la séquence vidéo. Selon une variante de réalisation, on enregistre également dans le fichier des CCI, la
référence temporelle de chacune des images analysées.
Une telle référence temporelle peut être de nature relative (c'est-à-dire mesurée à partir d'un instant de référence prédéterminé; une telle référence est alors appelée en anglais "time code" ou code temporel) ou de nature absolue (correspondant, par exemple, au nombre d'images précédent l'image analysée au
sein de la séquence vidéo).
Un tel fichier peut, par exemple, être créé au cours d'une étape de numérisation de la séquence vidéo, ou au cours de tout traitement ultérieur de la
séquence, sans consommation excessive de ressources humaines coûteuses.
Selon un mode de réalisation préférentiel de l'invention, le fichier des CCI est toujours lu simultanément à la séquence vidéo. A titre d'exemple, un tel fichier des CCI comprend environ douze octets de données par image (respectivement par image sous-échantillonnée), et est donc de taille négligeable, par rapport à la taille
du fichier contenant la séquence vidéo.
Au cours d'une étape référencée 15, l'utilisateur choisit une valeur seuil, un CCI de valeur supérieure à cette valeur seuil pouvant alors être considéré
comme une indication de changement de plan.
L'étape référencée 16 consiste à lire les valeurs des CCI stockés au cours de l'étape référencée 14, et à les comparer à la valeur seuil fixée par l'utilisateur. Au cours de l'étape référencéec 17, les valeurs des CCI supérieures à la valeur seuil sont extraites du fichier des CCI, avec laréférence temporelle associée à l'image concernée, et un aperçu de cette image, couramment appelé "imagette ". Par imagette, on entend ici, et dans tout le document, une image, de
qualité éventuellement dégradée, extraite de la séquence vidéo.
Selon une variante de réalisation, des algorithmes d'amélioration de la
détection des changements de plan sont mis en oeuvre au cours de l'étape 17.
L'étape référencée 18 concerne la présentation graphique des résultats de
la détection, qui sont analysés par l'utilisateur au cours de l'étape référencée 19.
Si l'utilisateur est satisfait de ces résultats, le procédé selon l'invention s'achève alors par l'obtention de la séquence fragmentée, au cours de l'étape
référencée 111.
Dans le cas contraire, l'utilisateur peut, par exemple après avoir constaté des anomalies dans la détection (détection de changements inexistants et/ou absence de détection de certains changements), décider de modifier la valeur seuil,
fixée au cours de l'étape référencée 15.
Par exemple, dans le cas o certains changements de plans n'ont pas été correctement détectés, l'utilisateur peut abaisser la valeur seuil, de façon que davantage de changements soient localisés dans la séquence. Inversement, dans le cas o des changements de scène inexistants ont été identifiés, l'utilisateur peut choisir une nouvelle valeur seuil, plus élevée que la précédente, de manière à obtenir une détection de changement de plan moins sensible au changement de
contenu visuel des images.
1 52811111
Les étapes référencées 15 à 19 du procédé de détection de changement de plan sont alors réitérées, jusqu'à ce que l'utilisateur soit satisfait du résultat de la
fragmentation de la séquence.
On présente désormais, en relation avec les figures 2a et 2b, l'interface graphique d'un dispositif de détection de changement de plan, mettant en oeuvre le
procédé de la figure 1.
Dans le mode de réalisation illustré par la figure 2a, une telle interface 20
comprend trois zones d'affichage graphique.
Dans la zone 21a (respectivement 2]b sur la figure 2b), l'utilisateur visualise la séquence vidéo à fragmenter. Les images consécutives de la séquence
s'affichent donc successivement dans la zone 21 a, 21 b, par exemple sur un écran.
La zone 22 est consacrée à la présentation des CCI normalisés, calculés au cours de l'étape référencée 13. Les CCI sont représentés sous la forme d'une courbe continue 221a, 221b, l'abscisse de cette courbe indiquant, par exemple, la référence temporelle associée à chaque CCI, et l'ordonnée indiquant la valeur
normalisée du CCI, comprise, dans ce mode de réalisation particulier, entre 0 et 1.
On peut aussi prévoir d'afficher, dans la zone 22, la valeur seuil 222a,
222h, choisie par l'utilisateur au cours de l'étape référencée 15.
La zone 23 est en correspondance directe avec la zone 22. Elle présente à l'utilisateur l'imagette 231a, 231b associée à chacun des CCI, dont la valeur est supérieure à la valeur seuil 222a, 222b. On peut aussi envisager que la zone 23 soit utilisée pour afficher les références temporelles to, t, et t, associées à de tels CCI. La courbe des CCI 221a, 221h, affichée dans la zone 22, présente des pics 224 élevés, dans les zones de la séquence vidéo o le changement de contenu visuel est important. Les pics de taille plus réduite 225 illustrent les changements de scène de moindre importance, et les zones sensiblement plates 223 de la courbe 221a, 221b correspondent aux passages de la séquence vidéo, o le contenu visuel
des images est sensiblement constant.
Dans la zone 22, un changement de plan peut être détecté en tous les points
1 6 2811111
o la courbe 221a, 221b coupe la droite 222a, 222b.
A l'aide des informations graphiques visualisées sur l'interface 20, l'utilisateur peut analyser la nature du contenu vidéo, et notamment, examiner en
détail les zones ambiguës de la courbe 221a, 221 b.
Ainsi, si l'utilisateur remarque, sur la courbe 221a, un pic 227 atteignant presque la valeur seuil 222a, il peut visualiser dans la zone 21 les images de la séquence correspondantes, et éventuellement localiser un changement de plan, qui n'aurait pas été isolé au cours du procédé de détection, à cause d'une mauvaise détermination de la valeur seuil 222a (détermination d'une valeur seuil 222a trop
élevée).
L'utilisateur peut également observer la partie de la séquence vidéo correspondant à la zone référencée 226 de la courbe 221 a, dans laquelle la courbe 221a reste au-dessus de la valeur seuil 222a pendant une longue période. Les CCI de la zone référencée 226 sont tous supérieurs à la valeur seuil 222a, ce qui indique d'importants changements de contenu visuel, pour plusieurs images successives. Une telle zone 226 peut indiquer plusieurs changements de plans courts consécutifs, mais aussi correspondre à un fondu enchaîné, un zoom, ou encore à une vue panoramique. Le dispositif de détection de changement de plan étant interactif, c'est à l'utilisateur que revient la décision finale de la localisation
d'un ou plusieurs changements de plan, dans la zone référencée 226.
L'utilisateur peut encore visualiser, dans la zone 21a, les images de la séquence vidéo correspondant à la partie 228 de la courbe 221la, o la courbe des CCI oscille rapidement, selon un mouvement de grande amplitude. Dans un intervalle de temps sensiblement court, la courbe 228 présente une succession de pics rapprochés, supérieurs à la valeur seuil 222a, qui peuvent être détectés par le dispositif comme une succession de changements de plan. L'utilisateur peut alors contrôler la fiabilité de cette détection, ou vérifier que la zone 228 ne correspond
pas, par exemple, à des images en gros plan d'un objet en mouvement rapide.
En observant l'interface graphique 20, l'utilisateur peut intervenir dans la mise en oeuvre du procédé illustré en figure 1, à l'aide des boutons de
17 2811111
fonctionnalités 24 de la figure 2b. Par exemple, l'utilisateur peut changer la valeur seuil 222a, 222b, et rclancer le procédé de détection des changements de scène. Il peut encore enregistrer de nouvelles références temporelles, et de nouvelles imagettes 23 1 a, 23 1b, correspondant aux changements de plan non détectés par le dispositif. Il peut aussi, par exemple, supprimer les changements de plans localisés
à tort par le dispositif.
Les commandes 25 représentées sur la figure 2h permettent à l'utilisateur de contrôler le défilement de la séquence vidéo, et notamment d'effectuer un retour arrière dans la bande, une avance rapide, ou de stopper la lecture de la
séquence, par exemple.
On peut également prévoir d'afficher un repère 229, représenté sous forme d'un trait vertical sur la figure 2b, de manière à localiser le point de la courbe
221b correspondant à l'image affichée, à l'instant courant, dans la zone 21b.
18 2811111
Claims (15)
1. Procédé de détection de changement de plan, au sein d'une séquence vidéo source comprenant un ensemble d'images, caractérisé en ce qu'il met en oeuvre les étapes suivantes - construction d'au moins un indicateur représentatif d'un changement de contenu d'image - application dudit au moins un indicateur à des couples d'images ou de zones d'images de ladite séquence source, de façon à déterminer (13) les valeurs dudit au moins un indicateur pour certaines desdites images ou pour certaines desdites zones d'images - identification (17) de changements de plan au sein de ladite séquence source, en fonction d'un paramètre appartenant au groupe comprenant: - les valeurs dudit au moins un indicateur;
- les variations des valeurs dudit au moins un indicateur.
2. Procédé selon la revendication 1, caractérisé en ce que ladite étape d'identification de changements de plan met en oeuvre les sous-étapes suivantes: - sélection (16) des valeurs dudit au moins un indicateur supérieures ou égales à une valeur seuil (222a; 222b) prédéterminée; élaboration d'un critère d'analyse desdites variations des valeurs dudit au moins un indicateur; - exploitation dudit critère, de façon à distinguer au moins deux cas, selon que lesdites valeurs sélectionnées sont ou non significatives de
changements de plan.
3. Procédé selon l'une quelconque des revendications 1 et 2, caractérisé en ce
que ledit au moins un indicateur est composite, résultant de la combinaison pondérée d'au moins deux indicateurs selon au moins une pondération prédéterminée.
4. Procédé selon l'une quelconque des revendications 2 et 3, caractérisé en ce
que ladite étape d'exploitation dudit critère d'analyse repose sur la mise en oeuvre
d'une technique d'intelligence artificielle.
19 2811111
5. Procédé selon l'une quelconque des revendications 1 à 4, caractérisé en ce
qu'au moins certaines desdites images sont découpées en au moins deux zones et
en ce qu'on applique ledit au moins un indicateur à chacune de ces zones.
6. Procédé selon l'une quelconque des revendications 1 à 5, caractérisé en ce
que, lesdites images étant construites à partir de données vidéo, il comprend en outre au moins l'une des étapes préliminaires suivantes décompression (11) desdites données vidéo; - sous-échantillonnage (12) desdites données vidéo à une fréquence
prédéterminée, de manière à former une séquence vidéo sous-
échantillonnée, constituant ladite séquence vidéo source.
7. Procédé selon l'une quelconque des revendications 1 à 6, caractérisé en ce
que lesdits couples d'images sont formés de deux images consécutives de ladite
séquence vidéo source.
8. Procédé selon l'une quelconque des revendications 1 à 7, caractérisé en ce
que les valeurs dudit indicateur sont déterminées en mettant en ceuvre une technique appartenant au groupe comprenant: - la détection de mouvement au sein desdits couples d'images; - la comparaison d'histogrammes élaborés à partir desdites données vidéo permettant de construire respectivement chaque image desdits couples; - la comparaison de la couleur et/ou de la luminosité d'au moins une zone prédéterminée, respectivement de chaque image desdits couples; - l'analyse fréquentielle desdites images desdits couples;
9. Procédé selon l'une quelconque des revendications 1 à 8, caractérisé en ce
que ledit au moins un indicateur est construit à partir d'au moins une information
produite par un procédé de compression de données d'images.
10. Procédé selon l'une quelconque des revendications 1 à 9, caractérisé en ce
qu'il comprend en outre une étape de normalisation (13) dudit indicateur, de façon que la valeur dudit indicateur soit comprise entre deux valeurs A et B prédéterminées.
2811111
11. Procédé selon l'une quelconque des revendications 1 à 10, caractérisé en
ce qu'il comprend en outre une étape de stockage (14) desdites valeurs dudit indicateur et/ou de références temporelles permettant de localiser lesdites images au sein de ladite séquence, de manière à permettre une identification rapide de changements de plan au sein de ladite séquence source, sans qu'il soit nécessaire
de réitérer lesdites étapes de construction et/ou d'application dudit indicateur.
12. Procédé selon la revendication 11, caractérisé en ce que lesdites valeurs dudit indicateur et/ou lesdites références temporelles sont stockées sur le même
support que lesdites données vidéo.
13. Procédé selon l'une quelconque des revendications 2 à 12, caractérisé en
ce qu'il comprend en outre une étape d'affichage d'au moins une des informations suivantes: - les valeurs (221a; 22 lb) dudit au moins un indicateur; - des imagettes (23 la; 231b) extraites des images associées auxdites valeurs sélectionnées - des références temporelles permettant de localiser les images associées auxdites valeurs sélectionnées, au sein de ladite séquence;
- ladite valeur seuil prédéterminée.
14. Produit programme d'ordinateur enregistré sur un support utilisable dans un ordinateur, caractérisé en ce qu'il comprend des séquences d'instructions adaptées à la mise en oeuvre d'un procédé de détection de changement de plan, au
sein d'une séquence vidéo source, selon l'une quelconque des revendications 1 à
13, lorsque ledit programme d'ordinateur est exécuté sur un ordinateur.
15. Dispositif de détection de changement de plan, au sein d'une séquence vidéo source comprenant un ensemble d'images, caractérisé en ce qu'il comprend: - des moyens de construction d'au moins un indicateur représentatif d'un changement de contenu d'image
21 2811111
des moyens d'application dudit au moins un indicateur à des couples d'images de ladite séquence source, de façon à déterminer les valeurs dudit au moins un indicateur pour lesdites images de ladite séquence source des moyens d'identification de changements de plan au sein de ladite séquence source, en fonction d'un paramètre appartenant au groupe comprenant: - les valeurs dudit au moins un indicateur;
- les variations des valeurs dudit au moins un indicateur.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR0008552A FR2811111B1 (fr) | 2000-06-30 | 2000-06-30 | Procede de detection de changement de plan, au sein d'une sequence video, programme informatique et dispositif correspondants |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR0008552A FR2811111B1 (fr) | 2000-06-30 | 2000-06-30 | Procede de detection de changement de plan, au sein d'une sequence video, programme informatique et dispositif correspondants |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR2811111A1 true FR2811111A1 (fr) | 2002-01-04 |
| FR2811111B1 FR2811111B1 (fr) | 2002-12-27 |
Family
ID=8851993
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR0008552A Expired - Lifetime FR2811111B1 (fr) | 2000-06-30 | 2000-06-30 | Procede de detection de changement de plan, au sein d'une sequence video, programme informatique et dispositif correspondants |
Country Status (1)
| Country | Link |
|---|---|
| FR (1) | FR2811111B1 (fr) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3107302A1 (fr) * | 2015-06-18 | 2016-12-21 | Orange | Procédé et dispositif de substitution d'une partie d'une sequence video |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5471239A (en) * | 1992-03-26 | 1995-11-28 | Solid State Logic Limited | Detecting scene changes |
-
2000
- 2000-06-30 FR FR0008552A patent/FR2811111B1/fr not_active Expired - Lifetime
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5471239A (en) * | 1992-03-26 | 1995-11-28 | Solid State Logic Limited | Detecting scene changes |
Non-Patent Citations (2)
| Title |
|---|
| "METHOD OF DETECTING SCENE CHANGES IN MOVING PICTURES", IBM TECHNICAL DISCLOSURE BULLETIN,US,IBM CORP. NEW YORK, vol. 34, no. 10A, 1 March 1992 (1992-03-01), pages 284 - 286, XP000302304, ISSN: 0018-8689 * |
| NAKAJIMA Y: "A VIDEO BROWSING USING FAST SCENE CUT DETECTION FOR AN EFFICIENT NETWORKED VIDEO DATABASE ACCESS", IEICE TRANSACTIONS ON INFORMATION AND SYSTEMS,JP,INSTITUTE OF ELECTRONICS INFORMATION AND COMM. ENG. TOKYO, vol. E77-D, no. 12, 1 December 1994 (1994-12-01), pages 1355 - 1364, XP000497103, ISSN: 0916-8532 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3107302A1 (fr) * | 2015-06-18 | 2016-12-21 | Orange | Procédé et dispositif de substitution d'une partie d'une sequence video |
| FR3037760A1 (fr) * | 2015-06-18 | 2016-12-23 | Orange | Procede et dispositif de substitution d'une partie d'une sequence video |
| US10593366B2 (en) | 2015-06-18 | 2020-03-17 | Orange | Substitution method and device for replacing a part of a video sequence |
Also Published As
| Publication number | Publication date |
|---|---|
| FR2811111B1 (fr) | 2002-12-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5355422B2 (ja) | ビデオの索引付けとビデオシノプシスのための、方法およびシステム | |
| US8195038B2 (en) | Brief and high-interest video summary generation | |
| US8467610B2 (en) | Video summarization using sparse basis function combination | |
| US8295611B2 (en) | Robust video retrieval utilizing audio and video data | |
| US7483618B1 (en) | Automatic editing of a visual recording to eliminate content of unacceptably low quality and/or very little or no interest | |
| JP4778231B2 (ja) | ビデオシーケンスに対してインデックス付けするシステムおよび方法 | |
| JP2004023799A (ja) | ビデオの短いセグメントを表示するための方法及びグラフィカルユーザインタフェース | |
| TW200536389A (en) | Intelligent key-frame extraction from a video | |
| EP2104937B1 (fr) | Procede de creation d'un nouveau sommaire d'un document audiovisuel comportant deja un sommaire et des reportages et recepteur mettant en oeuvre le procede | |
| US11853357B2 (en) | Method and system for dynamically analyzing, modifying, and distributing digital images and video | |
| Oh et al. | Content-based scene change detection and classification technique using background tracking | |
| JP2006217046A (ja) | 映像インデックス画像生成装置及び映像のインデックス画像を生成するプログラム | |
| JP3469122B2 (ja) | 編集用映像区間分類方法及び装置、並びにこの方法を記録した記録媒体 | |
| FR2811111A1 (fr) | Procede de detection de changement de plan, au sein d'une sequence video, programme informatique et dispositif correspondants | |
| Wang et al. | Visual saliency based aerial video summarization by online scene classification | |
| JP4906615B2 (ja) | ピッチショット検出システム、参照ピッチショット画像選定装置及び参照ピッチショット画像選定プログラム | |
| Jung et al. | Player information extraction for semantic annotation in golf videos | |
| Sulaiman et al. | Shot boundaries detection based video summary using dynamic time warping and mean shift | |
| US20080025607A1 (en) | Image processing system, computer readable medium storing image processing program and computer data signal embedded with the image processing program | |
| Gao et al. | An Effective Audio-Visual Information Based Framework for Extracting Highlights in Basketball Games | |
| EP1510949A1 (fr) | Procédé de détection d'occurrences de contenus dans des flux d'information | |
| FR2829604A1 (fr) | Selection interactive de donnees dans des images numeriques | |
| IL199678A (en) | Method and system for video indexing and video synopsis | |
| JP2006048405A (ja) | 映像処理方法及び装置及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TP | Transmission of property |
Owner name: HARRIS CORPORATION, US Effective date: 20130402 |
|
| TP | Transmission of property |
Owner name: HBC SOLUTIONS, INC., US Effective date: 20130807 |
|
| CA | Change of address |
Effective date: 20140514 |
|
| PLFP | Fee payment |
Year of fee payment: 17 |
|
| PLFP | Fee payment |
Year of fee payment: 18 |
|
| PLFP | Fee payment |
Year of fee payment: 19 |
|
| PLFP | Fee payment |
Year of fee payment: 20 |