FR2984061A1

FR2984061A1 - Method for testing audio-visual content reception device by non-regression tests after modification of set-top box, involves reading output data of reference device and to be tested device for comparing data

Info

Publication number: FR2984061A1
Application number: FR1161424A
Authority: FR
Inventors: Alain Cancel
Original assignee: Canal Plus Distribution SAS
Current assignee: Groupe Canal Plus SA
Priority date: 2011-12-09
Filing date: 2011-12-09
Publication date: 2013-06-14
Anticipated expiration: 2031-12-09
Also published as: FR2984061B1

Abstract

The method involves launching a test scenario on a reference device and on a to be tested device (S302, S303) in a parallel manner. Progress of test scenario on the reference device is controlled. The progress of the test scenario on the to be tested device is controlled in a synchronized manner with the control of the progress of the scenario on the reference device according to a check-point in the test scenario. Output data of the reference device and the to be tested device are read (S306) for comparing the data (S307). Independent claims are also included for the following: (1) a computer program comprising instructions for implementing a method for testing an audio-visual content reception device (2) a test device for an audio-visual content reception device.

Description

La présente invention concerne un procédé de test pour dispositif de réception de contenu audiovisuel. Elle trouve des applications dans les tests de non régression mis en oeuvre après la modification de dispositifs tels que les terminaux numériques connus sous l'appellation anglo-saxonne « Set Top Box ». Les tests de non régression visent à s'assurer que la modification d'une fonctionnalité du dispositif n'a pas altéré une autre fonctionnalité. Ces tests peuvent être mis en oeuvre après une mise à jour du logiciel de contrôle du dispositif (« firmware » en terminologie anglo-saxonne), par exemple pour corriger des dysfonctionnements ou pour améliorer des fonctionnalités. La mise en oeuvre de ces tests constitue un coût important dans le processus de développement des dispositifs de réception de contenu audiovisuel. En effet, elle nécessite l'utilisation d'automates dédiés, chargés de mettre en oeuvre des scripts de test. Du fait de ce coût important, la mise en oeuvre de ces automates de test est limitée et réservée aux aspects de robustesse et de performance des dispositifs. Or, les tests de non régression peuvent être tout aussi utiles pour la vérification du bon fonctionnement d'autres aspects des dispositifs de réception de contenu audiovisuel, comme par exemple l'interface graphique de ceux-ci. The present invention relates to a test method for a device for receiving audiovisual content. It finds applications in non regression tests implemented after the modification of devices such as digital terminals known as the English "Set Top Box". The non-regression tests are intended to ensure that changing a feature of the device did not alter another feature. These tests can be implemented after an update of the device control software ("firmware" in English terminology), for example to correct malfunctions or to improve features. The implementation of these tests constitutes a significant cost in the process of developing audiovisual content reception devices. Indeed, it requires the use of dedicated PLCs, responsible for implementing test scripts. Due to this high cost, the implementation of these test automats is limited and reserved for aspects of robustness and performance of the devices. However, non-regression tests can be equally useful for verifying the correct operation of other aspects of the audiovisual content receiving devices, such as the graphical interface thereof.

Le document EP 0 896 483 A2 divulgue un test de décodeur vidéo comportant la fourniture d'un flux vidéo numérique encodé de manière parallèle à un décodeur à tester et à un décodeur de référence. Les performances du décodeur à tester sont ensuite déterminées par un automate chargé de comparer des flux vidéo décodés par le décodeur de référence d'une part et par le décodeur à tester d'autre part. Selon ce document, le test est limité à la capacité à décoder de la vidéo, c'est-à-dire les performances du dispositif, et ne porte pas par exemple sur son interface. Le document WO 2010/133699 Al divulgue un test de « Set Top Box » comportant la mise en oeuvre d'un script de test et, lors de cette mise en oeuvre l'enregistrement des commandes en entrée et des données vidéo de sortie du Set Top Box. Il est ensuite prévu de restituer une vidéo montrant le déroulement du script, et, de manière synchronisée, la séquence des commandes en entrée. Selon ce document, le script de test n'est mis en oeuvre que sur un seul dispositif, c'est-à-dire le dispositif à tester. La personne chargée de tester le dispositif doit connaître l'effet escompté de chaque commande du script sur le Set Top Box pour détecter un problème. Il existe donc un besoin pour améliorer les tests pour dispositifs de réception de contenu audiovisuel, notamment les tests de non régression. L'invention s'inscrit dans ce cadre. EP 0 896 483 A2 discloses a video decoder test comprising providing a digital video stream encoded in parallel to a test decoder and a reference decoder. The performance of the decoder to be tested is then determined by a controller responsible for comparing video streams decoded by the reference decoder on the one hand and by the decoder to be tested on the other hand. According to this document, the test is limited to the ability to decode video, that is to say the performance of the device, and does not relate for example to its interface. The document WO 2010/133699 A1 discloses a "Set Top Box" test comprising the implementation of a test script and, during this implementation, the recording of the input commands and the video output data of the Set. Top Box. It is then planned to render a video showing the progress of the script, and, synchronously, the sequence of input commands. According to this document, the test script is implemented on only one device, that is to say the device to be tested. The person testing the device must know the expected effect of each script command on the Set Top Box to detect a problem. There is therefore a need to improve testing for audiovisual content receiving devices, including non-regression testing. The invention falls within this framework.

Un premier aspect de l'invention concerne un procédé de test d'au moins un dispositif de réception de contenu audiovisuel, comportant les étapes suivantes de : - lancement d'au moins un scénario de test de manière parallèle, sur un dispositif de référence et sur au moins un dispositif à tester, - premier contrôle du déroulement du au moins un scénario de test sur le dispositif de référence, et - deuxième contrôle du déroulement du au moins un scénario de test sur le au moins un dispositif à tester, ledit deuxième contrôle étant synchronisé au premier contrôle selon au moins un point de contrôle dans le au moins un scénario de test, dans lequel les premier et deuxième contrôles comportent respectivement la lecture de données de sortie du dispositif de référence et du au moins un dispositif à tester, en vue de leur comparaison. Ainsi, contrairement aux outils de tests automatiques actuels, il n'est 25 pas nécessaire de développer des images de référence et de développer des scripts de test à l'avance. Le processus de test est simplifié et moins coûteux. En effet, les images de référence peuvent être produites à la volée, étant donné que le dispositif de référence et le dispositif à tester mettent en oeuvre le scénario de test en parallèle. 30 Le temps de développement des scénarii de test est ainsi réduit. La présente invention permet également de rendre les scénarii de test indépendants des données dynamiques. Il est ainsi plus simple de tester une interface graphique, un guide de programme, un catalogue de produits de vidéo à la demande ou toute autre fonctionnalité qui évolue quotidiennement. La présente invention permet d'automatiser facilement des phases de non régression en matière logicielle et /ou matérielle. Elle s'applique à divers systèmes gérant des données mises à jour régulièrement (dispositifs TNT, sigle de « Télévision Numérique Terrestre », ADSL, sigle de « Asymmetric Digital Subscriber Line », « Set Top Box » ou autre. Le procédé peut en outre comporter une étape de définition du scénario de test par navigation dans une interface utilisateur du dispositif de référence. L'utilisateur peut ainsi optimiser le test en le focalisant sur des fonctionnalités qu'il souhaite vérifier. Le procédé peut aussi comporter une étape de définition du ou des points de contrôle dans le au moins un scénario de test. A first aspect of the invention relates to a method of testing at least one audiovisual content receiving device, comprising the following steps: - launching at least one test scenario in parallel, on a reference device and on at least one device to be tested, - first check of the progress of the at least one test scenario on the reference device, and - second check of the progress of the at least one test scenario on the at least one device to be tested, said second control being synchronized to the first control according to at least one control point in the at least one test scenario, wherein the first and second controls respectively comprise the reading of output data of the reference device and the at least one device to be tested, for comparison. Thus, unlike current automated testing tools, it is not necessary to develop reference images and develop test scripts in advance. The testing process is simplified and less expensive. Indeed, the reference images can be produced on the fly, since the reference device and the device to be tested implement the test scenario in parallel. The development time of the test scenarios is thus reduced. The present invention also makes test cases independent of dynamic data. This makes it easier to test a graphical user interface, a program guide, a catalog of video-on-demand products, or any other feature that changes daily. The present invention makes it easy to automate non-regression phases in software and / or hardware. It applies to various systems managing regularly updated data (TNT devices, "Digital Terrestrial Television", ADSL, "Asymmetric Digital Subscriber Line", "Set Top Box" etc.). comprise a step of defining the test scenario by navigation in a user interface of the reference device, thus enabling the user to optimize the test by focusing on functionalities that he wishes to check, and the method may also comprise a step of defining the or checkpoints in the at least one test case.

L'utilisateur peut ainsi choisir en configurant le système les instants qui lui semblent critiques dans le scénario pour opérer la comparaison des données de sortie du dispositif de référence et du dispositif à tester. La définition du scénario de test peut se faire via une télécommande pilotée par le système.. The user can thus choose by configuring the system instants that seem to him critical in the scenario to make the comparison of the output data of the reference device and the device to be tested. The definition of the test scenario can be done via a remote controlled by the system.

Ainsi, la définition du scénario est simple et intuitive pour l'utilisateur. Le scénario de test peut être crée à la volée permettant ainsi une génération du script de test. Le code de ce script de test peut ensuite être repris pour faire des ajustements temporels dans la séquence des actions du scénario ou pour ajuster le nombre d'itérations du scénario. Thus, the definition of the scenario is simple and intuitive for the user. The test scenario can be created on the fly thus allowing a generation of the test script. The code of this test script can then be resumed to make temporal adjustments in the sequence of actions of the scenario or to adjust the number of iterations of the scenario.

Les étapes de lancement, de premier contrôle et de deuxième contrôle peuvent être mises en oeuvre de manière cyclique et plusieurs cycles peuvent être effectués. Ainsi, il est possible de moyenner le test et ne pas tenir compte d'éventuelles erreurs de lecture des données de sortie. The launch, first control and second control steps can be cycled and several cycles can be performed. Thus, it is possible to average the test and ignore any errors in reading the output data.

Les données de sortie du dispositif de référence et du dispositif à tester peuvent être affichées. The output data of the reference device and the device to be tested can be displayed.

Ainsi, il est possible pour un utilisateur de comparer à la volée les images issues des deux dispositifs et détecter un dysfonctionnement sur le dispositif à tester. Lors des points de vérification opérés pendant les phases de test automatique entre le dispositif de référence et le dispositif à tester, les comparaisons peuvent être faites sur la totalité de l'écran ou sur une partie de l'écran en appliquant des masques prédéfinis. Les données de sortie du dispositif de référence et du dispositif à tester au point de contrôle peuvent être archivées. Thus, it is possible for a user to compare the images from the two devices on the fly and detect a malfunction on the device to be tested. At the verification points operated during the automatic test phases between the reference device and the device to be tested, the comparisons can be made on the whole screen or on a part of the screen by applying predefined masks. The output data of the reference device and the device to be tested at the checkpoint can be archived.

Ainsi, il est possible d'effectuer une analyse ultérieure de ces données. Le test mis en oeuvre peut par exemple être un test de non régression du dispositif à tester. Un deuxième aspect de l'invention concerne un programme d'ordinateur ainsi qu'un produit programme d'ordinateur et un support de stockage pour de tels programme et produit, permettant la mise en oeuvre d'un procédé selon le premier aspect lorsque le programme est chargé et exécuté par un processeur d'un dispositif de test de dispositif de réception de contenu audiovisuel. Thus, it is possible to perform a subsequent analysis of these data. The test implemented may for example be a non-regression test of the device to be tested. A second aspect of the invention relates to a computer program as well as a computer program product and a storage medium for such a program and product, allowing the implementation of a method according to the first aspect when the program is loaded and executed by a processor of an audiovisual content receiving device test device.

Un troisième aspect de l'invention concerne un dispositif de test de dispositif de réception de contenu audiovisuel configuré pour la mise en oeuvre d'un procédé selon le premier aspect de l'invention. Par exemple, un tel dispositif comporte une unité de traitement configurée pour lancer au moins un scénario de test de manière parallèle, sur un dispositif de référence et sur au moins un dispositif à tester, pour contrôler le déroulement du au moins un scénario de test sur le dispositif de référence et sur le au moins un dispositif à tester de manière synchronisée selon au moins un point de contrôle dans le au moins un scénario de test, le contrôle comportant la lecture de données de sortie du dispositif de référence et du au moins un dispositif à tester, en vue de leur comparaison. Les objets selon les deuxième et troisième aspects de l'invention procurent au moins les mêmes avantages que ceux procurés par le procédé selon le premier aspect. Le dispositif selon le troisième aspect peut comporter des moyens pour la mise en oeuvre de caractéristiques optionnelles évoquées pour le premier aspect en termes de procédé. D'autres caractéristiques et d'autres avantages de la présente invention apparaîtront à la lecture de la description non-limitative suivante, faite en référence aux figures suivantes parmi lesquelles : - la figure 1 illustre un contexte général de mise en oeuvre de modes de réalisation de l'invention, avec un dispositif selon un mode de réalisation ; - les figures 2a et 2b illustrent des images issues d'un dispositif de référence et d'un dispositif à tester ; et - la figure 3 est organigramme d'étapes mises en oeuvre dans un procédé selon un mode de réalisation. Comme décrit dans la suite de la description, les modes de réalisation de l'invention offrent un moyen de simplifier et d'automatiser les tests de dispositif de réception de contenu audiovisuel, notamment les tests de non régression, en permettant la définition de scénarii de test indépendamment des données affichées par le dispositif, qui peuvent évoluer quotidiennement (guide de programme, portails de vidéo à la demande ou autre). A third aspect of the invention relates to an audiovisual content receiving device test device configured for carrying out a method according to the first aspect of the invention. For example, such a device comprises a processing unit configured to launch at least one test scenario in parallel, on a reference device and on at least one device to be tested, to control the progress of at least one test scenario on a test case. the reference device and on the at least one device to be synchronously tested according to at least one control point in the at least one test scenario, the control comprising the reading of the output data of the reference device and the at least one device to be tested for comparison. The objects according to the second and third aspects of the invention provide at least the same advantages as those provided by the method according to the first aspect. The device according to the third aspect may comprise means for implementing optional features mentioned for the first aspect in terms of method. Other features and other advantages of the present invention will appear on reading the following non-limiting description, with reference to the following figures, in which: FIG. 1 illustrates a general context for implementing embodiments; of the invention, with a device according to an embodiment; FIGS. 2a and 2b illustrate images originating from a reference device and from a device to be tested; and FIG. 3 is a flowchart of steps implemented in a method according to one embodiment. As described in the following description, the embodiments of the invention provide a means of simplifying and automating the audiovisual content receiving device tests, in particular the non-regression tests, by allowing the definition of scenarios of test independently of the data displayed by the device, which can evolve daily (program guide, video-on-demand portals or other).

Dans la suite, de la description, on entend par « scénario de test », un ensemble d'opérations à faire exécuter par le dispositif à tester. Ces opérations sont choisies pour vérifier que le dispositif à tester réagit de manière prévisible. Par exemple, un scénario de test peut consister à effectuer un certain nombre d'entrées dans une interface pour lancer une fonctionnalité. In the remainder of the description, "test scenario" is understood to mean a set of operations to be performed by the device to be tested. These operations are chosen to verify that the device to be tested reacts predictably. For example, a test case may consist of making a number of entries in an interface to launch a feature.

Ainsi, le but de ce scénario est de vérifier que la fonctionnalité se lance bien et au bon moment dans la navigation dans l'interface. La figure 1 illustre un contexte général de mise en oeuvre de modes de réalisation de l'invention, ainsi qu'un dispositif de test selon un mode de réalisation. Thus, the purpose of this scenario is to verify that the functionality is running well and at the right time in the navigation in the interface. FIG. 1 illustrates a general context for implementing embodiments of the invention, as well as a test device according to one embodiment.

Un dispositif de réception de contenu audiovisuel à tester 100 et un dispositif de réception de contenu audiovisuel de référence 101 sont connectés à un dispositif de test 102. Le dispositif de référence et le dispositif à tester peuvent être commandés via une télécommande 103. Le dispositif de test est connecté à un écran 104 pour afficher des données de sortie des dispositifs 100 et 101. La télécommande peut notamment être utilisée pour définir un scénario de test sur le dispositif de référence. Par exemple, il est proposé de mettre en oeuvre un test de non régression sur le dispositif à tester. Il est supposé que le dispositif à tester à fait l'objet d'une modification sur une fonctionnalité donnée et le test de non régression vise à vérifier que cette modification n'a pas entraîné un dysfonctionnement non souhaité et non prévu sur une autre fonctionnalité du dispositif à tester. Par exemple, le dispositif de référence est un dispositif identique au dispositif à tester, qui reçoit les mêmes signaux de diffusion de contenu audiovisuel et qui dispose des mêmes droits de réception et de décodage. Le dispositif de référence peut être dans la même configuration que le dispositif à tester, c'est-à-dire qu'il a été l'objet de la même modification que le dispositif à tester. Dans ce cas, il a été préalablement vérifié que la modification n'a aucunement altéré le dispositif de référence sur les autres fonctionnalités. Alternativement, le dispositif de référence est dans la configuration initiale du dispositif à tester, c'est-à-dire qu'il n'a pas subi la modification de la fonctionnalité donnée. Ainsi, il est possible de vérifier que les fonctionnalités autres que celle qui a fait l'objet de la modification n'ont pas évolué. Chacun des dispositifs 100 et 101 est connecté au dispositif de test 102 via une unité d'acquisition 105 du dispositif de test. A device for receiving audiovisual content to be tested 100 and a device for receiving audiovisual reference content 101 are connected to a test device 102. The reference device and the device to be tested can be controlled via a remote control device 103. test is connected to a screen 104 to display output data of the devices 100 and 101. The remote control can in particular be used to define a test scenario on the reference device. For example, it is proposed to implement a non-regression test on the device to be tested. It is assumed that the device to be tested has undergone a modification on a given functionality and the non-regression test is intended to verify that this modification did not lead to an undesired and unforeseen malfunction on another feature of the device. device to be tested. For example, the reference device is a device identical to the device to be tested, which receives the same audiovisual content broadcasting signals and which has the same rights of reception and decoding. The reference device may be in the same configuration as the device to be tested, that is to say that it has undergone the same modification as the device to be tested. In this case, it has been previously verified that the modification has not in any way altered the reference device on the other functionalities. Alternatively, the reference device is in the initial configuration of the device to be tested, that is to say that it has not undergone the modification of the given functionality. Thus, it is possible to verify that the functionalities other than the one that was the subject of the modification have not changed. Each of the devices 100 and 101 is connected to the test device 102 via an acquisition unit 105 of the test device.

L'unité d'acquisition est configurée pour recevoir des données de sortie des dispositifs 100 et 101, notamment des données de sortie vidéo. A cet effet, l'unité d'acquisition comporte une unité de communication 106 dédiée à la réception de données provenant du dispositif à tester 100 et une unité de communication 107 dédiée à la réception de données provenant du dispositif à tester 101. Les données acquises par les unités de communication 106 et 107 peuvent faire l'objet de traitements dans l'unité d'acquisition, par exemple, en vue de leur adaptation pour leur traitement ultérieur au sein du dispositif de test. The acquisition unit is configured to receive output data from devices 100 and 101, including video output data. For this purpose, the acquisition unit comprises a communication unit 106 dedicated to receiving data from the device to be tested 100 and a communication unit 107 dedicated to receiving data from the device to be tested 101. The acquired data by the communication units 106 and 107 can be processed in the acquisition unit, for example, for adaptation to their subsequent processing within the test device.

Les données acquises par l'unité d'acquisition, éventuellement traitées, sont ensuite transmises à une unité de traitement 108 du dispositif de test. L'unité de traitement 108 contrôle de manière générale le fonctionnement du dispositif de test, elle est chargée de mettre en oeuvre un procédé comme décrit dans la suite, par exemple en faisant exécuter, par un processeur (non représenté) de l'unité de traitement, un programme d'ordinateur stocké dans une unité de mémoire 109 du dispositif de test. L'unité de mémoire 109 comporte une mémoire vive pour stocker de manière non durable des données de calcul utilisées lors de la mise en oeuvre d'un procédé selon un mode de réalisation. L'unité de mémoire comporte par ailleurs une mémoire non volatile (par exemple du type EEPROM) pour stocker notamment le programme d'ordinateur selon un mode de réalisation pour son exécution par le processeur de l'unité de traitement. L'unité de traitement 108 contrôle une unité d'affichage 110, configurée pour commander l'affichage sur l'écran 104 de données de sortie des dispositifs 100 et 101. A cet effet, l'unité d'affichage reçoit des données de l'unité de traitement, les met éventuellement en forme pour les adapter à l'écran 104, puis les transmet à l'écran 104 via une unité de communication 111. L'unité de traitement contrôle en outre une unité de création de rapport 112 configurée pour, à partir des données de sortie des dispositifs 100 et 101 et du traitement de l'unité 108, de créer un rapport de test comportant par exemple des résultats de comparaison des données de sortie et éventuellement un premier diagnostic en cas de problème détecté. Une fois le rapport crée, il est transmis à une base d'archivage 113 (qui peut être distante ou non) via une unité de communication 114. Le rapport peut en outre comporter la liste des commandes du scénario de test, provenant de la télécommande lors de la définition du scénario de test par envoi au dispositif d'une série de commandes de navigation via la télécommande. L'unité de traitement contrôle en outre une unité de pilotage 115 configurée pour gérer les cycles de lancement de scénarii de test sur les dispositifs 100 et 101. Par exemple, selon le nombre de cycles à mettre en oeuvre, l'unité de pilotage peut commander de relancer un scénario de test ou au contraire arrêter un cycle. La mise en oeuvre de cycles de lancement de plusieurs scénarii de test permet de réaliser une moyenne afin de ne pas tenir compte, par exemple de faux positifs ou d'erreurs de lecture de données de sortie des dispositifs 100 et 101. L'unité de pilotage et en outre configurée pour enregistrer un scénario de test lorsqu'un utilisateur définit un tel scénario via la télécommande 103. A cet effet, l'unité de pilotage peut disposer d'une unité de mémoire propre (non représentée) ou procéder à l'enregistrement du scénario dans l'unité de mémoire 109. Les figures 2a et 2b représentent des données de sortie pour respectivement le dispositif de référence 101 et le dispositif à tester 100, dans le but d'illustrer la détection de dysfonctionnement. L'exemple donné en référence à ces figures est purement illustratif et d'autres exemples auraient pu être pris. Sur la figure 2a est représenté un écran d'image 200 tel qu'il est affiché à un utilisateur. Cette image comporte une interface graphique 201 comportant des icônes 202 (RECHERCHE), 203 (GUIDE), 204 (ZAP), 205 (INFO), 206 (VIDEOS), 207 (EVENEMENT) et 208 (MA TV) sélectionnables par l'utilisateur pour accéder à des fonctionnalités du dispositif. Sur la figure 2b est représenté le même écran d'image, à la différence que l'interface graphique ne fonctionne pas correctement et n'affiche pas l'icône 207 de la figure 2a. L'image 200' de la figure 2b diffère donc de l'image 200 de la figure 2a par l'absence de l'icône 207. Ainsi, par comparaison des images 200 et 200', il est possible de déterminer que le dispositif à tester comporte un dysfonctionnement dans sn interface graphique. La comparaison peut se faire à l'oeil par un utilisateur via l'écran 104 en affichant côte à côte les images 200 et 200', ou automatiquement par le dispositif de test en comparant les images 200 et 200' pixel par pixel. La comparaison peut également être partielle en considérant une partie de l'écran. The data acquired by the acquisition unit, possibly processed, is then transmitted to a processing unit 108 of the test device. The processing unit 108 generally controls the operation of the test device, it is responsible for carrying out a method as described below, for example by having a processor (not shown) execute the unit of processing, a computer program stored in a memory unit 109 of the test device. The memory unit 109 includes a random access memory for storing, in a non-sustainable manner, calculation data used during the implementation of a method according to one embodiment. The memory unit furthermore comprises a non-volatile memory (for example of the EEPROM type) for storing in particular the computer program according to one embodiment for its execution by the processor of the processing unit. The processing unit 108 controls a display unit 110, configured to control the display of output data of the devices 100 and 101 on the display 104. For this purpose, the display unit receives data from the display unit. processing unit, possibly formatting them to fit the screen 104, and then transmits them to the display 104 via a communication unit 111. The processing unit further controls a configured generating unit 112 for, from the output data of the devices 100 and 101 and the processing of the unit 108, to create a test report comprising, for example, results of comparison of the output data and possibly a first diagnosis in the event of a detected problem. Once the report is created, it is transmitted to an archive database 113 (which may or may not be remote) via a communication unit 114. The report may further comprise the list of the commands of the test scenario, coming from the remote control when defining the test scenario by sending the device a series of navigation commands via the remote control. The processing unit also controls a control unit 115 configured to manage the test case launch cycles on the devices 100 and 101. For example, depending on the number of cycles to be implemented, the control unit can order to restart a test scenario or to stop a cycle. The implementation of launch cycles of several test scenarios makes it possible to average in order not to take into account, for example, false positives or errors in reading the output data of the devices 100 and 101. control and further configured to record a test scenario when a user defines such a scenario via the remote control 103. For this purpose, the control unit may have a own memory unit (not shown) or proceed to the in the memory unit 109. Figures 2a and 2b show output data for the reference device 101 and the test device 100 respectively for the purpose of illustrating the malfunction detection. The example given with reference to these figures is purely illustrative and other examples could have been taken. In Figure 2a is shown an image screen 200 as displayed to a user. This image includes a graphical interface 201 having icons 202 (SEARCH), 203 (GUIDE), 204 (ZAP), 205 (INFO), 206 (VIDEOS), 207 (EVENT) and 208 (MA TV) selectable by the user to access features of the device. In Figure 2b is shown the same image screen, with the difference that the graphical interface does not work properly and does not display the icon 207 of Figure 2a. The image 200 'of FIG. 2b thus differs from the image 200 of FIG. 2a in the absence of the icon 207. Thus, by comparing the images 200 and 200', it is possible to determine that the device testing has a malfunction in the GUI. The comparison can be done by a user through the screen 104 by displaying the images 200 and 200 'side by side, or automatically by the test device by comparing the images 200 and 200' pixel by pixel. The comparison can also be partial by considering part of the screen.

Cela peut par exemple se faire par l'exclusion de zone par application d'un masque préalablement défini En référence à la figure 3, il est décrit un procédé selon un mode de réalisation. Lors d'une étape S300, un scénario de test est défini. Par exemple, ce scénario de test est défini par un utilisateur au moyen d'une télécommande en naviguant dans l'interface du dispositif à test. L'utilisateur peut ainsi focaliser le test sur des fonctionnalités particulières. En parallèle, lors de l'étape S301, un nombre N de points de contrôle dans le scénario de test sont définis. Les points de contrôle peuvent correspondre à des instants particuliers auxquels des informations devraient s'afficher à l'écran si le dispositif à tester fonctionne correctement. Alternativement, les points de contrôle peuvent correspondre à des intervalles de temps réguliers. Les étapes S300 et S301 peuvent être mise en oeuvre dans une même étape. This can for example be done by excluding the area by applying a previously defined mask. With reference to FIG. 3, a method according to one embodiment is described. During a step S300, a test scenario is defined. For example, this test scenario is defined by a user by means of a remote control by navigating in the interface of the device under test. The user can focus the test on particular features. In parallel, during step S301, a number N of control points in the test scenario are defined. Checkpoints can be specific times when information should appear on the screen if the device to be tested is working properly. Alternatively, the control points can correspond to regular time intervals. Steps S300 and S301 can be implemented in the same step.

Une fois le scénario de test et les points de contrôle définis, le scénario de test est lancé de manière parallèle sur le dispositif de référence et sur le dispositif à tester lors d'étapes parallèles S302 et S303 respectivement. Une fois le scénario lancé sur les deux dispositifs, les données de sortie de ces dispositifs sont affichées, par exemple sur un même écran, lors 20 d'une étape S304. Il convient de noter que le procédé peut être mis en oeuvre pour plus d'un dispositif à tester. Dans ce cas, il comporte d'autres étapes de lancement parallèles et les données de sorties peuvent être affichées sur plusieurs écrans, afin que le rendu reste lisible. 25 Au fur et à mesure du déroulement du scénario de test, il est déterminé lors d'une étape S305 si le scénario en est à un point de contrôle. Si ce n'est pas le cas, le scénario de test suit son cours. Si un point de contrôle est détecté les données de sorties sont lues pour chacun des dispositifs de référence et à tester à l'instant du point de 30 contrôle, lors de l'étape S306. Ces données sont ensuite comparées lors d'une étape S307. Par exemple, il s'agit de comparer les images respectivement issues des dispositifs à l'instant du point de contrôle. La comparaison peut par exemple se faire pixel par pixel. Les données de sortie lues sont ensuite stockées lors d'une étape S308. Le résultat de la comparaison peut également être stocké lors de cette étape. Un compteur de points de contrôle est ensuite mis à jour lors de l'étape S309. Le compteur est ensuite testé lors de l'étape S310 pour vérifier s'il a atteint le nombre N de points de contrôle. Si ce n'est pas le cas, l'étape S305 et les suivantes sont ré- exécutées. Si c'est le cas, tous les points de contrôle ont été rencontrés et un cycle de test se termine. L'étape S311 permet alors de déterminer si un autre cycle doit être lancé, par exemple en vérifiant un compteur de cycle ou en demandant à l'utilisateur via une interface dédiée. Once the test scenario and the control points have been defined, the test scenario is run in parallel on the reference device and on the device to be tested during parallel steps S302 and S303 respectively. Once the scenario is started on both devices, the output data of these devices are displayed, for example on the same screen, during a step S304. It should be noted that the method can be implemented for more than one device to be tested. In this case, it includes other parallel launching steps and the output data can be displayed on several screens, so that the rendering remains readable. As the test scenario progresses, it is determined in a step S305 whether the scenario is at a checkpoint. If this is not the case, the test case runs. If a checkpoint is detected, the output data is read for each of the reference devices and tested at the point of checkpoint at step S306. This data is then compared in step S307. For example, it is a question of comparing the images respectively coming from the devices at the moment of the control point. The comparison can for example be pixel by pixel. The output data read is then stored in a step S308. The result of the comparison can also be stored during this step. A checkpoint counter is then updated in step S309. The counter is then tested in step S310 to check whether it has reached the number N of control points. If this is not the case, step S305 and the following are executed again. If this is the case, all control points have been met and a test cycle is complete. Step S311 then makes it possible to determine if another cycle must be started, for example by checking a cycle counter or by asking the user via a dedicated interface.

Si un cycle doit être relancé, les étapes S302 et S303, ainsi que les suivantes sont relancées. Si ce n'est pas le cas, un rapport de test est établi lors d'une étape S312. Le rapport de test est établi sur la base des données stockées lors de l'étape S308. Par exemple, il est déterminé si des différences de pixels sont identifiées dans des zones d'intérêt, comportant par exemple l'affichage d'une fonctionnalité particulière. Alternativement, le rapport de test comporte des données brutes, envoyées à une base d'archivage pour analyse approfondie. Un programme d'ordinateur pour la mise en oeuvre d'un procédé selon un mode de réalisation de l'invention peut être réalisé par la personne du métier à la lecture de l'organigramme de la figure 3 et de la présente description détaillée. Bien entendu, la présente invention ne se limite pas aux formes de réalisation décrites, d'autres variantes et combinaisons de caractéristiques sont possibles. If a cycle is to be restarted, steps S302 and S303, as well as the following, are restarted. If this is not the case, a test report is made in step S312. The test report is established based on the data stored in step S308. For example, it is determined whether pixel differences are identified in areas of interest, for example having the display of a particular feature. Alternatively, the test report includes raw data, sent to an archive database for further analysis. A computer program for carrying out a method according to an embodiment of the invention can be realized by the person skilled in the art upon reading the flowchart of FIG. 3 and the present detailed description. Of course, the present invention is not limited to the embodiments described, other variations and combinations of features are possible.

La présente invention a été décrite et illustrée dans la présente description détaillée en référence aux figures jointes. Toutefois la présente invention ne se limite pas aux formes de réalisation présentées. D'autres variantes et modes de réalisation peuvent être déduits et mis en oeuvre par la personne du métier à la lecture de la présente description et des figures annexées. Dans les revendications, le terme "comporter" n'exclut pas d'autres éléments ou d'autres étapes. L'article indéfini « un » n'exclut pas le pluriel. Un seul processeur ou plusieurs autres unités peuvent être utilisées pour mettre en oeuvre l'invention. Les différentes caractéristiques présentées et/ou revendiquées peuvent être avantageusement combinées. Leur présence dans la description ou dans des revendications dépendantes différentes, n'exclut pas en effet la possibilité de les combiner. Les signes de référence ne sauraient être compris comme limitant la portée de l'invention. The present invention has been described and illustrated in the present detailed description with reference to the accompanying figures. However, the present invention is not limited to the embodiments presented. Other variants and embodiments may be deduced and implemented by the person skilled in the art upon reading the present description and the appended figures. In the claims, the term "include" does not exclude other elements or other steps. The indefinite article "one" does not exclude the plural. A single processor or several other units may be used to implement the invention. The various features presented and / or claimed can be advantageously combined. Their presence in the description or in different dependent claims does not exclude the possibility of combining them. The reference signs can not be understood as limiting the scope of the invention.

Claims

REVENDICATIONS1. A method of testing at least one audiovisual content receiving device (100), comprising the steps of: - launching (S302, S303) at least one test scenario in parallel, on a reference device (101 ) and on at least one device to be tested (100), - first check (S306) of the running of the at least one test case on the reference device, and - second check (S306) of the running of the at least one test case on the at least one test device (100), said second control being synchronized to the first control according to at least one control point in the at least one test scenario, wherein the first and second controls respectively comprise the reading of data of output of the reference device and the at least one device to be tested for comparison (S307).

2. The method of claim 1, further comprising a step of defining (S300) the test scenario by navigation in a user interface of the reference device.

3. The method of claim 2, further comprising a step of defining (S301) said at least one control point in the at least one test scenario.

4. Method according to one of claims 2 and 3, wherein the definition of the test scenario is via a remote control (103) of the reference device.

5. Method according to one of the preceding claims, wherein the launching steps (S302, S303), first control and second control (S306) are carried out cyclically and in which several cycles are performed.

6. Method according to one of the preceding claims, further comprising a step of displaying (S304) the output data of the reference device and the at least one device to be tested.

7. Method according to one of the preceding claims, further comprising a step of archiving (S308) the output data of the reference device and the at least one device to be tested to said at least one control point.

8. Method according to one of the preceding claims, wherein the test implemented is a non-regression test of the at least one device to be tested.

Computer program comprising instructions for carrying out a method according to any one of the preceding claims when it is loaded and executed by a processor of an audiovisual content receiving device test device.

Audiovisual content receiving device test device comprising a processing unit (108) configured to run at least one test scenario in parallel, on a reference device (101) and on at least one device to be tested ( 100), for controlling the progress of the at least one test scenario on the reference device and on the at least one test device (100) synchronously according to at least one control point in the at least one test scenario, the control comprising the reading of output data of the reference device and the at least one device to be tested, for the purpose of comparison.