EP3847515A1 - Procédé d'assistance par ordinateur dans la gestion d'une ligne de production - Google Patents

Procédé d'assistance par ordinateur dans la gestion d'une ligne de production

Info

Publication number
EP3847515A1
EP3847515A1 EP19783357.7A EP19783357A EP3847515A1 EP 3847515 A1 EP3847515 A1 EP 3847515A1 EP 19783357 A EP19783357 A EP 19783357A EP 3847515 A1 EP3847515 A1 EP 3847515A1
Authority
EP
European Patent Office
Prior art keywords
terminal
production line
module
display means
operator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP19783357.7A
Other languages
German (de)
English (en)
Inventor
Anthony BARRE
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sidel Participations SAS
Original Assignee
Sidel Participations SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sidel Participations SAS filed Critical Sidel Participations SAS
Publication of EP3847515A1 publication Critical patent/EP3847515A1/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Program-control systems
    • G05B19/02—Program-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of program data in numerical form
    • G05B19/409—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of program data in numerical form characterised by using manual data input [MDI] or by using control panel, e.g. controlling functions with the panel; characterised by control panel details or by setting parameters
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Program-control systems
    • G05B19/02—Program-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of program data in numerical form
    • G05B19/406—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of program data in numerical form characterised by monitoring or safety
    • G05B19/4063—Monitoring general control system
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/23—Pc programming
    • G05B2219/23148—Helmet display, mounted on head of operator
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/24—Pc safety
    • G05B2219/24012—Use camera of handheld device, head mounted display
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32014—Augmented reality assists operator in maintenance, repair, programming, assembly, use of head mounted display with 2-D 3-D display and voice feedback, voice and gesture command

Definitions

  • the present invention falls within the field of managing a production line.
  • the invention relates more particularly to computer assistance for an operator in the management of a production line module.
  • a production line is carried out from a centralized supervision station located at a fixed location on said line.
  • certain commands from such a station have been deported to a mobile terminal, capable of being transported by an operator.
  • Said portable terminal serves as an execution medium for a software human-machine interface (HMI) dedicated to said production line. From then on, the operator can supervise a module of the line by being nearby and in direct view.
  • HMI human-machine interface
  • the HMI provides a display of a virtual modeling of certain elements of said line, through a display means equipping said portable terminal.
  • said display means consist of a screen on which said virtual modeling is displayed in superposition of an image or a video stream recorded in real time, by a camera equipping said portable terminal.
  • Document EP 2 860 597 relates to optical detection and the identification of a two-dimensional code, of the matrix type, by a mobile terminal equipped with optical reading means. After identification, a virtual model of the identified element can be displayed superimposed in an aligned manner on the captured image, with in particular a transparency and / or colors visually ensuring its highlighting.
  • optical recognition lies in the positioning of the codes which must be visually accessible in direct line for each element capable of being checked.
  • optical reading can induce reflections, in particular due to the shiny appearance of certain parts, preventing or making it difficult to identify the code.
  • Another drawback is related to the depth of field between the identified element and the display of its virtual model, causing shifts between the superposition of the real elements and the virtual model.
  • 1 1 HMI ensures interactivity by the operator, making it possible to collect information concerning said element, in particular through a centralized computer system, and to display it. It is then also possible to transmit virtual instructions, in particular concerning steps for the maintenance of such an element.
  • These supplements consist of a virtual reality which, combined with augmented reality, forms a mixed reality, assisting the operator by computer in his supervision and his tasks to be accomplished.
  • the invention aims to overcome the drawbacks of the state of the art by proposing to target the virtual model executed at the level of the terminal carried by an operator, through a precise location of the location and the orientation of said terminal relative to the production line.
  • the invention limits the virtual model to be displayed in relation to the exact situation of the terminal, without loading and / or transferring all of the data linked to the production line.
  • the amount of data, in particular graphics, processed and displayed is reduced, ensuring smooth and instantaneous execution by said portable terminal.
  • the invention provides for precisely determining the position of the portable terminal relative to the production line, then displaying only the virtual model corresponding to the determined position.
  • the invention relates to a method of computer assistance in the management of a production line, in which, in addition:
  • HMI man-machine interface
  • said terminal displays through display means at least one module of said production line;
  • the position of said terminal can be determined by means of at least one three-dimensional position sensor connected to said terminal.
  • the orientation of said terminal can be determined through at least a first and a second three-dimensional position sensor distant from each other and connected to said terminal.
  • Said display means can comprise a screen and a video stream from said module is captured and displayed through ⁇ said screen.
  • Said display means can comprise a translucent surface and said limited virtual model is displayed on said translucent surface in a holographic manner.
  • Said repository can be centered by positioning at least two transmission / reception terminals distant from each other and located at the level of said production line.
  • geographic location ensures extremely precise positioning, making it possible to delimit the virtual model at the exact location and orientation of the portable terminal, depending on where the operator is located in relation to the production line.
  • the positioning accuracy according to the invention ensures perfect alignment between the virtual model and the actual capture, overcoming the detection and identification of an element of the module.
  • the invention makes it possible to display and perfectly align the virtual model corresponding to the targeted module, regardless of the real field of vision of the operator or the field of capture of the camera, overcoming any obstacle present between the terminal and / or the operator and the machine. Therefore, through the exact positioning obtained by the invention, the display of the model on the terminal is more precise and independent of possible changes in the environment.
  • FIG. 1 schematically shows a top view of a production line with several modules, showing a preferred, non-limiting embodiment, with several terminals determining a repository centered on said production line, as well as an operator with a portable terminal, provided with two sensors, the position and orientation of which are determined within said reference frame;
  • FIG. 2 schematically represents a perspective view of an example of representation of a virtual model displayed on holographic type display means, superimposed on the real module, showing the field of vision of the operator
  • the present invention relates to the management of a production line 1.
  • Said production line 1 comprises at least one module 2, preferably several modules 2, each module 2 performs a treatment of the products which pass through it.
  • a container manufacturing station such as plastic bottles, comprises, from upstream to downstream, a module preform feed followed by a heating module supplying a blow molding or stretch blow molding module that emerges from the bottles through a conveying module.
  • the invention relates to computer assistance in the management of said production line 1, more specifically computerized assistance helping an operator in the management of one or more of the modules 2 of said production line 1.
  • production line 1 is equipped with dedicated IT tools and configured for its management.
  • a terminal 3 executes and displays a man-machine interface (HMI) 4.
  • HMI man-machine interface
  • Said terminal 3 is provided with display means of at least one module 2.
  • the display means also make it possible to display said HMI 4.
  • Such a terminal 3 is provided portable.
  • the terminal 3 can be in the form of a computer terminal, in the form of a tablet or a cell phone, of a connected watch, namely a terminal 3 equipped with a screen.
  • Said terminal 3 can also include a display surface holographic, such as a holographic helmet or glasses.
  • the operator can transport said terminal 3 as it travels along the production line 1, having direct access to all or part of the computerized management of a module 2 through said HMI 4.
  • the operator can select different modes of operation of a module 2, check the status of certain components or follow the production in progress, check for potential anomalies, adjust adjustments, enter production data, check and perform a maintenance step.
  • the invention provides for automatically selecting the module 2 with respect to the position of the operator, namely the position of the terminal which it carries.
  • This centering can be carried out by means of terminals 6.
  • at least one terminal 6 is positioned at a fixed and determined location, at a location integral with one of the machines of the production line 1 and / or of its environment, such as the structure of the building.
  • Other terminals 6 can be positioned at different locations, preferably fixed, but potentially mobile, from the moment when the relative distance between each terminal, especially with the terminal 6 for centering the reference frame 5, is perfectly known at each instant.
  • said reference frame 5 is centered by positioning at least two transmission / reception terminals at the level of said production line 1.
  • the repository is therefore geo-centered on a transmitter / receiver, preferably several, allowing triangulation of the terminal 3.
  • the terminal 3 can integrate suitable means, for allowing the remote exchange of information, by wireless communication means.
  • the transmission / reception is of the electromagnetic type, in the form of electromagnetic waves, in particular of the RFID (“for Radio Frequency Identification”) type, for example broadband or short range.
  • RFID Radio Frequency Identification
  • At least one three-dimensional position sensor 8 is connected to said terminal 3. It is then possible to determine the position of said terminal 3 relative to said module 2.
  • a sensor 8 can be in the form of a "tag” or an RFID tag, which emits a signal upon receipt of the signal sent by the terminal (s) 6.
  • each sensor 8 must be connected to the terminal 3 in a fixed or integral manner, without relative modification of position of one relative to the other.
  • this contactless, wireless determination of the position and orientation of the terminal 3 makes it possible to overcome any obstacle present between said terminal 3 and the production line 1, in particular a module 2 in particular.
  • the invention provides for displaying via said display means in superposition a virtual model 7 limited to said module 2 as a function of said determined position of said terminal 3.
  • a virtual model 7 limited to said module 2 as a function of said determined position of said terminal 3.
  • the virtual model 7 comprises at least one image of at least one component of the module 2.
  • this image can be either in two dimensions or in three dimensions.
  • the image consists of a digital assembly which can be carried out either by digitizing said component with the help of a scanner or by creation with CAD software, for example SOLIDWORKS.
  • image denotes the representation of the shape of an object and is distinguished in particular from information relating to this object.
  • image must not be assimilated to a parameter informing about the operating state of the production line such as the machine rate (number of bottles per mold and per hour), the number of bottles filled by the filler per hour. ..
  • the virtual model 7 can include digital elements, preferably graphic, such as videos or three-dimensional animations. It can form a virtual and / or augmented reality, preferably a mixed reality, assisting the operator in his supervision of module 2 and in the tasks that he must accomplish.
  • the virtual model 7 can incorporate interactive virtual elements, triggered by the operator, such as for example a tutorial or a tutorial.
  • terminal 3 allows the operator to view the environment.
  • said display means may comprise a screen and a video stream from said module 2, namely module 2 towards which the terminal 3 is oriented, is then captured, preferably means 8 of video sensor which it embeds. It is therefore possible to display the captured video stream through said screen. It is then possible to superimpose on it the part of the virtual module 7 previously defined.
  • said display means can comprise a translucent surface and the operator can directly see through it. Through the location and especially the orientation of the terminal 3, it is possible to display on said translucent surface in a holographic manner said limited virtual model 7.
  • the terminal 3 can be in the form of a helmet or holographic glasses.
  • the determination of the position and the orientation of the terminal 3 makes it possible to precisely adjust the virtual model 7 on the direct environment of the operator.
  • the result of such an overlay is shown diagrammatically in FIG. 2.
  • the operator can then obtain additional information, such as a procedure for maintenance, through said virtual module 7 displayed and dedicated to module 2 on which said operator wishes intervene.
  • the use of the invention makes it possible to simplify access to information for the operator, without having to select specific data relating to the module 2 on which he wishes to intervene.
  • the invention automatically determines the module 2 with respect to the position of the operator and of the terminal 3 that he carries.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • General Factory Administration (AREA)
  • Multi-Process Working Machines And Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

La présente invention concerne un procédé d'assistance par ordinateur dans la gestion d'une ligne de production (1), dans lequel, en outre un terminal portable (3) exécute et affiche une interface homme-machine (IHM) (4); ledit terminal (3) visualise au travers de moyens d'affichage au moins un module (2) de ladite ligne de production (1). Un tel procédé se caractérise en ce qu'il comprend au moins les étapes suivantes : effectuer une localisation géographique dudit terminal (3) au sein d'un référentiel tridimensionnel (5) centré sur ladite ligne de production (1) et déterminer la position dudit terminal (3) par rapport audit module (2); afficher via lesdits moyens d'affichage en superposition un modèle virtuel (7) limité audit module (2) en fonction de ladite position déterminée dudit terminal (3).

Description

Titre : Procédé d'assistance par ordinateur dans la gestion d'une ligne de production
L¾ présente invention entre dans le domaine de la gestion d'une ligne de production.
L'invention concerne plus particulièrement l'assistance par ordinateur d'un opérateur dans la gestion de module d'une ligne de production.
De manière connue, la gestion d'une ligne de production s'effectue à partir d'un poste centralisé de supervision situé à un emplacement fixe de ladite ligne. Pour des raisons évidentes d'optimisation, certaines commandes d'un tel poste ont été déportées vers un terminal mobile, susceptible d'être transporté par un opérateur. Ledit terminal portable sert de support d'exécution à une interface homme-machine (IHM) logicielle dédiée à ladite ligne de production. Dès lors, l'opérateur peut superviser un module de la ligne en se situant à proximité et en vue directe.
Récemment, pour améliorer l'intervention de l'opérateur, l ' IHM assure un affichage d'une modélisation virtuelle de certains éléments de ladite ligne, au travers d'un moyen d'affichage équipant ledit terminal portable. Généralement, lesdits moyens d'affichage consistent en un écran sur lequel on affiche ladite modélisation virtuelle en superposition d'une image ou d'un flux vidéo enregistré en temps réel, par une caméra équipant ledit terminal portable.
Récemment, plusieurs technologies holographiques numériques permettent d'afficher une modélisation virtuelle sur une surface translucide, en superposition de la vision de l'utilisateur, par exemple sur forme d'un casque ou de lunettes holographiques. Les moyens d'affichage de la modélisation virtuelle sont alors constitués par cette surface translucide holographique. Les documents WO 2007/066166 et WO 2017/186450 décrivent des terminaux mobiles, sous forme de casque ou lunettes porté par l'opérateur, affichant une réalité mixte en superposition de sa vue de la ligne de production. L 1 IHM offre donc à l'opérateur une réalité augmentée, susceptible de mettre visuellement en évidence un ou plusieurs éléments de la ligne de production que l'opérateur doit -contrôler. Il est alors nécessaire d'aligner le modèle virtuel en fonction de l'orientation du terminal portable, voire de centrer ledit modèle virtuel sur un élément du module choisi par l'opérateur, afin que les images réelles et virtuelles se superposent parfaitement.
En particulier, afin de sélectionner un élément à contrôler de la ligne de production, il a été imaginé un système de détection et de lecture d'un code unique d'identification appliqué sur ledit élément, directement par impression d'un marquage ou par application d'une étiquette. Le document EP 2 860 597 vise la détection optique et l'identification d'un code bidimensionnel, de type matriciel, par un terminal mobile équipé de moyens de lecture optique. Après identification, un modèle virtuel de l'élément identifié peut être affiché en superposition de façon alignée sur l'image capturée, avec notamment une transparence et/ou des couleurs assurant visuellement sa mise en évidence.
D'ores et déjà, un inconvénient de cette reconnaissance optique réside dans le positionnement des codes qui doit être obligatoirement accessible visuellement en ligne directe pour chaque élément susceptible d'être contrôlé. De plus, la lecture optique peut induire des reflets, notamment en raison de l'aspect brillant de certaines pièces, empêchant ou rendant difficile l'identification du code.
Un autre inconvénient est lié à la profondeur de champ entre l'élément identifié et l'affichage de son modèle virtuel, entraînant des décalages entre la superposition des éléments réels et le modèle virtuel.
De surcroît, la reconnaissance s'effectue impérativement en ligne directe par rapport à l'environnement. En cas d'obstacle présent entre l'opérateur et l'élément réel, il n'est alors pas possible d'appliquer convenablement en superposition le modèle virtuel, générant encore une fois des décalages .
Une fois un élément identifié, 11 IHM assure une interactivité par l'opérateur, permettant de collecter desinformations concernant ledit élément, notamment au travers d'un système informatique centralisé, et de les afficher. Il est alors aussi possible de transmettre des instructions virtuelles, notamment concernant des étapes pour la maintenance d'un tel élément. Ces compléments consistent en une réalité virtuelle qui, combinée avec la réalité augmentée, forment une réalité mixte, assistant informatiquement l'opérateur dans sa supervision et ses tâches à accomplir.
Par ailleurs, si théoriquement, une telle visualisation virtuelle de l'intégralité des éléments d'une ligne de production est envisageable, elle est difficilement réalisable avec les appareils actuels. En effet, une contrainte majeure d'afficher une réalité mixte, notamment au travers d'un terminal portable, réside dans la quantité conséquente de données à traiter et à afficher au niveau dudit terminal, au regard de ses ressources informatiques limitées du fait de son caractère portatif, en particulier ses ressources graphiques. Il en résulte une limitation de la quantité de données susceptibles d'être affichées, ou encore un délai préjudiciable jusqu'à l'affichage par l'IHM. En outre, la modélisation virtuelle tridimensionnelle est extrêmement gourmande en ressources lors de son exécution, nécessitant des ressources graphiques dédiées conséquentes pour leur traitement informatique. Actuellement, les terminaux mobiles ne permettent que difficilement le traitement et l'affichage de l'intégralité du modèle virtuel d'une ligne de production. De surcroît, l'ajout de la lecture optique de code d'identification, entraîne une charge supplémentaire de traitement d'informations au niveau dudit terminal portable.
L'invention a pour but de pallier les inconvénients de l'état de la technique en proposant de cibler le modèle virtuel exécuté au niveau du terminal porté par un opérateur, au travers d'une localisation précise de l'emplacement et de l'orientation dudit terminal par rapport à la ligne de production. En d'autres termes, l'invention limite le modèle virtuel à afficher par rapport à la situation exacte du .terminal, sans charger et/ou transférer l'intégralité des données liées à la ligne de production. Ainsi, la quantité de données, notamment graphiques, traitées et affichées se trouve allégée, assurant une exécution fluide et instantanée par ledit terminal portable.
Pour ce faire, l'invention prévoit de détermine précisément la position du terminal portable par rapport à la ligne de production, puis d'afficher uniquement le modèle virtuel correspondant à la position déterminée.
A cet effet, l'invention concerne un procédé d'assistance par ordinateur dans la gestion d'une ligne de production, dans lequel, en outre :
- un terminal portable exécute et affiche une interface homme-machine (IHM) ;
ledit terminal visualise au travers de moyens d'affichage au moins d'un module de ladite ligne de production ;
Un tel procédé se caractérise en ce qu'il comprend au moins les étapes suivantes :
- effectuer une localisation géographique dudit terminal au sein d'un référentiel tridimensionnel centré sur ladite ligne de production et déterminer la position dudit terminal par rapport audit module ;
- afficher via lesdits moyens d'affichage en superposition un modèle virtuel limité audit module en fonction de ladite position déterminée dudit terminal.
Selon d'autres caractéristiques additionnelles, non limitatives, on peut déterminer la position dudit terminal au moyen d'au moins un capteur de position tridimensionnelle relié audit terminal.
On peut déterminer l'orientation dudit terminal au travers d'au moins un premier et un second capteur de position tridimensionnelle distants l'un de l'autre et reliés audit terminal .
Lesdits moyens d'affichage peuvent comprendre un écran et qu'on capture un flux vidéo dudit module et qu'on l'affiche au travers· dudit écran.
Lesdits moyens d'affichage peuvent comprendre une surface translucide et qu'on affiche sur ladite surface translucide de façon holographique ledit modèle virtuel limité.
On peut centrer ledit référentiel en positionnant au moins deux bornes d'émission/réception distantes l'une de l'autre et situées au niveau de ladite ligne de production.
Ainsi, la localisation géographique assure un positionnement extrêmement précis, permettant de délimiter le modèle virtuel à l'emplacement et selon l'orientation exacts du terminal portable, en fonction d'où se trouve l'opérateur par rapport à la ligne de production.
De plus, la précision du positionnement selon l'invention assure un alignement parfait entre le modèle virtuel et la capture réelle, s'affranchissant de la détection et de l'identification d'un élément du module.
En outre, l'invention permet d'afficher et d'aligner parfaitement le modèle virtuel correspondant au module ciblé, peu importe le champ vision réel de l'opérateur ou le champ de capture de la caméra, s'affranchissant de tout obstacle présent entre le terminal et/ou l'opérateur et la machine. Dès lors, au travers du positionnement exact obtenu par l'invention, l'affichage du modèle sur le terminal est plus précis et indépendant d'éventuels changements de l'environnement.
D'autres caractéristiques et avantages de l'invention ressortiront de la description détaillée qui va suivre des modes de réalisation non limitatifs de l'invention, en référence aux figures annexées dans lesquelles :
- la figure 1 représente schématiquement une vue de dessus d'une ligne de production avec plusieurs modules, montrant un mode de réalisation préférentiel, non limitatif, avec plusieurs bornes déterminant un référentiel centré sur ladite ligne de production, ainsi qu'un opérateur avec un terminal portable, pourvu de deux capteurs, dont la position et l'orientation sont déterminés au sein dudit référentiel ;
la figure 2 représente schématiquement une vue en perspective d'un exemple de représentation d'un modèle virtuel affiché sur des moyens d'affichage de type holographique, en superposition du module réel, montrant le champ de vision de l ' opérateur
La présente invention concerne la gestion d'une ligne de production 1.
Ladite ligne de production 1 comprend au moins un module 2, de préférence plusieurs modules 2, Chaque module 2 effectue un traitement des produits qui le traversent.
Selon l'exemple de réalisation représenté sur la figure 1, montrant une partie d'une ligne de production 1, un poste de fabrication de contenants, comme des bouteilles en matériau plastique, comprend, depuis l'amont vers l'aval, un module d'alimentation en préformes suivi d'un module de chauffage approvisionnant un module de moulage par soufflage ou par étirage-soufflage qui ressort des bouteilles au travers d'un module de convoyage.
Plus avant, l'invention concerne l'assistance par ordinateur dans la gestion de ladite ligne de production 1, plus précisément une assistance informatisée aidant un opérateur dans la gestion d'un ou plusieurs des modules 2 de ladite ligne de production 1.
Pour ce faire, la ligne de production 1 est équipée d'outils informatiques dédiés et configurés en vue de sa gestion. En particulier, un terminal 3 exécute et affiche une interface homme-machine (IHM) 4. Ledit terminal 3 est pourvu de moyens d'affichage d'au moins un module 2. Les moyens d'affichage permettent aussi de visualiser ladite IHM 4.
Un tel terminal 3 est prévu portable. Le terminal 3 peut se présenter sous la forme d'un terminal informatique, sous la forme d'une tablette ou d'un téléphone cellulaire, d'une montre connectée, à savoir un terminal 3 équipé d'un écran. Ledit terminal 3 peut aussi comprendre une surface d'affichage holographique, comme un casque ou des lunettes holographiques.
Ainsi, l'opérateur peut transporter ledit terminal 3 au fil de ses déplacements le long de la ligne de production 1, ayant directement accès à toute ou partie de la gestion informatisée d'un module 2 au travers de ladite IHM 4.
Plus avant, au travers de ladite IHM 4, de façon non limitative, l'opérateur peut sélectionner différents modes de fonctionnement d'un module 2, vérifier l'état de certains composants ou suivre la production en cours, vérifier des anomalies potentielles, ajuster des réglages, saisir des données relatives à la production, contrôler et effectuer une étape de maintenance.
Dans ce contexte, l'invention prévoit d'automatiquement sélectionner le module 2 par rapport à la position de l'opérateur, à savoir de la position du terminal qu'il transporte .
Pour ce faire, il est prévu d'effectuer une localisation géographique dudit terminal 3 au sein d'un référentiel tridimensionnel 5 centré sur ladite ligne de production 1. En centrant le référentiel 5, on connaît alors exactement la position relative de l'opérateur par rapport à la ligne de production 1.
Ce centrage peut s'effectuer par l ' intermédiaire de bornes 6. En particulier, au moins une borne 6 est positionnée à un endroit fixe et déterminé, à un emplacement solidaire avec l'une des machines de la ligne de production 1 et/ou de son environnement, comme par exemple la structure du bâtiment. D'autres bornes 6 peuvent être positionnées à différents endroits, de préférence fixes, mais potentiellement de façon mobile, à partir du moment où la distance relative entre chaque borne, surtout avec la borne 6 de centrage du référentiel 5, est parfaitement connue à chaque instant.
Selon un mode de réalisation, on centre ledit référentiel 5 en positionnant au moins deux bornes d'émission/réception au niveau de ladite ligne de production 1.
Le référentiel est donc géo-centré sur un émetteur/récepteur , de préférence plusieurs, permettant une triangulation du terminal 3.
A cet effet, le terminal 3 peut intégrer des moyens adaptés, pour permettent l'échange à distance d'informations, par des moyens de communication sans fil.
Préférentiellement, l ' émission/rêception est de type électromagnétique, sous forme d'ondes électromagnétiques, notamment de type RFID (« pour RadioFréquency Identification) , par exemple à large bande ou à courte portée.
En particulier, au moins un capteur 8 de position tridimensionnelle est relié audit terminal 3. Il est alors possible de déterminer la position dudit terminal 3 par rapport audit module 2.
Plus avant, au moins un second capteur 8 de position tridimensionnelle relié audit terminal 3. Ainsi, il est possible de déterminer l'orientation dudit terminal 3, par rapport à la ligne de production 1, mais surtout par rapport à un module 2 situé à proximité. En d'autres termes, il est possible de savoir comment est positionné le terminal 3 par rapport au module 2, en vis-à-vis, tourné vers le module 2 ou vers une autre direction.
Dans le cadre d'une technologie RFID, un capteur 8 peut se présenter sous la forme d'un « tag » ou d'une étiquette RFID, qui émet un signal à réception du signal envoyé par la ou les bornes 6.
Dès lors, chaque capteur 8 doit être relié au terminal 3 de façon fixe ou solidaire, sans modification relative de position de l'un par rapport à l'autre.
En outre, cette détermination sans contact, sans fil de la position et de l'orientation du terminal 3 permet de s'affranchir de tout obstacle présent entre ledit terminal 3 et la ligne de production 1, en particulier un module 2 en particulier.
Plus avant, l'invention prévoit d'afficher via lesdits moyens d'affichage en superposition un modèle virtuel 7 limité audit module 2 en fonction de ladite position déterminée dudit terminal 3. En somme, une fois la position du terminal 3 identifiée, surtout son orientation, il est possible de limiter les possibilités d'interaction de l'utilisateur avec les modules· 2 situés à proximité. Ce choix permet de cibler une partie du modèle virtuel 7 à afficher sur le terminal 3, au lieu de charger et exécuter le ou les modèles virtuels de l'intégralité de la ligne de production 1. Ainsi, le stockage et le transfert éventuel de données, mais surtout l'exécution sur le terminal 3 s'en trouve allégés, permettant de simplifier la mise en œuvre, les composants informatiques et aussi le format dudit terminal 3.
Le modèle virtuel 7 comprend au moins une image d'au moins un composant du module 2. Par exemple, cette image peut être soit en deux dimensions ou en trois dimensions. L'image se constitue d'un assemblage numérique qui peut être réalisée soit par numérisation dudit composant avec l'aide d'un scanner ou soit par création avec un logiciel de CAO par exemple SOLIDWORKS .
Le terme image désigné la représentation de la forme d'un objet et se distingue en particulier d'une information relative à cet objet. Le terme image ne doit pas être assimilé à un paramètre informant sur l'état de fonctionnement de la ligne de production tel que la cadence machine (nombre de bouteilles par moule et par heure) , le nombre de bouteilles remplit par la remplisseuse par heure...
En outre, le modèle virtuel 7 peut comprendre des éléments numériques, de préférence graphiques, telles des vidéos ou des animations tridimensionnelles. Il peut former une réalité virtuelle et/ou augmentée, préférentiellement une réalité mixte, assistant l'opérateur dans sa supervision du module 2 et dans les tâches qu'il doit accomplir. Le modèle virtuel 7 peut incorporer des éléments virtuels interactifs, déclenchés par l'opérateur, comme par exemple un tutoriel ou un didacticiel.
Plus avant, le terminal 3 permet à l'opérateur de visualiser l ' environnement .
Pour ce faire, selon un premier mode de réalisation. lesdits moyens d'affichage peuvent comprendre un écran et on capture alors un flux vidéo dudit module 2, à savoir le module 2 vers lequel est orienté le terminal 3, de préférence des moyens ’de capteur 8 vidéo qu'il embarque. Dès lors, il est possible d'afficher au travers dudit écran le flux vidéo capturé. Il est alors possible d'y superposer la partie du module virtuel 7 préalablement définie.
Selon un autre mode de réalisation, lesdits moyens d'affichage peuvent comprendre une surface translucide et l'opérateur peut directement voir au travers. Au travers de la localisation et surtout de l'orientation du terminal 3, il est possible d'affiche sur ladite surface translucide de façon holographique ledit modèle virtuel 7 limité. Dans ce contexte, le terminal 3 peut se présenter sous la forme d'un casque ou de lunettes holographiques.
Ainsi, la détermination de la position et de l'orientation du terminal 3 permet d'ajuster de façon précise le modèle virtuel 7 sur l'environnement direct de l'opérateur. Le résultat d'une telle superposition est schématisé sur la figure 2. L'opérateur peut alors obtenir des informations complémentaires, comme une marche à suivre pour une maintenance, au travers dudit module virtuel 7 affiché et dédié au module 2 sur lequel ledit opérateur souhaite intervenir.
L'utilisation de l'invention permet de simplifier l'accès aux informations pour l'opérateur, sans avoir à sélectionner des données spécifiques en rapport avec le module 2 sur lequel il souhaite intervenir. L'invention détermine automatiquement le module 2 par rapport à la position de l'opérateur et du terminal 3 qu'il porte.

Claims

REVENDICATIONS
1. Procédé d'assistance par ordinateur dans la gestion d'une ligne de production (1), dans lequel, en outre :
un terminal portable (3) exécute et affiche une interface homme-machine (IHM) (4) ;
ledit terminal (3) visualise au travers de moyens d'affichage au moins un module (2) de ladite ligne de production (1) ;
caractérisé en ce qu'il comprend au moins les étapes suivantes :
effectuer une localisation géographique dudit terminal (3) au sein d'un référentiel tridimensionnel (5) centré sur ladite ligne de production (1) et déterminer la position dudit terminal (3) par rapport audit module (2) ;
- afficher via lesdits moyens d'affichage en superposition un modèle virtuel (7) limité audit module (2) en fonction de ladite position déterminée dudit terminal (3) .
2. Procédé d'assistance selon la revendication 1, caractérisé en ce qu'on détermine la position dudit terminal (3) au moyen d'au moins un capteur (8) de position tridimensionnelle relié audit terminal (3) .
3. Procédé d'assistance selon la revendication 2, caractérisé en ce qu'on détermine l'orientation dudit terminal (3) au travers d'au moins un premier et un second capteur (8) de position tridimensionnelle distants l'un de l'autre et reliés audit terminal (3) .
4. Procédé d’assistance selon l’une quelconque des revendications précédentes, caractérisé par le fait que lesdits moyens d'affichage comprennent un écran et qu'on capture un flux vidéo dudit module (2) et qu'on l'affiche au travers dudit écran.
5. Procédé d'assistance selon l'une quelconque des revendications 1 à 3, caractérisé par le fait que lesdits moyens d'affichage comprennent une surface translucide et qu'on affiche sur ladite surface translucide de façon holographique ledit modèle virtuel (7) limité.
6. Procédé d'assistance selon l'une quelconque des revendications précédentes, caractérisé par le fait qu'on centre ledit référentiel (5) en positionnant au moins deux bornes (6) d'émission/réception distantes l'une de l'autre et situées au niveau de ladite ligne de production (1) .
EP19783357.7A 2018-09-06 2019-09-06 Procédé d'assistance par ordinateur dans la gestion d'une ligne de production Withdrawn EP3847515A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1857980A FR3085766B1 (fr) 2018-09-06 2018-09-06 Procede d'assistance par ordinateur dans la gestion d'une ligne de production
PCT/FR2019/000142 WO2020049231A1 (fr) 2018-09-06 2019-09-06 Procédé d'assistance par ordinateur dans la gestion d'une ligne de production

Publications (1)

Publication Number Publication Date
EP3847515A1 true EP3847515A1 (fr) 2021-07-14

Family

ID=63722663

Family Applications (1)

Application Number Title Priority Date Filing Date
EP19783357.7A Withdrawn EP3847515A1 (fr) 2018-09-06 2019-09-06 Procédé d'assistance par ordinateur dans la gestion d'une ligne de production

Country Status (5)

Country Link
US (1) US20210341902A1 (fr)
EP (1) EP3847515A1 (fr)
CN (1) CN112654942A (fr)
FR (1) FR3085766B1 (fr)
WO (1) WO2020049231A1 (fr)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102023119112A1 (de) * 2023-07-19 2025-01-23 Krones Aktiengesellschaft Behälterbehandlungsanlage und Verfahren zum überlagerten Darstellen von Positionsdaten von Behältern zusammen mit einer simulierten Darstellung der Behälter und mit einem simulierten Modell einer Behälterbehandlungsanlage
DE102024100207A1 (de) * 2024-01-04 2025-07-10 Krones Aktiengesellschaft Bedienunterstützungssystem für einen Anwender einer Behälterbehandlungsanlage

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10063089C1 (de) * 2000-12-18 2002-07-25 Siemens Ag Anwendergesteuerte Verknüpfung von Informationen innerhalb eines Augmented-Reality-Systems
WO2007066166A1 (fr) 2005-12-08 2007-06-14 Abb Research Ltd Procede et systeme pour le traitement et l'affichage d'instructions de commande
DE102007059478B4 (de) * 2007-12-11 2014-06-26 Kuka Laboratories Gmbh Verfahren und System zur Ausrichtung eines virtuellen Modells an einem realen Objekt
DE102010037195A1 (de) * 2010-08-27 2012-03-01 Benedikt Hieronimi System zur Erfassung von Hochfrequenz-Transceivern und dessen Verwendungen
DE102011085439A1 (de) 2011-10-28 2013-05-02 Krones Aktiengesellschaft Verfahren zum Einlesen eines zweidimensionalen Mustercodes und zur Darstellung und Verwendung von Daten, ein mobiles Gerät zum Durchführen des Verfahrens und ein Verfahren zum Erstellen eines zweidimensionalen Mustercodes
DE102012217573A1 (de) * 2012-09-27 2014-03-27 Krones Ag Bediensystem für eine Maschine
AU2014308590B2 (en) * 2013-08-22 2016-04-28 Bespoke, Inc. Method and system to create custom products
FR3011943B1 (fr) * 2013-10-10 2017-03-24 Sidel Participations Systeme de commande d'une machine industrielle a interface tactile integree a une vitre
FR3011944B1 (fr) * 2013-10-10 2017-03-17 Sidel Participations Systeme de commande d'une machine industrielle a interface tactile integree a un panneau de confinement
CN104809638B (zh) * 2015-05-20 2018-04-06 成都通甲优博科技有限责任公司 一种基于移动终端的眼镜虚拟试戴方法和系统
DE102016207009A1 (de) 2016-04-26 2017-10-26 Krones Aktiengesellschaft Bediensystem für eine Maschine der Lebensmittelindustrie, insbesondere der Getränkemittelindustrie
CN106935096A (zh) * 2017-05-18 2017-07-07 重庆电子工程职业学院 一种工业控制虚拟现实教学实训平台及其操作方法
KR102268798B1 (ko) * 2017-12-29 2021-06-23 엘에스일렉트릭(주) 증강 현실 제공 시스템 및 방법

Also Published As

Publication number Publication date
WO2020049231A1 (fr) 2020-03-12
FR3085766A1 (fr) 2020-03-13
FR3085766B1 (fr) 2020-10-16
CN112654942A (zh) 2021-04-13
US20210341902A1 (en) 2021-11-04

Similar Documents

Publication Publication Date Title
US12548176B2 (en) System and method of calibrating a virtual asset for display in an application
US12106495B2 (en) Three-dimensional stabilized 360-degree composite image capture
US20220398844A1 (en) Shared Augmented Reality Session Recording and Playback
CN105453559B (zh) 手持式便携光学扫描器及其使用方法
EP2119226A2 (fr) Dispositif et procede d' observation de realite augmentee temps reel
FR3023948A1 (fr) Procede d'aide a la maintenance d'un aeronef par realite augmentee.
WO2020049231A1 (fr) Procédé d'assistance par ordinateur dans la gestion d'une ligne de production
EP4254333A2 (fr) Procede et dispositifs de realite augmentee utilisant un suivi automatique, en temps reel, d'objets geometriques planaires textures, sans marqueur, dans un flux video
EP2950235A1 (fr) Procede de projection de donnees virtuelles et dispositif permettant cette projection
WO2023009965A1 (fr) Détection de profondeur de réalité augmentée par reconnaissance d'objet
CN102970572A (zh) 影像处理装置及影像处理方法
US11893836B1 (en) Augmented reality system for remote product inspection
US20240267611A1 (en) Systems and methods for imaging with a first camera to simulate a second camera
FR2982448A1 (fr) Procede de traitement d'image stereoscopique comprenant un objet incruste et dispositif correspondant
US12093763B2 (en) Visual marker
FR2988962A1 (fr) Procede et dispositif de creation d'images
EP3899145B1 (fr) Procédé d'assistance au traitement de sol
TW201126451A (en) Augmented-reality system having initial orientation in space and time and method
EP2297705A1 (fr) Procede de composition temps reel d'une video
US20210037230A1 (en) Multiview interactive digital media representation inventory verification
CN114155194B (zh) 煤炭视频图像称重系统及方法
FR3005819A1 (fr) Dispositif d'aide a la maintenance et procede de maintenance utilisant un tel dispositif
EP1341078A1 (fr) Procédé de transmission de données d'images entre un serveur et un terminal
EP3721319A1 (fr) Procédé d'interaction avec un sous-titre affiché sur un écran de télévision, dispositif, produit-programme d'ordinateur et support d'enregistrement pour la mise en oeuvre d'un tel procédé
Kim et al. Precise rectification of misaligned stereo images for 3D image generation

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20210302

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20231031

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20240511