FR3071650A1 - Procede de realite augmentee pour la visualisation de plats de restaurant - Google Patents

Procede de realite augmentee pour la visualisation de plats de restaurant Download PDF

Info

Publication number
FR3071650A1
FR3071650A1 FR1771011A FR1771011A FR3071650A1 FR 3071650 A1 FR3071650 A1 FR 3071650A1 FR 1771011 A FR1771011 A FR 1771011A FR 1771011 A FR1771011 A FR 1771011A FR 3071650 A1 FR3071650 A1 FR 3071650A1
Authority
FR
France
Prior art keywords
user
environment
sensor system
geometry
real time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
FR1771011A
Other languages
English (en)
Inventor
Guillaume Chican
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to FR1771011A priority Critical patent/FR3071650A1/fr
Priority to FR1870581A priority patent/FR3071635A1/fr
Priority to PCT/EP2018/075831 priority patent/WO2019057978A1/fr
Publication of FR3071650A1 publication Critical patent/FR3071650A1/fr
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/12—Hotels or restaurants
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Tourism & Hospitality (AREA)
  • Finance (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Primary Health Care (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Processing Or Creating Images (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Cash Registers Or Receiving Machines (AREA)

Abstract

L'invention concerne un procédé de réalité augmentée pour la visualisation de plats de restaurant ainsi qu'un dispositif pour la mise en œuvre dudit procédé. Le dispositif repose sur un système de projecteur et de capteurs. Le procédé déforme en temps réel chaque image à projeter en fonction de la position des yeux de l utilisateur et de la géométrie de l'environnement de façon à donner l'illusion à l'utilisateur de percevoir un plat en 3 dimensions à échelle réelle directement sur sa table depuis sa perspective. L'utilisateur peut également sélectionner le plat à visualiser grâce à une interface projetée tangible. Le procédé selon l'invention est particulièrement destiné à l'industrie de la restauration.

Description

La présente invention concerne un procédé de réalité augmentée pour la visualisation de plats de restaurant ainsi qu’un dispositif pour la mise en œuvre dudit procédé.
Il est connu de l’état de la technique une application mobile appelée KabaQ (https://youtu.be/21FeT61o78s) permettant de visualiser des plats de restaurant en réalité augmentée. Cette solution a pour limite de contraindre l’utilisateur à porter un équipement : une tablette ou un smartphone. De plus l’utilisateur ne regarde pas directement l’environnement mais un écran, ce qui amoindrit l’immersion.
La présente invention vise à pallier à ces inconvénients, et propose un nouveau procédé ainsi qu’un système permettant la visualisation de plats de restaurant sans contraindre l’utilisateur à porter un équipement - comme des lunettes de réalité augmentée sur le visage ou des écrans dans les mains - ; et directement dans son environnement.
Le dispositif repose sur un système de projection permettant de projeter directement dans l’environnement de l’utilisateur des plats virtuels en 3 dimensions sans le contraindre avec des écrans. Un premier système de capteurs est configuré pour permettre le suivi de la position moyenne des yeux de l’utilisateur. Un éventuel deuxième système de capteurs est configuré pour permettre l’analyse de la géométrie de l’environnement. Le présent procédé reçoit les informations de position de l’utilisateur dans l’espace et les informations de géométrie de l’environnement. Il déforme l’image à projeter à la fois en fonction de la perspective de l’utilisateur et en fonction de la géométrie de l’environnement de façon à créer une illusion d’optique 3D en temps réel. L’utilisateur en déplaçant son visage peut voir le plat virtuel sous ses différentes perspectives en 3 dimensions à échelle réelle directement sur la table.
Un système de capteurs est utilisé pour calculer la position et l’orientation des parties des squelettes des mains de l’utilisateur. Le présent procédé reçoit les informations de positions et orientations des mains de l’utilisateur pour créer une interface projetée tangible permettant à l’utilisateur de choisir le plat à visualiser.
Le projecteur utilisé est un picoprojecteur à focale ultra courte (ultra short throw) pour maximiser la compacité et la portabilité du dispositif. Une unité informatique héberge les calculs suivant le procédé de la présente invention. Lesdits systèmes de capteurs, le picoprojecteur et l’unité informatique sont embarqués dans le même dispositif.
Le dessin annexé illustre l’invention.
La figure 1 représente la réalisation du procédé : il crée une illusion d’optique 3D pour la position de l’utilisateur permettant à l’utilisateur de voir le plat du restaurant virtuel comme s’il était réel directement sur la table du restaurant.
Un picoprojecteur à focale ultra courte (ultra short throw) (101) projette les images directement dans l’environnement de l’utilisateur.
Un système de capteurs (102) est configuré pour recevoir les données nécessaires au suivi de la position moyenne des yeux de l’utilisateur dans l’espace. Il peut être une caméra vidéo, ou une caméra stéréo ou un capteur de profondeur placé face à l’utilisateur. Le procédé comprend des algorithmes de vision par ordinateur qui assurent le calcul de la position moyenne des yeux de l’utilisateur dans l’espace en temps réel à partir des données dudit système de capteurs.
Un système de capteurs (102) peut être configuré pour recevoir les données nécessaires à capturer la géométrie de l’environnement. Il peut être le même que le système de capteurs pour suivre la position moyenne des yeux de l’utilisateur dans l’espace ou un système différent. Il peut être une caméra stéréo, une simple caméra vidéo ou un capteur de profondeur observant la surface de projection. Le procédé comprend des algorithmes de vision par ordinateur qui assurent le calcul de la géométrie de l’environnement à partir des données des capteurs. Si le capteur est une caméra stéréo, alors les algorithmes de vision stéréo permettent le calcul de la géométrie de l’environnement. Ces algorithmes peuvent comprendre la mise en correspondance des pixels des deux images et le calcul de la profondeur à partir des disparités obtenues.
Un système de capteurs (102) est configuré pour recevoir les données nécessaires au calcul des positions et orientations des parties des squelettes des mains de l’utilisateur. Il peut être le même que le système de capteurs pour suivre la position moyenne des yeux de l’utilisateur dans l’espace ou un système différent. Il peut être une caméra stéréo infrarouge comme le Leap Motion. Le procédé comprend des algorithmes de vision par ordinateur qui assurent la détection des mains de l’utilisateur et le calcul des positions et orientations des parties des squelettes des mains en temps réel à partir des données dudit système de capteurs. Ces algorithmes créent ainsi une interface projetée tangible permettant à l’utilisateur de choisir le plat virtuel (103) à visualiser.
Le picoprojecteur ainsi que le ou les systèmes de capteurs sont calibrés ensemble. Une approche par lumière structurée peut permettre la calibration du picoprojecteur, du ou des systèmes de capteurs (c’est-àdire le calcul de leurs paramètres intrinsèques), ainsi que la calibration de l’ensemble capteur(s) - projecteur (c’est-à-dire le calcul de la position et orientation du picoprojecteur par rapport à la position et orientation de chaque capteur qui analyse les lumières structurées). La calibration permet de créer un unique système de coordonnées pour le picoprojecteur, le ou les capteurs et le monde virtuel.
Si la géométrie de l’environnement de l’utilisateur est complexe et contient par exemple une assiette, alors l’image à projeter par le picoprojecteur peut être rendue en deux passages. Dans un premier passage, un rendu est réalisé depuis la positron du visage de l’utilisateur. La texture synthétisée est projetée depuis la position moyenne des yeux de l’utilisateur sur l’environnement capturé. Dans un deuxième passage, un rendu est réalisé depuis une caméra virtuelle placée à la position du picoprojecteur réel et ayant les mêmes paramètres intrinsèques que le picoprojecteur réel. L’image de ce rendu est alors envoyée au picoprojecteur pour être projetée. Si la géométrie de l’environnement est simplement un plan de table, alors une unique homographie peut être utilisée pour déformer l’image à projeter.
L’illusion d’optique 3D créée par le procédé de la présente invention repose sur plusieurs effets de profondeur dont l’effet perspective et l’effet de parallaxe.
Les plats de la carte du restaurant peuvent être scannés préalablement par photogrammétrie. La photogrammétrie consiste à créer des modèles numériques 3D à partir de photos prises sous différents points de vue. La présente invention offre à l’utilisateur la possibilité de voir les rendus sous ses différents angles. Si le modèle numérique est créé par photogrammétrie, alors l’utilisateur voit exactement ce qu’il observerait si le plat était réel.
Le procédé selon l’invention est particulièrement destiné à l’industrie de la restauration.

Claims (3)

1. Procédé de réalité augmentée pour la visualisation de plats de restaurant, caractérisé en ce qu’il consiste en la réception de la position moyenne des yeux de l’utilisateur en temps réel, en la réception éventuelle de la géométrie de l’environnement de l’utilisateur, en la projection d’un flux d’image en temps réel, où chaque image est déformée en fonction de la position moyenne des yeux de l’utilisateur et de la géométrie de l’environnement de façon à donner l’illusion à l’utilisateur de percevoir les plats virtuels (103) en 3 dimensions, à échelle réelle, directement sur la table du restaurant, sous ses différents angles avec la bonne perspective.
2. Procédé selon la première revendication, caractérisé en ce qu’il consiste en la réception des positions et orientations des parties du squelette de la main de l’utilisateur pour créer une interface projetée tangible permettant à Tutilisateur de sélectionner le plat virtuel à visualiser en 3 dimensions.
3. Dispositif pour la mise en œuvre du procédé selon la revendication 1 ou 2, caractérisé en ce qu’il comprend un picoprojecteur à focale ultra courte (ultra short throw) (101), une unité informatique configurée pour héberger les calculs suivant le procédé, un système de capteurs (102) configuré pour recevoir les données nécessaires au calcul de la position moyenne des yeux de l’utilisateur en temps réel, un système de capteurs (102) configuré pour recevoir les données nécessaires au calcul la géométrie de l’environnement de l’utilisateur, et un système de capteurs (102) configuré pour recevoir les données nécessaires à la détection des mains de Tutilisateur et au calcul des positions et orientations des parties des squelettes des mains de l’utilisateur en temps réel; le tout embarqué dans un unique dispositif portable.
FR1771011A 2017-09-24 2017-09-24 Procede de realite augmentee pour la visualisation de plats de restaurant Pending FR3071650A1 (fr)

Priority Applications (3)

Application Number Priority Date Filing Date Title
FR1771011A FR3071650A1 (fr) 2017-09-24 2017-09-24 Procede de realite augmentee pour la visualisation de plats de restaurant
FR1870581A FR3071635A1 (fr) 2017-09-24 2018-05-20 Procede creant une interface projetee tangible pour la selection, la visualisation 3d et la commande des plats du menu directement depuis la table du restaurant, ainsi qu'un dispositif pour la mise en oeuvre du procede.
PCT/EP2018/075831 WO2019057978A1 (fr) 2017-09-24 2018-09-24 Procédé pour fournir une interface homme-machine à au moins un utilisateur se trouvant dans un lieu de consommation et dispositif pour la mise en œuvre du procédé

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1771011 2017-09-24
FR1771011A FR3071650A1 (fr) 2017-09-24 2017-09-24 Procede de realite augmentee pour la visualisation de plats de restaurant

Publications (1)

Publication Number Publication Date
FR3071650A1 true FR3071650A1 (fr) 2019-03-29

Family

ID=60450954

Family Applications (2)

Application Number Title Priority Date Filing Date
FR1771011A Pending FR3071650A1 (fr) 2017-09-24 2017-09-24 Procede de realite augmentee pour la visualisation de plats de restaurant
FR1870581A Withdrawn FR3071635A1 (fr) 2017-09-24 2018-05-20 Procede creant une interface projetee tangible pour la selection, la visualisation 3d et la commande des plats du menu directement depuis la table du restaurant, ainsi qu'un dispositif pour la mise en oeuvre du procede.

Family Applications After (1)

Application Number Title Priority Date Filing Date
FR1870581A Withdrawn FR3071635A1 (fr) 2017-09-24 2018-05-20 Procede creant une interface projetee tangible pour la selection, la visualisation 3d et la commande des plats du menu directement depuis la table du restaurant, ainsi qu'un dispositif pour la mise en oeuvre du procede.

Country Status (1)

Country Link
FR (2) FR3071650A1 (fr)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112365317A (zh) * 2020-11-12 2021-02-12 东方明珠新媒体股份有限公司 一种基于场景化虚拟餐桌的下单方法及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150029140A1 (en) * 2013-07-24 2015-01-29 Coretronic Corporation Portable display device
US20170163937A1 (en) * 2014-09-25 2017-06-08 Steve H. McNelley Transparent projection communication terminals
US20170262154A1 (en) * 2013-06-07 2017-09-14 Sony Interactive Entertainment Inc. Systems and methods for providing user tagging of content within a virtual scene

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0624885D0 (en) * 2006-12-13 2007-01-24 Compurants Ltd Restaurant concept
JP2010238118A (ja) * 2009-03-31 2010-10-21 Promise Co Ltd オーダリングシステム
US10640357B2 (en) * 2010-04-14 2020-05-05 Restaurant Technology Inc. Structural food preparation systems and methods
US10783595B2 (en) * 2014-01-24 2020-09-22 Tillster, Inc. System and method for a wireless mobile device interface integrated with a restaurant point of sale system and with a cloud-accessible data center for querying a database of customer information

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170262154A1 (en) * 2013-06-07 2017-09-14 Sony Interactive Entertainment Inc. Systems and methods for providing user tagging of content within a virtual scene
US20150029140A1 (en) * 2013-07-24 2015-01-29 Coretronic Corporation Portable display device
US20170163937A1 (en) * 2014-09-25 2017-06-08 Steve H. McNelley Transparent projection communication terminals

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GRÉGOIRE HUVELIN: "ARKit : prévisualisez vos menus en réalité augmentée - GoGlasses", 28 August 2017 (2017-08-28), XP055467139, Retrieved from the Internet <URL:https://www.goglasses.fr/realite-augmentee/previsualiser-repas-arkit> [retrieved on 20180413] *
MARGAUX DUSSERT: "Choisissez vos plats en réalité augmentée | L'ADN", 8 September 2017 (2017-09-08), XP055467137, Retrieved from the Internet <URL:http://www.ladn.eu/mondes-creatifs/realite-virtuelle/choisissez-votre-steak-frites-en-realite-augmentee/> [retrieved on 20180413] *

Also Published As

Publication number Publication date
FR3071635A1 (fr) 2019-03-29

Similar Documents

Publication Publication Date Title
US10083540B2 (en) Virtual light in augmented reality
US11386611B2 (en) Assisted augmented reality
EP3769146B1 (fr) Détection de profondeur et détection de mouvement hybrides
JP6340017B2 (ja) 被写体と３次元仮想空間をリアルタイムに合成する撮影システム
US8134555B2 (en) Acquisition of surface normal maps from spherical gradient illumination
US20130335535A1 (en) Digital 3d camera using periodic illumination
US11533466B2 (en) Active stereo matching for depth applications
WO2017028498A1 (fr) Procédé et appareil d&#39;affichage de scénario tridimensionnel (3d)
CN107810633A (zh) 立体渲染系统
EP2947628B1 (fr) Procédé de traitement d&#39;informations locales
US10560683B2 (en) System, method and software for producing three-dimensional images that appear to project forward of or vertically above a display medium using a virtual 3D model made from the simultaneous localization and depth-mapping of the physical features of real objects
US20190362150A1 (en) Image processing system and image processing method
US20190132574A1 (en) Depth sensing system with differential imaging camera
KR20140041012A (ko) 다중 패턴 빔을 이용하는 3차원 촬영 장치 및 방법
US10496238B2 (en) 3D display ray principles and methods, zooming, and real-time demonstration
FR3071650A1 (fr) Procede de realite augmentee pour la visualisation de plats de restaurant
US10475392B2 (en) Media item relighting technique
TWI529663B (zh) 虛擬影像定位方法及其裝置
FR3068812A1 (fr) Procede pour l’essayage virtuel de bracelets, bagues et montres
JP2015008394A (ja) 情報端末装置
TWI559731B (zh) 製作立體影像方法
JP7336871B2 (ja) 全天周映像処理装置及びプログラム
FR3013492A1 (fr) Procede utilisant des donnees de geometrie 3d pour une presentation et une commande d&#39;image de realite virtuelle dans un espace 3d
FR3043295A1 (fr) Dispositif de realite augmentee spatiale pour un environnement de bureau
Lane Using catadioptrics for multidimensional interaction in computer graphics

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLSC Publication of the preliminary search report

Effective date: 20190329

RX Complete rejection

Effective date: 20200304