FR3023629A1 - Appareil de traitement d'informations destine a detecter un objet a partir d'une image, procede destine a commander l'appareil, et support de stockage - Google Patents

Appareil de traitement d'informations destine a detecter un objet a partir d'une image, procede destine a commander l'appareil, et support de stockage Download PDF

Info

Publication number
FR3023629A1
FR3023629A1 FR1556329A FR1556329A FR3023629A1 FR 3023629 A1 FR3023629 A1 FR 3023629A1 FR 1556329 A FR1556329 A FR 1556329A FR 1556329 A FR1556329 A FR 1556329A FR 3023629 A1 FR3023629 A1 FR 3023629A1
Authority
FR
France
Prior art keywords
area
height
acquired
image
threshold value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR1556329A
Other languages
English (en)
Other versions
FR3023629B1 (fr
Inventor
Yuki Kamamori
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of FR3023629A1 publication Critical patent/FR3023629A1/fr
Application granted granted Critical
Publication of FR3023629B1 publication Critical patent/FR3023629B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186—Touch location disambiguation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup

Abstract

Un appareil de traitement d'informations comporte une unité d'acquisition (201) configurée pour acquérir une image d'entrée, et une unité d'extraction (205) configurée pour extraire, de l'image d'entrée, dans une zone correspondant à une partie comportant la surface prédéterminée dans l'arrière-plan dans l'espace, une zone d'objet correspondant à un objet se trouvant du côté plus proche d'un avant-plan que la surface, en utilisant une premier référence, et pour extraire, de l'image d'entrée, dans une zone correspondant à une partie ne comportant pas la surface dans l'arrière-plan dans l'espace, une zone d'objet correspondant à l'objet en utilisant une seconde référence différente de la première référence.

Description

APPAREIL DE TRAITEMENT D'INFORMATIONS DESTINE A DETECTER UN OBJET A PARTIR D'UNE IMAGE, PROCEDE DESTINE A COMMANDER L'APPAREIL, ET SUPPORT DE STOCKAGE CONTEXTE de L'INVENTION Domaine de l'invention [0001] La présente invention concerne une technique permettant d'identifier un objet dans un arrière-plan et un objet en mouvement en rapport avec une opération gestuelle ou autre sur la base d'informations de distance.
Description de l'art antérieur [0002] Un système destiné à effectuer une opération sur un objet affiché ou placé sur un tableau tel qu'un tableau blanc et une table en utilisant une interface utilisateur (UI) qui permet de fournir une entrée par l'intermédiaire d'un geste a été proposé. Dans un tel système, il est préférable que, dans un espace bidimensionnel parallèle au tableau, une différence entre une zone d'opération dans laquelle le système peut reconnaître une opération par l'intermédiaire d'un geste, d'un contact tactile, ou autre, et la taille et la forme du tableau, soit petite. En d'autres termes, on peut s'attendre à ce qu'une opération puisse être effectuée dans la quasi-totalité de la zone du tableau. [0003] Dans le système mentionné ci-dessus, dans de nombreux cas, dans un état dans lequel une partie plane d'un tableau prédéterminé est tournée en direction opposée à la face avant, une image comportant le tableau sous un certain angle de vue est capturée, et à partir de l'image capturée, un objet se déplaçant au-dessus du tableau est détecté afin de reconnaître une opération effectuée par l'objet. Dans une zone dans laquelle un tableau fixe fait partie d'un arrière-plan, en utilisant la soustraction d'arrière-plan connue, la zone comportant l'objet au-dessus du tableau peut être facilement extraite. Cependant, dans une zone (si le tableau est une table, la périphérie de la table) ne comportant pas le tableau dans l'arrière-plan, par comparaison à la zone située au-dessus du tableau, les positions et le nombre d'objets présents dans l'arrière-plan sont instables. Par conséquent, il n'est pas toujours approprié d'utiliser la soustraction d'arrière-plan comme pour la détection d'objets au-dessus du tableau. [0004] La demande de brevet japonaise mise l'inspection publique No. 2007-64894 décrit, dans un traitement destiné à détecter un objet à partir d'une image, l'utilisation de différents procédés de détection d'objets pour des zones partielles respectives en fonction de facteurs prédéterminés. [0005] Dans un système dans lequel une zone d'opération et un tableau prédéterminé ont une taille et une forme différentes, la détection d'objet doit être effectuée à la fois dans une zone (au-dessus du tableau) comportant le tableau dans un arrière-plan, et dans une zone ne comportant pas le tableau dans l'arrière-plan. Dans la technique connue, la détection d'un objet se trouvant au-dessus de deux zones ayant des conditions d'arrière-plan différentes n'est pas entièrement prise en compte. RESUME DE L'INVENTION [0006] La présente invention a pour objet d'effectuer une reconnaissance d'objet précise dans un espace comportant une pluralité de zones ayant des conditions 25 d'arrière-plan différentes. [0007] Conformément à un aspect de la présente invention, un appareil de traitement d'informations comporte une unité d'acquisition d'image configurée pour acquérir une image d'entrée et, pour chaque pixel de 30 l'image d'entrée, des informations de position dans un espace comportant une surface prédéterminée faisant partie d'un arrière-plan, et une unité d'extraction configurée pour extraire de l'image d'entrée acquise, dans une zone correspondant à une partie de l'espace comportant la 35 surface dans l'arrière-plan, une zone d'objet correspondant à un objet se trouvant dans l'avant-plan par rapport à la surface, sur la base d'informations de position de l'objet dans l'image d'entrée acquise, des informations de position de la surface, et d'une première référence, et pour extraire de l'image d'entrée acquise, dans une zone 5 correspondant à une partie de l'espace ne comportant pas la surface dans l'arrière-plan, une zone d'objet correspondant à l'objet se trouvant dans l'avant-plan par rapport à la surface, sur la base des informations de position de l'objet dans l'image d'entrée acquise, et d'une seconde 10 référence différente de la première référence. [0008] D'autres caractéristiques de la présente invention ressortiront de la description présentée ci-après d'exemples de modes de réalisation en référence aux dessins annexés. 15 BREVE DESCRIPTION DES DESSINS [0009] La figure 1A et la figure 1B sont des schémas de principe illustrant respectivement des exemples d'une configuration matérielle et d'une configuration fonctionnelle d'un appareil de traitement d'informations. 20 [0010] La figure 2 illustre un exemple d'un aspect d'un système selon un premier exemple de mode de réalisation. [0011] La figure 3 est un organigramme illustrant un exemple de traitement de reconnaissance de gestes selon le 25 premier exemple de mode de réalisation. [0012] La figure 4A, la figure 4B et la figure 4C sont des schémas conceptuels illustrant la détection d'un objet se trouvant à une position plus élevée qu'un plateau de table selon une technique connue. 30 [0013] La figure 5 est un organigramme illustrant un exemple de traitement destiné à extraire une zone d'objet dans une zone comportant une table. [0014] La figure 6A, la figure 6B et la figure 6C sont des schémas conceptuels illustrant la détection d'un objet 35 se trouvant à une position plus élevée qu'un plateau de table. [0015] La figure 7 est un organigramme illustrant un exemple de traitement destiné à extraire une zone d'objet dans une zone ne comportant pas de table. [0016] La figure 8A et la figure 8B sont des organigrammes illustrant des exemples du traitement destiné à déterminer une seconde valeur de seuil de hauteur devant être utilisée dans le traitement effectué dans la zone ne comportant pas de table. [0017] La figure 9 est un schéma conceptuel illustrant 10 une gamme de paramètres devant être utilisée dans un traitement de correction de seconde valeur de seuil de hauteur. [0018] La figure 10A et la figure 10B sont des schémas conceptuels illustrant un traitement destiné à corriger la 15 seconde valeur de seuil de hauteur. [0019] La figure 11A et la figure 11B sont des schémas conceptuels illustrant un traitement destiné à corriger la seconde valeur de seuil de hauteur. [0020] La figure 12A et la figure 12B sont des schémas 20 conceptuels illustrant un traitement destiné à corriger la seconde valeur de seuil de hauteur. [0021] La figure 13 est un organigramme illustrant un exemple du traitement de reconnaissance de gestes selon un second exemple de mode de réalisation. 25 [0022] La figure 14 est un organigramme illustrant un exemple de traitement destiné à déterminer la seconde valeur de seuil de hauteur. [0023] La figure 15 est un diagramme illustrant un exemple de l'organigramme illustrant le traitement destiné 30 à déterminer la seconde valeur de seuil de hauteur du second exemple de mode de réalisation. DESCRIPTION DES MODES DE REALISATION [0024] On va décrire ci-après en détail un traitement d'informations selon les exemples de modes de réalisation 35 de la présente invention en référence aux dessins annexés. La configuration décrite dans les exemples de modes de réalisation est indiquée à seul titre d'exemple, et la portée de la présente invention n'est pas limitée auxdites configurations. [0025] En tant que premier exemple de mode de 5 réalisation de la présente invention, on décrit un exemple d'un système d'interface de plateau de table (I/F) permettant à un utilisateur d'effectuer une opération gestuelle sur une interface utilisateur graphique (GUI) projetée sur un plateau de table. Dans les exemples de 10 modes de réalisation ci-après, un tableau prédéterminé contenu dans un arrière-plan dans un espace dans lequel un geste doit être effectué est désigné sous le nom de "table (plateau de table)", mais au lieu de la table (dans ce cas, la table fait référence à une table en tant qu'objet), on 15 peut utiliser un écran ou un tableau blanc disposé verticalement. Dans la présente description, la table (le plateau de table), l'écran, le tableau blanc, etc. sont désignés sous le nom de "tableau", cependant, le tableau n'est pas limité à un objet de type plaque n'ayant aucune 20 partie irrégulière sur sa surface. Le tableau dont il est question dans la présente description, fait référence à une surface physique ayant une superficie finie, et la surface peut être considérée comme étant dans un état immobile stable. 25 [0026] Un exemple de l'objet (désigné ci-après sous le nom d'objet d'opération) devant être utilisé par un utilisateur pour effectuer un geste comporte une main de l'utilisateur. En outre, d'autres parties (par exemple, les doigts et les jambes) ou un objet devant être tenu par 30 l'utilisateur (par exemple, un stylet) peuvent être utilisés en tant qu'objet d'opération. [0027] La figure 1A est un schéma de principe illustrant une configuration matérielle d'un appareil de traitement d'informations 100 selon le premier exemple de 35 mode de réalisation. [0028] Une unité centrale de traitement (CPU) 101, comportant une mémoire vive (RAM) 103 en tant que mémoire de travail, exécute un système d'exploitation (OS) et des programmes stockés dans une mémoire morte (ROM) 102 et un dispositif de stockage 104, commande des composants connectés à un bus système 106, et effectue un calcul et une détermination logique dans divers types de traitements. Le traitement devant être effectué par la CPU 101 comporte un traitement de reconnaissance de gestes (un traitement d'informations effectué dans un système destiné à reconnaître un geste effectué par un utilisateur en tant qu'entrée d'opération) illustré dans des organigrammes décrits ci-après. L'OS et les programmes de traitement peuvent être stockés dans le dispositif de stockage 104, et dans ce cas, les informations nécessaires au moment de la mise sous tension sont lues dans la RAM 103 selon les nécessités. Le dispositif de stockage 104 est par exemple un dispositif de stockage externe connecté par l'intermédiaire de divers types d'interfaces, tel qu'un lecteur de disque dur, un réseau et un bus série universel (USB). Dans cet exemple de mode de réalisation, le dispositif de stockage 104 stocke par exemple des données numériques devant être projetées sur un plateau de table, des paramètres de transformation de coordonnées acquis par 25 étalonnage et une image d'arrière-plan acquise à l'avance. [0029] Un capteur d'image de télémétrie 105, conformément à la commande effectuée par la CPU 101, capture une image d'un espace comportant un plateau de table sur lequel une GUI est projetée et affichée en tant 30 que partie d'un arrière-plan, et comportant en outre un espace comportant une zone périphérique (désignée ci-après sous le nom d'espace périphérique de table) de la table par un procédé décrit ci-après, afin d'acquérir une image de télémétrie. Le capteur d'image de télémétrie 105 fournit en 35 entrée l'image de télémétrie acquise à l'appareil de traitement d'informations 100 par l'intermédiaire du bus système 106. Chaque pixel de l'image de télémétrie capturée et acquise est représentatif d'une distance entre un capteur et un objet. Le capteur d'image de télémétrie 105 est installé de manière à ce que, dans un cas où un objet d'opération se trouve dans l'espace périphérique de table, l'objet d'opération doit être capturé dans un avant-plan (zone plus proche que la table) de la table qui fait partie de l'arrière-plan. Dans cet exemple de mode de réalisation, en tant que procédé destiné à acquérir l'image de télémétrie, on décrit un procédé de temps de vol présentant un faible impact sur la lumière ambiante et l'affichage sur le plateau de table mais, selon l'utilisation envisagée, un procédé de parallaxe, un procédé de temps de vol et d'autres procédés peuvent être utilisés. Un dispositif d'affichage 107 comporte un afficheur, un projecteur, ou autre, pour afficher une image telle qu'une GUI et divers types d'informations. Dans cet exemple de mode de réalisation, un projecteur à cristaux liquides est utilisé en tant que dispositif d'affichage 107. [0030] Dans cet exemple de mode de réalisation, le capteur d'image de télémétrie 105 et le dispositif d'affichage 107 sont des dispositifs externes connectés à l'appareil de traitement d'informations 100 par l'intermédiaire d'une interface 108 pour les entrées et sorties, respectivement. Ces composants peuvent être intégrés à l'appareil de traitement d'informations 100. [0031] La figure 1B est un schéma de principe illustrant un exemple d'une configuration fonctionnelle de l'appareil de traitement d'informations 100. Ces unités 30 fonctionnelles sont mises en oeuvre par la CPU 101 en chargeant les programmes stockés dans la ROM 102 vers la RAM 103, et en exécutant un traitement conformément aux organigrammes décrits ci-après. Si un matériel doit être configure au lieu d'un traitement par logiciel utilisant la 35 CPU 101, des unités de calcul et des circuits correspondant au traitement effectué dans les unités fonctionnelles décrites ci-après sont configurés. [0032] Une unité d'acquisition d'image 201 acquiert une image de télémétrie fournie en entrée à partir du 5 capteur d'image de télémétrie 105 en tant qu'image d'entrée. L'image d'entrée est une image d'un espace périphérique de table capturé par le capteur d'image de télémétrie 105, et chaque valeur de pixel est représentative d'informations de distance du capteur 10 d'image de télémétrie 105 à l'objet. Dans cet exemple de mode de réalisation, le capteur d'image de télémétrie 105 est installé de manière à capturer une image de l'espace comportant la table en tant que partie d'un arrière-plan. Les informations de distance contenues dans la valeur de 15 pixel de l'image de télémétrie correspondent à des informations de position dans une direction formant une intersection avec une surface supérieure de la table. [0033] Une unité d'acquisition de hauteur 202 acquiert, sur la base d'une position du pixel de l'image 20 d'entrée et de sa valeur de pixel, des informations de position tridimensionnelles de l'objet dans l'espace périphérique de table. Les informations de position tridimensionnelles qui peuvent être acquises par l'unité d'acquisition de hauteur 202 comportent, au moins, des 25 informations de hauteur de l'objet se trouvant au-dessus du plateau de table et dans des informations de la table (avant-plan du plateau de table). [0034] Une unité d'acquisition de frontière 203 acquiert, sur la base des informations de position 30 tridimensionnelles acquises à partir de l'image d'entrée, une position d'une frontière entre une zone comportant le plateau de table dans l'arrière-plan et une zone ne comportant pas de plateau de table dans l'arrière-plan dans l'espace périphérique de table. Dans la description fournie 35 ci-après, la zone comportant le plateau de table dans l'arrière-plan (une plage de distances correspondant à un espace au-dessus de la table) est désignée sous le nom de première zone, et la zone ne comportant pas de plateau de table dans l'arrière-plan (une plage de distances correspondant à un espace de la périphérie de la table) est désignée sous le nom de seconde zone. [0035] Une unité de détermination de seuil 204 détermine, dans la seconde zone, une valeur de seuil d'une hauteur devant être utilisée pour extraire d'une image d'entrée une zone comportant un objet se trouvant à une position plus élevée que la table. Dans cet exemple de mode de réalisation, une seconde valeur de seuil de hauteur devant être utilisée dans le traitement d'extraction destiné à la seconde zone est désignée sous le nom de hauteur dans un système de coordonnées universel, et est soumise à un traitement de comparaison avec une hauteur obtenue en convertissant la taille de la valeur de pixel de l'image d'entrée. L'unité de détermination de seuil 204 corrige la seconde valeur de seuil de hauteur dans un cas où une zone d'objet extraite de la première zone est en contact avec une frontière entre deux zones. [0036] Une unité d'extraction 205 extrait, de chacune de la première zone et de la seconde zone, une zone d'objet comportant un objet se trouvant à une position plus élevée que la table sur la base de références de hauteur respectives de différentes hauteurs. Dans cet exemple de mode de réalisation, dans la première zone, une zone d'objet est extraite par un traitement de valeur de seuil avec la première valeur de seuil de hauteur, en utilisant une hauteur relative par rapport au plateau de table en tant que hauteur de référence. Dans la seconde zone, une zone d'objet est extraite par un traitement de valeur de seuil avec la seconde valeur de seuil de hauteur, en utilisant une hauteur (hauteur dans le système de coordonnées universel) obtenue en convertissant la taille de la valeur de pixel de l'image d'entrée. [0037] Une unité de reconnaissance 206 détermine si une zone d'objet entière dans laquelle la zone d'objet extraite de la première zone et la zone d'objet extraite de la seconde zone sont combinées, est un objet d'opération 5 prédéterminé tel qu'une main d'un utilisateur, et reconnaît une opération gestuelle effectuée par l'objet d'opération. Dans cet exemple de mode de réalisation, étant donné qu'un contact tactile de l'objet d'opération sur le plateau de table est reconnu sur la base des informations de position 10 tridimensionnelles de l'objet d'opération sans utiliser de capteur tactile, l'opération tactile est considérée comme étant un type d'opérations gestuelles. [0038] Une unité de commande d'affichage 207 génère une image d'affichage devant être affichée sur le plateau 15 de table par le dispositif d'affichage 107, et fournit en sortie l'image d'affichage par l'intermédiaire de l'interface 108. Plus précisément, dans cet exemple de mode de réalisation, l'unité de commande d'affichage 207 génère une image d'affichage représentant une réponse à une 20 opération reconnue par l'unité de reconnaissance 206 sur la base des données stockées dans le dispositif de stockage 104 ou d'autres dispositifs, et fournit en sortie l'image afin de spécifier de façon nette pour l'utilisateur une rétroaction sur l'opération. 25 [Aspect du système] [0039] La figure 2 illustre un exemple d'un aspect d'un système auquel l'appareil de traitement d'informations 100 de l'exemple de mode de réalisation peut être appliqué. Un projecteur à cristaux liquides qui est le dispositif 30 d'affichage 107, est disposé au-dessus d'un plateau de table 301. A titre d'exemple, un écran de GUI 302 est projeté sur le plateau de table 301. L'utilisateur utilise un objet d'opération tel qu'une main 303 pour effectuer une opération tactile afin de toucher un objet de GUI contenu 35 dans l'écran de GUI 302. Dans le système illustré sur la figure 2, une zone d'opération qui est une gamme de distances dans laquelle le système peut reconnaître une opération telle qu'un geste et un contact tactile correspond à une gamme de distances au-dessus du plateau de table 301 sur lequel une projection par le dispositif d'affichage 107, peut être effectuée. Dans une relation de position entre le dispositif d'affichage 107 et le plateau de table 301, le dispositif d'affichage 107 et le plateau de table 301 sont fixés de manière à ce qu'une partie centrale du plateau de table 301 corresponde à une partie centrale de l'écran d'affichage projeté par le dispositif d'affichage 107, et une projection d'image peut être effectuée sur une gamme de distances de 90% ou plus d'une surface du plateau de table 301. Tant qu'une projection sur la surface du plateau de table 301 peut être effectuée, il n'est pas toujours nécessaire d'installer un boîtier du dispositif d'affichage 107 au-dessus de la table 301. [0040] Le capteur d'image de télémétrie 105 est également disposé au-dessus du plateau de table 301, et acquiert une image de télémétrie capturée d'un espace périphérique de table comportant le plateau de table 301 en tant que partie d'un arrière-plan. L'appareil de traitement d'informations 100 détecte la main 303 à partir de la l'image de télémétrie, et reconnaît un geste de l'utilisateur effectué dans l'espace périphérique du plateau de table 301. Dans cet exemple de mode de réalisation, comme illustré sur la figure 2, des axes de coordonnées x, y, et z sont définis. Sur la figure 2, un plan bidimensionnel parallèle à une surface supérieure de la table est un plan x, y, et une direction orthogonale à la surface supérieure de la table et s'étendant vers le haut est une direction normale de l'axe z. Dans chaque pixel de l'image de télémétrie capturée par le capteur d'image de télémétrie 105, une valeur de pixel correspondant à une distance du capteur à l'objet est enregistrée. Dans cet exemple de mode de réalisation, comme illustré sur la figure 2, le capteur d'image de télémétrie 105 est fixé de manière à inclure le plateau de table 301 dans son angle de vue, et l'objet se trouvant dans une image de télémétrie devant être capturée se trouve entre le capteur d'image de télémétrie 105 et le plateau de table 301. Par conséquent, la distance du capteur à l'objet peut être considérée de manière relative comme étant une information représentative de la distance (hauteur) par rapport à la surface du plateau de table 301. Cependant, sur la figure 2, comme le capteur d'image de télémétrie 105 est fixé de manière à présenter un angle par rapport au plateau de table 301, la surface du plateau de table 301 est inclinée par rapport à un élément capteur d'image du capteur d'image de télémétrie 105 même si la distance fournit un plan ayant une hauteur constante par rapport à la surface du plateau de table 301. Par conséquent, dans cet exemple de mode de réalisation, une transformation de coordonnées est effectuée sur les informations de distance indiquées par la valeur de pixel individuelle dans l'image de télémétrie capturée par le capteur d'image de télémétrie 105 sur la base de caractéristiques des lentilles du capteur d'image de télémétrie 105 et de la relation de position relative avec le plateau de table 301 afin de projeter les coordonnées dans un espace xyz. Du fait de cette transformation, par rapport à chaque point dans un espace comportant le plateau de table 301 en tant que partie de l'arrière-plan, des coordonnées xyz peuvent être acquises. Sur la figure 2, l'axe z, qui constitue les informations de référence de la hauteur par rapport au plateau de table, est perpendiculaire au plateau de table mais un certain degré d'inclinaison peut être admis pour autant que l'axe z soit orienté dans une direction formant une intersection avec le plateau de table. Dans la mesure où les informations de distance dans la direction de l'axe z peuvent être acquises, la position du boîtier du capteur d'image de télémétrie 105 ne sont pas limitées à la position située au-dessus du plateau de table 301. Dans cet exemple de mode de réalisation, le plateau de table est installé de façon à être parallèle au sol, et les informations de position (coordonnée z) dans une direction perpendiculaire au plateau de table sont appelées "hauteur". Cependant, selon la direction de la table, le terme "hauteur" ne désigne pas toujours une direction verticale. [0041] Dans cet exemple de mode de réalisation, lorsqu'une relation de position entre le capteur d'image de télémétrie 105 et le plateau de table 301 est définie à l'avance, une image de télémétrie dans laquelle seule la table est capturée est acquise à l'avance en tant qu'image d'arrière-plan de base. L'appareil de traitement d'informations 100 stocke les informations de l'image de télémétrie acquise en tant qu'image d'arrière-plan de base dans le dispositif de stockage 104. L'acquisition de l'image d'arrière-plan de base est effectuée de façon régulière, par exemple immédiatement après la mise en fonctionnement de l'appareil de traitement d'informations 100, ou à des intervalles de temps réguliers. [0042] Dans cet exemple de mode de réalisation, le plateau de table 301 peut être un plateau de table comportant un afficheur intégré ayant pour fonction d'afficher l'écran de GUI 302. Outre ce qui précède, un système comportant une caméra en lumière visible destinée à capturer une image en lumière visible d'un objet placé sur le plateau de table 301, peut être configure. [0043] Comme illustré sur la figure 2, dans cet exemple de mode de réalisation, l'utilisateur tend la main 303 au-dessus de la table dans l'espace depuis l'extérieur de l'espace périphérique du plateau de table 301 afin d'effectuer une opération. Par conséquent, par exemple lorsque l'utilisateur touche un objet de GUI affiché à une position proche du bord de la table sur l'écran de GUI, une partie de la main 303 est davantage susceptible de se trouver à l'extérieur du bord du plateau de table 301. Dans ce cas, conformément à la télémétrie 105, la main de dessus du bord de la table. réalisation, pour la zone vue du capteur d'image de l'utilisateur se trouve au-Dans cet exemple de mode de l'arrière-plan et la zone ne comportant la table dans comportant pas de table dans l'arrière-plan dans l'espace périphérique de table, des références de hauteur différentes sont utilisées pour extraire une zone comportant un objet se trouvant au-dessus de la table. Les zones extraites sont alors combinées afin de détecter une image entière de l'objet se trouvant sur la frontière entre les deux zones. [0044] La figure 3 est un organigramme illustrant un exemple du traitement de reconnaissance de gestes devant être effectué par l'appareil de traitement d'informations 100 dans cet exemple de mode de réalisation. Ce traitement est mis en oeuvre par la CPU 101, qui constitue des unités fonctionnelles dans l'appareil de traitement d'informations, en chargeant un programme stocké dans la ROM 102 vers la RAM 103 et en exécutant le programme. Dans cet exemple de mode de réalisation, en réponse à l'exécution d'une application destinée à reconnaître une opération gestuelle, le capteur d'image de télémétrie 105 commence l'acquisition d'image d'une image de télémétrie, et l'image de télémétrie est fournie en entrée à l'appareil de traitement d'informations 100 à chaque période de temps prédéterminée. En réponse à la fourniture en entrée de l'image de télémétrie capturée, le traitement représenté sur la figure 2 commence. [0045] Lors d'une étape S401, l'unité de détermination de seuil 204 détermine une valeur de seuil devant être utilisée dans le traitement de détection (étape S408) d'une zone d'objet dans la zone (seconde zone) ne comportant pas de table. Se référant à l'organigramme représenté sur la figure 8A, on décrit en détail le traitement destiné à déterminer une valeur de seuil dans la seconde zone lors d'une étape S401. [0046] À l'étape S901, l'unité d'acquisition de frontière 203 acquiert des informations de valeurs de pixels d'une image d'arrière-plan de base ayant été capturée à l'avance. À l'étape S902, l'unité d'acquisition de frontière 203 détecte des pixels présentant chacun une différence supérieure à une valeur prédéterminée, c'est-à-dire la différence entre la valeur de pixel et celle d'un pixel adjacent. Lorsque différence entre valeurs de pixels est grande, cela signifie qu'il existe une différence de hauteur extrêmement grande, et dans ce cas, cela correspond à une partie de bord de la table. Par conséquent, une partie de pixels continus, dont chacun présente une différence entre la valeur de pixel et celle du pixel adjacent supérieure à la valeur prédéterminée, est utilisée en tant que frontière entre la zone comportant la table dans l'arrière-plan et la zone ne comportant pas de table. Les pixels utilisés en tant que frontière sont des pixels (des pixels présentant des valeurs de pixels élevées) contenus dans la gamme de distances au-dessus de la table. À l'étape S903, l'unité de détermination de seuil 204 acquiert une valeur indiquant une hauteur moyenne sur la base des informations de hauteur acquises en convertissant les valeurs de pixels des pixels formant la frontière entre les zones. À l'étape S904, l'unité de détermination de seuil 204 détermine la hauteur moyenne acquise comme étant une valeur de seuil de la hauteur dans la seconde zone. Dans cet exemple de mode de réalisation, la valeur de seuil déterminée est stockée dans la RAM 103, et la valeur stockée est utilisée lors de l'exécution du traitement de valeur de seuil. [0047] Revenant a l'organigramme représenté sur la figure 3, à l'étape S402, l'unité d'acquisition d'image 201 acquiert une image de télémétrie fournie en entrée par le capteur d'image de télémétrie 105 en tant qu'image d'entrée [0048] À l'étape S403, l'unité d'extraction 205 extrait de l'image d'entrée, dans la zone (première zone) comportant la table dans l'arrière-plan, une zone comportant un objet se trouvant à une position plus élevée que la table en tant que zone d'objet. Lorsqu'un objet se trouve à une position plus élevée que la table, cela signifie que l'objet se trouve dans l'avant-plan de la table constituant l'arrière-plan. Dans cet exemple de mode de réalisation, dans la zone comportant la table dans l'arrière-plan, la zone d'objet est détectée en effectuant un traitement utilisant une hauteur relative par rapport à la surface de la table en tant que hauteur de référence. Plus précisément, une zone dans laquelle une hauteur relative par rapport à la surface de la table est plus élevée qu'une valeur de seuil prédéterminée (première valeur de seuil de hauteur) est extraite en tant que zone d'objet. La hauteur de la table et la hauteur de l'objet sont des informations détectées par le même système, de sorte que, en utilisant leurs valeurs relatives, une détection affectée d'une erreur de transformation de coordonnées réduite et d'effets réduits dus à l'erreur de détection dans le système peut être effectuée. Le traitement représenté à l'étape S403 est décrit ci-après en détail. [0049] À l'étape S404, l'unité d'acquisition de frontière 203 acquiert des coordonnées d'une partie de la frontière entre les première et seconde zones comportant la zone d'objet extraite à l'étape S403. Dans cet exemple de mode de réalisation, l'utilisateur tend la main au-dessus de la table et effectue une opération. Par conséquent, lorsqu'une zone d'objet est détectée au-dessus de la table, l'objet est davantage susceptible de se trouver sur le bord de la table. Par conséquent, si la zone d'objet extraite de la première zone est une zone dans laquelle un objet d'opération est capturé, la partie qui appartient à la frontière détectée à l'étape S902 se trouve dans la zone d'objet. En d'autres termes, la partie frontière détectée à l'étape S902 comporte au moins une partie de la zone d'objet extraite de la première zone. Par ailleurs, si une partie en contact avec la frontière entre les première et seconde zones n'est pas contenue dans la zone d'objet extraite, il est émis l'hypothèse que l'objet n'est pas un objet d'opération tel que la main de l'utilisateur, mais qu'un objet quelconque est placé sur la table. Dans ce cas, il n'est pas nécessaire de suivre la zone d'objet extraite et de reconnaître une opération gestuelle. A titre d'exemple, le traitement selon l'organigramme se termine alors, ou le traitement retourne au traitement représenté à l'étape S402. L'unité d'acquisition de frontière 203 stocke les informations acquises sur la partie formant frontière dans la RAM 103. À l'étape S404, une zone de taille prédéterminée, ou une ligne droite (tangente à la zone frontière) de longueur prédéterminée comportant la zone qui appartient à la frontière entre les première et seconde zones dans la zone d'objet de la première zone extraite à l'étape S403, peut être acquise. [0050] À l'étape S405, l'unité d'extraction 205 extrait de l'image d'entrée, dans la zone (seconde zone) ne comportant pas de table, une zone comportant un objet se trouvant à une position plus élevée que la table en tant que zone d'objet. Dans cet exemple de mode de réalisation, dans la zone ne comportant pas de table dans l'arrière-plan, la zone d'objet est détectée en effectuant un traitement utilisant une hauteur indiquée par les valeurs de pixels de l'image d'entrée en tant que hauteur de référence. Plus précisément, l'extraction est effectuée sur la base du traitement de valeur de seuil utilisant la valeur de seuil de hauteur (seconde valeur de seuil de hauteur) déterminée à l'étape S401. La seconde valeur de seuil de hauteur correspond à une hauteur d'une surface de table virtuelle lorsqu'il est émis l'hypothèse qu'une surface supérieure de table s'étend vers la zone ne comportant pas de table. Plus précisément, une zone dans laquelle des hauteurs indiquées par des valeurs de pixels de l'image d'entrée sont plus élevées que la surface de table virtuelle indiquée par la seconde valeur de seuil de hauteur est extraite en tant que zone d'objet. Cependant, dans cet exemple de mode de réalisation, si l'on tient compte des erreurs de détection dans les informations de position du bord de la table et les informations de hauteur de table, la valeur de seuil est corrigée, et le traitement de valeur de seuil est alors effectué en fonction d'une distance sur un plan x-y par rapport à la frontière entre les première et seconde zones. Le traitement représenté à l'étape S405 est décrit ci-après en détail. [0051] À l'étape S406, l'unité de reconnaissance 206 détermine si l'objet capturé dans la zone est une main de l'utilisateur par rapport à une zone d'objet combinée entière des zones d'objets extraites à l'étape S403 et à l'étape S405. Si l'objet utilisé en tant qu'objet d'opération n'est pas la main de l'utilisateur mais un objet prédéterminé tel qu'un stylet, l'unité de reconnaissance 206 détermine si la zone d'objet combinée est l'objet d'opération. Dans cet exemple de mode de réalisation, lorsque la forme (la taille, le degré de circularité, le rapport de dimensions et le degré d'irrégularité) et les informations de couleur de la zone d'objet combinée respectent des conditions prédéterminées, il est déterminé que la zone est une main de l'utilisateur. Ces conditions comprennent par exemple une probabilité élevée de résultat concordant entre la forme de la zone d'objet et un modèle de forme fourni à l'avance, et le fait de savoir si la zone d'objet est à l'intérieur d'un rectangle ayant un rapport de dimensions prédéterminé. En outre, en utilisant une image en lumière visible obtenue en capturant la même gamme de distances que l'image d'entrée, il peut être déterminé si une moyenne de valeurs rougevert-bleu (RGB) des pixels dans la zone d'objet se situe dans une gamme de distances définie comme étant "la couleur de la peau humaine". S'il est déterminé que l'objet est une main de l'utilisateur (OUI à l'étape S406), le traitement passe à l'étape S407. S'il est déterminé que l'objet n'est pas une main de l'utilisateur (NON à l'étape S406), le traitement passe à l'étape S410. [0052] À l'étape S407, l'unité de reconnaissance 206 détermine si la main de l'utilisateur est orientée dans une pose pointant dans une direction sur la base de la forme de 10 la zone combinée. Dans cet exemple de mode de réalisation, un appariement avec un modèle d'une main dans une pose pointant dans une direction, qui est fourni à l'avance, est effectuée, et la détermination est effectuée sur la base de la probabilité. S'il est déterminé que l'objet est dans une 15 pose pointant dans une direction (OUI à l'étape S407), le traitement passe à l'étape S408. S'il est déterminé que l'objet n'est pas dans une pose pointant dans une direction (NON à l'étape S407), le traitement passe à l'étape S409. [0053] À l'étape S408, l'unité de reconnaissance 206 20 reconnaît une opération tactile effectuée par la main dans la pose pointant dans une direction. Plus précisément, l'unité de reconnaissance 206 acquiert les informations de hauteur d'une position correspondant à l'extrémité d'un doigt dans la zone d'objet, et détermine si la surface 25 supérieure de la table est touchée par l'extrémité du doigt sur la base d'une différence entre la hauteur de l'extrémité du doigt et la hauteur de la table. Lorsque la surface supérieure est touchée, un traitement correspondant à l'objet affiché à la position touchée est exécuté. A 30 titre d'exemple, l'objet affiché à la position touchée est amené à passer dans un état sélectionné, ou une commande associée à l'objet est exécutée. L'unité de commande d'affichage 207 génère une image d'affichage indiquant une réponse à l'opération reconnue, et fournit en sortie 35 l'image au dispositif d'affichage 107. Si la surface supérieure de la table n'est pas touchée pendant un temps d'attente prédéterminé, la reconnaissance d'une opération tactile cesse et le traitement passe à l'étape suivante. [0054] À l'étape S409, l'unité de reconnaissance 206 stocke l'information de position de la zone d'objet se trouvant dans la RAM 103, et reconnaît l'opération gestuelle effectuée par la main de l'utilisateur sur la base de l'historique pendant une période de temps prédéterminée. Dans cet exemple de mode de réalisation, l'unité de reconnaissance 206 peut reconnaître au moins une opération gestuelle (opération de glissement) de la main de l'utilisateur faisant un signe dans une certaine direction à l'intérieur de la zone d'opération. Afin de reconnaître l'opération de glissement, à l'étape S409, l'unité de reconnaissance 206 spécifie l'information de position du centre de gravité dans la zone d'objet. L'unité de reconnaissance 206 stocke alors les informations dans la RAM 103 ou un autre dispositif, effectue un appariement de la position du centre de gravité jusqu'à cet instant avec un Modèle de Markov Caché (HMM) utilisant l'amplitude du déplacement en tant que grandeur caractéristique, et effectue la reconnaissance sur la base de la probabilité. L'unité de commande d'affichage 207 génère une image d'affichage indiquant une réponse à l'opération de glissement reconnue, et fournit en sortie l'image au dispositif d'affichage 107. [0055] La reconnaissance de gestes pour une opération tactile et une opération de glissement lors du traitement allant de l'étape S406 à l'étape S409 dans cet exemple de mode de réalisation ne sont pas limitées à cette séquence.
A titre d'exemple, quels que soient le résultat de la détermination du fait de savoir si l'objet est une main ou non (étape S406) et le résultat de la détermination du fait de savoir si la main est dans une pose pointant dans une direction ou non (étape S407), la reconnaissance d'une opération tactile (étape S408) et la reconnaissance d'une opération de glissement (étape S409) peuvent être effectuées. En outre, en utilisant des informations indiquant la hauteur de la main ou la vitesse du mouvement, les autres opérations gestuelles peuvent être reconnues. [0056] Si le traitement effectué à l'étape S409 se 5 termine, ou s'il est déterminé et reconnu, à l'étape S406, que l'objet capturé dans la zone d'objet n'est pas une main de l'utilisateur, à l'étape S410, la CPU 101 détermine alors si la fourniture en entrée de l'image de télémétrie provenant du capteur d'image de télémétrie 105 est 10 terminée. Si la fourniture en entrée de l'image est terminée (OUI à l'étape S410), le traitement de reconnaissance de gestes se termine. Si la fourniture en entrée de l'image se poursuit, le traitement retourne à l'étape S402, et le traitement de reconnaissance de gestes 15 est effectué sur une nouvelle image d'entrée. [Traitement destiné à extraire une zone d'objet se trouvant dans la première zone] [0057] Le traitement devant être effectué à l'étape S403 pour extraire de l'image d'entrée, dans la première 20 zone comportant la table, une zone comportant un objet se trouvant à une position plus élevée que la table en tant que zone d'objet, est décrit en détail. [0058] Se référant aux figures 4A à 4C, un traitement destiné à détecter une main d'un utilisateur tendue au-25 dessus du bord de la table, est décrit en association avec les problèmes susceptibles de se produire lors du traitement effectué conformément à une technique connue. Les figures 4A à 4C illustrent la périphérie du plateau de table 301 vue depuis une section transversale parallèle à 30 un plan yz dans le système illustré sur la figure 2. Sur les figures 4A à 4C, une main 501 est une main d'un utilisateur pointant vers le plateau de table 301 dans une pose pointant dans une direction (état dans lequel seul l'index d'une main est tendu). 35 [0059] Dans la technique connue, si le fait que la main de l'utilisateur est tendue au-dessus du bord de la table n'est pas pris en compte, une partie dont les informations de hauteur indiquent une hauteur plus élevée que la surface supérieure du plateau de table 301 peut être détectée à partir de l'image d'entrée en tant que zone de main indépendamment du fait qu'elle se trouve à l'intérieur ou à l'extérieur du bord de la table. La figure 4A illustre un état idéal. Une hauteur 502 est une hauteur du plateau de table mesurée par le capteur d'image de télémétrie 105. La totalité de la main 501 de l'utilisateur se trouve à une position plus élevée que la hauteur 502, de sorte que la main peut être détectée avec précision. Cependant, lors de la détection effective, du fait des erreurs affectant la mesure de distance selon les performances du capteur d'image de télémétrie 105 et des erreurs affectant les paramètres de transformation de coordonnées acquis par étalonnage, les résultats de la conversion des informations acquises à partir d'une image de télémétrie en informations de coordonnées comprennent des erreurs. Par conséquent, il est difficile de détecter avec précision la hauteur du plateau de table et de séparer une partie supérieure d'une partie inférieure, le plateau de table servant de frontière. A titre d'exemple, la figure 4B illustre une hauteur détectée du plateau de table plus élevée que la vraie hauteur du plateau de table. Une hauteur 504 est une hauteur du plateau de table mesurée par le capteur d'image de télémétrie 105. Dans ce cas, il est déterminé qu'une partie de la main 501 de l'utilisateur est à une position inférieure à la hauteur 504, et une perte 505 est produite dans la zone détectée. La figure 4C illustre une hauteur détectée du plateau de table inférieure à la vraie hauteur du plateau de table. Une hauteur 506 est une hauteur du plateau de table mesurée par le capteur d'image de télémétrie 105. Dans ce cas, une partie 507 de la table se trouve à une position plus élevée que la hauteur 506 et cette partie est extraite en tant que zone d'objet, de sorte qu'il est difficile de distinguer la zone d'objet de la vraie zone d'objet. [0060] Pour remédier à ces problèmes, dans cet exemple de mode de réalisation, les pixels de l'image d'entrée sont séparés dans la première zone comportant la table dans l'arrière-plan et la seconde zone ne comportant pas de table. Dans la première zone, sur la base d'un traitement de valeur de seuil comportant une hauteur relative par rapport à une hauteur de la surface de la table, une zone d'objet située au-dessus de la table est détectée. Etant donné que des erreurs affectant la mesure de distance ou la transformation de coordonnées sont contenues à la fois dans la zone d'objet et le plateau de table, les effets dus aux erreurs peuvent être réduits par acquisition d'une hauteur relative. [0061] Se référant à l'organigramme représenté sur la figure 5, une séquence spécifique du traitement devant être effectué à l'étape S403 est décrite. À l'étape S601, l'unité d'acquisition de hauteur 202 sélectionne un pixel cible contenu dans la première zone dans l'image d'entrée. Dans cet exemple de mode de réalisation, étant donné que la position d'un bord de la table peut être acquise en utilisant l'image d'arrière-plan de base acquise à l'avance, un pixel cible est sélectionné en utilisant l'intérieur de la gamme de distances, à un endroit où le bord est considéré comme étant la frontière, en tant que la première zone. Dans cet exemple de mode de réalisation, le pixel cible est sélectionné un par un. En variante, un bloc comportant une pluralité de pixels peut être sélectionné un par un et la valeur moyenne des valeurs de pixels peut être utilisée en tant qu'informations de hauteur du bloc, de sorte que le traitement suivant peut être effectué. [0062] À l'étape S602, l'unité d'acquisition de hauteur 202 acquiert une hauteur du plateau de table à une 35 position (position indiquée par des coordonnées xy) correspondant au pixel cible. Dans cet exemple de mode de réalisation, l'unité d'acquisition de hauteur 202 acquiert des informations indiquant la hauteur du plateau de table à une position correspondant au pixel cible à partir des informations de l'image de télémétrie capturée à l'avance en tant qu'image d'arrière-plan de base. La hauteur de la table peut être acquise en utilisant des procédés autres que le procédé consistant à utiliser l'image de télémétrie capturée à l'avance en tant qu'image d'arrière-plan de base. A titre d'exemple, sur la base d'une différence par rapport à une image d'entrée d'une trame précédente, il est déterminé s'il se produit un mouvement dans la table. S'il se ne se produit aucun mouvement, il est déterminé qu'aucun objet ne se trouve dans la table, et une hauteur de table peut être de nouveau acquise dans l'image d'entrée. Ce procédé est efficace dans un cas où le dernier état de la table diffère de l'état au moment où l'image d'arrière-plan de base est capturée. [0063] À l'étape S603, l'unité d'acquisition de hauteur 202 acquiert une hauteur relative par rapport au plateau de table correspondant à la hauteur indiquée par la valeur de pixel du pixel cible. Dans cet exemple de mode de réalisation, la hauteur relative est obtenue par soustraction de la valeur du pixel cible à la valeur acquise de la hauteur de table. À l'étape S604, l'unité d'extraction 205 détermine si la hauteur relative acquise est supérieure ou égale à une première valeur de seuil de hauteur. La première valeur de seuil de hauteur est définie à l'avance en tant que valeur indiquant une distance appropriée pour distinguer la table d'une main d'un utilisateur. S'il est déterminé que la hauteur relative acquise est supérieure ou égale à la première valeur de seuil de hauteur (OUI à l'étape S604), le traitement passe à l'étape S605. S'il est déterminé que la hauteur relative acquise n'est pas supérieure ou égale à la première valeur de seuil de hauteur (NON à l'étape S604), le traitement passe à l'étape S606. À l'étape S605, le pixel cible est spécifié en tant que partie de la zone d'objet. À l'étape S606, l'unité d'acquisition de hauteur 202 détermine si tous les pixels se trouvant dans la première zone ont été traités. S'il est déterminé que tous les pixels se trouvant dans la première zone ont été traités (OUI à l'étape S606), le traitement retourne à la séquence principale, et le traitement effectué à l'étape S404 et des étapes suivantes est effectué. S'il est déterminé que tous les pixels se trouvant dans la première zone n'ont pas été traités (NON à l'étape S606), le traitement retourne à l'étape S601. Alors, un pixel qui n'a pas été traité est sélectionné, et le traitement est répété. Dans l'organigramme représenté sur la figure 5, un pixel cible est sélectionné parmi les pixels se trouvant dans la première zone ayant été définie à l'avance, et le traitement est effectué sur tous les pixels se trouvant dans la première zone. En variante, un traitement destiné à balayer tous les pixels se trouvant dans l'image d'entrée, et à déterminer si les pixels sont contenus dans la première zone, peut en outre être effectué. [0064] Dans cet exemple de mode de réalisation, la première valeur de seuil de hauteur devant être utilisée lors du traitement d'extraction destiné à la première zone est une valeur de seuil d'une hauteur devant être comparée à une hauteur relative par rapport au plateau de table, et il est émis l'hypothèse qu'une valeur prédéterminée doit être utilisée. L'unité de détermination de seuil 204 peut également effectuer un traitement de correction sur la première valeur de seuil de hauteur sur la base de l'image d'entrée afin d'obtenir une valeur de seuil appropriée pour l'environnement. [0065] Le traitement devant être effectué à l'étape S405 destiné à extraire une zone comportant un objet se trouvant à une position plus élevée que la table en tant 35 que zone d'objet se trouvant dans la seconde zone dans laquelle la table n'est pas contenue dans l'image de télémétrie, est décrit en détail. [0066] Se référant aux figures 6A à 6C, des exemples d'états susceptibles de se produire lors de la détection 5 d'une main d'un utilisateur se trouvant au-dessus du bord de la table séparément dans deux zones, dont l'une comporte la table et dont l'autre ne comporte pas de table, sont décrits. Les figures 6A à 6C illustrent la périphérie du plateau de table 301 vue depuis une section transversale 10 parallèle à un plan yz dans le système illustré sur la figure 2. Comme pour les figures 4A à 4C, la main 501 est une main de l'utilisateur pointant vers le plateau de table 301 dans une pose pointant dans une direction (état dans lequel seul l'index d'une main est tendu). 15 [0067] Comme décrit ci-dessus, dans la première zone située au-dessus de la table, un bruit et une perte se produisant lors de la détection d'une zone d'objet peuvent être réduits en utilisant le traitement comportant une valeur de seuil d'une hauteur relative par rapport à la 20 table. La figure 6A illustre un état dans lequel la frontière de la première zone et de la seconde zone est détectée avec précision. Une frontière 701 correspond au bord de la table détectée à l'étape S902 sur la base de l'image d'arrière-plan de base, et à la frontière de la 25 première zone et de la seconde zone. La hauteur 702 est une valeur de seuil (second seuil de hauteur) d'une hauteur dans la seconde zone, ayant été définie à l'étape S401. Lors de la détection de la frontière de la première zone et de la seconde zone sur la base de l'image d'arrière-plan de 30 base, des erreurs peuvent parfois apparaître. A titre d'exemple, du fait d'une erreur affectant la détection, à une position correspondant à un pixel considéré comme étant à l'extérieur du bord de la table, la table pourrait en fait exister. La figure 6B illustre un cas dans lequel une 35 hauteur détectée du plateau de table est inférieure à une hauteur vraie de la table dans un état dans lequel le bord de la table est détecté comme étant à une position plus proche de l'intérieur de la table qu'une position réelle. Dans ce cas, étant donné qu'une partie de la table se trouvant dans la seconde zone est à une position plus élevée que la hauteur 702, la partie est détectée en tant que zone d'objet. Par conséquent, cette partie est considérée comme étant un bruit 801. Sur le plan yz, la partie de bruit est à une position située immédiatement en dessous de la main réelle, et une coordonnée y détectée en tant que zone d'objet semble identique à un état idéal sur la figure 6A. Cependant, le bruit 801 présente la même dimension que la largeur du plateau de table 301 dans la direction de l'axe x, de sorte que la forme de la zone d'objet comportant le bruit 801 n'est pas reconnue comme étant la main d'un utilisateur. Cela provoque une diminution de la précision de reconnaissance des opérations. Par ailleurs, la figure 6C illustre un cas dans lequel une hauteur détectée du plateau de table est plus élevée qu'une hauteur vraie de la table dans un état dans lequel le bord de la table est détecté comme étant à une position plus proche de l'intérieur de la table que la position réelle. Dans ce cas, la partie inférieure à la hauteur 702 dans la main 501 n'est pas détectée en tant que zone d'objet. Par conséquent, une perte 802 est produite.
Selon la taille et la forme de la perte 802, la zone d'objet détectée dans la première zone et la zone d'objet détectée dans la seconde zone deviennent discontinues. Cela peut provoquer une diminution de la précision de reconnaissance d'une opération effectuée par la main. [0068] Dans cet exemple de mode de réalisation, sur la base des informations concernant la partie frontière entre les zones dans la zone d'objet ayant été extraite par le traitement effectué sur la première zone, la taille de la seconde valeur de seuil de hauteur est modifiée ou sa gamme de distances d'application est limitée afin de réduire l'apparition d'un bruit et d'une perte se produisant dans la zone d'objet. [0069] Se référant à l'organigramme représenté sur la figure 7, une séquence du traitement destiné à détecter une 5 zone d'objet se trouvant dans la seconde zone devant être effectuée à l'étape S405, est décrite en détail. [0070] À l'étape S801, l'unité d'acquisition de hauteur 202 sélectionne un pixel cible contenu dans la seconde zone dans l'image d'entrée. Dans cet exemple de 10 mode de réalisation, le pixel cible est sélectionné un par un. En variante, un bloc comportant une pluralité de pixels peut être sélectionné un par un et la valeur moyenne des valeurs de pixels peut être utilisée en tant qu'informations de hauteur du bloc, de sorte que le 15 traitement suivant peut être effectué. À l'étape S802, l'unité de détermination de seuil 204 acquiert une position (coordonnées xy) correspondant au pixel cible, et une distance d'une partie de la frontière entre les première et seconde zones comportant la zone d'objet extraite dans la 20 première zone, la partie étant détectée à l'étape S404. Dans cet exemple de mode de réalisation, une distance la plus courte par rapport à la coordonnée y est calculée. [0071] À l'étape S803, l'unité de détermination de seuil 204 corrige la valeur de seuil de hauteur (seconde 25 valeur de seuil de hauteur) déterminée à l'étape S401 selon la distance acquise à l'étape S802. Le traitement est effectué afin d'empêcher la première zone et la seconde zone de devenir discontinues, et afin d'empêcher la table d'être détectée à une position où la main de l'utilisateur 30 ne peut pas se trouver, cela provoquant un bruit. Dans une zone dans laquelle la distance acquise à l'étape S802 est faible, c'est-à-dire dans une zone correspondant à la périphérie de la frontière, la valeur de seuil de hauteur est réduite afin d'empêcher la zone de devenir discontinue. 35 Par ailleurs, dans une zone dans laquelle la distance acquise à l'étape S802 est grande, c'est-à-dire une zone éloignée de la main de l'utilisateur, la valeur de seuil de hauteur est augmentée afin d'empêcher la table d'être contenue dans la zone d'objet en tant que bruit. Le traitement effectué à l'étape S803 est décrit ci-après en détail. [0072] À l'étape S804, l'unité d'acquisition de hauteur 804 acquiert une hauteur indiquée par la valeur de pixel du pixel cible. À l'étape S805, l'unité d'extraction 205 détermine si la hauteur acquise est supérieure ou égale à la seconde valeur de seuil de hauteur. La seconde valeur de seuil est la valeur corrigée à l'étape S803. S'il est déterminé que la hauteur est supérieure ou égale à la seconde valeur de seuil de hauteur (OUI à l'étape S805), le traitement passe à l'étape S806. S'il est déterminé que la hauteur acquise n'est pas supérieure ou égale à la seconde valeur de seuil de hauteur (NON à l'étape S805), le traitement passe à l'étape S807. À l'étape S806, l'unité d'extraction 205 spécifie le pixel cible en tant que partie de la zone d'objet. À l'étape S807, il est déterminé si tous les pixels se trouvant dans la seconde zone ont été traités. S'il est déterminé que tous les pixels se trouvant dans la seconde zone ont été traités (OUI à l'étape S807), le traitement retourne à la séquence principale, et le traitement effectué à l'étape S404 et des étapes suivantes est effectué. S'il est déterminé que tous les pixels se trouvant dans la seconde zone n'ont pas été traités (NON à l'étape S807), le traitement retourne à l'étape S801. Un pixel qui n'a pas été traité est sélectionné en tant que pixel cible, et le traitement est répété. Dans l'organigramme représenté sur la figure 7, un pixel cible est sélectionné parmi les pixels se trouvant dans la seconde zone ayant été définie à l'avance, et le traitement est effectué sur tous les pixels se trouvant dans la seconde zone. En variante, un traitement destiné à balayer tous les pixels se trouvant dans l'image d'entrée, et à déterminer si les pixels sont contenus dans la seconde zone, peut en outre être effectué. [0073] Dans cet exemple de mode de réalisation, le traitement est effectué dans un espace dans lequel la table est installée de façon qu'elle soit parallèle au sol constituant l'arrière-plan. Par conséquent, dans la seconde zone, un pixel ayant une hauteur indiquée par une valeur de pixel plus élevée que la seconde valeur de seuil de hauteur est spécifié en tant que zone d'objet. Cependant, dans un cas où le plateau de table contenu dans l'arrière-plan n'est pas parallèle au sol, un pixel dont l'information de position (information de position dans une direction formant une intersection avec le plateau de table) est indiquée par la valeur de pixel indiquant une position du côté qui est plus proche de l'avant-plan (côté plus proche du capteur d'image de télémétrie 105) que la surface du plateau de table est spécifié en tant que zone d'objet. [0074] Se référant à l'organigramme représenté sur la figure 8B et les schémas conceptuels des figures 9 à 12, le 20 traitement destiné à corriger la seconde valeur de seuil de hauteur devant être effectué à l'étape SS03, est décrit. [0075] L'organigramme représenté sur la figure 8B illustre un traitement détaillé devant être effectué à l'étape S803. À l'étape S1001, la CPU 101 détermine si la 25 distance acquise à l'étape S802 est supérieure à une valeur de seuil L. Si la distance L est inférieure à L (OUI à l'étape S1001), à l'étape S1002, une valeur H* (distance/L) proportionnelle à la distance est ajoutée à la seconde valeur de seuil de hauteur. Par ailleurs, si la distance 30 est supérieure ou égale à L (NON à l'étape S1001), à l'étape S1003, une valeur H est ajoutée à la seconde valeur de seuil de hauteur. Il en résulte que la seconde valeur de seuil de hauteur à la périphérie de la frontière entre les deux zones devient inférieure à la seconde valeur de seuil 35 de hauteur dans la plage de distances éloignée de la périphérie. Se référant à la figure 9, la valeur de seuil L et la valeur H sont décrites. La valeur de seuil L est définie de manière à ce que la valeur de seuil L ne dépasse pas une distance horizontale 1101 de l'extrémité d'un doigt au poignet au moment de toucher la table avec l'extrémité du doigt, alors que la valeur H est définie de manière à ce que la valeur H ne dépasse pas une hauteur 1102 du poignet au moment du contact tactile. Si la valeur de seuil L et la valeur H sont définies de telle manière qu'elles dépassent les limitations, la seconde valeur de seuil de hauteur dépasse les hauteurs du doigt et du poignet au moment du contact tactile. Cela peut provoquer une perte dans la zone extraite. Dans cet exemple de mode de réalisation, en tant qu'exemple conforme aux limitations décrites ci-dessus, les valeurs sont définies comme suit : valeur de seuil L = 80 mm, et valeur H = 30 mm. [0076] Se référant aux figures 10A à 12B, un exemple spécifique de correction de la seconde valeur de seuil est décrit. Les figures 10A à 12B illustrent, comme pour les figures 6B et 6C, des états dans lesquels le bord de la table est détecté de telle sorte que le bord se trouve à une position qui est plus proche de l'intérieur de la table que la position réelle. Les figures 10A, 11A, et 12A illustrent des vues en coupe transversale depuis un plan yz. Les figures 10B, 11B, et 12B illustrent des images du plateau de table 301 vu du haut le long de l'axe z. Les images sont capturées par le capteur d'image de télémétrie 105, et correspondent à des images d'entrée devant être fournies en entrée à l'appareil de traitement d'informations 100. Dans cet exemple de mode de réalisation, une image d'entrée réelle est une image de télémétrie. Les dessins montrent que l'intérieur de la frontière 701 est la première zone, et que l'extérieur est la seconde zone, et que la première zone est plus petite que la surface réelle du plateau de table 301. [0077] Dans cet exemple de mode de réalisation, lorsqu'une image de télémétrie correspondant à une image 1201 illustrée sur la figure 10B est fournie en entrée, une partie du doigt de l'utilisateur est extraite en tant que zone d'objet se trouvant dans la première zone de l'intérieur de la frontière 701, et à l'étape S404, une partie de la frontière 701 comportant la zone extraite est acquise. Dans cet exemple, il est émis l'hypothèse qu'une tangente 1202 est acquise. Les figures 11A et 11B illustrent que, dans une gamme de distances 1203 de la périphérie de la frontière, la seconde valeur de seuil de hauteur est corrigée à une faible valeur selon la distance par rapport à la tangente 1202. Une ligne discontinue 1204 indique la seconde valeur de seuil corrigée. La figure 12B illustre, dans la seconde zone de l'extérieur de la frontière 701 dans l'image 1201, une partie extraite en tant que zone d'objet en noir. A la périphérie de la frontière, comme la valeur de seuil de hauteur est corrigée à une faible valeur, il ne se produit aucune perte dans la zone d'objet. Par conséquent, même si une partie de la table est placée à une position inférieure à la valeur de seuil indiquée par la ligne discontinue 1204, la distance devant être détectée en tant que zone d'objet est limitée à une zone très proche de la zone d'objet ayant été extraite dans la première zone. Par conséquent, la forme de la zone d'objet combinée n'est pas fortement déformée, et l'apparition d'un bruit est réduite. [0078] Le traitement destiné à corriger la valeur de seuil de hauteur à l'étape S803 peut être omis dans un état illustré sur la figure 6A, dans lequel la frontière entre la première zone et la seconde zone est acquise avec précision. A titre d'exemple, lorsque l'utilisateur fournit directement en entrée des informations de position indiquant la frontière, ou lorsque la partie de bord de la table est détectée avec précision selon le traitement de détection de bord effectué dans une image en lumière visible, il se peut que la probabilité que le plateau de table fasse partie de la seconde zone soit faible. Dans le cas où la correction peut être omise, dans la première zone, un procédé consistant à utiliser une hauteur relative par rapport au plateau de table en tant que hauteur de référence peut être utilisé, et dans la seconde zone, un procédé consistant à utiliser une hauteur de référence sur la base de la détection du bord de la table peut être utilisé. Cela permet une détection précise d'une main d'un utilisateur se trouvant au-dessus du bord de la table. [0079] Dans le premier exemple de mode de réalisation, selon la distance par rapport à la frontière correspondant au bord de la table comportant la zone d'objet extraite dans la zone comportant la table, la seconde valeur de seuil de hauteur est corrigée. En variante, le traitement effectué à l'étape S404 peut être omis, et à l'étape S802, une distance la plus courte entre la ligne de frontière des zones et le pixel cible peut être acquise. [0080] La valeur de seuil de la hauteur corrigée par le traitement de correction de la seconde valeur de seuil de hauteur selon le premier exemple de mode de réalisation est définie, dans la seconde zone, en tant que valeur plus élevée que le plateau de table réel, de sorte qu'il peut devenir difficile de détecter un objet se trouvant au-dessus du plateau de table. Dans un cas où un objet qui ne s'étend pas au-dessus de la frontière entre les première et seconde zones doit être détecté, le traitement peut être effectué séparément en utilisant la seconde valeur de seuil de hauteur qui n'a pas encore été corrigée. Par conséquent, afin de détecter un objet se trouvant à l'extérieur la table, cette modification peut être utilisée en variante ou peut être utilisée en association avec le premier exemple de mode de réalisation afin d'augmenter les performances d'extraction. [0081] Dans le premier exemple de mode de réalisation, à l'étape S406, il est reconnu si la zone extraite est une main de l'utilisateur sur la base de la forme (taille, degré de circularité, rapport de dimensions et degré d'irrégularité) et des informations de couleur de la zone d'objet extraite afin de réduire l'éventualité que l'opération soit incorrectement reconnue du fait d'un objet autre que l'objet d'opération. En variante, sur la base d'une grandeur d'entrée dans la table, l'objet peut être reconnu. A titre d'exemple, il est émis l'hypothèse qu'une zone d'une zone d'objet extraite dans la première zone est une grandeur d'entrée, et la totalité d'une zone d'une zone d'objet extraite dans les première et seconde zones est une taille. Une détermination de valeur de seuil est alors effectuée afin de déterminer si la grandeur d'entrée et la taille se situent respectivement à l'intérieur des gammes de distances appropriées. Cela permet d'éliminer une zone d'objet d'aspect non naturel. [0082] En outre, le premier exemple de mode de réalisation peut être appliqué, au lieu de l'interface de plateau de table, à un système destiné à extraire une zone comportant un objet se trouvant dans l'avant-plan d'un plateau de table qui est un arrière-plan à partir d'une image de télémétrie obtenue en capturant un espace comportant le plateau de table. [0083] Un second exemple de mode de réalisation ayant, en plus du premier exemple de mode de réalisation, une configuration permettant de réduire un écart généré en tant que résultat du traitement de valeur de seuil effectué dans chacune de la première zone et de la seconde zone, va maintenant être décrit. Etant donné qu'un aspect d'un traitement d'informations système et qu'une configuration matérielle du second exemple de mode de réalisation sont semblables à ceux du premier exemple de mode de réalisation décrit en référence à la figure 1 et à la figure 2, les mêmes références numériques sont utilisées et les descriptions détaillées sont omises. Cependant, dans une configuration fonctionnelle conforme au second exemple de mode de réalisation, l'unité de détermination de seuil 204 du second exemple de mode de réalisation comporte une pluralité de valeurs candidates pour la seconde valeur de seuil de hauteur, et sélectionne une valeur de seuil ayant un faible un écart par rapport à un résultat d'extraction d'une zone d'objet se trouvant dans la première zone. [0084] Se référant à l'organigramme représenté sur la figure 13, un traitement de reconnaissance de gestes du second exemple de mode de réalisation est décrit. Ce traitement est mis en oeuvre par la CPU 101, qui constitue les unités fonctionnelles dans l'appareil de traitement d'informations, en chargeant un programme stocké dans la ROM 102 vers la RAM 103 et en exécutant le programme. Ce traitement commence en réponse à la fourniture en entrée d'une image de télémétrie capturée par le capteur d'image de télémétrie 105 dans l'unité d'acquisition d'image 201.
La figure 15 illustre des exemples de modification de zones d'objets extraites à un stade où le traitement effectué à chaque étape de l'organigramme représenté sur la figure 13 est effectué. Sur la figure 13, dans les étapes ayant les mêmes références numériques que celles de l'organigramme représenté sur la figure 3, un traitement semblable à celui représenté sur la figure 3 est effectué, de telle sorte que les descriptions détaillées sont omises et que les différences par rapport à la figure 3 seront décrites. [0085] Dans le second exemple de mode de réalisation, 25 à l'étape S403, un objet se trouvant dans la première zone est extrait, et le traitement passe à l'étape S1301. [0086] À l'étape S1301, l'unité de détermination de seuil 204 détermine si une seconde valeur de seuil de hauteur a été déterminée. Plus précisément, l'unité de 30 détermination de seuil 204 effectue sa détermination sur la base du fait de savoir si les informations d'une seconde valeur de seuil de hauteur déterminée sont stockées dans la RAM 103. Si une seconde valeur de seuil de hauteur présente n'a pas été déterminée, c'est-à-dire, n'a pas fait l'objet 35 d'une décision (NON à l'étape S1301), à l'étape S1302, une seconde valeur de seuil de hauteur est déterminée. [0087] Se référant à l'organigramme représenté sur la figure 14 et la figure 15, une séquence du traitement de détermination de la seconde valeur de seuil de hauteur (S1302) devant être effectuée par l'unité de détermination de seuil 204, qui est une unité fonctionnelle dans la CPU 101, est décrite. À l'étape S1401, l'unité de détermination de seuil 204 détermine N valeurs candidates In (n = 0, ... N-1) de la seconde valeur de seuil de hauteur. Une pluralité de valeurs candidates In sont fournies en utilisant une hauteur de plateau de table attendue en tant que référence, et avec une gamme de distances comportant des valeurs supérieure et inférieure. A titre d'exemple, en effectuant un traitement semblable à celui représenté à l'étape S401, une hauteur devant être une hauteur de référence est calculée, et une pluralité de valeurs se situant l'intérieur d'une gamme de distances prédéterminée comportant des valeurs supérieure et inférieure sont déterminées. En variante, à titre d'exemple, des valeurs candidates déterminées à l'avance sur la base d'une relation de position fixe entre le capteur d'image de télémétrie 105 et le plateau de table 301 peuvent être lues depuis dispositif de stockage 104 ou autre et être déterminées. Par rapport aux valeurs candidates respectives In, le traitement allant de l'étape S1402 à l'étape S1404 est alors effectué de façon répétée. À l'étape S1402, des pixels se situant à l'intérieur de la table dans l'image sont balayés, et une zone d'une hauteur de In ou plus est extraite. Dans l'exemple illustré sur la figure 15, une zone 1502 est extraite. À l'étape S1403, une différence par rapport à la zone d'objet dans la première zone extraite à l'étape S404 est acquise. Dans cet exemple de mode de réalisation, une opération OU exclusif est effectuée. Dans le cas de la figure 15, une différence 1503 entre une zone d'objet 1501 extraite dans la première zone et une zone 1502 extraite à l'étape S1402 est acquise. À l'étape S1404, la CPU 101 acquiert le nombre des pixels. Le traitement décrit ci-dessus est effectué par rapport chaque In (n = 0, ..., N-1). À l'étape S1405, l'unité de détermination de seuil 204 détermine la valeur In qui présente le plus faible nombre de pixels de différence comme étant les secondes valeurs de seuil de hauteur, et stocke les informations dans la RAM 103. Sur la figure 15, la hauteur des valeurs de seuil diminue à mesure que le traitement allant de l'étape S1402 à l'étape S1404 est répété, et au stade où 12 est utilisé, le nombre de pixels de différence acquis devient le plus faible. Conformément au traitement de détermination de seconde valeur de seuil de hauteur décrit ci-dessus, une valeur de seuil ayant une faible différence de références d'extraction entre l'intérieur et l'extérieur de la table peut être acquise.
En réponse à la détermination de la seconde valeur de seuil de hauteur, le traitement retourne à l'organigramme représenté sur la figure 13, et le traitement effectué à l'étape S406 et des étapes suivantes est effectué. [0088] Dans le second exemple de mode de réalisation, 20 après que le traitement destiné à reconnaître une opération tactile a été effectué à l'étape S408, le traitement passe à l'étape S1303, et l'unité de détermination de seuil 204 détermine si une opération tactile a été effectuée. Si une opération tactile a été effectuée (OUI à l'étape S1303), le 25 traitement passe à l'étape S1304. Par ailleurs, pendant un temps d'attente prédéterminé lors du traitement effectué à l'étape S408, si aucune opération tactile n'est effectuée sur le plateau de table avec une extrémité de doigt de l'utilisateur, l'unité de détermination de seuil 204 30 détermine qu'aucune opération tactile n'a été effectuée (NON à l'étape S1303), et le traitement passe à l'étape S409. À l'étape S1304, l'unité de détermination de seuil 204 détermine de nouveau la seconde valeur de seuil de hauteur. Le traitement de détermination de seconde valeur 35 de seuil de hauteur effectué à l'étape S1304, comme pour que à l'étape S1302, est effectuée selon l'organigramme représenté sur la figure 14. Lorsque l'utilisateur effectue l'opération tactile, la main de l'utilisateur se trouve à une hauteur en contact avec le plateau de table. Par conséquent, au moment où l'opération tactile est effectuée, le traitement de détermination de la valeur de seuil de hauteur correspondant à la hauteur de la table est effectué de nouveau, cela permettant de calculer une valeur de seuil de hauteur permettant une reconnaissance encore plus précise de la table et d'une main. Il n'est pas toujours nécessaire de déterminer de nouveau la valeur de seuil chaque fois qu'une opération tactile est effectuée, et les instants d'exécution du traitement peuvent être limités. A titre d'exemple, la valeur de seuil est de nouveau déterminée lorsqu'une première opération tactile est effectuée après une opération de démarrage de l'appareil de traitement d'informations 100. Comme décrit ci-dessus, les instants d'exécution du traitement sont limités à une utilisation préférentielle de capacité de traitement de la CPU 101 pour une réponse à une opération tactile. [0089] Le second exemple de mode de réalisation peut être appliqué, au lieu de l'interface de plateau de table, à un système destiné à extraire une zone comportant un objet se trouvant à l'avant-plan d'un plateau de table qui est un arrière-plan d'une image de télémétrie obtenue en capturant un espace comportant le plateau de table. [0090] Conformément aux exemples de modes de réalisation de la présente invention, dans un espace comportant une pluralité de zones présentant des conditions d'arrière-plan différentes, une reconnaissance d'objet précise peut être effectuée. [0091] Des modes de réalisation de la présente invention peuvent également être mis en oeuvre par un ordinateur d'un système ou d'un appareil qui lit et exécute des instructions exécutables sur ordinateur enregistrées sur un support de stockage (par exemple, un support de stockage lisible par ordinateur non volatil) afin de mettre en oeuvre les fonctions d'un ou plusieurs des mode(s) de réalisation décrit(s) ci-dessus de la présente invention, et par un procédé mis en oeuvre par l'ordinateur du système ou d'un appareil, par exemple, en lisant et en exécutant les instructions exécutables sur ordinateur à partir du support de stockage afin de mettre en oeuvre les fonctions d'un ou plusieurs des mode(s) de réalisation décrit(s) ci-dessus. L'ordinateur peut comprendre un ou plusieurs d'une unité centrale de traitement (CPU), d'une unité à microprocesseur (MPU), ou d'autres circuits, et peut comprendre un réseau d'ordinateurs séparés ou de processeurs d'ordinateurs séparés. Les instructions exécutables sur ordinateur peuvent être fournies à l'ordinateur, par exemple a partir d'un réseau ou du support de stockage. Le support de stockage peut par exemple comprendre un ou plusieurs d'un disque dur, d'une mémoire vive (RAM), d'une mémoire morte (ROM), d'une unité de stockage de systèmes informatiques distribués, d'un disque optique (tel qu'un disque compact (CD), un disque numérique polyvalent (DVD), ou un disque Blu-Ray (BO)m), d'un dispositif de mémoire flash, d'une carte mémoire, etc. [0092] Alors que la présente invention a été décrite en référence à des exemples de modes de réalisation, il est à noter que l'invention n'est pas limitée aux exemples de modes de réalisation divulgués.

Claims (16)

  1. REVENDICATIONS1. Appareil de traitement d'informations comprenant : une unité d'acquisition d'image configurée pour acquérir une image d'entrée et, pour chaque pixel de l'image d'entrée, des informations de position dans un espace comportant une surface prédéterminée faisant partie d'un arrière-plan ; et une unité d'extraction configurée pour extraire de l'image d'entrée acquise, dans une zone correspondant à une partie de l'espace comportant la surface dans l'arrière-plan, une zone d'objet correspondant à un objet se trouvant dans l'avant-plan par rapport à la surface, sur la base d'informations de position de l'objet se trouvant dans l'image d'entrée acquise, des informations de position de la surface, et d'une première référence, et pour extraire de l'image d'entrée acquise, dans une zone correspondant à une partie de l'espace ne comportant pas la surface dans l'arrière-plan, une zone d'objet correspondant à l'objet se trouvant dans l'avant-plan par rapport à la surface, sur la base des informations de position de l'objet se trouvant dans l'image d'entrée acquise, et d'une seconde référence différente de la première référence.
  2. 2. Appareil de traitement d'informations selon la revendication 1, dans lequel la première référence est une référence en rapport avec une distance d'une partie par rapport à la surface, acquise à partir des informations de position de cette partie dans l'image d'entrée acquise, et les informations de position concernant la surface.
  3. 3. Appareil de traitement d'informations selon la 30 revendication 2, dans lequel, dans la zone correspondant la partie de l'espace comportant la surface dans l'arrière-plan, l'unité d'extraction extrait, en tant que zone d'objet, de l'image d'entrée acquise, une partie dans laquelle la distance par rapport à la surface, acquise à 35 partir des informations de position de cette partie dansl'image d'entrée acquise, est supérieure à la première référence.
  4. 4. Appareil de traitement d'informations selon la revendication 1, dans lequel la seconde référence est une référence en rapport avec des informations de position le long d'un axe dans une direction formant une intersection avec la surface, et dans lequel, dans la zone correspondant à la partie de l'espace ne comportant pas la surface dans l'arrière-plan, l'unité d'extraction extrait en tant que zone d'objet, de l'image d'entrée acquise, une partie ayant des informations de position le long de l'axe dans une direction formant une intersection avec la surface indiquant une position qui est plus proche du côté de l'avant-plan que la surface.
  5. 5. Appareil de traitement d'informations selon la revendication 1, comprenant en outre une unité de reconnaissance configurée pour reconnaître une entrée d'opération dans l'appareil de traitement d'informations sur la base de la totalité d'une forme d'une zone d'objet combinée obtenue en combinant les zones d'objets extraites par l'unité d'extraction.
  6. 6. Appareil de traitement d'informations selon la revendication 5, dans lequel, s'il est déterminé que l'objet est une main d'un utilisateur dans une pose pointant dans une direction sur la base de la forme de la zone d'objet combinée, l'unité de reconnaissance reconnaît un contact tactile sur la surface avec l'extrémité du doigt de l'utilisateur sur la base d'informations de position de l'extrémité d'un doigt de l'utilisateur acquises à partir de l'image d'entrée, et s'il est déterminé que l'objet se trouvant dans la zone d'objet n'est pas une main d'un utilisateur dans une pose pointant dans une direction, l'unité de reconnaissance ne reconnaît pas de contact tactile sur la surface par l'objet.
  7. 7. Procédé de commande d'un appareil de traitement d'informations, le procédé consistant à :acquérir une image d'entrée et, pour chaque pixel de l'image d'entrée, des informations de position dans un espace comportant une surface prédéterminée faisant partie d'un arrière-plan ; extraire de l'image acquise, dans une zone correspondant à une partie de l'espace comportant la surface dans l'arrière-plan, une zone d'objet correspondant à un objet se trouvant dans l'avant-plan par rapport à la surface, sur la base d'informations de position de l'objet se trouvant dans l'image d'entrée acquise, des informations de position de la surface, et d'une première référence, et extraire, de l'image d'entrée acquise, dans une zone correspondant à une partie de l'espace ne comportant pas la surface dans l'arrière-plan, une zone d'objet correspondant à l'objet se trouvant dans l'avant-plan par rapport à la surface, sur la base des informations de position de l'objet se trouvant dans l'image d'entrée acquise, et d'une seconde référence différente de la première référence.
  8. 8. Support de stockage lisible par ordinateur stockant 20 un programme d'ordinateur pour amener un ordinateur à exécuter le procédé selon la revendication 7.
  9. 9. Appareil de traitement d'informations comprenant : une unité d'acquisition configurée pour acquérir une image de télémétrie dans laquelle des informations de 25 distance correspondant à une direction de la hauteur sont représentées par une valeur de pixel dans un espace comportant une table ; et une unité d'extraction configurée, dans une première zone comportant une surface supérieure de la table dans un 30 arrière-plan, pour extraire de l'image de télémétrie en tant que zone d'objet correspondant à un objet se trouvant à une position plus élevée que la table dans l'espace, une partie ayant une valeur de pixel indiquant qu'une hauteur relative par rapport au plateau de table est plus élevée 35 qu'une première valeur de seuil, et pour extraire de l'image de télémétrie, dans une seconde zone ne comportantpas le plateau de table dans l'arrière-plan, en tant que zone d'objet, une partie ayant une valeur de pixel indiquant une hauteur plus élevée qu'une seconde valeur de seuil définie sur la base d'une hauteur de la surface supérieure de la table en tant que zone d'objet.
  10. 10. Appareil de traitement d'informations selon la revendication 9, comprenant en outre une première unité de détermination configurée pour déterminer en tant que seconde valeur de seuil, une valeur correspondant à la hauteur de la surface supérieure de la table acquise à l'avance sur la base d'une valeur de pixel d'une image de télémétrie acquise par l'unité d'acquisition.
  11. 11. Appareil de traitement d'informations selon la revendication 10, dans lequel la première unité de détermination corrige la seconde valeur de seuil d'une quantité de correction correspondant à une distance d'une partie contenue dans une frontière entre la première zone et la seconde zone, dans la zone d'objet extraite de la première zone par l'unité d'extraction.
  12. 12. Appareil de traitement d'informations selon la revendication 10, dans lequel la première unité de détermination corrige la seconde valeur de seuil à une valeur correspondant à une hauteur inférieure à la hauteur de la surface supérieure de la table à une position contenue à la périphérie de la partie contenue dans la frontière entre la première zone et la seconde zone, et corrige la seconde valeur de seuil à une valeur correspondant à une hauteur plus élevée que la hauteur de la surface supérieure de la table à une position non contenue à la périphérie de la partie contenue dans la frontière entre la première zone et la seconde zone, dans la zone d'objet extraite de la première zone par l'unité d'extraction.
  13. 13. Appareil de traitement d'informations selon la 35 revendication 10, dans lequel la première unité de détermination détermine une pluralité de candidates pour laseconde valeur de seuil sur la base de la hauteur de la surface supérieure de la table acquise sur la base d'une valeur de pixel d'une image de télémétrie acquise à l'avance par l'unité d'acquisition, et détermine une valeur devant être utilisée pour l'extraction d'une zone d'objet dans la seconde zone parmi la pluralité de candidates sur la base de la taille d'une zone d'objet extraite de la première zone.
  14. 14. Appareil de traitement d'informations selon la 10 revendication 9, comprenant en outre une seconde unité de détermination configurée pour déterminer une valeur de la seconde valeur de seuil, dans lequel la seconde unité de détermination détermine, au moment où un contact tactile de l'objet se 15 trouvant dans la zone d'objet sur le plateau de table est reconnu, une valeur de la seconde valeur de seuil en se basant de nouveau sur des informations de hauteur acquises à partir d'une partie de la zone d'objet extraite par l'unité d'extraction. 20
  15. 15. Procédé de commande d'un appareil de traitement d'informations, le procédé consistant à : acquérir une image de télémétrie dans laquelle des informations de distance correspondant à une direction de la hauteur sont représentées par une valeur de pixel dans 25 un espace comportant une table ; extraire, dans une première zone comportant une surface supérieure de la table dans un arrière-plan, en tant que zone d'objet correspondant à un objet se trouvant à une position plus élevée que la table dans l'espace, une 30 partie ayant une valeur de pixel indiquant qu'une hauteur relative par rapport au plateau de table est plus élevée qu'une première valeur de seuil, et extraire de l'image de télémétrie acquise, dans une seconde zone ne comportant pas le plateau de table dans 35 l'arrière-plan, en tant que zone d'objet, une partie ayant une valeur de pixel indiquant une hauteur plus élevéequ'une seconde valeur de seuil définie sur la base d'une hauteur de la surface supérieure de la table.
  16. 16. Support de stockage lisible par ordinateur stockant un programme d'ordinateur pour amener un 5 ordinateur à exécuter le procédé selon la revendication 15.
FR1556329A 2014-07-09 2015-07-03 Appareil de traitement d'informations destine a detecter un objet a partir d'une image, procede destine a commander l'appareil, et support de stockage Active FR3023629B1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014141805 2014-07-09
JP2014141805A JP6335695B2 (ja) 2014-07-09 2014-07-09 情報処理装置、その制御方法、プログラム、及び記憶媒体

Publications (2)

Publication Number Publication Date
FR3023629A1 true FR3023629A1 (fr) 2016-01-15
FR3023629B1 FR3023629B1 (fr) 2020-02-07

Family

ID=54013720

Family Applications (1)

Application Number Title Priority Date Filing Date
FR1556329A Active FR3023629B1 (fr) 2014-07-09 2015-07-03 Appareil de traitement d'informations destine a detecter un objet a partir d'une image, procede destine a commander l'appareil, et support de stockage

Country Status (5)

Country Link
US (1) US10042426B2 (fr)
JP (1) JP6335695B2 (fr)
DE (1) DE102015110955A1 (fr)
FR (1) FR3023629B1 (fr)
GB (1) GB2530150B (fr)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9880267B2 (en) * 2015-09-04 2018-01-30 Microvision, Inc. Hybrid data acquisition in scanned beam display
US9858476B1 (en) * 2016-06-30 2018-01-02 Konica Minolta Laboratory U.S.A., Inc. Method for recognizing table, flowchart and text in document images
JP6814053B2 (ja) * 2017-01-19 2021-01-13 株式会社日立エルジーデータストレージ 物体位置検出装置
DE102018205664A1 (de) * 2018-04-13 2019-10-17 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung zur Assistenz eines Insassen im Innenraum eines Kraftfahrzeugs
JP7241598B2 (ja) * 2019-04-26 2023-03-17 株式会社日立ハイテク 画像処理方法、画像処理装置及び画像処理システム
JP2021047757A (ja) * 2019-09-20 2021-03-25 キヤノン株式会社 画像処理装置、撮像装置、制御方法およびプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1879130A2 (fr) * 2006-07-13 2008-01-16 Northrop Grumman Corporation Système d'interface de reconnaissance de geste
US20110316767A1 (en) * 2010-06-28 2011-12-29 Daniel Avrahami System for portable tangible interaction
FR2970797A1 (fr) * 2011-01-25 2012-07-27 Intui Sense Dispositif a commandes tactile et gestuelle et procede d'interpretation de la gestuelle associe

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3834766B2 (ja) * 2000-04-03 2006-10-18 独立行政法人科学技術振興機構 マンマシーン・インターフェース・システム
JP4389602B2 (ja) * 2004-02-24 2009-12-24 パナソニック電工株式会社 物体検出装置、物体検出方法、プログラム
US8144118B2 (en) * 2005-01-21 2012-03-27 Qualcomm Incorporated Motion-based tracking
JP2007064894A (ja) 2005-09-01 2007-03-15 Fujitsu Ten Ltd 物体検出装置、物体検出方法および物体検出プログラム
US8180114B2 (en) * 2006-07-13 2012-05-15 Northrop Grumman Systems Corporation Gesture recognition interface system with vertical display
US9696808B2 (en) * 2006-07-13 2017-07-04 Northrop Grumman Systems Corporation Hand-gesture recognition method
EP2050067A1 (fr) * 2006-08-03 2009-04-22 Alterface S.A. Procédé et dispositif permettant d'identifier et d'extraire des images de plusieurs utilisateurs et de reconnaître les gestes des utilisateurs
GB2456247B (en) * 2006-10-10 2009-12-09 Promethean Ltd Interactive display system with master/slave pointing devices
CN101303634B (zh) * 2007-05-09 2012-05-23 鸿富锦精密工业（深圳）有限公司 便携式电子设备
US9377874B2 (en) * 2007-11-02 2016-06-28 Northrop Grumman Systems Corporation Gesture recognition light and video image projector
US8555207B2 (en) * 2008-02-27 2013-10-08 Qualcomm Incorporated Enhanced input using recognized gestures
US8624962B2 (en) * 2009-02-02 2014-01-07 Ydreams—Informatica, S.A. Ydreams Systems and methods for simulating three-dimensional virtual interactions from two-dimensional camera images
CN101872270B (zh) * 2009-04-25 2013-09-18 鸿富锦精密工业（深圳）有限公司 触控装置
US9498718B2 (en) * 2009-05-01 2016-11-22 Microsoft Technology Licensing, Llc Altering a view perspective within a display environment
US20100315413A1 (en) * 2009-06-16 2010-12-16 Microsoft Corporation Surface Computer User Interaction
WO2010150201A1 (fr) * 2009-06-25 2010-12-29 Koninklijke Philips Electronics N.V. Reconnaissance gestuelle faisant intervenir l'incrustation couleur
JP5201096B2 (ja) * 2009-07-17 2013-06-05 大日本印刷株式会社 対話操作装置
WO2012020410A2 (fr) * 2010-08-10 2012-02-16 Pointgrab Ltd. Système et procédé permettant une interaction utilisateur avec un contenu projeté
JP2013134549A (ja) * 2011-12-26 2013-07-08 Sharp Corp データ入力装置およびデータ入力方法
CN105723300B (zh) * 2013-09-24 2020-10-27 惠普发展公司，有限责任合伙企业 基于表示对象的图像确定分割边界
JP6326847B2 (ja) * 2014-02-14 2018-05-23 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1879130A2 (fr) * 2006-07-13 2008-01-16 Northrop Grumman Corporation Système d'interface de reconnaissance de geste
US20110316767A1 (en) * 2010-06-28 2011-12-29 Daniel Avrahami System for portable tangible interaction
FR2970797A1 (fr) * 2011-01-25 2012-07-27 Intui Sense Dispositif a commandes tactile et gestuelle et procede d'interpretation de la gestuelle associe

Also Published As

Publication number Publication date
US10042426B2 (en) 2018-08-07
DE102015110955A1 (de) 2016-01-14
US20160011670A1 (en) 2016-01-14
GB201512040D0 (en) 2015-08-19
GB2530150A (en) 2016-03-16
JP6335695B2 (ja) 2018-05-30
JP2016018458A (ja) 2016-02-01
FR3023629B1 (fr) 2020-02-07
GB2530150B (en) 2017-01-18

Similar Documents

Publication Publication Date Title
FR3023629A1 (fr) Appareil de traitement d'informations destine a detecter un objet a partir d'une image, procede destine a commander l'appareil, et support de stockage
US10324563B2 (en) Identifying a target touch region of a touch-sensitive surface based on an image
FR3023632A1 (fr)
US10456918B2 (en) Information processing apparatus, information processing method, and program
US10156937B2 (en) Determining a segmentation boundary based on images representing an object
EP3101624A1 (fr) Procédé de traitement d'image et dispositif de traitement d'image
US20220392184A1 (en) Image processing to detect a rectangular object
US10664090B2 (en) Touch region projection onto touch-sensitive surface
US20180197047A1 (en) Stereoscopic object detection leveraging expected object distance
US9733764B2 (en) Tracking of objects using pre-touch localization on a reflective surface
BE1022630A1 (fr) Procédé et système pour déterminer des candidats points de fuite pour la correction projective
US9823782B2 (en) Pre-touch localization on a reflective surface
US10606468B2 (en) Dynamic image compensation for pre-touch localization on a reflective surface
US20170300174A1 (en) Transforming received touch input
US9232132B1 (en) Light field image processing
TWI566126B (zh) 從影像發展出脈絡資訊之技術
FR3048108B1 (fr) Procede de reconnaissance de la disposition d'une main dans un flux d'images
BE1023596B1 (fr) Système interactif basé sur des gestes multimodaux et procédé utilisant un seul système de détection

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLFP Fee payment

Year of fee payment: 3

PLSC Publication of the preliminary search report

Effective date: 20180323

PLFP Fee payment

Year of fee payment: 4

PLFP Fee payment

Year of fee payment: 5

PLFP Fee payment

Year of fee payment: 6

PLFP Fee payment

Year of fee payment: 7

PLFP Fee payment

Year of fee payment: 8

PLFP Fee payment

Year of fee payment: 9