FR2872660A1 - Appareil de prise de vue et procede pour la formation d'images annotees - Google Patents

Appareil de prise de vue et procede pour la formation d'images annotees Download PDF

Info

Publication number
FR2872660A1
FR2872660A1 FR0407410A FR0407410A FR2872660A1 FR 2872660 A1 FR2872660 A1 FR 2872660A1 FR 0407410 A FR0407410 A FR 0407410A FR 0407410 A FR0407410 A FR 0407410A FR 2872660 A1 FR2872660 A1 FR 2872660A1
Authority
FR
France
Prior art keywords
image
annotation
annotated
additional
additional image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR0407410A
Other languages
English (en)
Other versions
FR2872660B1 (fr
Inventor
Jean Marie Vau
Christophe Edmond Mauric Papin
Olivier Marc Antoine Rigault
Thierry Lebihen
Olivier Laurent Robert Seignol
Nicolas Patrice Berna Touchard
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intellectual Ventures Fund 83 LLC
Original Assignee
Eastman Kodak Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eastman Kodak Co filed Critical Eastman Kodak Co
Priority to FR0407410A priority Critical patent/FR2872660B1/fr
Priority to US11/571,570 priority patent/US8035657B2/en
Priority to EP05759221.4A priority patent/EP1766958B1/fr
Priority to JP2007519642A priority patent/JP4576427B2/ja
Priority to PCT/EP2005/006308 priority patent/WO2006002745A1/fr
Priority to CN200580022699.0A priority patent/CN1981511B/zh
Publication of FR2872660A1 publication Critical patent/FR2872660A1/fr
Application granted granted Critical
Publication of FR2872660B1 publication Critical patent/FR2872660B1/fr
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3871Composing, repositioning or otherwise geometrically modifying originals the composed originals being of different kinds, e.g. low- and high-resolution originals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

L'invention concerne une procédé d'annotation d'images saisies par un appareil de prise de vue numérique pourvu d'une moyen de prévisualisation, comprenant :- la fourniture sur l'appareil de prise de vue d'un mode de fonctionnement permettant à un utilisateur de sélectionner une image (12) devant être annotée, et de saisir au moins une image additionnelle pré-visualisée,- l'extraction automatique (20) d'une annotation (A) de l'image additionnelle, et- la formation (22) d'une nouvelle image par combinaison de l'annotation (A), et de l'image devant être annotée (12) et en respectant, dans la nouvelle image, un emplacement et un rapport de grandissement de l'annotation sensiblement identiques à ceux de l'annotation dans l'image additionnelle.

Description

APPAREIL DE PRISE DE VUE ET PROCEDE POUR LA FORMATION
D'IMAGES ANNOTEES Domaine technique L'invention exposée dans le présent titre, se rapporte à la formation d'images annotées. Les images, saisies par des équipements portables et transmises à des destinataires par voie électronique, sont encore désignées par cartes postales électroniques . Elles sont devenues un vecteur d'échange très prisé par les utilisateurs d'appareils photographiques numériques. Ceci est le cas notamment pour les utilisateurs d'appareils numériques portables combinant des fonctions de télécommunication et de prise de vue. Parmi ces appareils, il convient de mentionner notamment les caméra-téléphones portables (phone-cam). L'invention concerne l'annotation personnalisée des images et cartes postales électroniques. Etat de la technique antérieure Le nombre croissant d'utilisateurs de caméra-téléphones a développé un mode de communication par l'image. Tout comme le son ou les messages électroniques, l'image est transmise et restituée par l'équipement portable des utilisateurs. Les caméra-téléphones ou les appareils de prise de vue numériques sont en effet pourvus généralement d'un petit écran de contrôle capable d'afficher des images. Une transmission vers un ordinateur domestique avec un écran de plus grande taille est bien sûr possible.
Les images ou cartes postales électroniques transmises sont formées à partir de photographies numériques. Elles peuvent être personnalisées de manière à porter une empreinte de la personnalité de l'envoyeur. Elles peuvent, par exemple, être annotées. Toutefois, en raison de la modestie de l'interface ou du clavier de commande des équipements portables, tels que les caméra-téléphones, la saisie des annotations est fastidieuse.
On connaît des dispositifs ou des procédés permettant d'associer des annotations manuelles à des images. On peut se référer à ce sujet aux documents (1) et (2) dont les références sont précisées à la fin de la description. Là encore, des interfaces relativement sophistiquées sont nécessaires. Il s'agit, par exemple, d'un scanner, susceptible de lire un document portant les annotations ou d'une surface tactile sur laquelle l'utilisateur peut porter les annotations au moyen d'un stylet. Une illustration en est donnée par le document (1). Cependant, les équipements portables, et en particulier les équipements visant un large public, sont généralement dépourvus de ces interfaces.
Une difficulté supplémentaire, qui apparaît lors de l'annotation d'une image, est liée à la détermination de la dimension relative de l'annotation par rapport à l'image et la position de l'annotation dans l'image. Cette difficulté tient également à la modestie de l'interface de commande des équipements portables. Le document (2) évoqué ci dessus propose la formation d'images composites incluant des annotations. Il prévoit toutefois des emplacements prédéterminés pour le report des annotations.
Le fait de prédéterminer des emplacements pour les annotations facilite les opérations que doit effectuer l'utilisateur, mais réduit les possibilités créatives qui lui sont offertes.
Exposé de l'invention La présente invention a pour but de proposer un procédé d'annotation d'images particulièrement convivial, destiné à être mis en oeuvre sur des appareils de prise de vue numériques, et notamment des caméra-téléphones.
Un but est de proposer un procédé autorisant des annotations, et notamment des annotations manuelles, à partir d'un équipement de prise de vue sommaire, dépourvu d'un clavier de commande ou d'une interface dédiés à cette fonction.
Un autre but est de proposer un procédé permettant une annotation particulièrement créative dans laquelle l'utilisateur peut, toujours sans interface de commande dédiée, contrôler de manière précise la taille et la disposition des annotations dans l'image.
Un autre but est de proposer un procédé permettant à cette annotation d'être perçue de manière optimale, et cela, quelque soit sa position dans l'image et donc quelque soit le contenu (couleur, texture) présent au voisinage de la zone annotée.
L'invention a encore pour but de proposer un appareil de prise de vue numérique permettant l'annotation d'images conformément au procédé.
Pour atteindre ces buts, l'invention a plus précisément pour objet un procédé d'annotation d'images saisies par un appareil de prise de vue numérique 5 pourvu d'un écran de contrôle, comprenant: - la fourniture sur l'appareil de prise de vue d'un mode de fonctionnement permettant à un utilisateur de sélectionner au moins une image, et de saisir au moins une image additionnelle, susceptible d'être pré-visualisée sur l'écran de contrôle, - l'extraction automatique d'une annotation de l'image additionnelle, et - la formation d'au moins une nouvelle image par combinaison de l'annotation et de l'image devant être annotée, en respectant, dans la nouvelle image, un emplacement et un rapport de grandissement de l'annotation sensiblement identiques à ceux de l'annotation dans l'image additionnelle.
Le procédé d'annotation peut être mis en oeuvre pour l'annotation d'une image unique ou d'une pluralité d'images. Il est notamment possible d'annoter une pluralité d'images d'une séquence vidéo pour former une séquence d'images annotées.
On entend par annotation tout élément susceptible d'être extrait de l'image additionnelle et introduit dans l'image à annoter. Il s'agit, par exemple, de caractères imprimés ou écrits à la main, de dessins, d'une signature, d'un logo, etc. Les couleurs originales associées à chacun des motifs à extraire peuvent être identifiées et conservées. Il convient de noter que des techniques d'extraction d'une annotation d'une image sont en soi connues. On peut se reporter, par exemple, au document (3) dont les références sont précisées à la fin de la description.
L'image devant être annotée et l'image additionnelle présentent ou non une même résolution. Lorsque les images devant être annotées sont saisies par 30 un appareil de prise de vue différent de celui utilisé pour saisir l'image additionnelle ou lorsqu'il s'agit d'images d'une séquence vidéo, alors leur résolution n'est pas nécessairement la même que celle de l'image additionnelle. Les images peuvent également avoir subi des modifications ou manipulations préalables. Le procédé peut donc comporter, si nécessaire, une étape supplémentaire de traitement consistant, par exemple, à redimensionner les images, à modifier leur résolution ou modifier le positionnement de l'annotation. Ces traitements peuvent avoir lieu lors de la formation de la nouvelle image, ou antérieurement à cette étape.
Grâce à l'invention, lorsque l'utilisateur souhaite porter une annotation manuscrite dans une image, il lui suffit d'écrire l'annotation sur n'importe quel support d'écriture ou moyen de tout crayon ou stylographe à sa disposition. Il saisit ensuite une image, en l'occurrence l'image additionnelle, en pointant l'appareil de prise de vue vers le support d'écriture qui porte l'annotation.
Comme la taille et l'emplacement de l'annotation sont respectées, c'est-àdire identiques dans l'image additionnelle et dans la nouvelle image composite créé, ces paramètres peuvent être contrôlés de manière très simple par l'utilisateur, sans interface de commande. En effet, l'emplacement de l'annotation est déterminée simplement en déplacent l'appareil de prise de vue par rapport au support qui porte l'annotation. La position de l'annotation peut-être contrôlée sur le moyen de prévisualisation de l'appareil de prise de vue. Le moyen de prévisualisation comprend, par exemple, un viseur et/ou un petit écran de contrôle.
De la même façon, la taille de l'annotation peut être déterminée simplement en approchant ou en éloignant l'appareil de prise de vue du support qui porte l'annotation. Si l'appareil est équipé d'un zoom, il est possible également de jouer sur le zoom pour déterminer la taille de l'annotation.
Finalement, lorsque l'annotation occupe l'emplacement et l'aire souhaités dans l'image additionnelle pré-visualisée sur l'écran de contrôle, l'utilisateur peut saisir cette image en actionnant le déclencheur de l'appareil de prise de vue.
Afin de faciliter encore le positionnement et le dimensionnement de l'annotation dans l'image définitive, il est possible de prévoir un affichage combiné de l'image devant être annotée et de l'image additionnelle pré-visualisée.
Les deux images peuvent être simplement superposées. Ceci peut avoir lieu, par exemple, au moyen d'un procédé de mise en transparence des images. Dans ce cas, et en considérant que l'image à annoter I' et l'image additionnelle I" sont de résolution identique, l'intensité associée à un pixel p situé à une position donnée (x,y) dans l'image composite sera fonction des intensités des deux pixels respectivement positionnés en (x,y) dans les image I' et I". Une fonction classique de transparence donne, par exemple, une contribution égale aux intensités des deux pixels dans la valeur finale.
A titre de variante, un affichage tour à tour de l'image à annoter et de l'image additionnelle, avec une alternance suffisamment rapide pour pouvoir estimer la position relative de leur contenu iconique, peut également être envisagé. Ainsi, l'utilisateur peut dimensionner et positionner l'annotation non seulement dans le cadre de l'image, mais aussi par rapport à des éléments du contenu iconique de l'image devant être annotée.
L'image additionnelle peut être pré-visualisée telle qu'elle est fournie par le capteur d'image de l'appareil de prise de vue, ou de manière à n'en faire apparaître que les annotations préalablement extraites. En effet, lorsque les capacités de calcul de l'équipement de prise de vue sont suffisantes, l'annotation peut être extraite en temps réel de l'image additionnelle fournie par l'appareil de prise de vue, et affichée de manière combinée avec l'image devant être annotée, lors de la prévisualisation. L'étape de pré-visualisation en temps réel peimet également à l'utilisateur, le cas échéant, de valider ou de modifier aisément le choix de la (ou des) couleur(s) utilisées pour l'affichage des annotations.
L'image devant être annotée peut être sélectionnée par l'utilisateur.
Il s'agit, par exemple, d'une image que l'utilisateur vient juste de saisir dans un mode de prise de vue normal. L'image devant être annotée peut aussi être une image déjà annotée, de manière à y porter des annotations supplémentaires. L'image devant être annotée peut encore être une image précédemment saisie et stockée dans une mémoire de l'appareil de prise de vue. L'image devant être annotée peut être une image téléchargée depuis un serveur d'un prestataire de conservation d'images ou une image reçue d'un autre utilisateur d'un appareil de prise de vue numérique pourvu de moyens de télécommunication d'images. Enfin, l'image devant être annotée peut se résumer à un simple fond uniforme auquel l'annotation est superposée.
La nouvelle image composite, qui inclut l'image devant être annotée et l'annotation, peut être formée en combinant les données de l'image devant être annotée et les données d'image de l'annotation. Ceci a toutefois pour effet de doubler le poids numérique de l'image. Une autre solution consiste à inclure les données de l'annotation dans une quatrième couche d'image s'ajoutant aux couches rouge, vert et bleu usuelles de l'image devant être annotée. La combinaison peut aussi être effectuée par remplacement de pixels de l'image devant être annotée par des pixels des annotations ayant les mêmes coordonnées dans l'image additionnelle. Il s'agit alors d'une fusion des deux images.
Encore une autre solution consiste à utiliser un format de codage vidéo permettant de générer de courtes séquences d'images dans lesquelles le contenu de l'image annotée apparaît progressivement à la manière d'une écriture ou d'un dessin progressifs. Par exemple, l'utilisation d'un codeur vidéo basé-objet tel que le MPEG-4 permet d'identifier des zones annotées comme étant un objet ou un ensemble d'objets identifiables et manipulables.
L'invention concerne également un appareil de prise de vue pour la mise en 20 oeuvre du procédé décrit ci dessus. Il s'agit notamment d'un appareil de prise de vue numérique comprenant: - des moyens de prévisualisation d'une image contenant une annotation, - des moyens d'extraction d'une annotation de l'image pré-25 visualisée, - des moyens de sélection d'une image devant être annotée, et - des moyens de formation d'une image composite par combinaison de l'image devant être annotée et de l'annotation.
Les moyens d'extraction de l'annotation, de même que les moyens 30 de formation de l'image composite peuvent être constitués par une unité de calcul intégrée dans l'appareil de prise de vue, ou par une unité de calcul distante avec laquelle l'appareil de prise de vue est en communication.
L'image composite est de préférence formée de manière à respecter l'emplacement et les dimensions de l'annotation, de la manière déjà évoquée 5 précédemment.
Les moyens de sélection de l'image devant être annotée comprennent, par exemple, un bouton ou une interface de commande qui permet de parcourir des fichiers d'images stockées dans une mémoire.
Enfin, les moyens de prévisualisation peuvent comporter un viseur ou un écran de contrôle sur lequel l'image additionnelle et / ou l'image devant être annotée peuvent être affichées. L'affichage concomitant, par superposition, par transparence, ou par alternance, peut être prévu comme indiqué précédemment.
L'appareil de prise de vue peut aussi comporter des moyens de télécommunication, et en particulier des moyens hertziens, donnant accès à un réseau de communication, tel que le réseau Internet. L'accès à un réseau de communication permet à l'utilisateur d'envoyer directement depuis son équipement portable les images annotées vers l'adresse électronique d'un destinataire de son choix.
La nouvelle image composite, est, par exemple, inclue dans un message de type MMS (Multimedia Messaging Service) en vue de sa transmission sous forme de mél (e-mail).
D'autres caractéristiques et avantages de l'invention ressortiront de la description qui va suivre, en référence aux figures des dessins annexés. Cette description est donnée à titre purement illustratif et non limitatif.
Brève description des figures
La figure 1 est un organigramme illustrant un procédé de formation d'une carte postale électronique par annotation d'une image, selon un procédé conforme à l'invention.
La figure 2 représente une image devant être annotée.
La figure 3 représente l'image devant être annotée inscrite dans un cadre d'annotation.
La figure 4 représente une image additionnelle saisie par un utilisateur afin d'en extraire une annotation.
La figure 5 montre une image composite combinant l'image devant être annotée et une annotation extraite de l'image additionnelle.
Les figures 6, 7 et 8 illustrent des étapes d'un procédé d'extraction d'une annotation.
La figure 9 est une représentation schématique simplifiée d'un appareil de prise de vue pour la mise en oeuvre du procédé de l'invention. Description détaillée de modes de mise en oeuvre de l'invention Dans la description qui suit, des parties identiques, similaires ou équivalentes des différentes figures sont repérées avec les mêmes références de manière à faciliter le report entre les figures. Par ailleurs, le terme image est utilisé à la fois pour désigner, une scène photographiée, l'image affichée, l'image saisie, et les données numériques de l'image. Une précision supplémentaire n'est donnée que lorsque la clarté de l'exposé l'exige.
Une première étape 10 de l'organigramme de la figure 1 est la saisie d'une image numérique d'une scène au moyen d'un appareil de prise de vue numérique 100, en l'occurrence une caméra-téléphone. L'image saisie constitue ici l'image devant être annotée 12.
Une image à annoter 12a peut aussi être tirée de la mémoire de l'appareil de prise de vue qui contient les fichiers des images saisies précédemment ou des images reçues par un canal de réception de télécommunication. Ainsi, une étape 14 de la figure 1 illustre une sélection de l'image devant être annotée parmi les images de la mémoire. La sélection peut être opérée en affichant successivement les images de la mémoire sur l'écran de contrôle de l'appareil de prise de vue et en invitant l'utilisateur à presser un bouton de validation lorsque l'image souhaitée apparaît.
Après la saisie ou la sélection de l'image, un choix supplémentaire 16 est offert à l'utilisateur d'annoter ou non l'image saisie. Ce choix est ici présenté comme un choix binaire. Il est toutefois possible d'afficher sur un écran de contrôle de l'appareil de prise de vue un menu offrant un choix entre un plus grand nombre de possibilités. Le menu peut en particulier proposer la possibilité d'intégrer l'image dans un format de présentation prédéterminé, par exemple, pour la transformer en carte postale électronique. Le menu peut encore proposer la possibilité de mémoriser l'image, celle de commander une épreuve de l'image, ou, en l'occurrence, la possibilité d'annoter l'image.
Lorsque l'utilisateur décide d'annoter l'image, il est invité à saisir une image additionnelle contenant l'annotation souhaitée. A cet effet, l'utilisateur peut, par exemple, écrire l'annotation souhaitée sur une feuille de papier, et saisir une image de la feuille de papier. Il peut également saisir une image de tout autre support qui porte une inscription, des caractères d'imprimerie, des caractères manuscrits, un dessin ou tout autre élément que l'utilisateur souhaite ajouter à l'image à titre d'annotation. Cette opération est indiquée avec la référence 18. La saisie de l'image additionnelle est précédée par l'affichage de l'image fournie par le capteur d'image 102 de l'appareil de prise de vue 100 de manière à permettre le contrôle du cadrage et du grandissement de l'image que l'utilisateur va saisir. L'affichage correspond simplement au mode usuel de prévisualisation d'une image dans le viseur ou sur l'écran de contrôle de l'appareil.
Bien que l'image additionnelle soit de préférence saisie postérieurement à l'image devant être annotée, cet ordre n'est pas impératif. Il est en effet possible de saisir séparément des images additionnelles avec des annotations et des images devant être annotées, dans un ordre quelconque, et effectuer ultérieurement le choix 16 de procéder ou non à l'annotation. Dans ce cas les différentes images sont mémorisées, de préférence dans deux registres distincts de la mémoire.
La référence 20 désigne une étape importante de l'invention qui consiste à extraire l'annotation de l'image additionnelle. Cette étape est décrite plus en détail en référence aux figures suivantes des dessins. L'extraction de l'annotation peut avoir lieu directement à partir de l'image additionnelle saisie en vue du positionnement et du contrôle du grandissement de l'annotation. II est également possible de saisir un seconde image additionnelle qui ne sert pas au positionnement de l'annotation ou au contrôle du grandissement, mais simplement à son extraction. La seconde image additionnelle est, par exemple, un gros plan sur l'annotation ou une partie de l'annotation.
L'extraction de l'annotation 20 peut aussi avoir lieu après la saisie 18, 18a des images additionnelles. Elle peut aussi avoir lieu avant la saisie, c'est-à- dire pendant la prévisualisation, de manière à permettre une prévisualisation non pas de l'image additionnelle, mais d'une image composite formée à partir de l'image devant être annotée et de l'annotation. Une puissance de calcul plus importante est toutefois requise.
Les données numériques relatives à l'annotation extraite peuvent 10 éventuellement être mémorisées, de manière à pouvoir être réutilisées à souhait pour l'annotation ultérieure d'autres images.
Le procédé de la figure 1 se poursuit par la combinaison 22 de l'image devant être annotée et de l'annotation extraite de l'image additionnelle. La combinaison peut prendre différentes formes. L'annotation peut être ajoutée comme une deuxième image, à l'image devant être annotée. Il en résulte une image composite dont le poids numérique est doublé par rapport à l'image initiale devant être annotée. Elle contient simplement le double de pixels. Une deuxième possibilité consiste à faire figurer l'annotation dans une quatrième couche de l'image devant être annotée comme indiqué précédemment, cette quatrième couche s'ajoute aux trois couches qui continent respectivement les données correspondant aux composantes rouge, vert, et bleu. Encore une autre possibilité consiste à utiliser, comme évoqué précédemment, un format de codage vidéo permettant de générer de courtes séquences d'images dans lesquelles le contenu de l'annotation apparaît progressivement, à la manière de quelqu'un qui écrit ou qui dessine.
Une étape additionnelle 24 peut comporter, selon le souhait de l'utilisateur, d'autres opérations de mise en forme d'une carte postale électronique ou de tout autre document électronique, à partir de l'image annotée. Il s'agit, par exemple, de l'insertion d'un titre ou d'une annotation préenregistrés, la création d'une marge, d'un cadre, la transformation d'une annotation manuscrite en une police de caractères, etc. En particulier, la conversion d'une annotation manuscrite en une police de caractères peut avoir lieu au moyen d'un logiciel de reconnaissance de caractères. De même, dans le cas d'une utilisation préalable d'outils de reconnaissance de caractères, des données audio correspondant à une voix de synthèse dictant le contenu textuel présent dans l'annotation extraite peuvent être ajoutées aux données de l'image. Ces opérations peuvent avoir lieu avant, pendant, ou après la formation de l'image combinée.
Enfin, une dernière étape 26, également optionnelle, consiste à encapsuler l'image combinée dans un MMS (unité de message multimédia) et à le transmettre vers un destinataire sélectionné par l'utilisateur. Cette étape peut aussi avoir lieu directement avec l'image saisie 12, sans annotations, comme le montre la flèche 27.
La figure 2 représente une image 12 saisie par l'utilisateur, et que l'utilisateur souhaite annoter avant de la transmettre vers un destinataire de son choix ou vers un prestataire d'impression. Il doit donc saisir également une image additionnelle contenant une annotation. L'annotation peut être superposée à l'image, c'est-à-dire portée dans le cadre de l'image. Il est également possible, comme le montre la figure 3, de définir un cadre F plus grand que l'image. Dans ce cas l'annotation peut être portée, à coté de l'image tout en respectant le cadre F. Des inscriptions supplémentaires préenregistrées, non visibles sur la figure 3, peuvent également être portées dans le cadre pour former une carte postale électronique personnalisée.
L'image additionnelle 13 est représentée à la figure 4. Il s'agit plus précisément de l'image pré-visualisée sur l'écran de contrôle de l'appareil de prise de vue, avant sa saisie par l'utilisateur. Il s'agit ici de l'image d'une feuille de papier sur laquelle l'utilisateur a porté une annotation. On constate que l'annotation A ne se distingue pas très bien du fond B de l'image. Ceci résulte, par exemple, du fait que l'annotation ait été portée sur du papier de couleur. De manière générale, des motifs présents sur le support d'écriture, tels que des carreaux ou des lignes, ou encore des ombres portées sur le support peuvent être éliminés par une séparation du fond et du signal à extraire.
L'annotation A est extraite de l'image additionnelle 13. Ceci revient à convertir l'image additionnelle en une image à 1 bit reproduisant seulement l'annotation. L'annotation ainsi extraite, peut être combinée à la première image 12, c'est à dire à l'image devant être annotée, de manière à produire une image composite 15 représentée à la figure 5.
Le résultat de l'extraction peut être une image binaire pour laquelle les pixels décrivant le fond ont une valeur déterminée,par exemple 0, et les pixels correspondant au signal extrait une autre valeur, par exemple 255. Lorsque l'on souhaite conserver l'information de couleur de l'annotation, il est possible de réserver toutes les valeurs entre 1 et 255 au contenu annoté tout en continuant d'attribuer la valeur 0 au fond. Il est également possible de produire un tableau contenant la localisation, et éventuellement la couleur associée, de chacun des pixels de l'annotation extraite.
L'annotation peut être extraite de l'image 13 ou d'une seconde image additionnelle 13a, esquissée en trait discontinu sur la figure 4. Comme évoqué précédemment, la seconde image additionnelle correspond, par exemple, à 15 un gros plan sur l'annotation. La saisie de la seconde image additionnelle est indiquée avec la référence 18a sur la figure 1.
Une possibilité d'extraction de l'annotation est décrite ci-après en référence aux figures 6 à 9. La principale difficulté dans l'extraction d'une annotation dans l'image additionnelle saisie consiste à distinguer l'annotation A d'autres éléments parasites susceptibles d'apparaître sur l'image additionnelle. Il s'agit, par exemple, de lignes ou de carreaux d'une feuille de papier utilisée pour l'inscription de l'annotation. Il peut aussi s'agir de l'ombre portée de la main de l'utilisateur qui tient l'appareil de prise de vue lors de la saisie de l'image additionnelle, etc. Une première étape de l'extraction de l'annotation, visible à la figure 6, consiste à ne retenir dans l'image additionnelle que les parties présentant les plus forts gradients spatiaux d'intensité . Plus précisément, on ne retient que les zones dont le gradient spatial d'intensité dépasse une valeur de seuil. La valeur de seuil peut être ajustable, par exemple être basée sur une analyse du contenu de l'image, ou prédéterminée. Cette première étape revient à sélectionner dans l'image les contours C, qu'ils soient clairs ou sombres. Elle permet de sélectionner l'annotation en rejetant, par exemple, les ombres portées sur le support d'écriture. La première étape permet également de rejeter un éventuel quadrillage lorsqu'il présente des gradients spatiaux plus faibles que l'annotation. Toutefois, un rejet d'un éventuel quadrillage ou de tout autre motif du support, peut être amélioré par un traitement additionnel approprié. Il s'agit, par exemple, d'une recherche des structures régulières et répétées et par le rejet de ces structures. Les contours détectés lors de la première étape délimitent grossièrement les zones annotées à extraire. Le seuillage effectué sur le gradient d'intensité risque en revanche d'éliminer aussi une partie de l'annotation correspondant à un trait moins appuyé.
Aussi, cette première étape vise simplement à identifier grossièrement les zones susceptibles de contenir des annotations.
Une deuxième étape consiste à délimiter plus précisément dans l'image additionnelle une ou plusieurs zones annotées. Une fermeture morphologique des contours précédemment déterminés permet, par exemple, de sélectionner au voisinage des contours C de zones de l'image additionnelle non encore extraites. Ces zones encore appelées masques , sont repérées sur la figure 7 avec la référence M. Les zones de l'image additionnellecorrespondant aux masques M sont des zones dans lesquelles la probabilité de présence d'annotations à extraire est importante. Un seuillage plus sélectif que le précédent peut ainsi être appliqué dans ces régions.
Aussi, une troisième étape, illustrée par la figure 8, consiste à effectuer une opération de seuillage sur l'image additionnelle saisie. Le seuillage ne concerne pas l'ensemble de l'image, dont le cadre F est simplement rappelé en trait discontinu, mais sur les seules parties coïncidant avec les masques M préalablement délimités.
Le seuillage est de préférence un seuillage d'intensité. Il peut être effectué en utilisant un seuil ajustable ou prédéterminé. Il convient de noter que les opérations d'extraction de l'annotation telles que décrites en référence aux figures 6, 7 et 8 peuvent être effectuées à partir de l'entièreté de l'image additionnelle ou simplement à partir d'une couche ou d'un sous-ensemble de couches de couleur, c'est-à-dire de certaines composantes de couleur de l'image seulement. En effet, l'image additionnelle est une image numérique, qui lorsqu'elle est en couleur, est susceptible d'être décomposée en plusieurs couches de couleur. Selon la couleur utilisée pour porter l'annotation sur un support, l'extraction peut être facilitée en ne retentant que l'une des couches de couleur. L'extraction peut être effectuée séparément pour trois couches de couleur, et l'annotation peut être retenue pour la couche de couleur dans laquelle les gradients de contraste ou les gradients d'intensité sont les plus forts.
L'annotation extraite est ensuite combinée avec l'image devant être annotée de la manière déjà évoquée. L'annotation correspond, dans un mode de réalisation privilégié, à une information à un bit, de type tout ou rien. Elle peut être superposée à l'image devant être annotée de manière à y figurer en noir, ou dans une autre couleur. Dans un autre mode de réalisation, l'annotation peut être codée sur 1 ou plusieurs octets ce qui permet de stocker une information plus riche. Elle peut comprendre notamment la couleur associée à chaque pixel ou encore la valeur d'autres pixels extraits dans le voisinage du pixel considéré. Comme indiqué précédemment, la combinaison de l'annotation est effectuée en respectant l'emplacement et la taille de l'annotation. Ainsi, un pixel de l'annotation présente, par exemple, les mêmes coordonnées dans l'image additionnelle et l'image composite 15.
Dans l'exemple de la figure 5, dont le fond est relativement sombre, l'annotation est portée en blanc, de manière a en améliorer le contraste visuel. De manière générale l'annotation peut être portée en noir sur un fond clair, en blanc sur un fond sombre ou en une couleur complémentaire des couleurs de l'image devant être annotée. De manière plus perfectionnée, chaque pixel de l'annotation peut être fixé à une valeur de lumière et de couleur permettant d'obtenir un contraste de couleur et de lumière optimal par rapport aux pixels voisins de l'image devant être annotée.
D'autres processus d'extraction de l'annotation de l'image additionnelle peuvent être envisagées. On peut se référer à ce sujet au document 30 (3) dont la référence est précisée à la fin de la description.
La figure 9 est une représentation schématique et simplifiée d'un appareil de prise de vue numérique 100 pour la mise en oeuvre du procédé d'annotation. Il comprend un capteur d'image 104, un déclencheur 106, un viseur, 108 et, sur une face opposée au capteur 104, un écran de contrôle 102. l'écran de contrôle est représenté en trait discontinu, car il est sur une face opposée à celle visible sur la figure.
L'appareil comprend en outre une mémoire 112 pour stocker les images saisies et d'éventuelles images reçues par voie de télécommunication. L'appareil dispose en effet d'un module de télécommunication 114 capable de relier l'appareil à un réseau de communication tel que le réseau internet. Ce lien de communication peiinet d'envoyer ou de recevoir de images à distance. Il s'agit d'images portant ou non des annotations. Le module 114 est de préférence un module hertzien qui peut également être utilisé pour la transmission de la voix, lorsque l'appareil inclut des fonctions de téléphonie ou de messagerie.
La référence 120 désigne un bouton de sélection permettant à un utilisateur de choisir entre un mode de prise de vue et un mode d'annotation. Il s'agit en l'occurrence d'un organe multifonction qui permet aussi à l'utilisateur de sélectionner une image à annoter parmi les images stockées dans la mémoire 112, ou de sélectionner des images contentant des annotations.
La référence 122 désigne une unité de calcul programmée ou câblée pour gérer l'extraction de l'annotation et la formation de l'image composite. L'unité de calcul peut être une unité commune centralisant les différentes fonctions de l'appareil de prise de vue.
Documents cités 30 (1) US 2002/0051262 (2) US 6 005 972 (3) US 6 671 395 (4) US 6 054 990 (5) US 6 681 045 (6) WO 00/72125

Claims (9)

REVENDICATIONS
1) Procédé d'annotation d'images saisies par un appareil de prise de vue numérique (100) pourvu d'une moyen de prévisualisation (102), comprenant: - la fourniture sur l'appareil de prise de vue d'un mode de fonctionnement permettant à un utilisateur de sélectionner au moins une image (12) devant être annotée, et de saisir au moins une image additionnelle (13) pré-visualisée, - l'extraction automatique (20) d'une annotation (A) de l'image additionnelle, et - la formation (22) d'au moins une nouvelle image par combinaison de l'annotation (A), et de l'image devant être annotée (12), en respectant, dans la nouvelle image, un emplacement et un rapport de grandissement de l'annotation, sensiblement identiques à ceux de l'annotation dans l'image additionnelle.
2) Procédé selon la revendication 1, dans lequel l'extraction d'une annotation comprend la sélection dans l'image additionnelle de contours (C) correspondant à des gradients spatiaux d'intensité dépassant une valeur déterminée.
3) Procédé selon la revendication 2, dans lequel l'extraction de l'annotation comprend en outre une opération de fermeture des contours (C) pour la formation d'au moins un masque (M), et un seuillage effectué dans au moins une partie de l'image additionnelle correspondant à ce masque.
4) Procédé selon la revendication 1, comprenant la fourniture d'un mode de fonctionnement permettant la saisie (18) d'une première image additionnelle (13) destinée à la fixation de l'emplacement et du rapport de grandissement de l'annotation dans la nouvelle image, et la saisie (18a) d'une deuxième image additionnelle (13), destinée à l'extraction de l'annotation.
5) Procédé selon la revendication 1 comprenant un affichage combiné de l'image additionnelle (13) prévisualisée, et de l'image devant être annotée (12).
6) Procédé selon la revendication 1, comprenant une étape de prévisualisation lors de laquelle l'image devant être annotée (12) et une annotation (A) extraite d'une image additionnelle (13), sont affichées de manière combinée sur un écran de contrôle de l'appareil de prise de vue.
7) Procédé selon la revendication 1, comprenant la formation d'une séquence par combinaison de l'annotation et d'une séquence d'images devant être annotées.
8 Appareil de prise de vue numérique comprenant: - des moyens (102) de prévisualisation d'une image contenant une annotation, - des moyens (126) d'extraction d'une annotation de l'image pré- visualisée, - des moyens (120) de sélection d'une image devant être annotée, et - des moyens (120) de formation d'une image composite par combinaison de l'image devant être annotée et de l'annotation.
9) Appareil selon la revendication 8, comprenant un module de télécommunication (114) pour transmettre à distance l'image composite (15) .
FR0407410A 2004-07-05 2004-07-05 Appareil de prise de vue et procede pour la formation d'images annotees Expired - Fee Related FR2872660B1 (fr)

Priority Applications (6)

Application Number Priority Date Filing Date Title
FR0407410A FR2872660B1 (fr) 2004-07-05 2004-07-05 Appareil de prise de vue et procede pour la formation d'images annotees
US11/571,570 US8035657B2 (en) 2004-07-05 2005-06-13 Camera and method for creating annotated images
EP05759221.4A EP1766958B1 (fr) 2004-07-05 2005-06-13 Camera et procede permettant de creer des images annotees
JP2007519642A JP4576427B2 (ja) 2004-07-05 2005-06-13 注釈付画像生成方法及びカメラ
PCT/EP2005/006308 WO2006002745A1 (fr) 2004-07-05 2005-06-13 Camera et procede permettant de creer des images annotees
CN200580022699.0A CN1981511B (zh) 2004-07-05 2005-06-13 用于创建加注释的图像的照相机和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR0407410A FR2872660B1 (fr) 2004-07-05 2004-07-05 Appareil de prise de vue et procede pour la formation d'images annotees

Publications (2)

Publication Number Publication Date
FR2872660A1 true FR2872660A1 (fr) 2006-01-06
FR2872660B1 FR2872660B1 (fr) 2006-12-22

Family

ID=34948456

Family Applications (1)

Application Number Title Priority Date Filing Date
FR0407410A Expired - Fee Related FR2872660B1 (fr) 2004-07-05 2004-07-05 Appareil de prise de vue et procede pour la formation d'images annotees

Country Status (6)

Country Link
US (1) US8035657B2 (fr)
EP (1) EP1766958B1 (fr)
JP (1) JP4576427B2 (fr)
CN (1) CN1981511B (fr)
FR (1) FR2872660B1 (fr)
WO (1) WO2006002745A1 (fr)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8341112B2 (en) 2006-05-19 2012-12-25 Microsoft Corporation Annotation by search
JP2008217590A (ja) * 2007-03-06 2008-09-18 Fuji Xerox Co Ltd 情報共有支援システム、情報処理装置及び制御プログラム
US8189880B2 (en) 2007-05-29 2012-05-29 Microsoft Corporation Interactive photo annotation based on face clustering
CN101387824B (zh) * 2007-09-13 2012-03-28 鸿富锦精密工业(深圳)有限公司 照片内容自动注解系统及方法
JP4581008B2 (ja) * 2008-07-11 2010-11-17 シャープ株式会社 画像送信装置
KR101594293B1 (ko) * 2009-04-06 2016-02-16 삼성전자주식회사 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기 위한 프로그램을 저장한 기록매체
KR101593573B1 (ko) * 2009-06-19 2016-02-12 삼성전자주식회사 단말기의 카메라를 이용한 컨텐츠 제작 방법 및 장치
US8823743B2 (en) * 2009-10-02 2014-09-02 Sony Corporation Image processing device and method, and program
JP2011211493A (ja) * 2010-03-30 2011-10-20 Sony Corp 撮像装置、表示方法及びプログラム
US8903798B2 (en) 2010-05-28 2014-12-02 Microsoft Corporation Real-time annotation and enrichment of captured video
US8559682B2 (en) 2010-11-09 2013-10-15 Microsoft Corporation Building a person profile database
US9678992B2 (en) 2011-05-18 2017-06-13 Microsoft Technology Licensing, Llc Text to image translation
US9239848B2 (en) 2012-02-06 2016-01-19 Microsoft Technology Licensing, Llc System and method for semantically annotating images
WO2013171857A1 (fr) * 2012-05-16 2013-11-21 楽天株式会社 Dispositif de traitement d'image, procédé de commande d'un dispositif de traitement d'image, programme et support d'informations
WO2014066924A1 (fr) * 2012-11-01 2014-05-08 Bigtincan Holdings Pty Ltd. Système de gestion de contenu
KR101527039B1 (ko) * 2012-11-01 2015-06-08 엘지전자 주식회사 이동 단말기 및 이의 제어 방법
US20140156787A1 (en) * 2012-12-05 2014-06-05 Yahoo! Inc. Virtual wall for writings associated with landmarks
US20140168708A1 (en) * 2012-12-19 2014-06-19 Yen Hsiang Chew Combining print jobs
US20140176661A1 (en) * 2012-12-21 2014-06-26 G. Anthony Reina System and method for surgical telementoring and training with virtualized telestration and haptic holograms, including metadata tagging, encapsulation and saving multi-modal streaming medical imagery together with multi-dimensional [4-d] virtual mesh and multi-sensory annotation in standard file formats used for digital imaging and communications in medicine (dicom)
CN104519269B (zh) * 2013-10-08 2018-09-04 腾讯科技(深圳)有限公司 一种照相设备的取景框显示方法和装置
CN110189089A (zh) * 2013-11-27 2019-08-30 脸谱公司 用于通信的方法、系统和移动设备
US9246961B2 (en) * 2013-11-27 2016-01-26 Facebook, Inc. Communication user interface systems and methods
US10845982B2 (en) 2014-04-28 2020-11-24 Facebook, Inc. Providing intelligent transcriptions of sound messages in a messaging application
US11100687B2 (en) * 2016-02-02 2021-08-24 Microsoft Technology Licensing, Llc Emphasizing on image portions in presentations
US9946698B2 (en) * 2016-03-31 2018-04-17 Konica Minolta Laboratory U.S.A., Inc. Inserting text and graphics using hand markup
JP6595956B2 (ja) * 2016-07-04 2019-10-23 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
US10417515B2 (en) * 2017-01-09 2019-09-17 Microsoft Technology Licensing, Llc Capturing annotations on an electronic display

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4737859A (en) * 1986-03-04 1988-04-12 Agfa-Gevaert, N.V. Method and apparatus for producing a composite record from visually distinguishable images
US5028993A (en) * 1988-04-15 1991-07-02 Hitachi, Ltd. Video printer having data are stored in main and sub memories are read out in synchronism thereby generating a synthesized picture data
US5778164A (en) * 1993-09-24 1998-07-07 Eastman Kodak Company System for custom imprinting a variety of articles with images obtained from a variety of different sources
US6519046B1 (en) * 1997-03-17 2003-02-11 Fuji Photo Film Co., Ltd. Printing method and system for making a print from a photo picture frame and a graphic image written by a user
US6671395B1 (en) * 1999-10-15 2003-12-30 D. Michael Ott Document image processing with stroke preservation and background suppression

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0692120B1 (fr) * 1993-03-31 2002-10-09 Luma Corporation Gestion de l'information dans un systeme d'endoscopie
CA2130706A1 (fr) * 1993-09-24 1995-03-25 John Bruce Watkins Systeme pour produire sur divers articles des impressions d'images obtenues de sources diverses
US6054990A (en) 1996-07-05 2000-04-25 Tran; Bao Q. Computer system with handwriting annotation
US6005972A (en) 1996-11-19 1999-12-21 Eastman Kodak Company Method for adding personalized text and/or graphics to composite digital image products
US6269366B1 (en) * 1998-06-24 2001-07-31 Eastman Kodak Company Method for randomly combining images with annotations
JP4098889B2 (ja) * 1998-07-13 2008-06-11 富士フイルム株式会社 電子カメラおよびその動作制御方法
JP3773670B2 (ja) * 1998-09-30 2006-05-10 株式会社東芝 情報呈示方法および情報呈示装置および記録媒体
US6396599B1 (en) * 1998-12-21 2002-05-28 Eastman Kodak Company Method and apparatus for modifying a portion of an image in accordance with colorimetric parameters
US6317141B1 (en) * 1998-12-31 2001-11-13 Flashpoint Technology, Inc. Method and apparatus for editing heterogeneous media objects in a digital imaging device
US6760119B1 (en) 1999-05-25 2004-07-06 Silverbrook Research Pty Ltd Relay device
US6473517B1 (en) * 1999-09-15 2002-10-29 Siemens Corporate Research, Inc. Character segmentation method for vehicle license plate recognition
AU2001238354A1 (en) * 2000-02-18 2001-08-27 The University Of Maryland Methods for the electronic annotation, retrieval, and use of electronic images
US20020051262A1 (en) 2000-03-14 2002-05-02 Nuttall Gordon R. Image capture device with handwritten annotation
EP1199892A4 (fr) * 2000-03-14 2006-08-09 Matsushita Electric Ind Co Ltd Dispositif et procede de reproduction d'images et de la voix
WO2003013140A1 (fr) * 2001-07-25 2003-02-13 Stevenson Neil J Appareil et procede de commande de camera
WO2003051031A2 (fr) * 2001-12-06 2003-06-19 The Trustees Of Columbia University In The City Of New York Systeme et procede pour extraire des legendes de texte d'un contenu video et pour produire des resumes video
JP2005026834A (ja) * 2003-06-30 2005-01-27 Minolta Co Ltd 注釈付与装置および注釈付与プログラム
US7065705B1 (en) * 2003-12-02 2006-06-20 Inbit, Inc. Automatic labeling in images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4737859A (en) * 1986-03-04 1988-04-12 Agfa-Gevaert, N.V. Method and apparatus for producing a composite record from visually distinguishable images
US5028993A (en) * 1988-04-15 1991-07-02 Hitachi, Ltd. Video printer having data are stored in main and sub memories are read out in synchronism thereby generating a synthesized picture data
US5778164A (en) * 1993-09-24 1998-07-07 Eastman Kodak Company System for custom imprinting a variety of articles with images obtained from a variety of different sources
US6519046B1 (en) * 1997-03-17 2003-02-11 Fuji Photo Film Co., Ltd. Printing method and system for making a print from a photo picture frame and a graphic image written by a user
US6671395B1 (en) * 1999-10-15 2003-12-30 D. Michael Ott Document image processing with stroke preservation and background suppression

Also Published As

Publication number Publication date
CN1981511B (zh) 2014-08-13
JP2008505574A (ja) 2008-02-21
EP1766958A1 (fr) 2007-03-28
FR2872660B1 (fr) 2006-12-22
US20070258113A1 (en) 2007-11-08
EP1766958B1 (fr) 2015-11-11
CN1981511A (zh) 2007-06-13
US8035657B2 (en) 2011-10-11
JP4576427B2 (ja) 2010-11-10
WO2006002745A1 (fr) 2006-01-12

Similar Documents

Publication Publication Date Title
FR2872660A1 (fr) Appareil de prise de vue et procede pour la formation d'images annotees
AU2010257231B2 (en) Collaborative image capture
JP5624034B2 (ja) デジタルカメラ及び関連する方法
FR2872317A1 (fr) Procede pour ameliorer la qualite d'utilisation d'un service relatif a au moins une donnee multimedia
JP4435108B2 (ja) 合成デジタル画像効果を作成する方法及び装置
US7873909B2 (en) Manipulation and merging of graphic images
Palmer iPhone photography: Mediating visions of social space
US11057576B2 (en) System and method for automated detection and replacement of photographic scenes
Palmer Mobile media photography
JP2020074041A (ja) 遊戯用撮影装置、画像処理装置、および画像処理方法
FR2916866A1 (fr) Procede de creation et reproduction d'une image panoramique sonore, et appareil de reproduction d'une telle image
US9779306B2 (en) Content playback system, server, mobile terminal, content playback method, and recording medium
JP2004040467A (ja) デジタルフォトプリントシステム
JP2010537493A (ja) スキャンされたプリントから得られる補助情報の記憶および呈示
KR200362667Y1 (ko) 플래시 앨범 씨디 자동 제작시스템
FR2868902A1 (fr) Procede et appareil de prise de vue pour simuler l'effet optique d'une epreuve a reseau lenticulaire
JP2010045435A (ja) カメラ及び撮影システム
RU2390055C1 (ru) Способ формирования статических, динамических или анимационных изображений на мобильных коммуникационных устройствах, оборудованных фотокамерой
FR2784212A1 (fr) Systeme pour ecrire manuellement sur une image numerique
JP2005007814A (ja) 名刺製作装置、該装置の制御方法および制御プログラム、該プログラムを記録した記録媒体
JP2010252156A (ja) カメラ及び表示装置並びに電子機器
Concepcion The Enthusiast's Guide to Lightroom: 55 Photographic Principles You Need to Know
Grey Adobe Photoshop Lightroom Workflow: The Digital Photographer's Guide
Lock Atemporal photography: Image making out of time
WO2006069283A1 (fr) Systeme et procede de photofaçonnage utilisant des trames de donnees pour acceder a une base de donnees

Legal Events

Date Code Title Description
TP Transmission of property

Owner name: INTELLECTUAL VENTURES FUND 83 LLC, US

Effective date: 20130919

PLFP Fee payment

Year of fee payment: 13

ST Notification of lapse

Effective date: 20180330