EP1834475A2 - Video-telephony terminal with intuitive adjustments - Google Patents

Video-telephony terminal with intuitive adjustments

Info

Publication number
EP1834475A2
EP1834475A2 EP05850555A EP05850555A EP1834475A2 EP 1834475 A2 EP1834475 A2 EP 1834475A2 EP 05850555 A EP05850555 A EP 05850555A EP 05850555 A EP05850555 A EP 05850555A EP 1834475 A2 EP1834475 A2 EP 1834475A2
Authority
EP
European Patent Office
Prior art keywords
terminal
framing
image
data
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP05850555A
Other languages
German (de)
French (fr)
Inventor
Alexis Martin
Jean-Jacques Damlamian
Roland Airiau
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
France Telecom SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom SA filed Critical France Telecom SA
Publication of EP1834475A2 publication Critical patent/EP1834475A2/en
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6842—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by controlling the scanning position, e.g. windowing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N2007/145—Handheld terminals

Definitions

  • the present invention relates to high data rate mobile phones capable of capturing and viewing images for video telephony communications. These phones are also called videophone terminals.
  • the invention relates to the adjustment of the image capture means.
  • UMTS Universal Mobile Telecommunications System
  • Videotelephony allows two people to communicate remotely while seeing each other.
  • the terminal of each person has a display screen and a camera.
  • the portable terminals have a small screen with a low resolution, and it is important to have a good framing closeup if you want to see the features of his interlocutor.
  • the interlocutor B having no control of the framing, it is the interlocutor A who must take care to control the shooting of his own camera.
  • This control of shooting can be realized using a control sticker in a corner of its screen.
  • Each interlocutor must then ensure that his image remains in the center of the control sticker.
  • Such a framing system is not very practical for many reasons. It reduces the useful area of the display screen of the terminal which is already small.
  • Each interlocutor must pay close attention to his own framing.
  • the framing movements are not natural movements because the vignette shows a filmed image with a reversal between right and left.
  • EP-A-1 304 853 discloses a portable apparatus such as a mobile phone provided with a camera and motion sensors. The camera is used to take multiple images of an object, and these images are then combined using synchronized motion information provided by the motion sensors to realign the images to be combined. This concept does not involve two remote videophone terminals.
  • Each portable terminal is equipped with a camera that can have a resolution greater than the resolution of the transmitted image.
  • the framing of the transmitted image is done using framing information from a remote interlocutor.
  • Motion sensors are placed in each portable terminal to retrieve motion information from said terminal. The motion information is then transformed into framing commands to be sent to the other terminal.
  • the invention proposes a portable videophone terminal comprising communication means, motion sensors and shaping means.
  • the communication means make it possible to communicate with another videophone terminal via a radio communication network.
  • the motion sensors produce information representative of movements of the terminal.
  • the formatting means make it possible to transform the movement information into outgoing framing data for the other terminal.
  • the means of communication are arranged to insert the outgoing framing data in data to be transmitted on the radio network to the other terminal.
  • the shaping means include filtering and control developing means for comparing the motion information with a minimum motion threshold and a maximum motion threshold.
  • the outgoing framing data is produced in response to detecting a movement between the minimum movement threshold and the maximum movement threshold.
  • the invention proposes a portable videophone terminal comprising communication means, a camera, a framing means and a video encoding means.
  • the communication means make it possible to communicate with another videophone terminal via a radio communication network.
  • the camera captures images of a first size.
  • the framing means extracts a portion of an image from an image captured by the camera.
  • the framing means selects the image portion based on remote framing information from the other terminal. Said image portion having a second size smaller than the first size.
  • the video encoding means transforms a stream of image portions from the frame means into outgoing video data.
  • the communication means are arranged to extract the remote registration information from data received from the radio network from the other terminal.
  • an intuitive movement of the terminal according to the first aspect allows a user A to crop the image filmed by the terminal according to the second aspect of its correspondent B.
  • the two aspects are implemented on the same terminal.
  • the invention relates to a method of reframing an image taken by a camera of a first portable videophone terminal with the aid of a second portable videophone terminal equipped with a screen and video sensors. movement during a videophone call.
  • the method comprises a step of generating framing data, in response to a movement of the second portable terminal, from - A - motion information from the motion sensors, and a step of sending said registration data to the first portable terminal.
  • the first portable terminal In response to framing information received by the first terminal and corresponding to the framing data sent by the second terminal, the first portable terminal extracts image portions corresponding to said framing information from images captured by its camera and produced a video sequence representative of a succession of image portions.
  • the invention relates to a signal carrying a stream of videophone frames between a first portable terminal and a second portable terminal.
  • At least one frame sent by the first terminal includes audio data, video data, and framing data.
  • the registration data indicates the position and / or the displacement of an image portion taken by a camera of the second terminal. Said image portion corresponds to an image to be sent from the second terminal to the first terminal.
  • FIG. 1 is a block diagram showing two portable terminals in communication according to FIG.
  • FIG. 2 shows a transfer characteristic between a movement information and a framing control
  • FIG. 4 shows an operating flow diagram for the terminal performing a capture.
  • FIG. image according to the invention.
  • FIG. 1 represents two portable terminals 100 and 200 communicating via a radiotelephone or radiocommunication network 300.
  • the radiotelephone network 300 is a third generation radiocommunication network, for example in accordance with the UMTS standard.
  • Third-generation radiotelephone network requires comprising a high-speed radio network for exchanging audio, video or other data between a radio terminal and the network.
  • the present description is concerned with the management of the framing during a videophone communication between two terminals. Only the means implemented for the framing are detailed. The other constituent elements of the terminals and the network are well known to those skilled in the art.
  • the two terminals 100 and 200 are identical. Similar references 1xx and 2xx are used to describe similar elements, the number of hundreds to differentiate the terminal. Thus, what is described with reference to the elements of the terminal 100 is applicable to the terminal 200 and vice versa.
  • the first terminal 100 of the mobile phone type, comprises:
  • a camera 105 connected to the registration means 103 for extracting an image area from an image captured by the camera 103, the framing means 105 selecting the image portion in accordance with the framing information c from another remote terminal,
  • audio and video encoding means 106 connected to the microphone 101 and the framing means 105 for transforming the sound captured by the microphone 101 into outgoing audio data and a stream of image portions coming from the framing means 105 into video data the outgoing video data being for example a video sequence compressed according to an image compression algorithm,
  • an audio and video decoding means 107 connected to the loudspeaker 102 and to the display screen 104 for transforming incoming audio data into a driving signal of the loudspeaker 102, and incoming video data into an image signal at reproduce on the display screen 104, motion sensors 108 to 110 for producing movement information of the terminal,
  • a filtering means 111 connected to the motion sensors 108 to 110 for filtering the motion information
  • a control generating means 112 connected to the filtering means
  • a multiplexing and communication means 113 connected to the encoding means 106, the control generation means 112, the decoding decoder 107 and the framing means 105 for, on the one hand, grouping audio, video and framing data Dc to be emitted in data packets to the network, and for, on the other hand, receiving and separating received data packets into audio data, video data and frame information l c , and - an antenna 114 connected to the multiplexing means and communication 113 to exchange with the network 300 radio signals representative of the data packets transmitted and received by the terminal 100.
  • a portable terminal mainly comprises a central processor, a signal processing processor and possibly an image processing processor. These three processors are used in a microprogrammed way to process all data and signals in digital form.
  • the means 105-107 and 111-112 functionally described in FIG. 1 can be realized in practice by programming these processors.
  • Analog / digital and digital / analog converters provide the link between the processors and the various elements 101-104 and 108-110 to which they are connected.
  • the multiplexing and communication means 113 is also realized using the processors of the terminal but it also includes a radio interface connected to the antenna 114.
  • the audio and video decoding means 107 receives the audio and video data from the terminal 200 and transforms them into control signals of the loudspeaker 102 and the screen 104 in order to restore to a user A of the terminal 100 the sound captured by the microphone 202 and the image captured by the camera 203 of the terminal 200 of its correspondent B.
  • the screen 104 is for example of LCD type (of the English: Liquid Crystal Display) or OLED type (English: Organic Light-Emitting Diode Display) small, for example a diagonal less than two inches.
  • the resolution of this screen 104 is for example less than 200 pixels per side.
  • the user A of the terminal 100 can thus have a satisfactory image enabling him to capture the expressions of a close-up face. However, such a resolution does not make it possible to distinguish these same details in a broader plane.
  • the camera 103 of the terminal 100 comprises a wide-angle lens and an image sensor, for example of the CCD type (Charge Coupled Device).
  • the camera 103 is used for video telephony but also for other applications including digital photography.
  • the photos taken by the portable terminal 100 can be sent through the network 300 to a computer.
  • the camera 103 generally has a resolution greater than the resolution of the screen 104.
  • the resolution of the camera 103 is at least 640 ⁇ 480 pixels in order to have a minimum quality of visualization on a screen. computer screen.
  • the framing means 105 serves to extract, from each image taken by the camera 103, an image portion whose shape and resolution correspond to the screen 204 of the terminal 200. form and resolution are transmitted when initializing the communication.
  • the framing means also comprises means for performing oversampling and / or subsampling of the image making it possible to perform an electronic zoom function according to a known technique.
  • the electronic zoom makes it possible to transform a portion of a chosen image of any size in order to adapt it to the size of the screen 204 of the terminal 200 of the correspondent B.
  • the framing means 105 includes an image stabilizer capable of compensating for low amplitude displacements of the image which correspond to to possible tremors of a user.
  • the image stabilizer of a known type, is for example capable of detecting any global and uniform movement between two images coming from the camera and of carrying out a corresponding translation in number of pixels in the direction opposite to the displacement. Stabilization of the image is preferably done before the extraction of the image portion.
  • the framing means 105 further moves the image portion as a function of framing information Ic from the multiplexing means 113.
  • the framing is performed remotely by the correspondent who is best placed to adjust the image displayed.
  • the invention provides an intuitive control of remote framing.
  • the most intuitive gesture is to move his screen 104, held by hand, to follow the movement of the user of the terminal 200
  • a detail is particularly eye-catching and you want to see it more closely, a user naturally brings his screen closer.
  • the proposed intuitive control is to move the terminal in a natural direction to move the image portion seen on the screen.
  • FIG. 2a shows an image 400 captured by the camera 203 of the terminal 200 and an image portion 401 transmitted and seen on the screen 104 of the terminal 100.
  • the user of the terminal 100 wishes to move the registration of the image portion 401 to obtain an image portion 402 differently.
  • the user moves his terminal
  • FIG. 2b shows an image 400 captured by the camera 203 of the terminal 200 and an image portion 403 transmitted and seen on the screen 104 of the terminal 100.
  • the user of the terminal 100 wishes to have a wider plan view corresponding to the image portion 404.
  • the user then moves his terminal 100 eh away from the screen 104 of a movement away ⁇ z which causes a widening of the frame.
  • Subsampling is then performed to adapt the image portion to the size of the screen 104, which corresponds to a zoom out.
  • the registration data D 0 are produced by the control generation means 112 as a function of motion information from the motion sensors 108 to 110 after filtering in the filtering means 111.
  • the motion sensors 108 to 110 consist, for example, of accelerometers, gyroscopes and / or electronic magnetometers capable of providing information relating to displacement and acceleration in translation and in rotation along three perpendicular axes.
  • two of the three axes are respectively parallel to the sides of the screen 104 and the third axis is perpendicular to the screen 104.
  • the translation and rotation movements are combined with each other to obtain motion information ⁇ x, ⁇ y and ⁇ z representative of a relative displacement of the screen 104 for a predetermined duration along one of the three axes.
  • the predetermined duration corresponds, for example, to a sampling time of the movement information ⁇ x, ⁇ y and ⁇ z.
  • the filtering means 111 then performs a filtering of the motion information ⁇ x, ⁇ y and ⁇ z.
  • the motion information ⁇ x, ⁇ y and ⁇ z are representative of an amplitude and a speed of displacement. To avoid taking into account movements related to tremors (low amplitude movements) or to fatigue (slow movements) of the user, only higher movement information, in absolute value, should be taken into account. minimum threshold S m .
  • the filter has the function of transfer following for the motion information ⁇ x, ⁇ y and ⁇ z:
  • Au / Au if S 111 ⁇
  • the command generation means 112 transforms the filtered movement information ⁇ xf, ⁇ yf and ⁇ zf into the frame data Dc.
  • the framing data Dc can be of different shapes. For example, two forms of data are described below.
  • a first form of the registration data is a form corresponding to registration orders.
  • the orders will consist of three data representative of the modification of the framing.
  • the filtered information ⁇ xf and ⁇ yf are quantized to transform the motion into a number (positive or negative) of displacement pixels of the frame defining the image portion.
  • the filtered information ⁇ zf is quantized to indicate the number of pixels increasing or decreasing the frame defining the image portion.
  • the position and the dimension of the frame of the image portion are then managed by the framing means 205 of the other terminal 200.
  • FIG. 3 An example of a transfer characteristic between a movement information and a corresponding motion data is shown in FIG. 3.
  • the abscissa axis corresponds to the possible values of a motion information, for example ⁇ x.
  • Two quantization zones 413 and 414 correspond to the movement control of the frame defining the image portion. As for example, it is possible to match a value of 1 displacement pixel when the motion information corresponds to the minimum threshold S m and a value of 20 moving pixels when the motion information corresponds to the maximum threshold S M. In a simple embodiment, a linear extrapolation is performed between the two thresholds S m and SM; but note that a different curve could be used.
  • a second form of the registration data may consist of a position and frame size of a selected image portion.
  • the modifications of the frame are carried out by the control generating means 112.
  • the framing means 205 only performs the selection of the image portion optionally accompanied by a zoom effect.
  • the multiplexing and communication means 113 constitute frames of data to be sent combining a set of data destined for the terminal 200.
  • the frame comprises audio data and video data relating to the videophone communication but also the frame data Dc.
  • the frame is then packaged with service data to identify the frame and its destination.
  • the data packet thus formed is transformed into a burst which is inserted in a radio signal consisting of a stream of frames to the network 300.
  • the network 300 then needle the different frames to send them to the terminal 200 in the form of a packet. a radio signal.
  • the framing means 105 has an image stabilizer which compensates for the movements of the camera when they are of low amplitude. This compensation makes it possible to avoid that the movements made to crop the image of the interlocutor in turn causes a need for mutual reframing. If the maximum threshold SM corresponds to a displacement that can be compensated by the image stabilizer, the movement made to modify the registration of the other terminal 200 is automatically compensated. If the image stabilizer does not have the capacity to compensate for the movement related to a cropping displacement, it is possible to connect the scaling means 105 to the filtering means 111 so that the actual movement of the terminal 100 is taken into account to move its framing window.
  • the cropping performed in the terminal 100 is of the same nature but different amplitude and sign compared to the reframing of the other terminal 200. With the means described above, it is possible to crop the images filmed by the camera 103 of the terminal 100 from the terminal 200 and vice versa. The reframing is done intuitively in response to a movement of the terminal 200 which leads to the development of framing data through the motion sensors 208 to 210, the filtering means 211 and the control developing means 212. Thus the video sequence generated by the terminal 100 is controlled by the user B of the terminal 200 during a videophone communication.
  • the image filmed is reframed using the framing means 105 of the terminal 100 if the terminal 100 is almost immobile. Detection of the quasi-immobility of the terminal 100 can be done using the image stabilizer which detects a homogeneous motion of low amplitude of the image. It is also possible to detect the movement of the terminal 100 using the motion sensors 108 to 110. Thus, if the movements are, for example below the maximum threshold SM I can be considered that the terminal is quasi-immobile.
  • the framing means 105 comprises shape recognition means able to recognize the shape of a face. The form recognition is done for example with the help of a known technique for identifying that a face is present in the image.
  • the terminal 100 can establish that the user is in dialogue if a face is detected.
  • the framing means then takes into account the framing information if a face is detected. This allows remote framing to be controlled even if the background is moving or the terminal is moving.
  • the two improvements are combined.
  • the flow chart of FIG. 4 illustrates the implementation of these two improvements in the framing means 105.
  • the framing means 105 receives the characteristics of the screen 204 of the 200 correspondent terminal to be able to determine the format of the image portion to be sent.
  • the framing means 105 operates in free image (step 421). During this step 421, the framing means divides an image portion, for example centered, independently of any received framing information Ic.
  • a test 422 is performed to determine whether conditions make it possible to switch to remote control mode of the image.
  • the test 422 consists, for example, in verifying whether the image can be considered as immobile or quasi-immobile or whether a face is present in the filmed image. If one of the two conditions is achieved, proceed to step 423. If neither condition is performed, a test 424 is performed.
  • the test 424 checks if the videophone communication is finished. If the communication is not completed, it returns to step 421 and the framing means operates in free image.
  • Step 423 corresponds to the operation of the framing means 105 taking into account the framing information Ic.
  • the image portion is moved, enlarged or narrowed according to the framing data received.
  • the framing means performs, if necessary, an oversampling or a subsampling of the framed image portion to match the resolution of the screen.
  • a test 425 is performed to determine whether conditions allow you to switch to remote control mode of the image.
  • the test 425 consists for example in checking whether the image can be considered as immobile or quasi-immobile or if a face is present in the filmed image. If one of the two conditions is achieved, return to step 423. If neither condition is performed, a test 426 is performed.
  • the test 426 checks whether the video telephony communication is complete. If the communication is not completed, the image portion is reinitialized and returns to step 421 and the framing means operates as a free image.
  • the described invention can be broken down into different variants.
  • the terminals 100 and 200 are identical and both capable of transmitting framing information and of receiving and taking into account framing information.
  • a terminal could develop and output framing data without receiving framing information.
  • a terminal can take into account framing information without itself elaborating framing data.
  • the terminals implementing the invention can therefore be limited to the means necessary for the implementation of the invention without reproducing all the means included in the examples described.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)
  • Telephone Function (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

The invention relates to an intuitive adjustment of the framing of a terminal (100) by a remote correspondent using a mobile terminal (200) during video-telephonic communication. The terminal (100) comprises a camera (103), a framing means (105), a video encoding means (106) and a communication and multiplexing means (113). The terminal (200) also comprises movement sensors (208-210), shaping means (211-212) and a communication and multiplexing means (213). In response to a movement of the terminal (200), it produces framing data DC from movement information Δx, Δy and Δz from the movement sensors (208-210) and sends said framing data DC to the terminal (100). The framing means (105) extracts image portions from images captured by the camera (103) in response to framing data IC corresponding to framing data DC,.

Description

TERMINAL DE VISIOPHONE AVEC REGLAGES INTUITIFS VISIOPHONE TERMINAL WITH INTUITIVE SETTINGS
L'invention concerne les téléphones portables à haut débit de données capables de capturer et de visualiser des images pour des communications en visiophonie. Ces téléphones sont également appelés terminaux de visiophonie.The present invention relates to high data rate mobile phones capable of capturing and viewing images for video telephony communications. These phones are also called videophone terminals.
Plus particulièrement l'invention se rapporte au réglage des moyens de capture d'images.More particularly, the invention relates to the adjustment of the image capture means.
L'arrivée du haut débit dans les télécommunications permet de mettre à disposition du grand public des services de visiophonie. Plus particulièrement, les réseaux de radiotéléphonie de troisième génération, tel que par exemple l'UMTS (de l'anglais Universal Mobile Télécommunication System), permettent des applications de visiophonie avec des téléphones ou terminaux portables.The arrival of broadband in telecommunications makes it possible to provide the general public with videophone services. More particularly, the third generation of radio networks, such as UMTS (Universal Mobile Telecommunications System), allow videophone applications with mobile phones or terminals.
La visiophonie permet à deux personnes de communiquer à distance tout en se voyant mutuellement. A cet effet, le terminal de chaque personne dispose d'un écran de visualisation et d'une caméra. Les terminaux portables disposent d'un écran de petite dimension ayant une faible résolution, et il est important d'avoir un bon cadrage en gros plan si l'on souhaite voir les traits de son interlocuteur.Videotelephony allows two people to communicate remotely while seeing each other. For this purpose, the terminal of each person has a display screen and a camera. The portable terminals have a small screen with a low resolution, and it is important to have a good framing closeup if you want to see the features of his interlocutor.
Un inconvénient provient du fait qu'un interlocuteur A communiquant avec un interlocuteur B ne voit que ce que la caméra de A lui transmet. L'interlocuteur B n'ayant pas le contrôle du cadrage, c'est l'interlocuteur A qui doit veiller à contrôler la prise de vue de sa propre caméra. Ce contrôle de prise de vue peut être réalisé à l'aide d'une vignette de contrôle dans un coin de son écran. Chaque interlocuteur doit alors veiller à ce que son image reste bien au centre de la vignette de contrôle. Un tel système de cadrage n'est pas très pratique pour de nombreuses raisons. Il réduit la zone utile de l'écran de visualisation du terminal qui est déjà petite. Chaque interlocuteur doit faire très attention à son propre cadrage. Les mouvements de cadrage ne sont pas des mouvements naturels car la vignette montre une image filmée avec une inversion entre droite et gauche. Pour les systèmes fixes de visioconférence, il est connu d'avoir recours à une commande à distance de la caméra. Ainsi, l'interlocuteur A peut régler la caméra de B et réciproquement. Chaque utilisateur dispose d'une télécommande lui permettant d'envoyer les différentes commandes de zoom, et de déplacement. Un tel système ne peut pas être mis en place sur un terminal portable car les caméras des terminaux portables ne sont généralement pas mobiles et, en outre, cela nécessiterait d'utiliser les touches du clavier du terminal pendant la communication. Les touches d'un terminal portable sont petites, et il est peu pratique de les utiliser tout en gardant son terminal dans une direction de cadrage donnée. EP-A-1 304 853 décrit un appareil portatif tel qu'un téléphone mobile pourvu d'un appareil photo et de capteurs de mouvement. L'appareil photo est utilisé pour prendre plusieurs images d'un objet, et ces images sont ensuite combinées en utilisant des informations de mouvement synchronisées fournies par les capteurs de mouvement afin de réaligner les images à combiner. Ce concept ne met pas en jeu deux terminaux de visiophonie distants.A disadvantage comes from the fact that an interlocutor A communicating with a speaker B sees only what the camera A transmits. The interlocutor B having no control of the framing, it is the interlocutor A who must take care to control the shooting of his own camera. This control of shooting can be realized using a control sticker in a corner of its screen. Each interlocutor must then ensure that his image remains in the center of the control sticker. Such a framing system is not very practical for many reasons. It reduces the useful area of the display screen of the terminal which is already small. Each interlocutor must pay close attention to his own framing. The framing movements are not natural movements because the vignette shows a filmed image with a reversal between right and left. For fixed videoconferencing systems, it is known to have recourse to a remote control of the camera. Thus, the interlocutor A can adjust the camera of B and vice versa. Each user has a remote control that allows him to send different zoom and move commands. Such a system can not be set up on a portable terminal because the cameras of the portable terminals are generally not mobile and, in addition, it would require using the keys of the keyboard of the terminal during the communication. The keys of a portable terminal are small, and it is impractical to use them while keeping the terminal in a given direction of framing. EP-A-1 304 853 discloses a portable apparatus such as a mobile phone provided with a camera and motion sensors. The camera is used to take multiple images of an object, and these images are then combined using synchronized motion information provided by the motion sensors to realign the images to be combined. This concept does not involve two remote videophone terminals.
L'invention propose de remédier aux problèmes de cadrage évoqués précédemment. Chaque terminal portable est muni d'une caméra pouvant avoir une résolution supérieure à la résolution de l'image transmise. Le cadrage de l'image transmise se fait à l'aide d'informations de cadrage provenant d'un interlocuteur distant. Des capteurs de mouvements sont placés dans chaque terminal portable pour récupérer des informations de mouvement dudit terminal. Les informations de mouvement sont ensuite transformées en commandes de cadrage à envoyer à l'autre terminal.The invention proposes to remedy the framing problems mentioned above. Each portable terminal is equipped with a camera that can have a resolution greater than the resolution of the transmitted image. The framing of the transmitted image is done using framing information from a remote interlocutor. Motion sensors are placed in each portable terminal to retrieve motion information from said terminal. The motion information is then transformed into framing commands to be sent to the other terminal.
Selon un premier aspect, l'invention propose un terminal portable de visiophonie comprenant des moyens de communication, des capteurs de mouvements et des moyens de mise en forme. Les moyens de communication permettent de communiquer avec un autre terminal de visiophonie par l'intermédiaire d'un réseau de radiocommunication. Les capteurs de mouvement produisent des informations représentatives de mouvements du terminal. Les moyens de mise en forme permettent de transformer les informations de mouvement en données de cadrage sortantes à destination de l'autre terminal. Les moyens de communication sont agencés pour insérer les données de cadrage sortantes dans des données à émettre sur le réseau de radiocommunication à destination de l'autre terminal.According to a first aspect, the invention proposes a portable videophone terminal comprising communication means, motion sensors and shaping means. The communication means make it possible to communicate with another videophone terminal via a radio communication network. The motion sensors produce information representative of movements of the terminal. The formatting means make it possible to transform the movement information into outgoing framing data for the other terminal. The means of communication are arranged to insert the outgoing framing data in data to be transmitted on the radio network to the other terminal.
Les moyens de mise en forme incluent des moyens de filtrage et d'élaboration de commande permettant de comparer les informations de mouvement à un seuil de mouvement minimum et un seuil de mouvement maximum. Les données de cadrage sortantes sont produites en réponse à la détection d'un mouvement compris entre le seuil de mouvement minimum et le seuil de mouvement maximum.The shaping means include filtering and control developing means for comparing the motion information with a minimum motion threshold and a maximum motion threshold. The outgoing framing data is produced in response to detecting a movement between the minimum movement threshold and the maximum movement threshold.
Selon un deuxième aspect, l'invention propose un terminal portable de visiophonie comprenant des moyens de communication, une caméra, un moyen de cadrage et un moyen d'encodage vidéo. Les moyens de communication permettent de communiquer avec un autre terminal de visiophonie par l'intermédiaire d'un réseau de radiocommunication. La caméra capture des images ayant une première taille. Le moyen de cadrage extrait une portion d'image à partir d'une image capturée par la caméra. Le moyen de cadrage sélectionne la portion d'image en fonction d'informations de cadrage distantes provenant de l'autre terminal. Ladite portion d'image ayant une deuxième taille inférieure à la première taille. Le moyen d'encodage vidéo transforme un flux de portions d'image provenant du moyen de cadrage en données vidéo sortantes. Les moyens de communication sont agencés pour extraire les informations de cadrage distantes de données reçues du réseau de radiocommunication en provenance de l'autre terminal.According to a second aspect, the invention proposes a portable videophone terminal comprising communication means, a camera, a framing means and a video encoding means. The communication means make it possible to communicate with another videophone terminal via a radio communication network. The camera captures images of a first size. The framing means extracts a portion of an image from an image captured by the camera. The framing means selects the image portion based on remote framing information from the other terminal. Said image portion having a second size smaller than the first size. The video encoding means transforms a stream of image portions from the frame means into outgoing video data. The communication means are arranged to extract the remote registration information from data received from the radio network from the other terminal.
Ainsi, un déplacement intuitif du terminal selon le premier aspect permet à un utilisateur A de recadrer l'image filmée par le terminal selon le deuxième aspect de son correspondant B. Préférentiellement, les deux aspects sont mis en œuvre sur un même terminal.Thus, an intuitive movement of the terminal according to the first aspect allows a user A to crop the image filmed by the terminal according to the second aspect of its correspondent B. Preferably, the two aspects are implemented on the same terminal.
Selon un troisième aspect, l'invention concerne un procédé de recadrage d'une image prise par une caméra d'un premier terminal portable de visiophonie à l'aide d'un deuxième terminal portable de visiophonie muni d'un écran et de capteurs de mouvement au cours d'une communication en visiophonie. Le procédé comprend une étape d'élaboration de données de cadrage, en réponse à un mouvement du deuxième terminal portable, à partir - A - d'informations de mouvement provenant des capteurs de mouvement, et une étape d'envoi desdites données de cadrage au premier terminal portable.According to a third aspect, the invention relates to a method of reframing an image taken by a camera of a first portable videophone terminal with the aid of a second portable videophone terminal equipped with a screen and video sensors. movement during a videophone call. The method comprises a step of generating framing data, in response to a movement of the second portable terminal, from - A - motion information from the motion sensors, and a step of sending said registration data to the first portable terminal.
En réponse à des informations de cadrage reçues par le premier terminal et correspondant aux données de cadrage envoyées par le deuxième terminal, le premier terminal portable extrait des portions d'image correspondant auxdites informations de cadrage à partir d'images capturées par sa caméra et produit une séquence vidéo représentative d'une succession de portions d'image.In response to framing information received by the first terminal and corresponding to the framing data sent by the second terminal, the first portable terminal extracts image portions corresponding to said framing information from images captured by its camera and produced a video sequence representative of a succession of image portions.
Selon un dernier aspect, l'invention concerne un signal transportant un flux de trames de visiophonie entre un premier terminal portable et un deuxième terminal portable. Au moins une trame envoyée par le premier terminal comporte des données audio, des données vidéo et des données de cadrage. Les données de cadrage indiquent la position et/ou le déplacement d'une portion d'image prise par une caméra du deuxième terminal. Ladite portion d'image correspond à une image à envoyer du deuxième terminal au premier terminal.According to a last aspect, the invention relates to a signal carrying a stream of videophone frames between a first portable terminal and a second portable terminal. At least one frame sent by the first terminal includes audio data, video data, and framing data. The registration data indicates the position and / or the displacement of an image portion taken by a camera of the second terminal. Said image portion corresponds to an image to be sent from the second terminal to the first terminal.
L'invention sera mieux comprise et d'autres particularités et avantages apparaîtront à la lecture de la description qui va suivre, la description faisant référence aux figures annexées parmi lesquelles : la figure 1 est un schéma fonctionnel représentant deux terminaux portables en communication selon l'invention, la figure 2 illustre des recadrages d'images réalisés selon l'invention, la figure 3 montre une caractéristique de transfert entre une information de mouvement et une commande de cadrage, la figure 4 montre un organigramme de fonctionnement pour le terminal effectuant une capture d'image selon l'invention.The invention will be better understood and other features and advantages will become apparent on reading the description which follows, the description referring to the appended figures among which: FIG. 1 is a block diagram showing two portable terminals in communication according to FIG. FIG. 2 shows a transfer characteristic between a movement information and a framing control, FIG. 4 shows an operating flow diagram for the terminal performing a capture. FIG. image according to the invention.
La figure 1 représente deux terminaux portables 100 et 200 communiquant par l'intermédiaire d'un réseau de radiotéléphonie ou radiocommunication 300. Le réseau de radiotéléphonie 300 est un réseau de radiocommunication dit de troisième génération, par exemple conforme à la norme UMTS. Par réseau de radiotéléphonie de troisième génération, il faut comprendre un réseau de radiocommunication à haut débit permettant d'échanger des données audio, vidéo ou autres entre un terminal radio et le réseau.FIG. 1 represents two portable terminals 100 and 200 communicating via a radiotelephone or radiocommunication network 300. The radiotelephone network 300 is a third generation radiocommunication network, for example in accordance with the UMTS standard. Third-generation radiotelephone network requires comprising a high-speed radio network for exchanging audio, video or other data between a radio terminal and the network.
La présente description s'intéresse à la gestion du cadrage lors d'une communication en visiophonie entre deux terminaux. Seuls les moyens mis en œuvre pour le cadrage sont détaillés. Les autres éléments constitutifs des terminaux et du réseau sont bien connus de l'homme du métier.The present description is concerned with the management of the framing during a videophone communication between two terminals. Only the means implemented for the framing are detailed. The other constituent elements of the terminals and the network are well known to those skilled in the art.
Pour simplifier la description, les deux terminaux 100 et 200 sont identiques. Des références similaires 1xx et 2xx sont utilisées pour décrire des éléments similaires, le chiffre des centaines permettant de différencier le terminal. Ainsi, ce qui est décrit en référence aux éléments du terminal 100 est applicable au terminal 200 et réciproquement.To simplify the description, the two terminals 100 and 200 are identical. Similar references 1xx and 2xx are used to describe similar elements, the number of hundreds to differentiate the terminal. Thus, what is described with reference to the elements of the terminal 100 is applicable to the terminal 200 and vice versa.
Le premier terminal 100, de type téléphone portable, comporte :The first terminal 100, of the mobile phone type, comprises:
- un microphone 101 pour capturer du son, - un haut-parleur 102 pour reproduire du son,a microphone 101 for capturing sound, a speaker 102 for reproducing sound,
- une caméra 103 pour capturer des images,a camera 103 for capturing images,
- un écran de visualisation 104 pour reproduire des images,a display screen 104 for reproducing images,
- un moyen de cadrage 105 relié à la caméra 103 pour extraire une portion d'image à partir d'une image capturée par la caméra 103, le moyen de cadrage 105 sélectionnant la portion d'image en fonction d'informations de cadrage lc provenant d'un autre terminal distant,- a camera 105 connected to the registration means 103 for extracting an image area from an image captured by the camera 103, the framing means 105 selecting the image portion in accordance with the framing information c from another remote terminal,
- un moyen d'encodage audio et vidéo 106 relié au microphone 101 et au moyen de cadrage 105 pour transformer du son capturé par le micro 101 en données audio sortantes et un flux de portions d'image provenant des moyens de cadrage 105 en données vidéo sortantes, les données vidéo sortantes étant par exemple une séquence vidéo comprimée selon un algorithme de compression d'image,audio and video encoding means 106 connected to the microphone 101 and the framing means 105 for transforming the sound captured by the microphone 101 into outgoing audio data and a stream of image portions coming from the framing means 105 into video data the outgoing video data being for example a video sequence compressed according to an image compression algorithm,
- un moyen de décodage audio et vidéo 107 relié au haut-parleur 102 et à l'écran de visualisation 104 pour transformer des données audio entrantes en signal de pilotage du haut-parleur 102, et des données vidéo entrantes en signal d'image à reproduire sur l'écran de visualisation 104, - des capteurs de mouvement 108 à 110 pour produire des informations de mouvements du terminal,an audio and video decoding means 107 connected to the loudspeaker 102 and to the display screen 104 for transforming incoming audio data into a driving signal of the loudspeaker 102, and incoming video data into an image signal at reproduce on the display screen 104, motion sensors 108 to 110 for producing movement information of the terminal,
- un moyen de filtrage 111 relié aux capteurs de mouvement 108 à 110 pour filtrer les informations de mouvement, - un moyen d'élaboration de commande 112 relié au moyen de filtragea filtering means 111 connected to the motion sensors 108 to 110 for filtering the motion information; a control generating means 112 connected to the filtering means;
111 qui transforme les informations filtrées de mouvement en données de cadrage sortantes D0 à destination d'un autre terminal,111 which transforms the filtered motion information into outgoing frame data D 0 to another terminal,
- un moyen de multiplexage et de communication 113 relié aux moyens d'encodage 106, d'élaboration de commande 112, de décodage 107 et de cadrage 105 pour, d'une part, regrouper des données audio, vidéo et de cadrage Dc à émettre en paquets de données à destination du réseau, et pour, d'autre part, recevoir et séparer des paquets de données reçus en données audio, en données vidéo et en informations de cadrage lc, et - une antenne 114 reliée aux moyens de multiplexage et de communication 113 pour échanger avec le réseau 300 des signaux radio représentatifs des paquets de données émis et reçus par le terminal 100.a multiplexing and communication means 113 connected to the encoding means 106, the control generation means 112, the decoding decoder 107 and the framing means 105 for, on the one hand, grouping audio, video and framing data Dc to be emitted in data packets to the network, and for, on the other hand, receiving and separating received data packets into audio data, video data and frame information l c , and - an antenna 114 connected to the multiplexing means and communication 113 to exchange with the network 300 radio signals representative of the data packets transmitted and received by the terminal 100.
Classiquement, pour maximiser l'intégration des composants d'un terminal portable, celui-ci comporte principalement un processeur central, un processeur de traitement du signal et éventuellement un processeur de traitement d'image. Ces trois processeurs sont utilisés de manière microprogrammée pour traiter toutes les données et tous les signaux sous forme numérique. Ainsi, les moyens 105-107 et 111-112 décrits de manière fonctionnelle sur la figure 1 peuvent être réalisés en pratique par programmation de ces processeurs. Des convertisseurs analogique/numérique et numérique/analogique réalisent la liaison entre les processeurs et les différents éléments 101-104 et 108-110 auxquels ils sont connectés. Le moyen de multiplexage et de communication 113 est également réalisé à l'aide des processeurs du terminal mais il inclut en outre une interface radio reliée à l'antenne 114.Conventionally, to maximize the integration of the components of a portable terminal, it mainly comprises a central processor, a signal processing processor and possibly an image processing processor. These three processors are used in a microprogrammed way to process all data and signals in digital form. Thus, the means 105-107 and 111-112 functionally described in FIG. 1 can be realized in practice by programming these processors. Analog / digital and digital / analog converters provide the link between the processors and the various elements 101-104 and 108-110 to which they are connected. The multiplexing and communication means 113 is also realized using the processors of the terminal but it also includes a radio interface connected to the antenna 114.
Lors d'une communication en visiophonie, le moyen de décodage audio et vidéo 107 reçoit les données audio et vidéo provenant du terminal distant 200 et les transforme en signaux de commande du haut-parleur 102 et de l'écran 104 afin de restituer à un utilisateur A du terminal 100 le son capturé par le micro 202 et l'image capturée par la caméra 203 du terminal 200 de son correspondant B. L'écran 104 est par exemple de type LCD (de l'anglais : Liquid Crystal Display) ou de type OLED (de l'anglais : Organic Light-Emitting Diode display) de petite dimension, par exemple d'une diagonale inférieure à deux pouces. La résolution de cet écran 104 est par exemple inférieure à 200 pixels par coté. L'utilisateur A du terminal 100 peut ainsi avoir une image satisfaisante lui permettant de saisir les expressions d'un visage en gros plan. Cependant, une telle résolution ne permet pas de distinguer ces mêmes détails en plan plus large.During a videophone communication, the audio and video decoding means 107 receives the audio and video data from the terminal 200 and transforms them into control signals of the loudspeaker 102 and the screen 104 in order to restore to a user A of the terminal 100 the sound captured by the microphone 202 and the image captured by the camera 203 of the terminal 200 of its correspondent B. The screen 104 is for example of LCD type (of the English: Liquid Crystal Display) or OLED type (English: Organic Light-Emitting Diode Display) small, for example a diagonal less than two inches. The resolution of this screen 104 is for example less than 200 pixels per side. The user A of the terminal 100 can thus have a satisfactory image enabling him to capture the expressions of a close-up face. However, such a resolution does not make it possible to distinguish these same details in a broader plane.
La caméra 103 du terminal 100 comporte une lentille grand angle et un capteur d'image, par exemple de type CCD (de l'anglais : Charge Coupled Device). La caméra 103 sert pour la visiophonie mais également pour d'autres applications parmi lesquelles la photographie numérique. Selon une technique connue, les photos prises par le terminal portable 100 peuvent être envoyées à travers le réseau 300 à un ordinateur. Ainsi la caméra 103 dispose généralement d'une résolution supérieure à la résolution de l'écran 104. A titre d'exemple, la résolution de la caméra 103 est d'au moins 640x480 pixels afin d'avoir une qualité minimum de visualisation sur un écran d'ordinateur.The camera 103 of the terminal 100 comprises a wide-angle lens and an image sensor, for example of the CCD type (Charge Coupled Device). The camera 103 is used for video telephony but also for other applications including digital photography. According to a known technique, the photos taken by the portable terminal 100 can be sent through the network 300 to a computer. Thus, the camera 103 generally has a resolution greater than the resolution of the screen 104. By way of example, the resolution of the camera 103 is at least 640 × 480 pixels in order to have a minimum quality of visualization on a screen. computer screen.
Lors d'une communication en visiophonie, le moyen de cadrage 105 sert à extraire, de chaque image prise par la caméra 103, une portion d'image dont la forme et la résolution correspondent à l'écran 204 du terminal 200. Ces informations de forme et de résolution sont transmises lors de l'initialisation de la communication. Le moyen de cadrage comporte également des moyens pour effectuer un sur-échantillonnage et/ou un sous-échantillonnage de l'image permettant de réaliser une fonction de zoom électronique selon une technique connue. Le zoom électronique permet de transformer une portion d'image choisie de taille quelconque afin de l'adapter à la taille de l'écran 204 du terminal 200 du correspondant B.During a videophone communication, the framing means 105 serves to extract, from each image taken by the camera 103, an image portion whose shape and resolution correspond to the screen 204 of the terminal 200. form and resolution are transmitted when initializing the communication. The framing means also comprises means for performing oversampling and / or subsampling of the image making it possible to perform an electronic zoom function according to a known technique. The electronic zoom makes it possible to transform a portion of a chosen image of any size in order to adapt it to the size of the screen 204 of the terminal 200 of the correspondent B.
Le moyen de cadrage 105 comporte un stabilisateur d'image apte à compenser les déplacements de faible amplitude de l'image qui correspondent à d'éventuels tremblements d'un utilisateur. Le stabilisateur d'image, d'un type connu, est par exemple capable de détecter tout mouvement global et uniforme entre deux images provenant de la caméra et d'effectuer une translation correspondante en nombre de pixels dans la direction inverse du déplacement. La stabilisation de l'image se fait de préférence avant l'extraction de la portion d'image.The framing means 105 includes an image stabilizer capable of compensating for low amplitude displacements of the image which correspond to to possible tremors of a user. The image stabilizer, of a known type, is for example capable of detecting any global and uniform movement between two images coming from the camera and of carrying out a corresponding translation in number of pixels in the direction opposite to the displacement. Stabilization of the image is preferably done before the extraction of the image portion.
Dans l'invention, le moyen de cadrage 105 déplace en outre la portion d'image en fonction d'informations de cadrage Ic provenant du moyen de multiplexage 113. Les informations de cadrage Ic reçues par l'un des terminaux 100, respectivement 200, correspondent à des données de cadrage Dc émises par l'autre des terminaux 200, respectivement 100.In the invention, the framing means 105 further moves the image portion as a function of framing information Ic from the multiplexing means 113. The framing information Ic received by one of the terminals 100, respectively 200, correspond to the framing data Dc transmitted by the other of the terminals 200, respectively 100.
Selon l'invention, le cadrage est réalisé à distance par le correspondant qui est le mieux placé pour régler l'image visualisée. L'invention propose un contrôle intuitif du cadrage à distance. Lorsque l'utilisateur A du terminal 100 voit l'utilisateur B du terminal 200 sortir de son écran 104, le geste le plus intuitif est de déplacer son écran 104, tenu à la main, pour suivre le mouvement de l'utilisateur du terminal 200. Egalement, lorsqu'un détail attire particulièrement l'attention et que l'on désire le voir de plus près, un utilisateur rapproche naturellement son écran. Le contrôle intuitif proposé consiste à déplacer le terminal dans une direction naturelle pour déplacer la portion d'image vue sur l'écran.According to the invention, the framing is performed remotely by the correspondent who is best placed to adjust the image displayed. The invention provides an intuitive control of remote framing. When the user A of the terminal 100 sees the user B of the terminal 200 exit his screen 104, the most intuitive gesture is to move his screen 104, held by hand, to follow the movement of the user of the terminal 200 Also, when a detail is particularly eye-catching and you want to see it more closely, a user naturally brings his screen closer. The proposed intuitive control is to move the terminal in a natural direction to move the image portion seen on the screen.
La figure 2 représente les différentes modifications de cadrage en fonction d'un déplacement du terminal. La figure 2a montre une image 400 capturée par la caméra 203 du terminal 200 et une portion d'image 401 transmise et vue sur l'écran 104 du terminal 100. L'utilisateur du terminal 100 souhaite déplacer le cadrage de la portion d'image 401 pour obtenir une portion d'image 402 cadrée différemment. L'utilisateur déplace son terminalFigure 2 shows the various framing changes as a function of a displacement of the terminal. FIG. 2a shows an image 400 captured by the camera 203 of the terminal 200 and an image portion 401 transmitted and seen on the screen 104 of the terminal 100. The user of the terminal 100 wishes to move the registration of the image portion 401 to obtain an image portion 402 differently. The user moves his terminal
100 d'un mouvement Δm dans la direction souhaitée. Ce mouvement Δm peut se décomposer en un mouvement Δx selon un premier axe parallèle à un premier coté de l'écran 104 et en un mouvement Δy selon un axe selon un deuxième axe parallèle à un deuxième coté de l'écran 104. Le mouvement est appliqué proportionnellement à la position du cadre de la portion d'image. La figure 2b montre une image 400 capturée par la caméra 203 du terminal 200 et une portion d'image 403 transmise et vue sur l'écran 104 du terminal 100. L'utilisateur du terminal 100 souhaite avoir une vision en plan plus large correspondant à la portion d'image 404. L'utilisateur déplace alors son terminal 100 eh éloignant l'écran 104 d'un mouvement d'éloignement Δz qui provoque un élargissement du cadre. Un sous-échantillonnage est ensuite réalisé pour adapter la portion d'image à la taille de l'écran 104, ce qui correspond à un zoom arrière.100 of a movement Δm in the desired direction. This movement Δm can be decomposed into a movement Δx along a first axis parallel to a first side of the screen 104 and in a movement Δy along an axis along a second axis parallel to a second side of the screen 104. The movement is applied in proportion to the frame position of the image portion. FIG. 2b shows an image 400 captured by the camera 203 of the terminal 200 and an image portion 403 transmitted and seen on the screen 104 of the terminal 100. The user of the terminal 100 wishes to have a wider plan view corresponding to the image portion 404. The user then moves his terminal 100 eh away from the screen 104 of a movement away Δz which causes a widening of the frame. Subsampling is then performed to adapt the image portion to the size of the screen 104, which corresponds to a zoom out.
Les données de cadrage D0 sont élaborées par le moyen d'élaboration de commande 112 en fonction d'informations de mouvement provenant des capteurs de mouvement 108 à 110 après filtrage dans le moyen de filtrage 111.The registration data D 0 are produced by the control generation means 112 as a function of motion information from the motion sensors 108 to 110 after filtering in the filtering means 111.
Les capteurs de mouvement 108 à 110 sont par exemple constitués d'accéléromètres, de gyroscopes et/ou de magnétomètres électroniques capables de fournir des informations relatives au déplacement et à l'accélération en translation et en rotation selon trois axes perpendiculaires.The motion sensors 108 to 110 consist, for example, of accelerometers, gyroscopes and / or electronic magnetometers capable of providing information relating to displacement and acceleration in translation and in rotation along three perpendicular axes.
Préférentiellement, deux des trois axes sont respectivement parallèles aux cotés de l'écran 104 et le troisième axe est perpendiculaire à l'écran 104. Les mouvements de translation et de rotation sont combinés entre eux pour obtenir des informations de mouvement Δx, Δy et Δz représentatives d'un déplacement relatif de l'écran 104 pendant une durée prédéterminée selon l'un des trois axes.Preferably, two of the three axes are respectively parallel to the sides of the screen 104 and the third axis is perpendicular to the screen 104. The translation and rotation movements are combined with each other to obtain motion information Δx, Δy and Δz representative of a relative displacement of the screen 104 for a predetermined duration along one of the three axes.
La durée prédéterminée correspond par exemple à une durée d'échantillonnage des informations de mouvement Δx, Δy et Δz. Le moyen de filtrage 111 réalise ensuite un filtrage des informations de mouvement Δx, Δy et Δz. Les informations de mouvement Δx, Δy et Δz sont représentatives d'une amplitude et d'une vitesse de déplacement. Pour éviter de prendre en compte des mouvements liés à des tremblements (mouvements de faible amplitude) ou à une fatigue (mouvements lents) de l'utilisateur, il convient de ne tenir compte que des informations de mouvement supérieures, en valeur absolue, à un seuil minimum Sm.The predetermined duration corresponds, for example, to a sampling time of the movement information Δx, Δy and Δz. The filtering means 111 then performs a filtering of the motion information Δx, Δy and Δz. The motion information Δx, Δy and Δz are representative of an amplitude and a speed of displacement. To avoid taking into account movements related to tremors (low amplitude movements) or to fatigue (slow movements) of the user, only higher movement information, in absolute value, should be taken into account. minimum threshold S m .
Par ailleurs, l'utilisateur peut bouger pendant la conversation en visiophonie sans vouloir modifier le cadrage. A cet effet, il convient de ne pas prendre en compte les informations de mouvement de grande amplitude, c'est- à-dire d'amplitude supérieure, en valeur absolue, à un seuil maximum SM- Le filtre dispose de la fonction de transfert suivante pour les informations de mouvement Δx, Δy et Δz :Moreover, the user can move during the conversation by videophone without wanting to change the framing. For this purpose, it is advisable not to take into account the information of movement of great amplitude, that is to say of amplitude higher, in absolute value, with a maximum threshold SM- The filter has the function of transfer following for the motion information Δx, Δy and Δz:
Au/ = Au si S111 < |Δ«| < Su , etAu / = Au if S 111 <| Δ «| <S u , and
Auf = 0 si |Δω| < S111 ou si |Δw| > SM ,Auf = 0 if | Δω | <S 111 or if | Δw | > S M ,
avec u remplaçant x, y ou z, et Δxf, Δyf et Δzf correspondant aux informations de mouvement filtrées. Le moyen d'élaboration de commande 112 transforme les informations de mouvement filtrées Δxf, Δyf et Δzf en données de cadrage Dc. Les données de cadrage Dc peuvent être de différentes formes. A titre d'exemple, deux formes de données sont exposées ci-après.with u replacing x, y or z, and Δxf, Δyf and Δzf corresponding to the filtered motion information. The command generation means 112 transforms the filtered movement information Δxf, Δyf and Δzf into the frame data Dc. The framing data Dc can be of different shapes. For example, two forms of data are described below.
Une première forme des données de cadrage est une forme correspondant à des commandes de cadrage. Les commandes vont être constituées de trois données représentatives de la modification du cadrage.A first form of the registration data is a form corresponding to registration orders. The orders will consist of three data representative of the modification of the framing.
Les informations filtrées Δxf et Δyf sont quantifiées pour transformer le mouvement en nombre (positif ou négatif) de pixels de déplacement du cadre définissant la portion d'image. L'information filtrée Δzf est quantifiée pour indiquer le nombre de pixels augmentant ou diminuant le cadre définissant la portion d'image. La position et la dimension du cadre de la portion d'image sont ensuite gérées par le moyen de cadrage 205 de l'autre terminal 200.The filtered information Δxf and Δyf are quantized to transform the motion into a number (positive or negative) of displacement pixels of the frame defining the image portion. The filtered information Δzf is quantized to indicate the number of pixels increasing or decreasing the frame defining the image portion. The position and the dimension of the frame of the image portion are then managed by the framing means 205 of the other terminal 200.
Un exemple de caractéristique de transfert entre une information de mouvement et une donnée de mouvement correspondante est représenté sur la figure 3. L'axe des abscisses correspond aux valeurs possibles d'une information de mouvement, par exemple Δx. Trois zones inopérantes 410 àAn example of a transfer characteristic between a movement information and a corresponding motion data is shown in FIG. 3. The abscissa axis corresponds to the possible values of a motion information, for example Δx. Three inoperative zones 410 to
411 correspondent à l'annulation de l'information de mouvement réalisée par le moyen de filtrage 111. Deux zones de quantification 413 et 414 correspondent à la commande de déplacement du cadre définissant la portion d'image. A titre d'exemple, il est possible de faire correspondre une valeur de 1 pixel de déplacement lorsque l'information de mouvement correspond au seuil minimum Sm et une valeur de 20 pixels de déplacement lorsque l'information de mouvement correspond au seuil maximum SM. Dans une réalisation simple, une extrapolation linéaire est réalisée entre les deux seuils Sm et SM ; mais on notera qu'une courbe différente pourrait être utilisée.411 correspond to the cancellation of the movement information produced by the filtering means 111. Two quantization zones 413 and 414 correspond to the movement control of the frame defining the image portion. As for example, it is possible to match a value of 1 displacement pixel when the motion information corresponds to the minimum threshold S m and a value of 20 moving pixels when the motion information corresponds to the maximum threshold S M. In a simple embodiment, a linear extrapolation is performed between the two thresholds S m and SM; but note that a different curve could be used.
Une deuxième forme des données de cadrage peut consister en une position et une taille de cadre d'une portion d'image choisie. Dans ce cas, les modifications du cadre sont réalisées par le moyen d'élaboration de commande 112. Le moyen de cadrage 205 n'effectue que la sélection de la portion d'image accompagnée éventuellement d'un effet de zoom.A second form of the registration data may consist of a position and frame size of a selected image portion. In this case, the modifications of the frame are carried out by the control generating means 112. The framing means 205 only performs the selection of the image portion optionally accompanied by a zoom effect.
Quelle que soit la forme des données de cadrage Dc, celles-ci sont fournies au moyen de multiplexage et de communication 113. Le moyen de multiplexage et de communication 113 constitue des trames de données à émettre regroupant un ensemble de données à destination du terminal 200. La trame comporte des données audio et des données vidéo relatives à la communication visiophonique mais aussi les données de cadrage Dc. La trame est ensuite empaquetée avec des données de service destinées à identifier la trame et sa destination. Le paquet de données ainsi constitué est transformé en une salve qui s'insère dans un signal radio constitué d'un flux de trames à destination du réseau 300. Le réseau 300 aiguille ensuite les différentes trames pour les envoyer au terminal 200 sous forme d'un signal radio.Whatever the form of the scoping data Dc, these are provided by means of multiplexing and communication 113. The multiplexing and communication means 113 constitute frames of data to be sent combining a set of data destined for the terminal 200. The frame comprises audio data and video data relating to the videophone communication but also the frame data Dc. The frame is then packaged with service data to identify the frame and its destination. The data packet thus formed is transformed into a burst which is inserted in a radio signal consisting of a stream of frames to the network 300. The network 300 then needle the different frames to send them to the terminal 200 in the form of a packet. a radio signal.
Le moyen de cadrage 105 dispose d'un stabilisateur d'image qui compense les mouvements de la caméra lorsque ceux-ci sont de faible amplitude. Cette compensation permet d'éviter que les déplacements opérés pour recadrer l'image de l'interlocuteur entraîne à son tour un besoin de recadrage réciproque. Si le seuil maximum SM correspond à un déplacement compensable par le stabilisateur d'image, le mouvement réalisé pour modifier le cadrage de l'autre terminal 200 est automatiquement compensé. Si le stabilisateur d'image n'a pas la capacité suffisante pour compenser le mouvement lié à un déplacement de recadrage, il est possible de relier le moyen de cadrage 105 au moyen de filtrage 111 afin que le déplacement réel du terminal 100 soit pris en compte pour déplacer sa fenêtre de cadrage. Le recadrage effectué dans le terminal 100 est de même nature mais d'amplitude et de signe différents par rapport au recadrage de l'autre terminal 200. Avec les moyens précédemment décrits, il est possible de recadrer les images filmées par la caméra 103 du terminal 100 à partir du terminal 200 et réciproquement. Le recadrage se fait intuitivement en réponse à un mouvement du terminal 200 qui entraîne l'élaboration de données de cadrage grâce aux capteurs de mouvement 208 à 210, au moyen de filtrage 211 et au moyen d'élaboration de commande 212. Ainsi la séquence vidéo produite par le terminal 100 est contrôlée par l'utilisateur B du terminal 200 pendant une communication en visiophonie.The framing means 105 has an image stabilizer which compensates for the movements of the camera when they are of low amplitude. This compensation makes it possible to avoid that the movements made to crop the image of the interlocutor in turn causes a need for mutual reframing. If the maximum threshold SM corresponds to a displacement that can be compensated by the image stabilizer, the movement made to modify the registration of the other terminal 200 is automatically compensated. If the image stabilizer does not have the capacity to compensate for the movement related to a cropping displacement, it is possible to connect the scaling means 105 to the filtering means 111 so that the actual movement of the terminal 100 is taken into account to move its framing window. The cropping performed in the terminal 100 is of the same nature but different amplitude and sign compared to the reframing of the other terminal 200. With the means described above, it is possible to crop the images filmed by the camera 103 of the terminal 100 from the terminal 200 and vice versa. The reframing is done intuitively in response to a movement of the terminal 200 which leads to the development of framing data through the motion sensors 208 to 210, the filtering means 211 and the control developing means 212. Thus the video sequence generated by the terminal 100 is controlled by the user B of the terminal 200 during a videophone communication.
Toutefois, un tel recadrage est utile pour un dialogue où les deux utilisateurs sont face à face et/ou quasi-immobiles. Lorsque l'un des utilisateurs déplace de manière conséquente son terminal, par exemple pour montrer quelque chose à son correspondant, le recadrage devient superflu. En outre, si le recadrage est réalisé de manière permanente pendant une longue conversation en visiophonie où des mouvements importants ont été réalisés, le cadre délimitant la portion d'image peut se trouver sur un bord de l'image filmée par la caméra et le recadrage peut devenir impossible dans une direction.However, such a cropping is useful for a dialogue where the two users are face to face and / or quasi-immobile. When one of the users consecutively moves his terminal, for example to show something to his correspondent, the cropping becomes superfluous. In addition, if the crop is made permanently during a long videophone conversation where significant movements have been made, the frame delimiting the portion of the image may be on an edge of the image filmed by the camera and the reframing can become impossible in one direction.
Selon une première amélioration, on recadre l'image filmée à l'aide du moyen de cadrage 105 du terminal 100 si ce terminal 100 est quasi immobile. La détection de la quasi-immobilité du terminal 100 peut se faire à l'aide du stabilisateur d'image qui détecte un mouvement homogène de faible amplitude de l'image. Il est également possible de détecter le mouvement du terminal 100 à l'aide des capteurs de mouvement 108 à 110. Ainsi, si les mouvements sont, par exemple inférieurs au seuil maximum SMI on peut considérer que le terminal est quasi-immobile. Selon une deuxième amélioration, le moyen de cadrage 105 comporte des moyens de reconnaissance de forme aptes à reconnaître la forme d'un visage. La reconnaissance de forme se fait par exemple à l'aide d'une technique connue pour identifier qu'un visage est présent dans l'image. Ainsi, le terminal 100 peut établir que l'utilisateur est en train de dialoguer si un visage est détecté. Le moyen de cadrage prend alors en compte les informations de cadrage si un visage est détecté. Cela permet de contrôler le cadrage à distance même si l'arrière-plan filmé est mobile ou si le terminal est en mouvement.According to a first improvement, the image filmed is reframed using the framing means 105 of the terminal 100 if the terminal 100 is almost immobile. Detection of the quasi-immobility of the terminal 100 can be done using the image stabilizer which detects a homogeneous motion of low amplitude of the image. It is also possible to detect the movement of the terminal 100 using the motion sensors 108 to 110. Thus, if the movements are, for example below the maximum threshold SM I can be considered that the terminal is quasi-immobile. According to a second improvement, the framing means 105 comprises shape recognition means able to recognize the shape of a face. The form recognition is done for example with the help of a known technique for identifying that a face is present in the image. Thus, the terminal 100 can establish that the user is in dialogue if a face is detected. The framing means then takes into account the framing information if a face is detected. This allows remote framing to be controlled even if the background is moving or the terminal is moving.
De manière préférentielle, les deux améliorations sont combinées. L'organigramme de la figure 4 illustre la mise en œuvre de ces deux améliorations dans le moyen de cadrage 105. Lors d'une étape 420 d'initialisation de communication visiophonique, le moyen de cadrage 105 reçoit les caractéristiques de l'écran 204 du terminal 200 du correspondant pour pouvoir déterminer le format de la portion d'image à envoyer.Preferably, the two improvements are combined. The flow chart of FIG. 4 illustrates the implementation of these two improvements in the framing means 105. During a videophonic communication initialization step 420, the framing means 105 receives the characteristics of the screen 204 of the 200 correspondent terminal to be able to determine the format of the image portion to be sent.
Une fois la communication initialisée, le moyen de cadrage 105 fonctionne en image libre (étape 421). Au cours de cette étape 421 , le moyen de cadrage découpe une portion d'image, par exemple centrée, indépendamment de toute information de cadrage Ic reçue.Once the communication initialized, the framing means 105 operates in free image (step 421). During this step 421, the framing means divides an image portion, for example centered, independently of any received framing information Ic.
De manière régulière, un test 422 est réalisé pour déterminer si des conditions permettent de passer en mode de contrôle à distance de l'image. Le test 422 consiste par exemple à vérifier si l'image peut être considérée comme immobile ou quasi-immobile ou si un visage est présent dans l'image filmée. Si l'une des deux conditions est réalisée, on passe à l'étape 423. Si aucune des deux conditions n'est réalisée, un test 424 est réalisé.On a regular basis, a test 422 is performed to determine whether conditions make it possible to switch to remote control mode of the image. The test 422 consists, for example, in verifying whether the image can be considered as immobile or quasi-immobile or whether a face is present in the filmed image. If one of the two conditions is achieved, proceed to step 423. If neither condition is performed, a test 424 is performed.
Le test 424 contrôle si la communication visiophonique est terminée. Si la communication n'est pas terminée, on retourne à l'étape 421 et le moyen de cadrage fonctionne en image libre.The test 424 checks if the videophone communication is finished. If the communication is not completed, it returns to step 421 and the framing means operates in free image.
L'étape 423 correspond au fonctionnement du moyen de cadrage 105 avec prise en compte des informations de cadrage Ic- La portion d'image est déplacée, agrandie ou rétrécie en fonction des données de cadrage reçues. Le moyen de cadrage effectue, si besoin est, un sur-échantillonnage ou un sous- échantillonnage de la portion d'image cadrée pour la faire correspondre à la résolution de l'écran.Step 423 corresponds to the operation of the framing means 105 taking into account the framing information Ic. The image portion is moved, enlarged or narrowed according to the framing data received. The framing means performs, if necessary, an oversampling or a subsampling of the framed image portion to match the resolution of the screen.
De manière régulière, un test 425 est réalisé pour déterminer si des conditions permettent de passer en mode de contrôle à distance de l'image. Le test 425 consiste par exemple à vérifier si l'image peut être considérée comme immobile ou quasi-immobile ou si un visage est présent dans l'image filmée. Si l'une des deux conditions est réalisée, on retourne à l'étape 423. Si aucune des deux conditions n'est réalisée, un test 426 est réalisé.On a regular basis, a test 425 is performed to determine whether conditions allow you to switch to remote control mode of the image. The test 425 consists for example in checking whether the image can be considered as immobile or quasi-immobile or if a face is present in the filmed image. If one of the two conditions is achieved, return to step 423. If neither condition is performed, a test 426 is performed.
Le test 426 contrôle si la communication en visiophonie est terminée. Si la communication n'est pas terminée, la portion d'image est réinitialisée et on retourne à l'étape 421 et le moyen de cadrage fonctionne en image libre.The test 426 checks whether the video telephony communication is complete. If the communication is not completed, the image portion is reinitialized and returns to step 421 and the framing means operates as a free image.
L'invention décrite peut se décliner selon différentes variantes. Dans l'exemple décrit, les terminaux 100 et 200 sont identiques et tous deux capables d'émettre des informations de cadrage et de recevoir et prendre en compte des informations de cadrage. Cependant, l'homme du métier comprendra qu'un terminal pourrait élaborer et émettre des données de cadrage sans recevoir d'informations de cadrage. Réciproquement, un terminal peut prendre en compte des informations de cadrage sans lui-même élaborer de données de cadrage. Les terminaux mettant en œuvre l'invention peuvent donc se limiter aux moyens nécessaires à la mise en œuvre faite de l'invention sans reproduire tous les moyens compris dans les exemples décrits. The described invention can be broken down into different variants. In the example described, the terminals 100 and 200 are identical and both capable of transmitting framing information and of receiving and taking into account framing information. However, those skilled in the art will understand that a terminal could develop and output framing data without receiving framing information. Reciprocally, a terminal can take into account framing information without itself elaborating framing data. The terminals implementing the invention can therefore be limited to the means necessary for the implementation of the invention without reproducing all the means included in the examples described.

Claims

R E V E N D I C A T I O N S
1. Terminal portable de visiophonie (100, 200) comprenant :A portable video telephony terminal (100, 200) comprising:
- des moyens de communication (113, 213) pour communiquer avec un autre terminal de visiophonie (200, 100) par l'intermédiaire d'un réseau de radiocommunication (300),- communication means (113, 213) for communicating with another video telephony terminal (200, 100) via a radio communication network (300),
- des capteurs de mouvement (108-110, 208-210) pour produire des informations (Δx, Δy, Δz) représentatives de mouvements du terminal, etmotion sensors (108-110, 208-210) for producing information (Δx, Δy, Δz) representative of movements of the terminal, and
- des moyens de mise en forme (111 , 112, 211 , 212) pour transformer les informations de mouvement en données de cadrage (Dc) sortantes à destination de l'autre terminal, les moyens de communication (113, 213) étant agencés pour insérer les données de cadrage (D0) sortantes dans des données à émettre sur le réseau de radiocommunication à destination de l'autre terminal.- shaping means (111, 112, 211, 212) for transforming the movement information into outgoing framing data (Dc) to the other terminal, the communication means (113, 213) being arranged to inserting the outgoing frame data (D 0 ) into data to be transmitted on the radio network to the other terminal.
2. Terminal selon la revendication 1 , comprenant en outre un afficheur pour visualiser une image prise par une caméra de l'autre terminal de visiophonie, les données de cadrage étant adaptées pour commander le cadrage de l'image prise par ladite caméra.2. Terminal according to claim 1, further comprising a display for displaying an image taken by a camera of the other videophone terminal, the framing data being adapted to control the framing of the image taken by said camera.
3. Terminal selon la revendication 1 ou 2, dans lequel les capteurs de mouvement (108-110, 208-210) comprennent des gyroscopes et/ou des accéléromètres et/ou des magnétomètres.Terminal according to claim 1 or 2, wherein the motion sensors (108-110, 208-210) comprise gyroscopes and / or accelerometers and / or magnetometers.
4. Terminal selon l'une quelconque des revendications 1 à 3, dans lequel les moyens de mise en forme (111 , 112, 211 , 212) sont agencés pour comparer les informations de mouvement à un seuil de mouvement minimum (Sm) et un seuil de mouvement maximum (SM), et dans lequel les données de cadrage (D0) sortantes sont produites en réponse à la détection d'un mouvement compris entre le seuil de mouvement minimum (Sm) et le seuil de mouvement maximum (SM), Terminal according to any one of claims 1 to 3, wherein the shaping means (111, 112, 211, 212) are arranged to compare the motion information with a minimum movement threshold (S m ) and a maximum movement threshold (SM), and wherein the outgoing frame data (D 0 ) is produced in response to the detection of a movement between the minimum movement threshold (S m ) and the maximum movement threshold ( SM)
5. Terminal selon l'une quelconque des revendications 1 à 4, comportant en outre :Terminal according to any one of claims 1 to 4, further comprising:
- une caméra (103, 203) pour capturer des images ayant une première taille, - un moyen de cadrage (105, 205) pour extraire une portion d'imagea camera (103, 203) for capturing images having a first size, a framing means (105, 205) for extracting a portion of an image
(401-404) à partir d'une image capturée (400) par la caméra (103, 203), le moyen de cadrage (105, 205) sélectionnant la portion d'image en fonction d'informations de cadrage (Ic) distantes provenant de l'autre terminal, ladite portion d'image ayant une deuxième taille inférieure à la première taille,(401-404) from a captured image (400) by the camera (103, 203), the registration means (105, 205) selecting the image portion based on remote registration information (Ic) from the other terminal, said image portion having a second size smaller than the first size,
- un moyen d'encodage vidéo (106, 206) pour transformer un flux de portions d'image provenant du moyen de cadrage (105, 205) en données vidéo sortantes, et les moyens de communication (113, 213) étant agencés pour extraire les informations de cadrage (Ic) distantes de données reçues du réseau de radiocommunication (300) en provenance de l'autre terminal (200, 100).video encoding means (106, 206) for transforming a stream of image portions from the scaling means (105, 205) into outgoing video data, and the communication means (113, 213) being arranged to extract the framing information (Ic) remote from data received from the radio network (300) from the other terminal (200, 100).
6. Terminal portable de visiophone (100, 200) comprenant :6. Portable videophone terminal (100, 200) comprising:
- des moyens de communication (113, 213) pour communiquer avec un autre terminal de visiophonie (200, 100) par l'intermédiaire d'un réseau de radiocommunication (300),- communication means (113, 213) for communicating with another video telephony terminal (200, 100) via a radio communication network (300),
- une caméra (103, 203) pour capturer des images ayant une première taille,a camera (103, 203) for capturing images having a first size,
- un moyen de cadrage (105, 205) pour extraire une portion d'image (401-404) à partir d'une image capturée (400) par la caméra (103, 203), le moyen de cadrage (105, 205) sélectionnant la portion d'image en fonction d'informations de cadrage (Ic) distantes provenant de l'autre terminal, ladite portion d'image ayant une deuxième taille inférieure à la première taille,a framing means (105, 205) for extracting an image portion (401-404) from a captured image (400) by the camera (103, 203), the framing means (105, 205) selecting the image portion according to remote registration information (Ic) from the other terminal, said image portion having a second size smaller than the first size,
- un moyen d'encodage vidéo (106, 206) pour transformer un flux de portions d'image provenant du moyen de cadrage (105, 205) en données vidéo sortantes, et les moyens de communication (113, 213) étant agencés pour extraire les informations de cadrage (Ic) distantes de données reçues du réseau de radiocommunication (300) en provenance de l'autre terminal (200, 100).video encoding means (106, 206) for transforming a stream of image portions from the scaling means (105, 205) into outgoing video data, and the communication means (113, 213) being arranged to extract the remote frame information (Ic) from data received from the radio network (300) from the other terminal (200, 100).
7. Terminal selon l'une des revendications 5 ou 6, dans lequel le moyen de cadrage (105, 205) est agencé pour prendre en compte les information de cadrage (Ic) distantes si l'image capturée est considérée comme immobile ou quasi-immobile.7. Terminal according to one of claims 5 or 6, wherein the framing means (105, 205) is arranged to take into account remote framing information (Ic) if the captured image is considered immobile or almost motionless.
8. Terminal portable selon l'une des revendications 5 à 7, dans lequel le moyen de cadrage (105, 205) comporte des moyens de reconnaissance de forme apte à reconnaître un visage, et dans lequel le moyen de cadrage (105, 205) est agencé pour prendre en compte les informations de cadrage (Ic) distantes si un visage est détecté.8. Portable terminal according to one of claims 5 to 7, wherein the framing means (105, 205) comprises form recognizing means adapted to recognize a face, and wherein the framing means (105, 205). is arranged to take into account remote framing information (Ic) if a face is detected.
9. Procédé de recadrage d'une image prise par une caméra (103) d'un premier terminal portable de visiophonie (100) à l'aide d'un deuxième terminal portable de visiophonie (200) muni d'un écran (204) et de capteurs de mouvement (208-210) au cours d'une communication en visiophonie, le procédé comprenant une étape d'élaboration de données de cadrage (Dc), en réponse à un mouvement du deuxième terminal portable (200), à partir d'informations de mouvement (Δx, Δy, Δz) provenant des capteurs de mouvement (208-210), et une étape d'envoi desdites données de cadrage (Dc) au premier terminal portable (100).9. A method of reframing an image taken by a camera (103) of a first portable videophone terminal (100) with a second portable videophone terminal (200) having a screen (204) and motion sensors (208-210) during a videophone communication, the method comprising a step of generating registration data (Dc), in response to a movement of the second portable terminal (200), from motion information (Δx, Δy, Δz) from the motion sensors (208-210), and a step of sending said registration data (D c ) to the first portable terminal (100).
10. Procédé selon la revendication 9, dans lequel le deuxième terminal portable (200) élabore les données de cadrage (Dc) si les informations de mouvement (Δx, Δy, Δz) sont supérieures à un seuil de mouvement minimum (Sm) et si ces informations de mouvement sont inférieures à un seuil de mouvement maximum (SM).The method of claim 9, wherein the second portable terminal (200) generates the registration data (D c ) if the motion information (Δx, Δy, Δz) is greater than a minimum motion threshold (S m ). and if this movement information is less than a maximum movement threshold (SM).
11. Procédé selon l'une des revendications 9 ou 10, dans lequel, en réponse à des informations de cadrage (Ic) reçues par le premier terminal (100) et correspondant aux données de cadrage (Dc) envoyées par le deuxième terminal (200), le premier terminal portable (100) extrait des portions d'image correspondant auxdites informations de cadrage (Ic) à partir d'images capturées par sa caméra (103) et produit une séquence vidéo représentative d'une succession de portions d'image.11. Method according to one of claims 9 or 10, wherein, in response to registration information (Ic) received by the first terminal (100) and corresponding to the registration data (Dc) sent by the second terminal (200). ), the first portable terminal (100) extracts portions image corresponding to said framing information (Ic) from images captured by its camera (103) and produces a video sequence representative of a succession of image portions.
12. Procédé selon la revendication 11 , dans lequel les informations de cadrage (lc) sont prises en compte si l'image prise par la caméra du premier terminal portable (100) bouge faiblement ou si un visage est détecté dans l'image filmée.12. The method of claim 11, wherein the framing information (l c ) is taken into account if the image taken by the camera of the first portable terminal (100) moves slightly or if a face is detected in the filmed image. .
13. Signal transportant un flux de trames de visiophonie entre un premier terminal portable (100) et un deuxième terminal portable (200), caractérisé en ce qu'au moins une trame envoyée par le premier terminal (100) comporte des données audio, des données vidéo et des données de cadrage (Dc), les données de cadrage indiquant la position et/ou le déplacement d'une portion d'image prise par une caméra (203) du deuxième terminal (200), ladite portion d'image correspondant à une image à envoyer du deuxième terminal (200) au premier terminal (100). 13. Signal conveying a stream of videophone frames between a first portable terminal (100) and a second portable terminal (200), characterized in that at least one frame sent by the first terminal (100) comprises audio data, video data and frame data (Dc), the frame data indicating the position and / or displacement of an image portion taken by a camera (203) of the second terminal (200), said corresponding image portion an image to be sent from the second terminal (200) to the first terminal (100).
EP05850555A 2005-01-07 2005-12-20 Video-telephony terminal with intuitive adjustments Withdrawn EP1834475A2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0500180A FR2880762A1 (en) 2005-01-07 2005-01-07 VISIOPHONY TERMINAL WITH INTUITIVE SETTINGS
PCT/FR2005/003206 WO2006075063A1 (en) 2005-01-07 2005-12-20 Video-telephony terminal with intuitive adjustments

Publications (1)

Publication Number Publication Date
EP1834475A2 true EP1834475A2 (en) 2007-09-19

Family

ID=34953229

Family Applications (1)

Application Number Title Priority Date Filing Date
EP05850555A Withdrawn EP1834475A2 (en) 2005-01-07 2005-12-20 Video-telephony terminal with intuitive adjustments

Country Status (4)

Country Link
US (1) US8264522B2 (en)
EP (1) EP1834475A2 (en)
FR (1) FR2880762A1 (en)
WO (1) WO2006075063A1 (en)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101449583A (en) * 2006-04-05 2009-06-03 哥瑞考儿童产品公司 Video baby monitor system
US8314716B2 (en) * 2008-03-27 2012-11-20 Siemens Industry, Inc. Use of OLED technology in HVAC sensors
US8237771B2 (en) * 2009-03-26 2012-08-07 Eastman Kodak Company Automated videography based communications
WO2010140088A1 (en) * 2009-06-03 2010-12-09 Koninklijke Philips Electronics N.V. Estimation of loudspeaker positions
JP2011023886A (en) * 2009-07-14 2011-02-03 Panasonic Corp Teleconferencing device and image display processing method
KR101660305B1 (en) * 2010-03-31 2016-09-27 삼성전자주식회사 Apparatus and method for remote control between mobile communication terminals
US9955209B2 (en) * 2010-04-14 2018-04-24 Alcatel-Lucent Usa Inc. Immersive viewer, a method of providing scenes on a display and an immersive viewing system
US9294716B2 (en) 2010-04-30 2016-03-22 Alcatel Lucent Method and system for controlling an imaging system
JP2012068713A (en) 2010-09-21 2012-04-05 Sony Corp Information processing apparatus, and information processing method
US8754925B2 (en) 2010-09-30 2014-06-17 Alcatel Lucent Audio source locator and tracker, a method of directing a camera to view an audio source and a video conferencing terminal
US9008487B2 (en) 2011-12-06 2015-04-14 Alcatel Lucent Spatial bookmarking
US8994838B2 (en) * 2013-04-16 2015-03-31 Nokia Corporation Motion adaptive cropping for video stabilization
KR102156799B1 (en) * 2013-09-03 2020-09-21 삼성전자 주식회사 Method and apparatus for controlling screen on mobile device
US20150348325A1 (en) * 2014-05-27 2015-12-03 Thomson Licensing Method and system for stabilization and reframing
WO2016151925A1 (en) * 2015-03-26 2016-09-29 富士フイルム株式会社 Tracking control device, tracking control method, tracking control program, and automatic tracking/image-capturing system
CN107615759B (en) * 2015-06-10 2020-09-01 索尼互动娱乐股份有限公司 Head-mounted display, display control method, and program

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6697103B1 (en) * 1998-03-19 2004-02-24 Dennis Sunga Fernandez Integrated network for monitoring remote objects
US20060279542A1 (en) * 1999-02-12 2006-12-14 Vega Vista, Inc. Cellular phones and mobile devices with motion driven control
US7333820B2 (en) * 2001-07-17 2008-02-19 Networks In Motion, Inc. System and method for providing routing, mapping, and relative position information to users of a communication network
US7099288B1 (en) * 2001-10-16 2006-08-29 Sprint Communications Company L.P. Telephonic addressing for establishing simultaneous voice and computer network connections
US20030076408A1 (en) * 2001-10-18 2003-04-24 Nokia Corporation Method and handheld device for obtaining an image of an object by combining a plurality of images
EP1377040A1 (en) * 2002-06-19 2004-01-02 STMicroelectronics S.r.l. Method of stabilizing an image sequence
US7933556B2 (en) * 2002-12-19 2011-04-26 Vtech Telecommunications Limited Remote video access capability for a wireless video monitoring/cordless phone system
US7221520B2 (en) * 2003-11-13 2007-05-22 Interdigital Technology Corporation Camera control using wireless technology
US7498951B2 (en) * 2004-10-18 2009-03-03 Ixi Mobile (R &D), Ltd. Motion sensitive illumination system and method for a mobile computing device
US20060099940A1 (en) * 2004-11-10 2006-05-11 Pfleging Gerald W Method for changing the status of a mobile apparatus

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2006075063A1 *

Also Published As

Publication number Publication date
US8264522B2 (en) 2012-09-11
FR2880762A1 (en) 2006-07-14
US20080246830A1 (en) 2008-10-09
WO2006075063A8 (en) 2007-01-04
WO2006075063A1 (en) 2006-07-20

Similar Documents

Publication Publication Date Title
EP1834475A2 (en) Video-telephony terminal with intuitive adjustments
CN113422903B (en) Shooting mode switching method, equipment and storage medium
JP6803982B2 (en) Optical imaging method and equipment
KR100908028B1 (en) Multi Camera Solutions for Electronic Devices
JP4575443B2 (en) Face image correction
CN110428378A (en) Processing method, device and the storage medium of image
EP1886496B1 (en) Method and device for controlling the movement of a line of sight, videoconferencing system, terminal and programme for implementing said method
US7991203B2 (en) Video communication device and image processing system and method of the same
EP1143694A2 (en) Image capture and processing accessory
EP2571277B1 (en) Communication method and associated eyewear-like system for a user using a viewing station
KR100678209B1 (en) Method for controlling image in wireless terminal
EP3028442A1 (en) Picture taking device comprising a plurality of camera modules
US20230162323A1 (en) Image frame super-resolution implementation method and apparatus
CN111696039B (en) Image processing method and device, storage medium and electronic equipment
CN104350740A (en) Video conferencing using wireless peripheral video conferencing device
KR100689419B1 (en) Method and apparatus for compounding taken?image in mobile terminal having camera
FR3009394A1 (en) LOW-LIGHT VIEWING DEVICE FOR CONNECTING TO A MOBILE-TELEPHONE DEVICE
KR20080106668A (en) Method for taking pictures in a wireless terminal
JP4247666B2 (en) Image processing method and image processing system
CN107071293B (en) Shooting device, method and mobile terminal
CN113409209B (en) Image deblurring method, device, electronic equipment and storage medium
JP2006211570A (en) Photographing apparatus
WO2016151974A1 (en) Information processing device, information processing method, client device, server device, and information processing system
KR101386522B1 (en) Method and System for performing video call using of communication terminal without camera
CN115297269B (en) Exposure parameter determination method and electronic equipment

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20070522

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC NL PL PT RO SE SI SK TR

DAX Request for extension of the european patent (deleted)
RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: ORANGE

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20150701