WO2000049806A1 - Video communications device, system and method - Google Patents

Video communications device, system and method Download PDF

Info

Publication number
WO2000049806A1
WO2000049806A1 PCT/DE2000/000442 DE0000442W WO0049806A1 WO 2000049806 A1 WO2000049806 A1 WO 2000049806A1 DE 0000442 W DE0000442 W DE 0000442W WO 0049806 A1 WO0049806 A1 WO 0049806A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
user
devices
default
editing
Prior art date
Application number
PCT/DE2000/000442
Other languages
German (de)
French (fr)
Inventor
Tobias Dorfner
Original Assignee
Voxar Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from DE19948546A external-priority patent/DE19948546A1/en
Application filed by Voxar Ag filed Critical Voxar Ag
Priority to IL14487800A priority Critical patent/IL144878A0/en
Priority to AU36547/00A priority patent/AU3654700A/en
Priority to JP2000600429A priority patent/JP2002537734A/en
Priority to EP00915108A priority patent/EP1192807A1/en
Publication of WO2000049806A1 publication Critical patent/WO2000049806A1/en

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals

Definitions

  • the invention relates to a video communication device according to the preamble of claim 1, a video communication system with such video communication devices and a video communication method in which such video communication devices are used.
  • Video communication devices, video communication systems and video communication methods which in addition to the auditory area also offer visual media or channels for the transmission of sound and image information, are known, but have not yet been widely used by the general public.
  • a major disadvantage of the prior art is that the associated transmission of image information to at least one other communication participant often interferes with the privacy of the user. Depending on who triggers the communication contact, the user and / or his communication partner would like to transmit certain visual information or not.
  • the communication participants would prefer to transmit an optimal "desired appearance" tailored to the respective communication partner. This includes not only a suitable background, but also suitable clothing and an advantageous other appearance.
  • image processing algorithms are used, as are disclosed, for example, in WO96 / 09722.
  • DE-4102895 C1 describes a method and a device for correcting the corner of the eye in workplace video systems.
  • the eye area of a user is edited to give the impression that you are looking directly into the camera instead of the monitor.
  • This editing function works unnoticed by the sender and recipient of the transmission.
  • the above-mentioned audiovisual communication services and systems transmit more information than the telephone.
  • This information includes, among other things, the appearance of the sending participant, his body language, facial expressions and gestures, as well as the environment that can be captured by the video camera.
  • the problem arises, however, that the transmission of this visual information leads to psychological inhibitions when using the above-mentioned audiovisual communication services and systems. It is certain that these psychological inhibitions have largely contributed to the fact that, for example, the videophone has still not established itself on the market.
  • This aim is achieved according to the invention with a video communication device according to claim 1, a video communication system with such video communication devices according to claim U and a video communication method in which such video communication devices are used according to claim X.
  • the invention reduces or avoids psychological inhibitions when using video communication devices and services, so that the corresponding video communication technology can advantageously be used widely.
  • a video communication device is thus created, with user image data input devices for inputting current user image data, image data editing devices for generating edited user image data from the current user image data, and image data output devices for outputting user image data to at least one further communication subscriber.
  • identification devices for identifying at least one
  • Communication subscriber and an edit selection control coupled to the identification devices are provided, which, depending on the identification result of the identification devices, causes output of unedited or edited user image data by means of the image data output devices, possibly with the image data editing devices connected upstream. If the video communication device is only accessible to one person as a user, the identification of a caller can suffice. If, on the other hand, the same edited user image data are always assigned to each of several users of the video communication device, the identification of the respective user is sufficient.
  • the invention can thus automatically ensure that exactly an intended visual impression is created at the communication partner by the transmission of unedited image data or of image data edited by the user in particular in a predefinable manner.
  • Video communication devices can thus be used in practice without disadvantages, in particular without current environmental information, information about the current appearance and even current mood information of the user being transmitted to communication partners if this is not desired. A user does not have to fear that the communication partner will receive information about e.g. receives his home, physical appearance or clothing at the time of communication.
  • the video communication devices according to the invention ensure that, depending on a particular communication partner, such as a superior, friends or relatives, correspondingly edited or unedited image data are automatically transmitted without time-consuming manual settings or selections being necessary.
  • the video communication device thus enables users of corresponding audiovisual communication services and systems to control the exchange of self-related information in a simple and reliable manner.
  • the user e.g. As a sending or receiving subscriber of audiovisual communication signals, the invention gives the possibility to influence the content in such a way that the sent content comes close to the presentation of the user or corresponds to his presentation.
  • This overcomes the following disadvantage of the previous audiovisual communication:
  • the user of an audiovisual message can, for example, regardless of its current appearance, e.g. Communicate unhindered in the morning after getting up, in the event of illness, deformities of the face or despite an appearance that is disadvantageous for other reasons.
  • a respective participant in audiovisual communication ensures that its appearance and the surroundings also captured by the camera are at the receiving participant's inner Self-esteem corresponds.
  • the use of the present invention protects privacy and privacy.
  • the identification devices are designed to identify the user and at least one other contacting or contacted communication subscriber.
  • Such a video communication device can thus be used individually by several users for communication with corresponding partners, and each user appears in each of his communication partners in the individually desired representation.
  • the identification devices are assigned subscriber selection data storage devices for storing subscriber selection data and subscriber identification input devices for entering communication subscriber identifications of the user and / or at least one other contacting or contacted communication subscriber, and that the identification devices are designed are to obtain an identification result for the user and / or at least one other contacting or contacted communication participant by comparing stored participant selection data with current communication participant identifications.
  • the subscriber selection data storage devices contain user selection data storage devices for storing user selection data of at least one possible user and / or partner selection data storage devices for storing communication partner selection data for at least one possible communication partner.
  • the subscriber identification input devices for entering current communication subscriber identifications, in particular user selection data and / or communication partner selection data, manual dialing devices, electrical signal input devices, optical signal input devices and / or acoustic signal input devices preferably include a keyboard, menu control buttons, levers or contain pointing devices, and / or touch-sensitive input devices for the input of communication subscriber identifications by the user, and / or the electrical signal input devices are designed for receiving electrical signals for the input of communication subscriber identifications by the user or by a communication subscriber, and / or the optical signal input devices are designed for receiving optical signals for the input of communication subscriber identifications by the user or from a communication subscriber, and / or the acoustic signal input devices are designed for receiving acous
  • the edit selection control is designed, depending on the identification result of the identification devices, to prevent editing of the current user image data by the image data editing devices or according to a predefined or predefinable editing mode or one of a plurality of predefined ones or predefinable editing modes.
  • default image data storage devices are provided for storing default image data
  • the image data editing devices are designed for editing the current user image data by means of and / or on the basis of the default image data in order to be edited To create user image data.
  • This embodiment can be further developed in that it is provided in such a video communication device that the default image data storage devices contain background default image data storage devices and / or personal default image data storage devices, and that the image data editing devices for separating the current user image data at least into background image data and person image data and Replace the background image data and / or person image data in whole or in part with corresponding background default image data or person default image data or for the generation of edited background image data and / or person image data on the basis of corresponding background default image data or person default image data from the corresponding storage devices.
  • the default image data storage devices or the personal default image data storage devices can contain body image data storage devices and / or header image data storage devices, and the image data editing devices for separating the personal image data into body image data and header image data and replacing the body image data and / or header image data in whole or in part with corresponding body default image data or header image data or for generating edited body image data and / or header image data on the basis of corresponding body input image data or header input image data from the respective storage devices.
  • a plurality of background default image data and / or personal default image data and / or personal default image data or, if applicable, are preferably provided in the default image data storage devices, background default image data storage devices and / or personal default image data storage devices or possibly body image data storage devices and / or header image data storage devices.
  • Body default image data and / or head default image data or a plurality of corresponding sentences or subsets or components thereof can be stored or stored, which can be assigned to different editing modes of the image data editing devices.
  • the image data editing devices are designed to edit the separated current image data separately from one another and at least essentially at the same time and then to reassemble them to produce edited user image data.
  • Another advantageous further development of the invention consists in the fact that by means of the image data editing devices a cosmetic and / or technical image optimization of user image data depending on an identification result or independently of one
  • the identification result and / or if necessary before and / or after replacing the background image data and / or person image data or possibly body image data and / or header image data can be carried out in whole or in part by corresponding default image data from the respective default image data storage devices on the basis of editing algorithms.
  • a video communication device it is advantageous if the user image data input devices successively generate a plurality of current user images, which are each individually edited in succession and / or according to predefinable rules by means of the image data editing devices.
  • the image data editing devices are preferably designed to dynamically and sequentially perform the separation of background image data and / or person image data as well as possibly body image data and header image data and, if necessary, their replacement by corresponding default image data from the respective default image data storage devices for individual user images .
  • the user image data input devices contain at least one camera and that the image data output devices contain at least one interface to a telecommunications network.
  • a video communication device as created by the invention, it can further be provided that user sound data input devices for entering current user sound data, sound data editing devices for creating edited user sound data from the current user sound data, and sound data output devices for outputting user sound data to at least another communication participant is provided.
  • This embodiment can be further developed in that the edit selection control is designed to initiate output of unedited current or edited user sound data by means of the sound data output devices, depending on the identification result of the identification devices.
  • preset sound data storage devices can be provided for storing preset sound data and the sound data editing devices can be designed for editing the current user sound data by means of and / or on the basis of the preset sound data in order to create edited user sound data.
  • the sound data editing devices enable cosmetic and / or technical sound optimization of user sound data as a function of an identification result or independently of an identification result and / or possibly before and / or after editing the current user audio data by means of the default audio data from the default audio data storage devices on the basis of editing algorithms.
  • identification results of the identification devices are assigned to edit modes of the sound data editing devices that can be specified individually or in groups by the user.
  • the user sound data input devices contain at least one microphone and the sound data output devices contain at least one interface to a telecommunication network, and / or if the identification devices contain at least one interface to a telecommunication network.
  • display-optimized transmission of video and / or audio data is preferably possible, preferably for carrying out the video communication method described later.
  • a corresponding video communication device contains: video input and output means,
  • An input device for inputting control and command signals
  • - Storage devices for storing user and system programs as well as preset image data and preset sound data, the aforementioned means, devices and components being functionally connected to a processor unit which is set up to do this Execute procedural steps in interaction with the means and components mentioned.
  • a further development of the previously explained embodiment of the video communication device according to the invention consists in that it also has an interface connected to the processor unit for connection to a higher-level management unit and / or a higher-level storage medium, e.g. with a "personal computer".
  • the invention also provides a video communication system with which the above-mentioned goal is also achieved.
  • a video communication system contains at least two video communication devices according to the invention according to one of Claims 1 to 22, which are connected or can be connected via a telecommunication network.
  • the aim underlying the invention is also achieved by a video communication method, in which a communication subscriber is identified by means of identification devices, current user image data are entered in user image data input devices, an edit selection control guides the current user image data depending on the identification result of the identification devices to image data editing devices or not , the image data editing devices, if they have received the current user image data, generated from them or user image data edited therefor, and finally unedited current or, if present, edited user image data are output by means of image data output devices.
  • a communication subscriber is identified by means of identification devices
  • current user image data are entered in user image data input devices
  • an edit selection control guides the current user image data depending on the identification result of the identification devices to image data editing devices or not
  • the image data editing devices if they have received the current user image data, generated from them or user image data edited therefor, and finally unedited current or, if present, edited user image data are output by means of image data output devices.
  • the video communication method according to the invention can also be further developed in that image data or image and sound data, in particular in the case of video telephony, are transmitted in an optimized manner by adding image or possibly audio data coming from a video source and possibly an audio source prior to their transmission a communication partner can be changed on the basis of default image data or, if applicable, default audio data according to at least one predetermined or predeterminable criterion, with the following steps: before communication, a) default image data are created and stored, and b) parameters relating to image data are defined, stored, and the Assigned default image data stored in step a), and during communication c) user image data coming from user image data input devices, in particular a video source, with respect to one or more selected or selectable image data parameters are defined by those in step b) extracted and stored parameters, d) the user image data from step c) is edited based on the selected image data parameter (s) based on the assigned default image data, and e) the user image data edited in step d) is transmitted to one or more
  • steps d) and e) are carried out at a central location which is distant from the user, the user image data, the assigned default image data and the image data parameter or parameters being transmitted from the location of the user to the central location become.
  • steps a) to e) are carried out at the location of a user.
  • the embodiment variant dealt with here can be further developed by providing an additional step f) with which previously stored speech samples of authorized users are compared with a spoken passphrase of a current user and, if the result of the comparison is positive, a release for edited communication for this application. turns. This ensures in an advantageously simple manner that only an authorized user can carry out the user-specific optimization and can go on the air with edited images and / or a changed voice position. It can further be provided that in step f) the stored speech sample is also assigned default image data that belongs to a user or has been selected as belonging to the user, and the user is identified on the basis of the stored speech sample and the associated default image data.
  • a speech analysis of the spoken characteristic phrase and an image analysis of the user image data coming from the user image data input devices, in particular the video source can be carried out in step f).
  • the latter embodiment can be further developed by comparing the facial features of a user with associated or selected default image data in the image analysis.
  • the user image data to be processed or edited and analyzed contain moving images, two-dimensional and three-dimensional image information.
  • the user image data to be transmitted are displayed to the user before the transmission.
  • the display has an interactive user interface which also displays the selectable and / or selected default image data and the selectable or selected image data parameters.
  • the video communication device, the video communication system and the video communication method according to the invention are advantageously suitable for the particularly display-optimized transmission of video and / or audio data in telephony, in video conferences or via computer networks.
  • FIG. 1 shows a block diagram of a device according to the invention for transmitting / receiving audio-visual information with user-optimized content
  • FIG. 2 shows a block diagram about details of the “storage” function group according to FIG. 1,
  • FIG. 3 shows a block diagram of functions when using the device of FIGS. 1 and 2 without user-controlled optimization
  • FIG. 4 shows a block diagram of functions using a user-controlled optimization
  • FIG. 5 shows a functional flow diagram of method steps if no user-controlled optimization is carried out
  • FIG. 6 shows a functional flow diagram of method steps when a user-controlled optimization is carried out.
  • the invention is based on the presence of audiovisual communication media.
  • General features of audio-visual communication media are microphone and loudspeaker, video camera and screen, a control unit, a processing unit outgoing for processing audio and video signals, a processing unit for processing audio and video signals and a compression unit for optimal Use of the available line bandwidth, e.g. via analog and digital telephone networks, packet-controlled communication via the Internet, internal computer networks, etc.
  • the present invention extends the audiovisual communication media, among others. a function that is called "optimizing image processing" (OBV) in the following.
  • OBV optical image processing
  • the OBV function according to the invention can e.g. in video picture telephones, video conference systems or systems based on internet protocol.
  • OBV optical image processing
  • the present description is mainly concerned with the user-controlled OBV and the language optimization is not dealt with in such detail.
  • the OBV according to the invention gives the subscriber the possibility of storing 1 to n optimized images of his desired appearance as reference image information or default image data in one or more storage media.
  • Storage media of different physical types can also be used.
  • FIG. 1 shows a block diagram of an apparatus which is used to carry out the method according to the invention, i.e. is set up to send / receive audiovisual information with user-controlled optimization.
  • a central processor unit 10 is functionally connected to user image data input devices in the form of an image input unit 11, e.g. a video camera with a display device 12, e.g. a PC monitor or a liquid crystal display, with an audio output / input device 13 which contains image data and sound data output devices, with an audiovisual communication unit which has a transmitter unit 14, a receiver unit 15 and an interface to a telephone network, radio network, Contains mobile network or data network 16 or telecommunications network in general, with an interface 17 to a higher-level storage medium or a computer, such as a personal computer with an input device 18, e.g.
  • a telephone keypad or a separate keypad as an example for subscriber identification input devices, and with a memory 20 in which at least user-specific programs 21 and reference pictures or default picture data 22 and possibly audio reference data or default sound data are stored, and which thus represents default picture data and default data storage devices.
  • FIG. 2 shows that the memory 20 can have several, also physically different, storage media.
  • the optimized or edited reference information ie the reference Renzsentinformation or edited user image data and the reference audio information or edited user sound data, on the one hand via the image input unit 11, which may be a video camera, a recorder, etc., the audio input unit 13, or from a higher-level unit via the interface 17 in the memory 20 .
  • the applications and the image material are made available, for example, in a ROM memory, a RAM memory or a mass storage device, such as in a hard disk, in flash cards or similar media (FIG. 2).
  • the memory 20 can also contain reference audio information or default audio data which can be used for the user-controlled optimization of its language.
  • the user controls the optimizing image processing or image data editing through the input device 18 in order to optimize the image to be sent by him to a communication partner and / or his language of his choice.
  • the input device 18 can be, for example, a telephone keyboard, a separately connected keyboard field, a computer mouse, a light pen, a graphic tablet, etc.
  • FIG. 2 shows details of the memory 20 and the user-specific information content 21 stored therein and the reference images or default image data 22.
  • the memory 20 that can be used in the invention may include or include ROM, RAM, hard disk, removable disk, floppy disk, flash card, and other suitable storage media.
  • the memory 20 can also contain a combination of such storage media.
  • the content block 21 in which user-specific programs and information or data are stored, there is a block 210 for user identification or identification, a block 211 for technical image optimization or editing with various algorithms 1, 2,... N Block 212 for cosmetic appearance optimization or image optimization, again with various image processing algorithms 1, 2, ... N, a block 213 for background processing, a block 214 for head processing and a block 215 for body processing.
  • the individual blocks 211 to 215 contained in the user-specific block 21 and listed above are not limited to the list given, and that memory contents for speech recognition and other contents which are here to avoid
  • This terminology is based on the fact that the term "body” includes the parts of the body other than the head.
  • the blocks 221 to 223 are correspondingly present multiple times, which is within individual physical storage devices by their suitable, possibly software-based division or in the form of separate storage devices can be implemented for every user.
  • FIG. 3 shows a function in the form of a functional block diagram without optimizing image processing on the transmitter side, i.e. without the OBV according to the invention.
  • the above-mentioned OBV which is shown in a function block 40, is deactivated, and the video signal from the video signal source goes directly to an encoding block 41.
  • This function is based on an identification result, for example of user and communication partner identification by means of identification devices, which will be discussed later automatically selected in the video communication device if the user had previously determined that the specific communication partner should receive the current user image data and should therefore be able to see it.
  • FIG. 4 shows in the form of a functional block diagram the case in which an optimizing image processing or editing of the current user image data is carried out before a output of the user image data in a telecommunication network to a communication partner.
  • This function is automatically selected on the basis of an identification result, for example user and communication partner identification, by means of identification devices from the video communication device if the user had previously determined that the specific communication partner should not receive the current user image data and should therefore be able to see it, but rather the user of this concrete communication partner against a special background, with certain clothing and / or a suitably prepared other exterior, such as hairstyle,
  • Shave, complexion and firmness, etc. may be desired in a suitable manner, for example, if the specific communication partner is, for example, a business partner, a supervisor, a subordinate, a sports or leisure acquaintance or an unknown person.
  • the current applications received from an image input unit 11, for example a video signal source are derre schemes in the form of, for example, a video signal to prepare for editing or optimization in the sense of the invention by a content recognition block 30 into individual areas or levels 31 to 33 (English: "layers") or broken down.
  • Levels 31 to 33 are only referred to as level 1 (background), level 2 (body) and level 3 (head) for the purpose of better understanding. These levels correspond to the layers “background” or background default image data 221, "head or header default image data 222 and" body “or body default image data 223 (see FIG. 2) stored in the memory area 22.
  • background, body, head are only used to illustrate this aspect of the invention.
  • a further special level 34 shown in broken lines, is defined, for example for text overlays, which can optionally be activated.
  • the described levels 31 to 34 are derived from the video signal stream from the image input unit 11 in the form of the video signal source, e.g. from the video camera, with image processing algorithms in the content recognition block 30 and separately managed in logical storage levels. If audio-visual communication takes place, depending on the setting of the user, all or individual levels or parts thereof are replaced by image information or default image data from the memory 22. In the example of FIG. 4, the levels 31 and 32, relating to the background and reference header, are replaced by a reference background image 2 and a header image 3 from the memory areas 221 and 222. The control of the default image data or image information used is ensured by reference marks.
  • the face should serve as an example for the further explanation.
  • the recognized reference marks are used to control the image information to be used on the "Head" level. If the user moves the head, for example if he nods in agreement, the optimized or edited image executes the same movement. If the "Body" level is activated, the current level becomes active "Body" is replaced by one of the stored body reference images in the form of the body default image data in the area 223. Put together at all levels, the edited user image data to be sent form an optimized video image.
  • plane does not mean that image information or user image data processed or edited with the method according to the invention can only be two-dimensional. Instead, three-dimensional image information or user image data can also be processed.
  • the newly composed video image is now technically optimized in terms of color values, contrasts, brightness according to preset or presettable parameters (see block 42 in FIG. 4).
  • cosmetic improvements are preferably made in the facial area. These include e.g. brightening the eyes and correcting the corner of the eye, brightening the tooth area, brightening the shadow (e.g. with beard growth and with large-scale pigment changes of the skin) and retouching of unwanted small pigment disorders or e.g. Warts.
  • the video signal optimized in this way is passed on to the coding unit 41 and finally sent to the communication partner or partners as the receiver.
  • the audiovisual communication device receives a signal from the opposite side to set up a connection.
  • Communication systems corresponding to technology may transmit a so-called caller ID, which serves as communication partner or general communication subscriber identification.
  • the caller ID is checked using identification devices (step 53). This is done by comparing the transmitted caller ID or communication subscriber identification with subscriber selection data in a subscriber directory 52 (telephone book with subscriber addresses), which is stored in a memory of subscriber selection data storage devices. Certain OBV configurations or editing modes can be assigned to the entries in the subscriber directory 52.
  • the caller either has no entry in the directory 52 or that the OBV configuration "office" has been assigned to the entry in the directory 52.
  • the signal of the image input unit 11 in the form of the video camera is forwarded to the content recognition function block 30, the step 57 calculates the levels 31 to 34 (see FIG. 4), which in step 58 with the
  • Reference information or default image data of the OBV configuration "office" can be compiled in real time. Thereafter, the cosmetic image optimization 43 already mentioned and the technical image optimization 42 is carried out. After the technical image optimization 42, the optimized video image is created in block 40 according to the preset parameter values or in accordance with the editing mode in association with the subscriber entry in directory 52. The signals, ie the optimized images and audio signals, are then coded and transmitted in function block 41 depending on the communication protocol.
  • FIG. 6 represents a connection setup by the present user. If the present user wants to establish communication, he has the option of selecting a participant from the participant directory
  • Step 62 or manually enter the corresponding subscriber code (step 61).
  • the check in step 64 leads whether the code LD is known to the output "YES”. Then, in accordance with the OBV parameter in the subscriber directory 62 in accordance with the selection preset by the user, e.g. the OBV configuration "Leisure" activated
  • Step 66 This editing mode is assigned, for example, only cosmetic image optimization in function block 43 and technical image optimization in function block 42 by the user.
  • the video signal thereby changed is then encoded in function block 41 according to the requirements of the communication protocol.
  • the user can, for example, at any time to activate or deactivate the OBV configuration or the editing mode during a communication via the input unit 18.
  • the prescribed method according to the invention can also be used to e.g. To transfer faces of other people or entirely artificially created characters.
  • the user can act as an "animator".
  • the implementation of such "animations” made possible by the invention is particularly advantageous in commercial applications in which a certain identity, for example a personality known from advertising, is important as an image carrier from companies to establish a certain character as a brand.
  • the character “Mr. Kaiser” of an insurance company and also the character “Mickey Mouse” of the Walt Disney Corporation are cited for illustration.
  • a commercial application here is the provision of an OBV according to the invention or a corresponding editing mode for telephone agencies, it is desirable that every user who wants to use the editing mode must identify himself in order to use the corresponding editing mode, so that it can be ensured that unauthorized persons are not under a different name can appear and possibly cause damage.
  • the video signal is passed on unedited to the coding unit for transmission or the use of the video communication device is prevented.
  • the above-described method for selecting authorized subscribers can contain speech recognition algorithms, which are advantageously activated especially in commercial applications.
  • a current participant speaks a passphrase that is compared to stored speech samples. If there is a match, a correlation with the image recognition mentioned can also be established using a stored header image. Misuse of the invention by confusing people or pretending by other people is thus excluded. Communication subscriber identification by customers is not necessary in this application of the video communication device according to the invention.
  • identification of the communication partner with regard to the communication partner can be used to determine, for example, whether an edited communication connection with a customer or an unedited communication connection with a colleague or manager should be established.
  • identification of the default image data it is also advisable for the default image data to be provided centrally on suitable hardware, so that it is ensured that all authorized users always use the applicable data, and processing power can also be provided centrally in corresponding systems.
  • subscriber identification and / or image data editing can be carried out in the system or in the hardware of a telecommunications network operator, that is to say externally with respect to the video communication device.
  • the technical outlay in the user-side video communication device can be kept low and there are nevertheless sufficient processing and storage resources available.

Abstract

The invention relates to a video communications device with input devices for user image data for inputting real-time user image data and with editing devices for image data for generating edited user image data from the real-time user image data and with output devices for image data for outputting user image data to at least one additional communications user. Identification devices for identifying at least one communications user and an editing selector control that is coupled to the identification devices are provided. Said editing selector control outputs unedited real-time or edited user image data by means of the output devices for image data according to the identification result of the identification devices, optionally by connecting the editing device for image data.

Description

Videokommunikationsvorrichtung, -System und - erfahren Video communication device, system and - experienced
Beschreibungdescription
Die Erfindung betrifft eine Videokommunikationsvorrichtung nach dem Oberbegriff des Anspruchs 1, ein Videokommunikationssystem mit derartigen Videokommunikationsvorrichtungen und ein Videokommunikationsverfahren, bei dem solche Videokommunikationsvorrichtungen verwendet werden.The invention relates to a video communication device according to the preamble of claim 1, a video communication system with such video communication devices and a video communication method in which such video communication devices are used.
Videokommunikationsvorrichtungen, Videokommunikationssysteme und Videokommunikati- onsverfahren, die neben dem auditiven Bereich auch visuelle Medien bzw. Kanäle zur Übermittlung von Ton- und Bildinformation anbieten, sind bekannt, haben jedoch in der breiten Bevölkerung noch keine große Verbreitung gefunden. Ein wesentlicher Nachteil beim Stand der Technik ist nämlich, daß durch die damit verbundene Übertragung von Bildinformationen zu wenigstens einem weiteren Kommunikationsteilnehmer ein häufig nicht erwünschter Eingriff in die Privatsphäre des Anwenders erfolgt. In Abhängigkeit davon, wer den Kommunikationskontakt auslöst, möchte der Anwender und/oder sein Kommunikationspartner gewisse visuelle Informationen übertragen oder nicht. Am liebsten würden die Kommunikationsteilnehmer ein auf den jeweiligen Kommunikationspartner abgestimmtes optimales " Wunscher- scheinungsbild" übertragen. Dazu gehört nicht nur ein passender Hintergrund, sondern auch eine geeignete Kleidung und vorteilhaftes übriges Aussehen.Video communication devices, video communication systems and video communication methods, which in addition to the auditory area also offer visual media or channels for the transmission of sound and image information, are known, but have not yet been widely used by the general public. A major disadvantage of the prior art is that the associated transmission of image information to at least one other communication participant often interferes with the privacy of the user. Depending on who triggers the communication contact, the user and / or his communication partner would like to transmit certain visual information or not. The communication participants would prefer to transmit an optimal "desired appearance" tailored to the respective communication partner. This includes not only a suitable background, but also suitable clothing and an advantageous other appearance.
Bereits heute kommen z.B. bei Videokonferenzsystemen Bildbearbeitungsalgorithmen zum Einsatz, wie sie beispielsweise in der WO96/09722 offenbart sind.For example, in video conferencing systems, image processing algorithms are used, as are disclosed, for example, in WO96 / 09722.
Die DE-4102895 Cl beschreibt ein Verfahren und eine Vorrichtung zur Korrektur des Augenwinkels bei Arbeitsplatzvideosystemen. Hier wird der Augenbereich eines Anwenders editiert, um den Eindruck zu erwecken, man sehe direkt in die Kamera statt auf den Monitor. Diese Editierfunktion arbeitet unbemerkt vom Sender und Empfänger der Übermittlung.DE-4102895 C1 describes a method and a device for correcting the corner of the eye in workplace video systems. Here, the eye area of a user is edited to give the impression that you are looking directly into the camera instead of the monitor. This editing function works unnoticed by the sender and recipient of the transmission.
Es ist weiterhin bekannt, daß es im Fernsehbereich Verfahren gibt, die Informationen vor der Weitergabe an die Sendeeinheit in Echtzeit oder fast in Echtzeit verändern. Vorteil dabei ist, daß die geänderten Informationen der vom Ersteller gewünschten Darstellung entsprechen bzw. nahe kommen. Zu diesen Verfahren gehört z.B. "Blue Box", "Maskierung" und "Auto- maskierung". Wie bekannt, übertragen die oben genannten audiovisuellen Kommunikationsdienste und -Systeme mehr Informationen als das Telefon. Zu diesen Informationen zählen unter anderem das Erscheinungsbild des sendenden Teilnehmers, seine Körpersprache, Mimik und Gestik sowie die Umgebung, die von der Videokamera eingefangen werden kann. Dabei entsteht jedoch das Problem, daß die Übertragung dieser visuellen Informationen zu psychologischen Hemmschwellen bei der Nutzung der oben genannten audiovisuellen Kommunikationsdienste und -Systeme führt. Es gilt als sicher, daß diese psychologischen Hemmschwellen zum großen Teil dazu beigetragen haben, daß sich beispielsweise das Bildtelefon immer noch nicht auf dem Markt durchgesetzt hat.It is also known that there are methods in the television field which change information in real time or almost in real time before being passed on to the transmitting unit. The advantage here is that the changed information corresponds to or comes close to the representation desired by the creator. These methods include, for example, "blue box", "masking" and "auto-masking". As is known, the above-mentioned audiovisual communication services and systems transmit more information than the telephone. This information includes, among other things, the appearance of the sending participant, his body language, facial expressions and gestures, as well as the environment that can be captured by the video camera. The problem arises, however, that the transmission of this visual information leads to psychological inhibitions when using the above-mentioned audiovisual communication services and systems. It is certain that these psychological inhibitions have largely contributed to the fact that, for example, the videophone has still not established itself on the market.
Es ist daher ein Ziel der vorliegenden Erfindung, eine Videokommunikationsvorrichtung, ein Videokommunikationssystem und ein Videokommunikationsverfahren zu schaffen, die einen problemlosen Einsatz im privaten, wie im geschäftlichen Bereich ermöglichen, ohne daß unerwünschte visuelle Eindrücke an einen Kommunikationspartner übertragen werden.It is therefore an object of the present invention to provide a video communication device, a video communication system and a video communication method, which enable problem-free use in the private as well as in the business area without transmitting undesirable visual impressions to a communication partner.
Dieses Ziel wird erfindungsgemäß mit einer Videokommunikationsvorrichtung nach dem Anspruch 1 , einem Videokommunikationssystem mit derartigen Videokommunikationsvorrichtungen nach dem Anspruch U sowie und einem Videokommunikationsverfahren, bei dem solche Videokommunikationsvorrichtungen verwendet werden, nach dem Anspruch X erreicht. Durch die Erfindung werden psychologische Hemmschwellen bei der Benutzung von Video- kommunikationsvorrichtungen und -diensten abgebaut oder vermieden, so daß die entsprechende Videokommunikationstechnologie in vorteilhafter Weise weitverbreitet zum Einsatz kommen kann.This aim is achieved according to the invention with a video communication device according to claim 1, a video communication system with such video communication devices according to claim U and a video communication method in which such video communication devices are used according to claim X. The invention reduces or avoids psychological inhibitions when using video communication devices and services, so that the corresponding video communication technology can advantageously be used widely.
Gemäß der Erfindung wird somit eine Videokommunikationsvorrichtung geschaffen, mit Anwenderbilddaten-Eingabeeinrichtungen zum Eingeben von aktuellen Anwenderbilddaten, Bilddaten-Editiereinrichtungen zur Erzeugung von editierten Anwenderbilddaten aus den aktuellen Anwenderbilddaten, und Bilddaten- Ausgabeeinrichtungen zum Ausgeben von Anwenderbilddaten an wenigstens einen weiteren Kommunikationsteilnehmer. Erfindungsgemäß ist ferner vorgesehen, daß Identifikationseinrichtungen zum Identifizieren wenigstens einesAccording to the invention, a video communication device is thus created, with user image data input devices for inputting current user image data, image data editing devices for generating edited user image data from the current user image data, and image data output devices for outputting user image data to at least one further communication subscriber. According to the invention it is further provided that identification devices for identifying at least one
Kommunikationsteilnehmers und eine mit den Identifikationseinrichtungen gekoppelte Editierauswahlsteuerung vorgesehen sind, die in Abhängigkeit vom Identifikationsergebnis der Identifikationseinrichtungen eine Ausgabe von uneditierten aktuellen oder editierten Anwenderbilddaten mittels der Bilddaten- Ausgabeeinrichtungen ggf. unter Vorschaltung der Bildda- ten-Editiereinrichtungen veranlaßt. Ist die Videokommunikationsvorrichtung nur für eine Person als Anwender zugänglich, so kann die Identifikation eines Anrufers genügen. Sind andererseits jedem von mehreren Anwendern der Videokommunikationsvorrichtung immer dieselben editierten Anwenderbilddaten zugeordnet, so genügt die Identifikation des jeweiligen Anwenders.Communication subscriber and an edit selection control coupled to the identification devices are provided, which, depending on the identification result of the identification devices, causes output of unedited or edited user image data by means of the image data output devices, possibly with the image data editing devices connected upstream. If the video communication device is only accessible to one person as a user, the identification of a caller can suffice. If, on the other hand, the same edited user image data are always assigned to each of several users of the video communication device, the identification of the respective user is sufficient.
Durch die Erfindung kann somit automatisch sichergestellt werden, daß durch die Übertragung von uneditierten Bilddaten oder von insbesondere in vorgebbarer Weise editierten Bilddaten des Anwenders genau ein beabsichtigter visueller Eindruck beim Kommunikationspartner geschaffen wird. Damit sind Videokommunikationsvorrichtungen in der Praxis ohne Nachteile anwendbar, insbesondere ohne daß aktuelle Umgebungsinformationen, Informationen über das aktuelle Aussehen und sogar aktuelle Gemütsinformationen des Anwenders an Kommunikationspartner übertragen werden, wenn dies nicht erwünscht ist. Ein Anwender muß also nicht befürchten, daß der Kommunikationspartner Informationen über z.B. seine Wohnung, sein körperliches Aussehen oder seine Kleidung zum Zeitpunkt der Kommunikati- on erhält. Die erfindungsgemäßen Videokommunikationsvorrichtungen sorgen dafür, daß erforderlichenfalls in Abhängigkeit von einem bestimmten Kommunikationspartner, wie beispielsweise einen Vorgesetzten, Freunden oder Verwandten entsprechende editierte oder une- ditierte Bilddaten automatisch übermittelt werden, ohne daß zeitraubende Manuelle Einstellungen vorgenommen oder Auswahlen getroffen werden müssen.The invention can thus automatically ensure that exactly an intended visual impression is created at the communication partner by the transmission of unedited image data or of image data edited by the user in particular in a predefinable manner. Video communication devices can thus be used in practice without disadvantages, in particular without current environmental information, information about the current appearance and even current mood information of the user being transmitted to communication partners if this is not desired. A user does not have to fear that the communication partner will receive information about e.g. receives his home, physical appearance or clothing at the time of communication. The video communication devices according to the invention ensure that, depending on a particular communication partner, such as a superior, friends or relatives, correspondingly edited or unedited image data are automatically transmitted without time-consuming manual settings or selections being necessary.
Die Videokommunikationsvorrichtung ermöglicht somit Anwendern von entsprechenden audiovisuellen Kommunikationsdiensten und -Systemen die Kontrolle über den Austausch selbstbezogener Informationen auf einfache und zuverlässige Weise.The video communication device thus enables users of corresponding audiovisual communication services and systems to control the exchange of self-related information in a simple and reliable manner.
Dem Anwender z.B. als sendende oder empfangendem Teilnehmer von audiovisuellen Kommunikationssignalen wird durch die Erfindung die Möglichkeit gegeben, den Inhalt so zu beeinflussen, daß der gesendete Inhalt der Vorstellung des Anwenders über seine Darstellung nahekommt bzw. mit seiner Vorstellung übereinstimmt. Damit wird folgender Nachteil der bisherigen audiovisuellen Kommunikation überwunden: Der Anwender einer audiovisuellen Nachricht kann unabhängig beispielsweise von seiner derzeitigen Erscheinung, z.B. morgens nach dem Aufstehen, bei Krankheit, Mißgestaltungen des Gesichts oder trotz eines aus anderen Gründen unvorteilhaften Erscheinungsbildes, ungehindert kommunizieren.The user e.g. As a sending or receiving subscriber of audiovisual communication signals, the invention gives the possibility to influence the content in such a way that the sent content comes close to the presentation of the user or corresponds to his presentation. This overcomes the following disadvantage of the previous audiovisual communication: The user of an audiovisual message can, for example, regardless of its current appearance, e.g. Communicate unhindered in the morning after getting up, in the event of illness, deformities of the face or despite an appearance that is disadvantageous for other reasons.
Durch die Verwendung der vorliegenden Erfindung, z.B. bei der Bildtelefonie, bei Videokon- ferenzen, Arbeitsplatzkonferenzen, Internet-Konferenzen, etc. stellt ein jeweiliger Teilnehmer an einer audiovisuellen Kommunikation sicher, daß sein Erscheinungsbild und die von der Kamera ebenfalls eingefangene Umgebung beim empfangenden Teilnehmer seinem inneren Selbstwertverständnis entspricht. Somit schützt die Verwendung der vorliegenden Erfindung die Privat- und Intimsphäre.By using the present invention, for example in video telephony, in video conferences, workplace conferences, internet conferences, etc., a respective participant in audiovisual communication ensures that its appearance and the surroundings also captured by the camera are at the receiving participant's inner Self-esteem corresponds. Thus, the use of the present invention protects privacy and privacy.
Vorzugsweise ist bei der Videokommunikationsvorrichtung nach der Erfindung ferner vorgesehen, daß die Identifikationseinrichtungen ausgelegt sind, den Anwender und zumindest einen weiteren kontaktenden oder kontakteten Kommunikationsteilnehmer zu identifizieren. Damit kann eine solche Videokommunikationsvorrichtung von mehreren Anwendern individuell zur Kommunikation mit entsprechenden Partnern genutzt werden, und jeder Anwender tritt jedem seiner Kommunikationspartner in der individuell gewünschten Darstellung auf.In the video communication device according to the invention, it is also preferably provided that the identification devices are designed to identify the user and at least one other contacting or contacted communication subscriber. Such a video communication device can thus be used individually by several users for communication with corresponding partners, and each user appears in each of his communication partners in the individually desired representation.
Weiterhin ist es im Rahmen der Erfindung bevorzugt, wenn den Identifikationseinrichtungen Teilnehmerauswahldaten-Speichereinrichtungen zum Speichern von Teilnehmerauswahldaten und Teilnehmeridentifikations-Eingabeeinrichtungen zum Eingeben von Kommunikationsteilnehmeridentifikationen jeweils des Anwenders und/oder wenigstens eines weiteren kon- taktenden oder kontakteten Kommunikationsteilnehmers zugeordnet sind, und daß die Identifikationseinrichtungen ausgelegt sind, durch Vergleichen von gespeicherten Teilnehmerauswahldaten mit aktuellen Kommunikationsteilnehmeridentifikationen ein Identifikationsergebnis für den Anwender und/oder wenigstens einen weiteren kontaktenden oder kontakteten Kommunikationsteilnehmer zu erhalten.Furthermore, it is preferred within the scope of the invention if the identification devices are assigned subscriber selection data storage devices for storing subscriber selection data and subscriber identification input devices for entering communication subscriber identifications of the user and / or at least one other contacting or contacted communication subscriber, and that the identification devices are designed are to obtain an identification result for the user and / or at least one other contacting or contacted communication participant by comparing stored participant selection data with current communication participant identifications.
Die vorstehende Ausführung läßt sich dadurch weiterbilden, daß die Teilnehmerauswahldaten-Speichereinrichtungen Anwenderauswahldaten-Speichereinrichtungen zum Speichern von Anwenderauswahldaten wenigstens eines möglichen Anwenders und/oder Partnerauswahldaten-Speichereinrichtungen zum Speichern von Kommunikationspartnerauswahldaten wenig- stens eines möglichen Kommunikationspartners enthalten. Alternativ oder zusätzlich dazu können die Teilnehmeridentifikations-Eingabeeinrichtungen zum Eingeben von aktuellen Kommunikationsteilnehmeridentifikationen, insbesondere von Anwenderauswahldaten und/oder Kommunikationspartnerauswahldaten, Manuellwahleinrichtungen, Elektriksignaleingabeeinrichtungen, Optiksignaleingabeeinrichtungen und/oder Akustiksignaleingabeein- richtungen enthalten, wobei vorzugsweise ggf. die Manuellwahleinrichtungen eine Tastatur, Menüsteuertasten, -hebel oder -zeigegeräte, und/oder berührungssensitive Eingabeeinrichtungen für die Eingabe von Kommunikationsteilnehmeridentifikationen durch den Anwender enthalten, und/oder die Elektriksignaleingabeeinrichtungen zum Empfangen von elektrischen Signalen für die Eingabe von Kommunikationsteilnehmeridentifikationen durch den Anwender oder von einem Kommunikationsteilnehmer ausgelegt sind, und/oder die Optiksignaleingabeeinrichtungen zum Empfangen von optischen Signalen für die Eingabe von Kommunikationsteilnehmeridentifikationen durch den Anwender oder von einem Kommunikationsteilnehmer ausgelegt sind, und/oder die Akustiksignaleingabeeinrichtungen zum Empfangen von akustischen Signalen für die Eingabe von Kommunikationspartneridentifikationen durch den Anwender oder von einem Kommunikationsteilnehmer ausgelegt sind.The above embodiment can be further developed in that the subscriber selection data storage devices contain user selection data storage devices for storing user selection data of at least one possible user and / or partner selection data storage devices for storing communication partner selection data for at least one possible communication partner. As an alternative or in addition to this, the subscriber identification input devices for entering current communication subscriber identifications, in particular user selection data and / or communication partner selection data, manual dialing devices, electrical signal input devices, optical signal input devices and / or acoustic signal input devices, preferably include a keyboard, menu control buttons, levers or contain pointing devices, and / or touch-sensitive input devices for the input of communication subscriber identifications by the user, and / or the electrical signal input devices are designed for receiving electrical signals for the input of communication subscriber identifications by the user or by a communication subscriber, and / or the optical signal input devices are designed for receiving optical signals for the input of communication subscriber identifications by the user or from a communication subscriber, and / or the acoustic signal input devices are designed for receiving acoustic signals for the input of communication partner identifications by the user or from a communication subscriber.
Bei einer anderen vorzugsweisen Weiterbildung der Erfindung ist vorgesehen, daß die Editierauswahlsteuerung ausgelegt ist, in Abhängigkeit vom Identifikationsergebnis der Identifikati- onseinrichtungen ein Editieren der aktuellen Anwenderbilddaten durch die Bilddaten-Editiereinrichtungen zu unterbinden oder entsprechend einem vorgegebenen oder vorgebbaren Editiermodus oder einem aus einer Mehrzahl von vorgegebenen oder vorgebbaren Editiermodi zu veranlassen.In another preferred development of the invention, it is provided that the edit selection control is designed, depending on the identification result of the identification devices, to prevent editing of the current user image data by the image data editing devices or according to a predefined or predefinable editing mode or one of a plurality of predefined ones or predefinable editing modes.
Weiterhin kann mit Vorteil bei einer Videokommunikationsvorrichtung nach der vorliegenden Erfindung vorgesehen sein, daß Vorgabebilddaten-Speichereinrichtungen zum Speichern von Vorgabebilddaten vorgesehen sind, und daß die Bilddaten-Editiereinrichtungen zum Editieren der aktuellen Anwenderbilddaten mittels und/oder auf der Basis der Vorgabebilddaten ausgelegt sind, um editierte Anwenderbilddaten zu schaffen.Furthermore, it can advantageously be provided in a video communication device according to the present invention that default image data storage devices are provided for storing default image data, and that the image data editing devices are designed for editing the current user image data by means of and / or on the basis of the default image data in order to be edited To create user image data.
Diese Ausführung läßt sich dadurch weiterbilden, daß bei einer solchen Videokommunikationsvorrichtung vorgesehen ist, daß die Vorgabebilddaten-Speichereinrichtungen Hintergrundvorgabebilddaten-Speichereinrichtungen und/oder Personenvorgabebilddaten-Speichereinrich- tungen enthalten, und daß die Bilddaten-Editiereinrichtungen zum Separieren der aktuellen Anwenderbilddaten zumindest in Hintergrundbilddaten und Personenbilddaten und Ersetzen der Hintergrundbilddaten und/oder Personenbilddaten ganz oder teilweise durch entsprechende Hintergrundvorgabebilddaten bzw. Personenvorgabebilddaten oder zur Erzeugung von editierten Hintergrundbilddaten und/oder Personenbilddaten auf der Basis von entsprechenden Hintergrundvorgabebilddaten bzw. Personenvorgabebilddaten aus den entsprechenden Spei- chereinrichtungen ausgelegt sind. Dabei können ferner die Vorgabebilddaten-Speichereinrichtungen oder die Personenvorgabebilddaten-Speichereinrichtungen Körperbilddaten-Speichereinrichtungen und/oder Kopfbilddaten-Speichereinrichtungen enthalten, und die Bilddaten- Editiereinrichtungen zum Separieren der Personenbilddaten in Körperbilddaten und Kopfbilddaten und Ersetzen der Körperbilddaten und/oder Kopfbilddaten ganz oder teilweise durch entsprechende Körpervorgabebilddaten bzw. Kopfvorgabebilddaten oder zur Erzeugung von editierten Körperbilddaten und/oder Kopfbilddaten auf der Basis von entsprechenden Körper- vorgabebilddaten bzw. Kopfvorgabebilddaten aus den jeweiligen Speichereinrichtungen ausgelegt sein.This embodiment can be further developed in that it is provided in such a video communication device that the default image data storage devices contain background default image data storage devices and / or personal default image data storage devices, and that the image data editing devices for separating the current user image data at least into background image data and person image data and Replace the background image data and / or person image data in whole or in part with corresponding background default image data or person default image data or for the generation of edited background image data and / or person image data on the basis of corresponding background default image data or person default image data from the corresponding storage devices. Furthermore, the default image data storage devices or the personal default image data storage devices can contain body image data storage devices and / or header image data storage devices, and the image data editing devices for separating the personal image data into body image data and header image data and replacing the body image data and / or header image data in whole or in part with corresponding body default image data or header image data or for generating edited body image data and / or header image data on the basis of corresponding body input image data or header input image data from the respective storage devices.
Vorzugsweise sind bei den vorstehenden Ausführungen in den Vorgabebilddaten-Speicherein- richtungen, Hintergrundvorgabebilddaten-Speichereinrichtungen und/oder Personenvorgabe- bilddaten-Speichereinrichtungen bzw. ggf. Körperbilddaten-Speichereinrichtungen und/oder Kopfbilddaten-Speichereinrichtungen eine Mehrzahl von Hintergrundvorgabebilddaten und/oder Personenvorgabebilddaten bzw. ggf. Körpervorgabebilddaten und/oder Kopfvorgabebilddaten oder eine Mehrzahl von entsprechenden Sätzen oder Untersätzen oder Kompo- nenten davon speicherbar oder gespeichert, die unterschiedlichen Editiermodi der Bilddaten- Editiereinrichtungen zuweisbar sind.In the above explanations, a plurality of background default image data and / or personal default image data and / or personal default image data or, if applicable, are preferably provided in the default image data storage devices, background default image data storage devices and / or personal default image data storage devices or possibly body image data storage devices and / or header image data storage devices. Body default image data and / or head default image data or a plurality of corresponding sentences or subsets or components thereof can be stored or stored, which can be assigned to different editing modes of the image data editing devices.
Gemäß einer anderen vorteilhaften Weiterbildung der Erfindung sind die Bilddaten-Editiereinrichtungen ausgelegt sind, die separierten aktuellen Bilddaten getrennt voneinander und zu- mindest im wesentlichen zeitgleich zu editieren und zur Erzeugung von editierten Anwenderbilddaten anschließend wieder zusammenzusetzen.According to another advantageous development of the invention, the image data editing devices are designed to edit the separated current image data separately from one another and at least essentially at the same time and then to reassemble them to produce edited user image data.
Eine andere vorteilhafte Fortbildung der Erfindung besteht darin, daß mittels der Bilddaten- Editiereinrichtungen eine kosmetische und/oder technische Bildoptimierung von Anwender- bilddaten in Abhängigkeit von einem Identifikationsergebnis oder unabhängig von einemAnother advantageous further development of the invention consists in the fact that by means of the image data editing devices a cosmetic and / or technical image optimization of user image data depending on an identification result or independently of one
Identifikationsergebnis und/oder ggf. vor und/oder nach einem Ersetzen der Hintergrundbilddaten und/oder Personenbilddaten bzw. ggf. Körperbilddaten und/oder Kopfbilddaten ganz oder teilweise durch entsprechende Vorgabebilddaten aus den jeweiligen Vorgabebilddaten- Speichereinrichtungen auf der Basis von Editieralgorithmen durchführbar ist.The identification result and / or if necessary before and / or after replacing the background image data and / or person image data or possibly body image data and / or header image data can be carried out in whole or in part by corresponding default image data from the respective default image data storage devices on the basis of editing algorithms.
Weiterhin ist es bei einer erfindungsgemäßen Videokommunikationsvorrichtung vorteilhaft, wenn die Anwenderbilddaten-Eingabeeinrichtungen zeitlich aufeinanderfolgend eine Mehrzahl von aktuellen Anwenderbildern erzeugen, die jeweils einzeln nacheinander und/oder nach vorgebbaren Regeln mittels der Bilddaten-Editiereinrichtungen editiert werden.Furthermore, in a video communication device according to the invention it is advantageous if the user image data input devices successively generate a plurality of current user images, which are each individually edited in succession and / or according to predefinable rules by means of the image data editing devices.
Vorzugsweise sind bei einer Videokommunikationsvorrichtung nach der Erfindung die Bilddaten-Editiereinrichtungen ausgelegt, das Separieren von Hintergrundbilddaten und/oder Personenbilddaten sowie ggf. Körperbilddaten und Kopfbilddaten und ggf. deren Ersetzung durch entsprechende Vorgabebilddaten aus den jeweiligen Vorgabebilddaten-Speichereinrich- tungen für einzelne Anwenderbilder aufeinanderfolgend dynamisch auszufuhren. Es ist ferner bevorzugt, daß die Anwenderbilddaten-Eingabeeinrichtungen wenigstens eine Kamera enthalten, und daß die Bilddaten- Ausgabeeinrichtungen wenigstens eine Schnittstelle zu einem Telekommunikationsnetz enthalten.In a video communication device according to the invention, the image data editing devices are preferably designed to dynamically and sequentially perform the separation of background image data and / or person image data as well as possibly body image data and header image data and, if necessary, their replacement by corresponding default image data from the respective default image data storage devices for individual user images . It is further preferred that the user image data input devices contain at least one camera and that the image data output devices contain at least one interface to a telecommunications network.
Bei einer Videokommunikationsvorrichtung, wie sie durch die Erfindung geschaffen wird, kann weiterhin vorgesehen sein, daß Anwendertondaten-Eingabeeinrichtungen zum Eingeben von aktuellen Anwendertondaten, Tondaten-Editiereinrichtungen zur Schaffung von editierten Anwendertondaten aus den aktuellen Anwendertondaten, und Tondaten- Ausgabeeinrichtungen zum Ausgeben von Anwendertondaten an wenigstens einen weiteren Kommunikations- teilnehmer vorgesehen sind.In a video communication device as created by the invention, it can further be provided that user sound data input devices for entering current user sound data, sound data editing devices for creating edited user sound data from the current user sound data, and sound data output devices for outputting user sound data to at least another communication participant is provided.
Diese Ausführung läßt sich dadurch weiterbilden, daß die Editierauswahlsteuerung ausgelegt ist, in Abhängigkeit vom Identifikationsergebnis der Identifikationseinrichtungen eine Ausgabe von uneditierten aktuellen oder editierten Anwendertondaten mittels der Tondaten- Ausga- beeinrichtungen zu veranlassen. Alternativ oder zusätzlich dazu können Vorgabetondaten- Speichereinrichtungen zum Speichern von Vorgabetondaten vorgesehen und die Tondaten- Editiereinrichtungen zum Editieren der aktuellen Anwendertondaten mittels und/oder auf der Basis der Vorgabetondaten ausgelegt sein, um editierte Anwendertondaten zu schaffen.This embodiment can be further developed in that the edit selection control is designed to initiate output of unedited current or edited user sound data by means of the sound data output devices, depending on the identification result of the identification devices. As an alternative or in addition to this, preset sound data storage devices can be provided for storing preset sound data and the sound data editing devices can be designed for editing the current user sound data by means of and / or on the basis of the preset sound data in order to create edited user sound data.
Eine andere zusätzliche oder alternative Ausgestaltung der hier nunmehr behandelten Ausführungsvariante der Erfindung besteht darin, daß mittels der Tondaten-Editiereinrichtungen eine kosmetische und/oder technische Tonoptimierung von Anwendertondaten in Abhängigkeit von einem Identifikationsergebnis oder unabhängig von einem Identifikationsergebnis und/oder ggf. vor und/oder nach einem Editieren der aktuellen Anwendertondaten mittels der Vorgabetondaten aus den Vorgabetondaten-Speichereinrichtungen auf der Basis von Editieralgorithmen durchführbar ist.Another additional or alternative embodiment of the embodiment variant of the invention now dealt with consists in the fact that the sound data editing devices enable cosmetic and / or technical sound optimization of user sound data as a function of an identification result or independently of an identification result and / or possibly before and / or after editing the current user audio data by means of the default audio data from the default audio data storage devices on the basis of editing algorithms.
Auch im Bereich der Tondaten kann mit Vorteil vorgesehen sein, daß Identifikationsergebnissen der Identifikationseinrichtungen einzeln oder gruppenweise vom Anwender vorgebbare Editiermodi der Tondaten-Editiereinrichtungen zugeordnet sind.In the area of the sound data, too, it can advantageously be provided that identification results of the identification devices are assigned to edit modes of the sound data editing devices that can be specified individually or in groups by the user.
Ferner ist es bevorzugt, wenn die Anwendertondaten-Eingabeeinrichtungen wenigstens ein Mikrofon enthalten, und die Tondaten-Ausgabeeinrichtungen wenigstens eine Schnittstelle zu einem Telekommunikationsnetz enthalten, und/oder wenn die Identifikationseinrichtungen wenigstens eine Schnittstelle zu einem Telekommunikationsnetz enthalten. Vorzugsweise ist bei einer Videokommunikationsvorrichtung nach der vorliegenden Erfindung eine darstellungsoptimierte Übertragung von Video- und/oder Audiodaten möglich, vorzugsweise zur Durchführung des später beschriebenen Videokommunikationsverfahrens. Dazu enthält eine entsprechende Videokommunikationsvorrichtung: - Videoein- und -ausgabemittel,It is further preferred if the user sound data input devices contain at least one microphone and the sound data output devices contain at least one interface to a telecommunication network, and / or if the identification devices contain at least one interface to a telecommunication network. In a video communication device according to the present invention, display-optimized transmission of video and / or audio data is preferably possible, preferably for carrying out the video communication method described later. For this purpose, a corresponding video communication device contains: video input and output means,
- Audioein- und -ausgabemittel,- audio input and output means,
- Sende- und Empfangsmittel,- means of transmission and reception,
- eine Schnittstelle zu wenigstens einem Übertragungskanal,an interface to at least one transmission channel,
- eine Eingabevorrichtung zur Eingabe von Steuer- und Befehlssignalen, - Speichereinrichtungen zur Speicherung von Anwender- und Systemprogrammen sowie von Vorgabebilddaten und Vorgabetondaten, wobei die vorgenannten Mittel, Einrichtungen und Komponenten mit einer Prozessoreinheit in funk- tioneller Verbindung stehen, die dazu eingerichtet ist, die Verfahrensschritte in Interaktion mit den genannten Mitteln und Komponenten auszuführen.- An input device for inputting control and command signals, - Storage devices for storing user and system programs as well as preset image data and preset sound data, the aforementioned means, devices and components being functionally connected to a processor unit which is set up to do this Execute procedural steps in interaction with the means and components mentioned.
Eine Weiterbildung der vorerläuterten Ausführung der erfindungsgemäßen Videokommunikationsvorrichtung besteht darin, daß sie weiterhin eine mit der Prozessoreinheit in Verbindung stehende Schnittstelle aufweist zur Verbindung mit einer übergeordneten Verwaltungseinheit und/oder einem übergeordneten Speichermedium, z.B. mit einem "Personalcomputer".A further development of the previously explained embodiment of the video communication device according to the invention consists in that it also has an interface connected to the processor unit for connection to a higher-level management unit and / or a higher-level storage medium, e.g. with a "personal computer".
Durch die Erfindung wird ferner ein Videokommunikationssystem geschaffen, mit dem das oben angegebene Ziel ebenfalls erreicht wird. Ein solches Videokommunikationssystem enthält wenigstens zwei erfindungsgemäße Videokommunikationsvorrichtungen nach einem der Ansprüche 1 bis 22, die über ein Telekommunikationsnetz verbunden oder verbindbar sind.The invention also provides a video communication system with which the above-mentioned goal is also achieved. Such a video communication system contains at least two video communication devices according to the invention according to one of Claims 1 to 22, which are connected or can be connected via a telecommunication network.
Das der Erfindung zu Grunde liegende Ziel wird auch durch ein Videokommunikationsverfahren erreicht, bei dem ein Kommunikationsteilnehmer mittels Identifikationseinrichtungen identifiziert wird, aktuelle Anwenderbilddaten in Anwenderbilddaten-Eingabeeinrichtungen eingegeben werden, eine Editierauswahlsteuerung die aktuellen Anwenderbilddaten in Abhängigkeit vom Identifikationsergebnis der Identifikationseinrichtungen an Bilddaten-Editiereinrichtungen leitet oder nicht, die Bilddaten-Editiereinrichtungen, wenn sie die aktuellen Anwenderbilddaten erhalten haben, daraus oder dafür editierte Anwenderbilddaten erzeugt, und schließlich uneditierte aktuelle oder, falls vorhanden, editierte Anwenderbilddaten mittels Bilddaten-Ausgabeeinrichtungen ausgegeben werden. Hinsichtlich der Argumente für die Erreichung der Zielsetzung und der Vorteile wird zur Vermeidung von Wiederholungen insgesamt auf die Darstellungen im Zusammenhang mit der erfindungsgemäßen Videokommunikationsvorrichtung verwiesen.The aim underlying the invention is also achieved by a video communication method, in which a communication subscriber is identified by means of identification devices, current user image data are entered in user image data input devices, an edit selection control guides the current user image data depending on the identification result of the identification devices to image data editing devices or not , the image data editing devices, if they have received the current user image data, generated from them or user image data edited therefor, and finally unedited current or, if present, edited user image data are output by means of image data output devices. With regard to the arguments for achieving the objective and the advantages, in order to avoid repetitions, reference is made overall to the representations in connection with the video communication device according to the invention.
Vorteilhafte Weiterbildungen des Videokommunikationsverfahrens nach der Erfindung ergeben sich durch analoge oder adäquate Umsetzung der weiter oben angegebenen Merkmale und Merkmalskombinationen der erfindungsgemäßen Videokommunikationsvorrichtung.Advantageous developments of the video communication method according to the invention result from analog or adequate implementation of the features and combinations of features of the video communication device according to the invention specified above.
Das Videokommunikationsverfahren nach der Erfindung läßt sich ferner dadurch weiterbil- den, daß Bilddaten oder Bild- und Tondaten insbesondere beim Bildfernsprechen darstel- lungsoptimiert übertragen werden, indem von einer Videoquelle und ggf. einer Audioquelle kommende Bild- bzw. ggf. Tondaten vor ihrer Übertragung zu einem Kommunikationspartner anhand von Vorgabebilddaten bzw. ggf. Vorgabetondaten entsprechend wenigstens einem vorbestimmten oder vorbestimmbaren Kriterium verändert werden, mit folgenden Schritten: vor einer Kommunikation werden a) Vorgabebilddaten erstellt und gespeichert, und b) Parameter, die Bilddaten betreffen, definiert, gespeichert, und den in Schritt a) gespeicherten Vorgabebilddaten zugeordnet, und während einer Kommunikation werden c) ein von Anwenderbilddaten-Eingabeeinrichtungen, insbesondere einer Videoquelle, kommende Anwenderbilddaten hinsichtlich eines oder mehrerer ausgewählter oder auswählbarer Bilddatenparameter von den in Schritt b) definierten und gespeicherten Parameter extrahiert, d) die Anwenderbilddaten von Schritt c) basierend auf dem oder den ausgewählten Bilddaten- parameter(n) anhand der zugeordneten Vorgabebilddaten editiert, und e) die in Schritt d) editierten Anwenderbilddaten zu einem oder mehreren Kommunikationspartnern übertragen.The video communication method according to the invention can also be further developed in that image data or image and sound data, in particular in the case of video telephony, are transmitted in an optimized manner by adding image or possibly audio data coming from a video source and possibly an audio source prior to their transmission a communication partner can be changed on the basis of default image data or, if applicable, default audio data according to at least one predetermined or predeterminable criterion, with the following steps: before communication, a) default image data are created and stored, and b) parameters relating to image data are defined, stored, and the Assigned default image data stored in step a), and during communication c) user image data coming from user image data input devices, in particular a video source, with respect to one or more selected or selectable image data parameters are defined by those in step b) extracted and stored parameters, d) the user image data from step c) is edited based on the selected image data parameter (s) based on the assigned default image data, and e) the user image data edited in step d) is transmitted to one or more communication partners.
Eine Weiterbildung dieser Verfahrensvariante besteht darin, daß die Schritte d) und e) an einem zentralen Ort ausgeführt werden, der vom Anwender entfernt ist, wobei die Anwender- bilddaten, die zugeordneten Vorgabebilddaten und der oder die Bilddatenparameter vom Ort des Anwenders zum zentralen Ort übertragen werden. Alternativ oder zusätzlich kann vorgesehen sein, daß die Schritt a) bis e) am Ort eines Anwenders ausgeführt werden.A further development of this variant of the method is that steps d) and e) are carried out at a central location which is distant from the user, the user image data, the assigned default image data and the image data parameter or parameters being transmitted from the location of the user to the central location become. Alternatively or additionally, it can be provided that steps a) to e) are carried out at the location of a user.
Die hier behandelte Ausführungsvariante läßt ferner dadurch Fortbilden, daß ein zusätzlicher Schritt f) vorgesehen ist, mit dem zuvor gespeicherte Sprachproben berechtigter Anwender mit einer gesprochenen Kennphrase eines aktuellen Anwenders verglichen werden und bei positivem Vergleichsergebnis eine Freigabe für eine editierte Kommunikation für diesen An- wender erfolgt. Damit wird auf vorteilhaft einfache Weise sichergestellt, daß nur ein berechtigter Anwender die anwenderspezifische Optimierung durchführen und mit editierten Bildern und/oder veränderter Stimmlage auf Sendung gehen kann. Dabei kann weiterhin vorgesehen sein, daß in Schritt f) außerdem die gespeicherte Sprachprobe Vorgabebilddaten, die zu einem Anwender gehören oder als zu ihm gehörig ausgewählt wurden, zugeordnet wird, und der Anwender anhand der gespeicherten Sprachprobe und der zugehörigen Vorgabebilddaten identifiziert wird. Alternativ oder zusätzlich kann in Schritt f) eine Sprachanalyse der gesprochenen Kennphrase und eine Bildanalyse der von den Anwenderbilddaten-Eingabeeinrichtungen, insbesondere der Videoquelle, kommenden Anwenderbilddaten ausgeführt werden. Die letztge- nannte Ausgestaltung läßt sich dadurch noch weiterbilden, daß bei der Bildanalyse charakteristische Gesichtszüge eines Anwenders mit zugehörigen oder ausgewählten Vorgabebilddaten verglichen werden.The embodiment variant dealt with here can be further developed by providing an additional step f) with which previously stored speech samples of authorized users are compared with a spoken passphrase of a current user and, if the result of the comparison is positive, a release for edited communication for this application. turns. This ensures in an advantageously simple manner that only an authorized user can carry out the user-specific optimization and can go on the air with edited images and / or a changed voice position. It can further be provided that in step f) the stored speech sample is also assigned default image data that belongs to a user or has been selected as belonging to the user, and the user is identified on the basis of the stored speech sample and the associated default image data. Alternatively or additionally, a speech analysis of the spoken characteristic phrase and an image analysis of the user image data coming from the user image data input devices, in particular the video source, can be carried out in step f). The latter embodiment can be further developed by comparing the facial features of a user with associated or selected default image data in the image analysis.
Eine andere Weiterbildung der hier zuletzt behandelten grundsätzlichen Erfindungsvariante eines Videokommunikationsverfahrens besteht darin, daß der Anwender vor Ausführung des Schrittes c) als berechtigt identifiziert wird, gespeicherte Vorgabebilddaten zur audiovisuellen Kommunikation zu verwenden.Another further development of the basic inventive variant of a video communication method discussed last consists in the user being identified as authorized to use stored default image data for audiovisual communication before performing step c).
Ferner ist es bei dem Videokommunikationsverfahren nach der Erfindung bevorzugt, daß die zu verarbeitenden oder zu editierenden und analysierten Anwenderbilddaten, die Vorgabebilddaten sowie die editierten Anwenderbilddaten Bewegtbilder, zweidimensionale und dreidimensionale Bildinformationen enthalten.It is further preferred in the video communication method according to the invention that the user image data to be processed or edited and analyzed, the default image data and the edited user image data contain moving images, two-dimensional and three-dimensional image information.
Eine andere vorzugsweise Ausgestaltung des Videokommunikationsverfahrens nach der Er- findung besteht darin, daß die zu übertragenden Anwenderbilddaten vor der Übertragung dem Anwender angezeigt werden. Dies läßt sich bevorzugt dadurch weiterbilden, daß die Anzeige eine interaktive Benutzeroberfläche aufweist, die auch die auswählbaren und/oder ausgewählten Vorgabebilddaten sowie die auswählbaren oder ausgewählten Bilddatenparameter anzeigt.Another preferred embodiment of the video communication method according to the invention is that the user image data to be transmitted are displayed to the user before the transmission. This can preferably be further developed in that the display has an interactive user interface which also displays the selectable and / or selected default image data and the selectable or selected image data parameters.
Die Videokommunikationsvorrichtung, das Videokommunikationssystem und das Videokommunikationsverfahren nach der Erfindung eigenen sich mit Vorteil zur insbesondere darstel- lungsoptimierten Übertragung von Video- und/oder Audiodaten beim Bildfernsprechen, bei Videokonferenzen oder über Computernetze.The video communication device, the video communication system and the video communication method according to the invention are advantageously suitable for the particularly display-optimized transmission of video and / or audio data in telephony, in video conferences or via computer networks.
Weitere bevorzugte und vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den jeweils abhängigen Ansprüchen und deren Kombinationen sowie aus den analogen und geeig- neten Übertragungen von jeweiligen Merkmalen und Merkmalskombinationen zwischen Vor- richtungs-, System- und Verfahrensansprüchen.Further preferred and advantageous configurations of the invention result from the respective dependent claims and their combinations as well as from the analog and suitable Ned transfers of respective features and combinations of features between device, system and process claims.
Die Erfindung wird nachfolgend anhand von in der Zeichnung gezeigten Ausfuhrungsbeispielen, worin der weitere Merkmale und Merkmalskombinationen offenbart sind, exemplarisch näher erläutert. In der Zeichnung zeigen:The invention is explained in more detail below using exemplary embodiments shown in the drawing, in which the further features and combinations of features are disclosed. The drawing shows:
Figur 1 ein Blockdiagramm einer erfindungsgemäßen Vorrichtung zum Senden/Empfangen audiovisueller Informationen mit anwenderoptimierten Inhalt,FIG. 1 shows a block diagram of a device according to the invention for transmitting / receiving audio-visual information with user-optimized content,
Figur 2 ein Blockdiagramm über Details der Funktionsgruppe „Speicher" gemäß der Figur 1,FIG. 2 shows a block diagram about details of the “storage” function group according to FIG. 1,
Figur 3 ein Blockdiagramm von Funktionen bei der Anwendung der Vorrichtung der Figuren 1 und 2 ohne anwenderkontrollierte Optimierung,3 shows a block diagram of functions when using the device of FIGS. 1 and 2 without user-controlled optimization, FIG.
Figur 4 ein Blockdiagramm von Funktionen mit Anwendung einer anwenderkontrollierten Optimierung,FIG. 4 shows a block diagram of functions using a user-controlled optimization,
Figur 5 ein Funktionsflußdiagramm von Verfahrensschritten, wenn keine anwenderkontrol- lierte Optimierung ausgeführt wird, undFIG. 5 shows a functional flow diagram of method steps if no user-controlled optimization is carried out, and
Figur 6 ein Funktionsflußdiagramm von Verfahrensschritten, wenn eine anwenderkontrollierte Optimierung ausgeführt wird.FIG. 6 shows a functional flow diagram of method steps when a user-controlled optimization is carried out.
Gleiche Bezugszeichen in den einzelnen Figuren und Abbildungen der Zeichnungen bezeichnen gleiche oder ähnliche oder gleich oder ähnlich wirkende Komponenten. Anhand der Darstellungen in der Zeichnung werden auch solche* Merkmale deutlich, die nicht mit Bezugszeichen versehen sind, unabhängig davon, ob solche Merkmale nachfolgend beschrieben sind oder nicht. Andererseits sind auch Merkmale, die in der vorliegenden Beschreibung enthalten, aber nicht in der Zeichnung sichtbar oder dargestellt sind, ohne weiteres für einen Fachmann verständlich.Identical reference symbols in the individual figures and illustrations of the drawings denote identical or similar or identically or similarly acting components. On the basis of the representations in the drawing, such * features that are not provided with reference symbols become clear, regardless of whether such features are described below or not. On the other hand, features which are contained in the present description but which are not visible or shown in the drawing are also readily understandable for a person skilled in the art.
Die Erfindung geht von dem Vorhandensein audiovisueller Kommunikationationsmedien aus. Allgemeine Merkmale audiovisueller Kommunikationsmedien sind Mikrophon und Lautspre- eher, Videokamera und Bildschirm, eine Steuerungseinheit, eine Verarbeitungseinheit abgehend zur Verarbeitung von Audio- und Videosignalen, einer Verarbeitungseinheit kommend zur Verarbeitung von Audio- und Videosignalen und einer Kompressionseinheit zur optima- len Ausnützung der zur Verfügung stehenden Leitungsbandbreite, z.B. über analoge und digitale Telefonnetze, paketgesteuerte Kommunikation über das Internet, interne Computernetze usw.The invention is based on the presence of audiovisual communication media. General features of audio-visual communication media are microphone and loudspeaker, video camera and screen, a control unit, a processing unit outgoing for processing audio and video signals, a processing unit for processing audio and video signals and a compression unit for optimal Use of the available line bandwidth, e.g. via analog and digital telephone networks, packet-controlled communication via the Internet, internal computer networks, etc.
Die vorliegende Erfindung erweitert die audiovisuellen Kommunikationsmedien u.a. um eine Funktion, die nachfolgend "optimierende Bildverarbeitung" (OBV) genannt wird. Die erfindungsgemäße Funktion OBV kann z.B. in Videobildtelefonen, Videokonferenzsystemen oder auf Internetprotokoll basierten Systemen angewendet werden. Zum Zwecke der Vereinfachung befaßt sich die vorliegende Beschreibung hauptsächlich mit der anwenderkontrollierten OBV und wird die Sprachoptimierung nicht so detailliert behandelt.The present invention extends the audiovisual communication media, among others. a function that is called "optimizing image processing" (OBV) in the following. The OBV function according to the invention can e.g. in video picture telephones, video conference systems or systems based on internet protocol. For the purpose of simplification, the present description is mainly concerned with the user-controlled OBV and the language optimization is not dealt with in such detail.
Die erfindungsgemäße OBV gibt dem Teilnehmer die Möglichkeit, 1 bis n optimierte Abbilder seiner gewünschten Erscheinung als Referenzbildinformation oder Vorgabebilddaten in einem oder auch mehreren Speichermedien abzuspeichern. Dabei können auch Speichermedi- en unterschiedlicher physikalischer Art zum Einsatz kommen.The OBV according to the invention gives the subscriber the possibility of storing 1 to n optimized images of his desired appearance as reference image information or default image data in one or more storage media. Storage media of different physical types can also be used.
Nun wird Bezug auf die Figur 1 genommen, die ein Blockdiagramm einer Vorrichtung zeigt, die zur Ausführung des erfindungsgemäßen Verfahrens, d.h. zum Senden/Empfangen audiovisueller Informationen mit anwenderkontrollierter Optimierung eingerichtet ist.Reference is now made to FIG. 1, which shows a block diagram of an apparatus which is used to carry out the method according to the invention, i.e. is set up to send / receive audiovisual information with user-controlled optimization.
Gemäß der Figur 1 steht eine zentrale Prozessoreinheit 10 in funktioneller Verbindung mit Anwenderbilddaten-Eingabeeinrichtungen in Form einer Bildeingabeeinheit 11, z.B. einer Videokamera, mit einer Anzeigevorrichtung 12, z.B. einem PC-Monitor oder einer Flüssigkristallanzeige, mit einer Audioaus-/-eingabeeinrichtung 13, die Bilddaten- und Tondaten- Aus- gabeeinrichtungen enthält, mit einer audiovisuellen Kommunikationseinheit, die eine Sendeeinheit 14, eine Empfangseinheit 15 und eine Schnittstelle zu einem Telefonnetz, Funknetz, Mobilnetz oder Datennetz 16 oder allgemein Telekommunikationsnetz enthält, mit einer Schnittstelle 17 zu einem übergeordneten Speichermedium oder einem Rechner, wie z.B. einem Personalcomputer, mit einer Eingabevorrichtung 18, z.B. einer Telefontastatur oder einer separaten Tastatur als Beispiel für Teilnehmeridentifikations-Eingabeeinrichtungen, und mit einem Speicher 20, in dem zumindest anwenderspezifische Programme 21 und Referenzbilder oder Vorgabebilddaten 22 und gegebenenfalls Audioreferenzdaten oder Vorgabetondaten gespeichert sind, und der somit Vorgabebilddaten- und Vorgabetondaten-Speichereinrichtungen darstellt.According to FIG. 1, a central processor unit 10 is functionally connected to user image data input devices in the form of an image input unit 11, e.g. a video camera with a display device 12, e.g. a PC monitor or a liquid crystal display, with an audio output / input device 13 which contains image data and sound data output devices, with an audiovisual communication unit which has a transmitter unit 14, a receiver unit 15 and an interface to a telephone network, radio network, Contains mobile network or data network 16 or telecommunications network in general, with an interface 17 to a higher-level storage medium or a computer, such as a personal computer with an input device 18, e.g. a telephone keypad or a separate keypad as an example for subscriber identification input devices, and with a memory 20 in which at least user-specific programs 21 and reference pictures or default picture data 22 and possibly audio reference data or default sound data are stored, and which thus represents default picture data and default data storage devices.
Die Figur 2 zeigt, daß der Speicher 20 mehrere, auch physikalisch unterschiedliche Speichermedien aufweisen kann. Die optimierten oder editierten Referenzinformationen, d.h. die Refe- renzbildinformation oder editierten Anwenderbilddaten und die Referenzaudioinformation oder editierten Anwendertondaten, werden zum einen über die Bildeingabeeinheit 11 , die eine Videokamera, ein Rekorder, etc., sein kann, die Audioeingabeeinheit 13, oder von einer übergeordneten Einheit über die Schnittstelle 17 in den Speicher 20 übertragen. Dabei ist es unwe- sentlich, ob die Anwendungen und das Bildmaterial z.B. in einem ROM-Speicher, einem RAM-Speicher oder einem Massenspeicher wie z.B. in einer Festplatte, in Flashcards oder ähnlichen Medien zur Verfügung gestellt werden (Figur 2). Wie erwähnt, kann der Speicher 20 auch Referenzaudioinformation oder Vorgabetondaten enthalten, die zur anwenderkontrollierten Optimierung seiner Sprache verwendet werden kann/können. Der Anwender steuert z.B. durch die Eingabevorrichtung 18 die optimierende Bildverarbeitung oder Bilddateneditie- rung, um das von ihm zu einem Kommunikationspartner zu sendende Bild und/oder seine Sprache nach seiner Wahl zu optimieren. Die Eingabevorrichtung 18 kann z.B. eine Telefontastatur, ein separat angeschlossenes Tastaturfeld, eine Computermaus, ein Lichtstift, ein graphisches Tablett etc. sein.FIG. 2 shows that the memory 20 can have several, also physically different, storage media. The optimized or edited reference information, ie the reference Renzbildinformation or edited user image data and the reference audio information or edited user sound data, on the one hand via the image input unit 11, which may be a video camera, a recorder, etc., the audio input unit 13, or from a higher-level unit via the interface 17 in the memory 20 . It is immaterial whether the applications and the image material are made available, for example, in a ROM memory, a RAM memory or a mass storage device, such as in a hard disk, in flash cards or similar media (FIG. 2). As mentioned, the memory 20 can also contain reference audio information or default audio data which can be used for the user-controlled optimization of its language. For example, the user controls the optimizing image processing or image data editing through the input device 18 in order to optimize the image to be sent by him to a communication partner and / or his language of his choice. The input device 18 can be, for example, a telephone keyboard, a separately connected keyboard field, a computer mouse, a light pen, a graphic tablet, etc.
In der Figur 2 sind Einzelheiten des Speichers 20 sowie der darin gespeicherten anwenderspezifischen Informationsinhalte 21 und der Referenzbilder oder Vorgabebilddaten 22 gezeigt. Wie dargestellt ist, kann der Speicher 20, der bei der Erfindung verwendbar ist, einen ROM- Speicher, RAM-Speicher, eine Festplatte, eine Wechselplatte, eine Floppy Disk, eine Flash- card und andere geeignete Speichermedien aufweisen oder enthalten. Der Speicher 20 kann auch eine Kombination solcher Speichermedien enthalten. In dem Inhaltsblock 21, in dem anwenderspezifische Programme und Informationen oder Daten gespeichert sind, befindet sich ein Block 210 für die Benutzererkennung oder Anwenderidentifikation, ein Block 211 für die technische Bildoptimierung oder -editierung mit verschiedenen Algorithmen 1, 2, ...N, ein Block 212 für die kosmetische Erscheinungsoptimierung oder Bildoptimierung, wieder mit verschiedenen Bildbearbeitungsalgorithmen 1, 2, ...N, ein Block 213 zur Hintergrundbearbeitung, ein Block 214 zur Kopfbearbeitung und ein Block 215 zur Körperbearbeitung. Es muß hier bemerkt werden, daß die im anwenderspezifischen Block 21 enthaltenen und oben aufgeführten Einzelblöcke 211 bis 215 nicht auf die angegebene Auflistung beschränkt sind, und daß Speicherinhalte zur Spracherkennung und weitere Inhalte, die hier zur Vermeidung vonFIG. 2 shows details of the memory 20 and the user-specific information content 21 stored therein and the reference images or default image data 22. As illustrated, the memory 20 that can be used in the invention may include or include ROM, RAM, hard disk, removable disk, floppy disk, flash card, and other suitable storage media. The memory 20 can also contain a combination of such storage media. In the content block 21, in which user-specific programs and information or data are stored, there is a block 210 for user identification or identification, a block 211 for technical image optimization or editing with various algorithms 1, 2,... N Block 212 for cosmetic appearance optimization or image optimization, again with various image processing algorithms 1, 2, ... N, a block 213 for background processing, a block 214 for head processing and a block 215 for body processing. It must be noted here that the individual blocks 211 to 215 contained in the user-specific block 21 and listed above are not limited to the list given, and that memory contents for speech recognition and other contents which are here to avoid
Wiederholungen unter ähnlichen oder analogen Aspekten zwischen der Bild- und der Sprachoptimierung weggelassen wurden.Repetitions under similar or analog aspects between the image and the speech optimization were omitted.
Der in der Figur 2 dargestellte Block 22, der das Bildmaterial der Vorgabebilddaten, d.h. die Referenzbildinformation betrifft, enthält einen Block 221 mit Hintergrundvorgabebilddaten oder Referenzhintergrundbildern 1, ...N, einen Block 222 mit Referenzbildern 1, 2, ...N des Kopfs (Kopfvorgabebilddaten) und einem Block 223 mit Referenzbildern 1, 2, ...N des Kör- pers (Körpervorgabebilddaten) des Anwenders. Diese Terminologie basiert darauf, daß der Begriff "Körper" die Körperteile außer dem Kopf umfaßt.The block 22 shown in FIG. 2, which relates to the image material of the default image data, ie the reference image information, contains a block 221 with background default image data or reference background images 1,... N, a block 222 with reference images 1, 2,... N of the head (Header image data) and a block 223 with reference images 1, 2, ... N of the body pers (body image data) of the user. This terminology is based on the fact that the term "body" includes the parts of the body other than the head.
Für eine Videokommunikationsvorrichtung gemäß der Erfindung in Form der in den Figuren gezeigten audiovisuellen Kommunikationsvorrichtung, die für mehrere Teilnehmer berechtigt ist, sind die Blöcke 221 bis 223 entsprechend mehrfach vorhanden, was innerhalb einzelner physikalischer Speichervorrichtungen durch deren geeignete eventuell softwaremäßige Aufteilung oder in Form von getrennten Speichereinrichtungen für jeden Anwender realisiert sein kann.For a video communication device according to the invention in the form of the audiovisual communication device shown in the figures, which is authorized for a plurality of participants, the blocks 221 to 223 are correspondingly present multiple times, which is within individual physical storage devices by their suitable, possibly software-based division or in the form of separate storage devices can be implemented for every user.
In der Figur 3 ist in Form eines Funktionsblockschaltbildes eine Funktionsweise ohne sender- seitige optimierende Bildbearbeitung, d.h. ohne die erfindungsgemäße OBV, gezeigt. Die oben genannte OBV, die in einem Funktionsblock 40 dargestellt ist, ist deaktiviert, und das Videosignal von der Videosignalquelle geht direkt zu einem Kodierungsblock 41. Diese Funktionsweise wird anhand eines Identifikationsergebnisses beispielsweise von Anwenderund Kommunikationspartneridentifikation mittels Identifikationseinrichtungen, auf die später noch eingegangen wird, von der Videokommunikationsvorrichtung automatisch gewählt, wenn der Anwender vorher festgelegt hatte, daß der konkrete Kommunikationspartner die aktuellen Anwenderbilddaten übermittelt erhalten und somit sehen können soll.FIG. 3 shows a function in the form of a functional block diagram without optimizing image processing on the transmitter side, i.e. without the OBV according to the invention. The above-mentioned OBV, which is shown in a function block 40, is deactivated, and the video signal from the video signal source goes directly to an encoding block 41. This function is based on an identification result, for example of user and communication partner identification by means of identification devices, which will be discussed later automatically selected in the video communication device if the user had previously determined that the specific communication partner should receive the current user image data and should therefore be able to see it.
Dagegen zeigt die Figur 4 in Form eines Funktionsblockschaltbildes den Fall, in dem eine optimierende Bildverarbeitung oder Editierung der aktuellen Anwenderbilddaten vor einer Ausgabe der Anwenderbilddaten in ein Telekommunikationsnetz an einen Kommunikationspartner ausgeführt wird. Diese Funktionsweise wird anhand eines Identifikationsergebnisses bei- spielsweise von Anwender- und Kommunikationspartneridentifikation mittels Identifikationseinrichtungen von der Videokommunikationsvorrichtung automatisch gewählt, wenn der Anwender vorher festgelegt hatte, daß der konkrete Kommunikationspartner nicht die aktuellen Anwenderbilddaten übermittelt erhalten und somit sehen können soll, sondern der Anwender von diesem konkreten Kommunikationspartner vor einem speziellen Hintergrund, mit einer bestimmten Kleidung und/oder einem geeignet hergerichteten übrigen Äußeren, wie Frisur,In contrast, FIG. 4 shows in the form of a functional block diagram the case in which an optimizing image processing or editing of the current user image data is carried out before a output of the user image data in a telecommunication network to a communication partner. This function is automatically selected on the basis of an identification result, for example user and communication partner identification, by means of identification devices from the video communication device if the user had previously determined that the specific communication partner should not receive the current user image data and should therefore be able to see it, but rather the user of this concrete communication partner against a special background, with certain clothing and / or a suitably prepared other exterior, such as hairstyle,
Rasur, Gesichtsfarbe und -Straffheit, etc. gesehen werden möchte. Letzteres kann beispielsweise dann in jeweils geeigneter Weise erwünscht sein, wenn der konkrete Kommunikationspartner beispielsweise ein Geschäftspartner, ein Vorgesetzter, ein Untergebener, eine Sportoder Freizeitbekanntschaft oder eine unbekannte Person ist.Shave, complexion and firmness, etc. The latter may be desired in a suitable manner, for example, if the specific communication partner is, for example, a business partner, a supervisor, a subordinate, a sports or leisure acquaintance or an unknown person.
Vor dem Herstellen einer Telekommunikationsverbindung, z.B. einer Sendung, werden die von einer Bildeingabeeinheit 11, z.B. einer Videosignalquelle, erhaltenen aktuellen Anwen- derbilddaten in Form beispielsweise eines Videosignals zur Vorbereitung der Editierung oder Optimierung im Sinne der Erfindung durch einen Inhaltserkennungsblock 30 in einzelne Bereiche oder Ebenen 31 bis 33 (englisch: "layers") separiert oder aufgeschlüsselt. Die Ebenen 31 bis 33 sind hier nur zum Zwecke des besseren Verständnisses als Ebene 1 (Hintergrund), Ebene 2 (Körper) und Ebene 3 (Kopf) bezeichnet. Diese Ebenen entsprechen den im Speicherbereich 22 gespeicherten Schichten "Hintergrund" oder Hintergrundvorgabebilddaten 221, "Kopf oder Kopfvorgabebilddaten 222 und "Körper" oder Körpervorgabebilddaten 223 (vergleiche Figur 2). Diese Begriffe Hintergrund, Körper, Kopf dienen nur zur Veranschaulichung dieses Aspekts der Erfindung. Je nach Größe des bereitgestellten Speichers können weitere Bereiche oder Ebenen zur weiteren Detaillierung definiert sein. Ebenfalls zur Veranschaulichung des Verfahrens wird eine weitere, gestrichelt eingezeichnete, Spezialebene 34 z.B. für Texteinblendungen definiert, die wahlweise zugeschaltet werden kann.Before a telecommunications connection, for example a broadcast, is established, the current applications received from an image input unit 11, for example a video signal source, are derbilddaten in the form of, for example, a video signal to prepare for editing or optimization in the sense of the invention by a content recognition block 30 into individual areas or levels 31 to 33 (English: "layers") or broken down. Levels 31 to 33 are only referred to as level 1 (background), level 2 (body) and level 3 (head) for the purpose of better understanding. These levels correspond to the layers "background" or background default image data 221, "head or header default image data 222 and" body "or body default image data 223 (see FIG. 2) stored in the memory area 22. These terms background, body, head are only used to illustrate this aspect of the invention. Depending on the size of the memory provided, further areas or levels can be defined for further detailing, also to illustrate the method, a further special level 34, shown in broken lines, is defined, for example for text overlays, which can optionally be activated.
Die beschriebenen Ebenen 31 bis 34 werden aus dem Videosignalstrom von der Bildeingabe- einheit 11 in Form der Videosignalquelle, z.B. von der Videokamera, mit Bildverarbeitungsal- gorithmen im Inhaltserkennungsblock 30 herausgelöst und separat in logischen Speicherebenen verwaltet. Findet eine audiovisuelle Kommunikation statt, werden je nach Einstellung des Anwenders alle oder einzelne Ebenen oder Teile daraus durch Bildinformation oder Vorgabebilddaten aus dem Speicher 22 ersetzt. Im Beispiel von Figur 4 werden die Ebenen 31 und 32, betreffend Hintergrund und Referenzkopf, ersetzt durch ein Referenzhintergrundbild 2 und ein Kopfbild 3 aus den Speicherbereichen 221 und 222. Die Steuerung der eingesetzten Vorgabebilddaten oder Bildinformation wird durch Referenzmarken sichergestellt.The described levels 31 to 34 are derived from the video signal stream from the image input unit 11 in the form of the video signal source, e.g. from the video camera, with image processing algorithms in the content recognition block 30 and separately managed in logical storage levels. If audio-visual communication takes place, depending on the setting of the user, all or individual levels or parts thereof are replaced by image information or default image data from the memory 22. In the example of FIG. 4, the levels 31 and 32, relating to the background and reference header, are replaced by a reference background image 2 and a header image 3 from the memory areas 221 and 222. The control of the default image data or image information used is ensured by reference marks.
Als Beispiel für die weitere Erklärung soll das Gesicht dienen. Die erkannten Referenzmarken werden zur Steuerung der einzusetzenden Bildinformation der Ebene "Kopf verwendet. Bewegt der Anwender den Kopf wenn er z.B. zustimmend nickt, so führt das optimierte oder editierte Bild die gleiche Bewegung aus. Ist die Ebene "Körper" aktiviert, wird die aktuelle Ebene "Körper" durch eines der gespeicherten Körperreferenzbilder in Form der Körpervorgabebilddaten im Bereich 223 ersetzt. Alle Ebenen zusammengesetzt bilden die zu sendenden editierten Anwenderbilddaten als optimiertes Videobild.The face should serve as an example for the further explanation. The recognized reference marks are used to control the image information to be used on the "Head" level. If the user moves the head, for example if he nods in agreement, the optimized or edited image executes the same movement. If the "Body" level is activated, the current level becomes active "Body" is replaced by one of the stored body reference images in the form of the body default image data in the area 223. Put together at all levels, the edited user image data to be sent form an optimized video image.
Es ist zu beachten, daß die Bezeichnung "Ebene" nicht bedeutet, daß mit dem erfindungsgemäßen Verfahren verarbeitete bzw. editierte Bildinformation oder Anwenderbilddaten nur zweidimensional sein kann/können. Statt dessen können auch dreidimensionale Bildinforma- tionen oder Anwenderbilddaten verarbeitet werden. Das neu zusammengesetzte Videobild wird jetzt technisch hinsichtlich Farbwerte, Kontraste, Helligkeit nach voreingestellten oder voreinstellbaren Parametern optimiert (siehe Block 42 in der Figur 4).It should be noted that the term "plane" does not mean that image information or user image data processed or edited with the method according to the invention can only be two-dimensional. Instead, three-dimensional image information or user image data can also be processed. The newly composed video image is now technically optimized in terms of color values, contrasts, brightness according to preset or presettable parameters (see block 42 in FIG. 4).
In einer weiteren Funktionseinheit 43, die kosmetische Bildoptimierung genannt ist, werden bevorzugt im Gesichtsbereich kosmetische Verbesserungen vorgenommen. Dazu gehören z.B. das Aufhellen der Augen und die Augenwinkelkorrektur, Aufhellen des Zahnbereichs, Schattenaufhellung (z.B. bei Bartwuchs und bei großflächigen Pigmentveränderungen der Haut) und das Wegretuschieren von nicht gewünschten kleinen Pigmentstörungen oder z.B. Warzen.In a further functional unit 43, which is called cosmetic image optimization, cosmetic improvements are preferably made in the facial area. These include e.g. brightening the eyes and correcting the corner of the eye, brightening the tooth area, brightening the shadow (e.g. with beard growth and with large-scale pigment changes of the skin) and retouching of unwanted small pigment disorders or e.g. Warts.
Das so optimierte Videosignal wird an die Kodierungseinheit 41 weitergegeben und schließlich an den oder die Kommunikationspartner als Empfänger gesendet.The video signal optimized in this way is passed on to the coding unit 41 and finally sent to the communication partner or partners as the receiver.
Nachstehend werden bezogen auf die Figuren 5 und 6 Kommunikationsschritte unter Einsatz des erfindungsgemäßen Verfahrens beschrieben.Communication steps using the method according to the invention are described below with reference to FIGS. 5 and 6.
Zunächst wird eine Kommunikationsverbindung beschrieben, die von außerhalb aufgebaut wird, d.h., der Anwender wird kontaktet. Die audiovisuelle Kommunikationsvorrichtung (Fi- gur 1) erhält ein Signal von der Gegenseite zum Aufbau einer Verbindung. Dem Stand derFirst, a communication connection is described that is established from outside, i.e. the user is contacted. The audiovisual communication device (FIG. 1) receives a signal from the opposite side to set up a connection. The state of the
Technik entsprechende Kommunikationssysteme übermitteln möglicherweise eine sogenannte Anruferkennung, die als Kommunikationspartner- oder allgemein Kommunikationsteilnehmeridentifikation dient. Bei einem eingehendem Anruf (Schritt 51) wird die Anruferkennung mittels Identifikationseinrichtungen überprüft (Schritt 53). Dies erfolgt durch Vergleich der übermittelten Anruferkennung oder Kommunikationsteilnehmeridentifikation mit Teilnehmerauswahldaten in einem Teilnehmerverzeichnis 52 (Telefonbuch mit Teilnhmeradressen), das in einem Speicher von Teilnehmerauswahldaten-Speichereinrichtungen gespeichert ist. Den Einträgen des Teilnehmerverzeichnisse 52 können bestimmte OBV-Konfigurationen oder Editiermodi zugeordnet werden oder sein.Communication systems corresponding to technology may transmit a so-called caller ID, which serves as communication partner or general communication subscriber identification. In the case of an incoming call (step 51), the caller ID is checked using identification devices (step 53). This is done by comparing the transmitted caller ID or communication subscriber identification with subscriber selection data in a subscriber directory 52 (telephone book with subscriber addresses), which is stored in a memory of subscriber selection data storage devices. Certain OBV configurations or editing modes can be assigned to the entries in the subscriber directory 52.
Im vorgestellten Beispiel wird davon ausgegangen, daß der Anrufer entweder keinen Eintrag im Teilnehmerverzeichnis 52 hat oder daß dem Eintrag im Teilnehmerverzeichnis 52 die OB- V-Konfiguration "Büro" zugeordnet wurde. In diesen Fällen wird das Signal der Bildeingabeeinheit 11 in Form der Videokamera an den Inhaltserkennungsfunktionsblock 30 weitergelei- tet, der Schritt 57 berechnet die Ebenen 31 bis 34 (siehe Figur 4), die im Schritt 58 mit denIn the example presented, it is assumed that the caller either has no entry in the directory 52 or that the OBV configuration "office" has been assigned to the entry in the directory 52. In these cases, the signal of the image input unit 11 in the form of the video camera is forwarded to the content recognition function block 30, the step 57 calculates the levels 31 to 34 (see FIG. 4), which in step 58 with the
Referenzinformationen oder Vorgabebilddaten der OBV-Konfiguration "Büro" in Echtzeit zusammengesetzt werden. Danach wird die bereits erwähnte kosmetische Bildoptimierung 43 und die technische Bildoptimierung 42 ausgeführt. Nach der technischen Bildoptimierung 42 entsteht im Block 40 das optimierte Videobild nach den voreingestellten Parameterwerten oder entsprechend dem Editiermodus in Zuordnung zum Teilnehmereintrag im Verzeichnis 52. Die Signale, d.h. die optimierten Bilder und Audiosignale werden anschließend je nach Kommunikationsprotokoll im Funktionsblock 41 kodiert und übertragen.Reference information or default image data of the OBV configuration "office" can be compiled in real time. Thereafter, the cosmetic image optimization 43 already mentioned and the technical image optimization 42 is carried out. After the technical image optimization 42, the optimized video image is created in block 40 according to the preset parameter values or in accordance with the editing mode in association with the subscriber entry in directory 52. The signals, ie the optimized images and audio signals, are then coded and transmitted in function block 41 depending on the communication protocol.
Nun wird bezogen auf die Figur 5 der Fall betrachtet, daß a) der gewünschte Teilnehmer dem Teilnehmerverzeichnis 52 bekannt ist (Ausgang "JA" des Vergleichsschritts 53) und daß b) dem Teilnehmer die OBV-Konfiguration "Privat" zugeordnet ist (Schritt 55), d.h. keine Edi- tierung der Anwenderbilddaten und somit auch kein Editiermodus durchgeführt wird. Dann wird das unbearbeitete Videosignal, d.h. ohne OBV, der Kodierungseinheit 41 übermittelt.5, the case is considered that a) the desired subscriber is known to subscriber directory 52 (output "YES" of comparison step 53) and that b) the OBV configuration "private" is assigned to the subscriber (step 55) , ie no editing of the user image data and therefore no editing mode is carried out. Then the raw video signal, i.e. without OBV, the coding unit 41 transmitted.
Es wird nun Bezug auf Figur 6 genommen, die einen Verbindungsaufbau vom vorliegenden Anwender darstellt. Wenn der vorliegende Anwender eine Kommunikation aufbauen möchte, hat er die Möglichkeit, einen Teilnehmer aus dem Teilnehmerverzeichnis auszuwählenReference is now made to FIG. 6, which represents a connection setup by the present user. If the present user wants to establish communication, he has the option of selecting a participant from the participant directory
(Schritt 62) oder den entsprechenden Teilnehmercode manuell einzugeben (Schritt 61). In dem Fall, in dem der gewünschte Teilnehmer aus dem Teilnehmerverzeichnis 62 gewählt wird, führt die Überprüfung im Schritt 64, ob die Code LD bekannt ist zur Ausgabe "JA". Dann wird nach Maßgabe des OBV-Parameters im Teilnehmerverzeichnis 62 entsprechend vom Anwender voreingestellter Auswahl z.B. die OBV-Konfiguration "Freizeit" aktiviert(Step 62) or manually enter the corresponding subscriber code (step 61). In the case in which the desired subscriber is selected from the subscriber directory 62, the check in step 64 leads whether the code LD is known to the output "YES". Then, in accordance with the OBV parameter in the subscriber directory 62 in accordance with the selection preset by the user, e.g. the OBV configuration "Leisure" activated
(Schritt 66). Diesem Editiermodus ist beispielsweise vom Anwender nur eine kosmetische Bildoptimierung im Funktionsblock 43 und die technische Bildoptimierung im Funktionsblock 42 zugewiesen. Das hierdurch veränderte Videosignal wird sodann nach den Erfordernissen des Kommunikationsprotokolls im Funktionsblock 41 kodiert.(Step 66). This editing mode is assigned, for example, only cosmetic image optimization in function block 43 and technical image optimization in function block 42 by the user. The video signal thereby changed is then encoded in function block 41 according to the requirements of the communication protocol.
Jetzt wird ein Beispiel beschrieben, bei dem der Anwender den erforderlichen Verbindungscode im Schritt 61 manuell über die Eingabevorrichtung oder -einheit 18 (Figur 1) eingibt. Die im Abfrageschritt 64 ausgeführte Überprüfung der manuell eingegebenen Teilnehmernummer oder -adresse ergibt im Beispiel eine negative Antwort bei der Abfrage 64. Daraufhin aktiviert eine Editierauswahlsteuerung zur OBV die Konfiguration "Büro", und es wird die komplette Bildbearbeitung, d.h. Optimierung oder Editierung der Bildinformation oder Anwenderbilddaten und gegebenenfalls der Audioinformation oder Anwendertondaten ausgeführt. Die Ausführung der Optimierung der Audioinformation ist in den Figuren 5 und 6 zur Vereinfachung und Übersichtlichkeit nicht dargestellt, kann aber in derselben Weise erfolgen, wie die Bilddateneditierung. Das editierte Signal wird dann an die Kodierungseinheit 41 weitergegeben. Abgesehen von dieser automatischen Auswahl zwischen z.B. einer vollständigen OBV-Funk- tion, d.h. vollständigen Editierung und einer "rudimentären Editierung" der Bildinformation oder der aktuellen Anwenderbilddaten nur durch die kosmetische Bildoptimierung 43 und die technische Bildoptimierung 42, hat der Anwender beispielsweise jederzeit die Möglichkeit, über die Eingabeeinheit 18 die OBV-Konfiguration oder den Editiermodus während einer Kommunikation zu aktivieren oder zu deaktivieren.An example will now be described in which the user manually enters the required connection code in step 61 via the input device or unit 18 (FIG. 1). The check carried out in query step 64 of the manually entered subscriber number or address in the example results in a negative answer to query 64. An edit selection control for the OBV then activates the "office" configuration and the entire image processing, ie optimization or editing of the image information or User image data and possibly the audio information or user sound data executed. The execution of the optimization of the audio information is not shown in FIGS. 5 and 6 for simplicity and clarity, but can be carried out in the same way as the image data editing. The edited signal is then passed on to the coding unit 41. Apart from this automatic selection between, for example, a complete OBV function, ie complete editing and "rudimentary editing" of the image information or the current user image data only by means of cosmetic image optimization 43 and technical image optimization 42, the user can, for example, at any time to activate or deactivate the OBV configuration or the editing mode during a communication via the input unit 18.
Das vorgeschriebene erfindungsgemäße Verfahren kann auch dazu verwendet werden, um z.B. Gesichter anderer Menschen oder gänzlich künstlich erstellte Charaktere zu übertragen. Dabei kann der Anwender als „Animateur" auftreten. Die durch die Erfindung ermöglichte Durchführung solcher "Animationen" ist besonders bei kommerziellen Anwendung vorteilhaft, bei denen es auf eine bestimmte Identität z.B. einer aus der Werbung bekannten Persönlichkeit als Imageträger ankommt. Hier wird z.B. vom Wunsch von Unternehmen ausgegangen, einen bestimmten Charakter als Marke zu etablieren. Zur Veranschaulichung sei der Cha- rakter „Herr Kaiser" eines Versicherungsunternehmens und außerdem der Charakter „Micky Maus" der Walt Disney Corporation angeführt. Eine kommerzielle Anwendung ist hierbei die Bereitstellung einer erfindungsgemäßen OBV oder eines entsprechenden Editiermodus für Telefonagenturen. Dabei ist es wünschenswert, daß sich jeder Anwender, der von dem Editiermodus Gebrauch machen will, zum Benutzen des entsprechenden Editiermodus identifizieren muß. Dadurch kann sichergestellt sein, daß nicht autorisierte Personen nicht unter einem anderen Erscheinungsbild auftreten und eventuell Schaden anrichten können.The prescribed method according to the invention can also be used to e.g. To transfer faces of other people or entirely artificially created characters. The user can act as an "animator". The implementation of such "animations" made possible by the invention is particularly advantageous in commercial applications in which a certain identity, for example a personality known from advertising, is important as an image carrier from companies to establish a certain character as a brand. The character "Mr. Kaiser" of an insurance company and also the character "Mickey Mouse" of the Walt Disney Corporation are cited for illustration. A commercial application here is the provision of an OBV according to the invention or a corresponding editing mode for telephone agencies, it is desirable that every user who wants to use the editing mode must identify himself in order to use the corresponding editing mode, so that it can be ensured that unauthorized persons are not under a different name can appear and possibly cause damage.
Unternehmen können beispielsweise mit entsprechenden Videokommunikationseinrichtungen ausgestattete Telefonagenturen beauftragen, um Kundenanfragen und -wünsche immer mit dem gewünschten Charakter zu beantworten oder aufzunehmen. Kunden des oben als Beispiel angeführten Versicherungsunternehmens kommunizieren auf diese Weise audiovisuell mit dem durch OBV etablierten Sympathieträger des Unternehmens. Kinder und Jugendliche können über sympathische Comicfiguren, wie z.B. Micky Maus, durch das Unternehmen Informationen über spezielle Aktionen und Tips zur Freizeitgestaltung erfahren. Als Kommunika- tionsteilnehmeridentifikation für die Personen, die dem gewünschten Charakter Leben geben, können beispielsweise Algorithmen zur Gesichtserkennung verwendet werden, so daß ein Mißbrauch des vorbeschriebenen Verfahrens unterbunden ist. Die Gesichtserkennung kann Bestandteil der Steuerung der oben beschriebenen Ebene "Kopf. Sofern der Anwender nicht die gleichen charakteristischen Gesichtsmerkmale wie das abgespeicherte Kopfbild hat, wird das Videosignal uneditiert an die Kodierungseinheit zur Sendung weitergegeben oder eine Benutzung der Videokommunikationsvorrichtung unterbunden. Weiterhin kann das vorbeschriebene Verfahren zur Auswahl von berechtigten Teilnehmern Spracherkennungsalgorithmen enthalten, welche vor allem in kommerziellen Anwendungen mit Vorteil aktiviert sind. Ein aktueller Teilnehmer spricht eine Kennphrase, die mit gespeicherten Sprachproben verglichen wird. Ergibt sich eine Übereinstimmung, so kann zusätzlich noch eine Korrelation mit der erwähnten Bilderkennung anhand eines gespeicherten Kopfbil- des hergestellt werden. Somit ist ein Mißbrauch der Erfindung durch Personenverwechslung oder Vortäuschung von anderen Personen ausgeschlossen. Eine Kommunikationsteilnehmeridentifikation von Kunden ist bei dieser Anwendung der erfindungsgemäßen Videokommunikationsvorrichtung nicht erforderlich. Falls es jedoch gewünscht ist, daß über die entsprechen- den Geräte auch z.B. firmeninterne Kommunikation erfolgen soll, kann durch Kommunikationsteilnehmeridentifikation bezüglich des Kommunikationspartners beispielsweise festgestellt werden, ob eine editierte Kommunikationsverbindung mit einem Kunden oder eine uneditierte Kommunikationsverbindung mit einem Kollegen oder Vorgesetzten hergestellt werden soll. Bei der vorbeschriebenen Anwendung bietet es sich ferner an, wenn die Vorgabebilddaten zentral auf einer geeigneten Hardware bereitgestellt werden, so daß sichergestellt ist, daß alle berechtigten Anwender immer die geltenden Daten verwenden, auch Verarbeitungsleistung kann bei entsprechenden Systemen zentral bereitgestellt werden.For example, companies can commission telephone agencies equipped with appropriate video communication equipment to always respond to customer inquiries and requests with the desired character. In this way, customers of the insurance company cited above as an example communicate audiovisually with the company’s popular figure established by OBV. Children and adolescents can find out about special campaigns and tips on how to spend their free time from the company through likable cartoon characters, such as Mickey Mouse. Algorithms for facial recognition can be used, for example, as communication subscriber identification for the people who give life to the desired character, so that misuse of the above-described method is prevented. Face recognition can be part of the control of the "head" level described above. If the user does not have the same characteristic facial features as the stored header picture, the video signal is passed on unedited to the coding unit for transmission or the use of the video communication device is prevented. Furthermore, the above-described method for selecting authorized subscribers can contain speech recognition algorithms, which are advantageously activated especially in commercial applications. A current participant speaks a passphrase that is compared to stored speech samples. If there is a match, a correlation with the image recognition mentioned can also be established using a stored header image. Misuse of the invention by confusing people or pretending by other people is thus excluded. Communication subscriber identification by customers is not necessary in this application of the video communication device according to the invention. If, however, it is desired that, for example, company-internal communication should also take place via the corresponding devices, identification of the communication partner with regard to the communication partner can be used to determine, for example, whether an edited communication connection with a customer or an unedited communication connection with a colleague or manager should be established. In the case of the application described above, it is also advisable for the default image data to be provided centrally on suitable hardware, so that it is ensured that all authorized users always use the applicable data, and processing power can also be provided centrally in corresponding systems.
Ähnlich der heute bereits möglicherweise bei einem Telekommunikaionsnetzbetreiber in des- sen System oder Hardware einstellbaren Anrufumleitung kann die Teilnehmeridentifizierung und/oder die Bilddateneditierung im System oder in der Hardware eines Telekommunikationsnetzbetreibers, also extern bezüglich der Videokommunikationsvorrichtung durchgeführt werden. Dadurch kann der technische Aufwand in der anwenderseitigen Videokommunikationsvorrichtung klein gehalten werden und es stehen dennoch ausreichende Verarbeitungs- und Speicherressourcen zur Verfügung.Similar to the call forwarding that can already be set by a telecommunications network operator in its system or hardware, subscriber identification and / or image data editing can be carried out in the system or in the hardware of a telecommunications network operator, that is to say externally with respect to the video communication device. As a result, the technical outlay in the user-side video communication device can be kept low and there are nevertheless sufficient processing and storage resources available.
Weitere Anwendungen der Erfindung liegen beispielsweise auf dem Gebiet von Türsprecheinrichtungen mit Bildübertragung, interaktiven Videoüberwachungsanlagen u.a.Further applications of the invention are, for example, in the field of door intercoms with image transmission, interactive video surveillance systems and others.
Die Erfindung ist nicht auf die Merkmale und Merkmalskombinationen des vorbeschriebenen und in der Zeichnung gezeigten Ausführungsbeispiels beschränkt. Die einzelnen Aspekte, Merkmale und Merkmalskombinationen der vorliegenden Erfindung sind sowohl jeweils einzeln, als auch in ihrer Kombination umsetzbar und schutzwürdig. Neben den in den vorliegenden Unterlagen enthaltenen allgemeinen und konkreten Angaben zur Realisierung der Erfin- düng gehören zu deren Umfang auch alle Variationen, Modifikationen, Substitutionen und Kombinationen, die der Fachmann ohne weiteres aus den Unterlagen selbst und/oder unter Hinzuziehung seines Fachwissens erkennen kann. The invention is not restricted to the features and combinations of features of the exemplary embodiment described above and shown in the drawing. The individual aspects, features and combinations of features of the present invention can be implemented individually and in combination and are worthy of protection. In addition to the general and concrete information contained in the present documents on the implementation of the invention, the scope of the invention also includes all variations, modifications, substitutions and combinations which the person skilled in the art can readily recognize from the documents himself and / or with the help of his specialist knowledge.

Claims

Videokommunikationsvorrichtung, -System und -verfahrenAnsprüche Video communication device, system and method claims
1. Videokommunikationsvomchtung mit Anwenderbilddaten-Eingabeeinrichtungen zum1. Video communication device with user image data input devices for
Eingeben von aktuellen Anwenderbilddaten, Bilddaten-Editiereinrichtungen zur Erzeugung von editierten Anwenderbilddaten aus den aktuellen Anwenderbilddaten, und Bilddaten- Ausgabeeinrichtungen zum Ausgeben von Anwenderbilddaten an wenigstens einen weiteren Kommunikationsteilnehmer, dadurch gekennzeichnet, daß Identifika- tionseinrichtungen zum Identifizieren wenigstens eines Kommunikationsteilnehmers und eine mit den Identifikationseinrichtungen gekoppelte Editierauswahlsteuerung vorgesehen sind, die in Abhängigkeit vom Identifikationsergebnis der Identifikationseinrichtungen eine Ausgabe von uneditierten aktuellen oder editierten Anwenderbilddaten mittels der Bilddaten-Ausgabeeinrichtungen ggf. unter Vorschaltung der Bilddaten-Edi- tiereinrichtungen veranlaßt.Entering current user image data, image data editing devices for generating edited user image data from the current user image data, and image data output devices for outputting user image data to at least one further communication participant, characterized in that identification means for identifying at least one communication participant and one coupled to the identification means Editing selection controls are provided which, depending on the identification result of the identification devices, cause an output of unedited current or edited user image data by means of the image data output devices, possibly with the image data editing devices connected upstream.
2. Videokommunikationsvorrichtung nach Anspruch 1, dadurch gekennzeichnet, daß die Identifikationseinrichtungen ausgelegt sind, den Anwender und zumindest einen weiteren kontaktenden oder kontakteten Kommunikationsteilnehmer zu identifizieren.2. Video communication device according to claim 1, characterized in that the identification devices are designed to identify the user and at least one other contacting or contacted communication participants.
3. Videokommunikationsvomchtung nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß den Identifikationseinrichtungen Teilnehmerauswahldaten-Speichereinrichtungen zum Speichern von Teilnehmerauswahldaten und Teilnehmeridentifikations-Eingabe- einrichtungen zum Eingeben von Kommunikationsteilnehmeridentifikationen jeweils des Anwenders und/oder wenigstens eines weiteren kontaktenden oder kontakteten3. Video communication device according to claim 1 or 2, characterized in that the identification devices subscriber selection data storage devices for storing subscriber selection data and subscriber identification input devices for entering communication subscriber identifications each of the user and / or at least one other contacting or contacted
Kommunikationsteilnehmers zugeordnet sind, und daß die Identifikationseinrichtungen ausgelegt sind, durch Vergleichen von gespeicherten Teilnehmerauswahldaten mit aktuellen Kommunikationsteilnehmeridentifikationen ein Identifikationsergebnis für den Anwender und/oder wenigstens einen weiteren kontaktenden oder kontakteten Kommu- nikationsteilnehmer zu erhalten.Are assigned to the communication subscriber, and that the identification devices are designed to obtain an identification result for the user and / or at least one other contacting or contacted communication subscriber by comparing stored subscriber selection data with current communication subscriber identifications.
4. Videokommunikationsvomchtung nach Anspruch 3, dadurch gekennzeichnet, daß die Teilnehmerauswahldaten-Speichereinrichtungen Anwenderauswahldaten-Speichereinrichtungen zum Speichern von Anwenderauswahldaten wenigstens eines möglichen An- wenders und/oder Partnerauswahldaten-Speichereinrichtungen zum Speichern von4. Video communication device according to claim 3, characterized in that the subscriber selection data storage devices user selection data storage devices for storing user selection data of at least one possible user and / or partner selection data storage devices for storing
Kommunikationspartnerauswahldaten wenigstens eines möglichen Kommunikationspartners enthalten. Contain communication partner selection data of at least one possible communication partner.
5. Videokommunikationsvomchtung nach Anspruch 3 oder 4, dadurch gekennzeichnet, daß die Teilnehmeridentifikations-Eingabeeinrichtungen zum Eingeben von aktuellen Kommunikationsteilnehmeridentifikationen, insbesondere von Anwenderauswahldaten und/oder Kommunikationspartnerauswahldaten, Manuellwahleinrichtungen, Elektriksignaleingabeeinrichtungen, Optiksignaleingabeeinrichtungen und/oder Akustiksignaleingabeeinrichtungen enthalten, wobei vorzugsweise ggf. die Manuellwahleinrichtungen eine Tastatur, Menüsteuertasten, -hebel oder -zei- gegeräte, und/oder berührungssensitive Eingabeeinrichtungen für die Eingabe von Kommunikationsteilnehmeridentifikationen durch den Anwender enthalten, und/oder die Elektriksignaleingabeeinrichtungen zum Empfangen von elektrischen Signalen für die Eingabe von Kommunikationsteilnehmeridentifikationen durch den Anwender oder von einem Kommunikationsteilnehmer ausgelegt sind, und/oder die Optiksignaleingabeeinrichtungen zum Empfangen von optischen Signalen für die Eingabe von Kommunikationsteilnehmeridentifikationen durch den Anwender oder von einem Kommunikationsteilnehmer ausgelegt sind, und/oder die Akustiksignaleingabeeinrichtungen zum Empfangen von akustischen Signalen für die Eingabe von Kommunikationspartneridentifikationen durch den Anwender oder von einem Kommunikationsteilnehmer ausgelegt sind.5. Video communication device according to claim 3 or 4, characterized in that the subscriber identification input devices for entering current communication subscriber identifications, in particular user selection data and / or communication partner selection data, manual dialing devices, electrical signal input devices, optical signal input devices and / or acoustic signal input devices, preferably including the manual dialing devices if necessary , Menu control buttons, levers or pointing devices, and / or touch-sensitive input devices for the input of communication subscriber identifications by the user, and / or the electrical signal input devices are designed for receiving electrical signals for the input of communication subscriber identifications by the user or by a communication subscriber , and / or the optical signal input devices for receiving optical signals are designed for the input of communication subscriber identifications by the user or by a communication subscriber, and / or the acoustic signal input devices are designed to receive acoustic signals for the input of communication partner identifications by the user or from a communication subscriber.
6. Videokommunikationsvomchtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die Editierauswahlsteuerung ausgelegt ist, in Abhängigkeit vom Identifikationsergebnis der Identifikationseinrichtungen ein Editieren der aktuellen Anwenderbilddaten durch die Bilddaten-Editiereinrichtungen zu unterbinden oder ent- sprechend einem vorgegebenen oder vorgebbaren Editiermodus oder einem aus einer6. Videokommunikationsvomchtung according to any one of the preceding claims, characterized in that the edit selection control is designed, depending on the identification result of the identification devices to prevent editing of the current user image data by the image data editing devices or according to a predetermined or predeterminable editing mode or from one
Mehrzahl von vorgegebenen oder vorgebbaren Editiermodi zu veranlassen.To initiate a plurality of predefined or predefinable editing modes.
7. Videokommunikationsvomchtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß Vorgabebilddaten-Speichereinrichtungen zum Speichern von Vorgabebilddaten vorgesehen sind, und daß die Bilddaten-Editiereinrichtungen zum7. Video communication device according to one of the preceding claims, characterized in that default image data storage means are provided for storing default image data, and that the image data editing means for
Editieren der aktuellen Anwenderbilddaten mittels und/oder auf der Basis der Vorgabebilddaten ausgelegt sind, um editierte Anwenderbilddaten zu schaffen.Editing of the current user image data by means of and / or on the basis of the default image data are designed to create edited user image data.
8. Videokommunikationsvomchtung nach Anspruch 7, dadurch gekennzeichnet, daß die Vorgabebilddaten-Speichereinrichtungen Hintergrundvorgabebilddaten-Speichereinrichtungen und/oder Personenvorgabebilddaten-Speichereinrichtungen enthalten, und daß die Bilddaten-Editiereinrichtungen zum Separieren der aktuellen Anwenderbilddaten zumindest in Hintergrundbilddaten und Personenbilddaten und Ersetzen der Hintergrundbilddaten und/oder Personenbilddaten ganz oder teilweise durch entsprechende Hintergrundvorgabebilddaten bzw. Personenvorgabebilddaten oder zur Erzeugung von editierten Hintergrundbilddaten und/oder Personenbilddaten auf der Basis von entspre- chenden Hintergrundvorgabebilddaten bzw. Personenvorgabebilddaten aus den entsprechenden Speichereinrichtungen ausgelegt sind.8. Video communication device according to claim 7, characterized in that the default image data storage means include background default image data storage means and / or personal default image data storage means, and that the image data editing means for separating the current user image data at least in the background image data and person image data and replacing the background image data and / or person image data in whole or in part with corresponding background specification image data or person specification image data or for generating edited background image data and / or person image data on the basis of corresponding background specification image data or person specification image data from the corresponding storage devices.
9. Videokommunikationsvomchtung nach Anspruch 8, dadurch gekennzeichnet, daß die Vorgabebilddaten-Speichereinrichtungen oder die Personenvorgabebilddaten-Speicher- einrichtungen Kö erbilddaten-Speichereinrichtungen und/oder Kopfbilddaten-Spei- chereinrichtungen enthalten, und daß die Bilddaten-Editiereinrichtungen zum Separieren der Personenbilddaten in Körperbilddaten und Kopfbilddaten und Ersetzen der Körperbilddaten und/oder Kopfbilddaten ganz oder teilweise durch entsprechende Körpervorgabebilddaten bzw. Kopfvorgabebilddaten oder zur Erzeugung von editierten Körper- bilddaten und/oder Kopfbilddaten auf der Basis von entsprechenden Körpervorgabebilddaten bzw. Kopfvorgabebilddaten aus den jeweiligen Speichereinrichtungen ausgelegt sind.9. Video communication device according to claim 8, characterized in that the default image data storage means or the personal default image data storage means contain image data storage means and / or header image data storage means, and that the image data editing means for separating the personal image data into body image data and header image data and replacing the body image data and / or header image data in whole or in part with corresponding body default image data or header default image data or for generating edited body image data and / or header image data on the basis of corresponding body default image data or header default image data from the respective storage devices.
10. Videokommunikationsvomchtung nach einem der Ansprüche 7 bis 9, dadurch gekennzeichnet, daß in den Vorgabebilddaten-Speichereinrichtungen, Hintergrundvorgabebilddaten-Speichereinrichtungen und/oder Personenvorgabebilddaten-Speicherein- richtungen bzw. ggf. Körperbilddaten-Speichereinrichtungen und/oder Kopfbilddaten- Speichereinrichtungen eine Mehrzahl von Hintergrundvorgabebilddaten und/oder Personenvorgabebilddaten bzw. ggf. Körpervorgabebilddaten und/oder Kopfvorgabebilddaten oder eine Mehrzahl von entsprechenden Sätzen oder Untersätzen oder Komponenten davon speicherbar oder gespeichert sind, die unterschiedlichen Editiermodi der Bilddaten- Editiereinrichtungen zuweisbar sind.10. Video communication device according to one of claims 7 to 9, characterized in that in the default image data storage devices, background default image data storage devices and / or personal default image data storage devices or, if applicable, body image data storage devices and / or header image data storage devices, a plurality of background default image data and / or person default image data or, if applicable, body default image data and / or header default image data or a plurality of corresponding sentences or subsets or components thereof, which can be assigned to different editing modes of the image data editing devices.
11. Videokommunikationsvomchtung nach einem der Ansprüche 7 bis 10, dadurch gekennzeichnet, daß die Bilddaten-Editiereinrichtungen ausgelegt sind, die separierten aktuellen Bilddaten getrennt voneinander und zumindest im wesentlichen zeitgleich zu editieren und zur Erzeugung von editierten Anwenderbilddaten anschließend wieder zusammenzusetzen.11. Videokommunikationsvomchtung according to any one of claims 7 to 10, characterized in that the image data editing devices are designed to edit the separated current image data separately from one another and at least substantially simultaneously and then reassemble them to produce edited user image data.
12. Videokommunikationsvomchtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß mittels der Bilddaten-Editiereinrichtungen eine kosmetische und/oder technische Bildoptimierung von Anwenderbilddaten in Abhängigkeit von einem Identifikationsergebnis oder unabhängig von einem Identifikationsergebnis und/oder ggf. vor und/oder nach einem Ersetzen der Hintergrundbilddaten und/oder Personenbilddaten bzw. ggf. Körperbilddaten und/oder Kopfbilddaten ganz oder teilweise durch entsprechende Vorgabebilddaten aus den jeweiligen Vorgabebilddaten-Speicher- einrichtungen auf der Basis von Editieralgorithmen durchführbar ist.12. Videokommunikationsvomchtung according to any one of the preceding claims, characterized in that by means of the image data editing devices, a cosmetic and / or technical image optimization of user image data depending on an identification result or independently of an identification result and / or possibly before and / or after replacing the background image data and / or person image data or possibly body image data and / or header image data in whole or in part by means of corresponding default image data from the respective default image data storage devices on the Basis of editing algorithms is feasible.
13. Videokommunikationsvomchtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die Anwenderbilddaten-Eingabeeinrichtungen zeitlich aufeinanderfolgend eine Mehrzahl von aktuellen Anwenderbildern erzeugen, die jeweils einzeln nacheinander und/oder nach vorgebbaren Regeln mittels der Bilddaten-Editiereinrichtungen editiert werden.13. Videokommunikationsvomchtung according to any one of the preceding claims, characterized in that the user image data input devices successively in time generate a plurality of current user images, which are each individually one after the other and / or edited according to predetermined rules by means of the image data editing devices.
14. Videokommunikationsvomchtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die Bilddaten-Editiereinrichtungen ausgelegt sind, das Se- parieren von Hintergrundbilddaten und/oder Personenbilddaten sowie ggf. Körperbilddaten und Kopfbilddaten und ggf. deren Ersetzung durch entsprechende Vorgabebilddaten aus den jeweiligen Vorgabebilddaten-Speichereinrichtungen für einzelne Anwenderbilder aufeinanderfolgend dynamisch auszuführen.14. Video communication device according to one of the preceding claims, characterized in that the image data editing devices are designed to separate background image data and / or person image data and, if appropriate, body image data and header image data and, if appropriate, replace them with corresponding default image data from the respective default image data storage devices to execute dynamically in succession for individual user images.
15. Videokommunikationsvomchtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die Anwenderbilddaten-Eingabeeinrichtungen wenigstens eine Kamera enthalten, und daß die Bilddaten- Ausgabeeinrichtungen wenigstens eine Schnittstelle zu einem Telekommunikationsnetz enthalten.15. Video communication device according to one of the preceding claims, characterized in that the user image data input devices contain at least one camera, and that the image data output devices contain at least one interface to a telecommunications network.
16. Videokommunikationsvomchtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß Anwendertondaten-Eingabeeinrichtungen zum Eingeben von aktuellen Anwendertondaten, Tondaten-Editiereinrichtungen zur Schaffung von editierten Anwendertondaten aus den aktuellen Anwendertondaten, und Tondaten- Ausgabeeinrichtungen zum Ausgeben von Anwendertondaten an wenigstens einen weiteren Kommunikationsteilnehmer vorgesehen sind.16. Video communication device according to one of the preceding claims, characterized in that user sound data input devices are provided for entering current user sound data, sound data editing devices for creating edited user sound data from the current user sound data, and sound data output devices for outputting user sound data to at least one further communication subscriber .
17. Videokommunikationsvomchtung nach Anspruch 16, dadurch gekennzeichnet, daß die Editierauswahlsteuerung ausgelegt ist, in Abhängigkeit vom Identifikationsergebnis der Identifikationseinrichtungen eine Ausgabe von uneditierten aktuellen oder editierten Anwendertondaten mittels der Tondaten- Ausgabeeinrichtungen zu veranlassen. 17. Videokommunikationsvomchtung according to claim 16, characterized in that the edit selection control is designed to cause an output of unedited current or edited user audio data by means of the audio data output devices depending on the identification result of the identification devices.
18. Videokommunikationsvomchtung nach Anspruch 16 oder 17, dadurch gekennzeichnet, daß Vorgabetondaten-Speichereinrichtungen zum Speichern von Vorgabetondaten vorgesehen sind, und daß die Tondaten-Editiereinrichtungen zum Editieren der aktuellen Anwendertondaten mittels und/oder auf der Basis der Vorgabetondaten ausgelegt sind, um editierte Anwendertondaten zu schaffen.18. Video communication device according to claim 16 or 17, characterized in that default audio data storage devices are provided for storing default audio data, and that the audio data editing devices are designed for editing the current user audio data by means of and / or on the basis of the default audio data in order to edit edited user audio data create.
19. Videokommunikationsvomchtung nach einem der Ansprüche 16 bis 18, dadurch gekennzeichnet, daß mittels der Tondaten-Editiereinrichtungen eine kosmetische und/oder technische Tonoptimierung von Anwendertondaten in Abhängigkeit von ei- nem Identifikationsergebnis oder unabhängig von einem Identifikationsergebnis und/oder ggf. vor und/oder nach einem Editieren der aktuellen Anwendertondaten mittels der Vorgabetondaten aus den Vorgabetondaten-Speichereinrichtungen auf der Basis von Editieralgorithmen durchführbar ist.19. Video communication device according to one of claims 16 to 18, characterized in that by means of the sound data editing devices a cosmetic and / or technical sound optimization of user sound data as a function of an identification result or independently of an identification result and / or possibly before and / or after editing the current user audio data by means of the default audio data from the default audio data storage devices on the basis of editing algorithms.
20. Videokommunikationsvomchtung nach einem der Ansprüche 16 bis 19, dadurch gekennzeichnet, daß Identifikationsergebnissen der Identifikationseinrichtungen einzeln oder gruppenweise vom Anwender vorgebbare Editiermodi der Tondaten-Editiereinrichtungen zugeordnet sind.20. Videokommunikationsvomchtung according to one of claims 16 to 19, characterized in that identification results of the identification devices are assigned individually or in groups by the user definable editing modes of the sound data editing devices.
21. Videokommunikationsvomchtung nach einem der Ansprüche 16 bis 20, dadurch gekennzeichnet, daß die Anwendertondaten-Eingabeeinrichtungen wenigstens ein Mikrofon enthalten, und daß die Tondaten-Ausgabeeinrichtungen wenigstens eine Schnittstelle zu einem Telekommunikationsnetz enthalten.21. Videokommunikationsvomchtung according to any one of claims 16 to 20, characterized in that the user sound data input devices contain at least one microphone, and that the sound data output devices contain at least one interface to a telecommunications network.
22. Videokommunikationsvomchtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die Identifikationseinrichtungen wenigstens eine Schnittstelle zu einem Telekommunikationsnetz enthalten.22. Video communication device according to one of the preceding claims, characterized in that the identification devices contain at least one interface to a telecommunications network.
23. Videokommunikationssystem, dadurch gekennzeichnet, daß wenigstens eine Video- kommunikationsvorrichtung nach einem der Ansprüche 1 bis 22 enthalten und an ein23. Video communication system, characterized in that contain at least one video communication device according to one of claims 1 to 22 and to one
Telekommunikationsnetz angeschlossen oder anschließbar ist.Telecommunications network is connected or connectable.
24. Videokommunikationsverfahren, wobei wenigsten ein Kommunikationsteilnehmer mittels Identifikationseinrichtungen identifi- ziert wird, aktuelle Anwenderbilddaten in Anwenderbilddaten-Eingabeeinrichtungen eingegeben werden. eine Editierauswahlsteuerung die aktuellen Anwenderbilddaten in Abhängigkeit vom Identifikationsergebnis der Identifikationseinrichtungen an Bilddaten-Editiereinrichtungen leitet oder nicht, die Bilddaten-Editiereinrichtungen, wenn sie die aktuellen Anwenderbilddaten erhalten haben, daraus oder dafür editierte Anwenderbilddaten erzeugt, und schließlich uneditierte aktuelle oder, falls vorhanden, editierte Anwenderbilddaten mittels Bilddaten- Ausgabeeinrichtungen ausgegeben werden.24. Video communication method, in which at least one communication subscriber is identified by means of identification devices, current user image data are entered in user image data input devices. an edit selection control passes the current user image data depending on the identification result of the identification devices to image data editing devices or not, the image data editing devices, if they have received the current user image data, generates them or user image data edited therefor, and finally unedited current or, if present, edited user image data are output by means of image data output devices.
25. Videokommunikationsverfahren nach Anspruch 24, dadurch gekennzeichnet, daß eine Videokommunikationsvomchtung nach einem der Ansprüche 2 bis 22 verwendet und/oder betrieben wird.25. Video communication method according to claim 24, characterized in that a video communication device according to one of claims 2 to 22 is used and / or operated.
26. Videokommunikationsverfahren nach Anspruch 24 oder 25, dadurch gekennzeichnet, daß Bilddaten oder Bild- und Tondaten insbesondere beim Bildfernsprechen darstel- lungsoptimiert übertragen werden, indem von einer Videoquelle und ggf. einer Audioquelle kommende Bild- bzw. ggf. Tondaten vor ihrer Übertragung zu einem Kommunikationspartner anhand von Vorgabebilddaten bzw. ggf. Vorgabetondaten entsprechend wenigstens einem vorbestimmten oder vorbestimmbaren Kriterium verändert werden, mit folgenden Schritten: vor einer Kommunikation werden a) Vorgabebilddaten erstellt und gespeichert, und werden b) Parameter, die Bilddaten betreffen, definiert, gespeichert, und den in Schritt a) gespeicherten Vorgabebilddaten zugeordnet, und während einer Kommunikation werden c) ein von Anwenderbilddaten-Eingabeeinrichtungen, insbesondere einer Videoquelle, kommende Anwenderbilddaten hinsichtlich eines oder mehrerer ausgewählter oder auswählbarer Bilddatenparameter von den in Schritt b) definierten und gespeicherten Parameter extrahiert, d) die Anwenderbilddaten von Schritt c) basierend auf dem oder den ausgewählten Bild- datenparameter(n) anhand der zugeordneten Vorgabebilddaten editiert, und e) die in Schritt d) editierten Anwenderbilddaten zu einem oder mehreren Komunikati- onspartnern übertragen.26. Video communication method according to claim 24 or 25, characterized in that image data or image and sound data, in particular in the case of video telephony, are transmitted in an optimized manner by means of image or possibly audio data coming from a video source and possibly an audio source before being transmitted to a Communication partners can be changed on the basis of default image data or, if applicable, default audio data in accordance with at least one predetermined or predeterminable criterion, with the following steps: before communication, a) default image data are created and stored, and b) parameters relating to image data are defined, stored, and the Assigned default image data stored in step a), and during communication c) user image data coming from user image data input devices, in particular a video source, with regard to one or more selected or selectable image data parameters from those defined in step b) n and stored parameters are extracted, d) the user image data from step c) are edited based on the selected image data parameter (s) on the basis of the assigned default image data, and e) the user image data edited in step d) are transmitted to one or more communication partners .
27. Videokommunikationsverfahren nach Anspruch 26, dadurch gekennzeichnet, daß die Schritte d) und e) an einem zentralen Ort ausgeführt werden, der vom Anwender entfernt ist, wobei die Anwenderbilddaten, die zugeordneten Vorgabebilddaten und der oder die Bilddatenparameter vom Ort des Anwenders zum zentralen Ort übertragen werden.27. Video communication method according to claim 26, characterized in that steps d) and e) are carried out at a central location which is remote from the user, the user image data, the associated default image data and the or the image data parameters are transmitted from the user's location to the central location.
28. Videokommunikationsverfahren nach Anspruch 26 oder 27, dadurch gekennzeichnet, daß die Schritte a) bis e) am Ort eines Anwenders ausgeführt werden.28. Video communication method according to claim 26 or 27, characterized in that steps a) to e) are carried out at the location of a user.
29. Videokommunikationsverfahren nach einem der Ansprüche 26 bis 28, dadurch gekennzeichnet, daß ein zusätzlicher Schritt f) vorgesehen ist, mit dem zuvor gespeicherte Sprachproben berechtigter Anwender mit einer gesprochenen Kennphrase eines aktu- eilen Anwenders verglichen werden und bei positivem Vergleichsergebnis eine Freigabe für eine editierte Kommunikation für diesen Anwender erfolgt.29. Video communication method according to one of claims 26 to 28, characterized in that an additional step f) is provided with which previously stored speech samples of authorized users are compared with a spoken identification phrase of a current user and, if the result of the comparison is positive, a release for an edited one Communication for this user takes place.
30. Videokommunikationsverfahren nach Anspruch 29, dadurch gekennzeichnet, daß in Schritt f) außerdem die gespeicherte Sprachprobe Vorgabebilddaten, die zu einem An- wender gehören oder als zu ihm gehörig ausgewählt wurden, zugeordnet wird, und der30. Video communication method according to claim 29, characterized in that in step f) the stored speech sample is also assigned default image data which belong to a user or have been selected as belonging to him, and the
Anwender anhand der gespeicherten Sprachprobe und der zugehörigen Vorgabebilddaten identifiziert wird.User is identified based on the saved speech sample and the associated default image data.
31. Videokommunikationsverfahren nach Anspruch 29 oder 30, dadurch gekennzeichnet, daß in Schritt f) eine Sprachanalyse der gesprochenen Kennphrase und eine Bildanalyse der von den Anwenderbilddaten-Eingabeeinrichtungen, insbesondere der Videoquelle, kommenden Anwenderbilddaten ausgeführt werden.31. Video communication method according to claim 29 or 30, characterized in that in step f) a speech analysis of the spoken passphrase and an image analysis of the user image data input devices, in particular the video source, are carried out.
32. Videokommunikationsverfahren nach Anspruch 31 , dadurch gekennzeichnet, daß bei der Bildanalyse charakteristische Gesichtszüge eines Anwenders mit zugehörigen oder ausgewählten Vorgabebilddaten verglichen werden.32. Video communication method according to claim 31, characterized in that characteristic facial features of a user are compared with associated or selected default image data in the image analysis.
33. Videokommunikationsverfahren nach einem der Ansprüche 30 bis 32, dadurch gekennzeichnet, daß der Anwender vor Ausführung des Schrittes c) als berechtigt identi- fiziert wird, gespeicherte Vorgabebilddaten zur audiovisuellen Kommunikation zu verwenden.33. Video communication method according to one of claims 30 to 32, characterized in that the user is identified before execution of step c) as authorized to use stored default image data for audiovisual communication.
34. Videokommunikationsverfahren nach einem der Ansprüche 24 bis 33, dadurch gekennzeichnet, daß die zu verarbeitenden oder zu editierenden und analysierten Anwenderbilddaten, die Vorgabebilddaten sowie die editierten Anwenderbilddaten Bewegtbilder, zweidimensionale und dreidimensionale Bildinformationen enthalten. 34. Video communication method according to one of claims 24 to 33, characterized in that the user image data to be processed or edited and analyzed, the default image data and the edited user image data contain moving images, two-dimensional and three-dimensional image information.
35. Videokommunikationsverfahren nach einem der Ansprüche 24 bis 34, dadurch gekennzeichnet, daß die zu übertragenden Anwenderbilddaten vor der Übertragung dem Anwender angezeigt werden.35. Video communication method according to one of claims 24 to 34, characterized in that the user image data to be transmitted are displayed to the user before the transmission.
36. Videokommunikationsverfahren nach Anspruch 35, dadurch gekennzeichnet, daß die Anzeige eine interaktive Benutzeroberfläche aufweist, die auch die auswählbaren und/oder ausgewählten Vorgabebilddaten sowie die auswählbaren oder ausgewählten Bilddatenparameter anzeigt.36. Video communication method according to claim 35, characterized in that the display has an interactive user interface which also shows the selectable and / or selected default image data and the selectable or selected image data parameters.
37. Videokommunikationsvomchtung zur darstellungsoptimierten Übertragung von Video- und/oder Audiodaten nach einem der Ansprüche 1 bis 22 sowie insbesondere zur Durchführung des Videokommunikationsverfahrens nach einem der Ansprüche 24 bis 26, dadurch gekennzeichnet, daß die Vorrichtung enthält:37. Video communication device for the display-optimized transmission of video and / or audio data according to one of claims 1 to 22 and in particular for carrying out the video communication method according to one of claims 24 to 26, characterized in that the device contains:
- Videoein- und -ausgabemittel (11, 12), - Audioein- und -ausgabemittel (13),- video input and output means (11, 12), - audio input and output means (13),
- Sende- und Empfangsmittel (14, 15),- Sending and receiving means (14, 15),
- eine Schnittstelle (16) zu wenigstens einem Übertragungskanal,- an interface (16) to at least one transmission channel,
- eine Eingabevorrichtung (18) zur Eingabe von Steuer- und Befehlssignalen,an input device (18) for inputting control and command signals,
- Speichereinrichtungen (20) zur Speicherung von Anwender- und Systemprogrammen sowie von Vorgabebilddaten und Vorgabetondaten, wobei die vorgenannten Mittel, Einrichtungen und Komponenten mit einer Prozessoreinheit (10) in fünktioneller Verbindung stehen, die dazu eingerichtet ist, die Verfahrensschritte in Interaktion mit den genannten Mitteln und Komponenten auszuführen.- Storage devices (20) for storing user and system programs as well as default image data and default sound data, the aforementioned means, devices and components being functionally connected to a processor unit (10) which is set up to interact with the method steps in said means and components.
38. Videokommunikationsvomchtung nach Anspruch 37, dadurch gekennzeichnet, daß sie weiterhin eine mit der Prozessoreinheit (10) in Verbindung stehende Schnittstelle (17) aufweist zur Verbindung mit einer übergeordneten Verwaltungseinheit und/oder einem übergeordneten Speichermedium, insbesondere mit einem "Personalcomputer".38. Videokommunikationsvomchtung according to claim 37, characterized in that it further has a with the processor unit (10) in connection interface (17) for connection to a higher-level management unit and / or a higher-level storage medium, in particular with a "personal computer".
39. Verwendung der Videokommunikationsvomchtung nach einem der Ansprüche 1 bis 22, des Videokommunikationssystems nach Anspruch 23 und des Videokommunikations- verfahrens nach einem der Ansprüche 24 bis 36 zur insbesondere darstellungsoptimierten Übertragung von Video- und/oder Audiodaten beim Bildfernsprechen, bei Videokonferenzen oder über Computernetze. 39. Use of the video communication device according to one of claims 1 to 22, the video communication system according to claim 23 and the video communication method according to one of claims 24 to 36 for in particular display-optimized transmission of video and / or audio data in telephony, in video conferences or via computer networks.
PCT/DE2000/000442 1999-02-16 2000-02-16 Video communications device, system and method WO2000049806A1 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
IL14487800A IL144878A0 (en) 1999-02-16 2000-02-16 Video communications device, system and method
AU36547/00A AU3654700A (en) 1999-02-16 2000-02-16 Video communications device, system and method
JP2000600429A JP2002537734A (en) 1999-02-16 2000-02-16 Apparatus, system and method for video communication
EP00915108A EP1192807A1 (en) 1999-02-16 2000-02-16 Video communications device, system and method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
DE19906472 1999-02-16
DE19906472.5 1999-02-16
DE19948546.1 1999-10-08
DE19948546A DE19948546A1 (en) 1999-02-16 1999-10-08 Method for optimizing transmission of video and/or audio data for video telephone by editing selected image based on selected image data parameter(s) assigned by reference image information

Publications (1)

Publication Number Publication Date
WO2000049806A1 true WO2000049806A1 (en) 2000-08-24

Family

ID=26051891

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2000/000442 WO2000049806A1 (en) 1999-02-16 2000-02-16 Video communications device, system and method

Country Status (5)

Country Link
EP (1) EP1192807A1 (en)
JP (1) JP2002537734A (en)
AU (1) AU3654700A (en)
IL (1) IL144878A0 (en)
WO (1) WO2000049806A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8174555B2 (en) * 2007-05-30 2012-05-08 Eastman Kodak Company Portable video communication system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04100495A (en) * 1990-08-20 1992-04-02 Mitsubishi Electric Corp Still-picture video telephone system
US5347306A (en) * 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
FR2726670A1 (en) * 1994-11-09 1996-05-10 Fast France Adv Sys Tech Sarl Data processing system for television in digital or analog network
WO1997049244A1 (en) * 1996-06-21 1997-12-24 Bell Communications Research, Inc. System and method for associating multimedia objects
US5710591A (en) * 1995-06-27 1998-01-20 At&T Method and apparatus for recording and indexing an audio and multimedia conference

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04100495A (en) * 1990-08-20 1992-04-02 Mitsubishi Electric Corp Still-picture video telephone system
US5347306A (en) * 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
FR2726670A1 (en) * 1994-11-09 1996-05-10 Fast France Adv Sys Tech Sarl Data processing system for television in digital or analog network
US5710591A (en) * 1995-06-27 1998-01-20 At&T Method and apparatus for recording and indexing an audio and multimedia conference
WO1997049244A1 (en) * 1996-06-21 1997-12-24 Bell Communications Research, Inc. System and method for associating multimedia objects

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PATENT ABSTRACTS OF JAPAN vol. 016, no. 336 (E - 1237) 21 July 1992 (1992-07-21) *

Also Published As

Publication number Publication date
JP2002537734A (en) 2002-11-05
IL144878A0 (en) 2002-06-30
EP1192807A1 (en) 2002-04-03
AU3654700A (en) 2000-09-04

Similar Documents

Publication Publication Date Title
DE602005002156T2 (en) Command-driven system for broadcasting group short messages (SMS) with mobile message receiver and communication server
DE60124985T2 (en) speech synthesis
DE112010005264T5 (en) GUI for multiple users
EP0814611A2 (en) Communication system and method for recording and managing digital images
DE19644210A1 (en) Automatic display method for incoming telephone calls
EP1547353B1 (en) Method for providing absence information
WO2013056721A1 (en) Method and apparatus for providing data produced in a conference
EP2930926A1 (en) Method, software product and device for managing a conference
DE69912456T2 (en) Method and device for controlling a telecommunication conference
DE102008062300B3 (en) Method for intelligent composing of multimedia message for mobile radio system, involves receiving digital voice message from digital answering machine service
EP1418758A1 (en) Method and apparatus for exchanging information and computer program thereof and corresponding computer-readable storage medium
EP1560140A1 (en) Method and system for electronic interaction in a network
WO2000049806A1 (en) Video communications device, system and method
DE19948546A1 (en) Method for optimizing transmission of video and/or audio data for video telephone by editing selected image based on selected image data parameter(s) assigned by reference image information
DE102007010662A1 (en) Method for gesture-based real time control of virtual body model in video communication environment, involves recording video sequence of person in end device
DE602004004824T2 (en) Automatic treatment of conversation groups
DE202008003015U1 (en) Mobile telecommunication device for transmitting and translating information
EP1252766A1 (en) Telecommunications installation
DE102021130955A1 (en) Computer-implemented video conference procedure
EP3859581A1 (en) Computer-implemented authorization method
DE102005062332B4 (en) Handling unsolicited content on a telecommunications terminal
DE10056762B4 (en) Method for creating electronic messages
WO2002078351A1 (en) Method and device for transmitting video and/or audio data
EP3261320B1 (en) System and method for communication with the involvement of a digital aura of a user
WO2005034538A2 (en) Method for setting up a communication link

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AL AM AT AU AZ BA BB BG BR BY CA CH CN CR CU CZ DK DM EE ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX NO NZ PL PT RO RU SD SE SG SI SK SL TJ TM TR TT TZ UA UG US UZ VN YU ZA ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GH GM KE LS MW SD SL SZ TZ UG ZW AM AZ BY KG KZ MD RU TJ TM AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE BF BJ CF CG CI CM GA GN GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
WWE Wipo information: entry into national phase

Ref document number: 144878

Country of ref document: IL

ENP Entry into the national phase

Ref country code: JP

Ref document number: 2000 600429

Kind code of ref document: A

Format of ref document f/p: F

WWE Wipo information: entry into national phase

Ref document number: 2000915108

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 2000915108

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 09913615

Country of ref document: US

WWW Wipo information: withdrawn in national office

Ref document number: 2000915108

Country of ref document: EP