EP1714465A1 - Verfahren und system zur telekommunikation mit virtuellen stellvertretern - Google Patents

Verfahren und system zur telekommunikation mit virtuellen stellvertretern

Info

Publication number
EP1714465A1
EP1714465A1 EP05701278A EP05701278A EP1714465A1 EP 1714465 A1 EP1714465 A1 EP 1714465A1 EP 05701278 A EP05701278 A EP 05701278A EP 05701278 A EP05701278 A EP 05701278A EP 1714465 A1 EP1714465 A1 EP 1714465A1
Authority
EP
European Patent Office
Prior art keywords
user
animation
interaction
users
representative
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP05701278A
Other languages
English (en)
French (fr)
Inventor
Christian REISSMÜLLER
Frank SCHÜLER
Markus Knaup
Pierre-Alain c/o WEB.DE AG COTTE
Michael c/o WEB.DE AG GREVE
Matthias c/o WEB.DE AG GREVE
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Combots Product GmbH and Co KG
Original Assignee
Combots Product GmbH and Co KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP04002154A external-priority patent/EP1560402A1/de
Priority claimed from DE102004033164A external-priority patent/DE102004033164A1/de
Priority claimed from DE102004061884A external-priority patent/DE102004061884B4/de
Application filed by Combots Product GmbH and Co KG filed Critical Combots Product GmbH and Co KG
Priority to EP05701278A priority Critical patent/EP1714465A1/de
Publication of EP1714465A1 publication Critical patent/EP1714465A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486Drag-and-drop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/75Indicating network or usage conditions on the user display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/16Arrangements for providing special services to substations
    • H04L12/18Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1822Conducting the conference, e.g. admission, detection, selection or grouping of participants, correlating users to one or more conference sessions, prioritising transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10Multimedia information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/131Protocols for games, networked simulations or virtual reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72427User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting games or graphical animations

Definitions

  • the invention relates to a method and a system by means of which at least two users can communicate with one another via corresponding terminals. Communication is enhanced and supported through the use of virtual proxies.
  • IM instant messaging
  • multiple users can use a client program to write written messages in real time exchange or "chat”.
  • chat the text entered by a user is transmitted in real time to the other participating users.
  • These can in turn respond by text input to transmitted text messages.
  • Emoticons are a face or “smiley” emulating strings that are used in written electronic communication to mood and emotional states express.
  • the means of expression in the context of instant messaging can be slightly expanded, it still lacks the opportunity to a chat partner in particular emotions and moods in many layers, clear, responsive and multimedia-wise way.
  • the method and the system according to the invention should enable a particularly direct, versatile and varied communication of moods, emotions and emotional states.
  • the present invention proposes a method for telecommunications between at least two users via a telecommunications network, wherein the first user via a first terminal and the second user is connected via a second terminal to the telecommunications network, and wherein each user associated virtual deputy, with the following steps: - representation of the two representatives on the first terminal and the second terminal;
  • the communication between the two users is substantially expanded and improved through the use of virtual proxies.
  • the users are now no longer bound exclusively to the exchange of information to the written form, but can by an animation of their respective deputy the communication partners directly visually and acoustically play information.
  • the virtual proxy not only represents the respective user, but also includes communication functions, in particular the functions described below for a non-verbal communication.
  • each representative is to be understood not only as a graphic element, but also as a program element or object for a user program that runs on the terminal of each user for the purpose of communication with the other user.
  • the substitutes are therefore also small communication control programs.
  • the deputies are therefore also referred to below as "Communications Robots", in short "ComBots”.
  • Telecommunication in the context of the invention means the communication between the two users over a certain distance, in a very comprehensive understanding. This means that all types of communication are covered by any communication network. For example, this is done via a telecommunications network, which may be exemplified by a telephone network, a wireless network, a computer network, a satellite network or a combination of these networks. Preferably comprises the network according to the invention the Internet or the World Wide Web.
  • Both the first user and the second user communicate with each other via so-called terminals.
  • These terminals are used for telecommunications and allow the visual, audible and / or written exchange of information between users.
  • These terminals may be phones, cell phones, PDAs, calculators or the like. Users can also communicate with each other via different devices.
  • the terminals are Internet-capable computers or even computers.
  • a "user” is seen as a natural person or as a human individual.
  • a virtual deputy (ComBot) is assigned to each user in the telecommunication taking place.
  • This virtual proxy can also be referred to as a doppelganger or avatar.
  • It is a graphic placeholder representing the respective user.
  • a user can have a familiar comic character as a virtual deputy, such as Donald Duck or Bart Simpson. The user is shown his graphic figure representing him during communication on his terminal. At the same time, the user also sees another graphic object, which stands for his communication partner.
  • a communication partner can thus be informed in a novel manner of information, such as, for example, an utterance of feeling, by animating the virtual representative of the communicating party accordingly. Additionally or alternatively, an interaction between the two representatives can be represented.
  • the fact that a substitute is animated means that his graphical representation changes visually and / or acoustically over time.
  • a substitute is thus not just a static image or symbol, but dynamic and can perform a variety of actions.
  • a deputy for example, to wave the sign of greeting.
  • the animation and / or interaction of the proxies takes place in response to a user command, in particular in response to a drag-and-drop command of the user
  • the user can control his deputy individually to illustrate by the control of the deputy, for example, his current mood his communication partner.
  • the control is carried out by a corresponding operation of the respective terminal, preferably a
  • the terminal has a graphical user interface (desktop) with a mouse-like control
  • the user can trigger in a particularly simple manner by dragging and dropping an animation or interaction of his deputy.
  • the user moves his mouse pointer to a graphic representation of the animation which his deputy is to perform and "draws" this image to the graphical representation of his deputy.
  • This can also serve a predefined area of the desktop or window or window area generated by the user program.
  • an animation of the second user's representative can take place and vice versa. With this function, the described interaction between the substitutes becomes possible in a simple manner.
  • This function is particularly useful when the one user wants his deputy to perform an action that is to have an effect on the deputy of the other user.
  • the first user for example, instruct his deputy to throw an object after the deputy of the other user.
  • a corresponding "reaction" of the cast representative takes place in the form of a corresponding animation.
  • a control command of the first user is an animation of the deputy of
  • the first user may achieve such animation of the second user's representative by dragging and dropping onto the second user's representative.
  • the animation and / or interaction taking place in response to a user command is displayed simultaneously, in parallel and in real time on both terminals of the two users. This means that both users can, so to speak live, follow the behavior of the substitutes in response to the commands entered on their respective terminal.
  • the control commands entered by the users for the animation of the deputies can be processed differently.
  • a newly entered user command can lead to a direct termination of a running animation or interaction; in connection to The demolition is then immediately the desired by the user new animation.
  • the ongoing animation or interaction may first be completed so that the desired animation occurs immediately after the completed animation.
  • the desired animations or interactions can be enqueued into animations or interactions to be carried out in a waiting list.
  • the animations specified by the users are then processed according to the waiting list one after the other.
  • the termination of a first animation or interaction triggered by the first user and a replacement of the first animation or interaction by a second animation or interaction triggered by the second user and vice versa can also take place.
  • the first user triggers an interaction with which his deputy shoots an arrow on the second user's proxy
  • the second user could interrupt that interaction by instructing his deputy to fend off the arrow with a shield.
  • This second interaction could interrupt the first user by triggering another interaction and so on.
  • a veritable interactive action and reaction game between the two users can develop using the substitutes.
  • the course of the interaction can be dependent on predefinable parameters which the users specify and / or which are stored in the system in user profiles assigned to the users.
  • the parameters may e.g. Information about the person of the respective user, such as his nationality, his place of residence or current place of residence, his
  • the respective user profile can be managed by the system and brought up to date, so that the suitable interactions are automatically used for the representative (ComBot) of the respective user or at least the user is offered a suitable selection, eg one Number of favorite interactions (favorites). So the system has a feature that automatically changes and adjusts the interactions based on the parameters. This auto function can be switched on and off at any time by the user.
  • a further recognition of a voice or text input made by a user into his terminal can be carried out to further expand the communication depth between the users.
  • the recognized voice or text input is then analyzed so that its meaning is captured.
  • a video recognition for example by means of a video camera
  • a video recognition of the facial expression of a user and their analysis and interpretation can take place. So can preferably the
  • Facial expressions of a user are recorded and evaluated on the basis of certain emotional expressions. Subsequent to the analysis and interpretation, the user may be provided with several suitable animation or interaction possibilities in accordance with the meaning of his speech or text input or his facial expression. So if the user is e.g. written, verbal or by his facial expression indicates that he is pleased, the user can to the appropriate animation of his
  • Representative suitable joy expressing animations (the animation “smile” or “laugh” or “hopping” etc ..)
  • a suggestion function can also directly and automatically an animation of a substitute and / or an interaction between the representatives in accordance with the meaning of the voice or text input or facial expressions done.
  • the meaning of a voice or text message or facial expressions can be automatically determined and as a result automatically the behavior of the corresponding representative to the meaning of the voice or text message or facial expressions are adjusted.
  • a user's voice or text message or mimic is "I'm feeling sad”
  • the user's proxy can automatically take on a sad expression, or the user can first verify it before the proxy mimics the recognized meaning Automatic recognition of the meaning of a text message can also be called "parsing".
  • the search is for keywords and terms in the text, to which then appropriate
  • Animations and if necessary Interactions are offered to the user and / or automatically used by the system in the communication.
  • Such a "parsing" feature may also be applied to non-textual messages, particularly to voice messages, and the analysis of message content may also use information about the user queried from the user profile stored in the system be stored on the writing and speaking habits of each user, which are then taken into account in the implementation in animations and interactions.
  • the tabular overview applies to terminals that provide the user with a graphical user interface.
  • the user can select an action to be performed by a deputy based on the graphically displayed table, which contains the available control commands in the form of small graphical symbols ("icons" or "thumbnails").
  • the overview table can also be called a grid, matrix or grid.
  • the tabular overview has a fixed number of classes, under which the animation and interaction possibilities are summarized and retrievable.
  • the tabular overview can consist of a two-by-three matrix, each of the six fields of the matrix standing for one of the six classes finally determined.
  • the animations for the areas "Mood”, “Love”, “Topics”, “Commentary”, “Aggression” and “Events” are particularly preferably grouped together under the six classes.
  • the users are provided with a drawing function for enabling a real-time transmission of a drawing of a user on his terminal to the other user on his terminal, there is still another type of communication for the users.
  • a user can create a drawing on his graphic user interface with a drawing tool. The creation of the drawing can then follow the other users and communication partners in real time on his device. In this way, information can also be transmitted that is difficult to describe in writing or via the deputy.
  • This mood display can be realized in the form of a mood bar and / or in the form of a more or less smiling face ("smiley"), so that each user can see directly what the mood of the own and the foreign representative looks like right now Deputies and as a result of their exchange, the respective mood display can vary.
  • the behavior of the deputy is particularly varied and lifelike.
  • the deputy of the first user automatically start to jump for joy, if the mood display has exceeded a certain limit.
  • the mood display can be presented in a variety of forms, e.g. also in the form of a "fever thermometer” or a "fever curve”. Also by a color or other transformation of the representative (ComBot) the current mood or mood of the user can be displayed. It is particularly advantageous if the communication depth is also made dependent on the current mood. For this purpose, the system evaluates the current mood display and accordingly alters the animations and / or interactions relating to the representative (ComBot) of this user.
  • the presentation of the two representatives on the first terminal mirror image or mirrored to the representation of the two representatives on the second terminal.
  • the animation of the at least one representative and / or the interaction between the representatives takes place as a function of predefinable criteria, in particular of criteria that is stored in a user profile assigned to at least one of the two users.
  • At least one of the two users may be provided with a selection of animations and / or interactions to be transmitted. This can also be done in accordance with predefinable criteria, in particular of criteria that are stored in a user profile that is assigned to at least one of the two users. At least this user is proposed a selection of animations and / or interactions to be transmitted.
  • information can be provided on at least one of the two users, in particular information on gender, age, nationality, mother tongue, speech habits or patterns, residence, interests and / or hobbies.
  • the animation of the at least one representative and / or the interaction between the representatives takes place in response to a user's drag-and-drop command, with the drag-and-drop command referring to the user's own representative or to the other's representative User, and where the animation or interaction occurs depending on which of the two proxies the drag-and-drop command refers to.
  • this can be done in dependence on predefinable criteria, in particular of criteria that are stored in a user profile that is assigned to at least one of the two users.
  • the specifiable criteria include information about at least one of the two users, in particular information on gender, age, nationality, mother tongue, speech habits or patterns, residence, interests and / or hobbies.
  • the animation of the at least one deputy and / or the interaction between the deputies may be dependent on the mood display, which for at least one of the two users is his current emotional one
  • the automatic response of a representative in response to a received emotion depends on the current basic mood of the receiving representative. So, for example, if the mood of a proxy is a good-humored and that deputy receives an aggressive emotion, the proxy's automatic reaction could be a simple shake of the head. But if the mood of the progenitor receiving the aggression is negative, he might automatically bale and s worn his fist instead of shaking his head.
  • the mood display which displays for at least one of the two users its current emotional mood, depending on the transmitted emotion and / or interaction can be changed.
  • the selection of the animations and / or interactions to be transmitted as a function of the mood display provided to at least one of the two users can be provided which indicates for at least one of the two users its current emotional mood. It is advantageous if the selection of animations and / or interactions to be transmitted is provided in the form of groupings and / or classes. In this context, the composition of the classes and / or the selection of animations and / or interactions can be done automatically and pseudo-randomly controlled.
  • the present invention also includes a system for carrying out the method according to the invention just described.
  • FIG. 1 shows an overall view of a user interface of a user for carrying out the method according to the invention
  • Figures 2a to 2c show alternative embodiments of user interfaces according to the invention
  • FIGS. 3a to 3f show a further alternative embodiment of a user interface according to the invention
  • FIGS. 4a and 4b show, by way of example, an interaction between two virtual proxies
  • Figs. 5a and 5b show two embodiments of the tables according to the invention for selecting a control command
  • FIG. 6 shows different control options that are available to the user on the basis of the tables according to FIGS. 4a and 4b;
  • FIG. 7 shows the text recognition and interpretation (parsing) according to the invention
  • Figures 8a to 8d show various processing possibilities of the control commands issued by the users
  • FIG. 9 shows the mirror-inverted view of both users
  • FIG. Figs. 10 to 28 exemplify the flow of communication between two users using the method and system of the present invention
  • FIG. 29 shows an example of a complex communication with text-based elements and with elements configured according to the invention.
  • Fig. 1 is the interface that Franz uses to communicate with Manuela.
  • Fig. 1 again shows what Franz sees in his communication with Manuela on his screen.
  • Manuela has on the screen of her computer via a similar surface to the user interface 1.
  • the user interface 1 is realized as a separate window with three main sections 2, 3 and 4.
  • Section 2 can be called an animation section.
  • the virtual proxies are 5 and 6 from Franz and Manuela presented.
  • Section 3 is the text and control section. Here are the text messages exchanged between Franz and Manuela.
  • Section 3 also houses the control panels for communication control.
  • section 4 is the menu bar.
  • the two virtual proxies 5 and 6 (ComBots) of both users can be recognized.
  • the virtual deputy 5 of Franz is a car while the virtual deputy 6 of Manuela is a doll.
  • the deputy 5 of Franz is currently undergoing an animation phase and sends to the
  • small windows 10a and 10b are arranged. These windows indicate which actions are currently being performed by the respective user. If e.g. In the window 10b a pen appears, then Franz knows that Manuela just uses the character function described in detail later.
  • the text and control section 3 is divided into a message area 11, a control bar 12 and a design area 13.
  • a message area 11 In the news area 11 are already exchanged between Franz and Manuela
  • the control bar 12 has a plurality of buttons 15. With these buttons 15 different animations of the representatives 5 and 6 can be triggered. Thus, by pulling the heart symbol on Franz Auto and dropping, the "heart animation" indicated in Fig. 1 can be triggered By pulling the boxing glove on Manuela's doll, Deputy 5 can be induced by Franz to punch the doll with a punch.
  • the button 17 allows the opening and closing (show and hide) of the animation section. 2
  • Reference 19 is highlighted.
  • the already exchanged emotions are displayed symbolically in the context of section 11, ie the emotions belonging to the history of this still ongoing communication are displayed.
  • an emotion provided with the reference numeral 19H and displayed as a "boxing glove” is displayed, namely a rather aggressive emotion that "Franz” had previously sent to "Manuela.”
  • By clicking on the symbol 19H of this historical emotion it can immediately be repeated spontaneously become.
  • FIG. 2a shows an alternative embodiment of the invention
  • Animationsabiteses 20.1 In contrast to Fig. 1 here section 2 has in addition moods 20.1 and 20.2.
  • the mood display 20.1 is a stylized face (a "smiley face"), which expresses by his facial expression the current mood of the associated deputy and thus the corresponding user.As you can see, the mood of "Franz” is better than that of "Vroni "because the laughter of the mood display 20.1a (smiley) in” Franz “is wider than the smiley face 20.1b in” Vroni. "The mood display may alternatively or additionally be implemented in the form of mood bars 20.2a and 20.2b the length of the beam indicates the goodness of the mood.
  • FIGS. 2b and 2c show, in comparison to FIG. 1, two further variants of the representation of the interaction between two virtual substitutes. Shown is the desktop of the user "Franz".
  • Substitute 21 and 22 then takes place in the opened thought bubble 24.
  • a user can also address a communication to several communication partners at the same time. If, for example, the user wants to simultaneously transmit the same animation to two users, he can combine the two corresponding representatives into one group. The user can then send the desired animation to the group of two communication partners in a single process by means of a single "drag and drop.” With this "intelligent" formation of representative groups, a wide variety of groups can be generated, such as temporary or permanent groups. Several individual substitutes can also be combined into a single group representative.
  • the group proxy (“GroupComBot”) is a single proxy, with the help of which the user can immediately connect with a whole group of communication partners.
  • the system provides the following note or note function: If the recipient "Franz” does not respond to this emotion by reacting to it manually or if the system does not initiate an automatic response, a note 21Z to the ComBot 21 from Vroni is still displayed For example, this hint 21Z is the current number of unanswered emotions, so if the potential recipient "Franz” is not present for incoming emotions, he can immediately see if and how many emotions he has during his or her life
  • the determination of whether the potential recipient has perceived or missed the emotion is done by the system based on monitoring the activities of the receiver. For example, if there are no mouse or keystrokes by the recipient on the receiver side during the presentation of the emotion and at least five seconds thereafter, the system assumes that the receiver missed the animation.
  • activity detection may be via a video camera connected to the recipient's computer. The system uses the camera to check if the receiver is present. The video camera can also be used by the receiver as input means. The receiver may then, for example, by hand gestures, which are detected by the camera, commands to his computer, for. to control his ComBot or to respond to a received emotion.
  • the camera can even perform a body language recognition of the user, preferably in the form of real-time monitoring.
  • the camera continuously records the behavior of the user.
  • recognition or interpretation software the system can interpret the user's behavior and animate the virtual proxy in real time in accordance with user behavior. It can be thanks to the camera recording For example, it can be stated that the user has just taken a stance that suggests that he is sad.
  • the ComBot of the user will then automatically express simultaneously the sadness of the user. With the camera recognition the ComBot imitates, so to speak, any behavior of the user.
  • the video camera captures the mood or the attitude or the gesture of the user. The detected mood is then automatically transferred by the system to the ComBot.
  • the movement is recorded by the camera, then interpreted by the system, and finally the user's ComBot is forced to replay the user's movement: the ComBot, like the user, clenches his fist.
  • an indication 21Z is displayed at the corresponding ComBot.
  • an entry about the missed emotion is made in a dedicated logbook (so-called "history") .
  • the receiver can trigger or play back the missed animation via the logbook and / or the hint 21Z, so the system becomes a kind of recorder - or memory function for missed animations provided.
  • a speech bubble is displayed on a received emotion, but a thought bubble on an outgoing emotion.
  • the different presentation But it can also refer to whether an emotion is already transmitted or not. If a user merely wants to prepare the transmission of an emotion (edit mode and / or preview mode), a thought bubble appears on his desktop. At first, nothing appears yet on the desktop of the communication partner. However, as soon as the emotion is transmitted (interaction mode) a speech bubble appears on both desktops.
  • FIG. 2c Another variant is shown in FIG. 2c:
  • the two virtual proxies 21 and 22 are stored on the respective desktop 23.
  • the animation is carried out by combining the two representatives in an overall representation, a so-called "arena", which preferably has the shape of a tube or cylinder 25.
  • FIGS. 3a to 3f illustrate a further variant of the operation and interaction of the virtual substitutes.
  • Fig. 3a shows the desktop, i. the screen surface of a user named Bob.
  • Bob has placed a proxy 59 in snowman form on his desktop.
  • the deputy 59 is assigned to Bob's acquaintance Alice. Over the representative 59 Bob can communicate with Alice.
  • the animation chosen by Bob manifests itself on Alice's desktop in such a way that the one deposited there
  • FIGS. 4a and 4b show a typical example
  • Figures 5a and 5b illustrate two embodiments 28a and 28b of the command table, which may be invoked by pressing the button 16 (see Figure 1).
  • substantially all actions that can be performed by means of a virtual proxy are represented in an overall grid 29.
  • Each available animation is represented by a corresponding square icon in the table 28a.
  • the icons may each be arranged according to common groupings (for example, for "love", "friendship”, etc.).
  • the overall grid 29 is divided into two sections 30a and 30b.
  • In the first section 30a are the basic animations ("Basic Emotions"), which are freely available to each user, such as laughter, crying, etc.
  • Basic Emotions Basic Emotions
  • Gold Emotions special animations
  • These special abilities of the deputies can be acquired by a user, for example by buying, bartering or trading with other users.
  • an icon is not only directly for an emotion or animation, but representative of a whole group of animations.
  • the heart icon 32 stands for the group of "love animations.”
  • another sub-table 31 is opened, from which the user can then select the desired love animation for his deputy that is, several variants of a basic representation of an emotion, such as the heart representation described here.
  • Those animations which can not be assigned to a grouping are shown in a separate column 33.
  • Fig. 5b another type of distribution of emotions is shown, with summary table 28b limited to six fields. Each of these fields represents a whole class of animations.
  • the respective class eg class 34 "Mood”
  • Mood is faded in by pressing the corresponding field in the table 28b, within which the desired animation can be selected, for example, another class includes all kinds of aggressive emotions and is displayed in the output table 28b symbolized by a bomb
  • a mouse click on this symbol opens the subtable, in which different emotions are available.
  • the emotions summarized within a class differ not only in terms of their presentation, but in principle. This means that different emotions can be assigned to a class. Common to them is the same meaning, content statement or mood.
  • the class of aggressive emotions described herein includes e.g. a bombing animation, a flash animation or a shooting animation.
  • FIG. 6 illustrates how the desired animation is selected and triggered by a user based on a table 28.
  • the three variants are indicated by corresponding arrows.
  • Variant A the user moves the selected icon to the appropriate proxy and drops it there.
  • the so-called representative then immediately performs the desired animation.
  • FIG. 6 is a storm cloud selected and dragged on the foreign representative 6.
  • a storm cloud is sent by the user's own deputy 5 to the foreign deputy 6 and drench him.
  • the icon is dragged into the message area 11 and dropped there. As a result, the selected icon appears in the message area of the respective communication partner.
  • Communication partner can then trigger the animation transmitted by the counterpart by clicking on the icon.
  • the icon is just clicked by the user.
  • the icon is integrated into the design area 13 at the current cursor position.
  • a suitable text can be automatically offered to the user. So if the user is e.g. If you click on the icon "birthday cake”, you can see the text "happy birthday! in the design area 13 above the "birthday cake”.
  • the send button 14 By pressing the send button 14, the written text message is sent with the integrated icon to the communication partner.
  • a small face 41 which is also referred to as an "emoticon" can be recognized in the message area 11.
  • Such faces which express a certain mood, can be entered in the message text as shown Just enter the string of the emoticons you want in a text message in the design area 13, for example :-) This string is then automatically converted to the corresponding face, here ⁇ If the send button 14 is pressed, the text and the emoticon become the communication partner transmitted. From the selection of emotions displayed in Table 28, each individual emotion can also be activated immediately by double-clicking.
  • Fig. 7 The automatic text recognition and interpretation ("parsing") is illustrated in Fig. 7. If a user enters a text 35 into his design area 13, the meaning of the text is automatically determined and the user is then presented with the determined terms, here in the form of a speech bubble 36. At the same time, the user will receive two in the
  • FIGS. 8a to 8d illustrate various alternatives for processing the animation commands issued by the users.
  • an animation 38a of the proxy is immediately interrupted and replaced by a new animation 38b when the user directs a command to execute the new animation 38b to his deputy.
  • this processing of the control commands is a direct and delay-free implementation, so that the behavior of the deputy acts quickly and dynamically.
  • the animation 38a is first completed before the new animation 38b takes place.
  • the originally scheduled subsequent animation 38c is suppressed.
  • all animations triggered by the users are processed linearly one after the other. There is no suppression of animations.
  • the requested animations are thus arranged according to their chronological order in a so-called "playlist" and performed one after the other.
  • FIG. 8d illustrates how a multiple interaction between two proxies can be processed and played back.
  • a first user lets his deputy perform an action 38a. This is then interrupted by a replica of the representative of the second user 39a, which in turn is performed instead until the representative of the first user again responds by the action 38b.
  • FIG. 9 shows the mirror-inverted animation sections 2a and 2b of a first and a second user in relation to each other.
  • the first user and the second user use in the described manner their respective animation section 2a and 2b, respectively, to exchange emotions with each other via their deputies.
  • the exchange is via the network 40 (e.g., the Internet).
  • Both the first user (“my PC") and the second user (“your PC”) have their own deputy on the left side and the foreign deputy on the right, so that the result is a mirror image.
  • both users see the same process in their respective animation sections at the same time. So, one could say that both users see "everything,” that is, the totality of all the processes that take place.
  • Figures 10 to 28 show an example of a communication that could take place between Franz and Manuela.
  • Figures 10 to 28 respectively depict snapshots ("screenshots") of the user interface 1 of Franz, whereby figure 10 shows the beginning of the communication and figure 28 the end.
  • FIG. 13 Franz has addressed a first text message to Manuela, to which Manuela also immediately answers (see Fig. 14). While Manuela enters her text, Franz appears in the window 10b a hand indicating that Manuela is currently performing an action. Following her text input, Manuela draws a "sad face" with the already described drawing function. 19. On the basis of the pencil shown in the window 10b Franz can see that Manuela is drawing (see Fig. 15).
  • a communication area 51 (Communications Area), comprising a news section, where actual communication takes place in real time or near real time, and there is a preparatory Section 53 with a design section in which the user can prepare his intended contributions (text, graphics, emotions, etc.) before sending them to the other user by pressing the Send button.
  • a slider 52 is also provided with control bars, which separates the areas 51 and 53 from each other and the control elements for text input, for drawing, etc. provides. So far corresponds to the structure of this surface
  • FIG. 29 an overview area 55 with history is now also provided, in which all previous communications are listed.
  • the listing can be chronological, thematic or user-related.
  • the layout shown in FIG. 29 also has a navigation area 56, which serves to navigate within a single (still ongoing or already completed) communication.
  • This is u.a. a movable window with a cutout 51, which detects a partial area in the navigation area, this partial area then being enlarged in the area 51. So this is an enlargement or magnifying function.
  • the cutout 57 In an ongoing communication, the cutout 57 always runs in real time with the area 51. Through this "running along" the user always keeps the
  • the user interface 50 also has a special area in which the representatives 5 and 6 (ComBots) of the two users (here the car of "Franz” or the eye of "Vroni") are displayed in interaction. In this case, however, not only non-verbal communication is represented by emotions, as previously described (Figs. 1-29).
  • two or more users can communicate with each other in a particularly appealing, versatile and varied manner.
  • virtual substitutes and their animation or interaction moods feelings and emotions between the users can be exchanged in a particularly effective and vivid way.

Abstract

Verfahren und System zur Telekommunikation zwischen mindestens zwei Nutzern über ein Telekommunikationsnetzwerk (40), wobei der erste Nutzer über eine erstes Endgerät und der zweite Nutzer über ein zweites Endgerät mit dem Telekommunikationsnetzwerk (40) verbunden ist, und wobei jedem Nutzer ein virtueller Stellvertreter (5, 6) zugeordnet ist, mit den folgenden Schritten: - Darstellung der beiden Stellvertreter (5, 6) am ersten Endgerät und am zweiten Endgerät; - Übertragung einer Information vom ersten Nutzer zum zweiten Nutzer und umgekehrt durch eine Animation mindestens eines Stellvertreters (5, 6) und durch eine Interaktion zwischen den Stellvertretern (5, 6).

Description

Verfahren und System zur Telekommunikation mit virtuellen Stellvertretern
Gebiet der Erfindung
Die Erfindung betrifft ein Verfahren und ein System mittels welcher mindestens zwei Nutzer über entsprechende Endgeräte miteinander kommunizieren können. Die Kommunikation wird durch die Verwendung von virtuellen Stellvertretern erweitert und unterstützt.
Stand der Technik
Seit einiger Zeit gibt es neben herkömmlicheren Kommunikationsmitteln wie Telefon, Fax oder Email einen weiteren Kommunikationsdienst, welcher unter dem Begriff „Instant Messaging" (IM) bekannt geworden ist. Bei diesem Kommunikationsdienst können mehrere Nutzer unter Verwendung eines Client-Programms in Echtzeit miteinander schriftliche Nachrichten austauschen oder auch „chatten" . Dabei wird der von einem Nutzer eingegebene Text in Echtzeit an die anderen teilnehmenden Nutzer übermittelt. Diese können dann wiederum durch Texteingabe auf übermittelte Textnachrichten antworten.
Nachteilig beim Instant Messaging ist, dass diese Form der Kommunikation auf den Austausch von reinen Textnachrichten beschränkt ist. Um diesen Nachteil zu überwinden und um die Ausdrucksmöglichkeiten beim Instant Messaging zu erweitern, verwenden viele Nutzer so genannte „Emoticons". Emoticons sind ein Gesicht oder auch „Smiley" nachbildende Zeichenfolgen, die bei der schriftlichen elektronischen Kommunikation benutzt werden, um Stimmungs- und Gefühlszustände auszudrücken. Auch wenn Dank der „Emoticons" die Ausdrucksmöglichkeiten im Rahmen des Instant Messaging geringfügig erweitert werden können, fehlt es hier weiterhin an einer Möglichkeit, einem Chat-Partner insbesondere Emotionen und Stimmungen auf vielschichtige, deutliche, ansprechende und multimediale Weise mitzuteilen.
Aufgabe der Erfindung
Es ist daher eine Aufgabe der vorliegenden Erfindung ein Verfahren und ein System vorzuschlagen, mit welchen mindestens zwei Nutzer von Telekommunikationsendgeräten auf vielschichtige, ansprechende und multimediale Art und Weise in Echtzeit miteinander kommunizieren können. Das erfindungsgemäße Verfahren und das erfindungsgemäße System sollen insbesondere eine besonders direkte, vielseitige und abwechslungsreiche Mitteilung von Stimmungen, Emotionen und Gefühlszuständen ermöglichen.
Beschreibung der Erfindung
Zur Lösung der soeben benannten Aufgabe schlägt die vorliegende Erfindung ein Verfahren zur Telekommunikation zwischen mindestens zwei Nutzern über ein Telekommunikationsnetzwerk vor, wobei der erste Nutzer über eine erstes Endgerät und der zweite Nutzer über ein zweites Endgerät mit dem Telekommunikationsnetzwerk verbunden ist, und wobei jedem Nutzer ein virtueller Stellvertreter zugeordnet ist, mit den folgenden Schritten: - Darstellung der beiden Stellvertreter am ersten Endgerät und am zweiten Endgerät;
- Übertragung einer Information vom ersten Nutzer zum zweiten Nutzer und umgekehrt durch eine Animation mindestens eines Stellvertreters und durch eine Interaktion zwischen den Stellvertretern. Um der Klarheit willen wird im Folgenden stets der Fall einer lediglich binären Kommunikation zwischen einem ersten und einem zweiten Nutzer beschrieben. Die Erfindung umfasst aber selbstverständlich auch entsprechend gestaltete Kommunikationen zwischen drei oder auch mehr Nutzern.
Bei dem erfindungsgemäßen Verfahren wird die Kommunikation zwischen den zwei Nutzern durch die Verwendung von virtuellen Stellvertretern wesentlich erweitert und verbessert. Die Nutzer sind nunmehr zum Austausch von Informationen nicht mehr ausschließlich an die Schriftform gebunden, sondern können durch eine Animation ihres jeweiligen Stellvertreters dem Kommunikationspartner unmittelbar visuell und akustisch Informationen zuspielen. Der virtuelle Stellvertreter repräsentiert nicht nur den jeweiligen Nutzer, sondern umfasst auch Kommunikationsfunktionen, insbesondere die nachfolgend beschriebenen Funktionen für eine non-verbale Kommunikation. Somit ist jeder Stellvertreter nicht nur als grafisches Element zu verstehen, sondern auch als Programmelement oder —objekt für ein Anwenderprogramm, das auf den Endgerät des jeweiligen Nutzers zum Zwecke der Kommunikation mit dem anderen Nutzer läuft. Bei den Stellvertretern handelt es sich also auch um kleine Kommunikations-Steuerprogramme. Die Stellvertreter werden daher im Folgenden auch als „Communications Robots", kurz „ComBots" bezeichnet.
Unter Telekommunikation ist im Kontext der Erfindung die Kommunikation zwischen den zwei Nutzern über eine gewisse Distanz hinweg zu verstehen, und zwar in einem sehr umfassenden Verständnis. Das bedeutet, dass alle Arten von Kommunikation über beliebige Kommunikationsnetze umfasst sind. Beispielsweise erfolgt diese über ein Telekommunikationsnetzwerk, wobei es sich hierbei beispielhaft um ein Telefonnetzwerk, ein Funknetz, ein Rechnernetzwerk, ein Satellitennetzwerk oder einer Kombination dieser Netzwerke handeln kann. Bevorzugt umfasst das erfindungsgemäße Netzwerk das Internet oder auch das World Wide Web.
Sowohl der erste Nutzer als auch der zweite Nutzer kommunizieren miteinander über so genannte Endgeräte. Diese Endgeräte dienen zur Telekommunikation und ermöglichen den visuellen, akustischen und/oder schriftlichen Austausch von Informationen zwischen den Nutzern. Bei diesen Endgeräten kann es sich um Telefone, Handys, PDAs, Rechner oder ähnlichem handeln. Die Nutzer können auch über jeweils unterschiedliche Geräte miteinander kommunizieren. Bevorzugt handelt es sich bei den Endgeräten um Internet fähige Rechner oder auch Computer.
Im Kontext der Erfindung ist ein „Nutzer" als natürliche Person oder auch als menschliches Individuum zu sehen.
Erfindungsgemäß ist jedem Nutzer bei der stattfindenden Telekommunikation ein virtueller Stellvertreter (ComBot) zugeordnet. Dieser virtuelle Stellvertreter kann auch als Doppelgänger oder Avatar bezeichnet werden. Es handelt sich dabei um einen graphischen Platzhalter, welcher den jeweiligen Nutzer repräsentiert. Beispielsweise kann ein Nutzer als virtuellen Stellvertreter eine bekannte Comic- Figur wie Donald Duck oder Bart Simpson besitzen. Dem Nutzer wird seine ihn repräsentierende graphische Figur während der Kommunikation auf seinem Endgerät dargestellt. Zeitgleich sieht der Nutzer auch ein weiteres graphisches Objekt, welches für seinen Kommunikationspartner steht.
Einem Kommunikationspartner kann so auf neuartige Weise eine Information, wie bspw. eine Gefühlsäußerung, mitgeteilt werden, indem der virtuelle Stellvertreter des Mitteilenden entsprechend animiert wird. Zusätzlich oder alternativ kann auch eine Interaktion zwischen den beiden Stellvertretern dargestellt werden. Dass ein Stellvertreter animiert wird, bedeutet, dass dessen graphische Darstellung sich visuell und/oder akustisch in der Zeit verändert. Ein Stellvertreter ist somit nicht lediglich ein statisches Bild oder Symbol, sondern dynamisch und kann unterschiedlichste Handlungen vornehmen. So kann ein Stellvertreter z.B. zum Zeichen des Grußes winken.
Wenn eine Interaktion zwischen zwei Stellvertretern erfolgt, bedeutet dies, dass nicht lediglich jeder Stellvertreter unabhängig von dem anderen animiert wird. Vielmehr reagiert der eine Stellvertreter auf die Aktion des anderen Stellvertreters und umgekehrt. Es findet also ein aufeinander bezogenes Handeln zwischen den beiden Stellvertretern statt, die beiden Stellvertreter beeinflussen sich gegenseitig und treten in eine Wechselbeziehung ein. So kann z.B. der eine Stellvertreter in Antwort auf ein Winken des anderen Stellvertreters zurückwinken.
Vorzugsweise erfolgt die Animation und/oder Interaktion der Stellvertreter in Antwort auf einen Nutzerbefehl, insbesondere in Antwort auf einen Drag&Drop-Befehl des
Nutzers. So kann der Nutzer seinen Stellvertreter individuell steuern, um durch die Steuerung des Stellvertreters bspw. seine derzeitige Stimmung seinem Kommunikationspartner zu verdeutlichen. Die Steuerung erfolgt durch eine entsprechende Bedienung des jeweiligen Endgerätes, das vorzugsweise ein
Personal Computer ist. Wenn das Endgerät über eine graphische Benutzeroberfläche (Desktop) mit einer Maus-artigen Steuerung verfügt, kann der Benutzer auf besonders einfache Weise durch Ziehen und Fallenlassen (Drag&Drop) eine Animation oder Interaktion seines Stellvertreters auslösen. Dazu bewegt der Nutzer seinen Mauszeiger auf eine graphische Abbildung derjenigen Animation, welche sein Stellvertreter durchführen soll und „zieht" diese Abbildung auf die graphische Darstellung seines Stellvertreters. Dazu kann auch ein vordefinierten Bereich des Desktops oder vom Anwenderprogramm erzeugtes Fenster oder Fensterbereich dienen. Bevorzugt kann auch in Antwort auf einen Befehl des ersten Nutzers eine Animation des Stellvertreters des zweiten Nutzers erfolgen und umgekehrt. Mit dieser Funktion wird auf einfache Weise die beschriebene Interaktion zwischen den Stellvertretern möglich. Diese Funktion ist insbesondere dann nützlich, wenn der eine Nutzer seinen Stellvertreter eine Aktion durchführen lassen will, die eine Auswirkung auf den Stellvertreter des anderen Nutzers haben soll. So kann der erste Nutzer bspw. seinen Stellvertreter dazu anweisen, einen Gegenstand nach dem Stellvertreter des anderen Nutzers zu werfen. In Antwort auf den Wurfbefehl des ersten Nutzers und die graphische Darstellung des Wurfes nach dem Stellvertreter des zweiten Nutzers, erfolgt eine entsprechende „Reaktion" des beworfenen Stellvertreters in Form einer entsprechenden Animation. Durch einen Steuerbefehl des ersten Nutzers wird also so eine Animation des Stellvertreters des zweiten Nutzers ausgelöst. So kann sich sogar eine Art Video- oder Computerspiel zwischen den beiden Nutzern unter Verwendung der beiden Stellvertreter entwickeln. Bevorzugt kann der erste Nutzer eine derartige Animation des Stellvertreters des zweiten Nutzers durch das beschriebene Drag&Drop auf den Stellvertreter des zweiten Nutzers erzielen.
Vorzugsweise wird die in Antwort auf einen Nutzerbefehl erfolgende Animation und/oder Interaktion zeitgleich, parallel und in Echtzeit auf beiden Endgeräten der beiden Nutzer dargestellt. Dies bedeutet, dass beide Nutzer auf ihrem jeweiligen Endgerät sozusagen live das Verhalten der Stellvertreter in Antwort auf die eingegebenen Befehle nach verfolgen können.
Je nach dem wie schnell und direkt der Austausch über die Stellvertreter erfolgen soll, können die zur Animation der Stellvertreter von den Nutzern eingegebenen Steuerbefehle unterschiedlich verarbeitet werden. So kann ein neu eingegebener Nutzerbefehl zu einem direkten Abbruch einer laufenden Animation oder Interaktion führen; im Anschluss an den Abbruch erfolgt dann sofort die vom Nutzer erwünschte neue Animation. Stattdessen kann auch in Antwort auf eine neue Nutzereingabe zunächst die laufende Animation oder Interaktion abgeschlossen werden, so dass die erwünschte Animation direkt im Anschluss an die abgeschlossen Animation erfolgt. Weiterhin kann auch bei mehreren schnell hintereinander unter Umständen beidseitig erfolgenden Nutzerbefehlen eine Einreihung der erwünschten Animationen oder Interaktionen in eine Warteliste durchzuführender Animationen oder Interaktionen erfolgen. Die von den Nutzern angegebenen Animationen werden dann gemäß der Warteliste nach einander abgearbeitet.
Im Übrigen kann auch der Abbruch einer durch den ersten Nutzer ausgelösten ersten Animation oder Interaktion und ein Ersetzen der ersten Animation oder Interaktion durch eine zweite durch den zweiten Nutzer ausgelöste Animation oder Interaktion und umgekehrt erfolgen. Wenn beispielsweise der erste Nutzer eine Interaktion auslöst, mit welcher sein Stellvertreter auf den Stellvertreter des zweiten Nutzers einen Pfeil abschießt, könnte der zweite Nutzer diese Interaktion unterbrechen, indem er seinen Stellvertreter anweist, den Pfeil mit einem Schild abzuwehren. Diese zweite Interaktion könnte der erste Nutzer wiederum durch Auslösung einer weiteren Interaktion unterbrechen und so fort. So kann sich ein regelrechtes interaktives Aktions- und Reaktionsspiel zwischen den beiden Nutzern unter Verwendung der Stellvertreter entwickeln.
Der Ablauf der Interaktion kann abhängig von vorgebbaren Parametern sein, die die Nutzer vorgeben und/oder die im System in Nutzerprofilen abgelegt sind, die den Nutzern zugeordnet sind. Die Parameter können z.B. Angaben zur Person des jeweiligen Nutzers umfassen, wie etwa seine Nationalität, seinen Wohnort oder momentanen Aufenthaltsort, seine
Vorlieben und Hobbys usw. Somit können z.B. Eigenheiten in der Kommunikation, insbesondere Gesten, berücksichtigt werden, die für die jeweilige Nationalität oder den Kulturkreis spezifisch sind. Auch kann mittels Datenerfassung und statistischer Funktionen das jeweilige Nutzerprofil vom System verwaltet und auf den aktuellen Stand gebracht werden, so dass für den Stellvertreter (ComBot) des jeweiligen Nutzer die passenden Interaktionen automatisch eingesetzt werden oder zumindest dem Nutzer eine passende Auswahl angeboten wird, z.B. eine Anzahl der bevorzugten Interaktionen (Favoriten) . Das System verfügt also über eine Funktion, die automatisch die Interaktionen anhand der Parameter ändert und anpasst. Diese Autofunktion kann der Nutzer jederzeit an- und abschalten.
Gemäß einem weiteren eigenständigen erfinderischen Aspekt kann zur weiteren Erweiterung der Kommunikationstiefe zwischen den Nutzern auch eine Erkennung einer durch einen Nutzer in sein Endgerät erfolgte Sprach- oder Texteingabe erfolgen. Die erkannte Sprach- oder Texteingabe wird dann analysiert, so dass deren Bedeutung erfasst wird. Weiterhin kann auch eine Video-Erkennung (bspw. mittels einer Videokamera) der Mimik eines Nutzers und deren Analyse und Deutung erfolgen. So können vorzugsweise die
Gesichtsausdrücke eines Nutzers aufgenommen und auf bestimmte Gefühlsäußerungen hin ausgewertet werden. Im Anschluss an die Analyse und Deutung können dem Nutzer mehrere passende Animations- oder Interaktionsmöglichkeiten im Einklang mit dem Sinngehalt seiner Sprach- oder Texteingabe oder seiner Mimik bereitgestellt werden. Wenn der Nutzer also z.B. schriftlich, sprachlich oder durch seinen Gesichtsausdruck zu erkennen gibt, dass er sich freut, können dem Nutzer zur entsprechenden Animation seines
Stellvertreters passende Freude ausdrückende Animationen (die Animation „Lächeln" oder „Lachen" oder „Hüpfen" etc..) vorgeschlagen werden. Statt einer Vorschlagsfunktion kann auch direkt und automatisch eine Animation eines Stellvertreters und/oder eine Interaktion zwischen den Stellvertretern im Einklang mit dem Sinngehalt der Sprach- oder Texteingabe oder der Mimik erfolgen. In diesem Fall kann automatisch der Sinngehalt einer Sprach- oder Textnachricht oder der Mimik ermittelt werden und in Folge dessen ebenso automatisch das Verhalten des entsprechenden Stellvertreters an den Sinngehalt der Sprach- oder Textnachricht oder der Mimik angepasst werden. Wenn die Sprach- oder Textnachricht oder Mimik eines Nutzers also bspw. „Ich bin traurig" lautet, kann der Stellvertreter des Nutzers automatisch einen traurigen Gesichtsausdruck annehmen. Alternativ kann auch zunächst eine Bestätigung des Nutzers erfolgen, bevor der Stellvertreter den erkannten Sinngehalt nachahmt. Die automatische Erkennung des Sinngehalts einer Textnachricht kann auch als „Parsen" bezeichnet werden. Dabei wird im Text nach Schlüsselwörtern und Begriffen gesucht, zu denen dann entsprechende
Animationen und ggf . Interaktionen dem Nutzer angeboten werden und/oder vom System automatisch in die Kommunikation eingesetzt werden. Eine solche Funktion „Parsen" kann auch entsprechend auf nicht-textliche Nachrichten, insbesondere auf Sprachnachrichten angewendet werden. Zudem kann bei der Analyse der Nachrichteninhalte auch Information über den Nutzer verwendet werden, die aus dem im System gespeicherten Nutzerprofil abgefragt werden. So können dort Informationen über Schreib- und Sprechgewohnheiten des jeweiligen Nutzers gespeichert sein, die dann bei der Umsetzung in Animationen und Interaktionen berücksichtigt werden.
Die zusätzliche Funktion der Analyse und Deutung einer Mimik, einer Sprach- oder Texteingabe eines Nutzers ist insbesondere dann vorteilhaft, wenn die beiden Nutzer neben der
Kommunikation über die Stellvertreter nebenher in gewohnter Weise über Text- und/oder Sprachnachrichten (z.B. über VoIP und/oder Instant Messaging) oder Webcams miteinander kommunizieren.
Um eine besonders einfache und intuitive Eingabe von Steuerbefehlen an die Stellvertreter zu ermöglichen, erfolgt die Darstellung der Animations- und Interaktionsmoglichkeiten der Stellvertreter in einer tabellarischen Übersicht. Die tabellarische Übersicht findet bei Endgeräten Anwendung, die dem Nutzer eine graphische Benutzeroberfläche zur Verfügung stellen. So kann der Nutzer anhand der graphisch dargestellten Tabelle, welche die zur Verfügung stehenden Steuerbefehle in Form von kleinen graphischen Symbolen („Icons" oder auch „Thumbnails" ) enthält, eine Aktion auswählen, die von einem Stellvertreter durchgeführt werden soll. Die ÜberSichtstabelle kann auch als Gitter, Matrix oder Raster bezeichnet werden.
Bevorzugt weist die tabellarische Übersicht eine festgelegte Anzahl von Klassen auf, unter welchen die Animations- und Interaktionsmoglichkeiten zusammengefasst und abrufbar sind. So kann die tabellarische Übersicht aus einer zwei-mal-drei Matrix bestehen, wobei jedes der sechs Felder der Matrix für eine der sechs abschließend festgelegten Klassen steht. Besonders bevorzugt sind unter den sechs Klassen jeweils die Animationen zu den Bereichen „Stimmung", „Liebe", „Themen", „Kommentar", „Aggression" und „Events" zusammengefasst.
Wenn außerdem den Nutzern eine Zeichenfunktion zur Ermöglichung einer Echtzeitübertragung eines Zeichnens eines Nutzers auf seinem Endgerät an den anderen Nutzer auf dessen Endgerät bereitgestellt wird, ergibt sich noch eine weitere Art der Kommunikation für die Nutzer. Dabei kann ein Nutzer auf seiner graphischen Benutzeroberfläche mit einem Zeichenwerkzeug eine Zeichnung erstellen. Das Erstellen der Zeichnung kann der andere Nutzer und Kommunikationspartner dann in Echtzeit auf seinem Endgerät mitverfolgen. So können auch Informationen übermittelt werden, die sich schriftlich oder über die Stellvertreter nur schwer darstellen lassen.
Weiterhin kann es vorgesehen sein, in die Ansichten der beiden kommunizierenden Nutzer eine Stimmungsanzeige zu integrieren, welche die gegenwärtige jeweilige Stimmung der beiden Stellvertreter angibt. Diese Stimmungsanzeige kann in Form eines Stimmungsbalkens und/oder in Form eines mehr oder weniger lachenden Gesichtes („Smiley") verwirklicht sein. So kann jeder Nutzer direkt sehen, wie die Stimmung des eigenen und des fremden Stellvertreters gerade aussieht. Im Laufe der Animation der Stellvertreter und in Folge deren Austausches kann die jeweilige Stimmungsanzeige variieren.
Wenn zusätzlich auch eine automatische Animation eines Stellvertreters als Reaktion auf eine Veränderung der Stimmungsanzeige erfolgt, ist das Verhalten des Stellvertreters besonders abwechslungsreich und lebensecht. So kann bspw. der Stellvertreter des ersten Nutzers automatisch anfangen, vor Freude zu hüpfen, wenn dessen Stimmungsanzeige einen bestimmten Grenzwert überschritten hat.
Die Stimmungsanzeige kann in verschiedenster Form dargestellt werden, z.B. auch in Form eines „Fieberthermometers" oder einer „Fieberkurve" . Auch durch eine farbliche oder andersartige Umgestaltung des Stellvertreters (ComBot) kann die momentane Stimmungslage oder Laune des Nutzers angezeigt werden. Besonders vorteilhaft ist es, wenn die Kommunikationstiefe auch von der momentanen Stimmungslage abhängig gemacht wird. Dazu wertet das System die aktuelle Stimmungsanzeige aus und verändert entsprechend die Animationen und/oder Interaktionen bezüglich des Stellvertreters (ComBot) dieses Nutzers.
Vorzugsweise erfolgt die Darstellung der beiden Stellvertreter am ersten Endgerät spiegelbildlich oder auch spiegelverkehrt zu der Darstellung der beiden Stellvertreter am zweiten Endgerät. Dies bedeutet bspw., dass jeder Nutzer seinen Stellvertreter stets auf der linken Seite und den Stellvertreter des anderen Nutzers auf der rechten Seite sieht. Dadurch ist eine klare Zuordnung selbst bei identischen Stellvertretern gewährleistet Weitere besondere Vorteile ergeben sich wenn folgende zusätzliche Merkmale erfüllt werden:
Vorzugsweise erfolgt die eine Animation des mindestens einen Stellvertreters und/oder die Interaktion zwischen den Stellvertretern abhängig von vorgebbaren Kriterien erfolgt, insbesondere von Kriterien, die in einem Nutzerprofil abgespeichert wird, das mindestens einem der beiden Nutzer zugeordnet wird.
Außerdem kann mindestens einem der beiden Nutzer eine Auswahl an zu übertragenden Animationen und/ oder Interaktionen bereitgestellt werden. Dabei kann auch dies in Abhängig von vorgebbaren Kriterien erfolgen, insbesondere von Kriterien, die in einem Nutzerprofil abgespeichert werden, das mindestens einem der beiden Nutzer zugeordnet wird. Zumindest diesem Nutzer wird eine Auswahl an zu übertragenden Animationen und/ oder Interaktionen vorgeschlagen.
In diesem Zusammenhang können als Kriterien Angaben über zumindest den einen der beiden Nutzer vorgegeben werden, insbesondere Angaben zu Geschlecht, Alter, Nationalität, Muttersprache, Sprechgewohnheiten oder -muster, Aufenthaltsort, Interessen und/oder Hobbys.
Auch ist es vorteilhaft, wenn die eine Animation des mindestens einen Stellvertreters und/oder die Interaktion zwischen den Stellvertretern in Antwort auf einen Drag&Drop- Befehl eines Nutzers erfolgt, wobei der Drag&Drop-Befehl sich auf den eigenen Stellvertreter dieses Nutzers oder auf den Stellvertreter des anderen Nutzers bezieht, und wobei die Animation bzw. Interaktion in Abhängigkeit davon erfolgt, auf welchen der beiden Stellvertreter sich der Drag&Drop-Befehl bezieht. Im Zusammenhang mit dem Erkennen von Sprach- oder Texteingaben bzw. Video-Erkennung kann dies in Abhängigkeit von vorgebbaren Kriterien erfolgen, insbesondere von Kriterien, die in einem Nutzerprofil abgespeichert werden, das mindestens einem der beiden Nutzer zugeordnet wird. Dabei ist es vorteilhaft, wenn die vorgebbaren Kriterien Angaben über zumindest den einen der beiden Nutzer umfassen, insbesondere Angaben zu Geschlecht, Alter, Nationalität, Muttersprache, Sprechgewohnheiten oder -muster, Aufenthaltsort, Interessen und/oder Hobbys.
Auch kann die Animation des mindestens einen Stellvertreters und/oder die Interaktion zwischen den Stellvertretern abhängig von der Stimmungsanzeige sein, die für zumindest einen der beiden Nutzer seine aktuelle emotionale
Grundstimmung anzeigt. So kann insbesondere vorgesehen sein, dass die automatische Reaktion eines Stellvertreters in Antwort auf eine empfangene Emotion von der aktuellen Grundstimmung des empfangenden Stellvertreters abhängt. Wenn also bspw. die Grundstimmung eines Stellvertreters eine gut gelaunte ist und dieser Stellvertreter empfängt eine aggressive Emotion, könnte die automatische Reaktion des Stellvertreters ein einfaches Kopfschütteln sein. Falls die Grundstimmung des die Aggression empfangenden Stellvertreters aber negativ ist, könnte dieser automatisch statt nur leicht mit dem Kopf zu schütteln die Faust ballen und fluchen.
Umgekehrt kann auch die Stimmungsanzeige, die für zumindest einen der beiden Nutzer seine aktuelle emotionale Grundstimmung anzeigt, abhängig von der übertragenen Emotion und/oder Interaktion verändert werden. Ebenso kann die mindestens einem der beiden Nutzer bereit gestellte Auswahl an zu übertragenden Animationen und/ oder Interaktionen in Abhängigkeit von der Stimmungsanzeige bereitgestellt werden, die für zumindest einen der beiden Nutzer seine aktuelle emotionale Grundstimmung anzeigt. Es ist vorteilhaft, wenn die Auswahl an zu übertragenden Animationen und/ oder Interaktionen in Form von zusammen gestellten Gruppierungen und/oder Klassen bereitgestellt wird. In diesem Zusammenhang kann die Zusammenstellung der Klassen und/oder die Auswahl der Animationen und/ oder Interaktionen automatisch und pseudo-zufalls-gesteuert erfolgen.
Schließlich umfasst die vorliegende Erfindung auch ein System zur Durchführung der soeben beschriebenen erfindungsgemäßen Verfahren.
Kurzbeschreibung der Figuren
Fig. 1 zeigt eine Gesamtansicht einer Benutzeroberfläche eines Nutzers zur Durchführung des erfindungsgemaßen Verfahrens; Fig. 2a bis 2c zeigen alternative Ausführungsformen erfindungsgemäßer Benutzeroberflächen; Fig. 3a bis 3f zeigen eine weitere alternative Ausführungsform einer erfindungsgemäßen Benutzeroberfläche ; Fig. 4a und 4b zeigen beispielhaft eine Interaktion zwischen zwei virtuellen Stellvertretern; Fig. 5a und 5b zeigen zwei Ausführungsformen der erfindungsgemäßen Tabellen zur Auswahl eines Steuerbefehls ; Fig.6 zeigt unterschiedliche Steuermöglichkeiten, die dem Nutzer anhand der Tabellen gemäß Fig. 4a und 4b zur Verfügung stehen;
Fig.7 zeigt die erfindungsgemäße Texterkennung und - deutung (Parsen); Fig. 8a bis 8d zeigen verschiedene Verarbeitungsmöglichkeiten der von den Nutzern abgegebenen Steuerbefehle; Fig. 9 zeigt die jeweils spiegelverkehrte Ansicht beider Nutzer; Fig. 10 bis 28 zeigen beispielhaft den Ablauf einer Kommunikation zwischen zwei Nutzern unter Verwendung des erfindungsgemäßen Verfahrens und Systems; Fig. 29 zeigt ein Beispiel für eine komplexe Kommunikation mit textbasierten Elementen und mit erfindungsgemäß ausgestalteten Elementen.
Beschreibung bevorzugter Ausführungsformen
Zum besseren Verständnis werden nun beispielhaft bevorzugte Ausführungsformen der vorliegenden Erfindung beschrieben.
Im Folgenden wird angenommen, dass ein erster Nutzer namens „Franz" mit seiner Bekannten „Manuela", welche die zweite Nutzerin darstellt, eine Kommunikation durchführt. Dabei kommunizieren die beiden mittels ihrer jeweiligen Computer über das Internet. Zur Kommunikation miteinander verfügen sowohl Franz als auch Manuela über eine auf ihrem jeweiligen Rechner ablaufende Kommunikationsanwendung. Die
Benutzeroberfläche 1 dieser Anwendung ist beispielhaft in Fig. 1 dargestellt.
Die Benutzeroberfläche 1 ist diejenige Oberfläche, welche Franz zur Kommunikation mit Manuela verwendet. Fig. 1 gibt also wieder, was Franz bei der Kommunikation mit Manuela auf seinem Bildschirm sieht. Manuela verfügt auf dem Bildschirm ihres Computers über eine zu der Benutzeroberfläche 1 analog aufgebaute Oberfläche.
Im Folgenden wird nun der Aufbau der Benutzeroberfläche 1 beschrieben.
Die Benutzeroberfläche 1 ist als eigenständiges Fenster mit drei Hauptabschnitten 2, 3 und 4 verwirklicht. Der Abschnitt 2 kann als Animationsabschnitt bezeichnet werden. In diesem Abschnitt sind die virtuellen Stellvertreter 5 und 6 von Franz und Manuela dargestellt. Der Abschnitt 3 ist der Text- und Steuerabschnitt. Hier werden die zwischen Franz und Manuela ausgetauschten Textnachrichten dargestellt. Im Abschnitt 3 sind auch die Schaltfelder zur Steuerung der Kommunikation untergebracht. Der Abschnitt 4 schließlich ist die Menüleiste.
Im Animationsabschnitt 2 sind die zwei virtuellen Stellvertreter 5 und 6 (ComBots) beider Nutzer zu erkennen. Beim virtuellen Stellvertreter 5 von Franz handelt es sich um ein Auto während der virtuelle Stellvertreter 6 von Manuela eine Puppe ist. Zur besseren Zuordnung der Stellvertreter befinden sich über diesen Namensschilder 7 und 8. Wie es in Fig. 1 zu erkennen ist, durchläuft der Stellvertreter 5 von Franz gerade eine Animationsphase und sendet an den
Stellvertreter 6 von Manuela Herzen 9 aus. So drückt Franz im Wege seines Stellvertreters 5 seine Zuneigung für Manuela aus.
In den jeweiligen Ecken über den Stellvertretern 5 und 6 sind kleine Fenster 10a und 10b angeordnet. Diese Fenster zeigen an, welche Aktionen von dem jeweiligen Nutzer gerade durchgeführt werden. Wenn z.B. im Fenster 10b ein Stift erscheint, dann weiß Franz, dass Manuela gerade die später im Detail beschriebene Zeichenfunktion verwendet.
Der Text- und Steuerungsabschnitt 3 ist in einen Nachrichtenbereich 11, einen Steuerungsbalken 12 und einen Entwurfsbereich 13 unterteilt. Im Nachrichtenbereich 11 sind die zwischen Franz und Manuela bereits ausgetauschten
Textnachrichten zu erkennen. Um eine Textnachricht an Manuela zu verfassen und zu übermitteln, bedient sich Franz des Entwurfsabschnittes 13. In diesen Abschnitt 13 kann Franz mittels seiner Tastatur eine Textnachricht an Manuela schreiben. Sobald Franz die Textnachricht erstellt hat, kann er diese durch Drücken der Schaltfläche 14 an Manuela übermitteln. Die versandte Sprachnachricht erscheint dann sowohl im Nachrichtenbereich 11 von Franz als auch im Nachrichtenbereich von Manuela.
Um seinen Stellvertreter 5 zu steuern, verwendet Franz den Steuerungsbalken 12. Der Steuerungsbalken 12 verfügt über mehrere Schaltflächen 15. Mit diesen Schaltflächen 15 können unterschiedliche Animationen der Stellvertreter 5 und 6 ausgelöst werden. So kann durch Ziehen des Herzsymbols auf Franz Auto und Fallenlassen die in Fig. 1 angedeutete „Herz- Animation" ausgelöst werden. Durch Ziehen des Boxhandschuhes auf Manuelas Puppe kann der Stellvertreter 5 von Franz dazu veranlasst werden, der Puppe einen Faustschlag zu verpassen.
Durch Drücken der Schaltfläche 16 kann eine Übersichtstabelle mit weiteren Steuerungsbefehlen geöffnet werden, wie sie beispielhaft in den Figuren 5a und 5b dargestellt ist.
Die Schaltfläche 17 ermöglicht das Öffnen und Schließen (Ein- und Ausblenden) des Animationsabschnittes 2.
Über die als Stift-Symbol dargestellte Schaltfläche 18 kann Franz zudem innerhalb des Nachrichtenabschnitts 11 freihändig beliebige Figuren zeichnen, welche in Echtzeit im Nachrichtenabschnitt von Manuela nachvollzogen werden. Ein Beispiel einer solchen gezeichneten Figur ist mit dem
Bezugszeichen 19 hervorgehoben. Außerdem wird im Kontext des Abschnitts 11 auch symbolisch die bereits ausgetauschten Emotionen angezeigt, d.h. die zur Historie dieser noch laufenden Kommunikation gehörenden Emotionen angezeigt. Hier wird z.B. eine mit dem Bezugszeichen 19H versehene und als „Boxhandschuh" dargestellte Emotion angezeigt, nämlich eine eher aggressive Emotion, die „Franz" zuvor an „Manuela" geschickt hatte. Durch Mausklick auf das Symbol 19H dieser historischen Emotion kann diese sofort spontan wiederholt werden. Über die Menüleiste 4 kann eine Historie ggf. aller vergangener Kommunikationssitzungen (durch Drücken des Schaltfeldes „history" ) aufgerufen werden. Weiterhin ist es auch möglich, auf eigene Dateien zuzugreifen (durch Drücken des Schaltfeldes „files"), um diese gegebenenfalls dem
Kommunikationspartner zu übermitteln. Schließlich kann auch über das Schaltfeld „surf*2" eine Sitzung zum gemeinsamen Surfen im Internet gestartet werden.
Die Figur 2a zeigt eine alternative Ausgestaltung des
Animationsabschnittes 2. Im Unterschied zur Fig. 1 verfügt hier der Abschnitt 2 zusätzlich über Stimmungsanzeigen 20.1 und 20.2 . Die Stimmungsanzeige 20.1 ist ein stilisiertes Gesicht (ein „Smiley"), welches durch seinen Gesichtsausdruck die aktuelle Stimmung des zugehörigen Stellvertreters und damit des entsprechenden Nutzers verdeutlicht. Wie es zu erkennen ist, ist die Stimmung von „Franz" besser als diejenige von „Vroni", da das Lachen der Stimmungsanzeige 20.1a (Smiley) bei „Franz" breiter ist als der Smiley 20.1b bei „Vroni" . Die Stimmungsanzeige kann alternativ oder zusätzlich auch in Form von Stimmungsbalken 20.2a bzw. 20.2b verwirklicht sein. Hier gibt die Länge des Balkens die Güte der Stimmung an.
Die Fig. 2b und 2c zeigen im Vergleich zu Fig.l zwei weitere Varianten der Darstellung der Interaktion zwischen zwei virtuellen Stellvertretern. Dargestellt ist jeweils der Desktop des Nutzers „Franz".
Im Falle der Fig. 2b ist der virtuelle Stellvertreter (ComBot) 21 seiner Kommunikationspartnerin „Vroni" auf dem Desktop 23 abgelegt. Will nun „Franz" an „Vroni" eine Emotion senden, dann veranlasst er dies durch Mausklick oder Drag&Drop auf den ComBot 21 von „Vroni". In diesem Fall einer sog. „ausgesendeten Emotion" erscheint sogleich auf dem Desktop 23 des Senders („Franz") die Darstellung einer Gedankenblase 24, so wie es die Fig. 2c zeigt. Innerhalb der Gedankenblase 24 sind beide ComBots 22 und 21 dargestellt sowie die Übertragung der Emotion selbst, hier z.B. ein fliegendes Herz, das von Franz ComBot 22 zu Vronis ComBot 21 fliegt. Auf dem Desktop von Vroni (nicht dargestellt) erscheint alles spiegelbildlich.
Im Fall einer „empfangenen Emotion" passiert folgendes auf dem Desktop des Empfängers: Der Stellvertreter 21 von „Vroni" wird zunächst von dem Empfänger „Franz" in der Regel nicht weiter beachtet. Jedoch kann plötzlich und automatisch in
Zuordnung zu dem abgelegten Stellvertreter 21 eine Gedankenoder Sprechblase 24 erscheinen, wenn die
Kommunikationspartnerin „Vroni" von ihrem Rechner aus einen entsprechenden Animationsbefehl an den Rechner des Nutzers „Franz" übermittelt hat. Die Animation der beiden
Stellvertreter 21 und 22 erfolgt dann in der geöffneten Gedankenblase 24.
Wenn ein Nutzer mehrere Stellvertreter verschiedener Kommunikationspartner auf seinem Desktop abgelegt hat, kann der Nutzer auch eine Kommunikation an mehrere Kommunikationspartner gleichzeitig richten. Wenn der Nutzer bspw. zwei Nutzern gleichzeitig dieselbe Animation übermitteln will, so kann er die zwei entsprechenden Stellvertreter zu einer Gruppe zusammenfassen. Die gewünschte Animation kann der Nutzer dann durch einmaliges „Drag & Drop" auf die gebildete Gruppe beiden Kommunikationspartnern in einem einzigen Vorgang übersenden. Mit dieser „intelligenten" Bildung von Stellvertretergruppen können verschiedenste Gruppen erzeugt wird, wie z.B. temporäre oder auch permanente Gruppen. Mehrere einzelne Stellvertreter können auch zu einem einzigen Gruppenstellvertreter zusammengefasst werden. Der Gruppenstellvertreter („GroupComBot") ist ein einzelner Stellvertreter, mit dessen Hilfe der Nutzer gleich mit einer ganzen Gruppe von Kommunikationspartnern in Verbindung treten kann. Zusätzlich stellt das System noch folgende Hinweis- oder Notizfunktion bereit: Wenn der Empfänger „Franz" nicht auf diese Emotion antwortet, indem er manuell darauf reagiert oder wenn das System keine automatische Reaktion veranlasst, wird zum ComBot 21 von Vroni noch ein Hinweis 21Z auf diese empfangene Emotion angezeigt. Dieser Hinweis 21Z ist z.B. die aktuelle Anzahl der noch nicht beantworteten Emotionen. Sollte also der potentielle Empfänger „Franz" bei eingehenden Emotionen nicht anwesend sein, so kann er später sofort erkennen, ob und wie viele Emotionen während seiner
Abwesenheit eingegangen sind und kann dann darauf reagieren.
Die Feststellung, ob der potentielle Empfänger die Emotion wahrgenommen oder verpasst hat, erfolgt durch das System auf der Basis der Überwachung der Aktivitäten des Empfängers. Wenn bspw. auf Empfängerseite während der Präsentation der Emotion und mindestens fünf Sekunden danach keine Maus- oder Tastatureingaben durch den Empfänger erfolgen, geht das System davon aus, dass der Empfänger die Animation verpasst hat. Alternativ oder zusätzlich kann eine Aktivitätserkennung über eine Videokamera erfolgen, die mit dem Computer des Empfängers verbunden ist. Anhand der Kamera überprüft das System, ob der Empfänger anwesend ist. Die Videokamera kann vom Empfänger auch als Eingabemittel verwendet werden. Der Empfänger kann dann bspw. durch Handbewegungen, die von der Kamera erkannt werden, Befehle an seinen Computer richten, um z.B. seinen ComBot zu steuern oder auf eine empfangene Emotion zu reagieren.
In einem zusätzlichen Schritt kann die Kamera sogar eine Körpersprachenerkennung des Benutzers , bevorzugt in Form einer Echtzeitüberwachung, durchführen. Über die Kamera wird das Verhalten des Benutzers laufend aufgenommen. Mittels einer Erkennungs- oder DeutungsSoftware kann das System das Verhalten des Nutzers interpretieren und den virtuellen Stellvertreter in Echtzeit im Einklang mit dem Benutzerverhalten animieren. Es kann dank der Kameraaufnahme bspw. festgestellt werden, dass der Nutzer gerade eine Haltung eingenommen hat, die darauf hindeutet, dass dieser traurig ist. Der ComBot des Nutzers wird dann automatisch simultan die Traurigkeit des Nutzers ausdrücken. Mit der Kameraerkennung ahmt der ComBot also sozusagen jegliches Verhalten des Nutzers nach. Die Videokamera erfasst die Gemütstimmung bzw. die Haltung oder auch den Gestus des Nutzers. Die erfasste Stimmung wird dann vom System selbsttätig auf den ComBot übertragen. Wenn der Nutzer also z.B. die Faust ballt, wird diese Bewegung von der Kamera aufgezeichnet, dann durch das System interpretiert und schließlich wird der ComBot des Nutzers dazu veranlasst, die Bewegung des Nutzers nachzuspielen: der ComBot ballt ebenso wie der Nutzer die Faust.
Mit der soeben beschriebenen fortlaufenden Beobachtung des Nutzers kann eine besonders intuitive Kommunikation über die ComBots erfolgen. Der Nutzer braucht seinem ComBot nicht aktiv Befehle zu erteilen, sondern er muss nur lediglich vor seinem Computer sitzen und sich natürlich verhalten. Die unbewussten, direkten und intuitiven Reaktionen des Nutzers während der Kommunikation werden vollautomatisch direkt auf den ComBot übertragen, ohne dass es einer bewussten dahingehenden Initiative des Nutzers bedürfte.
Falls ein Empfänger eine Animation verpasst hat, wird bei dem entsprechenden ComBot ein Hinweis 21Z angezeigt. Zusätzlich erfolgt ein Eintrag über die verpasste Emotion in einem dafür vorgesehenen Logbuch (sogenannte „History"). Über das Logbuch und/oder den Hinweis 21Z kann der Empfänger die verpasste Animation nochmals auslösen bzw. abspielen lassen. Es wird also vom System eine Art Rekorder- bzw. Speicherfunktion für verpasste Animationen zur Verfügung gestellt.
Vorzugsweise wird bei einer empfangenen Emotion eine Sprechblase dargestellt, bei einer ausgehenden Emotion jedoch eine Gedankenblase. Die unterschiedliche Darstellungsweise kann sich aber auch darauf beziehen, ob eine Emotion bereits übertragen wird oder nicht. Will ein Nutzer lediglich das Übertragen einer Emotion vorbereiten (Editiermodus und/oder Vorschaumodus), dann erscheint auf seinem Desktop eine Gedankenblase. Auf dem Desktop des Kommunikationspartners erscheint zunächst noch nichts. Sobald jedoch die Emotion übertragen wird (Interaktionsmodus) erscheint auf beiden Desktops eine Sprechblase. Eine andere Variante zeigt die Fig. 2c:
Bei der Fig. 2c sind die beiden virtuellen Stellvertreter 21 und 22 auf dem jeweiligen Desktop 23 abgelegt. Hier erfolgt die Animation durch Zusammenfassung der beiden Stellvertreter in einer Gesamtdarstellung, einer sog. „Arena", die vorzugsweise die Form eines Schlauchs oder auch Zylinders 25 hat.
Die Figuren 3a bis 3f veranschaulichen eine weitere Variante der Bedienung und Interaktion der virtuellen Stellvertreter. Fig. 3a zeigt den Desktop, d.h. die Bildschirmoberfläche eines Nutzers mit Namen Bob. Bob hat auf seinem Desktop einen Stellvertreter 59 in Schneemannform abgelegt. Der Stellvertreter 59 ist Bobs Bekannten Alice zugeordnet. Über den Stellvertreter 59 kann Bob mit Alice kommunizieren.
Wenn nun Bob eine Kommunikation mit Alice durchführen will, bewegt er dazu einfach seinen Mauscursor 41 auf den Stellvertreter 59. Sobald sich der Cursor 41 über dem Stellvertreter 59 befindet (sogenanntes „MouseOver" ) , erscheint automatisch ein ringförmiges Menü 60, welches den Stellvertreter 59 umgibt (s. Fig. 3b). Durch Anklicken eines Menüabschnittes kann Bob nun verschiedene Aktionen auslösen. Alternativ kann die Menüanzeige und —auswahl auch derart erfolgen, dass Bob auf den Stellvertreter 59 klickt, so dass das Menü erscheint, dabei den Mausknopf gedrückt hält, sodann bei gedrücktem Mausknopf den Cursor 41 auf den entsprechenden Menüpunkt bewegt und schließlich durch Loslassen des Mausknopfes (sogenanntes „Release") den Menüpunkt auswählt.
Wenn Bob nun bspw. den Menüabschnitt „Message" aktiviert, gelangt er zu einer Anwendung mit welcher er eine Textnachricht für Alice erstellen kann. Wenn Bob mit seinem Cursor 41 den Menüabschnitt „Emotions" auswählt (s. Fig. 3c), erscheint eine Übersichtstabelle 28 (s. Fig. 3d), wie sie im Detail auch in Fig. 5a und 5b zu sehen ist.
In der ÜberSichtstabelle 28 sind zahlreiche Icons aufgeführt. Bob kann durch Klicken, Ziehen und Fallenlassen (Drag & Drop) eines dieser Icons auf Alices Stellvertreter 59 ablegen. Dies ist beispielhaft in Fig. 3e dargestellt. Bob zieht einen „verärgerten Smiley" auf den Stellvertreter 59, um so Alice mitzuteilen, dass er schlecht gelaunt ist. Sobald Bob den Smiley hat fallen lassen, erscheint auf Bobs Desktop automatisch ein weiterer Stellvertreter 61 (s. Fig. 3f). Der Stellvertreter 61 repräsentiert Bob und führt die von Bob ausgewählte Emotion aus. Sobald die Animation von Bobs
Stellvertreter abgeschlossen ist, verschwindet dieser wieder von Bobs Desktop.
Die von Bob ausgewählte Animation manifestiert sich auf Alices Desktop derart, dass der dort abgelegte
Stellvertreter, welcher für Bob steht, die von Bob ausgewählte Animation durchführt. Ein Erscheinen von Alices Stellvertreter findet auf Alices Seite nicht statt.
Die Figuren 4a und 4b zeigen beispielhaft eine typische
Interaktion zwischen zwei virtuellen Stellvertretern 26 und 27. Der linke Stellvertreter 26 (ComBot „Männchen" ) wurde von seinem Besitzer durch Auswahl des Animationsbefehls „Bombe" dazu animiert, eine Bombe auf den Stellvertreter 27 (ComBot „Auto") des Kommunikationspartners zu werfen. Infolgedessen wird der virtuelle Stellvertreter 27 von der Bombe getroffen und explodiert (s. Fig. 4b). Der hinter dem Stellvertreter 26 stehende Nutzer kann die Handlung „Bomben werfen" bspw. dazu ausgewählt haben, um seine Verärgerung über den gegenüberstehenden Kommunikationspartner auszudrücken.
Die Figuren 5a und 5b veranschaulichen zwei Ausführungsformen 28a und 28b der Befehlstabelle, welche durch Drücken der Schaltfläche 16 (siehe Fig. 1) aufgerufen werden kann.
Bei der Tabelle 28a sind im Wesentlichen alle Aktionen, die mittels eines virtuellen Stellvertreters (ComBot) durchgeführt werden können, in einem Gesamtgitter 29 dargestellt. Jede zur Verfügung stehende Animation wird durch ein entsprechendes quadratisches Icon in der Tabelle 28a repräsentiert. Dabei können die Icons jeweils nach gemeinsamen Gruppierungen angeordnet sein (z.B. nach „Liebe", „Freundschaft", etc.). Das Gesamtgitter 29 ist in zwei Abschnitte 30a und 30b unterteilt. Im ersten Abschnitt 30a befinden sich die grundlegenden Animationen („Basic Emotions"), die jedem Nutzer frei zur Verfügung stehen, wie Lachen, Weinen, etc. Im zweiten Abschnitt 30b hingegen befinden sich besondere Animationen („Gold Emotions"), die bei jedem Nutzer individuell verschieden sind. Diese Sonderfähigkeiten der Stellvertreter können von einem Nutzer bspw. durch Kauf, Tausch oder Handel mit anderen Nutzern erworben werden.
Es ist auch vorgesehen, dass in der Ausgangstabelle 29 (Übersichtstabelle) ein Icon nicht nur direkt für eine Emotion oder Animation steht, sondern stellvertretend für eine ganze Gruppe von Animationen. So steht das Herz-Icon 32 für die Gruppe der „Liebes-Animationen" . Durch Drücken des Icons 32 wird eine weitere Unter-Tabelle 31 geöffnet, aus welcher der Nutzer dann die gewünschte Liebes-Animation für seinen Stellvertreter auswählen kann. Eine Gruppierung umfasst also mehrere Varianten einer Grunddarstellung einer Emotion, wie z.B. der hier beschriebenen Herz-Darstellung. Diejenigen Animationen, welche sich keiner Gruppierung zuordnen lassen, werden in einer getrennten Spalte 33 dargestellt.
Bei der Ausführungsform nach Fig. 5b wird eine andere Art der Aufteilung der Emotionen gezeigt, wobei die Übersichtstabelle 28b auf sechs Felder beschränkt ist. Jedes dieser Felder steht für eine ganze Klasse von Animationen. Die jeweilige Klasse (z.B. Klasse 34 „Stimmung") wird durch Drücken des entsprechenden Feldes in der Tabelle 28b eingeblendet. Innerhalb der Klasse kann dann die gewünschte Animation ausgewählt werden. Eine andere Klasse umfasst z.B. alle Arten von aggressiven Emotionen und wird in der Ausgangstabelle 28b durch eine Bombe symbolisiert. Durch
Mausklick auf dieses Symbol eröffnet sich die Untertabelle, in der verschiedenartige Emotionen zur Auswahl stehen. Die innerhalb einer Klasse zusammen gefassten Emotionen unterscheiden sich nicht nur hinsichtlich ihrer Darstellungsform, sondern grundsätzlich. Das bedeutet, dass verschiedenartige Emotionen einer Klasse zugeordnet sein können. Gemeinsam ist ihnen dieselbe Bedeutung, inhaltliche Aussage oder Grundstimmung. Die hier beschriebene Klasse für aggressive Emotionen umfasst z.B. eine Bomben-Animation, eine Blitz-Animation oder eine Schieß-Animation.
Fig. 6 veranschaulicht, wie anhand einer Tabelle 28 die erwünschte Animation durch einen Nutzer ausgewählt und ausgelöst wird. Es gibt dabei im Wesentlichen drei Varianten A bis C, wobei die ersten zwei Varianten mit dem Prinzip des „Drag&Drop" durchgeführt werden. Die drei Varianten sind durch entsprechende Pfeile angedeutet.
Bei der Variante A zieht der Nutzer das ausgewählte Icon auf den entsprechenden Stellvertreter und lässt es dort fallen. Der so angesprochene Stellvertreter führt dann sofort die erwünschte Animation durch. Im Beispiel gemäß Fig. 6 wird eine Gewitterwolke ausgewählt und auf den fremden Stellvertreter 6 gezogen. Dies hat zur Folge, dass vom eigenen Stellvertreter 5 des Nutzers eine Gewitterwolke an den fremden Stellvertreter 6 geschickt wird und diesen durchnässt.
Bei der Variante B wird das Icon in den Nachrichtenbereich 11 gezogen und dort fallen gelassen. Dies führt dazu, dass beim jeweiligen Kommunikationspartner das ausgewählte Icon in dessen Nachrichtenbereich erscheint. Der
Kommunikationspartner kann dann durch Anklicken des Icons die vom Gegenüber übermittelte Animation auslösen.
Bei der Variante C wird das Icon durch den Nutzer einfach nur angeklickt. Dadurch wird das Icon in den Entwurfsbereich 13 an der dort aktuellen Cursorposition eingebunden. Beim Einbinden des Icons kann zusätzlich automatisch dem Nutzer ein passender Text angeboten werden. Wenn der Nutzer also z.B. das Icon „Geburtstagstorte" anklickt, kann im Entwurfsbereich 13 über der „Geburtstagstorte" noch der Text „Alles Gute zum Geburtstag!" erscheinen.
Durch Drücken des Senden-Knopfes 14 wird die geschriebene Textnachricht mit dem eingebundenen Icon an den Kommunikationspartner übersandt.
In Fig. 6 ist im Nachrichtenbereich 11 zudem noch ein kleines Gesicht 41 zu erkennen, welches auch als „Emoticon" bezeichnet wird. Derartige Gesichter, die eine bestimmte Stimmung ausdrücken, können wie gezeigt in den Nachrichtentext eingepflegt werden. Hierzu muss der Nutzer beim Abfassen einer Textnachricht im Entwurfsbereich 13 lediglich die Zeichenfolge des von ihm erwünschten Emoticons eingeben, z.B. :-). Diese Zeichenfolge wird dann automatisch in das entsprechende Gesicht umgewandelt, hier ©. Bei Betätigung des Senden-Knopfes 14, wird der Text dann samt Emoticon dem Kommunikationspartner übermittelt. Aus der in der Tabelle 28 angezeigten Auswahl von Emotionen kann auch jede einzelne Emotion per Doppelklick sofort aktiviert werden.
In Fig. 7 ist die automatische Texterkennung und —deutung („Parsen") dargestellt. Wenn ein Nutzer in seinen Entwurfsbereich 13 einen Text 35 eingibt, wird automatisch dessen Sinngehalt ermittelt. Sodann werden dem Nutzer die ermittelten Begriffe dargestellt, hier in Form einer Sprechblase 36. Gleichzeitig werden dem Nutzer zwei im
Hinblick auf den Sinngehalt des soeben eingegebenen Textes wohl passende Animationen in Form der Icons 37 vorgeschlagen. Im Beispiel gemäß Fig. 7 hat der Nutzer einen Grußtext mit Geburtstagswünschen eingegeben. Dementsprechend werden dem Nutzer eine „Liebes-Animation" und eine „Geburtstagskuchen- Animation" vorgeschlagen. Es ist auch vorgesehen, dass die Animation des Stellvertreters automatisch in Antwort auf den Sinngehalt des eingegebenen Textes erfolgt, ohne Auswahlmöglichkeit durch den Nutzer.
In den Figuren 8a bis 8d werden verschiedene Alternativen zur Verarbeitung der von den Nutzern abgegebenen Animationsbefehlen veranschaulicht.
Bei der Alternative gemäß Fig. 8a wird eine Animation 38a des Stellvertreters sofort unterbrochen und durch eine neue Animation 38b ersetzt, wenn der Nutzer einen Befehl zur Durchführung der neuen Animation 38b an seinen Stellvertreter richtet. Bei dieser Verarbeitung der Steuerbefehle erfolgt eine direkte und verzögerungsfreie Umsetzung, so dass das Verhalten des Stellvertreters schnell und dynamisch wirkt.
Bei der Alternative gemäß Fig. 8b wird im Gegensatz zur Fig. 8a die Animation 38a zunächst zu Ende geführt, bevor die neue Animation 38b erfolgt. Die ursprünglich im Anschluss vorgesehene Animation 38c wird dabei unterdrückt. Bei der Alternative gemäß Fig. 8c werden alle von den Nutzern ausgelösten Animationen linear nach einander abgearbeitet. Es findet keine Unterdrückung von Animationen statt. Die angeforderten Animationen werden also gemäß ihrer zeitlichen Reihenfolge in eine so genannte „Playlist" eingeordnet und nacheinander durchgeführt.
In Fig. 8d ist verdeutlicht, wie eine mehrfache Interaktion zwischen zwei Stellvertretern verarbeitet und abgespielt werden kann. Ein erster Nutzer lässt seinen Stellvertreter eine Aktion 38a durchführen. Diese wird dann durch eine Replik des Stellvertreters des zweiten Nutzers 39a unterbrochen, die ihrerseits stattdessen durchgeführt wird bis der Stellvertreter des ersten Nutzers wiederum durch die Aktion 38b reagiert.
In Fig. 9 sind die im Verhältnis zu einander spiegelverkehrten Animationsabschnitte 2a und 2b eines ersten und eines zweiten Nutzers dargestellt. Der erste Nutzer und der zweite Nutzer bedienen sich in beschriebener Weise ihres jeweiligen Animationsabschnittes 2a bzw. 2b, um über ihre Stellvertreter Emotionen miteinander auszutauschen. Der Austausch erfolgt über das Netzwerk 40 (z.B. dem Internet). Sowohl beim ersten Nutzer („my PC") als auch beim zweiten Nutzer („your PC") ist der eigene Stellvertreter auf der linken Seite dargestellt und der fremde Stellvertreter auf der rechten, so dass sich eine spiegelbildliche Ansicht ergibt. Bei der Kommunikation über die Stellvertreter sehen beide Nutzer in ihren jeweiligen Animationsabschnitten gleichzeitig denselben Ablauf. Man könnte also sagen, dass beide Nutzer „alles", d.h. die Gesamtheit aller ablaufenden Vorgänge sehen.
Im Übrigen ist noch vorgesehen, dass virtuelle Stellvertreter von Nutzern gekauft, gesammelt und getauscht werden können. So können einige Stellvertreter nur in limitierter Auflage existieren oder sogar einzigartig sein, so dass unterschiedliche Stellvertreter einen unterschiedlichen Handelswert besitzen. Mit dieser Maßnahme kann der Absatz und die Verbreitung der virtuellen Stellvertreter wesentlich verbessert werden.
Die Figuren 10 bis 28 zeigen ein Beispiel einer Kommunikation, wie sie zwischen Franz und Manuela ablaufen könnte. Die Figuren 10 bis 28 geben jeweils Momentaufnahmen („Screenshots") der Benutzeroberfläche 1 von Franz wieder. Dabei stellt Figur 10 den Anfang der Kommunikation und Figur 28 das Ende dar.
Um eine Kommunikationssitzung mit Manuela zu starten, drückt Franz mit seinem Mauscursor 41 auf die E-Schaltflache 17 (s. Fig. 10). Dadurch wird der Animationsabschnitt 2 eingeblendet, in welchem die virtuellen Stellvertreter 5 und 6 von Franz und Manuela dargestellt sind (s. Fig. 11). Das Namensschild 8 von Manuela ist dunkel unterlegt, was bedeutet, dass Manuela noch nicht mit Franz verbunden ist, d.h. Manuela ist noch „offline". In Fig. 12 ist Manuela nun „online", was daran zu erkennen ist, dass Manuelas Namensschild 8 nun ebenso wie Franz Namensschild hell unterlegt ist. Außerdem ist auf Manuelas Stellvertreter nun ebenso ein Lichtkegel 42 gerichtet.
Wie es in Fig. 13 zu erkennen ist, hat Franz eine erste Textnachricht an Manuela gerichtet, auf welche Manuela auch sogleich antwortet (s. Fig. 14). Während Manuela ihren Text eingibt, erscheint bei Franz im Fenster 10b eine Hand, die anzeigt, dass Manuela gerade eine Handlung vornimmt. Im Anschluss an ihre Texteingabe zeichnet Manuela mit der bereits beschriebenen Zeichenfunktion ein „trauriges Gesicht" 19. Anhand des im Fenster 10b dargestellten Stiftes kann Franz erkennen, dass Manuela gerade zeichnet (s. Fig. 15).
In Antwort auf die leicht spöttische Zeichnung 19 von Manuela gibt Franz einen weiteren Text ein und bewegt seinen Mauscursor 41 auf die Animationsfläche 43, die einen „Boxhandschuh" darstellt (s. Fig. 16). Durch ein Drag&Drop bewegt Franz den Boxhandschuh 43 auf Manuelas Stellvertreter (s. Fig. 17), so dass eine Interaktion ausgelöst wird, bei welcher Franz Stellvertreter einen Boxhandschuh auf Manuelas Stellvertreter abfeuert (s. Fig. 18). Manuelas Stellvertreter wird von diesem getroffen und fällt um (s. Fig. 19). Daraufhin löst Manuela ihrerseits eine Interaktion aus, bei welcher ihr Stellvertreter den Stellvertreter von Franz mit einer Gewitterwolke überzieht (s. Fig. 20 bis 22). Um dies wieder gut zu machen, sendet Manuela anschließend über ihren Stellvertreter einen Kussmund an Franz Stellvertreter (s. Fig. 23).
Um seinem Wohlgefühl über den Kussmund Ausdruck zu verleihen, bewegt Franz seinen Mauscursor 41 diesmal auf das Herz 44 (s. Fig. 24) und zieht dieses auf seinen Stellvertreter (s. Fig. 25). Dadurch wird eine Animation ausgelöst, in welcher Franz Stellvertreter Herzchen aussendet (s. Fig. 26).
Schließlich bereitet Franz noch eine Textnachricht in seinem Entwurfsabschnitt 13 vor. Diese schmückt er mit einem mittels der Zeichenfunktion freihändig gezeichneten Abschlussgruß 45 aus (s. Fig. 27). Zum Absenden der Textnachricht drückt Franz mit seinem Mauscursor 41 auf den Senden-Knopf 14 (s. Fig. 28). Nach dem Absenden wird die Nachricht sowohl bei Franz als auch bei Manuela im jeweiligen Nachrichtenabschnitt dargestellt. In der Fig. 29 ist eine andere Benutzeroberfläche 50 dargestellt. Diese hat ein alternatives Layout mit folgenden Bereichen:
Zunächst gibt es einen Kommunikations-Bereich 51 (Communications Area), der einen Nachrichtenabschnitt umfasst und über den die aktuelle Kommunikation in Echtzeit oder Nahezu-Echtzeit erfolgt, und es gibt einem Vorbereitungs- Bereich 53 mit einem Entwurfsabschnitt, in dem der jeweilige Nutzer die von ihm beabsichtigten Beiträge (Text, Grafik, Emotionen etc.) vorbereiten kann, bevor er sie durch Betätigung des Senden-Knopfs an den anderen Nutzer abschickt. Außerdem ist auch ein Gleiter 52 mit Steuerungsbalken vorgesehen, die die Bereiche 51 und 53 voneinander trennt und der Steuerungselemente zur Texteingabe, zum Zeichnen usw. bereitstellt. Soweit entspricht der Aufbau dieser Oberfläche
50 im Wesentlichen auch dem der bereits in der Fig. 1 dargestellten Oberfläche.
Hier in der Fig. 29 ist nun auch ein Übersichts-Bereich 55 mit Historie vorgesehen, in dem alle bisherigen Kommunikationen aufgelistet sind. Die Auflistung kann chronologisch, thematisch oder Nutzer-bezogen sein. Am unteren Ende befindet sich noch ein Bereich 55 mit einer Menüleiste, die vergleichbar zu der in Fig. 1 dargestellten Menüleiste diverse Funktions-Knöpfe umfasst.
Das in der Fig. 29 gezeigte Layout hat zudem noch einen Navigations-Bereich 56, der dazu dient, innerhalb einer einzelnen (noch laufenden oder bereits abgeschlossenen) Kommunikation zu navigieren. Dazu dient u.a. ein verschiebbares Fenster mit Ausschnitt 51, der einen Teilbereich im Navigationsbereich erfasst, wobei dieser Teilbereich dann in dem Bereich 51 vergrößert dargestellt wird. Es handelt sich hier also um eine Vergrößerungs- oder Lupenfunktion. Bei einer laufenden Kommunikation läuft in Echtzeit der Ausschnitt 57 immer mit dem Bereich 51 mit. Durch dieses „Mitlaufen" behält der Nutzer immer die
Übersicht und Orientierung innerhalb der Kommunikation. Durch Verschieben des Ausschnitts 57 kann er jederzeit zu beliebigen Stellen springen, die dann vergrößert im Bereich 51 angezeigt werden, so dass der Nutzer genau an dieser Stelle die Kommunikation ggf. ergänzen kann. Somit wird ein verschachteltes Ergänzen und ggf. Ändern einer Kommunikation ermöglicht. Die Benutzeroberfläche 50 hat zudem noch eine besonderen Bereich, in dem die Stellvertreter 5 und 6 (ComBots) der beiden Nutzer (hier das Auto von „Franz" bzw. das Auge von „Vroni") in Interaktion dargestellt werden. In diesem Fall wird aber nicht nur die non-verbale Kommunikation per Emotionen dargestellt, so wie es bereits zuvor beschrieben wurde (Fig. 1-29). Es wird jetzt auch die übrige Kommunikation angezeigt, die zwischen den beiden Nutzern stattfindet, wie z.B. Übertragung von Dateien (File Transfer) oder Text (per Email, SMS), Instant Messaging oder Chat sowie Telefongespräche (VoIP, PSTN) usw. Dazu wird ein entsprechendes Symbol 58 animiert und in dargestellt, wie z.B. ein vom ComBot 5 zum ComBot 6 fliegendes Dokument, das eine Dateiübertragung anzeigt. Somit erhalten die Nutzer die Gesamtübersicht über alle Arten von Kommunikation, die zwischen ihnen erfolgt.
Mit dem soeben beschriebenen Kommunikationsverfahren und —System können zwei oder mehr Nutzer auf besonders ansprechende, vielseitige und abwechslungsreiche Weise miteinander kommunizieren. Durch die Verwendung von virtuellen Stellvertretern und deren Animation bzw. Interaktion können insbesondere auf besonders effektive und anschauliche Weise Stimmungen, Gefühle und Emotionen zwischen den Nutzern ausgetauscht werden.
Mit der beschriebenen Erfindung kann eine sehr komfortable non-verbale Kommunikation geführt werden, insbesondere durch die benutzerfreundliche Bedienung per Mausklicks und
Drag&Drops. Die beschriebenen Stellvertreter (ComBots) und die Darstellung der zwischen ihnen stattfindenden Übertragung von Emotionen erzeugt einen sehr eingängige Eindruck bei den Nutzern und somit eine sehr anschauliche und direkte Übermittlung der jeweiligen Emotion, die sogar Gestik,
Körperspräche und Mimik wiedergeben können. Die Interaktion zwischen den ComBots, insbesondere die vorgebbare und automatisch steuerbare Interaktion, bietet für die beteiligten Kommunikationspartner eine neuartige Form der Kommunikation, wobei die eigentliche Ebenen der inhaltlichen Mitteilung sich mit einer spielerischen Ebene vereint. Die persönlichen Eigenheiten und Vorlieben der Nutzer werden durch systemgestützte Erfassung und Auswertung von nutzerspezifischen Daten berücksichtigt und erhöhen den Komfort und die Akzeptanz der erfindungsgemäßen Kommunikation.
Bezugszeichenliste
Benutzeroberfläche Animationsabschnitt Text- und Steuerungsabschnitt Menüleiste , 6 Virtueller Stellvertreter
7 , 8 Namensschild
9 Animation
10 Fenster
11 Nachrichtenabschnitt
12 Steuerungsbalken
13 Entwurfsabschnitt
14 Senden-Knopf
15 Animations-Schaltflächen
16 Tabellen-Schaltfläche
17 E-Schaltfläche
18 Zeichenwerkzeug
19 Zeichnung
19H Symbol für historische Emotion
20.1a, Stimmungsanzeige in Form von Smileys
20.1b
20.2a, Stimmungsanzeigebalken
20.2b
21, 22 Virtueller Stellvertreter
21Z Hinweis auf Anzahl von eingehenden Emotionen
23 Desktop
24 Gedankenblase
25 Zylinder
26, 27 Virtueller Stellvertreter
28 Animations-Tabelle
29 Gesamtgitter
30 Abschnitt
31 Unter-Tabelle
32 Icon
33 Spalte
34 Klasse Text-Nachricht Sprechblase Icons Animation Netzwerk Mauscursor Lichtkegel Interaktions-Schaltfläche Animations-Schaltfläche Zeichnung Benutzeroberfläche im alternativen Layout Kommunikations-Bereich mit Nachrichtenabschnitt Gleiter mit Steuerungsbalken Vorbereitungs-Bereich mit Entwurfsabschnitt Übersichts-Bereich mit Historie Unterer Bereich mit Menüleiste Navigations-Bereich Ausschnitt im Navigationsbereich animiertes Anzeige-Symbol für die laufende Kommunikation Stellvertreter Ringförmiges Menü Stellvertreter

Claims

Patentansprüche
1. Verfahren zur Telekommunikation zwischen mindestens zwei Nutzern über ein Telekommunikationsnetzwerk (40), wobei der erste Nutzer über eine erstes Endgerät und der zweite Nutzer über ein zweites Endgerät mit dem Telekommunikationsnetzwerk (40) verbunden ist, und wobei jedem Nutzer ein virtueller Stellvertreter (5, 6) zugeordnet ist, mit den folgenden Schritten:
- Darstellung der beiden Stellvertreter (5, 6) am ersten Endgerät und am zweiten Endgerät;
- Übertragung einer Information vom ersten Nutzer zum zweiten Nutzer und umgekehrt durch eine Animation mindestens eines
Stellvertreters (5, 6) und durch eine Interaktion zwischen den Stellvertretern (5, 6).
2. Verfahren nach Anspruch 1, wobei die Animation und/oder Interaktion in Antwort auf einen Nutzerbefehl, insbesondere in Antwort auf einen Drag&Drop-Befehl eines Nutzers erfolgt, und wobei insbesondere in Antwort auf einen Befehl des ersten Nutzers eine Animation des Stellvertreters (6) des zweiten Nutzers erfolgt und umgekehrt.
3. Verfahren nach Anspruch 2, wobei die in Antwort auf einen Nutzerbefehl erfolgende Animation und/oder Interaktion zeitgleich, parallel und in Echtzeit auf beiden Endgeräten der beiden Nutzer dargestellt wird.
4. Verfahren nach einem der Ansprüche 2 bis 3, mit einem der weiteren Schritte:
- direkter Abbruch einer laufenden Animation oder Interaktion (38a) in Antwort auf einen neuen Nutzerbefehl zur Durchführung einer erwünschten Animation oder Interaktion (38b); - Abschluss der laufenden Animation oder Interaktion (38a) und Anschließen der erwünschten Animation oder Interaktion (38b) in Antwort auf einen Nutzerbefehl zur Durchführung der erwünschten Animation oder Interaktion (38b); - Einreihung einer erwünschten Animation oder Interaktion (38f) in eine Warteliste durchzuführender Animationen oder Interaktionen (38a-38e)in Antwort auf einen Nutzerbefehl zur Durchführung der erwünschten Animation oder Interaktion (38f); oder - Abbruch einer durch den ersten Nutzer ausgelösten ersten Animation oder Interaktion und Ersetzen der ersten Animation oder Interaktion durch eine zweite durch den zweiten Nutzer ausgelöste Animation oder Interaktion und umgekehrt.
5. Verfahren nach einem der vorhergehenden Ansprüche, mit den weiteren Schritten:
- Erkennung einer durch einen Nutzer in sein Endgerät erfolgte Sprach- oder Texteingabe (35); und
- Analyse und Deutung der Sprach- oder Texteingabe (35), und/oder mit den weiteren Schritten:
- Video-Erkennung einer Mimik eines Nutzer; und
- Analyse und Deutung der Mimik des Nutzers.
6. Verfahren nach Anspruch 5, mit dem weiteren Schritt: - Bereitstellung mehrerer passender Animations- oder
Interaktionsmoglichkeiten im Einklang mit dem Sinngehalt der Sprach- oder Texteingabe (35) oder der Mimik, oder mit dem weiteren Schritt:
- Animation eines Stellvertreters (5, 6) und/oder Interaktion zwischen den Stellvertretern (5, 6) im Einklang mit dem
Sinngehalt der Sprach- oder Texteingabe (35) oder der Mimik.
7. Verfahren nach einem der vorhergehenden Ansprüche mit dem weiteren Schritt: - Darstellung der Animations- und Interaktionsmoglichkeiten der Stellvertreter (5, 6) in einer tabellarischen Übersicht (28), wobei insbesondere die tabellarische Übersicht eine festgelegte Anzahl von Klassen aufweist, unter welchen die Animations- und Interaktionsmoglichkeiten zusammengefasst und abrufbar sind.
8. Verfahren nach einem der vorhergehenden Ansprüche mit dem weiteren Schritt:
-Bereitstellung einer Zeichenfunktion (18) zur Ermöglichung einer Echtzeitübertragung eines Zeichnens (19) eines Nutzers auf seinem Endgerät an den anderen Nutzer auf dessen Endgerät, und/oder mit dem weiteren Schritt:
- Darstellung einer Stimmungsanzeige (20) an den jeweiligen Endgeräten der beiden Nutzer, welche die gegenwärtige jeweilige Stimmung der beiden Stellvertreter (5, 6) angibt, insbesondere mit dem weiteren Schritt:
- Animation eines Stellvertreters als Reaktion auf eine Veränderung der Stimmungsanzeige.
9. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Darstellung der beiden Stellvertreter (5, 6) am ersten Endgerät spiegelbildlich zu der Darstellung der beiden Stellvertreter (5, 6) am zweiten Endgerät erfolgt, und/oder wobei die eine Animation des mindestens einen Stellvertreters (5, 6) und/oder die Interaktion zwischen den Stellvertretern (5, 6) abhängig von vorgebbaren Kriterien erfolgt, insbesondere von Kriterien, die in einem Nutzerprofil abgespeichert werden, das mindestens einem der beiden Nutzer zugeordnet wird.
10. Verfahren nach einem der vorhergehenden Ansprüche, wobei mindestens einem der beiden Nutzer eine Auswahl an zu übertragenden Animationen und/ oder Interaktionen bereitgestellt wird, und/oder wobei in Abhängigkeit von vorgebbaren Kriterien, insbesondere von Kriterien, die in einem Nutzerprofil abgespeichert werden, das mindestens einem der beiden Nutzer zugeordnet wird, zumindest diesem Nutzer eine Auswahl an zu übertragenden Animationen und/oder Interaktionen vorgeschlagen wird.
11. Verfahren nach einem der Ansprüche 9 bis 10, wobei die vorgebbaren Kriterien Angaben über zumindest den einen der beiden Nutzer umfassen, insbesondere Angaben zu Geschlecht, Alter, Nationalität, Muttersprache, Sprechgewohnheiten oder - muster, Aufenthaltsort, Interessen und/oder Hobbys.
12. Verfahren nach einem der vorhergehenden Ansprüche, wobei die eine Animation des mindestens einen Stellvertreters (5, 6) und/oder die Interaktion zwischen den Stellvertretern (5, 6) in Antwort auf einen Drag&Drop-Befehl eines Nutzers erfolgt, wobei der Drag&Drop-Befehl sich auf den eigenen Stellvertreter (5) dieses Nutzers oder auf den Stellvertreter (6) des anderen Nutzers bezieht, und wobei die Animation bzw. Interaktion in Abhängigkeit davon erfolgt, auf welchen der beiden Stellvertreter (5, 6) sich der Drag&Drop-Befehl bezieht.
13. Verfahren nach einem der Ansprüche 5 oder 6, wobei das Erkennen der Sprach- oder Texteingabe bzw. die Video- Erkennung in Abhängigkeit von vorgebbaren Kriterien erfolgt, insbesondere von Kriterien, die in einem Nutzerprofil abgespeichert werden, das mindestens einem der beiden Nutzer zugeordnet wird, wobei insbesondere die vorgebbaren Kriterien Angaben über zumindest den einen der beiden Nutzer umfassen, insbesondere Angaben zu Geschlecht, Alter, Nationalität, Muttersprache, Sprechgewohnheiten oder -muster, Aufenthaltsort, Interessen und/oder Hobbies.
14. Verfahren nach Anspruch 8, wobei die eine Animation des mindestens einen Stellvertreters (5, 6) und/oder die Interaktion zwischen den Stellvertretern (5, 6) abhängig von der Stimmungsanzeige ist, die für zumindest einen der beiden Nutzer seine aktuelle emotionale Grundstimmung anzeigt, und/oder wobei die Stimmungsanzeige für zumindest einen der beiden Nutzer seine aktuelle emotionale Grundstimmung anzeigt, und wobei diese Stimmungsanzeige abhängig von der übertragenen Emotion und/oder Interaktion verändert wird.
15. Verfahren nach den Ansprüchen 8 und 10, wobei die mindestens einem der beiden Nutzer bereit gestellte Auswahl an zu übertragenden Animationen und/ oder Interaktionen in Abhängigkeit von der Stimmungsanzeige bereitgestellt wird, die für zumindest einen der beiden Nutzer seine aktuelle emotionale Grundstimmung anzeigt.
16. Verfahren nach Anspruch 10, wobei die mindestens einem der beiden Nutzer bereit gestellte Auswahl an zu übertragenden Animationen und/ oder Interaktionen in Form von zusammen gestellten Gruppierungen und/oder Klassen bereitgestellt wird, wobei insbesondere zumindest die Zusammenstellung der Klassen und/oder die Auswahl der Animationen und/oder Interaktionen automatisch und pseudo-zufalls-gesteuert erfolgt.
17. System zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 16.
EP05701278A 2004-01-30 2005-01-31 Verfahren und system zur telekommunikation mit virtuellen stellvertretern Withdrawn EP1714465A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP05701278A EP1714465A1 (de) 2004-01-30 2005-01-31 Verfahren und system zur telekommunikation mit virtuellen stellvertretern

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
EP04002154A EP1560402A1 (de) 2004-01-30 2004-01-30 Kommunikationsroboter
EP04012120 2004-05-21
US57448904P 2004-05-26 2004-05-26
US58469804P 2004-07-01 2004-07-01
US58646904P 2004-07-08 2004-07-08
DE102004033164A DE102004033164A1 (de) 2004-07-08 2004-07-08 Verfahren und System zum Verwalten und Vorschlagen von Kontaktgruppen
DE102004061884A DE102004061884B4 (de) 2004-12-22 2004-12-22 Verfahren und System zur Telekommunikation mit virtuellen Stellvertretern
US63855604P 2004-12-23 2004-12-23
EP05701278A EP1714465A1 (de) 2004-01-30 2005-01-31 Verfahren und system zur telekommunikation mit virtuellen stellvertretern
PCT/EP2005/000939 WO2005074235A1 (de) 2004-01-30 2005-01-31 Verfahren und system zur telekommunikation mit virtuellen stellvertretern

Publications (1)

Publication Number Publication Date
EP1714465A1 true EP1714465A1 (de) 2006-10-25

Family

ID=56290655

Family Applications (1)

Application Number Title Priority Date Filing Date
EP05701278A Withdrawn EP1714465A1 (de) 2004-01-30 2005-01-31 Verfahren und system zur telekommunikation mit virtuellen stellvertretern

Country Status (5)

Country Link
US (1) US20080214214A1 (de)
EP (1) EP1714465A1 (de)
JP (1) JP2007520005A (de)
CA (1) CA2551782A1 (de)
WO (1) WO2005074235A1 (de)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8365084B1 (en) * 2005-05-31 2013-01-29 Adobe Systems Incorporated Method and apparatus for arranging the display of sets of information while preserving context
USRE49187E1 (en) 2005-09-06 2022-08-23 Samsung Electronics Co., Ltd. Mobile communication terminal and method of the same for outputting short message
EP1771002B1 (de) * 2005-09-30 2017-12-27 LG Electronics Inc. Mobiles Bildübertragungsendgerät
DE102006021399B4 (de) * 2006-05-08 2008-08-28 Combots Product Gmbh & Co. Kg Verfahren und Vorrichtung zum Bereitstellen eines einem dargestellten Symbol zugeordneten Auswahlmenüs
DE102006024449A1 (de) * 2006-05-24 2007-11-29 Combots Product Gmbh & Co. Kg Übermittlung von Nachrichten mittels animierter Kommunikationselemente
US8726195B2 (en) 2006-09-05 2014-05-13 Aol Inc. Enabling an IM user to navigate a virtual world
US20080098315A1 (en) * 2006-10-18 2008-04-24 Dao-Liang Chou Executing an operation associated with a region proximate a graphic element on a surface
KR101079592B1 (ko) * 2006-11-03 2011-11-04 삼성전자주식회사 디스플레이장치 및 그 정보갱신방법
DE102006059174A1 (de) * 2006-12-14 2008-06-19 Combots Product Gmbh & Co. Kg Verfahren, Vorrichtung und System zum Bereitstellen eines einer Kommunikation zugeordneten Auswahlmenüs für non-verbale Botschaften
US8504926B2 (en) * 2007-01-17 2013-08-06 Lupus Labs Ug Model based avatars for virtual presence
EP1995909A1 (de) * 2007-05-25 2008-11-26 France Telecom Dynamisches Bewertungsverfahren der Stimmung eines Benutzers von Instant-Messaging
US7890876B1 (en) * 2007-08-09 2011-02-15 American Greetings Corporation Electronic messaging contextual storefront system and method
CN100514290C (zh) * 2007-11-08 2009-07-15 腾讯科技(深圳)有限公司 显示面板的管理系统和管理方法
US8584025B2 (en) 2008-05-02 2013-11-12 International Business Machines Corporation Virtual world teleportation
US8464167B2 (en) * 2008-12-01 2013-06-11 Palo Alto Research Center Incorporated System and method for synchronized authoring and access of chat and graphics
CN102566863B (zh) * 2010-12-25 2016-07-27 上海量明科技发展有限公司 在即时通信工具中设置辅助区的方法及系统
JP5742378B2 (ja) * 2011-03-30 2015-07-01 ソニー株式会社 情報処理装置、プレイリスト生成方法及びプレイリスト生成プログラム
WO2013063381A1 (en) * 2011-10-28 2013-05-02 Tovbot Smartphone and internet service enabled robot systems and methods
US11169655B2 (en) * 2012-10-19 2021-11-09 Gree, Inc. Image distribution method, image distribution server device and chat system
CN104184760B (zh) * 2013-05-22 2018-08-07 阿里巴巴集团控股有限公司 通讯过程中的信息交互方法、客户端及服务器
CN103369477B (zh) * 2013-07-02 2016-12-07 华为技术有限公司 显示媒体信息方法、装置、客户端,图形控件显示方法和装置
WO2015012760A1 (en) * 2013-07-23 2015-01-29 Mozat Pte Ltd A novel method of incorporating graphical representations in instant messaging services
US20150331550A1 (en) * 2014-05-15 2015-11-19 Narvii Inc. Systems and methods implementing user interface objects
US9857939B2 (en) 2015-02-27 2018-01-02 Accenture Global Services Limited Three-dimensional virtualization
US10225220B2 (en) 2015-06-01 2019-03-05 Facebook, Inc. Providing augmented message elements in electronic communication threads
US9658704B2 (en) * 2015-06-10 2017-05-23 Apple Inc. Devices and methods for manipulating user interfaces with a stylus
US20170054662A1 (en) * 2015-08-21 2017-02-23 Disney Enterprises, Inc. Systems and methods for facilitating gameplay within messaging feeds
CN105468244A (zh) * 2015-12-11 2016-04-06 俺朋堂(北京)网络科技有限公司 一种多人聊天页面实现方法
US20190114037A1 (en) 2017-10-17 2019-04-18 Blend Systems, Inc. Systems and methods for distributing customized avatars responsive to events
US10698583B2 (en) * 2018-09-28 2020-06-30 Snap Inc. Collaborative achievement interface
US11209964B1 (en) * 2020-06-05 2021-12-28 SlackTechnologies, LLC System and method for reacting to messages

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5347306A (en) * 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2727982B2 (ja) * 1994-10-28 1998-03-18 日本電気株式会社 インクジェット式プリントヘッド
US5880731A (en) * 1995-12-14 1999-03-09 Microsoft Corporation Use of avatars with automatic gesturing and bounded interaction in on-line chat session
US6476830B1 (en) * 1996-08-02 2002-11-05 Fujitsu Software Corporation Virtual objects for building a community in a virtual world
US5732232A (en) * 1996-09-17 1998-03-24 International Business Machines Corp. Method and apparatus for directing the expression of emotion for a graphical user interface
US6230111B1 (en) * 1998-08-06 2001-05-08 Yamaha Hatsudoki Kabushiki Kaisha Control system for controlling object using pseudo-emotions and pseudo-personality generated in the object
JP2000076487A (ja) * 1998-09-03 2000-03-14 Sony Corp 情報処理装置および方法、並びに提供媒体
US20030051003A1 (en) * 1999-12-20 2003-03-13 Catherine Clark Communication devices
US6404438B1 (en) * 1999-12-21 2002-06-11 Electronic Arts, Inc. Behavioral learning for a visual representation in a communication environment
NZ519616A (en) * 1999-12-24 2002-10-25 Siemens Ltd A portable symbol for establishing a telephone call where data and software is copied with the symbol
US6784901B1 (en) * 2000-05-09 2004-08-31 There Method, system and computer program product for the delivery of a chat message in a 3D multi-user environment
JP2002055935A (ja) * 2000-08-07 2002-02-20 Sony Corp 情報処理装置および情報処理方法、サービス提供システム、並びに記録媒体
US6910186B2 (en) * 2000-12-08 2005-06-21 Kyunam Kim Graphic chatting with organizational avatars
US7203356B2 (en) * 2002-04-11 2007-04-10 Canesta, Inc. Subject segmentation and tracking using 3D sensing technology for video compression in multimedia applications
US20040220850A1 (en) * 2002-08-23 2004-11-04 Miguel Ferrer Method of viral marketing using the internet
US7853652B2 (en) * 2003-01-18 2010-12-14 International Business Machines Corporation Instant messaging system with privacy codes
US20040179037A1 (en) * 2003-03-03 2004-09-16 Blattner Patrick D. Using avatars to communicate context out-of-band
US20050054381A1 (en) * 2003-09-05 2005-03-10 Samsung Electronics Co., Ltd. Proactive user interface
US10225373B2 (en) * 2003-11-21 2019-03-05 Thomson Reuters (Grc) Llc Financial-information systems, methods, interfaces, and software
US8171084B2 (en) * 2004-01-20 2012-05-01 Microsoft Corporation Custom emoticons

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2005074235A1 *

Also Published As

Publication number Publication date
US20080214214A1 (en) 2008-09-04
WO2005074235A1 (de) 2005-08-11
CA2551782A1 (en) 2005-08-11
JP2007520005A (ja) 2007-07-19

Similar Documents

Publication Publication Date Title
EP1714465A1 (de) Verfahren und system zur telekommunikation mit virtuellen stellvertretern
DE60209261T2 (de) Rich-kommunikation über das internet
DE102006021399B4 (de) Verfahren und Vorrichtung zum Bereitstellen eines einem dargestellten Symbol zugeordneten Auswahlmenüs
Cassell et al. Fully embodied conversational avatars: Making communicative behaviors autonomous
DE69629983T2 (de) Verfahren zum anteiligen Nutzen eines dreidimensionalen Raumes in virtueller Realität und System dafür
EP2198589B1 (de) Verfahren zum ausführen einer auf einem netzwerkprotokoll, insbesondere tcp/ip und/oder udp, aufbauenden multimedialen kommunikation.
DE202016003234U1 (de) Vorrichtung zum Einfangen von und Interagieren mit erweiterten digitalen Bildern
DE202015006142U1 (de) Elektronische Touch-Kommunikation
DE202016002529U1 (de) Vorrichtungen zum Einfangen von und Interagieren mit erweiterten digitalen Bildern
DE112015004021T5 (de) Elektronische touch-kommunikation
EP4062344A1 (de) Verfahren zum betreiben eines bediensystems in einem fahrzeug und bediensystem für ein fahrzeug
CN105345818A (zh) 带有情绪及表情模块的3d视频互动机器人
CN107480766B (zh) 多模态虚拟机器人的内容生成的方法和系统
DE102011014232A1 (de) System and method for predicting meeting subjects logistics and resources
DE102004061884B4 (de) Verfahren und System zur Telekommunikation mit virtuellen Stellvertretern
DE102006021376A1 (de) Verfahren und Vorrichtung zum Bereitstellen von angepassten Kommunikationsfenstern zur Kommunikation mit einem Kommunikationspartner in einer Anwendung auf einem Endgerät eines Benutzers
CN108043026B (zh) 通过适老化游戏满足老人精神需求的系统及方法
KR20070018843A (ko) 가상 상징물들을 이용한 전기통신 방법 및 시스템
KR100372929B1 (ko) 채팅 이미지 작성 방법
WO2005074237A1 (de) Kommunikationsroboter für verbesserte kommunikation und kontakte
EP1632274A1 (de) Online Multimedia Kreuzworträtsel
EP0921482A2 (de) Vorrichtung und Verfahren zur Bestimmung von Verhaltensmustern von Konsumenten und Informationssuchenden in einer Open-Community-Plattform
DE102006059174A1 (de) Verfahren, Vorrichtung und System zum Bereitstellen eines einer Kommunikation zugeordneten Auswahlmenüs für non-verbale Botschaften
DE102006010770B4 (de) Verfahren zur Einladung, ein Kommunikationssystem zu nutzen, und zur Installation eines Kommunikationselementes, sowie eine das Verfahren ausführende Vorrichtung
Hsu et al. Application of Robots for Enhancing Social Presence in Remote Communication Scenarios

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20060830

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU MC NL PL PT RO SE SI SK TR

17Q First examination report despatched

Effective date: 20061122

DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20080819