RU42905U1 - EMOTION DETECTION SYSTEM - Google Patents
EMOTION DETECTION SYSTEM Download PDFInfo
- Publication number
- RU42905U1 RU42905U1 RU2004129162U RU2004129162U RU42905U1 RU 42905 U1 RU42905 U1 RU 42905U1 RU 2004129162 U RU2004129162 U RU 2004129162U RU 2004129162 U RU2004129162 U RU 2004129162U RU 42905 U1 RU42905 U1 RU 42905U1
- Authority
- RU
- Russia
- Prior art keywords
- data
- individual
- voice data
- voice
- video image
- Prior art date
Links
Abstract
Полезная модель относится к устройствам обработки данных, предназначенных для специфических функций, а именно к системам цифровой обработки голосовых данных для определения рефлекторных реакций в ответ на вербальное воздействие, и может быть использована в сфере телекоммуникаций, развлечений, медицине, в средствах массовой информации. Предлагаемая система для обнаружения эмоций содержит средство ввода, выполненное с возможностью ввода голосовых данных индивидуума и/или ввода мультимедийных данных, анализатор голоса, выполненный с возможностью обнаружения эмоций путем обработки голосовых данных индивидуума, преобразованных в цифровую форму, и включающий средство генерирования данных уровня эмоционального состояния, выполненное с возможностью представления пользователю сгенерированных данных через средство воспроизведения. Новым является то, что средство генерирования выполнено с возможностью изменения голосовых данных и/или данных видеоизображения в зависимости от уровня обнаруженных эмоций, при этом средство воспроизведения выполнено с возможностью воспроизведения голосовых данных и/или данных видеоизображения с характеристиками, измененными средством генерирования. Т.о. пользователь воспринимает информацию об обнаруженных эмоциях непосредственно вместе с голосовыми данными или видеоизображением индивидуума, к которому они относятся и не будет отвлекаться на другие объекты, например анимационные картинки, как по известным техническим решениям, что позволяет упростить как саму систему, так и анализ эмоционального состояния при ее использовании даже при быстром темпе подачи голосовых данных.The utility model relates to data processing devices designed for specific functions, namely, digital voice processing systems for determining reflex responses in response to verbal effects, and can be used in telecommunications, entertainment, medicine, and the media. The proposed system for detecting emotions contains input means configured to input the voice data of the individual and / or input multimedia data, a voice analyzer configured to detect emotions by processing the voice data of the individual converted to digital form, and including means for generating data of the level of emotional state made with the possibility of presenting the generated data to the user through the reproducing means. What is new is that the generating means is configured to change voice data and / or video image data depending on the level of detected emotions, while the reproducing means is configured to play voice data and / or video image data with characteristics changed by the generating means. T.O. the user perceives information about the detected emotions directly along with the voice data or video image of the individual to which they relate and will not be distracted by other objects, for example, animated pictures, using well-known technical solutions, which allows to simplify both the system itself and the analysis of the emotional state when its use even at a fast pace of voice data.
Description
Полезная модель относится к устройствам обработки данных, предназначенных для специфических функций, а именно к системам цифровой обработки голосовых данных для определения рефлекторных реакций в ответ на вербальное воздействие, и может быть использована в сфере телекоммуникаций, развлечений, медицине, в средствах массовой информации.The utility model relates to data processing devices designed for specific functions, namely, digital voice processing systems for determining reflex responses in response to verbal effects, and can be used in telecommunications, entertainment, medicine, and the media.
Известны различные системы и способы видеоконференций в компьютерных сетях, когда мультимедийные данные передаются по телекоммуникационной сети и включают в себя, по меньшей мере, данные изображений абонентов, голосовые и/или текстовые данные абонентов (например, патент US 5488686, опубл. 30.01.1996). Такие системы обработки данных не отражают рефлекторные реакции абонентов.There are various systems and methods for video conferencing in computer networks, when multimedia data is transmitted over a telecommunication network and includes at least subscriber image data, voice and / or text data of subscribers (for example, US patent 5488686, publ. 30.01.1996) . Such data processing systems do not reflect the reflex reactions of subscribers.
Известна система видеоконференций, содержащая абонентские станции видеоконференции, которые соединены друг с другом через телекоммуникационную сеть и включают в себя коммуникационный блок, устройство воспроизведения для одновременного визуального представления данных изображений абонентов и модуль выдачи тональных данных для воспроизведения тональных данных абонентов, а также модуль ввода данных изображений для сбора данных изображений абонентов и модуль ввода тональных данных для сбора тональных данных абонентов (WO 01/84838, опубл. 08.11.2001). Абонентские станции видеоконференции содержат систему слежения за положением глаз, посредством которой регистрируется направление наблюдения абонента и посредством которой данные слежения за положением глаз передаются в коммуникационный блок, при этом система видеоконференции содержит средства, которые передают с полным разрешением и скоростью передачи изображений по телекоммуникационной сети на коммуникационный блок абонентской станции видеоконференции данные изображения того абонента, данные изображения которого воспроизводятся на устройстве воспроизведения абонентской станции в текущем направлении взгляда абонента этой абонентской станции, в то время как данные изображений остальных абонентов передаются с пониженным разрешением и/или с пониженной скоростью передачи изображений. Такая система отражает только факт внимания или невнимания абонента к видеоконференции.A known video conferencing system comprising subscriber video conferencing stations that are connected to each other via a telecommunication network and include a communication unit, a playback device for simultaneously visually presenting subscriber image data and a tone data output module for reproducing subscriber tone data, and an image data input module for collecting subscriber image data and a tone input module for collecting subscriber tone data (WO 01/84838, publ. 0 November 8, 2001). Video conferencing subscriber stations contain an eye tracking system by which the direction of observation of the subscriber is recorded and by which eye tracking data is transmitted to the communication unit, while the video conferencing system contains means that transmit with full resolution and image transmission speed over the telecommunication network to the communication block of a subscriber station of a video conference image data of that subscriber whose image data is reproduced are displayed on the playback device of the subscriber station in the current direction of the subscriber's gaze of that subscriber station, while the image data of the remaining subscribers is transmitted with a lower resolution and / or with a reduced image transmission speed. Such a system reflects only the fact of the attention or inattention of the subscriber to video conferencing.
Известен способ телекоммуникаций в компьютерных сетях, включающий в себяA known method of telecommunications in computer networks, including
обмен текстовой, звуковой и видеоинформацией между пользователями, связанными сетью и представляемыми масками на экране компьютера (патент RU 2218593, опубл. 10.12.2003). Видеоинформацию представляют посредством экранного объекта с изменяемыми формой, структурой, цветом и пространственной ориентацией по меньшей мере одной из его частей, управляемых поведением пользователя и позволяющих идентифицировать пользователя, управляющего поведением этого экранного объекта по характерным признакам и манерам. Однако, при этом не отражается объективная рефлекторная реакция пользователей при обмене информацией.exchange of text, sound and video information between users connected by a network and represented by masks on a computer screen (patent RU 2218593, publ. 10.12.2003). Video information is presented by means of a screen object with variable shape, structure, color and spatial orientation of at least one of its parts, controlled by user behavior and allowing to identify the user that controls the behavior of this screen object by characteristic signs and manners. However, this does not reflect the objective reflex response of users in the exchange of information.
Известны устройства для определения рефлекторных реакций по голосу, например стресс-детекторы по голосу. Принцип работы таких устройств основан на существенном различии в характере изменений динамических характеристик голоса при ответе испытуемого на релевантный и иррелевантный вопросы. При работе известных устройств осуществляется регистрация, обработка и представление в удобном виде изменения динамических характеристик голоса (например, патент US 3971034, опубл. 20.07.1976). Анализ выведенных динамических характеристик требует относительно высокой квалификации, при этом затруднено проведение такого анализ непосредственно во время общения.Known devices for determining reflex responses by voice, for example stress detectors by voice. The principle of operation of such devices is based on a significant difference in the nature of changes in the dynamic characteristics of the voice when the test subject answers relevant and irrelevant questions. When the known devices are in operation, registration, processing and presentation in a convenient form of changing the dynamic characteristics of the voice is carried out (for example, patent US 3971034, publ. 07.20.1976). The analysis of the derived dynamic characteristics requires a relatively high qualification, while it is difficult to conduct such an analysis directly during communication.
Известна система обнаружения эмоций субъекта, содержащая блок ввода голоса, блоки обнаружения интенсивности, темпа и интонации голоса, блок обнаружения величин изменения этих характеристик, и блок обнаружения эмоций для выдачи сигналов, выражающих эмоциональные состояния по меньшей мере гнева, печали и удовольствия, на основе указанных величин изменения характеристик (WO 02/23524, опубл. 21.03.2002). Система требует дополнительной проработки для встраивания ее в телекоммуникационные системы и устройства.A known system for detecting the emotions of a subject, comprising a voice input unit, units for detecting intensity, tempo and intonation of a voice, a unit for detecting changes in these characteristics, and an unit for detecting emotions for generating signals expressing the emotional states of at least anger, sadness and pleasure, based on these values of changes in characteristics (WO 02/23524, publ. 21.03.2002). The system requires additional work to integrate it into telecommunication systems and devices.
Известно устройство для обнаружения эмоций (WO 99/31653, опубл. 24.06.1999). Устройство включает анализатор голоса, на вход которого подают образец речи, произведенный индивидуумом, и с которого получают информацию об интонации голоса, а также генератор эмоций, для генерации на его выходе данных об эмоциональном состоянии индивидуума, в частности о честности или нечестности индивидуума, основанных на информации об интонации голоса. Данное устройство может использоваться автономно, так и встраиваться в сети. Однако, анализ выводимых данных требует относительно A device for detecting emotions is known (WO 99/31653, publ. 06/24/1999). The device includes a voice analyzer, at the input of which a sample of speech produced by the individual is fed, and from which information on the voice intonation is received, as well as an emotion generator, to generate data on the individual’s emotional state, in particular, the honesty or dishonesty of the individual, based on information about voice intonation. This device can be used autonomously, and can be integrated into the network. However, analysis of the output requires relatively
высокой квалификации, при этом затруднено проведение такого анализ непосредственно во время общения, особенно если общение ведется в быстром темпе.highly qualified, while it is difficult to conduct such an analysis directly during communication, especially if communication is conducted at a fast pace.
В качестве прототипа выбрано устройство для обнаружения эмоций, подобное вышеописанному, того же изобретателя (WO 00/62279, опубл. 19.10.2000). Устройство содержит анализатор голоса, на вход которого подают образец речи, включающий аналого-цифровой конвертер для преобразования звуков голоса в цифровую форму, а также универсальный генератор эмоций для определения практически любого вида эмоций. Аналого-цифровой конвертер может использовать любой вид источника голосовых данных, при этом на вход анализатора могут подаваться голосовые данные от телефона или с телефонной линии, с микрофона, через телекоммуникационную сеть, например через Интеренет. Уровень эмоционального состояния выводится пользователю с помощью экрана, текстового дисплея, графического дисплея и/или звукового сообщения. Эмоциональное состояние говорящего, в частности его честность или нечестность, представляется, в частности, в виде визуальной индикации уровня конкретных эмоций в процентах с предоставлением отчета в конце прослушивания, или в виде генерируемого анимированного изображения, например цветка с лепестками, по уменьшению или увеличению числа которых можно судить об уровне эмоций непосредственно во время прослушивания или просмотра видеоматериалов (см. например, сайты www.v-entertainment.com, www.nemesysco.com, подробно описывающие продукцию по данному техническому решению). Устройство позволяет определить широкую гамму эмоциональных состояний, однако устройству присущи те же недостатки, которые отмечены для предыдущего технического решения. Кроме того, известное техническое решение предполагает оснащение устройства пользователя специфическими программно-аппаратными средствами, что увеличивает стоимость отдельного устройства или стоимость модернизации имеющегося устройства, например персонального компьютера.As a prototype, a device for detecting emotions, similar to the above, of the same inventor (WO 00/62279, publ. 19.10.2000) was selected. The device contains a voice analyzer, at the input of which a speech sample is supplied, including an analog-to-digital converter for converting voice sounds to digital form, as well as a universal generator of emotions to determine almost any kind of emotions. An analog-to-digital converter can use any type of voice data source, while voice data can be input to the analyzer from a telephone or from a telephone line, from a microphone, via a telecommunication network, for example via the Internet. The level of emotional state is displayed to the user using a screen, text display, graphic display and / or sound message. The speaker’s emotional state, in particular his honesty or dishonesty, is presented, in particular, as a visual indication of the level of specific emotions as a percentage with a report at the end of listening, or as a generated animated image, for example, a flower with petals, to reduce or increase the number of which you can judge the level of emotions directly while listening to or watching videos (see, for example, the sites www.v-entertainmentment.com, www.nemesysco.com, which describe in detail the products for this technique eskomu decision). The device allows you to define a wide range of emotional states, however, the device has the same disadvantages that are noted for the previous technical solution. In addition, the known technical solution involves equipping the user's device with specific software and hardware, which increases the cost of a single device or the cost of upgrading an existing device, such as a personal computer.
Решаемая техническая задача - упрощение системы для обнаружения эмоций по голосу, а также анализа эмоционального состояния при ее использовании.The technical task to be solved is the simplification of the system for detecting emotions by voice, as well as analyzing the emotional state when using it.
Предлагается система для обнаружения эмоций, содержащая средство ввода, выполненное с возможностью ввода голосовых данных индивидуума и/или ввода мультимедийных данных, включающих по крайней мере голосовые данные индивидуума вместе с данными видеоизображения индивидуума или видеоизображения индивидуума вместе с объектами обстановки вблизи этого индивидуума, анализатор голоса, выполненный с возможностью обнаружения эмоций путем обработки голосовых данных индивидуума, A system for detecting emotions is proposed, comprising an input means configured to input an individual’s voice data and / or input multimedia data, including at least an individual’s voice data together with individual’s video image data or individual video image data, together with environmental objects near the individual, a voice analyzer, configured to detect emotions by processing the voice data of the individual,
преобразованных в цифровую форму, и включающий средство генерирования для генерирования данных уровня эмоционального состояния, выполненное с возможностью представления пользователю сгенерированных данных уровня эмоционального состояния через средство воспроизведения. Новым является то, что средство генерирования выполнено с возможностью изменения голосовых данных и/или данных видеоизображения в зависимости от уровня обнаруженных эмоций, при этом средство воспроизведения выполнено с возможностью воспроизведения голосовых данных и/или данных видеоизображения с характеристиками, измененными средством генерирования. Т.о. пользователь воспринимает информацию об обнаруженных эмоциях непосредственно вместе с голосовыми данными или видеоизображением индивидуума, к которому они относятся и не будет отвлекаться на другие объекты, например анимационные картинки, как по известным техническим решениям, что позволяет упростить как саму систему, так и анализ эмоционального состояния при ее использовании даже при быстром темпе подачи голосовых данных.digitized, and including generating means for generating emotional state level data, configured to present the generated emotional state level data to the user through the reproducing means. What is new is that the generating means is configured to change voice data and / or video image data depending on the level of detected emotions, while the reproducing means is configured to reproduce voice data and / or video image data with characteristics changed by the generating means. T.O. the user perceives information about the detected emotions directly along with the voice data or the video image of the individual to which they relate and will not be distracted by other objects, for example, animated pictures, using well-known technical solutions, which allows to simplify both the system itself and the analysis of the emotional state when its use even at a fast pace of voice data.
Средство ввода может включать аналого-цифровой преобразователь для преобразования в цифровую форму по крайней мере голосовых данных, например звуковую карту.The input means may include an analog-to-digital converter for digitizing at least voice data, such as a sound card.
Анализатор голоса может быть выполнен с возможностью обнаружения эмоций по характеристикам голосовых данных, выбранных из группы: интонация, интенсивность, темп.The voice analyzer can be configured to detect emotions by the characteristics of voice data selected from the group: intonation, intensity, pace.
Анализатор голоса выполнен с возможностью обнаружения эмоций, соответствующих честности или нечестности индивидуума. При этом средство генерирования может быть выполнено с возможностью изменения характеристик голосовых данных и/или данных видеоизображения в случае обнаружения эмоций, соответствующих нечестности индивидуума. Это дополнительно упрощает анализ.The voice analyzer is configured to detect emotions corresponding to the honesty or dishonesty of the individual. In this case, the generating means can be configured to change the characteristics of voice data and / or video image data in case of detection of emotions corresponding to dishonesty of the individual. This further simplifies the analysis.
Средство воспроизведения выполнено с возможностью воспроизведения голосовых данных в звуковой форме, например с помощью громкоговорителя, наушников и т.п. При этом средство генерирования лучше выполнять с возможностью изменения амплитудно-частотных характеристик голосовых данных, например путем изменения тембра и/или высоты звуков голосовых данных, что сразу позволяет определить эмоциональное состояние индивидуума.The playback tool is configured to play voice data in audio form, for example using a speaker, headphones, etc. Moreover, the generating means is better performed with the ability to change the amplitude-frequency characteristics of voice data, for example, by changing the timbre and / or pitch of the sounds of voice data, which immediately allows you to determine the emotional state of the individual.
Система может дополнительно содержать средство преобразования для преобразования голосовых данных в текстовую форму, при этом средство воспроизведения The system may further comprise conversion means for converting voice data into text form, wherein the reproducing means
выполняют с возможностью воспроизведения голосовых данных в текстовой форме любым известным способом. При этом средство генерирования лучше выполнять с возможностью изменения формы и/или цвета и/или яркости и/или контрастности и/или частоты появления текста голосовых данных, воспроизводимого средством воспроизведения.perform with the ability to play voice data in text form in any known manner. In this case, the generating means is better performed with the ability to change the shape and / or color and / or brightness and / or contrast and / or frequency of occurrence of the voice data text reproduced by the reproducing means.
Средство воспроизведения может быть выполнено с возможностью воспроизведения данных видеоизображения индивидуума или видеоизображения индивидуума вместе с объектами обстановки вблизи этого индивидуума, т.е. это может быть любой известный дисплей. При этом средство генерирования лучше выполнять с возможностью изменения формы и/или цвета и/или яркости и/или контрастности и/или частоты появления видеоизображения индивидуума и/или объектов обстановки вблизи индивидуума, воспроизводимых средством воспроизведения.The reproducing means may be adapted to reproduce video data of an individual or video image of an individual together with objects of the environment close to that individual, i.e. it can be any known display. In this case, the generating means is better performed with the possibility of changing the shape and / or color and / or brightness and / or contrast and / or frequency of occurrence of the video image of the individual and / or objects in the vicinity of the individual reproduced by the reproducing means.
Система может быть выполнена с возможностью записи и хранения по крайней мере голосовых данных и/или данных видеоизображения с характеристиками, измененными средством генерирования. Запись может производиться на любой известный материальный носитель: жесткий диск, CD, DVD, FD, аудиокассету, видеокассету и т.п.The system may be configured to record and store at least voice data and / or video image data with characteristics changed by the generating means. Recording can be done on any well-known tangible media: hard disk, CD, DVD, FD, audio tape, video tape, etc.
Система может быть интегрирована в состав одного устройства, например в состав персонального компьютера, ноутбука, телефонного аппарата, мобильного телефона, видеокамеры.The system can be integrated as part of a single device, for example, as part of a personal computer, laptop, telephone, mobile phone, video camera.
Система может входить в состав телекоммуникационной сети, например в сеть телефонной связи, сеть мобильной телефонной связи, в локальную или компьютерную сеть.The system may be part of a telecommunication network, for example, a telephone network, a mobile telephone network, a local or computer network.
Когда система входит в состав сети телефонной связи, анализатор голоса со средством генерирования могут быть включены в состав телефонной или передающей станции, при этом телефонный аппарат или мобильный телефон пользователя включает в себя по крайней мере средство воспроизведения.When the system is part of a telephone network, a voice analyzer with generating means can be included in the telephone or transmitting station, while the telephone or user’s mobile phone includes at least a playback means.
Когда система входит в состав компьютерной сети (локальной или глобальной, например Интернет), анализатор голоса со средством генерирования могут быть включены в состав сервера компьютерной сети, при этом удаленное устройство пользователя включает в себя по крайней мере средство воспроизведения.When the system is part of a computer network (local or global, such as the Internet), a voice analyzer with generating means can be included in the computer network server, and the remote user device includes at least a playback tool.
Полезная модель поясняется чертежом, на котором приведена принципиальная схема частного случая осуществления заявляемой системы с использованием персонального компьютера.The utility model is illustrated by the drawing, which shows a schematic diagram of a particular case of the implementation of the inventive system using a personal computer.
Полезная модель поясняется на примере выполнения системы для обнаружения эмоций. Сплошной линией со стрелками показаны возможные пути соединения портов персонального компьютера с периферийньми устройствами.The utility model is illustrated by the example of a system for detecting emotions. The solid line with arrows shows the possible ways to connect the ports of a personal computer with peripheral devices.
Рабочее место пользователя заявляемой системы включает IBM-совместимый персональный компьютер, в частности снабженный системным блоком 1 с дисководами 2 (CD, DVD, FD), монитором 3, колонками 4, микрофоном 5, цифровой мини видеокамерой 6. С помощью системы портов с соответствующими картами и модемом (не показаны), персональный компьютер может быть соединен с локальной компьютерной сетью, сетью Интернет, телефонной сетью, с мобильным телефоном 7, автономной видеокамерой 8 и другими периферийными устройствами. Аппаратно-программные средства персонального компьютера обеспечивают ввод голосовых данных и/или ввода мультимедийных данных, включающих голосовые данные индивидуума вместе с данными видеоизображения индивидуума или видеоизображения индивидуума вместе с объектами обстановки вблизи этого индивидуума, а также обнаруживать эмоции индивидуума путем обработки голосовых данных индивидуума, преобразованных в цифровую форму, с последующим генерированием данных уровня эмоционального состояния и представлением их пользователю, например с помощью устройств 3 и/или 4, а также с помощью других периферийных устройств, имеющих возможность вывода графической, текстовой или звуковой информации. При этом обработки голосовых данных для вышеуказанных целей может производиться любым известным способом с определенной степенью достоверности (например, раскрытых в следующих источниках: WO 99/31653, опубл. 24.06.1999; WO 00/62279, опубл. 19.10.2000; WO 02/23524. опубл. 21.03.2002).The user's workplace of the claimed system includes an IBM-compatible personal computer, in particular equipped with a system unit 1 with drives 2 (CD, DVD, FD), a monitor 3, speakers 4, a microphone 5, a digital mini video camera 6. Using a port system with corresponding cards and a modem (not shown), the personal computer can be connected to a local computer network, the Internet, a telephone network, a mobile phone 7, a standalone video camera 8, and other peripheral devices. The hardware and software of a personal computer provide voice data input and / or multimedia data input, including the individual’s voice data together with the individual’s video image data or individual’s video image together with the environment objects near this individual, as well as detecting individual emotions by processing the individual’s voice data converted to digital form, followed by generating data of the level of emotional state and presenting it to the user, for example using devices 3 and / or 4, as well as using other peripheral devices that can display graphic, text or sound information. At the same time, processing of voice data for the above purposes can be performed by any known method with a certain degree of certainty (for example, disclosed in the following sources: WO 99/31653, publ. 06.24.1999; WO 00/62279, publ. 19.10.2000; WO 02 / 23524. publ. 21.03.2002).
Возможны следующие варианты работы системы.The following system operation options are possible.
Мультимедийные данные, включающие видеозапись индивидуума со звуком его голоса (т.е. с голосовыми данными), загружают в систему следующим образом:Multimedia data, including video recording of an individual with the sound of his voice (i.e., with voice data), is downloaded into the system as follows:
а) с материального носителя, например в виде диска CD или DVD - с помощью дисковода 2;a) from tangible media, for example in the form of a CD or DVD, using drive 2;
б) из локальной компьютерной сети - с помощью сетевой карты системного блока 2;b) from the local computer network - using the network card of the system unit 2;
в) из сети Интернет, например в режиме телеконференции с удаленным индивидуум, персональный компьютер которого также оснащен цифровой мини видеокамерой и микрофоном - с помощью модема, карты радио доступа, через мобильный телефон 7, c) from the Internet, for example, in a teleconference with a remote individual, whose personal computer is also equipped with a digital mini video camera and microphone - using a modem, radio access card, through a mobile phone 7,
имеющий возможность связи с системным блоком (проводная, радио-, инфракрасная и т.п.);having the ability to communicate with the system unit (wired, radio, infrared, etc.);
г) с мобильного телефона 7 и видеокамеры 8 - с помощью устройств проводной, радио", инфракрасной связи;d) from a mobile phone 7 and a video camera 8 — using wired, radio, and infrared devices;
д) непосредственно с помощью мини видеокамеры 6 и микрофона 5 при расположении индивидуума, в частности самого пользователя, перед ними.d) directly using a mini video camera 6 and microphone 5 when the individual, in particular the user himself, is in front of them.
Голосовые данные, помимо описанных выше способов, могут быть загружены с телефонной сети с помощью соответствующих устройств ввода, включающих звуковую карту, для преобразования их в цифровую форму.Voice data, in addition to the methods described above, can be downloaded from the telephone network using appropriate input devices, including a sound card, to convert them into digital form.
Голосовые данные обрабатываются анализатором голоса, входящим в аппаратно-программные средства системного блока 1, а результаты об уровне эмоционального состояния индивидуума, в простейшем случае о честности иди нечестности индивидуума, выводятся пользователю в одном из следующих видов или их сочетаний:Voice data is processed by a voice analyzer included in the hardware and software of system unit 1, and the results on the level of the individual’s emotional state, in the simplest case of honesty or dishonesty of the individual, are displayed to the user in one of the following types or combinations thereof:
а) с помощью колонок 4 (или наушников) - при нечестности индивидуума тембр и высота его голоса изменяется средством генерирования, например голос делают более высоким (например, «писклявым») во время произнесения нечестной фразы;a) using columns 4 (or headphones) - in case of dishonesty of an individual, the timbre and the pitch of his voice are changed by the means of generation, for example, the voice is made higher (for example, “squeaky”) when pronouncing an unfair phrase;
б) с помощью монитора 3 - при нечестности индивидуума средство генерирования изменяет видеоизображение говорящего индивидуума на экране монитора или видеоизображение объектов обстановки вблизи этого индивидуума (в частности фона) путем изменения формы и/или цвета и/или яркости и/или контрастности и/или частоты их появления на экране монитора 3; простейший случай - когда цветное изображение индивидуума изменяют на черно-белое во время произнесения нечестной фразы;;b) using the monitor 3 - if the individual is dishonest, the generating means changes the video image of the talking individual on the monitor screen or the video image of the environment near this individual (in particular the background) by changing the shape and / or color and / or brightness and / or contrast and / or frequency their appearance on the monitor screen 3; the simplest case is when a color image of an individual is changed to black and white while pronouncing an unfair phrase ;;
в) с помощью монитора 3 и/или принтера (не показан) - программно-аппаратные средства дополнительно включают блок преобразования голосовых данных в текстовую форму любым известным способом (например, раскрытым в WO 03/041364, опубл. 15.05.2003), и такая текстовая форма выводится на экран монитора 3 и/или распечатывается на бумажном носителе с помощью принтера, при этом во время произнесения нечестной фразы размер шрифта, цвет шрифта или тип изменяется средством генерирования. Измененные данные, как описано выше, равно как и неизмененные данные, могут быть записаны на жесткий диск системного блока 1, а также на CD, DVD, и повторно воспроизведены для дополнительного анализа.c) using a monitor 3 and / or a printer (not shown) - the hardware and software additionally include a unit for converting voice data into text form in any known manner (for example, disclosed in WO 03/041364, publ. 15.05.2003), and such the text form is displayed on the monitor screen 3 and / or printed on paper using a printer, while during pronouncing a dishonest phrase, the font size, font color or type is changed by the generating means. Modified data, as described above, as well as unchanged data, can be recorded on the hard disk of the system unit 1, as well as on CD, DVD, and re-played for further analysis.
Следует отметить еще ряд разновидностей осуществления системы:It should be noted a number of varieties of the system:
1) Сетевая версия системы может предусматривать, что анализатор голоса со средством генерирования реализован на серверном устройстве и уже измененные данные поступают на компьютер пользователя, т.е. отпадает необходимость оснащать удаленные устройства пользователей специфическими программно-аппаратными средствами. То же можно отнести к телефонной сети и сети мобильной телефонной связи, когда анализатор голоса со средством генерации реализован на АТС или передающей станции соответственно.1) The network version of the system may provide that the voice analyzer with the generating means is implemented on the server device and the already changed data is sent to the user's computer, i.e. there is no need to equip remote devices of users with specific software and hardware. The same can be attributed to the telephone network and the mobile telephone network, when the voice analyzer with the means of generation is implemented on the telephone exchange or transmitting station, respectively.
2) При непосредственно записи мультимедийных данных с помощью персонального компьютера пользователя, пользователь может отправить такие данные с этого персонального компьютера по телекоммуникационной сети для передачи их на сервер, станцию и удаленные устройства воспроизведения других пользователей.2) When directly recording multimedia data using the user's personal computer, the user can send such data from this personal computer via the telecommunication network to transfer them to the server, station and remote playback devices of other users.
3) Возможно интегрирование заявляемой системы как в конструкции мобильного телефона 7, так и в конструкции видеокамеры 8, которые могут работать при этом автономно.3) It is possible to integrate the inventive system both in the design of the mobile phone 7 and in the design of the video camera 8, which can work independently.
4) Возможно использование системы только в сети мобильной связи, например только для передачи голосовых данных.4) It is possible to use the system only in a mobile communication network, for example, only for voice data transmission.
Приведенные примеры использованы только для целей иллюстрации частных случаев осуществления полезной модели, они не ограничивают объем правовой охраны, представленный в формуле, при этом специалист в данной области техники относительно просто способен осуществить множество других вариантов осуществления полезной модели в рамках заявленной формулы. Требуемое для осуществления заявляемой системы программное обеспечение также относительно просто может быть создано специалистом в области вычислительной техники на основе заявляемой совокупности существенных признаков, указанное программное обеспечение не входит в объем правовой охраны в рамках заявляемой полезной модели.The above examples are used only to illustrate particular cases of the implementation of the utility model, they do not limit the scope of legal protection presented in the formula, while a specialist in the art is relatively simple able to implement many other embodiments of the utility model within the framework of the claimed formula. The software required for the implementation of the claimed system can also be relatively easily created by a specialist in the field of computer technology on the basis of the claimed combination of essential features, said software is not included in the scope of legal protection within the framework of the claimed utility model.
Claims (19)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2004129162U RU42905U1 (en) | 2004-10-05 | 2004-10-05 | EMOTION DETECTION SYSTEM |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2004129162U RU42905U1 (en) | 2004-10-05 | 2004-10-05 | EMOTION DETECTION SYSTEM |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU42905U1 true RU42905U1 (en) | 2004-12-20 |
Family
ID=40227750
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2004129162U RU42905U1 (en) | 2004-10-05 | 2004-10-05 | EMOTION DETECTION SYSTEM |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU42905U1 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008041881A1 (en) * | 2006-10-03 | 2008-04-10 | Andrey Evgenievich Nazdratenko | Method for determining the stress state of a person according to the voice and a device for carrying out said method |
| WO2011159204A1 (en) * | 2010-06-17 | 2011-12-22 | ПИЛКИН, Виталий Евгеньевич | Method for coordinating virtual facial expressions and/or virtual gestures with a message |
| RU2510955C2 (en) * | 2012-03-12 | 2014-04-10 | Государственное казенное образовательное учреждение высшего профессионального образования Академия Федеральной службы охраны Российской Федерации (Академия ФСО России) | Method of detecting emotions from voice |
| RU2532619C2 (en) * | 2009-04-17 | 2014-11-10 | Конинклейке Филипс Электроникс Н.В. | Ambient telephone communication system, mobile element, method and computer-readable medium therefor |
-
2004
- 2004-10-05 RU RU2004129162U patent/RU42905U1/en not_active IP Right Cessation
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008041881A1 (en) * | 2006-10-03 | 2008-04-10 | Andrey Evgenievich Nazdratenko | Method for determining the stress state of a person according to the voice and a device for carrying out said method |
| RU2532619C2 (en) * | 2009-04-17 | 2014-11-10 | Конинклейке Филипс Электроникс Н.В. | Ambient telephone communication system, mobile element, method and computer-readable medium therefor |
| WO2011159204A1 (en) * | 2010-06-17 | 2011-12-22 | ПИЛКИН, Виталий Евгеньевич | Method for coordinating virtual facial expressions and/or virtual gestures with a message |
| RU2510955C2 (en) * | 2012-03-12 | 2014-04-10 | Государственное казенное образовательное учреждение высшего профессионального образования Академия Федеральной службы охраны Российской Федерации (Академия ФСО России) | Method of detecting emotions from voice |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021232775A1 (en) | Video processing method and apparatus, and electronic device and storage medium | |
| US20140223279A1 (en) | Data augmentation with real-time annotations | |
| CN108847214A (en) | Method of speech processing, client, device, terminal, server and storage medium | |
| US20120077172A1 (en) | Presentation system | |
| JP2020056996A (en) | Tone color selectable voice reproduction system, its reproduction method, and computer readable storage medium | |
| CN100454388C (en) | Information processing apparatus and information processing method | |
| CN108012173A (en) | A kind of content identification method, device, equipment and computer-readable storage medium | |
| CN110958537A (en) | Intelligent sound box and use method thereof | |
| JP2006085440A (en) | Information processing system, information processing method and computer program | |
| RU42905U1 (en) | EMOTION DETECTION SYSTEM | |
| CN104424825A (en) | Remote teaching method and system | |
| Vaughan et al. | Designing and implementing a platform for collecting multi-modal data of human-robot interaction | |
| CN110459239A (en) | Role analysis method, apparatus and computer readable storage medium based on voice data | |
| van der Kleij et al. | Feasibility and value of using a GoPro camera and iPad to study teacher-student assessment feedback interactions | |
| KR100385892B1 (en) | Foreign Language Speaking Assessment System | |
| JP2016201678A (en) | Recognition device and image content presentation system | |
| CN111770300B (en) | Conference information processing method and virtual reality head-mounted equipment | |
| CN212588503U (en) | Embedded audio playing device | |
| JP2008032787A (en) | Language learning system and program for language learning system | |
| JP4632132B2 (en) | Language learning system | |
| JP2002116684A (en) | Home education system | |
| JP2004259198A (en) | Information management apparatus, information management system and program | |
| KR20120031373A (en) | Learning service system and method thereof | |
| Helvert et al. | Observing, coaching and reflecting: A multi-modal natural language-based dialogue system in a learning context | |
| KR100974826B1 (en) | Media processing system and control method of media processing system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM1K | Utility model has become invalid (non-payment of fees) |
Effective date: 20091006 |