RU2410259C2

RU2410259C2 - Interactive control device and method of operating interactive control device

Info

Publication number: RU2410259C2
Application number: RU2008137618/11A
Authority: RU
Inventors: Катарина БАХФИШЕР (DE); Катарина БАХФИШЕР; Кристоф ВЕЛЛЕР (DE); Кристоф ВЕЛЛЕР; Фолькмар ВАГНЕР (DE); Фолькмар ВАГНЕР; Райнер ДЕМАНН (DE); Райнер ДЕМАНН
Original assignee: Фольксваген Аг
Priority date: 2006-03-22
Filing date: 2007-03-22
Publication date: 2011-01-27
Also published as: RU2008137618A

Abstract

FIELD: transport.

SUBSTANCE: proposed method comprises the following stages: outputting graphic data on display, receiving data from pickups, activating control action in case the pickups data testifies that user body part stays in activation zone set up in space intended for displaying one control element on indicator that is designed to perform said control action. Data received from pickups comprises info on user to be processed prior to activating control action, to determine intention of acting on at least one control element. Displayed data is adapted depending upon revealed intention of performing control action to display, at least, one control element optimised for activation of control action assigned to said control element. Control device is arranged on vehicle control panel to allow control actions.

EFFECT: optimum data display, interactive control device that allows easy activation of control actions.

23 cl, 42 dwg

Description

Изобретение относится к способу эксплуатации интерактивного устройства управления с устройством индикации в соответствии с ограничительной частью по п.1 формулы изобретения и к интерактивному устройству с устройством индикации в соответствии с ограничительной частью по п.16 формулы изобретения.The invention relates to a method for operating an interactive control device with an indicating device in accordance with the restrictive part of claim 1 and an interactive device with an indicating device in accordance with the restrictive part of claim 16.

Управление функциями автомобиля из кокпита часто находит свое воплощение в виде так называемых интерактивных устройств управления. Интерактивное устройство управления включает в себя устройство индикации, на котором графически отображается один или несколько органов управления. За отдельными функциями автомобиля закреплены соответствующие органы управления. Действие, в последующем обозначаемое как действие управления, активизируется или запускается при приближении части тела пользователя, например пальца руки, к графическому изображению органа управления. Должна ли часть тела только приблизиться к сенсорному блоку, расположенному перед устройством индикации, или же ею необходимо прикоснуться к упомянутому сенсорному блоку для активации действия управления, закрепленного за органом управления, зависит от практического воплощения сенсорного блока (например, выполненного в виде сенсорной пленки).The control of car functions from the cockpit often finds its embodiment in the form of so-called interactive control devices. The interactive control device includes an indication device on which one or more of the controls is graphically displayed. The individual controls are assigned to the appropriate controls. An action, hereinafter referred to as a control action, is activated or triggered when a part of the user's body, such as a finger, approaches a graphic image of the control. Whether a part of the body only needs to approach the sensor block located in front of the indicating device, or if it needs to touch the mentioned sensor block to activate the control action assigned to the control element, depends on the practical implementation of the sensor block (for example, made in the form of a sensor film).

Интерактивные устройства управления, к которым требуется прикосновение для запуска действия управления, называются устройствами управления с сенсорным экраном. Интерактивные устройства управления, которые могут активизироваться бесконтактно, включают в себя, например, датчики, способные обнаруживать высокочастотные сигналы, передаваемые через тело человека. При этом необходимо, чтобы передатчик высокочастотных сигналов размещался рядом с телом или находился с ним в контакте. В автомобиле упомянутый передатчик высокочастотных сигналов можно встраивать, например, в сиденье. Способы и приспособления для передачи информации посредством высокочастотных сигналов через тело человека описаны, например, в документе WO 2004/078536.Interactive control devices that you need to touch to trigger a control action are called touch screen control devices. Interactive control devices that can be activated non-contact include, for example, sensors capable of detecting high-frequency signals transmitted through the human body. In this case, it is necessary that the transmitter of high-frequency signals should be located next to the body or be in contact with it. In a car, said high-frequency signal transmitter can be integrated, for example, in a seat. Methods and devices for transmitting information through high-frequency signals through the human body are described, for example, in document WO 2004/078536.

Зона, в которой должна находиться часть тела для активации действия управления, называется зоной активации. У устройства управления с сенсорным экраном зона активации представляет собой двухмерную область на поверхности устройства управления с сенсорным экраном. Зона активации, как правило, совпадает с областью изображения, отображающей приводимый в действие орган управления. У бесконтактно активизируемого устройства управления зона активации представляет собой, как правило, трехмерную область, расположенную непосредственно сверху над поверхностью устройства индикации или прилегающую к ней. Проекция зоны активации вдоль нормалей к поверхности устройства индикации обычно конгруэнтна с областью изображения соответствующего органа управления.The zone in which a part of the body must be in order to activate the control action is called the activation zone. For a touch-screen control device, the activation zone is a two-dimensional region on the surface of the touch screen control device. The activation zone, as a rule, coincides with the image area displaying the actuated control. In a contactlessly activated control device, the activation zone is, as a rule, a three-dimensional region located directly above or adjacent to the surface of the indicating device. The projection of the activation zone along the normals to the surface of the display device is usually congruent with the image area of the corresponding control.

Изображение информации на устройствах индикации упомянутых интерактивных устройств управления при современном уровне техники ориентировано не на разрешающую способность глаза человека, а прежде всего на точность попадания и моторную точность пальцев пользователя.The image of information on the display devices of the mentioned interactive control devices with the current level of technology is not focused on the resolution of the human eye, but primarily on the accuracy of the hit and the motor accuracy of the user's fingers.

Изображенные на устройстве индикации органы управления, называемые также виртуальными органами управления, включают в себя, помимо прочего, меню, кнопки и т.д. Они также могут быть представлены, например, в виде графических объектов на интерактивно отображаемых навигационных картах. Обычно такие виртуальные органы управления также называют виджетами. В настоящее время органам управления обычно соответствуют довольно большие изображения на интерактивных устройствах для того, чтобы пользователю было удобно и легко их активировать. Вследствие этого зоны изображения органов управления часто занимают значительную часть поверхности отображения устройства индикации, которую можно было бы использовать для дополнительной информации. Часто зоны изображения закрывают «расположенную под ними» графическую информацию. Уменьшение изображения органов управления на устройстве индикации позволяет увеличить место для отображения информации, но при этом из-за заметного усложнения попадания пальцем на орган управления понижается комфортность управления.The controls shown on the display device, also called virtual controls, include, but are not limited to, menus, buttons, etc. They can also be represented, for example, in the form of graphical objects on interactively displayed navigation charts. Usually such virtual controls are also called widgets. Currently, controls are usually associated with rather large images on interactive devices so that it is convenient and easy for the user to activate them. As a result of this, control image areas often occupy a significant part of the display surface of the display device, which could be used for additional information. Often the image areas cover the "located below them" graphic information. Reducing the image of the controls on the display device allows you to increase the space for displaying information, but at the same time, due to the noticeable complication of getting a finger on the control element, the control comfort decreases.

Из предшествующего уровня техники известно масштабирование органов управления как реакция на первое действие управления. На упомянутых устройствах управления для активации и выполнения требуемых действий необходимы, по меньшей мере, два действия управления.It is known from the prior art to scale the controls as a reaction to the first control action. At the mentioned control devices, at least two control actions are necessary to activate and perform the required actions.

Из документа US 5579037 известно устройство индикации с электромагнитным кодирующим планшетом, позволяющим вводить на устройство индикации отображаемые знаки японского письма. Кодирующий планшет включает в себя пишущее приспособление, соединенное с ним проводом. При перемещении пишущего приспособления на первое расстояние к устройству индикации позиции отображаемой зоны, над которой находится пишущее приспособление, отображаются с увеличением. Все время пока расстояние пишущего приспособления от устройства индикации будет меньше первого расстояния и больше второго, которое меньше первого, зона увеличенного изображения будет адаптироваться к изменению положения пишущего приспособления параллельно изменению его положения. Если расстояние станет меньше второго расстояния, то зона увеличенного изображения не будет больше адаптироваться в соответствии с параллельным перемещением относительно поверхности индикации, и становится возможным прикосновение к устройству индикации в том месте, в котором отображен соответствующий увеличенный знак, одного из нескольких отображаемых с увеличением знаков письма. Такое устройство управления, работа с которым осуществляется только одним пишущим приспособлением, не подходит для многих применений, например, в качестве интерактивного устройства управления в кокпите автомобиля. Кроме того, в движущемся автомобиле трудно перемещать пишущее приспособление на заданном расстоянии параллельно устройству индикации для увеличения нужного изображения фрагмента.From the document US 5579037, a display device with an electromagnetic coding tablet is known, which allows the display of the signs of the Japanese letter to be entered on the display device. An encoding tablet includes a writing device connected to it by a wire. When the writing device is moved a first distance to the display device, the position of the displayed area above which the writing device is located is displayed with an increase. All the while, the distance of the writing device from the indicating device will be less than the first distance and more than the second, which is less than the first, the area of the enlarged image will adapt to changing the position of the writing device in parallel with the change in its position. If the distance becomes less than the second distance, the area of the enlarged image will no longer adapt in accordance with the parallel movement relative to the display surface, and it becomes possible to touch the display device in the place where the corresponding enlarged character is displayed, one of several letters displayed with increasing letter characters . Such a control device, work with which is carried out by only one writing device, is not suitable for many applications, for example, as an interactive control device in the cockpit of a car. In addition, in a moving car, it is difficult to move the writing device at a given distance parallel to the display device to increase the desired image of the fragment.

Из DE 10 2004045885 A1 известен орган управления для автомобиля, выполненный предпочтительно в виде вращаемой, нажимаемой и вытягиваемой кнопки и предназначенный для управления функциями автомобиля, в частности нажатием на орган управления, прикосновением к органу управления, вращением органа управления и/или вытягиванием органа управления; при этом для органа управления предусмотрены датчик приближения для распознавания приближения пользователя, использующего орган управления, и управление освещением для регулировки освещения органа управления в зависимости от выходного сигнала датчика приближения.From DE 10 2004045885 A1, a control for a car is known, preferably made in the form of a rotatable, pressed and pulled out button and designed to control the functions of a car, in particular by pressing a control, touching the control, rotating the control and / or pulling the control; however, a proximity sensor is provided for the control to detect the proximity of the user using the control, and lighting control to adjust the lighting of the control depending on the output of the proximity sensor.

Таким образом, необходимо интерактивное устройство управления, которое обеспечивало бы и оптимальное отображение информации и было бы удобно в использовании за счет простой активации органов управления.Thus, an interactive control device is needed, which would provide an optimal display of information and would be convenient to use due to the simple activation of the controls.

Ввиду изложенного в основу изобретения была положена техническая задача создания устройства управления и способа применения интерактивного устройства, которые обеспечили бы оптимально адаптированное для человеческих глаз представление информации в сочетании с комфортной активацией органов управления.In view of the foregoing, the technical task of creating a control device and a method for using an interactive device that would provide an optimal presentation of information for human eyes in combination with comfortable activation of the controls was laid as the basis for the invention.

Упомянутая задача решается по настоящему изобретению способом с отличительными признаками по п.1 формулы изобретения, а также устройством с отличительными признаками по п.16 формулы изобретения. Изобретение основывается на идее адаптации отображаемой информации на устройстве индикации в зависимости от ситуации. При этом изображение может быть оптимизировано для визуального восприятия отображаемой информации. Как только будет определено, какое управляющее воздействие намеревается осуществить пользователь, отображаемая информация изменяется так, чтобы обеспечивалась оптимальная активация органа управления, соответствующего выявленному намерению пользователя.The aforementioned problem is solved according to the present invention by a method with distinctive features according to claim 1, as well as a device with distinctive features according to claim 16. The invention is based on the idea of adapting the displayed information on the display device depending on the situation. In this case, the image can be optimized for the visual perception of the displayed information. As soon as it is determined what control action the user intends to carry out, the displayed information is changed so as to ensure optimal activation of the control corresponding to the identified intent of the user.

В настоящем изобретении предлагается способ применения интерактивного устройства управления, в частности в автомобиле, с устройством индикации, отображающим или способным отображать информацию, указывающую на органы управления, включающий в себя следующие этапы:The present invention provides a method of using an interactive control device, in particular in a car, with an indication device that displays or is capable of displaying information indicative of the controls, including the following steps:

- выявление намерения оказания управляющего воздействия на, по меньшей мере, один из отображаемых на устройстве индикации органов управления,- identifying the intention to exert a control action on at least one of the controls displayed on the display device,

- адаптация информации, отображаемой на устройстве индикации, в зависимости от выявленного намерения оказания управляющего воздействия с тем, чтобы обеспечить оптимальное для активации отображение по меньшей мере одного органа управления, в отношении которого будет осуществлено управляющее воздействие.- adaptation of the information displayed on the display device, depending on the identified intention to exert a control action in order to ensure optimal display for activation of at least one governing body in relation to which the control action will be implemented.

В преимущественном варианте осуществления изобретения для выявления намерения оказания управляющего воздействия на, по меньшей мере, один орган управления из отображаемых на устройстве индикации регистрируется, находится ли часть тела пользователя внутри зоны активации, которая пространственно закреплена за зоной отображения, по меньшей мере, одного органа управления на устройстве индикации.In an advantageous embodiment of the invention, in order to identify an intention to exert a control action on at least one control from the indications displayed on the display device, it is registered whether a part of the user's body is located inside the activation zone, which is spatially fixed to the display zone of at least one control on the display device.

Другое осуществление способа по настоящему изобретению предусматривает выявление намерения оказания управляющего воздействия, по меньшей мере, на один орган управления, с опережением по времени активации действия управления.Another implementation of the method of the present invention provides for the identification of intent to provide a control effect on at least one control, ahead of the time of activation of the control.

В преимущественном варианте воплощения способ применения, в частности в автомобиле, интерактивного устройства управления с устройством индикации включает в себя следующие этапы:In an advantageous embodiment, the method of application, in particular in a car, of an interactive control device with an indication device includes the following steps:

- отображение графической информации на устройстве индикации;- display of graphical information on the display device;

- прием информации от датчика;- receiving information from the sensor;

- активация действия управления в случае, если по информации датчика будет установлено, что часть тела пользователя находится в зоне активации, которая пространственно соотнесена с зоной отображения того органа управления на устройстве индикации, за которым закреплено действие управления, при этом предусмотрено следующее:- activation of the control action in the event that according to the sensor information it will be established that part of the user's body is in the activation zone, which is spatially correlated with the display area of that control on the display device to which the control action is assigned, the following is provided:

- принятая информация датчика включает в себя информацию о пользователе, которая для передачи намерения оказания управляющего воздействия, по меньшей мере, на один орган управления по времени должна обрабатываться до активации действия управления;- the received sensor information includes information about the user, which must be processed before the activation of the control action in order to transmit the intention to provide a control action to at least one control;

- на устройстве индикации отображается информация, адаптируемая в зависимости от выявленного намерения оказания управляющего воздействия, так что обеспечивается оптимальное для активации отображение, по меньшей мере, одного органа управления, закрепленного за управляющим воздействием органом управления.- information is displayed on the display device, which is adaptable depending on the revealed intention to exert a control action, so that the display is optimal for activation of at least one control assigned to the control by the control.

При переходе от визуальной компоновки, оптимизированной под восприятие информации, на гаптическую, оптимизированную на управление, орган управления отображается, например, с повышенной яркостью или с увеличением. Так, например, отображаемый в виде небольшого изображения орган управления будет отображаться в увеличенном виде при намерении оказания управляющего воздействия. За счет этого достигается высокая информационная плотность на устройстве индикации и при этом обеспечивается комфортное выполнение управления в любое время, особенно тогда, когда оно должно осуществляться. Информацией о пользователе является та информация датчика, которая указывает действия пользователя или описывает его самого. Информация о пользователе определяется с помощью сенсорных блоков и является составной частью информации датчиков, обрабатываемой для выявления намерения оказания управляющего воздействия.When switching from a visual layout optimized for the perception of information to a haptic one, optimized for control, the control is displayed, for example, with increased brightness or with an increase. So, for example, the control element displayed in the form of a small image will be displayed in an enlarged form with the intention of exerting a control action. Due to this, a high information density on the display device is achieved and at the same time comfortable control is provided at any time, especially when it should be carried out. User information is that sensor information that indicates the actions of the user or describes himself. Information about the user is determined using sensor blocks and is an integral part of the sensor information processed to determine the intention to provide a control action.

Для обеспечения достоверного выявления намерения оказания управляющего воздействия в одном из преимущественных вариантов осуществления изобретения предусматривается, что информация датчиков включает в себя информацию о действиях тела пользователя. Действием тела является, например, движение рук или кистей рук, или пальцев пользователя. В качестве другого примера действия тела можно указать направление глаз для получения информации, отображаемой на устройстве индикации.To ensure reliable identification of intent to provide control action in one of the preferred embodiments of the invention, it is provided that the sensor information includes information about the actions of the user's body. The action of the body is, for example, the movement of the hands or hands, or fingers of the user. As another example of the action of the body, you can specify the direction of the eyes to obtain information displayed on the display device.

В одном из наиболее преимущественных вариантов осуществления в связи с этим предусматривается включение в информацию о пользователе информации о направлении взгляда пользователя. Приведению в действие органа управления часто предшествует взгляд пользователя на устройство индикации.In one of the most advantageous embodiments, in connection with this, it is envisaged to include in the user information information about the direction of the user's gaze. The actuation of the control is often preceded by the user's gaze on the display device.

Направление взгляда пользователя может, например, регистрироваться датчиками типа камер. В связи с этим преимущественный вариант воплощения изобретения предусматривает, по меньшей мере, частичную регистрацию информации о пользователе посредством системы камер. Упомянутая выше система камер обеспечивает также, как правило, достоверное определение движения частей тела.The direction of the user's gaze may, for example, be detected by sensors such as cameras. In this regard, an advantageous embodiment of the invention provides for at least partial recording of user information through a camera system. The camera system mentioned above also provides, as a rule, a reliable determination of the movement of body parts.

Другие преимущественные варианты осуществления изобретения предусматривают, по меньшей мере, частичную регистрацию информации о пользователе посредством системы ультразвуковых датчиков. Система ультразвуковых датчиков подходит для особо точного и достоверного определения положения частей тела. Таким образом, посредством ультразвуковой системы датчиков можно уже на относительно большом удалении от устройства управления распознавать движение по направлению к интерактивному устройству управления. В такой же степени возможны точные измерения положения, вытяжения и скорости в ближней зоне устройства управления. Ультразвуковая система датчиков может использоваться альтернативно или вместе с другими системами датчиков.Other advantageous embodiments of the invention provide for at least partial recording of user information by means of a system of ultrasonic sensors. The ultrasonic sensor system is suitable for particularly accurate and reliable determination of the position of body parts. Thus, by means of an ultrasonic sensor system, movement can already be detected at a relatively large distance from the control device towards the interactive control device. Exact measurements of the position, traction and speed in the near zone of the control device are equally possible. The ultrasonic sensor system can be used alternatively or in conjunction with other sensor systems.

В одном из наиболее преимущественных вариантов осуществления изобретения на основании информации о пользователе определяется направление движения части тела. Упомянутое направление движение может быть использовано отдельно или в сочетании, например, с другой информацией, в частности с информацией о пользователе, преимущественно с направлением взгляда, для выявления органа управления или нескольких органов управления одной группы, которые пользователь намеревается использовать следующими. В одном из усовершенствований изобретения в связи с этим предусмотрено определение намерения оказания управляющего воздействия на орган управления и, в частности, последующих вероятных действий управления другими органами управления и адаптация отображаемой информации таким образом, чтобы по меньшей мере, один орган управления или другие органы управления отображались в соответствии с вероятностью их использования для активации соответствующих закрепленных за ними действий управления. Таким образом возможна реализация своего рода «узконаправленного прожектора управления». В зависимости от удаленности части тела, направления ее движения и/или скорости движения, а также от другой информации о пользователе может быть определена зона расположения на устройстве индикации того органа управления, который, вероятно, и будет использован. Упомянутая выше определенная зона называется узконаправленным прожектором управления. На большом удалении и при низкой скорости движения узконаправленный прожектор управления будет нечетким, его четкость будет возрастать по мере приближения к устройству индикации. Нечеткость означает неуверенность в конечном положении на устройстве индикации, к которому будет перемещаться часть тела. Упомянутое конечное положение используется в качестве центра узконаправленного прожектора управления. Неуверенность проявляется в площади пятна узконаправленного прожектора управления на устройстве индикации. Как правило, пятно узконаправленного прожектора управления имеет кругообразную форму, так что нечеткость и неуверенность относительно конечного положения на устройстве индикации, к которому перемещается часть тела, выражается радиусом пятна узконаправленного прожектора управления. Чем больше неуверенность (чем менее четко пятно узконаправленного прожектора управления), тем оно больше. Чем меньше неуверенность относительно конечного положения (чем четче пятно узконаправленного прожектора управления), тем меньше пятно узконаправленного прожектора управления. Предпочтительно предусмотрено масштабирование или иная оптимизация посредством анимации, раскрытия меню и т.д. для простого использования органов управления на устройстве индикации в зависимости от того, в какой мере их поверхность при заранее заданной величине масштабирования попадает в зону пятна узконаправленного прожектора управления, насколько четкое пятно узконаправленного прожектора управления и/или насколько велико расстояние между органом управления и положением (центром) пятна узконаправленного прожектора управления.In one of the most advantageous embodiments of the invention, the direction of movement of a part of the body is determined based on user information. The mentioned direction of movement can be used separately or in combination, for example, with other information, in particular with information about the user, mainly with the direction of view, to identify the control or several controls of one group, which the user intends to use as follows. In one of the improvements of the invention in connection with this, it is determined the intention to exert a controlling influence on the governing body and, in particular, the subsequent probable actions of governing other governing bodies and adapting the displayed information so that at least one governing body or other governing bodies are displayed in accordance with the probability of their use to activate the corresponding management actions assigned to them. Thus, it is possible to implement a kind of "narrowly targeted searchlight control." Depending on the remoteness of the part of the body, the direction of its movement and / or speed, as well as other information about the user, the location zone on the display device of that control, which is likely to be used, can be determined. The specific area mentioned above is called a narrow control spotlight. At a great distance and at a low speed, the narrowly focused control spotlight will be fuzzy, its clarity will increase as you approach the display device. Fuzziness means uncertainty in the final position on the display device, to which part of the body will move. Said end position is used as the center of a narrowly directed control floodlight. Uncertainty is manifested in the spot area of a narrowly targeted control searchlight on the display device. As a rule, the spot of a narrowly directed control spotlight has a circular shape, so that fuzziness and uncertainty about the final position on the display device to which part of the body moves is expressed by the radius of the spot of the narrowly directed control spotlight. The greater the uncertainty (the less clearly the spot of a narrowly targeted control spotlight), the greater it is. The less uncertainty about the end position (the sharper the spot of the narrowly focused control spotlight), the smaller the spot of the narrowly focused control spotlight. Preferably, zooming or other optimization is provided by animation, menu expansion, etc. for simple use of the controls on the display device, depending on the extent to which their surface at a predetermined magnitude of scaling falls into the spot zone of the narrowly focused control spotlight, how clear the spot is in the narrowly focused control spotlight and / or how large the distance between the control body and the position (center ) spots of a narrowly directed searchlight control.

В одном из наиболее преимущественных вариантов осуществления предусмотрено выявление намерения оказания управляющего воздействия и соответствующая итерационная и/или непрерывная адаптация отображаемой информации. Таким образом, возможно, например, непрерывное определение пятна узконаправленного прожектора управления и плавное масштабирование на устройстве индикации попадающих в это пятно органов управления с адаптацией в зависимости от движения пользователя.In one of the most preferred embodiments, it is envisaged to identify the intention to provide a control action and the corresponding iterative and / or continuous adaptation of the displayed information. Thus, it is possible, for example, to continuously detect the spot of a narrowly targeted control spotlight and to smoothly scale on the display device the controls that fall into this spot with adaptation depending on the user's movement.

В одном из вариантов осуществления изобретения предусматривается, что при адаптации будут меняться прозрачность, расстояние между соседними органами управления и/или анимация одного или нескольких органов управления. При этом можно соответствующим образом анимировать список органов управления для упрощения выбора одного или нескольких элементов списка. В частности, с учетом выявленного намерения оказания управляющего воздействия можно осуществлять прокрутку или перелистывание большого списка.In one embodiment, it is contemplated that upon adaptation, transparency, distance between adjacent controls, and / or animation of one or more controls will change. At the same time, you can animate the list of controls accordingly to simplify the selection of one or more list items. In particular, taking into account the revealed intention to provide a control action, it is possible to scroll or scroll through a large list.

Предпочтительно также предусмотрено то, что по информации о пользователе определяется расстояние части тела от изображения органа управления, и в зависимости от этого расстояния осуществляется масштабирование органа управления. При использовании, например, бесконтактного датчика для активации органа управления упомянутый датчик может зарегистрировать приближение руки пользователя, например, на расстояние приблизительно 30 см от устройства индикации. Чем ближе будет рука или палец к устройству индикации, тем лучше можно будет спрогнозировать, какой же из органов управления должен будет активирован. Поэтому легко обеспечить специально оптимизированное изображение этого органа управления на устройстве индикации. Кроме того, изображаемая информация будет соответствующим образом адаптирована.Preferably, it is also provided that the user’s information determines the distance of the body part from the image of the control, and depending on this distance, the control is scaled. When using, for example, a proximity sensor to activate a control element, said sensor can detect the approach of a user's hand, for example, at a distance of about 30 cm from the display device. The closer the hand or finger is to the indicating device, the better it will be possible to predict which of the controls will be activated. Therefore, it is easy to provide a specially optimized image of this control on the display device. In addition, the information displayed will be adapted accordingly.

В одной из предпочтительных форм осуществления для оптимизации адаптации органа управления дополнительно к информации о пользователе обрабатывается информация о режиме движения. Так, например, езда по неровному дорожному полотну влияет на моторную точность при выборе органа управления пользователем. В упомянутом случае орган управления предпочтительно изображается более крупно по сравнению с дорожной ситуацией при движении по ровному дорожному полотну. Тем самым гарантируются повышенные удобство обслуживания и комфорт. Одновременно обеспечивается максимально возможное в зависимости от ситуации отображение информации. Предпочтительно поэтому то, что информация до тех пор, пока не выявлено намерение оказания управляющего воздействия, оптимизируется для визуальной передачи информации, например все органы управления высвечиваются с пониженной яркостью или же «отображаются» с прозрачностью 100%. Указанный подход особенно предпочтителен для интерактивных устройств управления, на которых отображение информации очень ограничено, например, из-за маленькой поверхности отображения.In one of the preferred forms of implementation, to optimize the adaptation of the control, in addition to the user information, information about the driving mode is processed. So, for example, driving on rough road surfaces affects motor accuracy when choosing a user control. In the aforementioned case, the control is preferably depicted larger in comparison with the traffic situation when driving on a flat road surface. This guarantees enhanced serviceability and comfort. At the same time, the maximum possible information display, depending on the situation, is provided. Therefore, it is preferable that the information is optimized for the visual transmission of information until an intention to exert a control influence has been identified, for example, all controls are displayed with reduced brightness or are “displayed” with 100% transparency. This approach is particularly preferred for interactive control devices on which the display of information is very limited, for example, due to the small display surface.

В одном из преимущественных вариантов осуществления изобретения предусмотрено при выявлении намерения оказания управляющего воздействия распознавание и обработка выполненных частью тела жестов, при этом адаптация отображаемой информации осуществляется в соответствии с функцией адаптации, закрепленной за одним из соответствующих распознанных жестов. Таким образом, можно, например, конкретизировать намерение оказания управляющего воздействия при особенно большом количестве потенциально используемых органов управления. Так, например, статическим жестом можно передать сигнал остановки, блокирующий дальнейшую адаптацию органов управления, что позволит сделать выбор без последующей масштабирующей адаптации. Таким же образом можно запустить перелистывание большого количества органов управления, графически представленных маленькими изображениями, при этом один из них будет в фокусе и будет отображаться увеличенным для осуществления управления. Тем самым функция адаптации обеспечивает любое подходящее изменение отображаемой информации.In one of the preferred embodiments of the invention, it is provided that when identifying the intention to exert a control action, the recognition and processing of gestures made by a part of the body are recognized, and the displayed information is adapted in accordance with the adaptation function assigned to one of the corresponding recognized gestures. Thus, it is possible, for example, to concretize the intention of exerting a controlling influence with a particularly large number of potentially used governing bodies. So, for example, with a static gesture, you can transmit a stop signal that blocks further adaptation of the controls, which will allow you to make a choice without subsequent scaling adaptation. In the same way, you can start flipping through a large number of controls graphically represented by small images, while one of them will be in focus and will be displayed enlarged for control. Thus, the adaptation function provides any suitable change in the displayed information.

Подходящими жестами оказались так называемые статические, динамические и комбинированные жесты. Одна из форм осуществления изобретения предусматривает в связи с этим, по меньшей мере, статические жесты, распознаваемые по заранее определенному положению части тела. Другая форма воплощения предусматривает по меньшей мере динамические жесты, распознаваемые по предварительно определенным траекториям движения части тела. В случае траектории движения можно, во-первых, анализировать форму в трехмерном пространстве. Кроме того, также можно дополнительно обрабатывать скорость прохождения отдельных участков трехмерного пространства. И в заключение одна из других форм воплощения предусматривает по меньшей мере комбинированные жесты, распознаваемые как переходящие друг в друга предварительно определенные статические жесты и/или как статический жест, проходящий по заранее определенной траектории. Различные формы осуществления изобретения могут таким образом учитывать только статические, только динамические или только комбинированные жесты или же любое их сочетание. Распознавание жестов осуществляется по меньшей мере одним сенсорным блоком, способным определять положение части тела в пространстве. Формулировка, что жесты распознаются по меньшей мере одним сенсорным блоком, не указывает, что при наличии нескольких сенсорных блоков жесты должны распознаваться одним единственным сенсорным блоком. Формулировка скорее включает в себя также распознавание жестов посредством взаимодействия нескольких имеющихся сенсорных блоков. Достаточность одного единственного сенсорного блока для распознавания жеста зависит от специального воплощения по меньшей мере одного сенсорного блока и от самого жеста.The so-called static, dynamic and combined gestures turned out to be suitable gestures. One of the forms of carrying out the invention provides in connection with this, at least static gestures recognized by a predetermined position of the body part. Another embodiment includes at least dynamic gestures that are recognized by predefined paths of movement of a part of the body. In the case of a trajectory of motion, one can, firstly, analyze the shape in three-dimensional space. In addition, it is also possible to further process the speed of passage of individual sections of three-dimensional space. And finally, one of the other forms of embodiment provides at least combined gestures that are recognized as transitioning into each other predefined static gestures and / or as a static gesture that follows a predetermined path. Various forms of carrying out the invention can thus only take into account static, only dynamic or only combined gestures, or any combination thereof. Gesture recognition is carried out by at least one sensor unit capable of determining the position of a body part in space. The wording that gestures are recognized by at least one sensor unit does not indicate that when there are multiple sensor units, gestures should be recognized by one single sensor unit. Rather, the wording also includes gesture recognition through the interaction of several existing sensor units. The sufficiency of one single sensor unit for gesture recognition depends on the special embodiment of at least one sensor unit and on the gesture itself.

Информация преимущественно адаптируется таким образом, чтобы отображалось максимум информации для визуального восприятия, и при этом в случае намерения оказания управляющего действия обеспечивалось оптимальное с точки зрения управления отображение, по меньшей мере, одного органа управления, для которого было распознано намерение оказания управляющего воздействия. При этом возможен учет самых разнообразных ситуативных влияний.The information is mainly adapted in such a way that maximum information is displayed for visual perception, and if the intention is to provide a control action, an optimal display from the point of view of control of at least one control body for which the intention to provide a control effect was recognized is provided. Moreover, it is possible to take into account the most diverse situational influences.

Отличительные признаки устройства по настоящему изобретению обладают теми же преимуществами, что и соответствующие отличительные признаки способа по настоящему изобретению.Features of the device of the present invention have the same advantages as the corresponding features of the method of the present invention.

Далее с привлечением фигур чертежа приводится более подробное разъяснение изобретения на предпочтительных вариантах осуществления, причем показано:Next, with the involvement of the figures of the drawing, a more detailed explanation of the invention is given on preferred embodiments, and it is shown:

фиг.1 - схематическая блок-схема для пояснения варианта осуществления способа эксплуатации интерактивного устройства управления;figure 1 is a schematic flowchart for explaining an embodiment of a method of operating an interactive control device;

фиг.2 - схематическое изображение, поясняющее принцип ситуативного масштабирования органов управления;figure 2 is a schematic diagram explaining the principle of situational scaling of controls;

фиг.3 - схематическое представление устройства индикации, на котором информация отображается оптимизировано для визуального восприятия или частично оптимизировано для гаптического управления;figure 3 is a schematic representation of a display device on which information is displayed optimized for visual perception or partially optimized for haptic control;

фиг.4A-4D - схематические представления информации, отображаемой на устройстве индикации, включающей в себя органы управления, которые частично представлены с увеличением в соответствии с выявленным пятном узконаправленного прожектора управления;figa-4D - schematic representations of information displayed on the display device, which includes controls that are partially presented with an increase in accordance with the identified spot narrowly targeted searchlights;

фиг.5A-5D - схематические представления устройства индикации, на котором органы управления масштабированы в зависимости от величины выявленного пятна узконаправленного прожектора управления;5A-5D are schematic representations of an indication device on which the controls are scaled depending on the magnitude of the detected spot of a narrow directional searchlight;

фиг.6A-6C - схематические представления устройства индикации, на котором органы управления масштабированы по-разному, в зависимости от намерения оказания управляющего действия;6A-6C are schematic diagrams of an indication device on which controls are scaled differently, depending on the intention of providing a control action;

фиг.7A-7B - схематические представления устройства индикации, на котором органы управления перелистываются в зависимости от намерения оказания управляющего действия;7A-7B are schematic diagrams of an indication device on which controls are turned over depending on the intention of providing a control action;

фиг.8 - схематическое представление интерактивного устройства управления в автомобиле;Fig. 8 is a schematic representation of an interactive control device in a car;

фиг.9-17 - статические жесты кисти руки;Fig.9-17 - static hand gestures;

фиг.20-27 - динамические жесты кисти руки;Fig.20-27 - dynamic gestures of the hand;

фиг.28-33 - комбинированные жесты кисти руки.Fig.28-33 - combined gestures of the hand.

На фиг.1 представлена блок-схема, отображающая способ 10 эксплуатации интерактивного устройства управления. Как показано в блок-схеме 12 способа, способ включает в себя отображение информации на устройстве индикации. Преимущественно сначала компоновка выбирается таким образом, чтобы обеспечивалась оптимальная визуальная передача информации. Такая компоновка в последующем будет называться визуальной.1 is a flowchart showing a method 10 of operating an interactive control device. As shown in the flowchart 12 of the method, the method includes displaying information on an indication device. Advantageously, the layout is first selected so as to ensure optimal visual transmission of information. Such an arrangement will subsequently be called visual.

Устройство управления регистрирует информацию от датчиков 12. Информация от датчиков включает в себя информацию об одном или нескольких пользователях. Такая информация называется информацией о пользователе. Она включает в себя, в частности, информацию о действиях тела пользователя или пользователей, зарегистрированную сенсорными блоками. Действия тела включают в себя, например, движение руки, которое может быть выявлено сенсорным блоком с камерой, и/или ультразвуковым сенсорным блоком. Кроме того, сенсорным блоком с камерой можно зарегистрировать направление взгляда пользователя или пользователей. Направление взгляда на устройство индикации является особо важным действием тела, так как процессу управления преимущественно предшествует взгляд на устройство индикации интерактивного устройства управления. Зарегистрированная информация датчика преимущественно включает в себя также и информацию о дорожной ситуации или об окружающей среде автомобиля. Было установлено, что определенным действиям управления часто предшествуют определенные события, связанные с движением.The control device registers information from the sensors 12. Information from the sensors includes information about one or more users. Such information is called user information. It includes, in particular, information about the actions of the body of the user or users recorded by the sensor units. Body actions include, for example, a hand movement that can be detected by a sensor unit with a camera, and / or an ultrasonic sensor unit. In addition, the direction of the gaze of the user or users can be registered with a sensor unit with a camera. The direction of looking at the indicating device is a particularly important action of the body, since the control process is preceded by a look at the indicating device of the interactive control device. The recorded sensor information mainly also includes information about the traffic situation or about the environment of the car. It has been found that certain control actions are often preceded by certain events related to movement.

На основании собранной информации датчика выявляется намерение 14 оказания управляющего воздействия пользователя или пользователей. Для выявления намерения оказания управляющего воздействия пользователя обрабатывается различная информация, содержащаяся в информации датчика, в частности информация о пользователе. При этом, в частности, обрабатываются и оцениваются действия пользователя или пользователей, т.е. действие его тела или действия их тел. Например, если будет обнаружено изменение направления взгляда на устройство индикации интерактивного устройства управления и выявлено коррелирующее с ним по времени движение руки или кисти, ближайшей в пространстве к интерактивному устройству управления, то из этого можно будет сделать вывод о намерении оказания управляющего воздействия. Возможны многочисленные разнообразные комбинации информации, которые могут обрабатываться и оцениваться. Например, в одной из форм воплощения целенаправленное движение части тела в направлении пульта управления может быть условием того, что намерение оказания управляющего воздействия будет считаться распознанным.Based on the collected information of the sensor, the intention 14 of providing the control effect of the user or users is revealed. To identify the intention to provide a control effect of the user, various information is contained in the sensor information, in particular information about the user. In this case, in particular, the actions of the user or users are processed and evaluated, i.e. the action of his body or the action of their bodies. For example, if a change in the direction of the gaze at the indicating device of the interactive control device is detected and a time-correlating movement of the hand or hand closest in space to the interactive control device is detected, then it will be possible to draw a conclusion about the intention to provide a control action. Numerous diverse combinations of information are possible that can be processed and evaluated. For example, in one embodiment, the targeted movement of a body part in the direction of the control panel may be a condition that the intention to exert a control action will be considered recognized.

Проверка наступления изменения в намерении оказания управляющего воздействия выполняется посредством опроса 16. Если изменения нет, то информация на устройстве индикации продолжает отображаться без изменений. Если же изменение в намерении оказания управляющего воздействия было выявлено, т.е. было выявлено намерение оказания управляющего воздействия или установлено, что более намерения оказания управляющего воздействия нет, то информация, отображаемая на устройстве индикации, адаптируется в соответствии с имеющимся или уже не имеющимся намерением оказания управляющего воздействия 18. Изменение имеет место также и в случае, когда происходит дальнейшая конкретизация намерения оказания управляющего воздействия.Checking the occurrence of a change in the intention to exert a control action is performed by means of a survey 16. If there is no change, then the information on the display device continues to be displayed without changes. If, however, a change in intention to provide a control effect has been identified, i.e. if the intention to provide a control effect was revealed or it was established that there is no more intention to provide a control effect, the information displayed on the display device is adapted in accordance with the existing or no longer existing intention to provide a control action 18. The change also occurs when further specification of the intention to provide a control effect.

Если же изменение намерения оказания управляющего воздействия заключается в том, что было выявлено до сих пор отсутствовавшее намерение оказания управляющего воздействия пользователя, то отображаемая информация изменяется таким образом, чтобы компоновка на устройстве индикации была оптимизирована для гаптического управления. В одной из форм выполнения можно предусмотреть отсутствие при визуальной компоновке графического отображения каких-либо органов управления. Органы управления начинают высвечиваться в гаптической компоновке, т.е. их уровень прозрачности становится меньше 100%. Также можно предусмотреть переключение графического отображения на текстовое. В еще одной форме воплощения, в которой при визуальной компоновке отображаются маленькие графические изображения органов управления, в гаптической форме компоновки органы управления отображаются увеличенными. Кроме того, адаптация может включать в себя также изменение оформления органов управления, например анимацию органа управления (виджеты). В устройстве индикации, выполненном в виде автостереоскопического трехмерного устройства индикации, можно предусмотреть пространственное выдвижение органов управления или же пространственное наложение друг на друга изображений информации.If, however, the change in intention to provide a control action consists in the fact that a hitherto absent intention to provide a control effect of the user has been identified, the displayed information is changed so that the layout on the display device is optimized for haptic control. In one of the execution forms, it is possible to provide for the absence of any controls in the visual layout of the graphic display. The controls begin to be displayed in the haptic layout, i.e. their transparency level becomes less than 100%. You can also consider switching the graphic display to text. In yet another embodiment, in which small graphical representations of the controls are displayed during the visual layout, the controls are displayed enlarged in the haptic layout. In addition, adaptation may also include a change in the design of controls, for example, animation of a control (widgets). In the display device, made in the form of an autostereoscopic three-dimensional display device, it is possible to provide a spatial extension of the controls or spatial overlap of information images.

Определение и адаптация отображаемой информации происходит преимущественно поэтапно и возможен плавный переход этапов друг в друга. Сначала по информации датчика первого сенсорного блока выявляется намерение оказания управляющего воздействия. Первый сенсорный блок включает в себя преимущественно создающую изображение систему датчиков, например систему камер. После выявления этого общего намерения оказания управляющего воздействия происходит переключение с визуальной компоновки на гаптическую. Например, высвечиваются органы управления, которые были до сих пор невидимы.The definition and adaptation of the displayed information occurs mainly in stages and a smooth transition of the stages into each other is possible. First, according to the sensor information of the first sensor block, the intention to provide a control action is revealed. The first sensor unit includes an imaging system of sensors mainly, for example a camera system. After identifying this general intention of exerting a controlling influence, a switchover occurs from the visual to the haptic layout. For example, controls that were still invisible are displayed.

В одной из преимущественных форм осуществления также предусмотрено при выявлении намерения оказания управляющего воздействия выявление положения и окружающей его зоны на устройстве индикации, подтвержденного для действия управления, т.е. активации органа управления. Этот процесс называется определением пятна узконаправленного прожектора управления 20.In one of the preferred forms of implementation, it is also provided, when identifying the intention to exert a control action, to identify the position and the surrounding area on the display device, confirmed for the control action, i.e. activation of the governing body. This process is called spot detection of a narrowly directed control floodlight 20.

Для выявления пятна узконаправленного прожектора возможна обработка различной информации от датчика. В частности, отдельно или совместно обрабатываются направление движения части тела пользователя, скорость движения, направление взгляда на устройство индикации, а также информация о дорожной ситуации. В результате определения пятна узконаправленного прожектора получают положение на устройстве индикации, которое указывает подтвержденное конечное положение и радиус, являющейся мерой неуверенности в определенном подтвержденном конечном положении. В другой форме воплощения можно предусмотреть некруговую форму пятна узконаправленного прожектора. Это особенно предпочтительно в случае, когда направление воздействия сильно отклоняется от направления нормалей к поверхности отображения устройства индикации.To identify the spot of a narrow spotlight, it is possible to process various information from the sensor. In particular, the direction of movement of a part of the user's body, the speed of movement, the direction of the gaze at the display device, and also information about the traffic situation are separately or jointly processed. As a result of determining the spot of a narrow spotlight, a position is obtained on the display device that indicates a confirmed end position and a radius, which is a measure of uncertainty in a particular confirmed end position. In another embodiment, a non-circular spot shape of a narrow spotlight can be provided. This is especially preferred in the case where the direction of exposure deviates strongly from the direction of the normals to the display surface of the display device.

Информация, характеризующая пятно узконаправленного прожектора (положение/радиус и/или прочие данные о зоне), учитывается при адаптации отображаемой информации. Преимущественно органы управления отображаются масштабированными в зависимости от их расстояния до положения и наложения их поверхности на пятно узконаправленного прожектора. Это означает, что органы управления, находящиеся близко к положению пятна узконаправленного прожектора, находящиеся в центре пятна узконаправленного прожектора, масштабируются с большим увеличением по сравнению с теми органами управления, которые находятся на большем удалении от положения пятна узконаправленного прожектора. Кроме того, с большим увеличением масштабируются органы управления, поверхность которых в большей степени накладывается на пятно узконаправленного прожектора при проекции пятна узконаправленного прожектора на устройство индикации. На фиг.4A-4D представлены соответствующие примеры. Преимущественно также и то, что органы управления 61', не лежащие в пятне узконаправленного прожектора 62, но расположенные ближе к пятну узконаправленного прожектора 62 по сравнению с другими органами управления 61", могут быть представлены с большим увеличением, чем органы управления 61".Information characterizing a spot of a narrow spotlight (position / radius and / or other data about the zone) is taken into account when adapting the displayed information. Mostly the controls are scaled depending on their distance to the position and the imposition of their surface on a spot of a narrow spotlight. This means that the controls that are close to the spot position of the narrow spotlight, located in the center of the spot of the narrow spotlight, scale with a large increase compared to those controls that are located at a greater distance from the spot position of the narrow spotlight. In addition, the controls are scaled with a large increase, the surface of which is more superimposed on the spot of a narrow spotlight when the spot of a narrow spotlight is projected onto the display device. 4A-4D show corresponding examples. It is also advantageous that the controls 61 ', not lying on the spot of the narrow spotlight 62, but located closer to the spot of the narrow spotlight 62 as compared to other controls 61 ", can be represented with a larger increase than the controls 61".

Описанный способ представляет собой определение вероятности использования отдельных органов управления 22. Вероятность использования также может быть определена другими способами по информации о пользователе, при необходимости с учетом другой информации о ситуативных влияниях, например дорожной ситуации, имевшихся до сих пор привычках пользователя и т.д.The described method is to determine the likelihood of using individual controls 22. The probability of use can also be determined in other ways from information about the user, if necessary, taking into account other information about situational influences, for example, traffic conditions, user habits that have existed so far, etc.

Адаптация пятна узконаправленного прожектора осуществляется непрерывно. На следующем этапе посредством второго сенсорного блока более точно определяются движения части тела и, если требуется, другие ее характеристики.Adaptation of a spot of a narrow spotlight is carried out continuously. At the next stage, by means of the second sensor block, the movements of a part of the body and, if required, its other characteristics are more accurately determined.

В одной из форм реализации, в которой датчики, генерирующие высокочастотные сигналы, размещаются рядом с телом пользователя, и приемники располагаются на устройстве индикации или около него для приема высокочастотных сигналов, передаваемых телом пользователя, при определении на их основании позиции кисти пользователя вблизи от устройства индикации особенно хорошо может быть выполнена тонкая настройка адаптации изображаемой информации. Такие системы датчиков в состоянии регистрировать части тела пользователя на расстоянии приблизительно 30 см. Если в зоне действия интерактивного устройства управления в автомобиле находятся несколько пользователей, например водитель и передний пассажир, то их можно различать по отличающимся высокочастотным сигналам, которые подаются в тело пользователя датчиками сигналов, встроенных, например, в сиденье водителя и сиденье переднего пассажира. Таким образом, масштабирование или общая адаптация отображаемой информации может быть дополнительно настроена на функцию пользователя (водитель/передний пассажир). Например, целесообразно отображать меньшее количество органов управления с большим увеличением на устройстве индикации, когда водитель при высокой скорости движения автомобиля хочет активировать органы управления на устройстве индикации. Передний пассажир, который не должен концентрироваться на вождении автомобиля, может, например, использовать большее количество меньших по размерам органов управления, отображаемых на устройстве индикации. Для выполнения тонкой настройки преимущественно также то, что при распознавании намерения оказания управляющего воздействия определяется расстояние между частью тела пользователя и устройством индикации. Кроме того, дополнительно определяется вытяжение части тела. Оно также будет учитываться при масштабировании и/или оформлении органов управления. Для пользователя с крупными, широкими пальцами органы управления должны отображаться большими по площади, чем для пользователя с небольшими и узкими пальцами. Таким образом, на следующем этапе возможна более тонкая адаптация. Можно предусмотреть более двух этапов. Вторым сенсорным блоком может быть также ультразвуковой сенсорный блок.In one form of implementation, in which the sensors generating high-frequency signals are located next to the user's body, and the receivers are located on or near the display device for receiving high-frequency signals transmitted by the user’s body, based on which the user’s brush position is determined close to the indicating device Particularly well can be fine-tuned adaptation of the displayed information. Such sensor systems are able to register parts of the user's body at a distance of approximately 30 cm. If several users, such as the driver and front passenger, are in the coverage area of the interactive control device in the car, they can be distinguished by different high-frequency signals that are transmitted to the user's body by signal sensors integrated, for example, in the driver's seat and front passenger seat. Thus, scaling or general adaptation of the displayed information can be further adjusted to the user function (driver / front passenger). For example, it is advisable to display a smaller number of controls with a large increase on the display device when the driver wants to activate the controls on the display device at high vehicle speed. The front passenger, who should not concentrate on driving, can, for example, use a larger number of smaller controls displayed on the display device. To perform fine-tuning, it is also predominantly that when recognizing the intention to exert a control action, the distance between the part of the user's body and the indicating device is determined. In addition, the extension of a part of the body is additionally determined. It will also be taken into account when scaling and / or designing governing bodies. For a user with large, wide fingers, the controls should appear larger in area than for a user with small and narrow fingers. Thus, in the next step, finer adaptation is possible. More than two steps can be envisaged. The second sensor unit may also be an ultrasonic sensor unit.

На фиг.2 схематично представлено переключение с визуальной компоновки на гаптическую. В верхней части фиг.2 представлены два возможных оформления изображения 31, 32 информации в так называемой визуальной компоновке. На левом изображении 31 органы управления не отображаются. На правом изображении 32 органы управления 33 отображаются небольшими по размерам. Наибольшая зона 34 устройства индикации 35 предусмотрена для изображения информации. При приближении части тела 36, в данном случае кисти, к устройству индикации 35, как это показано в центре фиг.2, изображаемая информация изменяется так, что органы управления 33' изображаются увеличенными с включением дополнительной текстовой информации (A, B, C, D) и, по меньшей мере, относительно изображения 31 вверху слева изменяются по уровню прозрачности. Гаптическая компоновка оптимизирована так, чтобы органы управления 33' оптимально подходили для касания пальцем, выполняемого для активации и выполнения действий управления, закрепленных за органами управления 33'.Figure 2 schematically shows the switch from a visual layout to a haptic one. In the upper part of figure 2 presents two possible design images 31, 32 of information in the so-called visual layout. In the left image 31, the controls are not displayed. In the right image 32, the controls 33 are displayed small in size. The largest area 34 of the display device 35 is provided for displaying information. When approaching a part of the body 36, in this case the brush, to the indicating device 35, as shown in the center of FIG. 2, the displayed information changes so that the controls 33 'are enlarged to include additional text information (A, B, C, D ) and, at least with respect to the image 31 at the top left, vary in transparency. The haptic layout is optimized so that the controls 33 'are optimally suited to be touched with a finger, performed to activate and carry out the control actions assigned to the controls 33'.

На фиг.3 представлен другой пример переключения с визуальной компоновки 41 на гаптическую 42. На устройстве индикации 43 схематично представлены точки особого интереса (points of interest - POI) 44-47 изображения карты 48 навигационной системы. Приближение пальца 49 к устройству индикации 43 движением, направленным на правую кромку 50 устройства индикации, приводит к масштабированию на плоскости точек интереса в зависимости от их расстояния от нижнего конца правой кромки 50. Для достижения лучшего управления некоторые точки 46, 47 слегка сдвигаются относительно их первоначальных позиций. На левом участке 51 изображения карты 48 компоновка все еще адаптирована для визуальной передачи информации.Figure 3 shows another example of switching from a visual layout 41 to a haptic 42. On the display device 43, points of interest (POIs) 44-47 of a map image 48 of a navigation system are schematically represented. The approach of the finger 49 to the indicating device 43 by a movement directed to the right edge 50 of the indicating device leads to scaling on the plane of points of interest depending on their distance from the lower end of the right edge 50. To achieve better control, some points 46, 47 are slightly shifted relative to their original positions. On the left side 51 of the image of the map 48, the layout is still adapted for the visual transmission of information.

На фиг.4A-4D показаны различные изображения 55-58 информации на устройстве индикации 59. Дополнительно к пальцу 60, при помощи которого намереваются воспользоваться органом управления 61, на устройстве индикации 59 изображается так называемое пятно узконаправленного прожектора 62 круговой формы. Органы управления 61 масштабируются в зависимости от их расположения относительно позиции 63 (центр) пятна узконаправленного прожектора 62 и степени наложения их поверхностей с пятном узконаправленного прожектора 62. Общая степень масштабирования может зависеть от дорожной ситуации. Например, при езде автомобиля по неровной поверхности с высокой скоростью органы управления должны масштабироваться в большей степени по сравнению с масштабированием при езде по ровному дорожному полотну на малой скорости. Пятно узконаправленного прожектора 62 существует только виртуально и, как правило, не отображается на устройстве индикации 59. Пятно узконаправленного прожектора 62 показано здесь исключительно для наглядности.On figa-4D shows various images 55-58 of information on the display device 59. In addition to the finger 60, with which they intend to use the control 61, the display device 59 shows the so-called spot narrow projection 62 of a circular shape. The controls 61 are scaled depending on their location relative to the position 63 (center) of the spot of the narrow spotlight 62 and the degree of overlap of their surfaces with the spot of the narrow spotlight 62. The overall degree of scaling may depend on the traffic situation. For example, when driving a car on an uneven surface at high speed, the controls should scale to a greater extent than scaling when driving on a flat roadway at low speed. The spot of the narrow spotlight 62 exists only virtually and, as a rule, is not displayed on the indicating device 59. The spot of the narrow spotlight 62 is shown here for illustrative purposes only.

На фиг.5A-5D показано изменение пятна узконаправленного прожектора 70 при приближении пальца 71 к устройству индикации 72 и как это влияет на масштабирование органов управления в предпочтительной форме воплощения. Представленные на фиг.5A-5D изображения 73 устройства индикации 72 показывают навигационную карту с точками интереса 81-86, являющимися органами управления. На фиг.5A выбрана гаптическая компоновка, при которой точки интереса 61-65, попадающие в пятно узконаправленного прожектора 70, представлены большими по размеру по сравнению с точкой интереса 86, которая находится вне пятна узконаправленного прожектора 70. Изображение 73 на фиг.5A соответствует изображению, когда кисть, которая будет осуществлять управление, находится еще на большом удалении от устройства индикации 72. Поэтому на фиг.5A еще не изображен палец. Приближение пальца 71 приводит к уменьшению радиуса 74 пятна узконаправленного прожектора 70, поэтому на фиг.5B пятно узконаправленного прожектора 70 меньше по размеру. Органы управления 82, 83, находящиеся рядом с позицией 75 (центр) пятна узконаправленного прожектора, масштабируются больше остальных. Однако и точка интереса 86 масштабируется больше по сравнению с изображением на фиг.5A. Дальнейшее приближение пальца 71 позволяет провести анализ направления движения пальца 71, в связи с чем позиция 75 пятна узконаправленного прожектора 70 слегка сместилась. Поэтому точка интереса 82 на фиг.5C масштабируется больше по сравнению с точкой 83, расположенной теперь на большем удалении от позиции центра 75 пятна узконаправленного прожектора 70. На фиг.5D представлена ситуация, когда палец 71 находится в зоне активации, установленной относительно изображения органа управления. В случае интерактивного устройства управления, выполненного в виде сенсорного экрана, это, как правило, поверхность графического изображения. В устройствах управления с бесконтактными датчиками это может быть зона пространства, которая преимущественно устанавливается на небольшом расстоянии от графического изображения органа управления или граничит с ним.5A-5D show a spot change of a narrow spotlight 70 as finger 71 approaches the indicating device 72 and how this affects the scaling of the controls in a preferred embodiment. 5A-5D of the image 73 of the display device 72 shown in FIGS. 5 show a navigation map with points of interest 81-86, which are controls. 5A, a haptic arrangement is selected in which points of interest 61-65 falling into a spot of a narrow spotlight 70 are larger than point of interest 86 that is outside the spot of a narrow spotlight 70. The image 73 in FIG. 5A corresponds to the image when the brush to be controlled is still a long way from the indicating device 72. Therefore, a finger is not yet shown in FIG. 5A. The approach of the finger 71 leads to a decrease in the radius of the spot 74 of the narrow spotlight 70, therefore, in FIG. 5B, the spot of the narrow spotlight 70 is smaller in size. The controls 82, 83, located next to the position 75 (center) of the spot of a narrow spotlight, scale more than others. However, the point of interest 86 scales more than the image in FIG. 5A. A further approximation of the finger 71 allows an analysis of the direction of movement of the finger 71, and therefore the position 75 of the spot of the narrow spotlight 70 has shifted slightly. Therefore, the point of interest 82 in FIG. 5C scales more than point 83, which is now located farther from the center position 75 of the spot of the narrow spotlight 70. FIG. 5D shows a situation where the finger 71 is in the activation zone set relative to the image of the control . In the case of an interactive control device made in the form of a touch screen, this is usually the surface of the graphic image. In control devices with proximity sensors, this can be a zone of space, which is mainly installed at a small distance from the graphic image of the control element or borders with it.

Если часть тела, в данном случае палец 71, находится в зоне активации, то происходит активация действия управления, закрепленного за органом управления.If a part of the body, in this case finger 71, is in the activation zone, then the activation of the control action assigned to the control body occurs.

На фиг.6A схематично представлено устройство индикации 150, на котором органы управления упорядочены в две группы 152 и 153. В первой группе 152 соответствующие органы управления 151 представлены в виде списка. Во второй группе органы управления 151 представлены в виде числового поля. На фиг.6A органы управления 151 обеих групп 152 и 153 занимают незначительную часть поверхности устройства индикации 150. Большая часть поверхности может использоваться для изображения другой (непоказанной) информации.6A schematically shows an indication device 150 in which the controls are arranged in two groups 152 and 153. In the first group 152, the corresponding controls 151 are presented in a list. In the second group, controls 151 are presented as a numeric field. 6A, controls 151 of both groups 152 and 153 occupy a small portion of the surface of the display device 150. Most of the surface can be used to display other (not shown) information.

При приближении пальца 155 к устройству индикации 150 органы управления 151 одной из двух групп 152 или 153 изображаются увеличенными. В случае выявления намерения оказания управляющего воздействия на один из органов управления 151 оформленной в виде списка первой группы 152 список будет представлен в увеличенном виде так, как это показано на фиг.6B. Если же палец 155 приближается в большей степени ко второй группе 153 органов управления 151, оформленной в виде числового поля, то эти органы управления изображаются увеличенными так, как это показано на фиг.6C.As finger 155 approaches the display device 150, the controls 151 of one of the two groups 152 or 153 are shown enlarged. In the event that the intention to exert a control influence on one of the governing bodies 151 of the first group 152 in the form of a list is revealed, the list will be presented in enlarged form, as shown in Fig. 6B. If finger 155 approaches to a greater extent the second group 153 of controls 151, designed in the form of a numerical field, then these controls are shown enlarged as shown in figs.

В то время как в форме выполнения, описанной с использованием фиг.5A-5D, центры органов управления преимущественно не смещались на устройстве индикации, то в форме выполнения, описанной с использованием фиг.6A-6C, позиции органов управления явно меняются.While in the execution form described using FIGS. 5A-5D, the centers of the controls were not predominantly displaced on the display device, in the execution form described using FIGS. 6A-6C, the positions of the controls are clearly changing.

На фиг.7A и 7B поясняется, как можно преимущественно использовать выявленное намерение оказания управляющего воздействия для выбора органа управления из списка.FIGS. 7A and 7B explain how it is possible to advantageously use the identified intention to exert a control action to select a control from the list.

На фиг.7A показан горизонтальный список 160 органов управления 161-169 на устройстве индикации 170. В случае выявления намерения оказания управляющего воздействия за одним из органов управления 165 из списка 160 закрепляется фокус. В данном случае фокус закрепляется за органом управления 165, на котором написана цифра "5". Этот факт обозначается увеличенным изображением органа управления 165. Как правило, фокус закрепляется за одним изображаемым в центре устройства индикации 170 органом управления 160 из списка. Альтернативно возможно закрепление фокуса за органом управления, изображаемым у края.On figa shows a horizontal list of 160 controls 161-169 on the display device 170. In the case of identifying the intention to exert a control action for one of the controls 165 from the list 160 focus is fixed. In this case, the focus is assigned to the governing body 165, on which the number "5" is written. This fact is indicated by an enlarged image of the control 165. As a rule, the focus is assigned to one control 160, shown in the center of the display device 170, from the list. Alternatively, focus can be fixed to the control shown at the edge.

Фокус можно "сдвинуть" перемещением пальца 171 пользователя на край устройства индикации 170. На фиг.7A палец 171 находится на правом крае 172 устройства индикации 170. Благодаря этому в одной из форм выполнения фокус можно сместить вправо. Альтернативно более предпочтительно предусмотреть сохранение фокуса в центре устройства индикации 170 и смещение органов управления 161-169 относительно фокуса. Т.е. ячейки управления перемещаются влево, как это показано стрелкой 173. Это означает, что следующей, за которой будет закреплен фокус, является ячейка управления 166 с числом "6", при этом ячейка управления изображается в увеличенном виде в центре устройства индикации 170.The focus can be “shifted” by moving the user's finger 171 to the edge of the indicating device 170. In FIG. 7A, the finger 171 is located on the right edge 172 of the indicating device 170. Due to this, in one embodiment, the focus can be shifted to the right. Alternatively, it is more preferable to provide for maintaining focus in the center of the display device 170 and shifting the controls 161-169 relative to the focus. Those. the control cells move to the left, as shown by arrow 173. This means that the next one to which the focus will be fixed is the control cell 166 with the number "6", while the control cell is shown in an enlarged view in the center of the indicating device 170.

В обеих формах выполнения фокус прокручивается или перелистывается по списку органов управления.In both forms of execution, the focus scrolls or flips through the list of controls.

Этот процесс можно завершить перемещением пальца 171 в центр устройства индикации 170. В заключение можно воспользоваться органом управления, за которым закреплен фокус, для выполнения соответствующего действия управления.This process can be completed by moving the finger 171 to the center of the display device 170. Finally, you can use the control, which is attached to the focus, to perform the corresponding control action.

Скорость прокрутки или перелистывания может варьироваться в зависимости от положения пальца 171. Т.е. чем дальше перемещается палец от центра, тем быстрее происходит прокрутка или перелистывание.The speed of scrolling or turning can vary depending on the position of the finger 171. That is, the farther the finger moves from the center, the faster the scrolling or turning.

Направление перелистывания/прокручивания может совпадать с направлением перемещения пальца или быть противоположным. Кроме того, в случае списка можно предусмотреть, что он будет рассматриваться как бесконечный. Это означает, что после последнего элемента списка вновь появляется первый его элемент.The direction of turning / scrolling can coincide with the direction of movement of the finger or be opposite. In addition, in the case of a list, it can be envisaged that it will be considered as infinite. This means that after the last element of the list, its first element reappears.

На фиг.7B представлено устройство индикации 180, на котором показан список органов управления 181-186. При приближении пальца 187 к устройству индикации 180 за одним из органов управления 181-186 закрепляется фокус. Орган управления 183, за которым закреплен фокус, изображается увеличенным для оптимального управления. Палец 187 находится на нижнем краю 188 устройства индикации 180. Это приводит к тому, что органы 181-186 перемещаются вверх "через фокус", как это показано стрелкой 189. Перемещение пальца 187 в центр устройства индикации приведет к остановке процесса перелистывания. Возможно оптимальное использование органа управления, находящегося в фокусе. Перемещение пальца 187 в позицию между фокусом и верхним краем 190 устройства индикации 180 приведет к перемещению органов управления 181-186 вниз. Таким образом возможно перелистывание в обоих направлениях.7B, an indication device 180 is shown, showing a list of controls 181-186. As finger 187 approaches the display device 180, focus is fixed to one of the controls 181-186. The control 183, to which the focus is fixed, is shown enlarged for optimal control. The finger 187 is located on the lower edge 188 of the indicating device 180. This causes the organs 181-186 to move upward “through focus”, as shown by arrow 189. Moving the finger 187 to the center of the indicating device will stop the paging process. Optimal use of the focus control is possible. Moving the finger 187 to a position between the focus and the upper edge 190 of the indicating device 180 will cause the controls 181-186 to move down. Thus, turning in both directions is possible.

Фокус не должен неподвижно застывать в одной позиции на устройстве индикации. Более того, он может перемещаться вместе с органом управления, за которым он закреплен. Если этот орган управления удален от предварительно заданной позиции фокуса дальше, чем следующий элемент списка, то фокус переходит на этот следующий орган управления.The focus should not motionlessly lock in one position on the display device. Moreover, it can move with the governing body to which it is assigned. If this control is farther away from the predefined focus position than the next list item, then focus moves to this next control.

Другие формы выполнения могут предусматривать увеличенное изображение нескольких органов управления. Например, можно предусмотреть один главный фокус и два вспомогательных. Органы управления, закрепленные за вспомогательными фокусами, хотя и изображаются увеличенными, но тем не менее они меньше изображения органа управления, за которым закреплен главный фокус.Other forms of execution may include an enlarged image of several controls. For example, you can provide one main focus and two auxiliary. The controls attached to the auxiliary tricks, although they are shown enlarged, but nevertheless they are smaller than the image of the control for which the main focus is fixed.

В одной форме выполнения можно предусмотреть, что орган управления, для которого выявлена наибольшая вероятность использования (например, орган управления, находящийся в фиксированном фокусе или в центре пятна узконаправленного прожектора), будет использован в случае, когда часть тела пользователя, например палец, застынет без изменения положения в течение заранее заданного времени выдержки, без адаптации изображаемой информации. В частности, это справедливо также и в случае, когда палец не находится непосредственно в самой зоне активации органа управления. Таким образом можно получить орган управления «квази без непосредственного воздействия».In one embodiment, it can be provided that the control for which the greatest probability of use is identified (for example, a control located in a fixed focus or in the center of a spot of a narrow spotlight) will be used when a part of the user's body, such as a finger, freezes without position changes within a predetermined exposure time, without adaptation of the displayed information. In particular, this is also true in the case when the finger is not located directly in the activation zone of the control. In this way, you can get a quasi-free direct control.

На фиг.8 схематично представлена форма воплощения интерактивного устройства 100 управления в автомобиле 101. Она включает в себя устройство индикации 102, на котором информация может отображаться в визуальной и в гаптической компоновке. В устройство 100 управления интегрированы датчики 104, способные бесконтактно принимать переданные телом 106, 108 пользователя высокочастотные сигналы, которые передаются в тело 106, 108 размещенными рядом с ним передатчиками 110, 112 сигналов. Передатчики 110, 112 сигналов соединены с блоком 113 передатчиков сигналов, который в свою очередь связан с системой 126 шин автомобиля. Блок 113 передатчиков сигналов может совместно с датчиками 104, которые в узком смысле уже представляют собой сенсорный блок, также рассматриваться как система датчиков или сенсорный блок. Интерактивное устройство 100 управления также включает в себя блок 120 управления, в который входит модуль 122 визуализации. Модуль 122 визуализации выполняет подготовку информации, изображаемой на устройстве индикации 102. В частности, модуль 122 визуализации адаптирует информацию для визуальной и гаптической компоновки. Интерактивное устройство 100 управления также включает в себя приемный блок 124, принимающий, например, по системе 126 шин автомобиля информацию от сенсорных блоков, которые могут быть выполнены, например, в виде системы 130 камер или в виде ультразвуковой системы 132 датчиков. Кроме того, приемный блок 124 принимает по системе 126 шин автомобиля информацию о режиме движения автомобиля 101. На основании информации, полученной от датчиков и включающей в себя информацию о режиме движения, обрабатывающий модуль 128 выявляет намерение оказания управляющего воздействия пользователя 106 или 108. В зависимости от выявленного намерения оказания управляющего воздействия модуль 122 визуализации изменяет информацию, которая отображается на устройстве индикации 102. Обрабатывающий модуль 128 преимущественно выполнен так, чтобы определялись пятно узконаправленного прожектора и вероятность использования отдельных органов управления.Fig. 8 is a schematic representation of an embodiment of an interactive control device 100 in a vehicle 101. It includes an indication device 102 on which information can be displayed in a visual and haptic layout. Sensors 104 are integrated into the control device 100, capable of contactlessly receiving high-frequency signals transmitted by the user body 106, 108, which are transmitted to the body 106, 108 by the signal transmitters 110, 112 located next to it. The signal transmitters 110, 112 are connected to a signal transmitter unit 113, which in turn is connected to a vehicle bus system 126. The signal transmitter unit 113 may, together with the sensors 104, which in the narrow sense already constitute a sensor unit, also be considered as a sensor system or a sensor unit. Interactive control device 100 also includes a control unit 120, which includes a module 122 visualization. The visualization module 122 prepares the information displayed on the display device 102. In particular, the visualization module 122 adapts the information for the visual and haptic layout. The interactive control device 100 also includes a receiving unit 124, receiving, for example, information from sensor units via the vehicle bus system 126, which may be implemented, for example, as a camera system 130 or as an ultrasonic sensor system 132. In addition, the receiving unit 124 receives information on the driving mode of the vehicle 101 through the tire system 126 of the car. Based on the information received from the sensors and including information on the driving mode, the processing unit 128 determines the intention to provide a control action of the user 106 or 108. Depending on from the revealed intention of exerting a control action, the visualization module 122 changes the information that is displayed on the indicating device 102. The processing module 128 is mainly designed to determine the spot of a narrow spotlight and the probability of using separate controls were shared.

Блок управления также включает в себя модуль 134 активации, который запускает или активирует действие управления в случае, когда часть тела, например палец, находится в зоне активации, заданной для изображения органа управления на устройстве индикации 102. При этом сигналы, влияющие на другие устройства управления автомобиля 101, могут передаваться по шинам автомобиля.The control unit also includes an activation module 134, which triggers or activates the control action when a part of the body, such as a finger, is in the activation zone specified for the image of the control on the display device 102. In this case, signals affecting other control devices car 101, can be transmitted on the tires of the car.

Блок 120 управления и отдельные модули 122, 128, 134, входящие в его состав, могут быть выполнены в виде аппаратного или же программного обеспечения.The control unit 120 and the individual modules 122, 128, 134 included in it may be made in the form of hardware or software.

Устройство индикации может быть выполнено в виде проекционного устройства, у которого изображаемая информация проецируется на поверхность. В упомянутом случае существенным является расстояние и движение части тела относительно этой поверхности и взгляд на эту поверхность.The display device can be made in the form of a projection device, in which the displayed information is projected onto the surface. In the mentioned case, the distance and movement of a part of the body relative to this surface and a look at this surface are significant.

Наиболее подходящими сенсорными блоками, передающими высокочастотные сигналы через тело человека, оказались те из них, которые работают в диапазоне частот от 80 КГц до 150 КГц. Сенсорные блоки также могут эксплуатироваться на частотах, не попадающих в приведенный выше диапазон.The most suitable sensor blocks transmitting high-frequency signals through the human body were those that work in the frequency range from 80 kHz to 150 kHz. Sensor units can also be operated at frequencies that do not fall within the above range.

Наряду или альтернативно с сенсорным блоком, обнаруживающим часть тела путем передачи высокочастотных сигналов через тело человека, могут использоваться также и другие бесконтактные сенсорные блоки, например ультразвуковые или оптические. Упомянутый выше сенсорный блок может быть воплощен в соответствии с рассматриваемым далее принципом. Передающий светодиод излучает прямоугольный модулированный по амплитуде световой сигнал в оптическом или инфракрасном диапазоне длин волн. Световой сигнал, отражающийся от некоторого объекта, регистрируется фотодиодом. Компенсационный светодиод передает на фотодиод по неизменному пути прохождения света смещенный по фазе на 180° также прямоугольный модулированный по амплитуде опорный световой сигнал. Контур регулирования посредством регулирующего сигнала воздействует на компенсирующий светодиод таким образом, что принятый отражающийся световой сигнал передающего светодиода и принятый опорный сигнал компенсирующего светодиода компенсируют друг друга на фотодиоде, и детектируется сигнал совпадения. Изменение регулирующего сигнала является мерой удаленности объекта. Созданный по этому принципу сенсорный блок в значительной степени независим от колебаний температуры и освещенности.Along with or alternatively with a sensor unit that detects a part of the body by transmitting high-frequency signals through the human body, other non-contact sensor units, such as ultrasound or optical, can also be used. The above-mentioned sensor unit may be implemented in accordance with the principle discussed below. The transmitting LED emits a rectangular amplitude-modulated light signal in the optical or infrared wavelength range. A light signal reflected from an object is detected by a photodiode. The compensation LED transmits to the photodiode along an unchanged path of light transmission a phase-shifted 180 ° phase-modulated amplitude reference light signal. The control loop by means of the control signal acts on the compensating LED so that the received reflected light signal of the transmitting LED and the received reference signal of the compensating LED compensate each other on the photodiode, and a match signal is detected. A change in the control signal is a measure of the distance of an object. The sensor unit created by this principle is largely independent of temperature and light fluctuations.

Преимущественно также то, что по меньшей мере один сенсорный блок или несколько сенсорных блоков, выполненных упомянутым выше образом, в состоянии воспринимать выдвижение части тела в плоскости (при известных условиях во взаимодействии друг с другом). Таким образом возможно выявлять и интерпретировать как намерение оказания управляющего воздействия жесты, выполняемые частью тела, например кистью руки. Жесты, зависящие только от позы тела, в частности от положения кисти, обозначаются как фиксированные или статические жесты. Кисть 140, расположенная плоско перед устройством индикации, так, как это показано на фиг.9, может интерпретироваться, например, как сигнал остановки, останавливающий дальнейшее перелистывание или блокирующий любую дальнейшую адаптацию отображаемой информации в течение предварительно установленного интервала времени. На фиг.10 и 11 представлены примеры других простых статических жестов, выполненных левой кистью 140. В случае, когда возможна работа нескольких элементов кисти руки, также будет возможно распознавание и применение дифференцированных фиксированных жестов так, как это в качестве примера показано на фиг.12-17.It is also advantageous that at least one sensor block or several sensor blocks made in the aforementioned manner are able to perceive the extension of a part of the body in a plane (under known conditions in interaction with each other). Thus, it is possible to identify and interpret gestures performed by a part of the body, for example, with the hand, as the intention to exert a control action. Gestures that depend only on the position of the body, in particular on the position of the hand, are designated as fixed or static gestures. The brush 140, located flat in front of the display device, as shown in Fig. 9, can be interpreted, for example, as a stop signal stopping further turning or blocking any further adaptation of the displayed information for a preset time interval. 10 and 11 are examples of other simple static gestures made by the left hand 140. In the case where several elements of the hand are possible, it will also be possible to recognize and use differentiated fixed gestures, as is shown as an example in FIG. 12 -17.

Если же движение части тела в определенной области пространства сравнивать с заранее заданными траекториями, то становится возможным распознавание динамических жестов. Примеры траекторий движения показаны на фиг.18 в двухмерной плоскости, а на фиг.19 - в трехмерном пространстве. Примеры динамических жестов показаны на фиг.20-27. Жест, показанный на фиг.20, включает в себя движение вперед и вверх горизонтально плоско расположенной кисти 140, жест на фиг.21 показывает движение так же расположенной кисти 140 вниз. На фиг.22-25 показаны следующие жесты: на фиг.22 плоско расположенная по вертикали кисть перемещается в направлении от устройства индикации, на фиг.23 так же расположенная кисть перемещается по направлению к устройству индикации, на фиг.24 кисть выполняет движение влево, а на фиг.25 - движение вправо. Также возможна интерпретация и использование скорости приближения или скорости удаления части тела. Жесты, представленные на фиг.26 и 27, выполняются поворотом вытянутой кисти 140, соответственно поворотом против или по часовой стрелке относительно продольной оси кисти. Жесты могут также включать в себя оба противоположных направления движения. При анализе траекторий наряду с проходимыми точками пространства, определяющими движение, также возможен учет скорости, с которой выполняется это движение.If the movement of a body part in a certain region of space is compared with predetermined trajectories, then it becomes possible to recognize dynamic gestures. Examples of motion paths are shown in FIG. 18 in a two-dimensional plane, and in FIG. 19 in three-dimensional space. Examples of dynamic gestures are shown in FIGS. 20-27. The gesture shown in FIG. 20 includes a forward and upward movement of a horizontally flat brush 140, a gesture in FIG. 21 shows a downward movement of a brush 140 also located. On Fig-25 the following gestures are shown: in Fig. 22 a brush located vertically vertically moves away from the indicating device, in Fig. 23 the same located brush moves in the direction of the indicating device, in Fig. 24 the brush moves to the left, and in Fig.25 - movement to the right. It is also possible to interpret and use the speed of approach or speed of removal of a part of the body. The gestures shown in FIGS. 26 and 27 are performed by rotating the elongated brush 140, respectively, by turning counterclockwise or clockwise relative to the longitudinal axis of the brush. Gestures can also include both opposite directions of movement. When analyzing the trajectories, along with the passable points of space that determine the movement, it is also possible to take into account the speed with which this movement is performed.

В случае, когда возможна работа нескольких элементов кисти руки и/или регистрация их относительной скорости движения, будет возможна обработка и соответственно учет также и комбинированных жестов или положений кисти, выполнения движения, например растопыривание и сведение вместе пальцев плоской ладони или сжатие пальцев в кулак (фиг.28) и разжимание кулака (фиг.29). Другие комбинированные жесты показаны в качестве примеров на фиг.30 и 31, их выполнение включает в себя выполнение соответствующего жеста загибания пальцев 142 (фиг.30) и разгибание пальцев 142 (фиг.31). На фиг.32 показан комбинированный жест, при выполнении которого центр тяжести кисти 140 дополнительно к загибанию пальцев 142 выполняет движение направо. На фиг.33 в качестве примера показан комбинированный жест, включающий в себя ранее представленные примеры жестов: кулак первоначально направлен горизонтально, кисть с плоско разведенными пальцами 140 и одновременно выполненный поворот кисти приблизительно на 90° вправо.In the case when several elements of the hand are possible to work and / or their relative speed of movement is recorded, it will be possible to process and accordingly also take combined gestures or positions of the hand, perform movements, for example, spreading and bringing together the fingers of a flat palm or clenching your fingers into a fist ( Fig.28) and unclenching the fist (Fig.29). Other combined gestures are shown as examples in FIGS. 30 and 31, their implementation includes performing the corresponding gesture of folding fingers 142 (FIG. 30) and extending fingers 142 (FIG. 31). On Fig shows a combined gesture, in which the center of gravity of the brush 140 in addition to folding the fingers 142 performs a movement to the right. Fig. 33 shows, by way of example, a combined gesture that includes the previously presented examples of gestures: the fist is initially directed horizontally, the brush with fingers flat apart 140, and at the same time, the brush is rotated about 90 ° to the right.

Представленные жесты являются только примерами. За отдельными жестами можно закрепить различные намерения оказания управляющих воздействий, в соответствии с которыми и будет происходить адаптация отображаемой информации.The gestures presented are only examples. For individual gestures, various intentions of providing control actions can be assigned, in accordance with which the displayed information will be adapted.

Преимущественно предусмотрено, что интерактивное устройство управления может использоваться в режиме обучения и, следовательно, оно сможет изучить определенные жесты в индивидуальном исполнении различных людей. Например, от водителя можно потребовать выполнения определенных жестов. По данным измерения, полученным во время выполнения, можно изучить индивидуальные особенности выполнения жестов. Изучение происходит преимущественно с привязкой к конкретному лицу. Уже сам характер жестов может использоваться для идентификация лица, также для идентификации лица можно, например, использовать признак пользователя или водителя, закодированный в ключе автомобиля.It is predominantly provided that the interactive control device can be used in a training mode and, therefore, it can learn certain gestures in the individual performance of various people. For example, a driver may be required to perform certain gestures. According to the measurement data obtained at runtime, you can study the individual characteristics of the gestures. The study takes place mainly with reference to a specific person. The very nature of the gestures can be used to identify a person, and to identify a person, for example, you can use the user or driver feature encoded in the car key.

Некоторые формы выполнения предусматривают различие жестов водителя и переднего пассажира. Если интерактивное устройство управления размещено в центральной консоли автомобиля, то жесты водителя можно отличать от жестов переднего пассажира в зависимости от того, правой или левой рукой они выполняются; при этом полагают, что для управления водитель и передний пассажир используют ту руку, которая ближе к центральной консоли. При использовании сенсорных блоков, позволяющих различать водителя и переднего пассажира, например, по отличающейся частоте высокочастотного сигнала, проходящего через тело водителя и через тело переднего пассажира, и применяемых сенсорными блоками для регистрации позиции части тела, возможно различие жестов переднего пассажира и водителя по информации сенсорного блока. Если различие возможно, то за одинаковыми жестами водителя и переднего пассажира можно закрепить различные цели управления или различные функции отображения или адаптации.Some forms of execution provide for the difference between the gestures of the driver and front passenger. If the interactive control device is located in the center console of the car, then the gestures of the driver can be distinguished from gestures of the front passenger, depending on whether they are performed with the right or left hand; it is believed that the driver and front passenger use the hand closer to the center console for control. When using sensor units that allow distinguishing between the driver and the front passenger, for example, according to the different frequency of the high-frequency signal passing through the driver’s body and the front passenger’s body, and used by the sensor blocks to register the position of the body part, the gestures of the front passenger and the driver can be different according to the information of the sensor block. If a difference is possible, then different control goals or different display or adaptation functions can be assigned to the same gestures of the driver and front passenger.

Claims

1. A method of operating an interactive control device (100), in particular, in a car (101) with an indication device (35; 43; 59; 72; 102; 150; 170; 180), the indication device (35; 43; 59; 72; 102; 150; 170; 180) displays or is able to display information indicating the controls (33; 61; 151; 161-169; 181-186), which includes the following steps:
a) identifying the intention to exert a control action on at least one of the indications displayed on the device (35; 43; 59; 72; 102; 150; 170; 180) the control body (33; 61; 151; 161-169; 181-186 ), while the intention to exert a control action on at least one governing body (33; 61; 151; 161-169; 181-186) is detected in time before the management action is activated,
b) adaptation of information on the display device (35; 43; 59; 72; 102; 150; 170; 180) depending on the identified intention to exert a control action in such a way that at least one governing body (33; 61; 151; 161 -169; 181-186) is displayed optimally to activate at least one control (33; 61; 151; 161-169; 181-186), and when adapting the information displayed on the display device, they change: transparency, size of the controls (33; 61; 151; 161-169; 181-186), the distance between adjacent controls (33; 61; 151; 161-169; 181-186) and / or animation od one governing body (33; 61; 151; 161-169; 181-186) or several governing bodies (33; 61; 151; 161-169; 181-186).

2. The method according to claim 1, characterized in that to identify the intention to provide a control action in relation to one of the displays (35; 43; 59; 72; 102; 150; 170; 180) of the control bodies (33; 61; 151; 161-169; 181-186) register whether a part of the user's body (36) is inside the activation zone spatially related to the image area of at least one control on the display device (35; 43; 59; 72; 102; 150 ; 170; 180).

3. The method according to claim 1, characterized in that the identification of the intention to provide a control action and the corresponding adaptation of the displayed information are performed iteratively or continuously.

4. The method according to claim 2, characterized in that to identify the intention to exert a control action, information is used that includes information about the action of the user's body, in particular the direction of movement of the body part (36), and / or the direction of the user's gaze.

5. The method according to claim 4, characterized in that on the basis of the information obtained, the distance of the body part (36) from the image of the control (33; 61; 151; 161-169; 181-186) is determined and, depending on this distance, they are scaled governing body (33; 61; 151; 161-169; 181-186).

6. The method according to claim 1, characterized in that through the camera system (130) and / or the ultrasonic sensor system, information about the user is recorded, at least in part.

7. The method according to claim 1, characterized in that to determine the intention to provide a control action, use information about the environment, including information about the traffic situation, which is taken into account when adapting optimally displayed information.

8. The method according to claim 1, characterized in that when identifying the intention to provide a control action, the probability of using the governing body is determined (33; 61; 151; 161-169; 181-186), and if necessary, the probability of using other governing bodies is determined ( 33; 61; 151; 161-169; 181-186), and the adaptation of the displayed information is carried out so that it is displayed in accordance with the probability of being used in an optimized way to activate the corresponding control action or other control action.

9. The method according to claim 4, characterized in that when identifying the intention to exert a control action, gestures made by a part of the body are recognized and processed, while the adaptation of the displayed information is carried out in accordance with the adaptation function assigned to one of the corresponding recognized gestures.

10. The method according to claim 9, characterized in that it provides at least static gestures recognized by a predetermined position of the body part, and / or at least dynamic gestures recognized by predefined paths of the body part, and / or at least combined gestures that are recognized as transitioning into each other predefined static gestures and / or as a static gesture that follows a predetermined path.

11. The method according to claim 1, characterized in that the information displayed on the display device until an intention to exert a control effect has been identified, corresponds to a display that is optimized for the visual transmission of information.

12. An interactive control device (100), in particular in a car (101), including an indication device (35; 43; 59; 72; 102; 150; 170; 180), on which information can be displayed, or which is capable of display it, as well as including the controls (33; 61; 151; 161-169; 181-186) and the control unit (120), while the control unit (120) is designed in such a way as to identify the intention to exert a control action in relation to at least one of the controls displayed on the display device (35; 43; 59; 72; 102; 150; 170; 180), information n and the display device (35; 43; 59; 72; 102; 150; 170; 180), displayed depending on the identified intention to exert a control action, has been adapted so that at least an adapted display of one control is provided (33; 61; 151; 161-169; 181-186) to activate the governing body (33; 61; 151; 161-169; 181-186), while it is planned to identify the intention to exert a controlling influence on at least one governing body (33; 61; 151; 161-169; 181-186) in time until the control action is activated, and when adapting the information displayed on the display device, it is necessary to change the transparency, size of the controls (33; 61; 151; 161-169; 181-186), the distance between adjacent controls ( 33; 61; 151; 161-169; 181-186) and / or animations of one control (33; 61; 151; 161-169; 181-186) or several controls (33; 61; 151; 161-169 ; 181-186).

13. The device according to claim 12, characterized in that it includes at least one sensor unit for registering a part of the user's body (36) within the activation zone defined in the space of the image zone on the display device (35; 43; 59; 72; 102; 150; 170; 180) of at least one governing body (33; 61; 151; 161-169; 181-186) to determine the intention to exert a control action on at least one of the governing bodies displayed on the device indications (35; 43; 59; 72; 102; 150; 170; 180).

14. The device according to p. 12, characterized in that the control unit (120) is made in such a way that, when the intention to provide a control action is detected, the corresponding adaptation of the displayed information can be performed and / or iteratively performed.

15. The device according to p. 12, characterized in that by means of a system (130) of cameras and / or an ultrasonic sensor system can be recorded or recorded, at least partially, user information.

16. The device according to p. 12, characterized in that the control unit (120) and at least one sensor unit are made so that the information from the sensors could determine or determine the direction of movement of the body part (36) of the user and / or direction user view.

17. The device according to p. 12, characterized in that the control unit (120) and at least one touch unit are designed so that when adapting optimally displayed information it is possible to take into account and / or take into account information about the environment, including information about the traffic situation.

18. The device according to p. 12, characterized in that when identifying the intention to provide a control action, it is possible to determine the probability or the probability of using the control body (33; 61; 151; 161-169; 181-186), and if necessary, it is possible to determine the probability or the probability of using other controls is determined (33; 61; 151; 161-169; 181-186), and the adaptation of the displayed information is carried out so that it is displayed or could be displayed in accordance with the probability of using the control, optimized to activate the corresponding control action or other control action.

19. The device according to item 13, wherein the control unit (120) is designed so that based on information from the sensors, it was possible to determine and / or determine the distance of the body part (36) from the display of the control (33; 61; 151 ; 161-169; 181-186), and it was possible to scale and / or scale the governing body (33; 61; 151; 161-169; 181-186) depending on the distance.

20. The device according to p. 13, characterized in that at least one sensor unit is installed, and the sensors receive information via high-frequency signals transmitted through the user’s housing, and this information, in particular, may include information about the position of the body part (36 )

21. The device according to p. 13, characterized in that it includes at least one sensor unit, made in the form of determining the position of the contact device.

22. The device according to p. 13, characterized in that it includes at least one sensor unit that provides recognition and processing of gestures made by part of the body, while the adaptation of the displayed information is carried out in accordance with the adaptation function assigned to one of the corresponding recognized gestures.

23. The device according to item 22, wherein the gestures include at least static gestures recognized by at least one touch unit as predetermined body positions, and / or at least dynamic gestures recognized by at least one touch block according to predetermined paths of movement of the body part, and / or at least combined gestures recognized by at least one touch block as pre-defined static gestures and / or as static a gesture that follows a predetermined path.