RU2616884C2 - Выбор объектов в трехмерном виртуальном динамическом отображении - Google Patents

Выбор объектов в трехмерном виртуальном динамическом отображении Download PDF

Info

Publication number
RU2616884C2
RU2616884C2 RU2014113401A RU2014113401A RU2616884C2 RU 2616884 C2 RU2616884 C2 RU 2616884C2 RU 2014113401 A RU2014113401 A RU 2014113401A RU 2014113401 A RU2014113401 A RU 2014113401A RU 2616884 C2 RU2616884 C2 RU 2616884C2
Authority
RU
Russia
Prior art keywords
virtual
dynamic display
dimensional
marking element
presentation
Prior art date
Application number
RU2014113401A
Other languages
English (en)
Other versions
RU2014113401A (ru
Inventor
Леонхард ФОГЕЛЬМАЙЕР
Давид ВИТТМАНН
Original Assignee
Эрбас Дифенс Энд Спейс Гмбх
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Эрбас Дифенс Энд Спейс Гмбх filed Critical Эрбас Дифенс Энд Спейс Гмбх
Publication of RU2014113401A publication Critical patent/RU2014113401A/ru
Application granted granted Critical
Publication of RU2616884C2 publication Critical patent/RU2616884C2/ru

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Изобретение относится к технологиям представления трехмерного виртуального динамического отображения и взаимодействия с ним. Техническим результатом является обеспечение выбора объектов в трехмерном динамическом отображении за счет использования устройства ввода с двумя степенями свободы. Предложено устройство представления для представления трехмерного виртуального динамического отображения и для взаимодействия с ним. Устройство содержит по меньшей мере одну область представления для представления трехмерного динамического отображения. Устройство также содержит устройство ввода для управления перемещением элемента маркировки, обладающего двумя степенями свободы, по виртуальной поверхности в трехмерном виртуальном динамическом отображении. Устройство представления выполнено для отображения виртуальных объектов в отображаемом объеме таким образом, что виртуальные объекты отстоят от поверхности визуализации устройства представления. 7 н. и 3 з.п. ф-лы, 7 ил.

Description

Область техники, к которой относится изобретение
Изобретение относится к устройству представления для представления трехмерного виртуального динамического отображения и для взаимодействия с трехмерным виртуальным динамическим отображением, к устройству рабочего места для представления трехмерного виртуального динамического отображения и управления им, к применению устройства рабочего места для представления и контроля воздушных пространств в качестве рабочего места авиадиспетчеров и для наблюдения за беспилотными летательными аппаратами и управления ими, а также к способу выбора виртуальных объектов в трехмерном виртуальном динамическом отображении.
Уровень техники
Стереоскопические техники визуализации используются для создания впечатления трехмерного динамического отображения у наблюдателя стереоскопического дисплея. Впечатление трехмерности возникает у наблюдателя вследствие того, что глаза наблюдателя воспринимают различные изображения.
Из публикации US 6611283 В1 известно устройство для восприятия объектов и сопряжения фрагментов стереоизображений, выполняемого для создания из двух изображений пространственного изображения, содержащего информацию о глубине. При этом определяются линии наблюдения, проходящие от глаз наблюдателя, рассматривающего одновременно оба изображения, что позволяет определить относящиеся друг к другу фрагменты изображения. Линии наблюдения определяются посредством обнаруживающего устройства, расположенного между глазами наблюдателя и изображениями.
Взаимодействие с трехмерными виртуальными объектами в трехмерном виртуальном динамическом отображении требует ввода соответственно трех линейных степеней свободы, поскольку трехмерное динамическое отображение по сравнению с двухмерным динамическим отображением дополнительно содержит измерение глубины. Ввод трех степеней свободы может потребовать применения специальных устройств и/или способов взаимодействия, поскольку обычные устройства взаимодействия, такие как так называемая компьютерная мышь или так называемый шаровой манипулятор, предоставляют в распоряжение только две линейные степени свободы.
Сущность изобретения
В основу изобретения положена задача облегчения взаимодействия оператора с виртуальным трехмерным динамическим отображением.
Для решения поставленной задачи предложены устройство представления, устройство рабочего места, применение устройства рабочего места, способ и машиночитаемый носитель данных, охарактеризованные в соответствующих независимых пунктах формулы изобретения.
Многие из далее описанных признаков, относящихся к устройству представления и к устройству рабочего места, применимы также к этапам способа, и наоборот.
Согласно первому аспекту изобретения предложено устройство представления для представления трехмерного виртуального динамического отображения и для взаимодействия с ним, содержащее: по меньшей мере одну область представления для представления трехмерного динамического отображения и устройство ввода для управления перемещением элемента маркировки, обладающего двумя степенями свободы, по виртуальной поверхности в трехмерном виртуальном динамическом отображении, причем устройство представления выполнено для отображения виртуальных объектов в отображаемом объеме таким образом, что виртуальные объекты отстоят от поверхности визуализации устройства представления и устройство представления выполнено для отображения виртуальной поверхности в отображаемом объеме с возможностью перемещения элемента маркировки по виртуальной поверхности для выбора виртуального объекта в трехмерном виртуальном динамическом отображении.
Технический результат, обеспечиваемый изобретением, заключается в упрощении выбора виртуальных объектов в виртуальном трехмерном динамическом отображении, достигаемом за счет возможности использования простых в обращении двумерных устройств ввода с двумя линейными степенями свободы и отказа от применения сложных в управлении трехмерных устройств ввода.
Очевидно, что устройство представления может содержать также и более чем одну область представления, например две, три, четыре или еще большее число областей представления.
В качестве областей представления может выступать показывающий элемент, который выполнен для стереоскопической визуализации. Областями представления могут также служить, например, дисплеи или плоскости проецирования, которые пригодны к использованию для стереоскопической техники визуализации.
Устройство представления, как описано выше и ниже, делает возможным взаимодействие с виртуальными объектами в трехмерном виртуальном динамическом отображении при использовании устройства ввода, предлагающего две линейные степени свободы.
Линейная степень свободы означает, в противоположность вращательной степени свободы, что тело перемещается в рамках выполнения линейно-направленного движения.
Под перемещением элемента маркировки с двумя линейными степенями свободы понимается перемещение элемента маркировки по поверхности. Другими словами: элемент маркировки может перемещаться на поверхности вдоль первого направления и вдоль второго направления, причем вектор перемещения первого направления и вектор перемещения второго направления расположены перпендикулярно друг другу. Очевидно, перемещение также возможно в составном направлении, при этом составное направление движения содержит компонент первого вектора перемещения и компонент второго вектора перемещения.
Другими словами, это значит, что элемент маркировки может перемещаться вдоль двух заданных направлений движения. Это значит, что у элемента маркировки есть две линейные степени свободы.
Тем самым устройство представления, как описано выше и ниже, делает возможным простое и быстро осваиваемое взаимодействие с трехмерным виртуальным динамическим отображением.
Под понятием взаимодействия с трехмерным виртуальным динамическим отображением, прежде всего, понимают выбор находящихся в трехмерном виртуальном динамическом отображении виртуальных объектов и манипуляцию ими.
Как указано выше, перемещение элемента маркировки, обладающее двумя линейными степенями свободы, происходит по виртуальной поверхности, при этом виртуальная поверхность задается двумя допустимыми направлениями движения элемента маркировки.
Выбор виртуального объекта в трехмерном виртуальном динамическом отображении осуществляется посредством расчета линии связи между глазом оператора устройства представления и элементом маркировки. Перемещение элемента маркировки по виртуальной поверхности влечет за собой изменение положения линии связи. Равным образом, положение линии связи изменяется также, если наблюдатель изменяет положение его глаз. Выбор виртуального объекта в трехмерном виртуальном динамическом отображении происходит посредством продления линии связи в трехмерном виртуальном динамическом отображении, причем виртуальный объект выбирается, если линия связи пересекает виртуальные координаты виртуального местоположения виртуального объекта.
Прежде всего, выбор виртуального объекта может происходить в результате прицеливания в виртуальный объект, то есть такого перемещения элемента маркировки, что линия связи скрещивается с виртуальным объектом, и последующего приведения в действие элемента выбора в элементе ввода, например, приведения в действие клавиши на так называемой компьютерной мыши, чем подтверждается выбор виртуального объекта.
Согласно другому варианту осуществления изобретения виртуальная поверхность выполнена в виде плоскости.
Необходимо особо отметить, что виртуальная поверхность представляет собой лишь воображаемую поверхность в трехмерном виртуальном динамическом отображении, задаваемую двумя допустимыми направлениями движения элемента маркировки.
Согласно другому варианту осуществления изобретения виртуальная поверхность выполнена дугообразной.
В виртуальном трехмерном динамическом отображении виртуальная поверхность представляет тем самым пространственное соответствие дуги, а именно сегмент полого цилиндра.
Даже если виртуальная поверхность за счет своей округленной формы получает компонент глубины, остается возможным перемещать элемент маркировки путем задания величин двух направлений движения от одной точки на виртуальной поверхности к произвольной другой точке на виртуальной поверхности.
Виртуальная поверхность может быть оформлена в произвольной форме, например также в форме полушария или шара.
Трехмерное динамическое отображение может проецироваться, например, таким образом, что наблюдатель виртуальных объектов оказывается окружен ими, другими словами, наблюдатель находится посреди трехмерного виртуального динамического отображения. В этом случае такая виртуальная поверхность, как шар, может окружать наблюдателя, и элемент маркировки может быть выполнен для перемещения по шаровой поверхности.
Согласно другому варианту осуществления изобретения расположение виртуальной поверхности в трехмерном виртуальном динамическом отображении является изменяемым.
Изменение расположения виртуальной поверхности в трехмерном виртуальном динамическом отображении ничего не изменяет в том обстоятельстве, что элемент маркировки способен перемещаться только по виртуальной поверхности. Поскольку виртуальная поверхность, которая лежит в трехмерном виртуальном динамическом отображении, может располагать компонентом глубины, изменение расположения виртуальной поверхности в трехмерном виртуальном динамическом отображении может привести к соответствующему изменению перемещения элемента маркировки по отношению к трехмерному виртуальному динамическому отображению.
Если виртуальная поверхность представлена, например, плоскостью, то угол наклона, под которым виртуальная поверхность располагается в трехмерном виртуальном динамическом отображении, может быть изменен. В равной мере, может быть изменено и положение виртуальной поверхности в трехмерном виртуальном динамическом отображении.
Согласно другому аспекту изобретения предложено устройство рабочего места для представления трехмерного виртуального динамического отображения и управления им, содержащее предлагаемое в изобретении устройство представления.
Устройство рабочего места может применяться, например, для управления беспилотными летательными аппаратами или же для контроля любых динамических отображений одним или несколькими пользователями.
Устройство рабочего места, как описано выше и ниже, может располагать, очевидно, несколькими устройствами представления и наряду с этим содержать также один или несколько обычных дисплеев для представления дополнительной двухмерно представленной информации.
Также устройство рабочего места может содержать элементы ввода, которые могут использоваться альтернативно или дополнительно для взаимодействия с трехмерным виртуальным динамическим отображением, как описано выше и ниже.
Устройство рабочего места, кроме того, может содержать так называемую компьютерную мышь, клавиатуру или типичные для применения устройства взаимодействия, например, такие как на рабочем месте авиадиспетчеров.
В равной мере, под любыми дисплеями или, соответственно, модулями представления понимают либо обычные дисплеи, либо чувствительные к соприкосновению дисплеи или, соответственно, модули представления (так называемые сенсорные экраны).
Согласно другому аспекту изобретения предложено устройство рабочего места, как описано выше и ниже, для контроля воздушных пространств.
Согласно другому аспекту изобретения предложено применение устройства рабочего места, как описано выше и ниже, в качестве рабочего места авиадиспетчеров.
Тем самым оператору устройства рабочего места предоставлена возможность простого взаимодействия с представленными виртуальными объектами, то есть самолетами, в наблюдаемой и, соответственно, представленной области, то есть возможность выбирать самолеты и передавать указания на выбранные самолеты.
Согласно другому аспекту изобретения предложено применение устройства рабочего места, как описано выше и ниже, для контроля беспилотных летательных аппаратов и управления ими.
Тем самым оператору устройства рабочего места предоставлена возможность простого взаимодействия с представленными виртуальными объектами, то есть беспилотными летательными аппаратами, в представленном трехмерном виртуальном динамическом отображении, то есть возможность выбирать летательные аппараты и передавать указания на выбранные летательные аппараты.
В равной мере, устройство рабочего места может быть использовано также для управления компонентами, как, например, фотокамерами или прочими воспринимающими элементами, которые являются составной частью беспилотного летательного аппарата.
Согласно другому аспекту изобретения предложен способ выбора виртуальных объектов в трехмерном виртуальном динамическом отображении, включающий отображение элемента маркировки в трехмерном виртуальном динамическом отображении, перемещение элемента маркировки с двумя степенями свободы по виртуальной поверхности, установление линии связи, проходящей от глаза наблюдателя к элементу маркировки, выбор виртуального объекта в трехмерном виртуальном динамическом отображении посредством позиционирования элемента маркировки в заданной области на виртуальной поверхности, причем объект выбирают путем перемещения элемента маркировки на виртуальной поверхности таким образом, чтобы линия связи пересекала виртуальное местоположение выбираемого виртуального объекта в трехмерном виртуальном динамическом отображении.
Согласно другому аспекту изобретения предложен машиночитаемый носитель данных, в котором сохранен элемент компьютерной программы, предназначенный для управления предлагаемым в изобретении устройством представления и при его выполнении процессором вычислительного модуля обеспечивающий осуществление предлагаемого в изобретении способа.
Элемент компьютерной программы может служить для управления процессором вычислительного модуля для выполнения способа выбора виртуальных объектов в трехмерном виртуальном динамическом отображении.
При этом машиночитаемый носитель данных может быть представлен произвольным энергозависимым или энергонезависимым носителем данных, например жестким диском, компакт-диском, DVD, дискетой, картой памяти или другим выполненным с возможностью считывания компьютером средством или, соответственно, носителем данных.
В дальнейшем варианты осуществления изобретения описаны со ссылками на чертежи.
Краткое описание чертежей
Фиг. 1 показывает схематическое перспективное изображение устройства представления согласно варианту осуществления изобретения.
Фиг. 2 показывает вид сбоку устройства представления согласно другому варианту осуществления изобретения.
Фиг. 3 показывает вид сбоку устройства представления согласно другому варианту осуществления изобретения.
Фиг. 4 показывает схематическое изображение устройства представления согласно варианту осуществления изобретения.
Фиг. 5 показывает вид сбоку устройства представления согласно варианту осуществления изобретения.
Фиг. 6 показывает схематическое представление способа согласно варианту осуществления изобретения.
Фиг. 7 показывает схематическое представление выполненного с возможностью считывания компьютером средства согласно варианту осуществления изобретения.
Подробное описание вариантов осуществления
Фиг. 1 показывает устройство 100 представления для представления трехмерного виртуального динамического отображения 300 с областью 111 представления. В трехмерном виртуальном динамическом отображении 300 находится виртуальный объект 301, а также виртуальная поверхность 601.
Виртуальная поверхность 601 выполнена для перемещения по ней элемента маркировки. Тем самым элемент маркировки может перемещаться в двух направлениях в пределах трехмерного виртуального динамического отображения 300.
Фиг. 2 показывает вид сбоку устройства 100 представления с областью 111 представления для представления трехмерного виртуального динамического отображения 300.
В трехмерном виртуальном динамическом отображении находится виртуальная поверхность 601 и виртуальный объект 301.
При этом виртуальная поверхность 601 может быть расположена в трехмерном виртуальном динамическом отображении произвольным образом. Это означает, что, например, наклон и расположение виртуальной поверхности могут быть отрегулированы.
Если положение виртуальной поверхности 601 изменяется, то это может привести к тому, что виртуальное местоположение виртуального объекта 301 также изменится относительно виртуальной поверхности 601. На фиг. 2 виртуальная поверхность 601 расположена таким образом, что виртуальный объект 301 находится между областью 111 представления и виртуальной поверхностью 601.
Однако виртуальная поверхность 601 может быть расположена таким образом, что она находится между одним или несколькими виртуальными объектами 301 и областью 111 представления.
Положение виртуальной поверхности в трехмерном виртуальном динамическом отображении не оказывает принципиального воздействия на способ выбора виртуального объекта.
Если выбираемый виртуальный объект находится между виртуальной поверхностью и глазом наблюдателя, то виртуальный объект выбирают путем направления линии связи глаза с элементом маркировки через виртуальные координаты местоположения виртуального объекта.
Если выбираемый виртуальный объект находится между виртуальной поверхностью и модулем представления, виртуальный объект выбирают путем продления линии связи в трехмерном виртуальном динамическом отображении до достижения ею координат местоположения виртуального объекта.
Фиг. 3 показывает устройство 100 представления с областью 111 представления трехмерного виртуального изображения 300, причем в трехмерном виртуальном изображении представлены виртуальный объект 301 и виртуальная поверхность 601.
Виртуальная поверхность выполнена дугообразной, что соответствует в пространственном осуществлении сегменту полого цилиндра. При этом элемент маркировки может перемещаться в пределах границ виртуальной поверхности.
Фиг. 4 показывает устройство 100 представления для трехмерного виртуального динамического отображения с модулем 110 представления с первой областью 111 представления и второй областью 112 представления. В отображаемом объеме отображаются виртуальные трехмерные объекты 301.
В трехмерном виртуальном изображении размещена виртуальная поверхность 601, по которой может перемещаться элемент 602 маркировки. Элемент 602 маркировки перемещается только по виртуальной поверхности 601, причем элемент 602 маркировки обладает двумя линейными степенями свободы в своем перемещении. Другими словами, элемент 602 маркировки выполнен для осуществления двухмерного перемещения. Тем самым элемент маркировки может управляться, например, посредством обычной компьютерной мыши.
Выбор виртуального объекта в трехмерном динамическом отображении происходит посредством обнаружения положения по меньшей мере одного глаза 503 и последующего расчета линии 504 связи между обнаруженным положением глаза 503 и элементом 602 маркировки в виртуальном трехмерном динамическом отображении в отображаемом объеме 130.
Обнаружение положения глаза может происходить, например, посредством надевания пользователем очков с отражателями и последующей регистрации положения отражателей с помощью системы камер. Однако могут быть использованы и другие способы обнаружения положения глаз.
Линия связи может быть рассчитана, очевидно, также исходя из усредненного положения обоих глаз наблюдателя. Наряду с этим, положение глаз пользователя может быть обнаружено как при помощи очков с соответствующими отражателями, так и без них. Необходимо отметить, что в связи с изобретением для обнаружения положения глаз могут быть использованы произвольные механизмы и способы.
Выбор виртуального объекта 301 в трехмерном динамическом отображении происходит за счет продления линии 504 связи в отображаемом объеме 130, при этом выбирается виртуальный объект, виртуальные координаты которого пересекает линия 504 связи. Выбор виртуального объекта 301 отмечается затем, например, посредством указателя 603 выбора.
Очевидно, виртуальная поверхность 601, на которой перемещается элемент 602 маркировки, может быть расположена также таким образом в виртуальном динамическом отображении в отображаемом объеме 130, что с точки зрения пользователя виртуальные объекты 301 находятся перед виртуальной поверхностью 601 и/или за ней.
Как только элемент 602 маркировки на виртуальной поверхности 601 перемещается настолько, что линия 504 связи пересекает координаты виртуального объекта 301, элемент 602 маркировки может быть представлен в трехмерном динамическом отображении таким образом, что он получает дополнительную информацию по глубине или, соответственно, информацию по изменению глубины виртуальных трехмерных координат выбранного объекта. С точки зрения пользователя это изменение представляется тогда таким образом, что элемент 602 маркировки, как только виртуальный объект 301 выбран, делает пространственное перемещение либо к пользователю, либо прочь от пользователя.
Это делает возможным взаимодействие с виртуальными объектами в трехмерных динамических отображениях посредством простых в обращении двухмерных устройств взаимодействия, таких как, например, компьютерные мыши, то есть посредством устройств взаимодействия, которые обладают двумя линейными степенями свободы. Это позволяет, в противоположность специальным трехмерным устройствам взаимодействия с тремя степенями свободы, предоставлять более простое и быстрее осваиваемое взаимодействие с трехмерным динамическим отображением, поскольку для взаимодействия используется устройство ввода с меньшим числом степеней свободы.
Очевидно, виртуальные объекты могут представляться в трехмерном динамическом отображении также и таким образом, что координаты объектов появляются в виртуальном динамическом отображении, как если бы виртуальные объекты с точки зрения пользователя находились за поверхностью визуализации устройства представления.
Фиг. 5 показывает устройство 200 рабочего места для представления трехмерного виртуального динамического отображения и для взаимодействия с виртуальным динамическим отображением.
Устройство 200 рабочего места содержит устройство 100 представления с модулем 110 представления.
Модуль 110 представления содержит первую область 111 представления и вторую 112 область представления, причем вторая область представления выполнена с перегибом относительно первой области представления в направлении пользователя таким образом, что обе области представления образуют внутренний угол α 115.
Первая область 111 представления модуля 110 представления и вторая область 112 представления модуля 110 представления за счет перегибного положения по отношению друг к другу образуют совместно с положением 195 наблюдателя, то есть положением глаз наблюдателя, расширенный отображаемый объем 130 для трехмерного виртуального динамического отображения.
Под отображаемым объемом 130 понимают тот объем пространства, в котором представляется видимое трехмерное виртуальное изображение.
Оператор, который использует место 190 для сидения во время пользования устройством 200 рабочего места, может использовать наряду с отображаемым объемом 130 для трехмерного виртуального динамического отображения также область 140 рабочего места, на которой могут находиться дополнительные чувствительные к прикосновению или обычные дисплеи.
Внутренний угол α 115 может быть задан таким образом, что все виртуальные объекты располагаются в отображаемом объеме 130 в пределах дальности действия руки пользователя устройства 200 рабочего места. Прежде всего, при внутреннем угле α, который лежит между 90 градусов и 150 градусов, получается хорошее приспособление устройства для дальности действия руки пользователя. Внутренний угол α может быть отрегулирован, например, также согласно индивидуальным потребностям отдельного пользователя, и при этом как снижаться ниже, так и превосходить область от 90 градусов до 150 градусов. В варианте осуществления внутренний угол α составляет 120 градусов.
При контроле воздушного пространства трехмерное виртуальное динамическое отображение может представляться, например, таким образом, что вторая область 112 представления модуля 110 представления соответствует виртуально представленной поверхности земли или отсчетной поверхности в пространстве.
Тем самым предложенное устройство рабочего места подходит, прежде всего, для более длительных и неутомительных рассмотрения и обработки трехмерных виртуальных динамических отображений с интегрированными пространственными представлениями географически привязанных данных, как, например, летательных аппаратов, точек взлета, контрольных зон, угрожаемых зон, топографии территории и метеорологических явлений, при обеспечении простых интуитивных возможностей взаимодействия.
Устройство рабочего места, как описано выше и ниже, делает тем самым возможным обеспечение большого стереоскопического объема представления и, соответственно, отображаемого пространства. Кроме того, устройство рабочего места позволяет располагать виртуальную отсчетную поверхность в виртуальном трехмерном динамическом отображении, например земную поверхность, на том же уровне, как реально наличествующий модуль представления или, соответственно, чувствительный к прикосновению модуль.
Фиг. 6 показывает схематическое представление способа выбора виртуальных объектов в трехмерном виртуальном динамическом отображении, содержащего этапы: отображения элемента маркировки в трехмерном виртуальном динамическом отображении 601, перемещения элемента маркировки с двумя степенями свободы по виртуальной поверхности 602, установления линии связи между глазом наблюдателя и элементом 603 маркировки и выбора виртуального объекта в трехмерном виртуальном динамическом отображении посредством позиционирования элемента маркировки в заданной области на виртуальной поверхности 604.
Выбор объекта может происходить посредством перемещения элемента маркировки на виртуальной поверхности таким образом, что линия связи между глазом наблюдателя и элементом маркировки пересекает виртуальное местоположение выбираемого виртуального объекта в трехмерном виртуальном динамическом отображении.
Фиг. 7 показывает машиночитаемый носитель 701 данных с элементом компьютерной программы для управления устройством представления, как описано выше и ниже, который выполнен для осуществления способа выбора виртуальных объектов в трехмерном виртуальном динамическом отображении, при выполнении элемента компьютерной программы процессором машины.

Claims (19)

1. Устройство (100) представления для представления трехмерного виртуального динамического отображения (300) и для взаимодействия с ним, содержащее:
по меньшей мере одну область (111) представления для представления трехмерного динамического отображения и
устройство (150) ввода для управления перемещением элемента (602) маркировки, обладающего двумя степенями свободы, по виртуальной поверхности (601) в трехмерном виртуальном динамическом отображении,
причем устройство (100) представления выполнено для отображения виртуальных объектов в отображаемом объеме (130) таким образом, что виртуальные объекты отстоят от поверхности визуализации устройства представления,
причем устройство (100) представления выполнено для отображения виртуальной поверхности (601) в отображаемом объеме (130) с возможностью перемещения элемента (602) маркировки по виртуальной поверхности (601) для выбора виртуального объекта (301) в трехмерном виртуальном динамическом отображении.
2. Устройство представления по п. 1, причем виртуальная поверхность выполнена в виде плоскости.
3. Устройство представления по п. 1, причем виртуальная поверхность выполнена дугообразной.
4. Устройство представления по одному из пп. 1-3, причем расположение виртуальной поверхности в трехмерном виртуальном динамическом отображении является изменяемым.
5. Устройство рабочего места для представления трехмерного виртуального динамического отображения и управления им, содержащее устройство представления по одному из пп. 1-4.
6. Применение устройства рабочего места по п. 5 для представления воздушных пространств и наблюдения за ними.
7. Применение устройства рабочего места по п. 5 в качестве рабочего места авиадиспетчеров.
8. Применение устройства рабочего места по п. 5 для наблюдения за беспилотными летательными аппаратами и управления ими.
9. Способ выбора виртуальных объектов в трехмерном виртуальном динамическом отображении, включающий:
отображение элемента маркировки в трехмерном виртуальном динамическом отображении,
перемещение элемента маркировки с двумя степенями свободы по виртуальной поверхности,
установление линии связи, проходящей от глаза наблюдателя к элементу маркировки,
выбор виртуального объекта в трехмерном виртуальном динамическом отображении посредством позиционирования элемента маркировки в заданной области на виртуальной поверхности,
причем объект выбирают путем перемещения элемента маркировки на виртуальной поверхности таким образом, чтобы линия связи пересекала виртуальное местоположение выбираемого виртуального объекта в трехмерном виртуальном динамическом отображении.
10. Машиночитаемый носитель данных, в котором сохранен элемент компьютерной программы, предназначенный для управления устройством представления по одному из пп. 1-4 и при его выполнении процессором вычислительного модуля обеспечивающий осуществление способа по п. 9.
RU2014113401A 2011-09-08 2012-09-05 Выбор объектов в трехмерном виртуальном динамическом отображении RU2616884C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102011112619A DE102011112619A1 (de) 2011-09-08 2011-09-08 Auswahl von Objekten in einem dreidimensionalen virtuellen Szenario
DE102011112619.1 2011-09-08
PCT/DE2012/000884 WO2013034131A1 (de) 2011-09-08 2012-09-05 Auswahl von objekten in einem dreidimensionalen virtuellen szenario

Publications (2)

Publication Number Publication Date
RU2014113401A RU2014113401A (ru) 2015-10-20
RU2616884C2 true RU2616884C2 (ru) 2017-04-18

Family

ID=47080109

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2014113401A RU2616884C2 (ru) 2011-09-08 2012-09-05 Выбор объектов в трехмерном виртуальном динамическом отображении

Country Status (7)

Country Link
US (1) US10372288B2 (ru)
EP (1) EP2754298B1 (ru)
KR (1) KR101997298B1 (ru)
CA (1) CA2847421C (ru)
DE (1) DE102011112619A1 (ru)
RU (1) RU2616884C2 (ru)
WO (1) WO2013034131A1 (ru)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011112619A1 (de) 2011-09-08 2013-03-14 Eads Deutschland Gmbh Auswahl von Objekten in einem dreidimensionalen virtuellen Szenario
US9754496B2 (en) 2014-09-30 2017-09-05 Elwha Llc System and method for management of airspace for unmanned aircraft
US9919797B2 (en) 2014-12-04 2018-03-20 Elwha Llc System and method for operation and management of reconfigurable unmanned aircraft
US20160272310A1 (en) 2014-12-04 2016-09-22 Elwha Llc Reconfigurable unmanned aircraft system
US9878787B2 (en) 2015-07-15 2018-01-30 Elwha Llc System and method for operating unmanned aircraft
US20170015414A1 (en) * 2015-07-15 2017-01-19 Elwha Llc System and method for power transfer to an unmanned aircraft
KR101855778B1 (ko) 2016-12-06 2018-05-09 현대자동차 주식회사 가상 마킹을 이용한 차체 결함 제거 방법, 및 시스템
RU2736008C1 (ru) * 2017-07-13 2020-11-11 Девар Энтертеймент Лимитед Способ формирования среды дополненной реальности
US10922895B2 (en) * 2018-05-04 2021-02-16 Microsoft Technology Licensing, Llc Projection of content libraries in three-dimensional environment

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5015188A (en) * 1988-05-03 1991-05-14 The United States Of America As Represented By The Secretary Of The Air Force Three dimensional tactical element situation (3DTES) display
EP0493822A1 (en) * 1990-12-31 1992-07-08 Honeywell Inc. Display for a traffic alert and collision avoidance system
US6052100A (en) * 1994-03-16 2000-04-18 The United States Of America Represented By The Secertary Of The Navy Computer controlled three-dimensional volumetric display
US6611283B1 (en) * 1997-11-21 2003-08-26 Canon Kabushiki Kaisha Method and apparatus for inputting three-dimensional shape information
RU2355030C2 (ru) * 2003-04-28 2009-05-10 Снекма Способ и система для перемещения виртуальной модели человека в виртуальной среде
RU2451982C1 (ru) * 2008-06-24 2012-05-27 Олег Станиславович Рурин Способ воздействия на виртуальные объекты

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6031519A (en) 1997-12-30 2000-02-29 O'brien; Wayne P. Holographic direct manipulation interface
US6842175B1 (en) * 1999-04-22 2005-01-11 Fraunhofer Usa, Inc. Tools for interacting with virtual environments
SE0102584D0 (sv) 2001-07-23 2001-07-23 Ck Man Ab Sätt och anordning för bildpresentation
CA2496773A1 (en) * 2001-09-12 2003-03-20 Volume Interactions Pte Ltd Interaction with a three-dimensional computer model
JP3579685B2 (ja) 2001-10-24 2004-10-20 独立行政法人電子航法研究所 航空管制用表示装置における航空機位置表示方法
US7324085B2 (en) * 2002-01-25 2008-01-29 Autodesk, Inc. Techniques for pointing to locations within a volumetric display
DE10256659A1 (de) * 2002-12-04 2004-07-08 Siemens Ag Engabevorrichtung zur Orientierung in einer dreidimensionalen Visualisierung, Verfahren zur Visualisierung von dreidimensionalen Datensätzen, Darstellungsvorrichtung zur Darstellung einer Visualisierung von dreidimensionalen Datensätzen, Verfahren zum Betrieb eines bildgebenden medizinischen Üntersuchungsgeräts und Verfahren zur graphischen Positionierung einer mittels eines bildgebenden medizinischen Untersuchungsgeräts zu messenden Schicht in einem dreidimensionalen Datensatz einer Vorbereitungsmessung
WO2005099386A2 (en) * 2004-04-13 2005-10-27 Board Of Regents, The University Of Texas System Holographic projector
US7348997B1 (en) * 2004-07-21 2008-03-25 United States Of America As Represented By The Secretary Of The Navy Object selection in a computer-generated 3D environment
US20080094398A1 (en) * 2006-09-19 2008-04-24 Bracco Imaging, S.P.A. Methods and systems for interacting with a 3D visualization system using a 2D interface ("DextroLap")
DE102007057208A1 (de) 2007-11-15 2009-05-28 Spatial View Gmbh Verfahren zum Darstellen von Bildobjekten in einem virtuellen dreidimensionalen Bildraum
US9294751B2 (en) 2009-09-09 2016-03-22 Mattel, Inc. Method and system for disparity adjustment during stereoscopic zoom
JP4900741B2 (ja) 2010-01-29 2012-03-21 島根県 画像認識装置および操作判定方法並びにプログラム
KR101682205B1 (ko) 2010-05-03 2016-12-05 삼성전자주식회사 입체영상의 시청피로를 저감하는 장치 및 방법
US8896667B2 (en) 2010-10-25 2014-11-25 Aptina Imaging Corporation Stereoscopic imaging systems with convergence control for reducing conflicts between accomodation and convergence
JP5678643B2 (ja) 2010-12-21 2015-03-04 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
DE102011112619A1 (de) 2011-09-08 2013-03-14 Eads Deutschland Gmbh Auswahl von Objekten in einem dreidimensionalen virtuellen Szenario

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5015188A (en) * 1988-05-03 1991-05-14 The United States Of America As Represented By The Secretary Of The Air Force Three dimensional tactical element situation (3DTES) display
EP0493822A1 (en) * 1990-12-31 1992-07-08 Honeywell Inc. Display for a traffic alert and collision avoidance system
US6052100A (en) * 1994-03-16 2000-04-18 The United States Of America Represented By The Secertary Of The Navy Computer controlled three-dimensional volumetric display
US6611283B1 (en) * 1997-11-21 2003-08-26 Canon Kabushiki Kaisha Method and apparatus for inputting three-dimensional shape information
RU2355030C2 (ru) * 2003-04-28 2009-05-10 Снекма Способ и система для перемещения виртуальной модели человека в виртуальной среде
RU2451982C1 (ru) * 2008-06-24 2012-05-27 Олег Станиславович Рурин Способ воздействия на виртуальные объекты

Also Published As

Publication number Publication date
DE102011112619A1 (de) 2013-03-14
WO2013034131A1 (de) 2013-03-14
CA2847421A1 (en) 2013-03-14
US10372288B2 (en) 2019-08-06
CA2847421C (en) 2020-07-07
RU2014113401A (ru) 2015-10-20
EP2754298B1 (de) 2022-05-18
KR101997298B1 (ko) 2019-07-05
EP2754298A1 (de) 2014-07-16
US20140250412A1 (en) 2014-09-04
KR20140060534A (ko) 2014-05-20

Similar Documents

Publication Publication Date Title
RU2616884C2 (ru) Выбор объектов в трехмерном виртуальном динамическом отображении
US10217288B2 (en) Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor
US9704285B2 (en) Detection of partially obscured objects in three dimensional stereoscopic scenes
CN105074617B (zh) 三维用户界面装置和三维操作处理方法
US20160307374A1 (en) Method and system for providing information associated with a view of a real environment superimposed with a virtual object
US10623721B2 (en) Methods and systems for multiple access to a single hardware data stream
JP6290754B2 (ja) 仮想空間表示装置、仮想空間表示方法及びプログラム
US6283598B1 (en) Method of and apparatus for displaying an image
CN107710108B (zh) 内容浏览
US20100315414A1 (en) Display of 3-dimensional objects
WO2018211494A1 (en) System with multiple displays and methods of use
EP3118722A1 (en) Mediated reality
RU2604430C2 (ru) Взаимодействие с трехмерным виртуальным динамическим отображением
Poitschke et al. Contact-analog information representation in an automotive head-up display
KR20110088995A (ko) 3차원 모델 안에서 감시 카메라 영상을 시각화하기 위한 방법 및 시스템, 및 기록 매체
Gruenefeld et al. Behind the scenes: Comparing x-ray visualization techniques in head-mounted optical see-through augmented reality
ITTO20090058A1 (it) Visualizzazione di uno spazio virtuale tridimensionale generato da un sistema elettronico di simulazione
US20170372522A1 (en) Mediated reality
US10345595B2 (en) Head mounted device with eye tracking and control method thereof
CN109426419B (zh) 界面显示方法及相关设备
Cho et al. Evaluating dynamic-adjustment of stereo view parameters in a multi-scale virtual environment
CN117043722A (zh) 用于地图的设备、方法和图形用户界面
KR101733519B1 (ko) 3차원 디스플레이 장치 및 방법
RU2598788C2 (ru) Выполненный с отгибом дисплей для трехмерного представления динамического отображения
JPH0416896A (ja) 三次元カーソル及び三次元カーソルを用いた画像表示方法

Legal Events

Date Code Title Description
HZ9A Changing address for correspondence with an applicant