CN110366746A - 基于虚拟现实的影像诊断练习装置和方法 - Google Patents

基于虚拟现实的影像诊断练习装置和方法 Download PDF

Info

Publication number
CN110366746A
CN110366746A CN201880013656.3A CN201880013656A CN110366746A CN 110366746 A CN110366746 A CN 110366746A CN 201880013656 A CN201880013656 A CN 201880013656A CN 110366746 A CN110366746 A CN 110366746A
Authority
CN
China
Prior art keywords
virtual
image
hmd
unit
hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880013656.3A
Other languages
English (en)
Other versions
CN110366746B (zh
Inventor
李喜硕
赵殷逸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Verada
Original Assignee
Verada
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Verada filed Critical Verada
Publication of CN110366746A publication Critical patent/CN110366746A/zh
Application granted granted Critical
Publication of CN110366746B publication Critical patent/CN110366746B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G09B23/286—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine for scanning or photography techniques, e.g. X-rays, ultrasonics
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G09B23/283—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine for dentistry or oral hygiene
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

本发明涉及一种基于虚拟现实的影像诊断练习装置和方法，该装置和方法能够使具有头戴式显示器(HMD)和手上的手戴式部件的受训者操纵虚拟射线照相设备并在视听虚拟现实中提供的虚拟辐射练习环境中执行虚拟辐射练习，并且手运动控制器从手戴式部件接收受训者的手的位置和角度，从而使虚拟射线照相设备操作，并因虚拟射线照相设备的操作而虚拟地输出特定结果。本发明的虚拟影像诊断练习装置包括：HMD头戴式部件，其被佩戴在受训者的头部，并将包含虚拟射线照相设备的图像输出到HMD图像输出单元，用于虚拟影像诊断练习；HMD手戴式部件，其被佩戴在受训者的手上，并且包含手运动检测部件，当受训者的手移动以操纵图像中的虚拟射线照相设备时，手运动检测部件检测受训者的手运动信号；HMD控制器，其接收来自HMD手戴式部件的手运动信号，将手运动信号发送到主服务器，并将从主服务器接收的图像发送到HMD头戴式部件；主服务器，其接收HMD控制器所接收的手运动信号，根据手运动信号在图像中移动作为受训者的虚拟手的手运动指示器，并将包含所移动的手运动指示器的图像发送到HMD控制器。

Description

基于虚拟现实的影像诊断练习装置和方法
技术领域
本发明涉及一种基于虚拟现实的影像诊断练习装置和方法，其中练习生配备有头戴式显示器(HMD)，在手中佩戴手持式单元，操纵虚拟射线照相(radiography)设备并在视听虚拟现实中的虚拟辐射练习环境中执行虚拟辐射练习，并且手运动控制器从手持式单元接收练习生的手的位置和角度，使虚拟射线照相设备操作，并随着虚拟射线照相设备的操作而虚拟地输出特定结果。
背景技术
通常，辐射设备是非常危险的，因为用户可能暴露于辐射，因此需要高技能人员来操纵辐射设备。
存在各种装置，例如伽马照相机、计算机断层摄影装置(照相机)、甲状腺测量装置、X射线装置、直线加速器、回旋加速器。在许多情况下，即使对于相同类型的辐射设备，操纵设备的方法也因制造商而异。
未来的医疗专业人员需要尽可能多地了解与人的生活直接相关的医疗辐射设备。
然而，这些医疗辐射设备非常昂贵，由于其大尺寸而占用大量空间，并且还需要专业管理员来管理它们。因此，一般而言，需要影像诊断(radiology)练习的学校或部门不容易拥有所有这些设备。
到目前为止，影像诊断练习已经在需要影像诊断练习的学校或部门使用实际放射设备和人体模型进行。因此，练习生或教育者可能会受到辐射。
因此，需要一种这样的影像诊断练习装置：其能够以低成本并且没有暴露于辐射的风险使用各种医疗辐射设备来执行各种应用。
为此，本发明提出了一种基于虚拟现实的影像诊断练习装置。
如果在虚拟现实中进行影像诊断练习，则不可能成为实际操纵辐射设备的熟练练习生，因为它只需要观察而不是动手练习。
因此，期望执行与练习生操作射线照相设备的实际练习相同的虚拟练习，并通过虚拟现实中的操作结果获得特定输出。
因此，本发明提出了一种基于虚拟现实的影像诊断练习装置和方法，其中该练习生配备有头戴式显示器(HMD)，在手中佩戴手持式单元，操纵虚拟射线照相设备并在视听虚拟现实中提供的虚拟辐射练习环境中执行虚拟辐射练习，并且手运动控制器从手持式单元接收练习生的手的位置和角度，使虚拟射线照相设备操作，并随着虚拟射线照相设备的操作而虚拟地输出特定结果。
作为现有技术，在韩国专利公开No.2003-0044909中存在“用于牙科学的虚拟现实训练的系统和方法”。
如图1所示，上述在先发明涉及一种用于获得牙科中的程序移动性的虚拟现实练习系统，其感测关于可以用手握持和操纵的实际元件(2)的空间位置的数据，在屏幕(7)上显示虚拟物体(T)的三维表示，使计算机(6)处理空间位置数据以提供与实际元件(2)的实际空间位置对应的虚拟设备(OV)的空间表示，提供在虚拟物体(T)上运行的虚拟设备(01-04)，并模拟虚拟物体(T)和虚拟设备之间的交互。手持式元件(2)属于触觉人机界面(IHM)设备(1)，其具有被控制的致动器，以在虚拟设备(OV)与虚拟物体(T)交互时向持有实际元件(2)的用户提供力反馈。也就是说，手持式实际元件(2)、探针手工具等安装在触觉接口设备(1)的铰接臂(3)的自由端上，当虚拟设备(OV)与虚拟物体(T)交互时，触觉接口设备(1)将特定力反馈到手持式实际元件(2)。
韩国专利公开No.2003-0044909涉及牙科设备，其中练习生不需要移动很多，在一个地方练习，没有各种虚拟患者，并且在远非实际练习环境的不同环境中练习。
也就是说，韩国专利公开No.2003-0044909没有虚拟射线照相设备，并且不可能与各种虚拟患者一起练习，并且练习生难以用手在虚拟辐射练习中实际操作虚拟射线照相设备。
发明内容
【技术问题】
本发明旨在解决的问题是提供一种基于虚拟现实的影像诊断练习装置和方法，其中练习生配备有头戴式显示器(HMD)，在手中佩戴手持式单元，操纵虚拟射线照相设备并在视听虚拟现实中的虚拟辐射练习环境中执行虚拟辐射练习，并且手运动控制器从手持式单元接收练习生的手的位置和角度，使虚拟射线照相设备操作，并随着虚拟射线照相设备的操作而虚拟地输出特定结果。
本发明旨在解决的另一个问题是提供一种基于虚拟现实的影像诊断练习装置和方法，通过该装置和方法，可以在虚拟现实中操纵与各种类型的虚拟患者或各种虚拟成像物体协调的各种虚拟射线照相设备，并虚拟地验证练习的结果。
本发明旨在解决的另一个问题是提供一种基于虚拟现实的影像诊断练习装置和方法，其能够在普通显示器上显示特定练习生在虚拟练习中执行的图像，以便其他练习生或教育者可以看到它。
【技术方案】
为了解决上述问题，本发明的虚拟影像诊断练习装置的特征在于包括HMD头戴式单元、HMD手持式单元、HMD控制器和主服务器，这些部件详述如下：HMD头戴式单元被佩戴在练习生(学习者或受训者或用户)的头部上，并将包含虚拟射线照相设备的图像输出到HMD图像输出单元，用于虚拟影像诊断练习；HMD手持式单元被佩戴在练习生的手上，并且包含手移动检测单元，当练习生的手移动以操纵图像上的所述虚拟射线照相设备时，所述手移动检测单元检测练习生的手移动信号；HMD控制器接收来自所述HMD手持式单元的所述手移动信号，将所述手移动信号发送到主服务器，并将从所述主服务器接收的图像发送到所述HMD头戴式单元；主服务器接收来自所述HMD控制器的所述手移动信号，根据所述手移动信号在图像上移动作为练习生的虚拟手的手移动指示器，并将包含所移动的手移动指示器的图像发送到所述HMD控制器。
HMD头戴式单元还包括耳机，所述耳机用于输出经由所述HMD控制器从所述主服务器接收的声音信号。所述HMD手持式单元附加地包括触发按钮，所述触发按钮指示图像上与所述手移动指示器碰撞的虚拟物体被图像上的所述手移动指示器保持。
如果虚拟物体的与手移动指示器碰撞的部分是动作部(可移动部分)，则当所述主服务器经由所述HMD控制器从所述触发按钮接收触发信号时，所述主服务器使图像中所述虚拟物体的所述动作部根据所述手移动指示器的移动而移动。
HMD手持式单元附加地包括振动产生单元，所述振动产生单元用于当所述手移动指示器与虚拟物体在图像上碰撞时输出振动。所述HMD头戴式单元附加地包括头部移动检测单元，所述头部移动检测单元检测练习生的头部移动。
所述主服务器通过所述HMD控制器从所述头部移动检测单元接收头部移动信号，根据所述头部移动信号生成改变所述图像的视点的图像，并将该图像发送到所述HMD控制器。
虚拟影像诊断练习装置附加地相机单元，所述相机单元用于拍摄练习生，以生成位置跟踪图像。主服务器根据通过所述HMD控制器从所述相机单元接收的所述位置跟踪图像、所述头部移动信号和所述手移动信号生成图像，并将该图像发送到所述HMD控制器。
HMD手持式单元附加地包括FBLR(前/后/左/右)按钮(轨迹板)。当主服务器通过HMD控制器接收从FBLR按钮输出的FBLR按钮信号时，所述主服务器为练习生生成图像中练习生在头部移动信号的方向上移动的图像，并将该图像发送到所述HMD控制器。
所述头部移动信号、所述位置跟踪图像和所述手移动信号是与基站单元的红外发射同步地检测的信号。
该装置附加地包括设置单元，所述设置单元允许练习生设置虚拟射线照相设备或虚拟患者。
另外，本发明的虚拟影像诊断练习装置的驱动方法的特征在于以下特征：佩戴在练习生头部上的HMD(头戴式显示器)头戴式单元的图像输出单元输出图像，该图像包括用于虚拟影像诊断练习的虚拟射线照相设备；为了操纵图像上的虚拟射线照相设备，当练习生的手移动时，佩戴在练习生手上的HMD手持式单元的手移动检测单元检测练习生的手移动信号，并经由HMD控制器将所述手移动信号发送到主服务器操作处理单元(在下文中称为操作处理单元)；根据接收到的手移动信号，操作处理单元在图像上移动作为练习生的虚拟手的手移动指示器，并经由所述HMD控制器将包含移动的手移动指示器的图像输出到所述HMD头戴式单元的图像输出单元。
另外，本发明的虚拟影像诊断练习装置的驱动方法包括由主服务器的操作处理单元执行的以下步骤：信号接收步骤，其中主服务器的操作处理单元通过HMD控制器接收由安装在HMD头戴式单元上的头部移动检测单元检测到的头部移动信号、由HMD手持式单元的手移动检测单元检测到的手移动信号、相机单元通过对练习生进行图像拍摄而产生的位置跟踪图像；视野调整和手移动指示器显示步骤，其中所述主服务器的所述操作处理单元根据所述头部移动信号确定练习生的视野，输出根据练习生的视野调整图像的预设虚拟练习环境的图像，并且在虚拟练习环境的图像上，在根据所述手移动信号的位置或根据位置跟踪图像信号的手位置处显示作为练习生的虚拟手的手移动指示器；检查用于移动的交互条件的步骤，其中所述主服务器的所述操作处理单元根据所述HMD手持式单元的输入按钮的选择判断是否已接收到输入按钮信号，并判断所述手移动指示器是否已与虚拟射线照相设备碰撞；以及交互执行步骤，其中如果在检查用于移动的交互条件的步骤中输入所述输入按钮信号，则所述主服务器的所述操作处理单元根据所述输入按钮信号执行操作，并且如果在检查用于移动的交互条件的步骤中所述手移动指示器与所述虚拟射线照相设备碰撞，则所述主服务器的所述操作处理单元产生振动输出控制信号，并将所述振动输出控制信号发送到所述HMD控制器。
另外，本发明的虚拟影像诊断练习装置的驱动方法包括由主服务器的操作处理单元执行的以下步骤：练习执行步骤，其中在成像时，根据依照练习生的手移动信号移动的手移动指示器的移动，主服务器的操作处理单元将虚拟胶片布置在已经移动到成像位置的虚拟患者的成像区域上，调整虚拟射线照相设备的位置和角度，并驱动所述虚拟射线照相设备进行虚拟图像拍摄练习；以及输出虚拟练习结果的步骤，其中在所述练习执行步骤之后，如果所述手移动指示器已经与虚拟结果画面监视器发生碰撞，则所述主服务器的所述操作处理单元根据所述手移动指示器虚拟地将从所述虚拟患者移除的胶片显影，并在所述虚拟结果画面监视器上显示从胶片虚拟显影的照片。
在练习执行步骤之前，虚拟影像诊断练习装置的驱动方法还包括：移动到虚拟实验室的步骤，其中当在图像上练习生移动到虚拟射线照相室时，所述主服务器的所述操作处理单元经由所述HMD控制器将虚拟射线照相室的图像发送到HMD图像输出单元；以及虚拟患者设置步骤，其中在所述移动到虚拟实验室的步骤之后，所述主服务器的所述操作处理单元显示患者选择对话框，并经由所述HMD控制器将练习生所设置的虚拟患者图像发送到所述HMD图像输出单元。
另外，本发明的虚拟影像诊断练习装置的驱动方法包括由主服务器的操作处理单元执行的以下步骤：手移动信号接收步骤，其中如果图像上手移动指示器与物体的动作部碰撞并且主服务器的操作处理单元经由HMD控制器从HMD手持式单元的触发按钮接收到触发信号，则所述主服务器的所述操作处理单元确定练习生一直试图抓住虚拟物体，从所述HMD手持式单元的手移动检测单元接收手移动信号，并将所述手移动信号存储在存储单元；以及移动动作部的步骤，其中如果已经经由所述HMD控制器从所述HMD手持式单元的所述触发按钮接收到触发信号，则所述主服务器的所述操作处理单元从所述HMD手持式单元的所述手移动检测单元接收当前手移动信号，并且根据所述当前手移动信号与先前手信号进行比较的比较结果移动所述虚拟物体的动作部。
另外，本发明的虚拟影像诊断练习装置的驱动方法包括由主服务器的操作处理单元执行的以下步骤：检查FBLR按钮信号的接收的步骤，其中主服务器的操作处理单元判断是否经由HMD控制器从HMD手持式单元的FBLR按钮(轨迹板)接收到所述FBLR按钮信号；计算与地面的碰撞点的步骤，其中如果所述主服务器的所述操作处理单元接收到所述FBLR按钮信号，则所述主服务器的所述操作处理单元从所述HMD手持式单元的手移动检测单元接收由手的位置和角度值组成的手移动信号，并计算在根据所述手移动信号的位置和角度的方向的延长线上与地面的碰撞点；接收头部移动信号的步骤，其中所述主服务器的所述操作处理单元从所述HMD控制器接收由头部的位置和角度值组成的头部移动信号，并确定练习生头部所面向的方向；以及基于碰撞点显示移形换位(teleport)点的步骤，其中所述主服务器的所述操作处理单元基于碰撞点显示移形换位点，并显示练习生视野的方向。
虚拟影像诊断练习装置的驱动方法还包括以下步骤：检查抓取按钮信号的接收的步骤，其中在所述基于碰撞点显示移形换位点的步骤之后，所述主服务器的所述操作处理单元判断是否已经从所述HMD手持式单元的抓取按钮接收到抓取按钮信号；检查FBLR按钮信号的重新接收的步骤，其中如果在检查抓取按钮信号的接收的步骤中没有接收到所述抓取按钮信号，则所述主服务器的所述操作处理单元判断是否已经从所述HMD手持式单元的FBLR按钮再次接收到所述FBLR按钮信号，并且如果还没有再次接收到所述FBLR按钮信号，则所述主服务器的所述操作处理单元返回到计算与地面的碰撞点的步骤；位置移动执行步骤，其中所述主服务器的所述操作处理单元产生将练习生的方向和位置移动到在基于碰撞点显示移形换位点的步骤中获得的练习生的观察方向和移形换位点的图像，并将生成的图像发送给所述HMD控制器；以及取消移形换位点显示的步骤，其中如果在位置移动执行步骤之后或在检查抓取按钮信号的接收的步骤中已经接收到所述抓取按钮信号，则所述主服务器的所述操作处理单元取消在基于碰撞点显示移形换位点的步骤获得的移形换位点。
本发明的特征在于，虚拟影像诊断练习装置的驱动方法包括在实现虚拟练习之前创建和显示虚拟患者的以下步骤：主服务器的操作处理单元将由MRI扫描数据或CT扫描数据组成的医学图像数据发送到图像处理服务器；所述图像处理服务器使用深度人工神经网络结构对从所述主服务器接收的所述医学图像数据进行图像分割，使用分割后的图像来计算器官或组织的网格数据(表面信息数据)，并将计算出的器官或组织表面信息数据(网格数据)发送到所述主服务器；以及所述主服务器将所接收的虚拟患者的特定部分的网格数据转换为3D模型的网格数据并显示所述虚拟患者。
此外，本发明的特征在于，虚拟影像诊断练习装置的驱动方法包括以下步骤(其中，主服务器在虚拟练习结束后生成虚拟辐射图像拍摄结果画面)：读取成像物体、成像机和胶片的相对位置的步骤，其中所述主服务器的操作处理单元读取成像物体、成像机和胶片的相对位置和角度值；CT扫描数据加载步骤，其中所述主服务器的所述操作处理单元从数据库中读取所设置的患者的CT扫描数据；CT扫描数据的3D建模步骤，其中所述主服务器的所述操作处理单元通过体绘制执行所述CT扫描数据的三维建模；以及射线照片图像生成步骤，其中根据在CT扫描数据的加载步骤中3D模型、所述胶片和所述成像机的相对位置，所述成像机和所述胶片之间的3D模型的3D数据通过二维平面被投影(发送)，以生成射线照片。
另外，本发明的特征在于，虚拟影像诊断练习装置的驱动方法包括以下步骤(其中，主服务器在虚拟练习结束后生成虚拟辐射图像拍摄结果画面)：读取成像物体、成像机和胶片的相对位置的步骤，其中所述主服务器的操作处理单元读取成像物体、成像机和胶片的相对位置和角度值；射线照片加载步骤，其中所述主服务器的操作处理单元从数据库中读取所设置的患者的目标部位射线照片；调整原始射线照片大小的步骤，其中所述主服务器的所述操作处理单元对作为在所述射线照片加载步骤中读取的目标部位射线照片的原始射线照片进行投影，在平行于成像机的方向上移动所述原始射线照片，并根据投影放大或缩小所述原始射线照片的图像的尺寸；检查接触点的存在的步骤，其中在调整原始射线照片大小的步骤之后，所述主服务器的所述操作处理单元判断投影照片和所述胶片是否具有接触点，并且如果没有接触点，则使该过程返回到调整原始射线照片的尺寸的步骤；以及像素值存储步骤，其中如果在检查接触点的存在的步骤中存在接触点，则所述主服务器的所述操作处理单元将接触的投影照片的像素值复制到存储结果照片的缓冲器中。
虚拟影像诊断练习装置的驱动方法附加地包括：检查离开胶片区域的步骤，其中所述主服务器的所述操作处理单元检查投影图像是否在胶片区域之外，并且如果不在胶片区域之外，则该过程返回到调整原始射线照片的尺寸的步骤，如果在胶片区域之外，则该过程结束。
【有益效果】
在本发明中，练习生配备有头戴式显示器(HMD)，在手中佩戴手持式单元，操纵虚拟射线照相设备并在视听虚拟现实中提供的虚拟辐射练习环境中执行虚拟辐射练习，并且使手运动控制器从手持式单元接收练习生的手的位置和角度，使虚拟射线照相设备操作，并随着虚拟射线照相设备的操作而虚拟地输出特定结果。因此，本发明允许练习生以与他们在真实环境中相同的方式执行练习，但允许练习生和教育者不暴露于辐射。
本发明可以允许练习生能够在虚拟现实中操纵与各种类型的虚拟患者或各种虚拟成像物体协调的各种虚拟射线照相设备，并虚拟地看到操作的结果。
换句话说，本发明可以允许在现有影像诊断练习中使用实际射线照相设备和人体模型的传统成像方法通过虚拟现实中的虚拟成像设备和各种虚拟患者来实施。因此，可以解决现有影像诊断练习方法的如下问题：直接暴露于辐射，运行练习实验室的成本高，以及练习经验有限。
本发明还适用于口腔影像诊断练习等。
本发明还可以允许特定练习生的虚拟练习执行图像显示在一般显示器上，供其他练习生或教育者观看，以便练习生可以根据教育者的教育进行虚拟练习并听取其它练习生的建议。
附图说明
图1是韩国专利公开No.2003-0044909的虚拟现实练习系统的框图。
图2是用于说明本发明的基于虚拟现实的影像诊断练习装置的示意图。
图3是用于说明图2的基于虚拟现实的影像诊断练习装置的驱动方法的示意图。
图4是图2的HMD手持式单元的实例。
图5是示出图2的基于虚拟现实的影像诊断练习装置的构造的框图。
图6是图5的主服务器的基本操作的流程图。
图7是用于说明在使用虚拟射线照相设备的练习模式中图5的主服务器的操作处理单元的操作的流程图。
图8是用于说明在虚拟练习环境中抓住物体时图5中的主服务器的操作处理单元的操作的流程图。
图9是示出在虚拟练习空间中图5中的主服务器的操作处理单元的移形换位(练习生的位置转移)的过程的流程图。
图10是示出使用本发明的虚拟影像诊断练习装置的虚拟练习中的辐射图像拍摄结果画面的计算过程的实例的流程图。
图11是示出使用本发明的虚拟影像诊断练习装置的虚拟练习中的辐射图像拍摄结果画面的计算处理的另一实例的流程图。
图12和图13是说明图2的基于虚拟现实的影像诊断练习装置的示意图，其中虚拟射线照相设备是数字X射线设备。
图14和图15是说明图2的基于虚拟现实的影像诊断练习装置的示意图，其中虚拟射线照相设备是血管造影机。
图16是说明图2的基于虚拟现实的影像诊断练习装置的示意图，其中虚拟射线照相设备是CT扫描仪。
具体实施方式
在下文中，将参考附图详细描述本发明的基于虚拟现实的影像诊断练习装置和方法。
图2是用于说明本发明的基于虚拟现实的虚拟影像诊断练习装置的示意图，图3是用于说明图2的基于虚拟现实的虚拟影像诊断练习装置的驱动方法的示意图。
在本发明中，基站单元(77)、HMD头戴式单元(100)、HMD控制器(链接盒)(150)、HMD手持式单元(200)和相机单元(300)构成一个组件(set)，即HMD组件(76)。这里，HMD组件(76)可以使用市售HMD组件。
如图2所示，练习生(20)在他/她的头上佩戴HMD头戴式单元(100)，并且在他/她的手上佩戴HMD手持式单元或者将HMD手持式单元握在他/她的手中。然后，练习生(20)可以在观看HMD头戴式单元(100)上显示的图像并通过连接到HMD头戴式单元(100)的耳机130收听声音的同时练习或收听演讲。此时，HMD头戴式单元(100)上显示的图像直接显示在位于外部的显示单元(600)上，并且连接到HMD头戴式单元(100)的耳机(130)的声音在位于外部的扬声器单元(575)上输出。
相机单元(300)包括位置跟踪(运动跟踪)感测相机等，捕获练习生(20)的移动图像，即，拍摄练习生的图像，并将该图像发送到HMD控制器(150)。HMD控制器(150)将该图像发送到主服务器(500)，或根据来自练习生图像的练习生(用户)的移动来检测位置跟踪(运动跟踪)信号，并将信号发送到主服务器(500)。
在HMD头戴式单元(100)和显示单元(600)中，显示手形手移动指示器(70)，并且手移动指示器(70)对应于练习生(20)的手(即，HMD手持式单元(200)的运动信号)在显示单元(600)的屏幕上(即，在虚拟练习环境中)移动。响应于手移动指示器(70)的移动，所显示的虚拟射线照相设备(50)的特定动作部可以移动，或者可以选择所显示的特定设置开关。此时，当练习生(20)的手移动指示器(70)与虚拟射线照相设备(50)等接触或者抓住虚拟射线照相设备(50)等时，指示接触的振动通过HMD手持式单元(200)的振动产生单元(230)被感觉到。
HMD头戴式单元(100)将经由HMD控制器(150)从主服务器(500)接收的图像信号和声音信号输出到HMD图像输出单元(120)和耳机(130)，经由HMD控制器(150)将从安装在HMD头戴式单元(100)上的头部移动检测单元(110)检测到的头部移动信号发送到主服务器(500)。这里，头部移动信号表示练习生(20)面向的方向或练习生(20)正在看的方向。
HMD头戴式单元(100)和显示单元(600)根据所选择的练习模式经由HMD控制器(150)从主服务器(500)接收虚拟射线照相设备(50)的图像。另外，HMD头戴式单元(100)和显示单元(600)可以根据用户在虚拟影像诊断练习装置的设置单元中的设置显示经由HMD控制器(150)从主服务器(500)接收的特定虚拟患者(30)的图像。
这里，图2中的虚拟射线照相设备(50)表示口内X射线机，但这并不意图将本发明限制于此。虚拟射线照相设备(50)可以是虚拟放射治疗设备或虚拟射线照相装置，例如数字X射线机、血管造影机、CT扫描仪、MRI机、口内X射线机、口外X射线机、全景放射照相机或乳腺X线照相机。
例如，当虚拟射线照相设备(50)是数字X射线机时，在图12和图13中示出基于虚拟现实的虚拟影像诊断练习装置的示意图。当虚拟射线照相设备(50)是血管造影机时，在图14和图15中示出基于虚拟现实的虚拟影像诊断练习装置的示意图。另外，当虚拟射线照相设备(50)是CT扫描仪时，在图16中示出基于虚拟现实的虚拟影像诊断练习装置的示意图。
连接到HMD头戴式单元(100)的耳机(130)输出经由HMD控制器(150)从主服务器(500)接收的声音信号，并且这些声音信号也从主服务器(500)发送到扬声器单元(575)，使得这些声音信号可以通过扬声器单元(575)被听到。
HMD手持式单元(200)通过HMD控制器(150)将由手移动检测单元(210)检测到的手移动信号发送到主服务器(500)，并且振动产生单元(230)也是根据经由HMD控制器(150)从主服务器(500)接收的振动控制信号而被驱动。
与基站单元(77)产生红外线同步，手移动检测单元(210)和头部移动检测单元(110)检测手移动信号和头部移动信号。
主服务器(500)使用所接收的手移动信号、头部移动信号和练习生图像来设置练习所预期的要移动的虚拟射线照相设备(50)的动作部(可移动部分)。主服务器(500)生成响应于手移动信号而移动动作部的图像，并将该图像发送到HMD头戴式单元(100)和显示单元(600)。
作为选择，主服务器(500)可以使用所接收的手移动信号、输入按钮信号、头部移动信号和练习生图像选择虚拟射线照相设备(50)的设置单元或虚拟影像诊断练习装置的设置单元中的特定开关。主服务器(500)可以使用所接收的手移动信号、输入按钮信号、头部移动信号和练习生图像使所选择的开关启动或结束。这些开关可以是拨动开关。
图4是图2的HMD手持式单元的实例。
图2的HMD手持式单元(200)是商业产品，并包括FBLR(前/后/左/右)按钮(215)、电源接通/断开按钮(237)、在该HMD手持式单元的上表面上的菜单按钮(235)和在下表面侧的触发按钮(217)。可以使用拇指操作FBLR按钮(215)、电源接通/断开按钮(237)和菜单按钮(235)，并且可以使用食指操作触发按钮(217)。
图5是用于说明图2的基于虚拟现实的虚拟影像诊断练习装置的构造的框图，该练习装置包括基站单元(77)、HMD头戴式单元(100)、HMD控制器(150)、HMD手持式单元(200)、主服务器(500)、扬声器单元(575)、显示单元(600)和医学图像处理服务器(700)。
基站单元(77)包括用于在特定时段输出红外线的一个或多个基站。与基站单元(77)发射红外线同步，头部移动检测单元(110)和手移动检测单元(210)检测信号。
HMD头戴式单元(100)为练习生(20)提供虚拟练习环境。该HMD头戴式单元是一种用于检测头部移动信号的装置，该头部移动信号可以掌握当前练习生的面部方向，并通过HMD控制器(150)将该方向发送到主服务器(500)。HMD头戴式单元(100)包括头部移动检测单元(110)、HMD图像输出单元(120)和耳机(130)。
头部移动检测传感器(未示出)安装在HMD头戴式单元(100)上，以检测头部移动信号并将检测到的头部移动信号发送到HMD控制器(150)的头部移动信号预处理单元(160)。头部移动信号可以由头部位置信号(X,Y,Z)和头部旋转角度信号组成。这里，头部移动检测传感器可以是陀螺仪传感器、加速度传感器等。
HMD图像输出单元(120)输出通过图像输出控制单元(170)接收的图像信号。
耳机(130)输出经由声音输出控制单元(177)接收的声音信号。通过耳机(130)输出的声音可以主要是演讲数据(声音)等。
HMD手持式单元(200)包括手移动检测单元(210)、输入按钮(220)和振动产生单元(230)。HMD手持式单元(200)使用手移动检测单元(210)检测练习生(20)的手移动信号，移动在虚拟练习环境(图像)中显示的手移动指示器(70)以进行虚拟练习。HMD手持式单元(200)还允许练习生(20)使用输入按钮在显示在虚拟图像上的虚拟射线照相设备(50)或虚拟影像诊断练习装置的设置单元中选择特定开关等。在练习生(20)在虚拟练习环境中接触特定物体或抓住特定物体时，HMD手持式单元(200)使用振动产生单元(230)通过振动感知该感觉。
手移动检测单元(210)配备有手移动检测传感器(未示出)，以检测手移动信号并经由HMD控制器(150)的第一数据发送和接收单元(250)将手移动信号无线传输到手移动信号预处理单元(260)。这里，手移动信号可以由手信号(X,Y,Z)和手角度信号组成。这里，手移动检测传感器可以是陀螺仪传感器、加速度传感器等。
在HMD手持式单元(200)中，输入按钮单元(220)包括FBLR按钮(215)、触发按钮(217)、电源接通/断开按钮(237)、菜单按钮(235)等。该输入按钮单元(220)可以用于练习生(20)的移动(例如，当练习生(20)移出虚拟练习环境中的虚拟成像室时)。另外，输入按钮单元(220)可以用于在虚拟射线照相设备(50)或虚拟影像诊断练习装置的设置单元中选择特定开关。触发按钮(217)是练习生在试图抓住虚拟物体等时选择的按钮。换句话说，练习生在握住虚拟物体的同时保持按压触发按钮，使得移动指示器在该时间期间握住虚拟物体。
振动产生单元(230)根据其驱动信号产生振动，该驱动信号通过第一数据发送和接收单元(250)从HMD控制器(150)的振动输出控制单元(280)接收。振动产生单元(230)位于手掌接触HMD手持式单元(200)的区域中。
相机单元(300)捕获练习生(20)的运动图像，并将练习生的图像(即，练习生的位置跟踪(运动跟踪)图像)输出到HMD控制器(150)的图像信号预处理单元(310)。相机单元(300)安装在显示单元(600)上，并且可以捕获练习生(20)的运动的部位。相机单元(300)可包括一个或多个相机，优选地包括两个相机。相机单元(300)是位置跟踪(运动跟踪)感测单元。在一些情况下，相机单元(300)可以是深度相机。
HMD控制器(150)包括头部移动信号预处理单元(160)、图像输出控制单元(170)、声音输出控制单元(177)、手移动信号预处理单元(260)、输入按钮信号预处理单元(270)、振动输出控制单元(280)和图像信号预处理单元(310)。
在图2中，HMD控制器(150)和HMD头戴式单元(100)之间的连接是有线的，而HMD控制器(150)和HMD手持式单元(200)之间的连接是无线的，并且HMD控制器(150)和主服务器(500)之间的连接是有线的。但是，应注意，并不是要将本发明限制于此。也就是说，HMD控制器(150)和HMD头戴式单元(100)之间的连接可以是无线的，或者HMD控制器(150)和主服务器(500)之间的连接可以是无线的。
头部移动信号预处理单元(160)放大由头部移动检测单元(110)检测到的头部移动信号，去除噪声，将信号转换为数字信号，并将数字化的头部移动信号输出到HMD控制器(150)的OPU(操作处理单元)(350)。
图像输出控制单元(170)从HMD控制器(150)的OPU(350)接收图像信号和图像输出控制信号，并控制HMD图像输出单元(120)输出图像信号。
声音输出控制单元(177)从HMD控制器(150)的OPU(350)接收声音信号和声音输出控制信号，并控制耳机(130)输出声音信号。
手移动信号预处理单元(260)通过第一数据发送和接收单元接收手移动信号(其由手移动检测单元(210)检测到)，放大信号或去除噪声，将信号转换为数字信号，并将数字化的头部移动信号输出到HMD控制器(150)的OPU(350)。
输入按钮信号预处理单元(270)通过第一数据发送和接收单元(250)接收来自输入按钮单元(220)的输入信号，将输入信号转换为数字信号，并将数字化的信号发送到HMD控制器(150)的OPU(350)。
振动输出控制单元(280)根据从HMD控制器(150)的OPU(350)接收的振动输出控制信号产生用于驱动振动产生单元(230)的信号，并通过第一数据发送和接收单元(250)将信号(即，振动产生单元驱动信号)发送到振动产生单元(230)。
图像信号预处理单元(310)将从相机单元(300)接收的练习生的图像(即，练习生的位置跟踪(运动跟踪)图像)转换为数字信号，并将数字化的信号发送到HMD控制器(150)的OPU(350)。
OPU(350)接收头部移动信号、手移动信号、输入按钮信号和练习生的图像(练习生的位置跟踪图像)，将它们转换成要发送到主服务器(500)的信号，并通过第二数据发送和接收单元(370)将该信号发送到主服务器(500)。另外，OPU(350)控制从主服务器(500)接收的图像信号和声音信号，以通过图像输出控制单元(170)和声音输出控制单元(177)输出到耳机(130)和HMD图像输出单元(120)。
也就是说，当基站单元(77)恒定地发射红外信号时，HMD头戴式单元(100)的红外检测传感器(未示出)检测该红外信号。当检测到红外信号时，由头部移动检测单元(110)检测到的头部移动信号被发送到HMD控制器(150)的头部移动信号预处理单元(160)。头部移动信号预处理单元(160)预处理该头部移动信号，并通过OPU(350)和第二数据发送和接收单元(370)将预处理头部移动信号(或头部移动信号和红外信号)发送到主服务器(500)。HMD手持式单元(200)的红外检测传感器(未示出)也检测红外信号。当检测到红外信号时，由手移动检测单元(210)检测到的手移动信号通过第一数据发送和接收单元(250)被发送到HMD控制器(150)的手移动信号预处理单元(260)。手移动信号预处理单元(260)预处理该手移动信号，并通过OPU(350)和第二数据发送和接收单元(370)将预处理手移动信号(或手移动信号和红外信号)发送到主服务器(500)。
主服务器(500)负责虚拟影像诊断练习装置(10)的整体控制。
主服务器(500)接收手移动信号、输入按钮信号和练习生的图像，并设置要根据这些信号移动的虚拟射线照相设备(50)的动作部，生成并输出使设置的动作部根据手移动信号移动的图像。
主服务器(500)读取由用户设置的虚拟患者(30)，并在显示单元(600)上显示虚拟患者(30)。虚拟患者(30)是具有特定器官或组织问题的患者，并且主服务器(500)接收由医学图像处理服务器(700)生成的与特定器官或组织相关的网格数据，将网格数据应用于虚拟患者(30)，并显示网格数据。
主服务器(500)包括数据发送和接收单元(510)、OPU(550)、数据库(560)和存储单元(570)。
数据发送和接收单元(510)是用于将从HMD控制器(150)接收的信号发送到OPU(550)的装置。在某些情况下，可以省略数据发送和接收单元(510)。
OPU(550)根据头部移动信号确定并显示虚拟射线照相设备(50)的视野(视点)和包含虚拟患者(30)的图像。OPU(550)使用相机单元(300)的练习生的图像(即，练习生的位置跟踪图像)确定用户的手的位置，并且根据手的位置在图像上显示手形手移动指示器(70)。然后，OPU(550)使手移动指示器(70)根据手移动信号移动。
如果图像上的手移动指示器(70)接触虚拟射线照相设备(50)的动作部(可移动部分)，则OPU(550)识别出练习生(用户)正将该动作部握在手中(双手或一只手)。如果图像上的手移动指示器移动而与动作部接触，则OPU(550)生成图像以使动作部根据指示器的移动而移动，并将图像发送到HMD头戴式单元(100)并且显示单元(600)。此时，如果指示器与动作部接触，则OPU(550)产生振动输出控制信号，并通过数据发送和接收单元(510)将它们发送到HMD控制器(150)。
另外，如果接收到输入按钮信号，则操作处理单元(550)识别在HMD头戴式单元(100)和显示单元(600)中显示的虚拟影像诊断练习装置(10)的设置单元或虚拟射线照相设备(50)的设置单元中的多个开关中由用户选择的特定开关。也就是说，如果接收到输入按钮信号，则操作处理单元(550)检测用户通过从相机单元(300)接收的图像而选择的开关，并识别出已按下的检测到的开关。
这里，虚拟影像诊断练习装置(10)的设置单元或虚拟射线照相设备(50)的设置单元的许多开关是拨动开关。第一次按下开关时，它会打开。再按一次可关闭该开关。
即，使用输入按钮信号和相机单元(300)的练习生的图像，操作处理单元(550)选择虚拟射线照相设备(50)或虚拟影像诊断练习装置的设置单元中的特定开关，并且使得所选开关的操作启动或结束。
数据库(560)存储各种虚拟射线照相设备图像和各种虚拟患者图像。
存储单元(570)存储从操作处理单元(550)接收的信号。该存储单元还用于在操作处理单元(550)的操作期间临时存储数据。
扬声器单元(575)发出从主服务器(500)的操作处理单元(550)接收的声音信号。从操作处理单元(550)输出的声音信号与从耳机(130)输出的声音信号相同。
显示单元(600)是用于观察受训者(练习生)或训练员的显示单元，并且输出从主服务器(500)的操作处理单元(550)接收的图像信号。从显示单元(600)输出的图像信号与从HMD图像输出单元(120)输出的图像信号相同。
图像处理服务器(700)从主服务器500(即，从主服务器(500)的操作处理单元(550)到数据发送和接收单元(510))接收医学图像数据(MRI/CT扫描数据)，使用深度人工神经网络结构划分医学图像数据的图像，并使用分割图像计算器官或组织网格数据(表面信息/多边形网格)，并将计算出的器官或组织网格数据发送到主服务器(500)。医学图像数据(MRI/CT扫描数据)是从患者获得的数据。
图像处理服务器(700)包含数据发送和接收单元(710)、操作处理单元(OPU)(750)、DB(760)和存储单元(770)。
操作处理单元(750)经由数据发送和接收单元(710)从主服务器(500)接收医学图像数据(MRI/CT扫描数据)，使用深度人工神经网络结构划分医学图像数据的图像，并使用分割图像计算器官或组织网格数据(表面信息)。也就是说，操作处理单元(750)将从患者获得的医学图像数据(MRI/CT)转换成三维向量数据，将这些三维向量数据插入深度人工神经网络，提取特征，计算特征向量的权重，根据向量的权重(即，在对向量对应于哪个器官/组织分类之后)对向量进行分类，并输出三维向量数据(体数据)作为每个分类的结果。操作处理单元(750)从深度人工神经网络中提取的三维向量(体积信息)中提取与空白空间(值为0的体素)接触的体素的顶点(点)，然后通过连接这些点来创建边缘(线)，基于这些线创建面，通过将面彼此连接来创建多边形网格，并将网格数据(表面信息)发送到主服务器(500)。
主服务器(500)接收网格数据(表面信息)，并将虚拟患者的特定部分的3D模型转换为3D模型的网格数据(表面信息)。例如，服务器将显示虚拟患者体内的口腔部分的3D模型转换为从图像处理服务器(700)接收的网格数据(3D模型)。
在虚拟影像诊断练习装置(10)的设置单元中，可以设置演讲模式、教程模式、锻炼模式、练习模式、放射治疗设备模式和射线照相设备模式。
教程模式是学习如何使用虚拟影像诊断练习装置(10)的模式。
这里，在锻炼模式中，代替虚拟患者(30)，显示虚拟人体模型(未示出)，并且在一些情况下，可以在不显示虚拟人体模型(未示出)的情况下进行练习。另一方面，在练习模式中，显示虚拟患者(30)，并且可以在虚拟患者(30)上进行练习。
在虚拟射线照相设备(50)的设置部分中，用户可以设置患者的年龄/性别、拍摄(或治疗)的类型和需要拍摄(或处理)的部位，并设置成为它们生成任意设置。
例如，如下那样练习口腔射线照相。
首先，练习生(20)可以使用HMD手持式单元(200)的输入按钮(220)在影像诊断练习装置(10)的设置单元中选择练习模式和射线照相设备模式，并在射线照相设备中选择口腔射线照相设备。
并且，在虚拟射线照相设备(50)的设置单元中，使用HMD手持式单元(200)的输入按钮(220)，练习生(20)可以设置患者的年龄/性别、拍摄(或治疗)的类型和需要拍摄(或处理)的部位，或可以选择自动设置。
在HMD图像输出单元(120)和显示单元(600)的图像上，当虚拟患者(30)进入成像室时，使用HMD手持式单元(200)，练习生(20)在图像(即，虚拟练习环境图像)上显示手移动指示器(70)，使用手移动指示器(70)检查虚拟患者是否佩戴可能影响成像工作的金属首饰、支架或假体，使虚拟患者(30)坐在虚拟射线照相设备(未示出)的椅子上，并根据要使用的成像方法调整虚拟患者(30)的头部的角度。
在上面的图像中，练习生(20)使用手移动指示器(70)打开虚拟患者(30)的嘴，使用HMD手持式单元(200)的输入按钮(220)选择适合于成像工作和成像方法的适当胶片(film)和工具，使用手移动指示器(70)拾取所选择的胶片，并将该胶片放置在患者口中的正确位置并使用所选择的辅助工具将该胶片固定。这里，虚拟患者(30)的嘴部是3D图像，其中3D模型的网格数据被应用于在医学图像处理服务器(700)中生成的嘴部图像。
练习生根据成像部位和成像方法调整口腔射线照相设备的位置和角度，并且在成像室外，按下虚拟射线照相设备的设置单元中的成像按钮。
在从虚拟患者(30)的口移除胶片之后，将胶片显影成图像并检查成像结果。
图6是示出图5中主服务器的操作处理单元的基本操作的流程图。
作为信号接收步骤，主服务器(500)的操作处理单元(550)从HMD控制器(150)接收手移动信号(S120)，接收头部移动信号(S130)，以及根据练习生的运动接收位置跟踪(运动跟踪)图像信号(即，练习生的图像信号)(S140)。这里，根据基站单元(77)的红外信号检测手移动信号、头部移动信号和位置跟踪图像信号。具体地，位置跟踪图像信号不是移动图像，而是当检测到红外信号时，相机单元(300)拍摄的图像信号。
作为视野调整和手移动指示器显示步骤，主服务器(500)的操作处理单元(550)根据头部移动信号确定练习生的视野，根据练习生的视野调整并输出预设虚拟练习环境的图像，并且在虚拟练习环境的图像上在根据手移动信号的位置或在根据位置跟踪图像信号的位置显示手移动指示器(70)。
作为检查用于移动的交互条件的步骤，操作处理单元(550)判断是否已输入通过输入按钮(220)接收的输入按钮信号，还判断手移动指示器(70)是否与虚拟射线照相设备(50)等发生碰撞(S160)。如果尚未输入输入按钮信号并且手移动指示器(70)没有碰撞(接触)虚拟射线照相设备(50)等，则该过程前进到判断是否结束该过程的步骤(S180)。
作为交互执行步骤，如果在检查用于移动的交互条件的步骤中输入输入按钮信号，则操作处理单元(550)根据输入按钮信号执行操作。如果在检查用于移动的交互条件的步骤中手移动指示器(70)与虚拟射线照相设备(50)等发生碰撞，则该操作处理单元产生振动输出控制信号并将该信号发送到HMD控制器(150)(S170)。
作为判断是否结束该过程的步骤，如果接收到根据结束按钮的结束信号，或者如果在练习时间结束时接收到结束信号，则该过程结束。否则，该过程返回到信号接收步骤。
图7是用于说明在使用射线照相设备的练习模式中的主服务器的操作处理单元(图5)的操作的流程图。
作为移动到虚拟实验室的步骤，练习生移动到虚拟实验室(射线照相室)，使得主服务器(500)的操作处理单元(550)将虚拟实验室(射线照相室)输出到虚拟练习环境的图像(S210)。
作为虚拟患者设置步骤，操作处理单元(550)使患者选择对话框显示(S220)，使由练习生(用户)设置的虚拟患者图像显示(S230)，根据练习生设置的学习过程使虚拟患者准备用于成像或治疗(S240)。例如，该练习生检查虚拟患者是否佩戴可能影响成像工作的金属首饰、支架或假体，使虚拟患者(30)坐在虚拟射线照相设备(未示出)的椅子中，并且根据要拍摄的成像方法调整虚拟患者(30)的头部的角度。
作为练习执行步骤，根据练习生的手移动指示器的移动，练习生将胶片放置在已移动到成像位置的虚拟患者的成像部位，调整虚拟射线照相设备的位置和角度，并且运行虚拟射线照相设备以进行虚拟图像拍摄练习(S250)。
也就是说，练习生将相机移动到成像位置，选择适合拍摄的胶片和成像方法的辅助装置，使用手移动指示器(70)拾取所选择的胶片，将胶片定位在虚拟患者的成像部位(例如，在虚拟患者的口内)来使用所选择的辅助装置来固定该胶片，根据位置和成像方法调整虚拟射线照相设备的位置和角度，离开成像室，并按下虚拟射线照相设备的设置单元中的成像按钮来执行射线照相练习。
作为检查成像结果的步骤，操作处理单元(550)检查练习生是否已经使手移动指示器(70)与虚拟结果画面监视器碰撞(S260)，以便在练习执行步骤之后看到图像拍摄结果。如果手移动指示器(70)没有与虚拟结果画面监视器(未示出)碰撞，则练习还没有完成，因此操作处理单元(550)前进到练习执行步骤。
作为输出虚拟练习的结果的步骤，如果在检查成像结果的步骤中手移动指示器(70)已与虚拟结果画面监视器(未示出)碰撞(或接触)，则根据手移动指示器(70)，从虚拟患者(30)移除的胶片在显影成图像(未示出)之后显示在虚拟结果画面监视器上(S280)。
作为判断是否结束该过程的步骤，如果在虚拟射线照相设备(50)的设置部分或虚拟影像诊断练习装置的设置部分按下结束按钮而接收到结束信号，或者如果由于完成练习时间而接收到结束信号，则该过程结束。如果不是，则返回虚拟患者设置步骤。
图8是用于说明当练习生在虚拟练习环境中抓住物体时图5中的主服务器的操作处理单元的操作的流程图。
作为检查与动作部的碰撞的步骤，主服务器(500)的操作处理单元(550)判断练习生的手移动指示器(70)是否已经碰撞物体的动作部(例如，虚拟射线照相设备(50)的特定动作部)(S310)，并且如果没有碰撞(接触)，则该过程结束。这里，物体的动作部是物体的可移动部分。
作为检查触发信号的接收的步骤，当操作处理单元(550)在检查与动作部的碰撞的步骤中确定手移动指示器(70)与物体的动作部碰撞时，操作处理单元(550)检查是否已经从HMD手持式单元(200)的触发按钮(217)接收到触发信号(S320)，并且如果还没有接收到触发信号，则操作处理单元(550)确定练习生并没有试图抓住该物体，并结束该过程。
作为手移动信号接收步骤，如果在检查触发信号的接收的步骤中已经接收到触发信号，则确定练习生已经试图抓住物体，手移动信号(即，手的初始位置和角度值)从HMD手持式单元(200)的手移动检测单元(210)被接收到并存储在存储单元(570)中(S330)。
作为检查触发信号的重新接收的步骤，操作处理单元(550)根据练习生重复按下HMD手持式单元(200)的触发按钮来判断是否再次接收到触发信号(S340)。如果没有接收到触发信号，则该过程进入移动到最终位置的步骤。
作为移动动作部的步骤，如果在检查触发信号的重新接收的步骤中正在接收触发信号，则操作处理单元(550)从HMD手持式单元(200)的手移动检测单元(210)接收当前手移动信号(即，手的当前位置和当前角度值)，并将当前手移动信号与先前手移动信号(即，手的先前位置和先前角度值)进行比较，根据比较结果移动并旋转虚拟物体的动作部(S350)。
作为移动到最终位置的步骤，虚拟物体的动作部通过施加于其上的重力移动到最终位置。当虚拟物体与地面碰撞时，它与物理引擎交互并停在最终位置(S360)。
图9是示出图5中的主服务器的操作处理单元中的虚拟练习空间中的移形换位(练习生的位置移动)的过程的流程图。
作为检查FBLR按钮信号的接收的步骤，主服务器(500)的操作处理单元(550)判断是否接收到根据HMD手持式单元(200)的FBLR(前/后/左/右)按钮(轨迹板)(215)的按下而产生的FBLR按钮信号，并且如果未接收到FBLR按钮信号，则该过程结束。
作为计算与地面的碰撞点的步骤，如果在检查FBLR按钮信号的接收的步骤中正在接收FBLR按钮信号，则操作处理单元(550)从HMD手持式单元(200)的手移动检测单元(210)接收当前手移动信号(即，手的当前位置和当前角度值)，并且计算在根据手的当前位置和当前角度的当前方向的延长线上与地面的碰撞点(S520)。
作为接收头部移动信号的步骤，操作处理单元(550)从HMD控制器(150)接收头部移动信号(即，头部的当前位置和当前角度)，并确定练习生头部的朝向方向(S530)。
作为基于碰撞点显示移形换位点的步骤，操作处理单元(550)基于碰撞点显示移形换位点并显示用户视野的方向(S540)。例如，操作处理单元(550)以碰撞点为中心显示移形换位点，并显示用户视野的方向。
作为检查抓取按钮信号的接收的步骤，操作处理单元(550)根据HMD手持式单元(200)的抓取按钮的按下来判断是否接收到抓取按钮信号(S550)。如果已经接收到抓取按钮信号，则前进到取消移形换位点显示的步骤。
作为检查FBLR按钮信号的重新接收的步骤，当在检查抓取按钮信号的接收的步骤中没有接收到抓取按钮信号时，操作处理单元(550)判断是否已经再次接收到根据HMD手持式单元(200)的FBLR按钮(轨迹板)(215)的按下而产生的FBLR按钮信号(S560)。如果未再次接收到FBLR按钮信号，则返回到计算与地面的碰撞点的步骤。
作为位置移动执行步骤，操作处理单元(550)生成练习生(用户)的方向和位置移动到在基于碰撞点显示移形换位点的步骤所示的用户视野方向和移形换位点的图像，并将生成的图像发送到HMD控制器(150)(S570)。
作为取消移形换位点显示的步骤，取消在基于碰撞点显示移形换位点的步骤中显示的移形换位点(S580)。
图10是示出使用本发明的虚拟影像诊断练习装置的虚拟练习中的辐射图像拍摄结果画面的计算过程的实例的流程图。
图10示出了通过CT扫描数据生成结果画面的过程。
作为读取成像物体、成像机和胶片的相对位置的步骤，主服务器(500)的操作处理单元(550)读取成像物体、成像机和胶片的相对位置和角度值(S610)。
作为CT扫描数据加载步骤，操作处理单元(550)从数据库560读取所设置的患者的CT扫描数据(S620)。
作为CT扫描数据的3D(三维)建模步骤，操作处理单元(550)通过体绘制执行CT扫描数据的三维建模(S630)。
作为射线照片图像生成步骤，根据3D模型、胶片和成像机的相对位置，成像机和胶片之间的模型的3D数据通过二维平面被投影(发送)，以生成射线照片(S650)。
基本上，普通的3D图形由网格和纹理组成。网格是仅显示轮廓边界的数据，内部为空并确定外部形状。通常，通过在网格上绘制纹理(即，图片文件)来渲染3D图形。
与此方法不同，体绘制就像对非常薄的平面纹理层进行分层。优点在于存在关于物体内部的信息，其方式与二维表面实际上堆积成三维结构的方式相同。然而，缺点是由于大量计算，系统负载很高。
对于本发明，在CT扫描数据中，根据扫描间隔堆叠平面纹理，并通过插值填充它们之间的空间，以创建包含内部所有信息的3D模型。
图11是用于说明使用本发明的虚拟影像诊断练习装置的虚拟练习中的辐射图像拍摄结果画面的计算过程的实例的流程图。
图11示出了基于现有射线照片生成结果画面的过程。
在读取成像物体、成像机和胶片的相对位置的步骤中，主服务器(500)的操作处理单元(550)读取成像物体、成像机和胶片的相对位置和角度值(即，成像物体与现有射线照片的相对值)(S710)。
作为射线照片加载步骤，操作处理单元(550)从数据库560读取所设置的患者的目标部位射线照片(S720)。
作为调整原始射线照片尺寸的步骤，操作处理单元(550)对在射线照片加载步骤中读取的原始射线照片(其为目标部位射线照片)进行投影，在与成像机平行的方向上移动该原始射线照片，并根据投影放大或缩小图像的尺寸(S730)。
作为检查接触点的存在的步骤，在调整原始射线照片的尺寸的步骤之后，检查投影图像和胶片是否已经接触(S750)。如果没有接触，则该过程返回调整原始射线照片的尺寸的步骤。
作为像素值存储步骤，如果在检测接触点的存在的步骤中存在接触，则将接触点的投影图像像素值复制到用于存储结果图像的缓冲器(S760)。
作为检查离开胶片区域的步骤，操作处理单元(550)判断投影图像是否在胶片区域之外(S770)。如果不是，则该过程返回到调整原始射线照片的尺寸的步骤，并且如果投影图像在胶片区域之外，则该过程结束。
在图11中，在没有CT扫描数据但是存在特定区域的射线照片时使用。由于缺乏经验的拍摄，例如在原始图片所在的区域周围以相同方向但不同角度拍摄，它产生错误的结果射线照片(例如，图像的延伸)。
如上所述，根据本发明，在现有影像诊断练习中使用实际射线照相设备和人体模型的传统成像方法是通过虚拟现实中的虚拟成像设备和各种虚拟患者来实施的。因此，可以解决现有影像诊断练习方法所涉及的如下问题：直接暴露于辐射，运行练习实验室的成本高，以及练习经验有限。
本发明涉及基于虚拟现实的影像诊断练习装置和方法，其允许使用HMD手持式单元(200)操纵虚拟射线照相设备，以使用HMD头戴式单元(100)通过视觉和听觉在用户体验的虚拟现实中执行射线照相练习，根据虚拟成像物体和设备的位置和设置来模拟图像拍摄结果，并在虚拟现实中输出结果。
本发明具有硬件部分和软件部分。硬件部分包括用于允许用户体验视听虚拟现实的HMD头戴式单元(100)、用于跟踪用户的手的位置和角度的HMD手持式单元(200)和作为用于模拟虚拟现实的计算机的主服务器(500)，并且软件部分可以与基于Windows操作系统的单个应用程序一起工作。
也就是说，本发明涉及一种用于在虚拟现实中实现影像诊断练习的装置和方法，其允许用户通过渲染虚拟现实的软件和HMD来体验虚拟现实，并且本发明提供了一种在虚拟现实中利用HMD手持式单元(200)操纵射线照相设备并进行X射线成像模拟(其反映虚拟成像设备和患者成像设置这两者)的方法。它允许通过将X射线图像输出到虚拟现实中来实现在虚拟现实中实施的影像诊断练习。
如上所述，已经通过有限数量的实施例和附图描述了本发明，但是本发明不限于上述实施例。具有本发明所属领域的一般知识的人可以对其进行各种修改和变化。因此，只有根据下面列出的专利权利要求才能理解本发明的思想，并且其等同内容和等同变化都属于本发明思想的范畴。
【工业实用性】
本发明的基于虚拟现实的影像诊断练习装置和方法是通过在视听虚拟现实中提供的虚拟辐射练习环境中操纵虚拟射线照相设备来执行虚拟射线照相练习的设备，并且用作医学、牙科和影像诊断学专业的需要练习射线照相的学生的练习装置。

Claims (23)

1.一种虚拟影像诊断练习装置，包括：
HMD(头戴式显示器)头戴式单元，其被佩戴在练习生的头部上，并将包含虚拟射线照相设备的图像输出到HMD图像输出单元，用于虚拟影像诊断练习；
HMD手持式单元，其被佩戴在练习生的手上，并且包含手移动检测单元，当练习生的手移动以操纵图像上的所述虚拟射线照相设备时，所述手移动检测单元检测练习生的手移动信号；
HMD控制器，其接收来自所述HMD手持式单元的所述手移动信号，将所述手移动信号发送到主服务器，并将从所述主服务器接收的图像发送到所述HMD头戴式单元；
所述主服务器，其接收来自所述HMD控制器的所述手移动信号，根据所述手移动信号在图像上移动作为练习生的虚拟手的手移动指示器，并将包含所移动的手移动指示器的图像发送到所述HMD控制器。
2.根据权利要求1所述的虚拟影像诊断练习装置，其中，所述HMD头戴式单元包括耳机，所述耳机用于输出经由所述HMD控制器从所述主服务器接收的声音信号。
3.根据权利要求2所述的虚拟影像诊断练习装置，其中，所述HMD手持式单元包括触发按钮，所述触发按钮指示图像上与所述手移动指示器碰撞的虚拟物体被图像上的所述手移动指示器保持。
4.根据权利要求3所述的虚拟影像诊断练习装置，其中，如果所述虚拟物体的与所述手移动指示器碰撞的部分是所述虚拟物体的动作部，则当所述主服务器经由所述HMD控制器从所述触发按钮接收触发信号时，所述主服务器控制图像中所述虚拟物体的所述动作部根据所述手移动指示器的移动而移动。
5.根据权利要求4所述的虚拟影像诊断练习装置，其中，所述HMD手持式单元还包括振动产生单元，所述振动产生单元用于当所述手移动指示器与虚拟物体在图像上碰撞时输出振动。
6.根据权利要求5所述的虚拟影像诊断练习装置，其中，所述HMD头戴式单元还包括头部移动检测单元，所述头部移动检测单元检测练习生的头部移动。
7.根据权利要求6所述的虚拟影像诊断练习装置，其中，所述主服务器通过所述HMD控制器从所述头部移动检测单元接收头部移动信号，根据所述头部移动信号生成改变所述图像的视点的图像，并将该图像发送到所述HMD控制器。
8.根据权利要求7所述的虚拟影像诊断练习装置，还包括相机单元，所述相机单元用于拍摄练习生，以生成位置跟踪图像。
9.根据权利要求8所述的虚拟影像诊断练习装置，其中，所述主服务器根据通过所述HMD控制器从所述相机单元接收的所述位置跟踪图像、所述头部移动信号和所述手移动信号生成图像，并将该图像发送到所述HMD控制器。
10.根据权利要求8所述的虚拟影像诊断练习装置，其中，所述HMD手持式单元还包括FBLR(前/后/左/右)按钮(轨迹板)，并且所述主服务器为练习生生成图像中的练习生在根据所述头部移动信号的方向上移动的图像，并将该图像发送到所述HMD控制器。
11.根据权利要求10所述的虚拟影像诊断练习装置，其中，所述头部移动信号、所述位置跟踪图像和所述手移动信号是与基站单元的红外发射同步地检测的信号。
12.根据权利要求1至11中任一项所述的虚拟影像诊断练习装置，还包括设置单元，所述设置单元使练习生设置虚拟射线照相设备或虚拟患者。
13.一种虚拟影像诊断练习装置的驱动方法，包括：
通过佩戴在练习生头部上的HMD(头戴式显示器)头戴式单元的HMD图像输出单元输出图像，该图像包括用于虚拟影像诊断练习的虚拟射线照相设备；
通过佩戴在练习生手上的HMD手持式单元的手移动检测单元检测练习生的手移动信号，并经由HMD控制器将所述手移动信号发送到主服务器的操作处理单元，以便由练习生操纵图像上的虚拟射线照相设备；以及
通过所述主服务器的操作处理单元，根据接收到的手移动信号，在图像上移动作为练习生的虚拟手的手移动指示器，并经由所述HMD控制器将包含移动的手移动指示器的图像输出到所述HMD头戴式单元的图像输出单元。
14.一种虚拟影像诊断练习装置的驱动方法，包括：
信号接收步骤，其中主服务器的操作处理单元通过HMD控制器接收由安装在HMD头戴式单元上的头部移动检测单元检测到的头部移动信号、由HMD手持式单元的手移动检测单元检测到的手移动信号、相机单元通过对练习生进行图像拍摄而产生的位置跟踪图像；
视野调整和手移动指示器显示步骤，其中所述主服务器的所述操作处理单元根据所述头部移动信号确定练习生的视野，输出根据练习生的视野调整图像的预设虚拟练习环境的图像，并且在虚拟练习环境的图像上，在根据所述手移动信号的位置或根据位置跟踪图像信号的手位置处显示作为练习生的虚拟手的手移动指示器；
检查用于移动的交互条件的步骤，其中所述主服务器的所述操作处理单元根据所述HMD手持式单元的输入按钮的选择判断是否已接收到输入按钮信号，并判断所述手移动指示器是否已与虚拟射线照相设备碰撞；以及
交互执行步骤，其中如果在检查用于移动的交互条件的步骤中输入所述输入按钮信号，则所述主服务器的所述操作处理单元根据所述输入按钮信号执行操作，并且如果在检查用于移动的交互条件的步骤中所述手移动指示器与所述虚拟射线照相设备碰撞，则所述主服务器的所述操作处理单元产生振动输出控制信号，并将所述振动输出控制信号发送到所述HMD控制器。
15.一种虚拟影像诊断练习装置的驱动方法，包括：
练习执行步骤，其中在成像时，根据依照练习生的手移动信号移动的手移动指示器的移动，主服务器的操作处理单元将虚拟胶片布置在已经移动到成像位置的虚拟患者的成像区域上，调整虚拟射线照相设备的位置和角度，并驱动所述虚拟射线照相设备进行虚拟图像拍摄练习；以及
输出虚拟练习结果的步骤，其中在所述练习执行步骤之后，如果所述手移动指示器已经与虚拟结果画面监视器发生碰撞，则所述主服务器的所述操作处理单元根据所述手移动指示器虚拟地将从所述虚拟患者移除的胶片显影，并在所述虚拟结果画面监视器上显示从胶片虚拟显影的照片。
16.根据权利要求15所述的虚拟影像诊断练习装置的驱动方法，在所述练习执行步骤之前，还包括：
移动到虚拟实验室的步骤，其中当在图像上练习生移动到虚拟射线照相室时，所述主服务器的所述操作处理单元经由所述HMD控制器将虚拟射线照相室的图像发送到HMD图像输出单元；以及
虚拟患者设置步骤，其中在所述移动到虚拟实验室的步骤之后，所述主服务器的所述操作处理单元显示患者选择对话框，并经由所述HMD控制器将练习生所设置的虚拟患者图像发送到所述HMD图像输出单元。
17.一种虚拟影像诊断练习装置的驱动方法，包括：
手移动信号接收步骤，其中如果图像上手移动指示器与物体的动作部碰撞并且主服务器的操作处理单元经由HMD控制器从HMD手持式单元的触发按钮接收到触发信号，则所述主服务器的所述操作处理单元确定练习生一直试图抓住虚拟物体，从所述HMD手持式单元的手移动检测单元接收手移动信号，并将所述手移动信号存储在存储单元；以及
移动动作部的步骤，其中如果已经经由所述HMD控制器从所述HMD手持式单元的所述触发按钮接收到触发信号，则所述主服务器的所述操作处理单元从所述HMD手持式单元的所述手移动检测单元接收当前手移动信号，并且根据所述当前手移动信号与先前手信号进行比较的比较结果移动所述虚拟物体的动作部。
18.一种虚拟影像诊断练习装置的驱动方法，包括：
检查FBLR(前/后/左/右)按钮信号的接收的步骤，其中主服务器的操作处理单元判断是否经由HMD控制器从HMD手持式单元的FBLR按钮(轨迹板)接收到所述FBLR按钮信号；
计算与地面的碰撞点的步骤，其中如果所述主服务器的所述操作处理单元接收到所述FBLR按钮信号，则所述主服务器的所述操作处理单元从所述HMD手持式单元的手移动检测单元接收由手的位置和角度值组成的手移动信号，并计算在根据所述手移动信号的位置和角度的方向的延长线上与地面的碰撞点；
接收头部移动信号的步骤，其中所述主服务器的所述操作处理单元从所述HMD控制器接收由头部的位置和角度值组成的头部移动信号，并确定练习生头部所面向的方向；以及
基于碰撞点显示移形换位点的步骤，其中所述主服务器的所述操作处理单元基于碰撞点显示移形换位点，并显示练习生视野的方向。
19.根据权利要求18所述的虚拟影像诊断练习装置的驱动方法，还包括：
检查抓取按钮信号的接收的步骤，其中在所述基于碰撞点显示移形换位点的步骤之后，所述主服务器的所述操作处理单元判断是否已经从所述HMD手持式单元的抓取按钮接收到抓取按钮信号；
检查FBLR(前/后/左/右)按钮信号的重新接收的步骤，其中如果在检查抓取按钮信号的接收的步骤中没有接收到所述抓取按钮信号，则所述主服务器的所述操作处理单元判断是否已经从所述HMD手持式单元的FBLR按钮再次接收到所述FBLR按钮信号，并且如果还没有再次接收到所述FBLR按钮信号，则所述主服务器的所述操作处理单元返回到计算与地面的碰撞点的步骤；
位置移动执行步骤，其中所述主服务器的所述操作处理单元产生将练习生的方向和位置移动到在基于碰撞点显示移形换位点的步骤中获得的练习生的观察方向和移形换位点的图像，并将生成的图像发送给所述HMD控制器；以及
取消移形换位点显示的步骤，其中如果在位置移动执行步骤之后或在检查抓取按钮信号的接收的步骤中已经接收到所述抓取按钮信号，则所述主服务器的所述操作处理单元取消在基于碰撞点显示移形换位点的步骤获得的移形换位点。
20.一种虚拟影像诊断练习装置的驱动方法，其中主服务器在实施虚拟练习之前生成并显示虚拟患者，所述驱动方法包括如下步骤：
主服务器的操作处理单元将由MRI扫描数据或CT扫描数据组成的医学图像数据发送到图像处理服务器；
所述图像处理服务器使用深度人工神经网络结构对从所述主服务器接收的所述医学图像数据进行图像分割，使用分割后的图像来计算器官或组织的网格数据(表面信息数据)，并将计算出的器官或组织表面信息数据(网格数据)发送到所述主服务器；以及
所述主服务器将所接收的虚拟患者的特定部分的网格数据转换为3D模型的网格数据并显示所述虚拟患者。
21.一种虚拟影像诊断练习装置的驱动方法，其中，主服务器在虚拟练习结束后生成虚拟辐射图像拍摄结果画面，所述驱动方法包括：
读取成像物体、成像机和胶片的相对位置的步骤，其中所述主服务器的操作处理单元读取成像物体、成像机和胶片的相对位置和角度值；
CT扫描数据加载步骤，其中所述主服务器的所述操作处理单元从数据库中读取所设置的患者的CT扫描数据；
CT扫描数据的3D建模步骤，其中所述主服务器的所述操作处理单元通过体绘制执行所述CT扫描数据的三维建模；以及
射线照片图像生成步骤，其中根据在CT扫描数据的加载步骤中3D模型、所述胶片和所述成像机的相对位置，所述成像机和所述胶片之间的3D模型的3D数据通过二维平面被投影(发送)，以生成射线照片。
22.一种虚拟影像诊断练习装置的驱动方法，其中，主服务器在虚拟练习结束后生成虚拟辐射图像拍摄结果画面，所述驱动方法包括：
读取成像物体、成像机和胶片的相对位置的步骤，其中所述主服务器的操作处理单元读取成像物体、成像机和胶片的相对位置和角度值；
射线照片加载步骤，其中所述主服务器的操作处理单元从数据库中读取所设置的患者的目标部位射线照片；
调整原始射线照片大小的步骤，其中所述主服务器的所述操作处理单元对作为在所述射线照片加载步骤中读取的目标部位射线照片的原始射线照片进行投影，在平行于成像机的方向上移动所述原始射线照片，并根据投影放大或缩小所述原始射线照片的图像的尺寸；
检查接触点的存在的步骤，其中在调整原始射线照片大小的步骤之后，所述主服务器的所述操作处理单元判断投影照片和所述胶片是否具有接触点，并且如果没有接触点，则使该过程返回到调整原始射线照片的尺寸的步骤；以及
像素值存储步骤，其中如果在检查接触点的存在的步骤中存在接触点，则所述主服务器的所述操作处理单元将接触的投影照片的像素值复制到存储结果照片的缓冲器中。
23.根据权利要求22所述的虚拟影像诊断练习装置的驱动方法，还包括：
检查离开胶片区域的步骤，其中所述主服务器的所述操作处理单元检查投影图像是否在胶片区域之外，并且如果不在胶片区域之外，则该过程返回到调整原始射线照片的尺寸的步骤，如果在胶片区域之外，则该过程结束。
CN201880013656.3A 2017-02-24 2018-02-26 基于虚拟现实的影像诊断练习装置和方法 Active CN110366746B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR20170024721 2017-02-24
KR10-2017-0024721 2017-02-24
PCT/KR2018/002313 WO2018155973A2 (ko) 2017-02-24 2018-02-26 가상현실 기반 방사선학 실습 장치 및 방법

Publications (2)

Publication Number Publication Date
CN110366746A true CN110366746A (zh) 2019-10-22
CN110366746B CN110366746B (zh) 2022-08-16

Family

ID=63252806

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880013656.3A Active CN110366746B (zh) 2017-02-24 2018-02-26 基于虚拟现实的影像诊断练习装置和方法

Country Status (4)

Country Link
US (1) US11157131B2 (zh)
KR (2) KR102343387B1 (zh)
CN (1) CN110366746B (zh)
WO (1) WO2018155973A2 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111228656A (zh) * 2020-01-15 2020-06-05 于金明 基于虚拟智能医疗平台的放疗外照射治疗实施质控系统及方法
CN111402660A (zh) * 2020-03-02 2020-07-10 武汉大学 基于5g网络的远程vr口腔种植教学系统
WO2022179279A1 (zh) * 2021-02-26 2022-09-01 华为技术有限公司 交互方法、电子设备与交互系统

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180128091A (ko) 2013-09-03 2018-11-30 애플 인크. 자기 특성을 갖는 사용자 인터페이스 객체를 조작하는 사용자 인터페이스
US11068128B2 (en) 2013-09-03 2021-07-20 Apple Inc. User interface object manipulations in a user interface
WO2015200889A1 (en) 2014-06-27 2015-12-30 Apple Inc. Electronic device with rotatable input mechanism for navigating calendar application
WO2016036509A1 (en) 2014-09-02 2016-03-10 Apple Inc. Electronic mail user interface
TWI582641B (zh) 2014-09-02 2017-05-11 蘋果公司 按鈕功能性
GB2567636B (en) * 2017-10-17 2021-11-10 Perspectum Diagnostics Ltd Method and apparatus for imaging an organ
US11435830B2 (en) 2018-09-11 2022-09-06 Apple Inc. Content-based tactile outputs
KR102160669B1 (ko) * 2019-01-25 2020-09-28 서울대학교산학협력단 의료 커뮤니케이션 가상 훈련 시뮬레이션 시스템 및 방법
KR102127664B1 (ko) 2019-02-28 2020-06-29 신성대학교 산학협력단 가상 현실 기반의 발치 시술을 위한 협조 시뮬레이션 시스템 및 그 방법
KR102191027B1 (ko) * 2019-12-20 2020-12-15 주식회사 테트라시그넘 가상현실 기반의 심폐소생술 교육 시스템
KR102532524B1 (ko) * 2019-12-31 2023-05-17 단국대학교 천안캠퍼스 산학협력단 가상환경의 가상 치아 발치 실습 시스템 및 방법
US11090873B1 (en) * 2020-02-02 2021-08-17 Robert Edwin Douglas Optimizing analysis of a 3D printed object through integration of geo-registered virtual objects
US11363247B2 (en) * 2020-02-14 2022-06-14 Valve Corporation Motion smoothing in a distributed system
KR102206014B1 (ko) * 2020-07-20 2021-01-21 (주)엠라인스튜디오 가상 체험형 안전 교육 시스템
KR102423849B1 (ko) * 2020-09-29 2022-07-21 인제대학교 산학협력단 가상현실을 이용한 진료 및 임상술기 시뮬레이션 제공 시스템
US11676390B2 (en) * 2020-10-23 2023-06-13 Huawei Technologies Co., Ltd. Machine-learning model, methods and systems for removal of unwanted people from photographs
AU2022203161A1 (en) * 2021-05-11 2022-12-01 Axon Enterprise, Inc. Equipment Detection Using A Wearable Device

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1185307A (zh) * 1996-12-18 1998-06-24 杨宏伟 医用影像计算机诊断系统
US20040224294A1 (en) * 2002-11-27 2004-11-11 Heininger Raymond H. Simulated, interactive training lab for radiologic procedures
CN103310471A (zh) * 2012-03-09 2013-09-18 株式会社日立医疗器械 Ct 图像生成装置及方法、ct 图像生成系统
CN106251751A (zh) * 2016-10-12 2016-12-21 大连文森特软件科技有限公司 一种基于vr技术的医疗手术模拟仿真系统
JP6049788B2 (ja) * 2008-01-08 2016-12-21 イマーション メディカル，インク． 仮想道具操作システム
CN106293082A (zh) * 2016-08-05 2017-01-04 成都华域天府数字科技有限公司 一种基于虚拟现实的人体解剖交互系统

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2808366B1 (fr) 2000-04-26 2003-12-19 Univ Paris Vii Denis Diderot Procede et systeme d'apprentissage en realite virtuelle, et application en odontologie
JP3766608B2 (ja) * 2001-05-02 2006-04-12 テラリコン・インコーポレイテッド ネットワーク環境における三次元画像表示装置
JP4042695B2 (ja) * 2004-01-08 2008-02-06 セイコーエプソン株式会社 プロジェクタおよびズーム調整方法
KR100721713B1 (ko) * 2005-08-25 2007-05-25 명지대학교 산학협력단 몰입형 활선작업 교육시스템 및 그 방법
KR100967950B1 (ko) * 2007-05-03 2010-07-06 목포과학대학산학협력단 씨티 시뮬레이션 장치 및 방법, 그것을 기록한 기록매체와프로그램
JP4989383B2 (ja) * 2007-09-10 2012-08-01 キヤノン株式会社 情報処理装置、情報処理方法
KR20090078487A (ko) * 2008-01-15 2009-07-20 (주)온디맨드소프트 3/4차원 초음파 진단기술 습득용 시뮬레이터 및 그시뮬레이션 방법
KR101151054B1 (ko) * 2008-03-26 2012-06-01 에스케이플래닛 주식회사 가상 현실 세계에서의 이동 체험 서비스 시스템 및 방법
JP2009238228A (ja) * 2009-04-18 2009-10-15 Ge Medical Systems Global Technology Co Llc 医用画像診断装置の設置シミュレーション方法、システム、プログラムおよび記憶媒体
KR101206340B1 (ko) 2011-04-29 2012-11-29 주식회사 코어메드 영상수술 리허설 제공방법 및 시스템, 그 기록매체
CN113050802A (zh) 2014-12-18 2021-06-29 脸谱科技有限责任公司 用于在虚拟现实环境中导航的方法、系统及设备
JP2016131573A (ja) * 2015-01-15 2016-07-25 キヤノン株式会社 トモシンセシス撮影の制御装置、放射線撮影装置、制御システム、制御方法及びプログラム
JP2016145978A (ja) * 2015-01-29 2016-08-12 公立大学法人首都大学東京 Ｘ線撮影学習システム
KR20160128119A (ko) * 2015-04-28 2016-11-07 엘지전자 주식회사 이동 단말기 및 이의 제어방법
US20170354864A1 (en) * 2016-06-11 2017-12-14 Sony Interactive Entertainment Inc. Directional Interface Object
US9947102B2 (en) * 2016-08-26 2018-04-17 Elekta, Inc. Image segmentation using neural network method
US20180098583A1 (en) * 2016-10-12 2018-04-12 Oculus Vr, Llc Force grounding wristband for haptic glove
US10621773B2 (en) * 2016-12-30 2020-04-14 Google Llc Rendering content in a 3D environment

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1185307A (zh) * 1996-12-18 1998-06-24 杨宏伟 医用影像计算机诊断系统
US20040224294A1 (en) * 2002-11-27 2004-11-11 Heininger Raymond H. Simulated, interactive training lab for radiologic procedures
JP6049788B2 (ja) * 2008-01-08 2016-12-21 イマーション メディカル，インク． 仮想道具操作システム
CN103310471A (zh) * 2012-03-09 2013-09-18 株式会社日立医疗器械 Ct 图像生成装置及方法、ct 图像生成系统
CN106293082A (zh) * 2016-08-05 2017-01-04 成都华域天府数字科技有限公司 一种基于虚拟现实的人体解剖交互系统
CN106251751A (zh) * 2016-10-12 2016-12-21 大连文森特软件科技有限公司 一种基于vr技术的医疗手术模拟仿真系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111228656A (zh) * 2020-01-15 2020-06-05 于金明 基于虚拟智能医疗平台的放疗外照射治疗实施质控系统及方法
CN111402660A (zh) * 2020-03-02 2020-07-10 武汉大学 基于5g网络的远程vr口腔种植教学系统
WO2022179279A1 (zh) * 2021-02-26 2022-09-01 华为技术有限公司 交互方法、电子设备与交互系统

Also Published As

Publication number Publication date
US11157131B2 (en) 2021-10-26
US20200333940A1 (en) 2020-10-22
WO2018155973A2 (ko) 2018-08-30
KR20210064129A (ko) 2021-06-02
CN110366746B (zh) 2022-08-16
KR20180098174A (ko) 2018-09-03
KR102343387B1 (ko) 2021-12-29
WO2018155973A3 (ko) 2018-10-25

Similar Documents

Publication Publication Date Title
CN110366746A (zh) 基于虚拟现实的影像诊断练习装置和方法
US20210177130A1 (en) Methods and systems for extracting brushing motion characteristics of a user using an oral hygiene device including at least one accelerometer to provide feedback to a user
JP5122963B2 (ja) 模擬超音波画像のレンダリング方法及びプロセッサ可読媒体
CA2716746C (en) Medical training method and apparatus
CN109938763A (zh) 用于确保针对放射成像采集的正确定位的方法和装置
CN103339468B (zh) 具有3d用户界面集成的系统
CN106293082A (zh) 一种基于虚拟现实的人体解剖交互系统
CN106535812A (zh) 带有基于定量三维成像的触觉反馈的手术系统
KR102255417B1 (ko) 초음파 진단 장치 및 그에 따른 초음파 영상의 디스플레이 방법
TW201936114A (zh) 用於遠距醫療的方法和設備
Melero et al. Upbeat: augmented reality-guided dancing for prosthetic rehabilitation of upper limb amputees
KR101816172B1 (ko) 의료 훈련 시뮬레이션 시스템 및 방법
CN102918567A (zh) 用于执行医疗流程的计算机模拟的系统和方法
JP5575652B2 (ja) レンダリングされた像の表示設定を選択するための方法及びシステム
KR20030083695A (ko) 외과적 치료의 시뮬레이션 방법 및 시스템
CN109584321A (zh) 用于基于深度学习的图像重建的系统和方法
CN110291560A (zh) 用于创建人的三维虚拟表示的方法
CN110418610A (zh) 确定引导信号和用于为手持式超声换能器提供引导的系统
KR101894455B1 (ko) 영상의학용 일반촬영 검사 가상현실 컨텐츠 제작-운용방법
Randall et al. The oculus rift virtual colonoscopy: introducing a new technology and initial impressions
CN107633478A (zh) 图像处理装置、图像处理方法以及计算机可读介质
KR20050120497A (ko) 볼륨 모델 기반의 햅틱 인터페이스를 이용한 치과 치료훈련 및 평가 시스템
JP6803239B2 (ja) 手術トレーニングシステム
WO2022176813A1 (ja) 学習装置、学習方法、学習装置の作動プログラム、教師データ生成装置、機械学習モデル及び医療用撮影装置
JP2015089454A (ja) 超音波診断装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant