一种手术虚拟现实视频的生成方法和装置
技术领域
本发明涉及手术虚拟现实视频技术领域,特别是涉及一种手术虚拟现实视频的生成方法和装置。
背景技术
医疗行业与我们的日常生活、身体健康息息相关。完备的医疗系统离不开医生的培养,而医生的培养往往又需要耗费极为漫长的时间。通常培养一名外科医生是一个很漫长的过程,一个外科医生的成长与观摩手术是分不开的,一间小小的手术室挤进去二三十个医生去观摩,这是非常正常的。这说明了现场观摩手术在医生培养中是非常有需求的。而虚拟现实技术从技术层面解决了观摩手术的问题,通过虚拟现实眼镜和虚拟现实视频录制直播,医生可以在第一时间以现场视角观摩手术过程。这对于医学教育具有重大的意义。
不过目前,在外科手术模拟系统,依旧存在许多急需解决的技术问题。模拟手术设备的专用器具单一。在外科手术过程中,根据手术类型不同,使用到的器械也各不相同,而目前的模拟手术专利基本都只有手术刀的模拟,而且型号单一,根本不符合现实手术的需求,自然也达不到模拟手术的效果。
发明内容
鉴于上述问题,提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种手术虚拟现实视频的生成方法和相应的一种手术虚拟现实视频的生成装置。
为了解决上述问题,本发明实施例公开了一种手术虚拟现实视频的生成方法,所述方法包括:
采集实体手术器具信息;
采用所述手术器具信息,获取虚拟手术器具模型;
采集手势动作数据;
采集头部惯性数据;
建立虚拟人体部位模型;
采用所述虚拟手术器具模型、虚拟人体部位模型、手势动作数据以及头部惯性数据,生成所述手术虚拟现实视频。
可选地,所述实体手术器具信息包括手术器具种类以及手术器具尺寸,采集实体手术器具信息的步骤包括:
拍摄原始图像;
从所述原始图像中检测出实体手术器具;
识别所述实体手术器具所属于的手术器具种类;
计算所述实体手术器具的手术器具尺寸。
可选地,采用所述手术器具信息,获取虚拟手术器具模型的步骤包括:
采用所述手术器具信息,搜索预设虚拟手术器具库,从所述预设虚拟手术库中获取手术器具信息匹配的虚拟手术器具模型。
可选地,采用所述虚拟手术器具模型、虚拟人体部位模型、手势动作数据以及头部惯性数据,生成所述手术虚拟现实视频的步骤包括:
采用所述虚拟手术器具模型以及所述手势动作数据,生成手术操作信息;
针对所述人体部位模型,执行所述手术操作信息对应的手术操作,并采用所述头部惯性数据,生成所述手术虚拟现实视频。
本发明实施例还公开了一种手术虚拟现实视频的生成装置,所述装置包括:
实体手术器具信息采集模块,用于采集实体手术器具信息;
虚拟手术器具模型获取模块,用于采用所述手术器具信息,获取虚拟手术器具模型;
手势动作数据采集模块,用于采集手势动作数据;
头部惯性数据采集模块,用于采集头部惯性数据;
虚拟人体部位模型建立模块,用于建立虚拟人体部位模型;
手术虚拟现实视频生成模块,用于采用所述虚拟手术器具模型、虚拟人体部位模型、手势动作数据以及头部惯性数据,生成所述手术虚拟现实视频。
可选地,所述实体手术器具信息包括手术器具种类以及手术器具尺寸,所述实体手术器具信息采集模块包括:
原始图像拍摄子模块,用于拍摄原始图像;
实体手术器具检测子模块,用于从所述原始图像中检测出实体手术器具;
手术器具种类识别子模块,用于识别所述实体手术器具所属于的手术器具种类;
手术器具尺寸计算子模块,用于计算所述实体手术器具的手术器具尺寸。
可选地,所述虚拟手术器具模型获取模块包括:
虚拟手术器具模型获取子模块,用于采用所述手术器具信息,搜索预设虚拟手术器具库,从所述预设虚拟手术库中获取手术器具信息匹配的虚拟手术器具模型。
可选地,所述手术虚拟现实视频生成模块包括:
手术操作信息生成子模块,用于采用所述虚拟手术器具模型以及所述手势动作数据,生成手术操作信息;
手术虚拟现实视频生成子模块,用于针对所述人体部位模型,执行所述手术操作信息对应的手术操作,并采用所述头部惯性数据,生成所述手术虚拟现实视频。
本发明实施例包括以下优点:在本发明实施例中,采集实体手术器具信息,采用所述手术器具信息,获取虚拟手术器具模型,采集手势动作数据,采集头部惯性数据,建立虚拟人体部位模型,采用所述虚拟手术器具模型、虚拟人体部位模型、手势动作数据以及头部惯性数据,生成所述手术虚拟现实视频,解决了目前手术模拟产品提供的器械单一化的缺点,能提供多种模拟手术器具,满足手术过程的真实需求,并且能通过一种设备对多种手术进行分析与培训。
附图说明
图1是本发明的一种手术虚拟现实视频的生成方法实施例一的步骤流程图。
图2是本发明的一种手术虚拟现实视频的生成装置实施例二的结构框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
参照图1,示出了本发明的一种手术虚拟现实视频的生成方法实施例一的步骤流程图,具体可以包括如下步骤:
步骤101,采集实体手术器具信息;
在本发明实施例中,首先,受培训的医生拿起实体手术器具,所述实体手术器具可以是手术刀、手术钳等等,可以通过摄像头采集实体手术器具信息。具体的,所述实体手术器具信息包括手术器具种类以及手术器具尺寸,采集实体手术器具信息的步骤包括:
子步骤1011,拍摄原始图像;
子步骤1012,从所述原始图像中检测出实体手术器具;
通过图像识别算法,在所述原始图像中确定存在实体手术器具的图像区域,并从该图像区域中检测出实体手术器具。
子步骤1013,识别所述实体手术器具所属于的手术器具种类;
获取所述实体手术器具的多个器具特征,根据所述多个器具特征确定所述实体手术器具所属的手术器具种类,所述实体手术器具可以是手术刀、手术钳、手术镊、手术剪等等,本发明实施例对此不作进一步的限制。
子步骤1014,计算所述实体手术器具的手术器具尺寸。
具体的,所述摄像头可以为双目摄像头,所述双目摄像头对所述实体手术器具进行拍摄后可计算得到图像的视差信息,根据所述视差信息便可计算出所述实体手术器具的手术器具尺寸。
步骤102,采用所述手术器具信息,获取虚拟手术器具模型;
采用所述手术器具信息,获取虚拟手术器具模型的步骤包括:
采用所述手术器具信息,搜索预设虚拟手术器具库,从所述预设虚拟手术库中获取手术器具信息匹配的虚拟手术器具模型。
具体的,所述手术器具信息包括手术器具种类以及手术器具尺寸,所述预设虚拟手术器具库中预存着手术器具种类以及手术器具尺寸与虚拟手术器具模型的对应关系,采用所述手术器具信息,搜索预设虚拟手术器具库,从所述预设虚拟手术库中获取手术器具种类以及手术器具尺寸匹配的虚拟手术器具模型。
步骤103,采集手势动作数据;
在本发明实施例中,采用所述摄像头实现手势动作数据的采集,所述手势动作为医生在做手术时的手术手势动作。具体的,将所述摄像头采集的图像进行归一化等预处理操作,接着将图像输入预先通过手势数据集训练得到的卷积神经网络模型,卷积神经网络模型的卷积层会对图像中手势动作的特征进行卷积计算输出图像中包含的手势类别和坐标,最后比较置信度阈值完成手势动作数据的采集。
步骤104,采集头部惯性数据;
具体的,可以采用惯性传感器模块采集头部惯性数据。所述惯性传感模块主要包含三轴陀螺仪、三轴加速度计以及三轴磁感应传感器,其作用是获取头部发生的惯性运动状态,并将这些运动状态转化为电信号。其中,陀螺仪获取头部的角度与方向信息,加速度计测量头部在空间中个方向的加速度,而磁感应传感器则用于消除加速度计和陀螺仪在个方向上的累计偏差。惯性传感器通过I2C接口与集成了无线传输模块的微处理器相连。
步骤105,建立虚拟人体部位模型;
所述虚拟人体部位模型可以为虚拟头部模型、虚拟心脏模型、虚拟肝脏模型等等。
步骤106,采用所述虚拟手术器具模型、虚拟人体部位模型、手势动作数据以及头部惯性数据,生成所述手术虚拟现实视频。
采用所述虚拟手术器具模型、虚拟人体部位模型、手势动作数据以及头部惯性数据,生成所述手术虚拟现实视频的步骤包括:
采用所述虚拟手术器具模型以及所述手势动作数据,生成手术操作信息;
针对所述人体部位模型,执行所述手术操作信息对应的手术操作,并采用所述头部惯性数据,生成所述手术虚拟现实视频。所述手术虚拟现实视频生成后可实时进行直播,也可以存储后进行观看。
在本发明实施例中,采集实体手术器具信息,采用所述手术器具信息,获取虚拟手术器具模型,采集手势动作数据,采集头部惯性数据,建立虚拟人体部位模型,采用所述虚拟手术器具模型、虚拟人体部位模型、手势动作数据以及头部惯性数据,生成所述手术虚拟现实视频,解决了目前手术模拟产品提供的器械单一化的缺点,能提供多种模拟手术器具,满足手术过程的真实需求,并且能通过一种设备对多种手术进行分析与培训。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
参照图2,示出了本发明的一种手术虚拟现实视频的生成装置实施例一的结构框图,具体可以包括如下模块:
实体手术器具信息采集模块201,用于采集实体手术器具信息;
虚拟手术器具模型获取模块202,用于采用所述手术器具信息,获取虚拟手术器具模型;
手势动作数据采集模块203,用于采集手势动作数据;
头部惯性数据采集模块204,用于采集头部惯性数据;
虚拟人体部位模型建立模块205,用于建立虚拟人体部位模型;
手术虚拟现实视频生成模块206,用于采用所述虚拟手术器具模型、虚拟人体部位模型、手势动作数据以及头部惯性数据,生成所述手术虚拟现实视频。
在本发明实施例中,所述实体手术器具信息包括手术器具种类以及手术器具尺寸,所述实体手术器具信息采集模块包括:
原始图像拍摄子模块,用于拍摄原始图像;
实体手术器具检测子模块,用于从所述原始图像中检测出实体手术器具;
手术器具种类识别子模块,用于识别所述实体手术器具所属于的手术器具种类;
手术器具尺寸计算子模块,用于计算所述实体手术器具的手术器具尺寸。
在本发明实施例中,所述虚拟手术器具模型获取模块包括:
虚拟手术器具模型获取子模块,用于采用所述手术器具信息,搜索预设虚拟手术器具库,从所述预设虚拟手术库中获取手术器具信息匹配的虚拟手术器具模型。
在本发明实施例中,所述手术虚拟现实视频生成模块包括:
手术操作信息生成子模块,用于采用所述虚拟手术器具模型以及所述手势动作数据,生成手术操作信息;
手术虚拟现实视频生成子模块,用于针对所述人体部位模型,执行所述手术操作信息对应的手术操作,并采用所述头部惯性数据,生成所述手术虚拟现实视频。
在本发明实施例中,所述装置还包括:
会议验证信息获取与发送模块,用于获取并发送会议验证信息至所述会议控制设备,所述会议控制设备用于判断是否存在与所述会议验证信息相对应的会议;
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本发明实施例还提供了一种装置,包括:
包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序,该计算机程序被处理器执行时实现上述一种手术虚拟现实视频的生成方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
本发明实施例还提供了一种计算机可读存储介质,计算机可读存储介质上存储计算机程序,计算机程序被处理器执行时实现上述一种手术虚拟现实视频的生成方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白,本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种手术虚拟现实视频的生成方法和一种手术虚拟现实视频的生成装置,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。