CN117064542A - 手术辅助信息展示方法、装置、设备及可读存储介质 - Google Patents
手术辅助信息展示方法、装置、设备及可读存储介质 Download PDFInfo
- Publication number
- CN117064542A CN117064542A CN202311056721.XA CN202311056721A CN117064542A CN 117064542 A CN117064542 A CN 117064542A CN 202311056721 A CN202311056721 A CN 202311056721A CN 117064542 A CN117064542 A CN 117064542A
- Authority
- CN
- China
- Prior art keywords
- surgical
- information
- image
- stage
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000012545 processing Methods 0.000 claims abstract description 18
- 238000004458 analytical method Methods 0.000 claims description 25
- 230000003902 lesion Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 10
- 230000000875 corresponding effect Effects 0.000 description 66
- 238000013135 deep learning Methods 0.000 description 16
- 238000003062 neural network model Methods 0.000 description 14
- 238000003780 insertion Methods 0.000 description 9
- 230000037431 insertion Effects 0.000 description 9
- 238000001356 surgical procedure Methods 0.000 description 8
- 238000001802 infusion Methods 0.000 description 7
- 238000012544 monitoring process Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000004927 fusion Effects 0.000 description 5
- 206010002091 Anaesthesia Diseases 0.000 description 4
- 230000037005 anaesthesia Effects 0.000 description 4
- 210000003484 anatomy Anatomy 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 239000003721 gunpowder Substances 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000003444 anaesthetic effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000009958 sewing Methods 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
- A61B2034/252—User interfaces for surgical systems indicating steps of a surgical procedure
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
- A61B2034/254—User interfaces for surgical systems being adapted depending on the stage of the surgical procedure
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Heart & Thoracic Surgery (AREA)
- Robotics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Human Computer Interaction (AREA)
- Surgical Instruments (AREA)
Abstract
本申请实施例提供一种手术辅助信息展示方法、装置、设备及可读存储介质,方法包括:获取目标用户的手术图像;对手术图像进行图像识别处理,得到手术图像对应的手术信息;手术信息包括手术动作信息、工具类型信息和手术目标信息中的至少一种;根据手术信息确定当前手术阶段;将与当前手术阶段对应的辅助信息提供给目标用户。本申请在获取到目标用户的手术图像后,通过对手术图像进行识别处理,得到手术图像的手术信息,并确定出当前手术阶段,从而便于后续提供与当前手术阶段信息相对应的辅助信息提供给用户,保证了向用户所提供的辅助信息的实时有效性,提高了对用户的手术辅助指导效果。
Description
技术领域
本申请实施例涉及医疗处理技术领域,具体涉及一种手术辅助信息展示方法、装置、设备及可读存储介质。
背景技术
随着人们医疗需求的日益提高,医院也越来越重视技术与设备的引进、更新,特别是手术室,已逐渐成为高投入的医疗环境,是技术与装备更新最快的场所之一。为满足群众日益增长的医疗需求,智慧手术室的建设成为医院建设的重要环节。
现代手术实施过程中,医生可以结合图文信息,更加准确、快速的完成手术。然而,在手术的过程中,医生更多的注意力需要集中在患者身上,而现有的图文信息展示容易出现信息更新不及时、展示位置不佳,从而影响到对医生的辅助指导效果。
发明内容
本申请实施例提供一种手术辅助信息展示方法、装置、设备及可读存储介质,用于解决现有的图文信息展示技术存在的对医生辅助指导效果不够理想的问题。
一方面,本申请实施例提供一种手术辅助信息展示方法,包括:
获取目标用户的手术图像;
对所述手术图像进行图像识别处理,得到所述手术图像对应的手术信息;所述手术信息包括手术动作信息、工具类型信息以及手术目标信息中的至少一种;
根据所述手术信息确定当前手术阶段;
将与所述当前手术阶段对应的辅助信息提供给所述目标用户。
作为本申请的一种可行实施例,所述根据所述手术信息确定当前手术阶段,包括:
根据所述手术信息以及记录的手术阶段确定当前手术阶段;
基于所述当前手术阶段对记录的手术阶段进行更新。
作为本申请的一种可行实施例,所述根据所述手术信息以及记录的手术阶段确定当前手术阶段,包括:
根据记录的手术阶段获取对应的阶段切换特征信息;
若所述手术信息与所述阶段切换特征信息相符,则将记录的手术阶段对应的下一手术阶段确定为当前手术阶段。
作为本申请的一种可行实施例,所述对所述手术图像进行图像识别处理,得到所述手术图像对应的手术信息,包括:
对所述手术图像中的手术动作进行特征分析,得到动作特征;
对所述手术图像中的手术工具进行特征分析,得到工具特征;
对所述手术图像中的生理组织结构进行特征分析,得到组织特征;
根据所述动作特征、所述工具特征和所述组织特征在预设的数据库进行匹配,分别得到与所述动作特征匹配的手术动作信息、与所述工具特征匹配的工具类型信息以及与所述组织特征匹配的手术目标信息;
将所述手术动作信息、所述工具类型信息和所述手术目标信息确定为所述手术图像对应的手术信息。
作为本申请的一种可行实施例,所述将与所述当前手术阶段对应的辅助信息提供给所述目标用户,包括:
获取与所述当前手术阶段对应的辅助信息;
将所述辅助信息与获取的医学影像进行融合,得到融合医学影像;
将所述融合医学影像提供给所述目标用户。
作为本申请的一种可行实施例,所述辅助信息包括组织结构信息、病灶信息、手术建议信息中的至少一种。
作为本申请的一种可行实施例,所述将与所述当前手术阶段对应的辅助信息提供给所述目标用户,包括:
获取所述目标用户的位置信息;
基于所述位置信息以及预设的候选展示装置的位置信息,确定各所述候选展示装置相对于所述目标用户的方位信息;
基于所述方位信息从所述候选展示装置中确定目标展示装置;
将与所述当前手术阶段对应的辅助信息通过所述目标展示装置提供给所述目标用户。
另一方面,本申请实施例还提供一种手术辅助信息展示装置,包括:
获取模块,用于获取目标用户的手术图像;
识别模块,用于对所述手术图像进行图像识别处理,得到所述手术图像对应的手术信息;所述手术信息包括手术动作信息、工具类型信息以及手术目标信息中的至少一种;
确定模块,用于根据所述手术信息确定当前手术阶段;
展示模块,用于将与所述当前手术阶段对应的辅助信息提供给所述目标用户。
另一方面,本申请实施例还提供一种计算机设备,计算机设备包括处理器、存储器以及存储于所述存储器中并可在所述处理器上运行的手术辅助信息展示程序,所述处理器执行所述手术辅助信息展示程序以实现上述的手术辅助信息展示方法。
另一方面,本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有程序,所述手术辅助信息展示程序被处理器执行以实现上述的手术辅助信息展示方法中的步骤。
本申请提供的手术辅助信息展示方法,在获取到目标用户的手术图像后,通过对手术图像进行识别处理,可以得到手术图像的手术信息,其中手术信息包括手术动作信息和工具类型信息中的至少一种,因此基于该手术信息可以确定出当前手术阶段,从而便于后续提供与当前手术阶段信息相对应的辅助信息提供给用户,保证了向用户所提供的辅助信息的实时有效性,提高了对用户的手术辅助指导效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种手术辅助信息展示方法的步骤流程示意图;
图2为本申请实施例提供的一种基于状态机确定当前手术阶段的步骤流程示意图;
图3为本申请实施例提供的一种状态机中对手术阶段进行切换的步骤流程示意图;
图4为本申请实施例提供的一种提取手术信息的步骤流程示意图;
图5为本申请实施例提供的一种将辅助信息与影像融合以提供给用户的步骤流程示意图;
图6为本申请实施例提供的一种将辅助信息通过合适的显示装置提供给用户的步骤流程示意图;
图7为本申请实施例提供的一种手术辅助信息展示装置的结构示意图;
图8是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明包含的范围。
在本申请实施例中,“示例性”一词用来表示“用作例子、例证或说明”。本申请实施例中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本发明,给出了以下描述。在以下描述中,为了解释的目的而列出了细节。应当明白的是,本领域普通技术人员可以认识到,在不使用这些特定细节的情况下也可以实现本发明。在其它实例中,不会对公知的结构和过程进行详细阐述,以避免不必要的细节使本发明的描述变得晦涩。因此,本发明并非旨在限于所示的实施例,而是与符合本申请实施例所公开的原理和特征的最广范围相一致。
本申请实施例中提供一种手术辅助信息展示方法、装置、设备及计算机可读存储介质,以下分别进行详细说明。本申请实施例中手术辅助信息展示方法是以程序的形式部署在手术辅助信息展示装置上,手术辅助信息展示装置是以处理器的形式安装在计算机设备中,计算机设备中的手术辅助信息展示装置通过运行手术辅助信息展示方法对应的程序,以执行本申请实施例所提供的手术辅助信息展示方法。
具体的,如图1所示,图1为本申请实施例提供的一种手术辅助信息展示方法的步骤流程示意图,具体的,包括步骤S110~S140:
S110,获取目标用户的手术图像。
本申请实施例中,目标用户通常是医护人员,而目标用户的手术图像则通常是指在手术进程中实时对医护人员的手术过程进行图像采集所得到的图像,例如,比较常见的方式,可以是通过预先安装的摄像装置来实时采集医护人员的手术图像,并传输给手术辅助信息展示装置以进行后续的处理。
S120,对所述手术图像进行图像识别处理,得到所述手术图像对应的手术信息。
本申请实施例中,在前述得到手术图像之后,手术辅助信息展示装置会实时对得到的手术图像进行相应的图像识别,以提取出图像中与手术相关的特征信息,在大多数情况下,手术信息一般包括了手术动作信息、工具类型信息以及手术目标信息中的至少一种,其中手术目标信息通常是指手术需要处理的诸如生理组织结构之类的目标信息,例如比较常见的可以有手术区域的解剖结构、工具处理的目标解剖结构、异常生理组织区域等等。具体的,对手术图像中手术信息的提取可以是基于预先训练好的深度学习神经网络模型来实现,例如,可以将手术动作或手术工具的特征信息和图像作为输入,利用深度学习神经网络经过多次训练,从而得到手术动作/手术工具识别模型,具体的实现方案可以参阅后续图4及其解释说明的内容。
S130,根据所述手术信息确定当前手术阶段。
本申请实施例中,考虑到不同手术阶段医护人员所需要进行的手术操作不同,所需要使用的手术工具类型不同,所需要处理的生理组织结构不同,因此,可以预先将不同的手术动作、手术工具和/或手术目标,来与标准手术阶段建立关联,以便于基于手术信息确定当前手术阶段。
具体的,以一种常见的手术场景为例,其通常涉及到如下几个阶段:①患者打麻药,②皮肤进针,③监控扫查(针进入身体的情况和位置),④调整针位置(便于达到指定位置),⑤缝合出针。此时,基于医护人员的动作行为或是手持工具可以确定医护人员所进行的手术操作,例如,当医护人员手持工具为麻药针时,可以确定当前所处的阶段为患者打麻药阶段,又或者当医护人员手持工具为穿刺针,且存在向皮肤内进针的行为时,则可以确定当前所处的阶段为皮肤进针阶段因此,基于从实时手术图像中识别出的手术动作信息、工具类型信息和/或手术目标信息以及预先建立的不同的手术动作、手术工具和或手术目标与标准手术阶段之间的关联关系,可以确定出实时手术图像所对应的当前手术阶段。
进一步的,考虑到在部分特殊情况下,不同的手术阶段可能在手术动作或者手术工具上存在较高的相似性,例如,以前述提到的手术场景中的皮肤进针和缝合出针为例,这两个手术阶段医护人员所持的手术工具类型均为穿刺针,而区别点仅仅在于医护人员的进针行为和出针行为不同,然而进针行为和出针行为具有高度的相似性,容易导致在对实时图像进行处理过程中,手术信息识别不够准确而导致所确定的手术阶段存在出现误差的可能性,而为了避免上述问题,本申请提供了一种考虑手术阶段的进程性来确定当前手术阶段的实现方案,从而进一步提高了所确定的手术阶段的准确性,具体的实现方案可以参阅后续图2及其解释说明的内容。
S140,将与所述当前手术阶段对应的辅助信息提供给所述目标用户。
本申请实施例中,在前述基于实时采集得到手术图像确定当前医护人员所处的手术阶段后,为了给医护人员提供更准确的手术辅助提示信息,手术辅助信息展示装置会进一步将预先所记录的与当前手术阶段对应的辅助信息通过设定好的显示装置提供给目标用户,也就是医护人员。
具体的,辅助信息通常包括诸如组织结构、病灶、手术建议等等之类的文字描述信息,当然,为进一步提高所展示的辅助信息对医护人员的辅助提示效果,前述辅助信息还可以是与医学影像进行融合,以图文的形式提供给医护人员,具体的实现方案可以参阅后续图5及其解释说明的内容。
当然,为提高医护人员对辅助信息的感知效果,进一步的,作为本申请的一种可行实施例,辅助信息可以是在相对于医护人员手术位置的最佳观测位置的显示设备上进行显示,具体的实现方案可以参阅后续图6及其解释说明的内容。
本申请提供的手术辅助信息展示方法,在获取到目标用户的手术图像后,通过对手术图像进行识别处理,可以得到手术图像的手术信息,其中手术信息包括手术动作信息和工具类型信息中的至少一种,因此基于该手术信息可以确定出当前手术阶段,从而便于后续提供与当前手术阶段信息相对应的辅助信息提供给用户,保证了向用户所提供的辅助信息的实时有效性,提高了对用户的手术辅助指导效果。
如图2所示,图2为本申请实施例提供的一种基于状态机确定当前手术阶段的步骤流程示意图,详述如下。
为了避免因手术特征信息不明显使提取出的手术信息不够精确,从而导致确定手术阶段的过程中存在误差的问题,本申请充分考虑手术的进程性,提供了基于状态机思想来确定当前手术阶段的实现方案,具体的,包括步骤S210~S220:
S210,根据所述手术信息以及记录的手术阶段确定当前手术阶段。
与前述直接基于手术信息以及手术信息和手术阶段之间关联关系来确定当前手术阶段不同的是,本申请实施例是通过一个状态机来记录手术阶段。具体的,考虑到手术过程中所存在的进程性,也就是通常情况下,完整的手术过程是由固定好顺序的若干手术阶段组成,例如前述提到的①患者打麻药,②皮肤进针,③监控扫查(针进入身体的情况和位置),④调整针位置(便于达到指定位置),⑤缝合出针,此时,通过实时记录当前所处的手术阶段,后续就可以结合从实时图像中识别出的手术信息来确定更准确的当前手术阶段。例如,当前记录的手术阶段为患者打麻药时,此时进一步结合实时图像中的手术信息确定医护人员手持穿刺针,且存在进出针的行为时,考虑到患者打麻药的后一阶段为皮肤进针,此时,当前手术阶段有更高可能性是皮肤进针阶段。又或者,当前记录的手术阶段为调整针位置时,此时进一步结合实时图像的手术信息确定医护人员手持穿刺针,且存在进出针的行为时,考虑到调整针位置的后续阶段只可能为缝合出针,而不可能是皮肤进针,此时可以准确出当前手术阶段为缝合出针阶段。
当然,在上述过程中,考虑到手术阶段之间的连续性,因此,根据手术信息以及记录的手术阶段确定当前手术阶段主要可以是通过手术信息来确定是否需要将记录的手术阶段进行切换,因此,作为本申请的一种可行实施例,可以是基于手术信息与预先设置的与不同手术阶段对应的阶段切换特征信息之间是否匹配,来确定当前手术阶段进行发生了切换。具体的实现方案可以参阅后续图3及其解释说明的内容。
S220,基于所述当前手术阶段对记录的手术阶段进行更新。
本申请实施例中,在基于手术信息以及记录的手术阶段确定当前手术阶段,手术辅助信息展示装置会基于确定的当前手术阶段对记录的手术阶段实时进行更新,以便于后续进一步基于采集得到的手术图像中的手术信息与记录的手术阶段进一步确定实时的手术阶段。
通过上述状态机的思想,通过对手术阶段进行记录,可以方便与采集得到的手术图像中的手术信息进行结合,共同确定当前手术阶段,并记录下来,通过实时对手术阶段进行更新,可以有效避免错误识别出手术阶段的可能性,从而提高了后续展示对应辅助信息的效果。
如图3所示,图3为本申请实施例提供的一种状态机中对手术阶段进行切换的步骤流程示意图,详述如下。
本申请实施例中,根据手术信息以及记录的手术阶段确定当前手术阶段通常即要求基于手术信息判断是否对记录的手术阶段进行更新,因此,可以通过预先设定不同手术阶段对应的阶段切换特征信息来实现,具体的,包括步骤S310~S320:
S310,根据记录的手术阶段获取对应的阶段切换特征信息。
本申请实施例中,以前述提到的由①患者打麻药,②皮肤进针,③监控扫查(针进入身体的情况和位置),④调整针位置(便于达到指定位置),⑤缝合出针组成的手术场景为例,当手术阶段由患者打麻药转换为皮肤进针时,通常伴随着工具类型的切换,也就是医护人员手持工具会由麻药针切换为穿刺针,因此,可以将该特征信息作为患者打麻药手术阶段所对应的阶段切换特征信息,当然,对于其他手术阶段,也可以通过类似的方式,预先分别确定各手术阶段对应的阶段切换特征信息,这样,手术辅助信息展示就可以根据记录的手术阶段来获取到对应的阶段切换特征信息,以便于和实时采集得到的手术图像中的手术信息进行比对。
S320,若所述手术信息与所述阶段切换特征信息相符,则将记录的手术阶段对应的下一手术阶段确定为当前手术阶段。
本申请实施例中,当手术信息与阶段切换特征信息相符,例如,当记录的手术阶段为患者打麻药,其对应的阶段切换特征信息为手持工具由麻药针切换为穿刺针,此时,若实时采集得到的手术图像中也描述了手持工具由麻药针切换为穿刺针的手术信息,则可以认为,手术信息与阶段切换特征信息相符,此时,手术辅助信息展示就会将记录的手术阶段对应的下一手术阶段,例如,将患者打麻药的下一阶段,皮肤进针确定为当前手术阶段,并对记录的手术阶段进行更新,直至后续采集得到的手术图像中的手术信息与皮肤进针对应的阶段切换特征信息相符,例如,打开监控扫查装置,则进一步确定当前手术阶段切换为监控扫查阶段,并提供监控扫查阶段对应的辅助信息,直至完成整个手术过程。
如图4所示,图4为本申请实施例提供的一种提取手术信息的步骤流程示意图,具体的,包括步骤S410~S450:
S410,对所述手术图像中的手术动作进行特征分析,得到动作特征。
本申请实施例中,利用预先训练好的手术动作识别模型,可以实现对手术图像中手术动作的特征分析,从而得到相应的动作特征,具体的,手术动作识别模型可以是深度学习神经网络模型,例如,以样本图像以及样本图像中手术动作的特征信息作为输入,对初始的深度学习神经网络模型进行多次训练,训练后的深度学习神经网络模型就可以准确的确定出图像中手术动作的特征信息,该训练后的深度学习神经网络模型即为前述所提供的手术动作识别模型。
S420,对所述手术图像中的手术工具进行特征分析,得到工具特征。
本申请实施例中,利用预先训练好的手术工具识别模型,可以实现对手术图像中手术工具的特征分析,从而得到相应的工具特征,具体的,手术工具识别模型同样也可以是深度学习神经网络模型,例如,以样本图像以及样本图像中手术工具的特征信息作为输入,对初始的深度学习神经网络模型进行多次训练,训练后的深度学习神经网络模型就可以准确的确定出图像中手术工具的特征信息,该训练后的深度学习神经网络模型即为前述所提供的手术工具识别模型。
S430,对所述手术图像中的生理组织结构进行特征分析,得到组织特征。
本申请实施例中,利用预先训练好的手术目标识别模型,可以实现对手术图像中手术目标,例如诸如生理组织结构之内的特征分析,从而得到相应的组织特征,具体的,手术目标识别模型同样也可以是深度学习神经网络模型,例如,以样本图像以及样本图像中生理组织结构的特征信息作为输入,对初始的深度学习神经网络模型进行多次训练,训练后的深度学习神经网络模型就可以准确的确定出图像中生理组织结构的特征信息,该训练后的深度学习神经网络模型即为前述所提供的手术目标识别模型。
S440,根据所述动作特征、所述工具特征和所述组织特征在预设的数据库进行匹配,分别得到与所述动作特征匹配的手术动作信息、与所述工具特征匹配的工具类型信息以及与所述组织特征匹配的手术目标信息。
本申请实施例中,在前述提取出手术图像中的动作特征、工具特征和组织特征后,通过进行在数据库中进行特征的匹配,就可以识别考虑到与动作特征匹配的手术动作信息,例如进出针信息、缝针信息,以及与工具特征匹配的工具类型信息,例如,穿刺针、麻药针、镊子等等,又或者与组织匹配的手术目标信息,例如,手术区域的解剖结构、工具处理的目标解剖结构、异常生理组织区域。
当然,考虑到不同种类手术中,医护人员的手术动作以及所使用的工具存在差异,为提高匹配的精度,前述进行匹配的数据库可以是基于所选择的手术种类确定。
S450,将所述手术动作信息、所述工具类型信息和所述手术目标信息确定为所述手术图像对应的手术信息。
本申请实施例中,将前述得到的手术动作信息、所述工具类型信息和所述手术目标信息共同确定为手术图像对应的手术信息,后续基于此手术信息就可以得到更准确的手术阶段。
如图5所示,图5为本申请实施例提供的一种将辅助信息与影像融合以提供给用户的步骤流程示意图,具体的,包括步骤S510~S530:
S510,获取与所述当前手术阶段对应的辅助信息。
本申请实施例中,辅助信息通常是诸如组织结构、病灶、手术建议等等的文字描述信息,当然,除了前述辅助信息外,其他在手术前已准备好的医学重建影像,以及医学重建影像上的辅助提示信息,还有手术过程中的实时医学影像,同样可以用于形成对医护人员的手术辅助指引。
S520,将所述辅助信息与获取的医学影像进行融合,得到融合医学影像。
本申请实施例中,将前述得到的辅助信息与获取的医学影像,例如实时获取的实时医学影像,又或是手术前已准备好的医学重建影像,进行融合,可以形成补充后的具有辅助提示信息的融合医学影像。该融合医学影像能够为医护人员提供更准确的手术辅助提示作用。
S530,将所述融合医学影像提供给所述目标用户。
本申请实施例中,将前述提供的融合医学影像在合适的显示设备上提供目标用户,能够辅助医护人员进行手术。
如图6所示,图6为本申请实施例提供的一种将辅助信息通过合适的显示装置提供给用户的步骤流程示意图,具体的,包括步骤S610~S640:
S610,获取所述目标用户的位置信息。
本申请实施例中,考虑到医护人员在手术过程中会不断调整手术位置,为了将辅助信息更有效的提供为医护人员,手术辅助信息展示装置还可以实时感知医护人员以确定医护人员的位置信息。具体的,手术辅助信息展示装置可以是通过市内定位系统,亦或是通过室内图像采集以及用户跟踪识别的方式得到,当然也可以是通过人体红外扫描装置来确定,本申请实施例对于获取用户位置信息的实现方案不做限制。
S620,基于所述位置信息以及预设的候选展示装置的位置信息,确定各所述候选展示装置相对于所述目标用户的方位信息。
本申请实施例中,在前述确定医护人员的位置信息后,考虑在手术场景下存在多个预设的候选展示装置,那么基于医护人员的位置信息,以及预设的候选展示装置的位置信息,手术辅助信息展示装置可以计算出候选展示装置相对于目标用户的方位信息。
S630,基于所述方位信息从所述候选展示装置中确定目标展示装置。
进一步的,为了使医护人员能够最佳观测到所提供的辅助信息,手术辅助信息展示装置会基于方位信息从候选展示装置中确定出与医护人员正对的具有最佳观测视角的目标展示装置。
S640,将与所述当前手术阶段对应的辅助信息通过所述目标展示装置提供给所述目标用户。
本申请实施例中,通过将当前手术阶段对应的辅助信息在前述确定的目标展示装置提供给目标用户,就能够进一步提高辅助信息对医护人员的手术辅助效果。
为便于理解本申请实施例提供的技术方案,下述将结合前述图1~6提供的内容,提供一种手术辅助信息展示的完整实现流程,具体的,包括下述步骤:
1)获取医生手术动作的实时图像;
2)通过对图像中手术动作进行特征分析,获得动作特征,以及通过对图像中手持工具进行特征分析,获得工具特征;通过对图像中的生理组织结构进行特征分析,得到组织特征;对于图像中医生的手术动作、手术工具或是生理组织结构的特征分析,可以利用预先训练好的深度学习神经网络模型来实现。例如,将手术动作、手术工具或生理组织结构的特征信息和图像作为输入,利用深度学习神经网络经过多次训练,得到手术动作/手术工具/手术目标识别模型;
3)根据动作特征,从数据库中匹配到对应的手术动作,从而确定当前医生的手术动作,根据工具特征,从数据库中匹配到对应的工具,从而确定当前医生手持工具的类型,以及根据组织特征,从数据库中匹配到对应的组织结构,从而确定当前的手术目标;
4)利用数据库中预先存储的手术阶段与医生手术动作/工具/组织结构之间的关联关系,来确定当前的手术阶段;例如,以①患者打麻药,②皮肤进针,③监控扫查(针进入身体的情况和位置),④调整针位置(便于达到待消融位置),⑤缝合出针的手术场景为例,手持麻药针与上述阶段①关联,手持穿刺针并进针通常与上述阶段②关联,手持穿刺针并出针或者缝合伤口行为通常与上述阶段⑤关联;
5)在确定当前手术阶段后,对应从扫描设备中调取扫描的辅助信息,具体的,辅助信息可以包括:a、组织结构、病灶、手术建议等等的文字描述信息;b、手术前获取已准备好的医学重建影像,以及医学重建影像上的辅助提示信息;c、与当前手术阶段相对应的实时影像,以及实时影像上的辅助提示信息;d、医学重建影像和实时影像上辅助提示信息的融合所形成的融合医学影像;e、将医学重建影像的辅助提信息融合到实时影像中,形成补充后的具有辅助提示信息的实时医学影像等等;
6)将调取的辅助信息通过医护人员附近的显示屏幕或投影仪器展示给医护人员,辅助医护人员在各手术阶段对患者进行准确手术操作,具体的,辅助信息可以是展示在相对于医护人员手术位置,最佳观测位置的显示设备上。
为了更好实施本申请实施例中手术辅助信息展示方法,在手术辅助信息展示方法基础之上,本申请实施例中还提供一种手术辅助信息展示装置。如图7所示,图7为本申请实施例提供的一种手术辅助信息展示装置的结构示意图。具体的,手术辅助信息展示装置包括:
获取模块710,用于获取目标用户的手术图像;
识别模块720,用于对所述手术图像进行图像识别处理,得到所述手术图像对应的手术信息;所述手术信息包括手术动作信息、工具类型信息和所述手术目标信息中的至少一种;
确定模块730,用于根据所述手术信息确定当前手术阶段;
展示模块740,用于将与所述当前手术阶段对应的辅助信息提供给所述目标用户。
在本申请一些实施例中,所述确定模块730用于根据所述手术信息以及记录的手术阶段确定当前手术阶段;基于所述当前手术阶段对记录的手术阶段进行更新。
在本申请一些实施例中,所述确定模块730用于根据记录的手术阶段获取对应的阶段切换特征信息;若所述手术信息与所述阶段切换特征信息相符,则将记录的手术阶段对应的下一手术阶段确定为当前手术阶段。
在本申请一些实施例中,所述识别模块720用于对所述手术图像中的手术动作进行特征分析,得到动作特征;对所述手术图像中的手术工具进行特征分析,得到工具特征;对所述手术图像中的生理组织结构进行特征分析,得到组织特征;根据所述动作特征、所述工具特征和所述组织特征在预设的数据库进行匹配,分别得到与所述动作特征匹配的手术动作信息、与所述工具特征匹配的工具类型信息以及与所述组织特征匹配的手术目标信息;将所述手术动作信息、所述工具类型信息和所述手术目标信息确定为所述手术图像对应的手术信息。
在本申请一些实施例中,所述展示模块740用于获取与所述当前手术阶段对应的辅助信息;将所述辅助信息与获取的医学影像进行融合,得到融合医学影像;将所述融合医学影像提供给所述目标用户。
在本申请一些实施例中,所述展示模块740用于获取所述目标用户的位置信息;基于所述位置信息以及预设的候选展示装置的位置信息,确定各所述候选展示装置相对于所述目标用户的方位信息;基于所述方位信息从所述候选展示装置中确定目标展示装置;将与所述当前手术阶段对应的辅助信息通过所述目标展示装置提供给所述目标用户。
本申请实施例还提供一种计算机设备,如图8所示,图8是本申请实施例提供的一种计算机设备的结构示意图。
计算机设备包括存储器、处理器以及存储于存储器中,并可在处理器上运行的计算机程序,处理器执行计算机程序时实现本申请任一实施例提供的手术辅助信息展示方法中的步骤。
具体来讲:计算机设备可以包括一个或者一个以上处理核心的处理器801、一个或一个以上存储介质的存储器802、电源803和输入单元804等部件。本领域技术人员可以理解,图8中示出的计算机设备结构并不构成对计算机设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器801是该计算机设备的控制中心,利用各种接口和线路连接整个计算机设备的各个部分,通过运行或执行存储在存储器802内的软件程序和/或模块,以及调用存储在存储器802内的数据,执行计算机设备的各种功能和处理数据,从而对计算机设备进行整体监控。可选的,处理器801可包括一个或多个处理核心;优选的,处理器801可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器801中。
存储器802可用于存储软件程序以及模块,处理器801通过运行存储在存储器802的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器802可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据计算机设备的使用所创建的数据等。此外,存储器802可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器802还可以包括存储器控制器,以提供处理器801对存储器802的访问。
计算机设备还包括给各个部件供电的电源803,优选的,电源803可以通过电源管理系统与处理器801逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源803还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该计算机设备还可包括输入单元804,该输入单元804可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出,计算机设备还可以包括显示单元等,在此不再赘述。具体在本实施例中,计算机设备中的处理器801会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器802中,并由处理器801来运行存储在存储器802中的应用程序,从而实现如下步骤:
获取目标用户的手术图像;
对所述手术图像进行图像识别处理,得到所述手术图像对应的手术信息;所述手术信息包括手术动作信息、工具类型信息以及手术目标信息中的至少一种;
根据所述手术信息确定当前手术阶段;
将与所述当前手术阶段对应的辅助信息提供给所述目标用户。
作为本申请的一种可行实施例,处理器运行存储在存储器中的应用程序,还可执行如下步骤:根据所述手术信息以及记录的手术阶段确定当前手术阶段;基于所述当前手术阶段对记录的手术阶段进行更新。
作为本申请的一种可行实施例,处理器运行存储在存储器中的应用程序,还可执行如下步骤:根据记录的手术阶段获取对应的阶段切换特征信息;若所述手术信息与所述阶段切换特征信息相符,则将记录的手术阶段对应的下一手术阶段确定为当前手术阶段。
作为本申请的一种可行实施例,处理器运行存储在存储器中的应用程序,还可执行如下步骤:对所述手术图像中的手术动作进行特征分析,得到动作特征;对所述手术图像中的手术工具进行特征分析,得到工具特征;对所述手术图像中的生理组织结构进行特征分析,得到组织特征;根据所述动作特征、和所述工具特征和所述组织特征在预设的数据库进行匹配,分别得到与所述动作特征匹配的手术动作信息、与所述工具特征匹配的工具类型信息以及与所述组织特征匹配的手术目标信息;将所述手术动作信息、所述工具类型信息和所述手术目标信息确定为所述手术图像对应的手术信息。
作为本申请的一种可行实施例,处理器运行存储在存储器中的应用程序,还可执行如下步骤:获取与所述当前手术阶段对应的辅助信息;将所述辅助信息与获取的医学影像进行融合,得到融合医学影像;将所述融合医学影像提供给所述目标用户。
作为本申请的一种可行实施例,处理器运行存储在存储器中的应用程序,还可执行如下步骤:获取所述目标用户的位置信息;基于所述位置信息以及预设的候选展示装置的位置信息,确定各所述候选展示装置相对于所述目标用户的方位信息;基于所述方位信息从所述候选展示装置中确定目标展示装置;将与所述当前手术阶段对应的辅助信息通过所述目标展示装置提供给所述目标用户。
为此,本申请实施例提供一种计算机可读存储介质,该计算机存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。计算机可读存储介质上存储有计算机程序,计算程序被处理器执行时实现如下步骤:
获取目标用户的手术图像;
对所述手术图像进行图像识别处理,得到所述手术图像对应的手术信息;所述手术信息包括手术动作信息、工具类型信息以及手术目标信息中的至少一种;
根据所述手术信息确定当前手术阶段;
将与所述当前手术阶段对应的辅助信息提供给所述目标用户。
作为本申请的一种可行实施例,处理器运行存储在存储器中的应用程序,还可执行如下步骤:根据所述手术信息以及记录的手术阶段确定当前手术阶段;基于所述当前手术阶段对记录的手术阶段进行更新。
作为本申请的一种可行实施例,处理器运行存储在存储器中的应用程序,还可执行如下步骤:根据记录的手术阶段获取对应的阶段切换特征信息;若所述手术信息与所述阶段切换特征信息相符,则将记录的手术阶段对应的下一手术阶段确定为当前手术阶段。
作为本申请的一种可行实施例,处理器运行存储在存储器中的应用程序,还可执行如下步骤:对所述手术图像中的手术动作进行特征分析,得到动作特征;对所述手术图像中的手术工具进行特征分析,得到工具特征;对所述手术图像中的生理组织结构进行特征分析,得到组织特征;根据所述动作特征、和所述工具特征和所述组织特征在预设的数据库进行匹配,分别得到与所述动作特征匹配的手术动作信息、与所述工具特征匹配的工具类型信息以及与所述组织特征匹配的手术目标信息;将所述手术动作信息、所述工具类型信息和所述手术目标信息确定为所述手术图像对应的手术信息。
作为本申请的一种可行实施例,处理器运行存储在存储器中的应用程序,还可执行如下步骤:获取与所述当前手术阶段对应的辅助信息;将所述辅助信息与获取的医学影像进行融合,得到融合医学影像;将所述融合医学影像提供给所述目标用户。
作为本申请的一种可行实施例,处理器运行存储在存储器中的应用程序,还可执行如下步骤:获取所述目标用户的位置信息;基于所述位置信息以及预设的候选展示装置的位置信息,确定各所述候选展示装置相对于所述目标用户的方位信息;基于所述方位信息从所述候选展示装置中确定目标展示装置;将与所述当前手术阶段对应的辅助信息通过所述目标展示装置提供给所述目标用户。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见上文针对其他实施例的详细描述,此处不再赘述。
具体实施时,以上各个单元或结构可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单元或结构的具体实施可参见前面的方法实施例,在此不再赘述。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
以上对本申请实施例所提供的一种手术辅助信息展示方法进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种手术辅助信息展示方法,其特征在于,所述方法包括:
获取目标用户的手术图像;
对所述手术图像进行图像识别处理,得到所述手术图像对应的手术信息;所述手术信息包括手术动作信息、工具类型信息以及手术目标信息中的至少一种;
根据所述手术信息确定当前手术阶段;
将与所述当前手术阶段对应的辅助信息提供给所述目标用户。
2.根据权利要求1所述的手术辅助信息展示方法,其特征在于,所述根据所述手术信息确定当前手术阶段,包括:
根据所述手术信息以及记录的手术阶段确定当前手术阶段;
基于所述当前手术阶段对记录的手术阶段进行更新。
3.根据权利要求2所述的手术辅助信息展示方法,其特征在于,所述根据所述手术信息以及记录的手术阶段确定当前手术阶段,包括:
根据记录的手术阶段获取对应的阶段切换特征信息;
若所述手术信息与所述阶段切换特征信息相符,则将记录的手术阶段对应的下一手术阶段确定为当前手术阶段。
4.根据权利要求1所述的手术辅助信息展示方法,其特征在于,所述对所述手术图像进行图像识别处理,得到所述手术图像对应的手术信息,包括:
对所述手术图像中的手术动作进行特征分析,得到动作特征;
对所述手术图像中的手术工具进行特征分析,得到工具特征;
对所述手术图像中的生理组织结构进行特征分析,得到组织特征;
根据所述动作特征、所述工具特征和所述组织特征在预设的数据库进行匹配,分别得到与所述动作特征匹配的手术动作信息、与所述工具特征匹配的工具类型信息以及与所述组织特征匹配的手术目标信息;
将所述手术动作信息、所述工具类型信息和所述手术目标信息确定为所述手术图像对应的手术信息。
5.根据权利要求1所述的手术辅助信息展示方法,其特征在于,所述将与所述当前手术阶段对应的辅助信息提供给所述目标用户,包括:
获取与所述当前手术阶段对应的辅助信息;
将所述辅助信息与获取的医学影像进行融合,得到融合医学影像;
将所述融合医学影像提供给所述目标用户。
6.根据权利要求5所述的手术辅助信息展示方法,其特征在于,所述辅助信息包括组织结构信息、病灶信息、手术建议信息中的至少一种。
7.根据权利要求1~6任一项所述的手术辅助信息展示方法,其特征在于,所述将与所述当前手术阶段对应的辅助信息提供给所述目标用户,包括:
获取所述目标用户的位置信息;
基于所述位置信息以及预设的候选展示装置的位置信息,确定各所述候选展示装置相对于所述目标用户的方位信息;
基于所述方位信息从所述候选展示装置中确定目标展示装置;
将所述辅助信息通过所述目标展示装置提供给所述目标用户。
8.一种手术辅助信息展示装置,其特征在于,包括:
获取模块,用于获取目标用户的手术图像;
识别模块,用于对所述手术图像进行图像识别处理,得到所述手术图像对应的手术信息;所述手术信息包括手术动作信息、工具类型信息以及手术目标信息中的至少一种;
确定模块,用于根据所述手术信息确定当前手术阶段;
展示模块,用于将与所述当前手术阶段对应的辅助信息提供给所述目标用户。
9.一种计算机设备,其特征在于,所述计算机设备包括处理器、存储器以及存储于所述存储器中并可在所述处理器上运行的手术辅助信息展示程序,所述处理器执行所述手术辅助信息展示程序以实现权利要求1至7任一项所述的手术辅助信息展示方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有程序,所述手术辅助信息展示程序被处理器执行以实现权利要求1至7任一项所述的手术辅助信息展示方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311056721.XA CN117064542A (zh) | 2023-08-21 | 2023-08-21 | 手术辅助信息展示方法、装置、设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311056721.XA CN117064542A (zh) | 2023-08-21 | 2023-08-21 | 手术辅助信息展示方法、装置、设备及可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117064542A true CN117064542A (zh) | 2023-11-17 |
Family
ID=88707637
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311056721.XA Pending CN117064542A (zh) | 2023-08-21 | 2023-08-21 | 手术辅助信息展示方法、装置、设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117064542A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117936053A (zh) * | 2024-03-21 | 2024-04-26 | 吉林大学第一医院 | 一种基于数字化手术室的手术流程信息管理方法 |
-
2023
- 2023-08-21 CN CN202311056721.XA patent/CN117064542A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117936053A (zh) * | 2024-03-21 | 2024-04-26 | 吉林大学第一医院 | 一种基于数字化手术室的手术流程信息管理方法 |
CN117936053B (zh) * | 2024-03-21 | 2024-06-25 | 吉林大学第一医院 | 一种基于数字化手术室的手术流程信息管理方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11925452B2 (en) | System and method for lung visualization using ultrasound | |
KR102014359B1 (ko) | 수술영상 기반 카메라 위치 제공 방법 및 장치 | |
AU2015202805B2 (en) | Augmented surgical reality environment system | |
US7659912B2 (en) | Insertion support system for producing imaginary endoscopic image and supporting insertion of bronchoscope | |
US10531815B2 (en) | User-steered on-the-fly path planning | |
CN112057165B (zh) | 一种路径规划方法、装置、设备和介质 | |
CN117064542A (zh) | 手术辅助信息展示方法、装置、设备及可读存储介质 | |
JP2005535395A (ja) | インプラント装置を制御するためのグラフィカル・ユーザーインターフェース | |
CN114224448B (zh) | 穿刺路径规划装置、设备和计算机可读存储介质 | |
WO2023095492A1 (ja) | 手術支援システム、手術支援方法、及び手術支援プログラム | |
WO2017151904A1 (en) | Methods and systems for anatomical image registration | |
CN111091539A (zh) | 网络模型训练、医学图像处理方法、装置、介质及设备 | |
CN117524441A (zh) | 一种手术质量的检测方法、装置 | |
CN117727300A (zh) | 语音信息处理方法及装置 | |
US20220313364A1 (en) | Devices and methods for targeting implant deployment in tissue | |
CN112053346A (zh) | 一种操作引导信息的确定方法和系统 | |
CN105578964A (zh) | 图像显示控制装置及其动作方法以及图像显示控制程序 | |
JP2003070748A (ja) | 医療情報処理システム | |
CN111001134A (zh) | 放疗呼吸训练系统及训练方法 | |
US10694929B2 (en) | Medical equipment system and operation method of medical equipment system | |
CN115089163A (zh) | 呼吸信号检测方法及其装置、手术导航方法及其装置 | |
CN117456000B (zh) | 一种内窥镜的对焦方法、装置、存储介质和电子设备 | |
JP7148193B1 (ja) | 手術支援システム、手術支援方法、及び手術支援プログラム | |
US12027250B2 (en) | Medical information processing apparatus and information processing method | |
US20240233121A1 (en) | Endoscopic examination support apparatus, endoscopic examination support method, and recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |