CN114463557B - 轮廓标记方法、装置、设备、存储介质及系统 - Google Patents
轮廓标记方法、装置、设备、存储介质及系统 Download PDFInfo
- Publication number
- CN114463557B CN114463557B CN202210086752.9A CN202210086752A CN114463557B CN 114463557 B CN114463557 B CN 114463557B CN 202210086752 A CN202210086752 A CN 202210086752A CN 114463557 B CN114463557 B CN 114463557B
- Authority
- CN
- China
- Prior art keywords
- image
- target object
- edge contour
- contour
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 117
- 238000003860 storage Methods 0.000 title claims abstract description 26
- 238000013507 mapping Methods 0.000 claims description 48
- 230000014509 gene expression Effects 0.000 claims description 38
- 238000000547 structure data Methods 0.000 claims description 34
- 238000009826 distribution Methods 0.000 claims description 28
- 238000013508 migration Methods 0.000 claims description 25
- 230000005012 migration Effects 0.000 claims description 25
- 238000006243 chemical reaction Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 15
- 230000000877 morphologic effect Effects 0.000 claims description 8
- 230000008901 benefit Effects 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 32
- 238000005516 engineering process Methods 0.000 description 21
- 238000005520 cutting process Methods 0.000 description 20
- 230000003902 lesion Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 13
- 238000013473 artificial intelligence Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 11
- 230000000694 effects Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000010363 phase shift Effects 0.000 description 5
- 208000000453 Skin Neoplasms Diseases 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 238000002271 resection Methods 0.000 description 4
- 201000000849 skin cancer Diseases 0.000 description 4
- 239000002344 surface layer Substances 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 239000002184 metal Substances 0.000 description 3
- 238000002679 ablation Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000010410 layer Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 210000004243 sweat Anatomy 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 210000001835 viscera Anatomy 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 239000002023 wood Substances 0.000 description 2
- 238000005481 NMR spectroscopy Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000013486 operation strategy Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 239000012857 radioactive material Substances 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000004659 sterilization and disinfection Methods 0.000 description 1
- 238000007920 subcutaneous administration Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种轮廓标记方法、装置、设备、存储介质及系统，属于互联网和计算机技术领域。所述方法包括：获取基于第一拍摄方式对目标物体进行拍摄得到的第一图像，目标物体的表面形成有目标实体，第一图像中包含目标实体以及目标实体的周围区域；获取在第一图像中标注的目标实体的边缘轮廓；将边缘轮廓投影至目标物体的表面。本申请通过获取图像中形成于目标物体表面的目标实体的边缘轮廓，并基于边缘轮廓在目标物体的表面进行投影，有助于保持投影至目标物体表面的边缘轮廓稳定、清晰。同时投影的边缘轮廓容易修改，有助于提升在目标物体的表面标记边缘轮廓的灵活性。
Description
技术领域
本申请涉及互联网和计算机技术领域，特别涉及一种轮廓标记方法、装置、设备、存储介质及系统。
背景技术
在对皮肤上的病灶进行手术时，医生会在患者的皮肤上直接勾画病灶的边缘轮廓。在手术的过程中，患者皮肤上的边缘轮廓能够帮助医生确定进行手术操作的具体位置。
相关技术中，医生在通过诊断仪器(如皮肤镜)获得与病灶有关的参考信息。并基于参考信息直接在患者皮肤上，手动绘制边缘轮廓。例如，医生通过皮肤镜观察皮肤表层病灶的形态之后，需要凭借记忆，使用无菌的马克笔，在患者皮肤上直接绘制边缘轮廓。在手术过程中，医生参考边缘轮廓，确定具体的切除位置。
然而，通过这种方法标记的边缘轮廓不稳定，在手术过程容易因汗水、剐蹭等因素变得模糊，导致边缘轮廓的提示作用减弱，容易干扰医生的判断。
发明内容
本申请提供了一种轮廓标记方法、装置、设备、存储介质及系统。所述技术方案如下：
根据本申请实施例的一个方面，提供了一种轮廓标记方法，所述方法包括：
获取基于第一拍摄方式对目标物体进行拍摄得到的第一图像，所述目标物体的表面形成有目标实体，所述第一图像中包含所述目标实体以及所述目标实体的周围区域；
获取在所述第一图像中标注的所述目标实体的边缘轮廓；
将所述边缘轮廓投影至所述目标物体的表面。
根据本申请实施例的一个方面，提供了一种轮廓标记装置，所述装置包括：
图像获取模块，用于获取基于第一拍摄方式对目标物体进行拍摄得到的第一图像，所述目标物体的表面形成有目标实体，所述第一图像中包含所述目标实体以及所述目标实体的周围区域；
轮廓获取模块，用于获取在所述第一图像中标注的所述目标实体的边缘轮廓；
轮廓投影模块，用于将所述边缘轮廓投影至所述目标物体的表面。
根据本申请实施例的一个方面，提供了一种计算机设备，所述计算机设备包括：处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现如上所述的轮廓标记方法。
根据本申请实施例的一个方面，提供了一种计算机可读存储介质，所述存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现如上所述的轮廓标记方法。
根据本申请实施例的一个方面，提供了一种计算机程序产品或计算机程序，所述计算机程序产品或计算机程序包括计算机指令，所述计算机指令存储在计算机可读存储介质中，处理器从所述计算机可读存储介质读取并执行所述计算机指令，以实现如上所述的轮廓标记方法。
根据本申请实施例的一个方面，提供了一种轮廓标记系统，所述系统包括：计算机设备、第一拍摄设备和投影设备；
所述第一拍摄设备，用于基于第一拍摄方式对目标物体进行拍摄得到第一图像，所述目标物体的表面形成有目标实体，所述第一图像中包含所述目标实体以及所述目标实体的周围区域；
所述计算机设备，用于从所述第一拍摄设备获取所述第一图像；获取在所述第一图像中标注的所述目标实体的边缘轮廓；将所述边缘轮廓的投影数据发送给所述投影设备；
所述投影设备，用于按照所述边缘轮廓的投影数据，将所述边缘轮廓投影至所述目标物体的表面。
本申请实施例提供的技术方案带来的有益效果至少包括：
通过获取图像中目标物体表面形成的目标实体的边缘轮廓，并基于边缘轮廓在目标物体的表面进行投影，与在目标物体的表面直接勾画的边缘轮廓相比，投影在目标物体表面的边缘轮廓较为稳定、清晰，不会在目标物体的表面湿度变化或目标物体的表面受到摩擦等情况下，变得模糊不清，有助于保持边缘轮廓的参考作用。同时，投影在目标物体的表面的边缘轮廓，容易修改，而且修改后也不会在目标物体的表面留下痕迹，避免影响边缘轮廓在目标物体表面的显示效果，有助于提升在目标物体的表面标记边缘轮廓的灵活性。
附图说明
图1是本申请一个示例性实施例提供的轮廓标记系统的示意图；
图2是本申请一个示例性实施例提供的轮廓标记方法的流程图；
图3是本申请另一个示例性实施例提供的轮廓标记方法的流程图；
图4是本申请另一个示例性实施例提供的轮廓标记方法的流程图；
图5是本申请一个示例性实施例提供的相移法确定三维结构数据的示意图；
图6是本申请一个示例性实施例提供的彩色条纹法确定三维结构数据的示意图；
图7是本申请一个示例性实施例提供的序列二进制编码的条纹分布示意图；
图8是本申请一个示例性实施例提供的散斑点的分布示意图；
图9是本申请一个示例性实施例提供的轮廓标记方法的示意图；
图10是本申请一个示例性实施例提供的轮廓标记装置的框图；
图11是本申请一个示例性实施例提供的计算机设备的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision,，CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR(Optical Character Recognition，光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D(3Dimensions，三维)技术、虚拟现实、增强现实、同步与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。在本申请中，可以通过计算机视觉技术对自动在图像中标注目标实体的边缘轮廓。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能医疗，机器人等。相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
图1是本申请一个示例性实施例提供的轮廓标记系统的示意图。该系统可以包括：计算机设备110、拍摄设备120和投影设备130。
计算机设备110可以是诸如PC(Personal Computer，个人计算机)、平板电脑、手机、可穿戴设备、智能家电、车载终端、医疗设备等电子设备。计算机设备110至少具有收发功能和计算功能。
拍摄设备120用于拍摄图像。例如，拍摄设备120能响应于计算机设备110发出的拍摄第一图像的指令，对目标物体进行拍摄。拍摄设备120包括但不限于相机、摄像机、录像机等数码摄像设备；皮肤镜、X光等医学辅助检查设备以及超声波探测设备。相机包括但不限于是彩色相机、黑白相机、红外相机、高光谱相机、多光谱相机等。
投影设备130用于投影图像。例如，投影设备130能接收计算机设备110发送的投影指令，将图像投影至目标物体表面。投影设备130包括但不限于投影仪、AR(AugmentedReality，增强现实)眼镜、AR头盔等具有增强现实作用的设备。
计算机设备110与拍摄设备120和投影设备130之间，可以分别进行通信，实现信息的收发。例如，计算机设备110与拍摄设备120和投影设备130之间，可以采用有线或者无线的方式进行通信。
图1中，采用悬臂式结构进行拍摄设备120和投影设备130的安装。采用悬臂式俯拍结构，方便获取目标物体的图像。可选地，图1中的支架采用重型支架防止晃动和倾倒。支架可以升降。拍摄设备120和投影设备130可以进行自动或手动对焦。拍摄设备120和投影设备130在使用前会预先对视野进行校准和配准。轮廓标记系统还可以使用其他安装方式，本申请在此不进行限定。
在一种可能的应用场景中，轮廓标记系统用于医疗领域。例如，轮廓标记系统用于辅助医生对形成于皮肤或内脏器官的病灶进行切除。
在另一种可能的应用场景中，轮廓标记系统用于材料雕刻领域。例如，轮廓标记系统用于辅助雕刻人员确定待雕刻的材料的雕刻范围。
在另一种可能的应用场景中，轮廓标记系统用于放射性检测领域。例如，廓标记系统用于标记出有放射性物质的空间中，放射性超过安全阈值的范围。
当然，上述应用场景仅是用于对轮廓标记系统进行示例和解释，轮廓标记系统还具有其他应用场景，本申请在此不进行限定。
下面通过一个实施例，对轮廓标记系统的运行过程进行介绍说明。在一些实施例中，计算机设备110向拍摄设备120发送图像获取指令，图像获取指令用于指示拍摄设备120对目标物体进行拍摄。拍摄设备120对目标物体进行拍摄后，得到图像，并将该图像发送给计算机设备110。计算机设备110接收到该图像，并将该图像显示给负责标注边缘轮廓的工作人员。该工作人员在计算机设备110显示的图像中标注出目标实体的边缘轮廓，目标实体形成于目标物体的表面。计算机设备110获取到该边缘轮廓，并基于该边缘轮廓生成边缘轮廓的投影数据。计算机设备110将该边缘轮廓的投影数据发送给投影设备130。投影设备130基于边缘轮廓的投影数据，在目标物体表面投影出边缘轮廓。
图2是本申请一个示例性实施例提供的轮廓标记方法的流程图。示例性地，该方法的执行主体可以是图1所示的轮廓标记系统中的计算机设备110。如图2所示，该方法可以包括如下几个步骤(210～230)：
步骤210，获取基于第一拍摄方式对目标物体进行拍摄得到的第一图像，目标物体的表面形成有目标实体，第一图像中包含目标实体以及目标实体的周围区域。
在一些实施例中，目标物体的表面形成有目标实体，目标实体在目标物体表面，对目标物体原有的性质产生影响。在一些实施例中，目标实体与目标物体之间存在转换关系，或者目标实体可以从部分目标物体演变而来。例如，目标实体为皮肤癌病灶，目标物体为皮肤癌患者的肢体，病灶是由于肢体表层的细胞发生基因突变而逐渐形成的。在一些实施例中，目标实体可以连接镶嵌在目标物体内部，并浮现在目标物体的表面，也可以贯穿于目标物体。在一些实施例中，目标实体还可以是目标物体中待移除部分。例如，目标物体为病变的器官，目标实体为病变器官上病变的部分。又例如，目标物体为一块待切割的木板，目标实体为该待切割的木板上腐烂的部分。
第一图像用于采集形成在目标物体表面的目标实体的轮廓形态信息。在一些实施例中，第一图像可以包括目标实体，还可以包括目标实体周围的区域。需要说明的是，因为目标实体形成于目标物体的表面，因此目标实体周围的区域可以是目标物体的部分区域。第一图像的类型包括但不限于照片、医学影像图片等。第一图像的类型由实际需要确定，本申请在此不进行限定。第一拍摄方式是指能够获得对应的第一图像的拍摄方式。不同的第一图像对应的第一拍摄方式可以相同，也可以不同。在一些实施例中，第一拍摄方式与目标物体所处的环境状况有关。例如目标物体表面没有覆盖其他物体，第一拍摄方式可以任意一种利用光学原理的拍摄方式。又例如，目标物体表面存在至少一个遮盖物，第一拍摄方式是具有穿透遮盖物能力的拍摄方式。例如在医学领域，目标物体位于患者的体内，第一拍摄方式包括但不限于X光、核磁共振等。
第一图像中可以记录着与目标实体有关的信息。在一些实施例中，第一图像中与目标实体有关的信息的类型与第一拍摄方式有关。第一图像中可以体现出目标实体的表面形态的详细信息。例如，第一拍摄方式是使用皮肤镜进行拍摄，目标物体为患者的皮肤表层，目标实体为皮肤癌病灶，通过皮肤镜观测得到的第一图像中具有患者的皮肤表层的皮肤癌病灶的详细信息，例如皮肤癌病灶的具体形态、颜色、对应位置的皮下血管分布等。第一图像中也可以体现出实际的目标实体在目标主体表面的分布情况。例如，第一拍摄方式是使用相机进行拍摄。使用相机进行拍摄得到的视域范围很大，因此第一图像中能够体现出实际的目标实体在目标物体上的分布信息。但是通过相机拍摄的方式的到的第一图像，关于目标实体表面形态的具体信息较少。
在一些实施例中，目标实体可以显示在第一图像的中心区域，也可以显示在第一图像的边缘部分。例如目标实体在第一图像的右上角，并且目标实体的边缘有第一图像的边缘存在一定的距离。第一图片中目标实体的所处的位置通过第一拍摄方式、目标物体的形状等因素影响，本申请在此不进行限定。
步骤220，获取在第一图像中标注的目标实体的边缘轮廓。
边缘轮廓是指用于划分目标实体所属的区域与目标实体的周围区域的轮廓线。第一图像中标注的边缘轮廓可以是一个封闭的线条，可以是能够围合出一片区域的虚线。例如，在第一图像中目标实体的四周均被目标物体包围的情况下，第一图像中标注的边缘轮廓是封闭的线条。第一图像中标注的边缘轮廓也可以是未封闭的线条。例如，在第一图像中，目标实体至少一侧不具有周围的区域，则说明在第一图像中目标实体没有被目标物体完全包围。那么通过未封闭的边缘线条，即可划分出目标实体所属的区域和周围区域。
在一些实施例中，例如在材料雕刻等场景中，第一图像中标注的边缘轮廓可以与第一图像中目标实体的边缘线重合，目标实体的边缘线是指目标实体的最边缘的点形成的轮廓线。在另一些实施例中，例如在医疗等场景中，边缘轮廓圈定或划分出的区域大于或等于目标实体的边缘线圈定或划分出的区域，也就是说，边缘轮廓圈定或划分出的区域中不仅包括目标实体，而且包括目标实体的周围的部分区域。边缘轮廓圈定或划分出的区域大于或等于目标实体的边缘线圈定或划分出的区域能够保证在手术过程中，能够完全切除病灶，从而降低患者复发疾病的风险。在另一些实施例中，在金属探测的应用场景中，边缘轮廓圈定或划分出的区域可以小于或等于目标实体的边缘线圈定或划分出的区域，因为金属具有辐射的性能，金属所在的实际区域可能小于边缘轮廓圈定出的范围，因此在目标物体的某一块区域探测得到的边缘轮廓可以小于目标实体(辐射能量超过阈值的范围)的边缘线圈定或划分出的范围。
在一些实施例中，边缘轮廓可以称为切缘轮廓，切缘轮廓用于指示对目标物体上的目标实体进行切除时的切除范围。在一些实施例中，切缘轮廓能为切除过程提供参考轮廓。为了避免切除范围较小，使得病灶未完全切除，导致患者病情复发的情况，切缘轮廓中除了包括病灶实体之外，还可以包括病灶实体的部分周围区域。例如，病灶实体在第一图像中的尺寸为直径为5cm圆形，病灶实体的切缘轮廓可以是在第一图像中，与病灶实体具有相同圆心的、直径为7cm的圆形。
在一些实施例中，边缘轮廓通过人工勾画的方法获得。计算机设备在获取到第一图像之后，将第一图像显示给负责进行边缘轮廓勾画的工作人员。该工作人员可以通过经验对第一图像中的目标实体的进行判断，确定边缘轮廓的走向，并在计算机设备显示的第一图像上标注出目标实体的边缘轮廓。在一些实施例中，边缘轮廓具有显示属性，边缘轮廓的显示属性用于控制边缘轮廓的显示效果。在一些实施例中，边缘轮廓的显示属性包括至少以下之一：显示颜色、轮廓粗细。显示属性可以是预配置的，也可以通过人工自行设定。通过人工在第一图像上标切缘轮廓，避免了直接在目标物体上进行勾画，容易破坏目标物体表面结构的可能性，并且在人工勾画的过程中方便修改，从而有助于提高切缘轮廓的精确度。
在另一些实施例中，边缘轮廓是通过图像识别设备确定并标注的。图像识别设备用于对第一图像进行自动分析，确定第一图像中目标实体的边缘线。例如，目标实体与目标物体的颜色存在差别，图像识别设备通过比较第一图像中各个像素点的颜色变化确定目标实体的轮廓线。在一些实施例中，图像识别设备可以将目标实体的边缘线确定为边缘轮廓，也可以在目标实体的边缘的基础上向外扩展，得到边缘轮廓。在这种情况下，边缘轮廓中不仅包括目标实体，还包括目标实体的部分周围区域。图像识别设备可以按照固定的长度向外扩展，得到目标实体的边缘轮廓。例如，在图像识别设备确定第一图像中目标实体的轮廓后，在目标实体的轮廓的基础上，向外扩展2cm得到边缘轮廓。又例如，图像识别设备也可以提取目标实体的轮廓的纹理特征，基于目标实体的轮廓的纹理特征分析确定目标实体的性质；基于目标实体的性质，在切缘轮廓集合中确定对应的切缘轮廓，或者，基于目标实体的性质确定切缘轮廓的标注方法。通过图像识别设备在第一图像中标注边缘轮廓，有助于减轻人力负担。
在一些实施例中，边缘轮廓与第一图像处于相同的图层，也就是说，标注后的第一图像中除了包括目标实体和目标实体的周围区域的图像之外，还包括目标实体的边缘轮廓。通过上述方法，使得计算机设备能够直接显示出目标实体和目标实体的边缘轮廓，减少了计算机设备将第一图像和边缘轮廓进行组合的计算过程，有助于减轻计算机设备的处理开销。在另一些实施例中，边缘轮廓与第一图像属于不同的图层，也就是说，第一图像和边缘轮廓对应的数据不在相同的文件中存储，切缘轮廓对应的数据中至少包括切缘轮廓的轮廓点的坐标。可选地，边缘轮廓中的轮廓点的坐标与第一图像中图像点对应的坐标使用相同的坐标系，以便计算机设备通过该坐标系，能够快速确定边缘轮廓在第一图像中的位置。通过上述方法，不但能够保持原有的第一图像，方便重新在第一图像标注边缘轮廓，而且通过切缘轮廓对应的数据能够单独提取出边缘轮廓，有助于对边缘轮廓进行迁移处理。
步骤230，将边缘轮廓投影至目标物体的表面。
在一些实施例中，计算机设备在获取到在第一图像中标注的目标实体的边缘轮廓后，基于获得的边缘轮廓，生成用于边缘轮廓的投影数据，投影数据用于指示投影设备基于待投影的边缘轮廓在目标物体的表面进行投影。该步骤的具体过程请参考下列实施例，在此不进行赘述。
在一些实施例中，在将边缘轮廓投影至目标物体的表面之后，计算机设备将边缘轮廓的指示信息投影至目标物体的表面。边缘轮廓的指示信息至少包括以下之一：目标实体的尺寸信息、边缘轮廓的方向信息。在一些实施例中，目标实体的尺寸信息的获取方式至少包括以下之一：通过对目标实体进行测量获得、或者通过测量包含目标实体的图像(如第一图像)，并将测量结果进行比例调整确定。在一些实施例中，边缘轮廓的方向信息在第一图像中标注，例如在第一图像的边缘轮廓一侧标注方向指示(如指示箭头)，又例如在第一图像中使用文字形式标注边缘轮廓的方向信息。在一些实施例中，在医疗领域中，边缘轮廓的方向信息至少包括以下之一：边缘轮廓的切除方向、边缘轮廓的切除起点、重要轮廓标记点。通过在目标物体表面投影边缘轮廓的指示信息，有助于提高投影至目标物体表面的边缘轮廓的提示能力。
综上所述，本申请实施例提供的技术方案，通过获取第一图像中形成于目标物体表面的目标实体的边缘轮廓，并基于边缘轮廓在目标物体的表面进行投影，与在目标物体的表面直接勾画边缘轮廓相比，投影在目标物体表面的边缘轮廓较为稳定、清晰，不会在目标物体的表面湿度变化或目标物体的表面存在摩擦等情况下，变得模糊不清，有助于保持边缘轮廓的参考作用。同时，投影在目标物体的表面的边缘轮廓，容易修改，有助于提升在目标物体的表面显示边缘轮廓的灵活性；而且修改过程也不会在目标物体的表面留下痕迹，从而不会影响边缘轮廓的投影效果。
此外，将上述轮廓投影方法应用到医疗领域中，例如用于投影切除病灶的边缘轮廓。一方面，在进行病灶切除之前，医生无需手动使用无菌马克笔在患者皮肤表面进行勾画，有助于节省医疗耗材，降低医疗成本。同时，对于无法直接进行边缘轮廓勾画的部位，例如内脏器官，通过本方法也可以进行边缘轮廓投影，因此本方法能够在病灶切除等医疗应用场景中具有较好的普适性。另一方面，通过将边缘轮廓投影到病灶周围，取代在病灶周围的皮肤表面直接进行勾画，避免在病人的皮肤表面留下与边缘轮廓有关的印记不好消除的问题。通过上述方法在病灶表面投影出的边缘轮廓的形状容易进行更改，通过改变用于投影的边缘轮廓的形状，即可改变病灶表面的边缘轮廓的形状，便于医生根据手术策略灵活调整投影的边缘轮廓。
图3是本申请另一个实施例提供的轮廓标记方法的流程图。示例性地，该方法的执行主体可以是图1所示的轮廓标记系统中的计算机设备110。如图3所示，该方法可以包括如下几个步骤(310～350)：
步骤310，获取基于第一拍摄方式对目标物体进行拍摄得到的第一图像，目标物体的表面形成有目标实体，第一图像中包含目标实体以及目标实体的周围区域。
步骤320，获取在第一图像中标注的目标实体的边缘轮廓。
步骤330，获取缩放比例，缩放比例用于表征边缘轮廓在第一图像和目标物体的表面上的缩放关系。
在本实施例中，第一拍摄设备可以是摄像机等数码摄像设备，投影设备可以是投影仪。缩放比例是指第一拍摄设备和投影设备进行标定过程后确定的比例，缩放比例用于表征边缘轮廓在第一图像和目标物体的表面上的缩放关系。标定过程是指在固定第一拍摄设备和投影设备的位置关系之后，投影设备向投影面投影检测画面。第一拍摄设备拍摄投影面上显示的投影画面并生成反馈画面。通过投影检测画面和反馈画面之间的差距调整第一拍摄设备或投影设备的拍摄位置和实验缩放比例，并再次从“投影设备向投影面投影检测画面”步骤开始执行，直到投影检测画面和反馈画面的误差小于或等于误差允许的范围。在标定过程结束时，确定的实验缩放比例为第一拍摄设备和投影设备之间的缩放比例。
步骤340，基于缩放比例对边缘轮廓的尺寸进行调整，得到调整后的边缘轮廓。
计算机设备通过缩放比例对第一图像上标注的边缘轮廓进行调整，得到调整后的边缘轮廓。在一些实施例中，第一图像中标注的目标实体的边缘轮廓与调整后的边缘轮廓的尺寸存在差别，位置和形状之间不会发生较大的改变。例如，计算机设备获取到的缩放比例为1：1.5，第一图像中标注的目标实体的边缘轮廓是一个长轴为10cm，短轴为5cm的椭圆，根据缩放比例进行调整，得到的调整后的边缘轮廓也是一个椭圆，该椭圆的长轴为15cm，短轴为7.5cm。在一些实施例中，边缘轮廓是由至少一个轮廓点组成的。对于任意一个轮廓点对应一个坐标。计算机设备根据缩放比例对边缘轮廓的轮廓点坐标进行调整，获得调整后的边缘轮廓。
步骤350，将调整后的边缘轮廓投影至目标物体的表面。
在一些实施例中，第一拍摄设备拍摄包含目标实体的第一图像。计算机设备获取来自第一拍摄设备的第一图像，并记录工作人员在第一图像上标注的目标实体的边缘轮廓。计算机设备获取缩放比例，并通过缩放比例确定边缘轮廓的调整尺寸，得到调整后的边缘轮廓。计算机设备基于调整后的边缘轮廓生成调整后的边缘轮廓的投影数据。计算机设备将向投影设备发送投影指令，或者将调整后的边缘轮廓的投影数据直接发送给投影设备。投影设备基于调整后的边缘轮廓的投影数据，在目标物体表面进行投影。
通过上述方法进行对边缘轮廓进行调整，并将调整后的边缘轮廓投影至目标物体的表面，有助于简化投影边缘轮廓的过程，以便快速对边缘轮廓进行投影。同时，不需要计算机设备进行过多的计算，有助于减轻计算机设备的开销。上述方法适用于一些需要快速在目标物体的表面投影出边缘轮廓的场景。例如在材料雕刻过程中，根据目标实体在不同深度的形态变化，临时需要修改目标实体的边缘轮廓，通过上述方法能够较快地响应修改目标实体的边缘轮廓的需求。此外，该方法也可以应用于医疗领域，例如在发生紧急情况，通过上述边缘轮廓投影方法，可以保证医生快速找到伤患部位，节省医生确定伤患部位的时间，以供医生进行后续操作。
图4是本申请另一个实施例提供的轮廓标记方法的流程图。示例性地，该方法的执行主体可以是图1所示的轮廓标记系统中的计算机设备110。如图4所示，该方法可以包括如下几个步骤(410～450)：
步骤410，获取基于第一拍摄方式对目标物体进行拍摄得到的第一图像，目标物体的表面形成有目标实体，第一图像中包含目标实体以及目标实体的周围区域。
步骤420，获取在第一图像中标注的目标实体的边缘轮廓。
步骤430，获取基于第二拍摄方式对目标物体进行拍摄得到的第二图像，第二图像中包含目标实体以及目标实体的周围区域；其中，第二拍摄方式不同于第一拍摄方式。
在一些实施例中，第一拍摄方式得到的第一图像中目标实体的清晰度，高于第二拍摄方式得到的第二图像中目标实体的清晰度；第二拍摄方式得到的第二图像中目标实体的完整度，高于第一拍摄方式得到的第一图像中目标实体的完整度。
在一些实施例中，第二拍摄方式是通过第二拍摄设备实现的。第二拍摄设备与第一拍摄设备可以相同，也可以不同。在一些实施例中，在相同尺寸的图像中，与通过第一拍摄方式得到的第一图像相比，在通过第二拍摄方式拍摄得到的第二图像中，与目标实体有关的信息更少，也即第二图像中的清晰度低于第一图像中的清晰度。在一些实施例中，第二拍摄方式拍摄的区域较大，通过第二拍摄方式得到的第二图像中的视域范围更大，因此第二拍摄方式得到的第二图像中目标实体的完整度，高于第一拍摄方式得到的第一图像中目标实体的完整度。
第二图像中包含目标实体以及目标实体的周围区域。在一些实施例中，第二图像中目标实体在图像中所占的部分小于目标实体的周围区域在图像中所占的部分。通过第二图像更清晰地确定目标实体在目标物体上的相对位置。通过将边缘轮廓从第一图像迁移至第二图像，使得第二图像中的目标实体具有对应的边缘轮廓，也即迁移后的边缘轮廓。因为第二图像中目标实体的完整度更高，第二图像能容易获得目标物体与目标实体之间的相对位置关系。因此，通过将第一图像中标注的边缘轮廓迁移到第二图像，方便将迁移后的切缘轮廓投影至目标物体的表面。同时，由于第一拍摄方式得到的第一图像中目标实体的清晰度，高于第二拍摄方式得到的第二图像中目标实体的清晰度，因此通过第一图像可以获得更多与目标实体相关的细节信息，为人工或图片分析设备在分析确定边缘轮廓的过程中提供了可参考的信息，有助于提高在第一图像中标注的边缘轮廓的准确性。
需要说明的是，计算机设备获取第二图像的过程除了发生在获取第一图像之后，例如上述实施例中，在将边缘轮廓投影至目标物体的表面的过程中获取第二图像；也可以发生在获取第一图像之前，例如先获取第二图像，再获取第一图像。计算机设备也可以同时获取第一图像和第二图像。执行上述两个步骤的先后顺序，本申请在此不进行设定。
步骤440，将边缘轮廓从第一图像迁移至第二图像，得到第二图像中迁移后的边缘轮廓。
在第一图像和第二图像进行配准的过程中，由于第一拍摄方式和第二拍摄方式可能不完全相同，使得第一图像中的目标实体与第二图像中的目标实体在角度、位置等方面存在差别。在获取到第一图像和第二图像之后，需要将第一图像和第二图像进行配准，以确定第一图像中的目标实体和第二图像中的目标实体的映射关系，方便将边缘轮廓迁移至第二图像。
在一些实施例中，计算机设备将边缘轮廓从第一图像迁移至第二图像，得到第二图像中迁移后的边缘轮廓，包括：从第一图像中，获取至少一个第一参考点；在第二图像中获取与第一参考点对应的第二参考点；基于第一参考点及其对应的第二参考点，确定第一图像和第二图像之间的映射关系；根据映射关系对边缘轮廓进行调整，在第二图像中确定迁移后的边缘轮廓。
第一参考点和第二参考点均是指用于进行配准过程的参考点。下面，以第一参考点为例，对第一参考点的获取过程进行介绍。在一些实施例中，第一参考点可以是第一图像中任意一个像素点。在第一图像中的目标实体中确定第一参考点，方便进行图像的配准过程，例如在目标实体的边缘线上确定第一参考点。第一图像中至少包括一个第一参考点。在一些实施例中，第一图像具有三个以上第一参考点，且至少有三个参考点不在同一条直线上。第一参考点可以是通过人工对第一图像进行打点的方式获得。例如，人工在第一图像中的目标实体的边缘线上确定三个参考点，第一参考点A在12点钟方向，第一参考点B在3点钟方向，第一参考点C在6点钟方向。第一参考点还可以是通过对第一图像进行特征提取后，确定的特征点。例如，在对第一图像进行特征分析后，将第一图像中边缘变化幅度最大的点作为第一参考点。在一些实施例中，第一参考点与第一图像中的其他像素点之间是区别化显示或保存的，例如第一参考点通过高亮的颜色在第一图像中显示，或者在存储第一图像的数据中，第一参考点数据与其他像素点区别化存储。计算机设备在获取第一图像之后，可以直接从第一图像中获取第一参考点，例如参照第一图像中高亮的像素点，又例如从存储第一图像的数据中直接确定第一参考点。也可以按照固定的规则对第一图像进行特征提取，从而获取第一图像中的第一参考点。
在一些实施例中，计算机设备在获取到第一参考点和对应的第二参考点之后，需要通过第一参考点的和第二参考点确定第一图像和第二图像之间的映射关系。映射关系是指将第一图像或第二图像中的任意一个像素点，转移到第二图像或第一图像中对应的像素点的转换方法。也就是说，通过映射关系能够使得第一图像中的目标实体与第二图像中的目标实体配准。在一些实施例中，映射关系包括：平移、反转、旋转、缩放中的至少一种，及其自由组合。在一些实施例中，计算机设备通过第一参考点的坐标和第二参考点的坐标确定第一图像和第二图像之间的映射关系，其中第一参考点的坐标是根据第一图像使用的坐标系确定的，第二参考点的坐标是根据第二图像使用的坐标系确定的。例如，第一图像使用的坐标系为坐标系u-v，第一图像中包括三个第一参考点，第一参考点A的坐标为(0，0)、第一参考点B的坐标为(0，5)、第一参考点C的坐标为(4，0)；第二图像使用的坐标系为坐标系u′-v′，第二图像中包括三个第二参考点，第二参考点A的坐标为(0，1)、第二参考点B的坐标为(0，3.5)、第二参考点C的坐标为(2，1)，坐标系u-v和u′-v′的映射关系为：u＝2u′、v＝2*(v′-1)。
在确定映射关系后，计算机设备可以根据映射关系对边缘轮廓进行调整。在一些实施例中，边缘轮廓中包括至少一个轮廓点，任意一个轮廓点具有轮廓点坐标。轮廓点坐标用于确定轮廓点在第一图像中的位置。在一些实施例中，确定轮廓点坐标使用的坐标系与第一图像使用的坐标系相同，也就是说，只需要按照轮廓点的坐标，不需要继续进行其他的计算过程就能够直接在第一图像上还原出边缘轮廓。继续上一个实施例，第一图像中轮廓点1的坐标为(1.5，1.5)，在确定坐标系u-v和坐标系u′-v′的映射关系为：坐标系u-v和u′-v′的映射关系为：u＝2u′、v＝2*(v′-1)之后，根据该映射关系对该轮廓点进行迁移获得的迁移后的边缘轮廓对应的轮廓点的坐标位(0.75，2)。将边缘轮廓中的轮廓点坐标通过映射关系进行转化后，能够得到迁移后的边缘轮廓的轮廓点坐标，完成将边缘轮廓迁移到第二图像中的过程。
步骤450，将迁移后的边缘轮廓投影至目标物体的表面。
在一些实施例中，计算机设备在得到第二图像中迁移后的边缘轮廓之后，基于迁移后的边缘轮廓生成迁移后的边缘轮廓的投影数据，并将该投影数据发送给投影设备。投影设备基于该投影数据将边缘轮廓投影至目标物体的表面。
在一些实施例中，第一拍摄设备是皮肤镜，第二拍摄设备是相机，目标物体是患者的肢体，目标实体是病灶且该病灶的部分结构显示于皮肤表层。通过皮肤镜以第一拍摄发送获取第一图像。计算机设备获取第一图像，并将第一图像显示给医生。计算机设备记录医生在第一图像中标注的目标实体的边缘轮廓。计算机设备获取第二图像，并将边缘轮廓迁移至第二图像，得到迁移后的边缘轮廓。计算机设备将该迁移后的边缘轮廓作为待投影的边缘轮廓，将该迁移后的边缘轮廓投影至目标物体的表面。在现有的边缘轮廓勾画方法中，医生需要先通过皮肤镜观察病灶的表面分布，随后移开皮肤镜，通过肉眼凭借记忆的画面，在病灶周围勾画出边缘轮廓。通过上述方法使得医生无需在皮肤镜视角和肉眼视角之间反复进行切换，有助于减少标注边缘轮廓过程中产生的误差，因此，在第一图像中标注的目标实体的边缘轮廓的准确性更高。同时，上述方法无需医生反复使用皮肤镜对病灶周围进行观察，在不影响标注的边缘轮廓的准确度的前提下，有助于节省医生标注边缘轮廓的时间。
计算机设备通过先后获取目标实体清晰度较高的第一图像和目标实体完整度较高的第二图像，不仅能够为边缘轮廓的标注过程，提供更多有关目标实体表面形态的信息，有助于提升第一图像中目标实体的边缘轮廓的准确性。通过迁移，能够使得第二图像中具有迁移后的边缘轮廓，又因为在一些情况下，第二图像是通过相机拍摄的，相机和投影仪会提前进行标定过程，这使得第二图像中的迁移后的边缘轮廓能够通过投影设备直接投影到目标物体表面的对应位置，避免了反复调试目标物体表面投影的切缘轮廓的位置，有助于节省操作时间。
在一些实施例中，第一图像包括对目标物体的不同位置进行拍摄得到的多个子图像；获取基于第一拍摄方式对目标物体进行拍摄得到的第一图像之后，还包括：对于多个子图像中，任意存在重叠区域的第一子图像和第二子图像，在第一子图像中确定至少一个第一重叠点，以及在第二子图像中确定与第一重叠点对应的第二重叠点；基于第一重叠点及其对应的第二重叠点，确定第一子图像和第二子图像之间的位置关系；基于位置关系，对第一子图像和第二子图像进行拼接；基于多个子图像的拼接结果，得到拼接后的第一图像；其中，拼接后的第一图像用于标注目标实体的边缘轮廓。
在一些实施例中，第一重叠点和第二重叠点指示第一子图像和第二子图像的重叠部分中的像素点。第一重叠点和第二重叠点可以通过人工标注，也可以通过图片识别设备进行标注。
在一些实施例中，基于第一重叠点及其对应的第二重叠点，确定第一子图像和第二子图像之间的位置关系，包括：确定第一重叠点的第一坐标，以及第一重叠点对应的第二重叠点的第二坐标，其中，第一坐标通过第一子图像使用的第一坐标系确定，第二坐标通过第二子图像使用的第二坐标系确定；基于第一坐标和第二坐标，确定第一坐标系和第二坐标系之间的映射关系；根据第一坐标系和第二坐标系之间的映射关系，确定第一子图像和第二子图像之间的位置关系。
通过重叠点确定第一子图像和第二子图像之间的位置关系的过程与上述实施例中，通过第一参考点和第二参考点确定第一图像和第二图像中间的映射关系的步骤相同，具体内容请参考上述实施例，在此不进行赘述。
该实施例可以与上述关于获得调整后的边缘轮廓的实施例、以及获得迁移后的边缘轮廓的实施例自由组合，以解决在以第一拍摄方式得到的第一图像中目标实体的完整性较差的问题。同时由于子图像中目标实体的清晰度更高，因此通过凭借得到的第一图像中包括与目标实体有关的更细致的信息，有助于提高在第一图像中标注的边缘轮廓的准确性。
由于目标物体是三维物体，显示在目标物体的表面的边缘轮廓可能会发生形变，使得显示在目标物体的表面的边缘轮廓与待投影的切缘轮廓存在误差。为了进一步提高目标物体的表面显示的边缘轮廓的准确性，可以通过目标物体的三维结构对待投影的切缘轮廓进行调整。对于医疗领域等对边缘轮廓的投影的精确度要求高的应用领域，提高目标物体表面投影的边缘轮廓的准确性，减少投影的边缘轮廓产生的形变，有助于提高投影出的边缘轮廓的参考价值，尽量保证投影的边缘轮廓能够提供正确的辅助信息，提高或者至少不影响手术的成功率。
在一些实施例中，方法还包括：获取目标物体的三维结构数据，三维结构数据用于表征目标物体的三维结构特征；基于三维结构数据对待投影的边缘轮廓进行校正，得到校正后的边缘轮廓；其中，待投影的边缘轮廓为调整后的切缘轮廓或迁移后的边缘轮廓；将校正后的边缘轮廓投影至目标物体的表面。
三维结构特征用于描述目标物体在三维空间中的结构特征，例如目标物体的形状、表面凹凸情况等。待投影的边缘轮廓是指用于投影到目标物体的边缘轮廓。在一些实施例中，由于目标物体表面形成有目标实体，因此目标物体的三维结构数据中可以包括目标实体的三维结构特征。在一些实施例中，待投影的边缘轮廓调整后的切缘轮廓或迁移后的边缘轮廓。
需要说明的是，从上述实施例可知，调整后的切缘轮廓或迁移后的边缘轮廓虽然都是基于第一图像中标注的目标实体的边缘轮廓生成的，但是第一图像可能不完全相同。在一些实施例中，在调整后的切缘轮廓对应的第一图像中，目标实体的完整性更高；在迁移后的边缘轮廓对应的第一图像中，对应的目标实体的清晰度更高，从另一方面来说，调整后的切缘轮廓的准确度可能低于迁移后的边缘轮廓的准确度。校正后的切缘轮廓用于保持投影至目标物体的表面的边缘轮廓与待投影的边缘轮廓不会发生较大的形变。
在一些实施例中，校正后的边缘轮廓的形状与待投影的边缘轮廓在形状上存在差异。校正后的边缘轮廓中存在差异的部分能够抵消目标物体表面的不平整的结构，导致的目标物体上投影的边缘轮廓发生形变。计算机设备获取目标物体的三维结构数据，基于三维结构数据对边缘轮廓进行校正，生成校正后的边缘轮廓，有助于克服目标物体的表面不平整对投影的边缘轮廓产生的形变，使得投影在目标物体的表面的切缘轮廓更准确。
计算机设备可以通过结构光确定目标物体的三维结构数据，下面通过几个实施例对目标物体的三维结构数据的确定过程进行介绍。
在一些实施例中，获取目标物体的三维结构数据，包括：获取目标物体的平面数据，平面数据用于描述目标物体相对于基准面的形态分布；获取目标物体的深度数据，深度数据用于描述目标物体垂直于基准面的形态分布，且平面数据和深度数据之间存在对应关系；将平面数据和对应的深度数据进行组合，获得三维结构数据。
在一些实施例中，计算机设备获取目标物体的平面数据，包括拍摄目标物体相对于基准面的参考图像，通过参考图像确定目标物体的表面分布。计算机设备还可以通过结构光同时确定目标物体的平面数据和目标物体的深度数据，具体过程请参考下列实施例。对于目标物体的任意一个位置点，确定该位置点相对于基准平面的位置后，确定该位置点的深度数据，即可确定该位置点在三维空间中的位置。
在一些实施例中，获取目标物体的深度数据，包括：将至少一个结构光分别投影至目标物体，结构光具有明暗交替的条纹结构，条纹结构与结构光的光强分布有关；确定至少一个结构光分别对应的第一光强表达式，第一光强表达式用于表征目标物体对结构光进行调制后，结构光的光强分布；确定至少一个结构光分别对应的第二光强表达式，第二光强表达式用于表征结构光的原始光强分布；基于第一光强表达式和第二光强表达式，确定目标物体的深度数据。
下面以三步相移法为例，对获取目标物体的深度数据的过程进行介绍说明。
图5是通过相移法确定三维结构数据过程的示意图。计算机设备确定三组结构光分别对应的第二光强表达式，分别为：
其中，其中I1(x,y)，I2(x,y)和I3(x,y)为三个条纹图案的强度，(x，y)表示目标物体相对于基准面的位置点的坐标。I0(x，y)是直流分量(背景)。Imod(x，y)是调制信号幅度，φ(x,y)表示相位，θ表示恒定相移量。在一些实施例中θ＝120°。
计算机设备根据上述三个第二光强表达式生成三组结构光，并将三组结构光发送给投影设备。投影设备接收到结构光后，分别向目标物体的表面投影结构光。第一拍摄设备拍摄结构光投影到目标物体的表面之后的结构光图像。计算机设备通过结构光图像确定第二光强表达式对应的第一光强表达式，并通过三个第一光强表达式以及三个第二光强表达式确定目标物体的表面深度数据。
在一些实施例中，基于第一光强表达式和第二光强表达式，确定目标实体的相对高度数据，包括：对于目标实体相对于基准面的任意一个位置点，通过至少一个第一光强表达式进行求解，确定第一相位；通过至少一个第二光强表达式进行求解，确定第二相位；将第一相位和第二相位相减，确定位置点对应的相位差，相位差用于表示位置点相对于基准面的高度对结构光的调制作用；通过转换公式，将相位差转换成位置点对应的相对高度。
计算机设备通过对上述三个光强表达式进行求解，得到的相位差的表达公式为：
其中
为在目标物体表面的位置点(x，y)的相位差。由于相位差是通过反三角函数函数确定的，因此/>
被限制在了/>
如图5中“B相位展开过程”所示，计算机设备需要对确定的相位差进行展开(也称为解包裹过程)，展开后的相位差与原始的相位差的对应关系为：
如图5中“C通过相位值计算深度数据”所示，通过图中的相似三角形，可以得到：
或者，
Z表示位置点的高度数据，L表示拍摄设备与基准面的垂直距离，B表示拍摄设备和投影设备之间的水平距离、D表示拍摄设备和投影设备分别向P点投影的光线与基准面的交点之间的距离。
因此，相位和深度数据的转换公式为：
其中，
为第一相位，/>
为第二相位。
计算机设备在确定某个位置点的相位差之后，通过转化公式可以确定该位置点对应的深度数据。在对目标物体的多个位置点的深度数据后，计算机设备通过将位置点的坐标和位置点对应的深度数据进行组合，得到了目标物体的三维结构数据。
在一些实施例中，计算机设备基于三维结构数据对待投影的边缘轮廓进行校正，得到校正后的边缘轮廓，包括：确定三维结构数据的结构向量，结构向量用于表征目标物体的表面结构的变化趋势；基于结构向量，确定映射转换关系，映射转换关系用于表征目标物体的平面形状和目标物体的三维结构之间的对应关系；根据映射转换关系校正边缘轮廓，得到校正后的边缘轮廓。
需要说明的是，确定目标物体的三维结构数据，除了使用结构光的相移法之外，还可以使用其他结构光方法，例如：投影彩色条纹，序列二进制编码的条纹，散斑点。图6是彩色条纹法确定三维结构数据的示意图。如图6中，610是第二拍摄设备，620是投影设备，630是目标物体，640是彩色条纹。图7是序列二进制编码的条纹分布示意图。如图7中，710是一组二进制编码图像。图8是散斑点的分布示意图。
图9是本申请一个实施例提供的轮廓标记方法的示意图。
在进行手术之前，第一拍摄设备(如皮肤镜)基于第一拍摄方式对目标物体进行拍摄得到的第一图像，第一图像中包括目标实体(病灶)和目标实体的周围区域。在一些实施例中，由于第一拍摄设备的拍摄面积有限，计算机设备获取第一图像，其中第一图像包括对目标物体的不同位置进行拍摄得到的多个子图像901。计算机设备通过子图像中的重叠点，将上述多个子图像901拼接成第一图像902。计算机设备将第一图像902显示给医生，并记录医生在第一图像902中标注的目标实体的边缘轮廓903。在进行手术的过程中，计算机设备指示第二拍摄设备(照相机)对目标物体进行拍摄，并获取第二图像904。计算机设备将边缘轮廓903从第一图像902迁移至第二图像904，得到第二图像904中迁移后的边缘轮廓905。随后，计算机设备需要通过结构光906确定目标物体的三维轮廓数据907。并基于三维轮廓数据907对迁移后的边缘轮廓905进行校正，得到校正后的边缘轮廓908。计算机设备基于校正后的边缘轮廓908生成投影数据，并将投影数据发送给投影设备。投影设备按照投影数据，将边缘轮廓投影至目标物体的表面。
在手术过程中，计算机设备还可以指示第二拍摄设备每隔一定时间间隔对目标物体进行拍摄，获取实景图像。通过比较实景图像中的目标实体与第二图像中目标实体的偏差程度，判断是否需要调整边缘轮廓的投影位置。若需要调整边缘轮廓的投影位置，则计算机设备重新执行从获取第二图像开始的步骤。
为了更好地完成第二图像与第一图像的配准，第二拍摄设备可以采用偏振相机或者使用偏振光和偏振膜进行消反光，让其与第一拍摄设备拍摄的第一图像的显示效果更相似。另外，第二拍摄设备可以配备高清相机如5K*5K的大靶面相机以及合适的镜头(视场调节有助于使得病灶在第二图像中的所占范围尽量大)，例如长工作距离的微距镜头，这样可以让第二拍摄设备拍摄到的第二图像放大倍数尽可能的接近第一拍摄设备(皮肤镜)，让配准更加容易和迅速。
通过获取关于目标实体的边缘轮廓，并基于边缘轮廓在目标物体的表面进行投影，有助于保持边缘轮廓的清晰和稳定，避免手术过程中患者的汗液以及术前的消毒擦拭影响到边缘轮廓的完整性，从而引入手术误差。同时，投影在目标物体的表面的边缘轮廓，容易修改，而且修改后也不会在目标物体的表面留下痕迹，不会影响投影至目标物体表面的边缘轮廓的显示效果，有助于提升在目标物体的表面投影边缘轮廓的灵活性。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
图10示出了本申请一个示例性实施例提供的轮廓标记装置的框图。该装置可以通过软件、硬件或者两者的结合实现成为计算机设备的全部或一部分。该装置1000可以包括：图像获取模块1010、轮廓标记模块1020和轮廓投影模块1030。
图像获取模块1010，用于获取基于第一拍摄方式对目标物体进行拍摄得到的第一图像，所述目标物体的表面形成有目标实体，所述第一图像中包含所述目标实体以及所述目标实体的周围区域。
轮廓获取模块1020，用于获取在所述第一图像中标注的所述目标实体的边缘轮廓。
轮廓投影模块1030，用于将所述边缘轮廓投影至所述目标物体的表面。
在一些实施例中，所述轮廓投影模块1030，用于获取缩放比例，所述缩放比例用于表征所述边缘轮廓在所述第一图像和所述目标物体的表面上的缩放关系；基于所述缩放比例对所述边缘轮廓的尺寸进行调整，得到调整后的边缘轮廓；将所述调整后的边缘轮廓投影至所述目标物体的表面。
在一些实施例中，所述轮廓投影模块1030，包括：图像获取子模块，用于获取基于第二拍摄方式对所述目标物体进行拍摄得到的第二图像，所述第二图像中包含所述目标实体以及所述目标实体的周围区域；其中，所述第二拍摄方式不同于所述第一拍摄方式；轮廓迁移子模块，用于将所述边缘轮廓从所述第一图像迁移至所述第二图像，得到所述第二图像中迁移后的边缘轮廓；迁移投影子模块，用于将所述迁移后的边缘轮廓投影至所述目标物体的表面。
在一些实施例中，所述轮廓迁移子模块，用于从所述第一图像中，获取至少一个第一参考点；在所述第二图像中获取与所述第一参考点对应的第二参考点；基于所述第一参考点及其对应的第二参考点，确定所述第一图像和所述第二图像之间的映射关系；根据所述映射关系对所述边缘轮廓进行调整，在所述第二图像中确定所述迁移后的边缘轮廓。
在一些实施例中，所述第一拍摄方式得到的所述第一图像中所述目标实体的清晰度，高于所述第二拍摄方式得到的所述第二图像中所述目标实体的清晰度；所述第二拍摄方式得到的所述第二图像中所述目标实体的完整度，高于所述第一拍摄方式得到的所述第一图像中所述目标实体的完整度。
在一些实施例中，所述轮廓投影模块1030还包括：结构获取子模块，用于获取所述目标物体的三维结构数据，所述三维结构数据用于表征所述目标物体的三维结构特征；轮廓校正子模块，用于基于所述三维结构数据对待投影的边缘轮廓进行校正，获得校正后的边缘轮廓；其中，所述待投影的边缘轮廓为所述调整后的边缘轮廓或所述迁移后的边缘轮廓；校正投影子模块，用于将所述校正后的边缘轮廓投影至所述目标物体的表面。
在一些实施例中，所述结构获取子模块，包括平面数据获取单元，用于获取所述目标物体的平面数据，所述平面数据用于描述所述目标物体相对于基准面的形态分布；深度数据获取单元，用于获取所述目标物体的深度数据，所述深度数据用于描述所述目标物体垂直于所述基准面的形态分布，且所述平面数据和所述深度数据之间存在对应关系；数据组合单元，用于将所述平面数据和对应的深度数据进行组合，获得所述三维结构数据。
在一些实施例中，所述深度数据获取单元，用于将至少一个结构光分别投影至所述目标物体，所述结构光具有明暗交替的条纹结构，所述条纹结构与所述结构光的光强分布有关；确定所述至少一个结构光分别对应的第一光强表达式，所述第一光强表达式用于表征所述目标物体对所述结构光进行调制后，所述结构光的光强分布；确定所述至少一个结构光分别对应的第二光强表达式，所述第二光强表达式用于表征所述结构光的原始光强分布；基于所述第一光强表达式和所述第二光强表达式，确定所述目标物体的所述深度数据。
在一些实施例中，所述轮廓校正子模块，用于确定所述三维结构数据的结构向量，所述结构向量用于表征所述目标物体的表面结构的变化趋势；基于所述结构向量，确定映射转换关系，所述映射转换关系用于表征所述目标物体的平面形状和所述目标物体的三维结构之间的对应关系；根据所述映射转换关系校正所述待投影的边缘轮廓，得到所述校正后的边缘轮廓。
在一些实施例中，所述装置1000还包括：重叠点确定子模块，用于在所述第一图像包括对所述目标物体的不同位置进行拍摄得到的多个子图像的情况下，对于所述多个子图像中，任意存在重叠区域的第一子图像和第二子图像，在所述第一子图像中确定至少一个第一重叠点，以及在所述第二子图像中确定与所述第一重叠点对应的第二重叠点；位置确定子模块，用于基于所述第一重叠点及其对应的第二重叠点，确定所述第一子图像和所述第二子图像之间的位置关系；图像拼接子模块，用于基于所述位置关系，对所述第一子图像和所述第二子图像进行拼接；拼接图像获取子模块，用于基于所述多个子图像的拼接结果，得到拼接后的第一图像；其中，所述拼接后的第一图像用于标注所述目标实体的边缘轮廓。
在一些实施例中，所述位置确定子模块，用于确定所述第一重叠点的第一坐标，以及所述第一重叠点对应的第二重叠点的第二坐标，其中，所述第一坐标通过所述第一子图像使用的第一坐标系确定，所述第二坐标通过所述第二子图像使用的第二坐标系确定；基于所述第一坐标和所述第二坐标，确定所述第一坐标系和所述第二坐标系之间的映射关系；根据所述第一坐标系和所述第二坐标系之间的映射关系，确定所述第一子图像和所述第二子图像之间的位置关系。
综上所述，本申请实施例提供的技术方案，通过获取第一图像中形成于目标物体表面的目标实体的边缘轮廓，并基于边缘轮廓在目标物体的表面进行投影，与在目标物体的表面直接勾画边缘轮廓相比，投影在目标物体表面的边缘轮廓较为稳定、清晰，不会在目标物体的表面湿度变化或目标物体的表面存在摩擦等情况下，变得模糊不清，有助于保持边缘轮廓的参考作用。同时，投影在目标物体的表面的边缘轮廓，容易修改，有助于提升在目标物体的表面显示边缘轮廓的灵活性；而且修改过程也不会在目标物体的表面留下痕迹，从而不会影响边缘轮廓的投影效果。
需要说明的是，上述实施例提供的装置，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内容结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法侧的实施例，这里不再赘述。上述实施例提供的装置的有益效果请参考方法侧实施例的描述，这里也不再赘述。
图11示出了本申请一个示例性实施例提供的计算机设备的结构框图。
通常，计算机设备1100包括有：处理器1101和存储器1102。
处理器1101可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1101可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(FieldProgrammable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1101也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(CentralProcessing Unit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1101可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1101还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器1102可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是有形的和非暂态的。存储器1102还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1102中的非暂态的计算机可读存储介质存储有计算机程序，该计算机程序由处理器1101加载并执行以实现上述各方法实施例提供的轮廓标记方法。
本申请实施例还提供一种计算机可读存储介质，该存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现上述各方法实施例提供的轮廓标记方法。
该计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM(RandomAccess Memory，随机存取存储器)、ROM(Read-Only Memory，只读存储器)、EPROM(ErasableProgrammable Read-Only Memory，可擦写可编程只读存储器)、EEPROM(ElectricallyErasable Programmable Read-Only Memory，电可擦写可编程只读存储器)、闪存或其他固态存储技术，CD-ROM、DVD(Digital Video Disc，高密度数字视频光盘)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知该计算机存储介质不局限于上述几种。
本申请实施例还提供一种计算机程序产品或计算机程序，所述计算机程序产品或计算机程序包括计算机指令，所述计算机指令存储在计算机可读存储介质中，处理器从所述计算机可读存储介质读取并执行所述计算机指令，以实现上述各方法实施例提供的轮廓标记方法。
本申请实施例还提供一种轮廓标记系统，所述系统包括：计算机设备、第一拍摄设备和投影设备。其中，所述第一拍摄设备，用于基于第一拍摄方式对目标物体进行拍摄得到第一图像，所述目标物体的表面形成有目标实体，所述第一图像中包含所述目标实体以及所述目标实体的周围区域。所述计算机设备，用于从所述第一拍摄设备获取所述第一图像；获取在所述第一图像中标注的所述目标实体的边缘轮廓；将所述边缘轮廓的投影数据发送给所述投影设备。所述投影设备，用于按照所述边缘轮廓的投影数据，将所述边缘轮廓投影至所述目标物体的表面。
在一些实施例中，所述计算机设备，用于获取缩放比例，所述缩放比例用于表征所述边缘轮廓在所述第一图像和所述目标物体的表面上的缩放关系；基于所述缩放比例对所述边缘轮廓的尺寸进行调整，得到调整后的边缘轮廓；将所述调整后的边缘轮廓的投影数据发送给所述投影设备。所述投影设备，用于按照所述调整后的边缘轮廓的投影数据，将所述调整后的边缘轮廓投影至所述目标物体的表面。
在一些实施例中，所述系统还包括：第二拍摄设备；所述第二拍摄设备，用于基于第二拍摄方式对所述目标物体进行拍摄得到第二图像，所述第二图像中包含所述目标实体以及所述目标实体的周围区域；其中，所述第二拍摄方式不同于所述第一拍摄方式。所述计算机设备，还用于从所述第二拍摄设备获取所述第二图像；将所述边缘轮廓从所述第一图像迁移至所述第二图像，得到所述第二图像中迁移后的边缘轮廓；将所述迁移后的边缘轮廓的投影数据发送给所述投影设备。所述投影设备，用于按照所述迁移后的边缘轮廓的投影数据，将所述迁移后的边缘轮廓投影至所述目标物体的表面。
在一些实施例中，所述计算机设备，还用于从所述第一图像中，获取至少一个第一参考点；在所述第二图像中获取与所述第一参考点对应的第二参考点；基于所述第一参考点及其对应的第二参考点，确定所述第一图像和所述第二图像之间的映射关系；根据所述映射关系对所述边缘轮廓进行调整，在所述第二图像中确定所述迁移后的边缘轮廓。
在一些实施例中，所述第一拍摄设备得到的所述第一图像中所述目标实体的清晰度，高于所述第二拍摄设备得到的所述第二图像中所述目标实体的清晰度；所述第二拍摄设备得到的所述第二图像中所述目标实体的完整度，高于所述第一拍摄设备得到的所述第一图像中所述目标实体的完整度。
在一些实施例中，所述计算机设备，还用于获取所述目标物体的三维结构数据，所述三维结构数据用于表征所述目标物体的三维结构特征；基于所述三维结构数据对待投影的边缘轮廓进行校正，得到校正后的边缘轮廓；其中，所述待投影的边缘轮廓为所述调整后的边缘轮廓或所述迁移后的边缘轮廓；将所述校正后的边缘轮廓的投影数据发送给所述投影设备。所述投影设备，还用于按照所述校正后的边缘轮廓的投影数据，将所述边缘轮廓投影至所述目标物体的表面。
在一些实施例中，所述计算机设备，还用于获取所述目标物体的平面数据，所述平面数据用于描述所述目标物体相对于基准面的形态分布；获取所述目标物体的深度数据，所述深度数据用于描述所述目标物体垂直于所述基准面的形态分布，且所述平面数据和所述深度数据之间存在对应关系；将所述平面数据和对应的深度数据进行组合，获得所述三维结构数据。
在一些实施例中，所述第一拍摄设备或所述第二拍摄设备，还用于将至少一个结构光分别投影至所述目标物体，所述结构光具有明暗交替的条纹结构，所述条纹结构与所述结构光的光强分布有关。所述计算机设备，还用于确定所述至少一个结构光分别对应的第一光强表达式，所述第一光强表达式用于表征所述目标物体对所述结构光进行调制后，所述结构光的光强分布；确定所述至少一个结构光分别对应的第二光强表达式，所述第二光强表达式用于表征所述结构光的原始光强分布；基于所述第一光强表达式和所述第二光强表达式，确定所述目标物体的所述深度数据。
在一些实施例中，所述计算机设备，还用于确定所述三维结构数据的结构向量，所述结构向量用于表征所述目标物体的表面结构的变化趋势；基于所述结构向量，确定映射转换关系，所述映射转换关系用于表征所述目标物体的平面形状和所述目标物体的三维结构之间的对应关系；根据所述映射转换关系校正所述待投影的边缘轮廓，得到所述校正后的边缘轮廓。
在一些实施例中，所述第一图像包括对所述目标物体的不同位置进行拍摄得到的多个子图像；所述计算机设备还用于对于所述多个子图像中，任意存在重叠区域的第一子图像和第二子图像，在所述第一子图像中确定至少一个第一重叠点，以及在所述第二子图像中确定与所述第一重叠点对应的第二重叠点；基于所述第一重叠点及其对应的第二重叠点，确定所述第一子图像和所述第二子图像之间的位置关系；基于所述位置关系，对所述第一子图像和所述第二子图像进行拼接；基于所述多个子图像的拼接结果，得到拼接后的第一图像；其中，所述拼接后的第一图像用于标注所述目标实体的边缘轮廓。
在一些实施例中，所述计算机设备，还用于确定所述第一重叠点的第一坐标，以及所述第一重叠点对应的第二重叠点的第二坐标，其中，所述第一坐标通过所述第一子图像使用的第一坐标系确定，所述第二坐标通过所述第二子图像使用的第二坐标系确定；基于所述第一坐标和所述第二坐标，确定所述第一坐标系和所述第二坐标系之间的映射关系；根据所述第一坐标系和所述第二坐标系之间的映射关系，确定所述第一子图像和所述第二子图像之间的位置关系。
关于轮廓标记系统的详细介绍请参考上述方法侧实施例，本申请在此不进行赘述。
应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同切换、改进等，均应包含在本申请的保护范围之内。
Claims (17)
1.一种轮廓标记方法，其特征在于，所述方法包括：
获取基于第一拍摄方式对目标物体进行拍摄得到的第一图像，所述目标物体的表面形成有目标实体，所述第一图像中包含所述目标实体以及所述目标实体的周围区域；
获取在所述第一图像中标注的所述目标实体的边缘轮廓；
确定所述目标物体的三维结构数据的结构向量；其中，所述三维结构数据用于表征所述目标物体的三维结构特征，所述结构向量用于表征所述目标物体的表面结构的变化趋势；
基于所述结构向量，确定映射转换关系，所述映射转换关系用于表征所述目标物体的平面形状和所述目标物体的三维结构之间的对应关系；
根据所述映射转换关系校正待投影的边缘轮廓，得到校正后的边缘轮廓；其中，所述待投影的边缘轮廓是根据所述边缘轮廓确定的；
将所述校正后的边缘轮廓投影至所述目标物体的表面。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取缩放比例，所述缩放比例用于表征所述边缘轮廓在所述第一图像和所述目标物体的表面上的缩放关系；
基于所述缩放比例对所述边缘轮廓的尺寸进行调整，得到调整后的边缘轮廓；
将所述调整后的边缘轮廓确定为所述待投影的边缘轮廓。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取基于第二拍摄方式对所述目标物体进行拍摄得到的第二图像，所述第二图像中包含所述目标实体以及所述目标实体的周围区域；其中，所述第二拍摄方式不同于所述第一拍摄方式；
将所述边缘轮廓从所述第一图像迁移至所述第二图像，得到所述第二图像中迁移后的边缘轮廓；
将所述迁移后的边缘轮廓确定为所述待投影的边缘轮廓。
4.根据权利要求3所述的方法，其特征在于，所述将所述边缘轮廓从所述第一图像迁移至所述第二图像，得到所述第二图像中迁移后的边缘轮廓，包括：
从所述第一图像中，获取至少一个第一参考点；
在所述第二图像中获取与所述第一参考点对应的第二参考点；
基于所述第一参考点及其对应的第二参考点，确定所述第一图像和所述第二图像之间的映射关系；
根据所述映射关系对所述边缘轮廓进行调整，在所述第二图像中确定所述迁移后的边缘轮廓。
5.根据权利要求3所述的方法，其特征在于，
所述第一拍摄方式得到的所述第一图像中所述目标实体的清晰度，高于所述第二拍摄方式得到的所述第二图像中所述目标实体的清晰度；
所述第二拍摄方式得到的所述第二图像中所述目标实体的完整度，高于所述第一拍摄方式得到的所述第一图像中所述目标实体的完整度。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述目标物体的平面数据，所述平面数据用于描述所述目标物体相对于基准面的形态分布；
获取所述目标物体的深度数据，所述深度数据用于描述所述目标物体垂直于所述基准面的形态分布，且所述平面数据和所述深度数据之间存在对应关系；
将所述平面数据和对应的深度数据进行组合，获得所述三维结构数据。
7.根据权利要求6所述的方法，其特征在于，所述获取所述目标物体的深度数据，包括：
将至少一个结构光分别投影至所述目标物体，所述结构光具有明暗交替的条纹结构，所述条纹结构与所述结构光的光强分布有关；
确定所述至少一个结构光分别对应的第一光强表达式，所述第一光强表达式用于表征所述目标物体对所述结构光进行调制后，所述结构光的光强分布；
确定所述至少一个结构光分别对应的第二光强表达式，所述第二光强表达式用于表征所述结构光的原始光强分布；
基于所述第一光强表达式和所述第二光强表达式，确定所述目标物体的所述深度数据。
8.根据权利要求1所述的方法，其特征在于，所述第一图像包括对所述目标物体的不同位置进行拍摄得到的多个子图像；
所述获取基于第一拍摄方式对目标物体进行拍摄得到的第一图像之后，还包括：
对于所述多个子图像中，任意存在重叠区域的第一子图像和第二子图像，在所述第一子图像中确定至少一个第一重叠点，以及在所述第二子图像中确定与所述第一重叠点对应的第二重叠点；
基于所述第一重叠点及其对应的第二重叠点，确定所述第一子图像和所述第二子图像之间的位置关系；
基于所述位置关系，对所述第一子图像和所述第二子图像进行拼接；
基于所述多个子图像的拼接结果，得到拼接后的第一图像；
其中，所述拼接后的第一图像用于标注所述目标实体的边缘轮廓。
9.根据权利要求8所述的方法，其特征在于，所述基于所述第一重叠点及其对应的第二重叠点，确定所述第一子图像和所述第二子图像之间的位置关系，包括：
确定所述第一重叠点的第一坐标，以及所述第一重叠点对应的第二重叠点的第二坐标，其中，所述第一坐标通过所述第一子图像使用的第一坐标系确定，所述第二坐标通过所述第二子图像使用的第二坐标系确定；
基于所述第一坐标和所述第二坐标，确定所述第一坐标系和所述第二坐标系之间的映射关系；
根据所述第一坐标系和所述第二坐标系之间的映射关系，确定所述第一子图像和所述第二子图像之间的位置关系。
10.一种轮廓标记装置，其特征在于，所述装置包括：
图像获取模块，用于获取基于第一拍摄方式对目标物体进行拍摄得到的第一图像，所述目标物体的表面形成有目标实体，所述第一图像中包含所述目标实体以及所述目标实体的周围区域；
轮廓获取模块，用于获取在所述第一图像中标注的所述目标实体的边缘轮廓；
轮廓投影模块，用于确定所述目标物体的三维结构数据的结构向量；其中，所述三维结构数据用于表征所述目标物体的三维结构特征，所述结构向量用于表征所述目标物体的表面结构的变化趋势；基于所述结构向量，确定映射转换关系，所述映射转换关系用于表征所述目标物体的平面形状和所述目标物体的三维结构之间的对应关系；根据所述映射转换关系校正待投影的边缘轮廓，得到校正后的边缘轮廓；其中，所述待投影的边缘轮廓是根据所述边缘轮廓确定的；将所述校正后的边缘轮廓投影至所述目标物体的表面。
11.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现如权利要求1至9任一项所述的轮廓标记方法。
12.一种计算机可读存储介质，其特征在于，所述存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行，以实现如权利要求1至9任一项所述的轮廓标记方法。
13.一种轮廓标记系统，其特征在于，所述系统包括：计算机设备、第一拍摄设备和投影设备；
所述第一拍摄设备，用于基于第一拍摄方式对目标物体进行拍摄得到第一图像，所述目标物体的表面形成有目标实体，所述第一图像中包含所述目标实体以及所述目标实体的周围区域；
所述计算机设备，用于从所述第一拍摄设备获取所述第一图像；获取在所述第一图像中标注的所述目标实体的边缘轮廓；确定所述目标物体的三维结构数据的结构向量；其中，所述三维结构数据用于表征所述目标物体的三维结构特征，所述结构向量用于表征所述目标物体的表面结构的变化趋势；基于所述结构向量，确定映射转换关系，所述映射转换关系用于表征所述目标物体的平面形状和所述目标物体的三维结构之间的对应关系；根据所述映射转换关系校正待投影的边缘轮廓，得到校正后的边缘轮廓；其中，所述待投影的边缘轮廓是根据所述边缘轮廓确定的；将所述校正后的边缘轮廓的投影数据发送给所述投影设备；
所述投影设备，用于按照所述校正后的边缘轮廓的投影数据，将所述校正后的边缘轮廓投影至所述目标物体的表面。
14.根据权利要求13所述的系统，其特征在于，
所述计算机设备，用于获取缩放比例，所述缩放比例用于表征所述边缘轮廓在所述第一图像和所述目标物体的表面上的缩放关系；基于所述缩放比例对所述边缘轮廓的尺寸进行调整，得到调整后的边缘轮廓；将所述调整后的边缘轮廓确定为所述待投影的边缘轮廓。
15.根据权利要求13所述的系统，其特征在于，所述系统还包括：第二拍摄设备；
所述第二拍摄设备，用于基于第二拍摄方式对所述目标物体进行拍摄得到第二图像，所述第二图像中包含所述目标实体以及所述目标实体的周围区域；其中，所述第二拍摄方式不同于所述第一拍摄方式；
所述计算机设备，还用于从所述第二拍摄设备获取所述第二图像；将所述边缘轮廓从所述第一图像迁移至所述第二图像，得到所述第二图像中迁移后的边缘轮廓；将所述迁移后的边缘轮廓确定为所述待投影的边缘轮廓。
16.根据权利要求15所述的系统，其特征在于，
所述第一拍摄设备得到的所述第一图像中所述目标实体的清晰度，高于所述第二拍摄设备得到的所述第二图像中所述目标实体的清晰度；
所述第二拍摄设备得到的所述第二图像中所述目标实体的完整度，高于所述第一拍摄设备得到的所述第一图像中所述目标实体的完整度。
17.根据权利要求13所述的系统，其特征在于，所述第一图像包括对所述目标物体的不同位置进行拍摄得到的多个子图像；
所述计算机设备还用于：
对于所述多个子图像中，任意存在重叠区域的第一子图像和第二子图像，在所述第一子图像中确定至少一个第一重叠点，以及在所述第二子图像中确定与所述第一重叠点对应的第二重叠点；
基于所述第一重叠点及其对应的第二重叠点，确定所述第一子图像和所述第二子图像之间的位置关系；
基于所述位置关系，对所述第一子图像和所述第二子图像进行拼接；
基于所述多个子图像的拼接结果，得到拼接后的第一图像；
其中，所述拼接后的第一图像用于标注所述目标实体的边缘轮廓。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210086752.9A CN114463557B (zh) | 2022-01-25 | 2022-01-25 | 轮廓标记方法、装置、设备、存储介质及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210086752.9A CN114463557B (zh) | 2022-01-25 | 2022-01-25 | 轮廓标记方法、装置、设备、存储介质及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114463557A CN114463557A (zh) | 2022-05-10 |
| CN114463557B true CN114463557B (zh) | 2023-03-24 |
Family
ID=81411959
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210086752.9A Active CN114463557B (zh) | 2022-01-25 | 2022-01-25 | 轮廓标记方法、装置、设备、存储介质及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114463557B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115063290B (zh) * | 2022-08-17 | 2022-11-22 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、设备、系统及存储介质 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7460699B2 (en) * | 2004-03-05 | 2008-12-02 | Siemens Medical Solutions Usa, Inc. | System and method for a semi-automatic quantification of delayed enchancement images |
| CN101800907B (zh) * | 2010-04-14 | 2011-12-21 | 伟景行科技股份有限公司 | 一种展现三维图像的方法及装置 |
| CN102764124B (zh) * | 2012-07-09 | 2013-12-25 | 华东师范大学 | 一种基于磁共振成像对穿支皮瓣血管定位与测量的方法 |
| US10482632B2 (en) * | 2017-04-28 | 2019-11-19 | Uih America, Inc. | System and method for image reconstruction |
| CN109242775B (zh) * | 2018-09-03 | 2023-05-30 | 科大讯飞股份有限公司 | 一种属性信息迁移方法、装置、设备以及可读存储介质 |
-
2022
- 2022-01-25 CN CN202210086752.9A patent/CN114463557B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN114463557A (zh) | 2022-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109464196B (zh) | 采用结构光影像配准的手术导航系统及配准信号采集方法 | |
| CA2237572C (en) | Method and apparatus for photogrammetric assessment of biological tissue | |
| CN110033465B (zh) | 一种应用于双目内窥镜医学图像的实时三维重建方法 | |
| US11576578B2 (en) | Systems and methods for scanning a patient in an imaging system | |
| CN111281540B (zh) | 基于虚实融合的骨科微创术中实时可视化导航系统 | |
| CN108324369B (zh) | 基于面的术中配准方法及神经导航设备 | |
| EP3789965B1 (en) | Method for controlling a display, computer program and mixed reality display device | |
| CN110288642A (zh) | 基于相机阵列的三维物体快速重建方法 | |
| CN109272579B (zh) | 基于三维模型的美妆方法、装置、电子设备和存储介质 | |
| Shan et al. | Augmented reality based brain tumor 3D visualization | |
| KR102233585B1 (ko) | 복수의 후보 대응점을 이용하는 영상 정합 장치 및 방법 | |
| US8902305B2 (en) | System and method for managing face data | |
| CN114463557B (zh) | 轮廓标记方法、装置、设备、存储介质及系统 | |
| US10929706B2 (en) | Image processing device and projection system | |
| US20230316639A1 (en) | Systems and methods for enhancing medical images | |
| JP2023516930A (ja) | 空間位置決め方法、関連装置およびナビゲーションスティック | |
| CN114022547A (zh) | 一种内窥镜图像检测方法、装置、设备及存储介质 | |
| CN108143501B (zh) | 一种基于体表静脉特征的解剖投影方法 | |
| CN111658142A (zh) | 一种基于mr的病灶全息导航方法及系统 | |
| CN115252992B (zh) | 基于结构光立体视觉的气管插管导航系统 | |
| CN115063607A (zh) | 切割轮廓的确定方法、装置、设备、存储介质及程序产品 | |
| CN114886558A (zh) | 一种基于增强现实的内窥镜投影方法及系统 | |
| CN113343879A (zh) | 全景面部图像的制作方法、装置、电子设备及存储介质 | |
| CN115317747B (zh) | 一种自动气管插管导航方法及计算机设备 | |
| Monroy et al. | Contour Extraction of Surgical Stoma Surfaces Using 2.5 D Images from Smartphone 3D Scanning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |