CN110766692A - 检测肠道中突起物的方法、终端和计算机可读存储介质 - Google Patents

检测肠道中突起物的方法、终端和计算机可读存储介质 Download PDF

Info

Publication number
CN110766692A
CN110766692A CN201911361335.5A CN201911361335A CN110766692A CN 110766692 A CN110766692 A CN 110766692A CN 201911361335 A CN201911361335 A CN 201911361335A CN 110766692 A CN110766692 A CN 110766692A
Authority
CN
China
Prior art keywords
mapping
points
dimensional
dimensional model
weight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911361335.5A
Other languages
English (en)
Other versions
CN110766692B (zh
Inventor
陈伟
吴伯阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Mingshang Medical Technology Co ltd
Original Assignee
Beijing Zhituo Vision Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhituo Vision Technology Co Ltd filed Critical Beijing Zhituo Vision Technology Co Ltd
Publication of CN110766692A publication Critical patent/CN110766692A/zh
Application granted granted Critical
Publication of CN110766692B publication Critical patent/CN110766692B/zh
Priority to US17/774,204 priority Critical patent/US20220351388A1/en
Priority to PCT/CN2020/126488 priority patent/WO2021088868A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/06Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01RMEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00Arrangements or instruments for measuring magnetic variables
    • G01R33/20Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48NMR imaging systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/04Context-preserving transformations, e.g. by using an importance map
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/06Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G06T3/067Reshaping or unfolding 3D tree structures onto 2D planes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/06Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G06T3/073Transforming surfaces of revolution to planar images, e.g. cylindrical surfaces to planar images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/149Segmentation; Edge detection involving deformable models, e.g. active contour models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/66Analysis of geometric attributes of image moments or centre of gravity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/037Emission tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01RMEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00Arrangements or instruments for measuring magnetic variables
    • G01R33/20Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48NMR imaging systems
    • G01R33/54Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/5608Data processing and visualization specially adapted for MR, e.g. for feature analysis and pattern recognition on the basis of measured MR data, segmentation of measured MR data, edge contour detection on the basis of measured MR data, for enhancing measured MR data in terms of signal-to-noise ratio by means of noise filtering or apodization, for enhancing measured MR data in terms of resolution by means for deblurring, windowing, zero filling, or generation of gray-scaled images, colour-coded images or images displaying vectors instead of pixels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/08Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10108Single photon emission computed tomography [SPECT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30016Brain
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30028Colon; Small intestine
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/021Flattening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2008Assembling, disassembling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2021Shape modification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Architecture (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Quality & Reliability (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

一种在计算机中检测肠道中突起物的方法,包括:通过扫描设备获取关于所述肠道的三维模型,所述三维模型中包括所述肠道的三维数据;在计算机中将所述三维模型以保面积的方式映射到二维平面;以及在所述二维平面中检测突起物的面积。通过本发明的技术方案,能够替代肠镜等传统方式,以无痛苦和成本低廉的方式来检测肠道中的突起物。

Description

检测肠道中突起物的方法、终端和计算机可读存储介质
技术领域
本发明涉及图像学领域,更具体地,涉及医学成像领域。
背景技术
医学成像技术在临床方面的的应用,通常是指研究影像构成、拮取与存储的技术,以及仪器设备的研究开发的科学。各种各样成像设备,如X光、计算机辅助断层摄影(computer aided tomographic,CT)、超声波等广泛地用于生物医学成像技术领域。
成像技术在医学方面的广泛应用有助于准确检测人体内各个组织或器官的形态,帮助医疗工作者准确地进行各种数据采集和分析,而无需对人体进行任何有损手术,从而能够大大减轻患者痛苦,减少了由于手术等有损检测给病人带来的健康与生命风险。
肠道疾病已经成为人类健康的一个主要威胁。在检测肠道疾病时,通常会采用介入的方式来进行检测。例如,可以通过肠镜来进行检测,以确定肠道中是否出现溃烂或者息肉,这就需要将检测设备深入到人体肠道中,而这会给患者待来非常大的痛苦,并且如果操作人员出现操作不当,则容易损伤肠道,甚至引起不必要的感染。
公开号为CN105411505的中国专利公开了一种控制胶囊内窥镜在人体消化道运动的装置及方法。在该专利中,将内窥镜设置在胶囊状的设备中,患者吞服该“胶囊”,并且通过磁场的方式来控制该胶囊的动作,从而拍摄肠胃内的场景,以方便医生进行诊断。相对于传统肠镜的检测方式,胶囊式内窥镜能够显著地减轻患者痛苦,减少对肠道组织的伤害。
但是,与其他内壁光滑的器官不同,肠道中拥有非常丰富的褶皱,而某些被检测部位可能恰恰藏在这些褶皱中。当肠镜在肠道中行进时,这些隐藏在褶皱中的部位极容易被忽略或者根本就检测不到。对于某些较为微小的溃烂或者息肉,常规的检测手段很容易错过,从而有可能耽误患者的治疗。
由此可见,在现有技术中,对肠道进行检测一方面需要介入,容易给患者带来痛苦和风险;另一方面,由于肠道富含褶皱,常规的检测方式也不能很好地检测出隐藏的病患部位。
发明内容
本公开的一个目的在于提供一种能够以非介入的方式来准确检测肠道中突起物(例如肠道息肉)的方法。
根据本公开的一个方面,提供一种检测肠道中突起物的方法,包括:通过扫描设备获取关于所述肠道的三维模型,所述三维模型中包括所述肠道的三维数据;在计算机中将所述三维模型以保面积的方式映射到二维平面;以及在所述二维平面中检测突起物的面积。
根据本发明的一个实施方式,其中,获取关于所述肠道的三维模型包括:获取包含肠道信息的多个切面;在所述多个切面中定位所述肠道信息;以及根据定位的肠道信息来形成所述三维模型。
根据本发明的一个实施方式,其中,通过如下方式中的一种来获取包含肠道信息的多个切面:通过CT扫描技术来获取多个切面;通过磁共振MR设备来获取多个切面;以及通过单光子发射计算断层成像技术SPECT来获取多个切面。
根据本发明的一个实施方式,其中,在所述多个切面中定位所述肠道信息包括:通过边缘检测或曲率分割来定位所述肠道信息。
根据本发明的一个实施方式,进一步包括:对所建立的三维模型进行拓扑修复。
根据本发明的一个实施方式,其中,对所形成的三维模型进行拓扑修复包括:确定所述三维模型中亏格的位置;消除所述亏格以降低所述三维模型中亏格的数量。
根据本发明的一个实施方式,其中,将所述三维模型以保面积的方式映射到二维平面包括:确定二维平面的边界;将所述三维数据调和映射到所述边界的内部,以形成调和映射点;计算所述调和映射点的第二权重,进而计算所述调和映射点的加权Voronoi图;根据所述加权Voronoi图,将所述三维模型以保面积的方式映射到二维平面。
根据本发明的一个实施方式,其中,所述二维平面的边界为矩形。
根据本发明的一个实施方式,其中,确定二维平面的边界包括:在所述三维模型中确定闭合曲线L;从所述闭合曲线
Figure 236218DEST_PATH_IMAGE001
中选择四个点
Figure 418937DEST_PATH_IMAGE002
, 令
Figure 401937DEST_PATH_IMAGE003
,
Figure 62725DEST_PATH_IMAGE004
Figure 329627DEST_PATH_IMAGE005
分别映射到所述矩形的四条边。
根据本发明的一个实施方式,其中,将所述三维数据调和映射到所述边界的内部以形成调和映射点包括:将所述三维数据进行初始化,以在所述二维平面中形成映射点;计算二维平面中所述应设点之间的调和能量;调整所述调和能量,当所述调和能量小于预设能量梯度阈值时,停止所述调整;以及以停止调整时所述映射点的坐标作为调和映射点。
根据本发明的一个实施方式,其中,计算二维平面中所述映射点之间的调和能量包括:计算相邻映射点之间的位置之差的平方值;计算所述平方值与所述相邻映射点形成的边的第一权重的第一乘积;以及计算针对所有映射点的第一乘积之和。
根据本发明的一个实施方式,其中,相邻映射点形成的边的第一权重通过如下方式来计算:确定所述边对应的三角形的角度;如果所述边为两个三角形公用的边,则所述边的第一权重等于两个三角形与所述边相对的角度的余切三角函数之和的一半;如果所述边为边界上的边,则所述边的第一权重等于所述边所处三角形中与该边相对的角度的余切三角函数的一半。
根据本发明的一个实施方式,其中,计算所述调和映射点的第二权重,进而计算所述调和映射点的加权Voronoi图包括:初始化每个调和映射点的第二权重,其中至少三个调和映射点构成一个初始面;确定每个初始面的加权对偶点,所述加权对偶点到每个初始面的顶点的加权距离相等,其中,所述加权对偶点连接起来形成所述加权对偶点的对偶面,多个对偶面确定了加权Voronoi图;更新每个调和映射点的第二权重,并根据所更新的第二权重来重新调整所述加权Voronoi图。
根据本发明的一个实施方式,其中,更新每个调和映射点的第二权重包括:确定每个调和映射点的初始面的面积Ai;确定每个调和映射点的对偶面的面积Ai’;确定每个调和映射点的面积梯度gi=Ai-Ai’;确定所有调和映射点的面积梯度的平方和;如果所述平方和大于预设的权重阈值,减小所述第二权重,直至所述平方和小于所述权重阈值。
根据本发明的一个实施方式,其中,根据所述加权Voronoi图,将所述三维模型以保面积的方式映射到二维平面包括:确定所述加权Voronoi图中每个对偶面的重心;将每个所述调和映射点映射到所述每个对偶面的重心,从而将所述三维模型以保面积的方式映射到二维平面。
根据本发明的一个实施方式,其中,在所述二维平面中检测所述突起物包括:计算所述突起物的面积。
根据本发明第二方面,提供一种检测肠道中突起物的设备,包括:第一装置,用于获取关于所述肠道的三维模型,所述三维模型中包括所述肠道的三维数据;第二装置,用于将所述三维模型以保面积的方式映射到二维平面;以及第三装置,用于在所述二维平面中检测突起物的面积。
根据本发明的第三方面,提供一种检测肠道中突起物的终端,包括:处理器;与所述处理器相连接的存储器,所述存储器中存储有计算机程序代码,当所述计算机程序代码被执行时,使得所述处理器执行如上所述的方法。
根据本发明的第四方面,提供一种计算机可读存储介质,其上存储有计算机可读指令,该计算机可读指令被一个或多个处理器执行时,实现如上所述的方法。
本发明的至少一个有益效果在于,能够在不介入以及不破坏肠道本体的情况下,准确地判断肠道中的凸起,为后续的工作提供有力的支持。
附图说明
通过结合附图,可以更好地理解本发明的上述特征,并且其众多目的,特征和优点对于本领域技术人员而言是显而易见的,其中相同的附图标记表示相同的元件,并且其中:
图1示出了根据本公开的一个方面的方法的流程图;
图2示出了根据本发明的一个实施方式的获取关于肠道的三维模型的方法流程图;
图3a示出了通过CT获取的三维肠道的示意图;
图3b中示出了所提取的一个三维肠道的三维模型的示意图;
图4示出了根据本发明的一个实施方式的方法流程图;
图5示出了根据本发明的一个实施方式的对三维模型进行拓扑修复的方法的流程图;
图6示出了根据本发明一个实施方式的将所述三维模型以保面积的方式映射到二维平面的方法流程图;
图7示出了将三维数据调和映射到边界内部以形成调和映射点的流程图;
图8示出了计算每个边的权重的示意图;
图9示出了根据本发明一个实施方式的计算所述调和映射点的第二权重,进而计算所述调和映射点的加权Voronoi图的流程图;
图10示出了Voronoi图的一个示例;
图11示出了根据本发明一个实施方式的将所述三维模型以保面积的方式映射到二维平面的流程图;
图12示出了根据本发明一个方面的设备的框图;以及
图13示出了根据本发明的一个实施方式的被映射到二维平面上的肠道的图片。
具体实施方式
下面将结合本披露实施例中的附图,对本披露实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本披露一部分实施例,而不是全部的实施例。基于本披露中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本披露保护的范围。
应当理解,本披露的权利要求、说明书及附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象,而不是用于描述特定顺序。 本披露的说明书和权利要求书中使用的术语“包括”和 “包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本披露说明书中所使用的术语仅仅是出于描述特定实施例的目的,而并不意在限定本披露。如在本披露说明书和权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解,在本披露说明书和权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本说明书和权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当... 时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
下面结合附图对本发明的具体实施方式进行详细描述。
图1示出了根据本公开的一个方面的方法的流程图。
如图1所示,本发明的方法包括:操作S110,通过扫描设备获取关于所述肠道的三维模型,所述三维模型中包括所述肠道的三维数据;操作S130,在计算机中将所述三维模型以保面积的方式映射到二维平面;以及,操作S140,在所述二维平面中检测突起物的面积。
肠道是一种典型的富含褶皱的物体,其内部表面拥有大量的褶皱,这些褶皱有助于营养成分的吸收。
需要理解的是,这里所述的肠道是真实存在的物理实体,而三维模型表示的是该肠道的数字化表示,该三维模型可以被计算机读取,分析,处理,并能够根据这些分析和处理结果来得到期望的结果。
此外,为了跟准确地检测出肠道中的突起物并确定突起物的大小,采用保面积的方式来进行三维到二维的相对于保形映射更加有利,因为保面积映射对目标物的面积(或者面积占总面积的比例)产生的影响较小,更有利于后续的判断。
图2示出了根据本发明的获取关于肠道的三维模型的方法流程图。
如图2所示,该方法包括:在操作S1101,获取包含肠道信息的多个切面;在操作S1103,在所述多个切面中定位所述肠道信息;以及,在操作S1105,根据定位的肠道信息来形成所述三维模型。
可以通过多种方式来获取上述的含肠道信息的多个切面。
一个方式可以是通过CT扫描所述肠道来获取多个切面;或者,可以通过磁共振MR设备来获取多个切面;或者,可以通过单光子发射计算断层成像技术(SPECT)来获取多个切面。
图3a示出了通过CT获取的三维肠道的示意图。
以CT为例,通常,如果要获取肠道这样的肠道的切面,可以对患者全身(特别是肠道所在的腹部)进行扫描,因此,所获得的多个切面除了包含肠道的信息之外,还包含了人体其他器官或部位的信息。如图3a所示,在所获取的CT扫描图中,还存在身体的其他部位,因此需要将肠道从这些图片中提取出来。换言之,需要从获取的多个切面中定位出感兴区的部分,例如,需要定位出关于肠道的信息。
定位肠道的信息可以有很多种。例如,肠道可以通过边缘检测,或者曲率分割来在每个切片中定位出肠道的信息。
接下来,可以根据定位出的肠道的信息来形成肠道的三维模型。根据本发明的一个实施方式,可以采用经典的移动立方体算法(Marching cube)来形成肠道的三维模型,该算法可以从William E. Lorensen和Harvey E. Cline的“Marching cube:A HighResolution 3D Surface Construction Algorithm”中得到,这里将不再详细描述。
图3b中示出了所提取的一个三维肠道的三维模型的示意图。
通常,所形成的三维模型中会有较多的噪声,噪声的存在也将会影响后续进一步的映射。
根据本发明的一个实施方式,如图4所示,本发明还可以包括,在操作S120,对三维模型进行拓扑修复。拓扑修复就是几何外形修复,使导入模型修复成为外形封闭的曲面,这样模型就成为一个整体。没有经过拓扑修复的几何体可能有面缺失或线缺失,或者面的连接错误。
在上文中,我们例如通过CT断层扫描技术获取肠道的切面图像,经过图像分割,轮廓线提取,得到直肠曲面上的稠密点云,再通过曲面复建得到肠道曲面在建立三维模型之后,由于图像分割的误差,复建的曲面有很多虚假的亏格(环柄)。需要检测这些虚假亏格。
这些环柄非常微小,用肉眼无法直接检测。比较实用的方法就是通过计算拓扑方法得到,这些往往依赖于曲面的环柄圈和隧道圈的算法。得到这些虚假环柄之后,将他们沿着环柄圈切开,然后再填补洞隙来去除拓扑噪声。
由此,根据本发明的一个实施方式,如图5所示,根据本发明的一个实施方式,对所形成的三维模型进行拓扑修复包括:在操作S1201,确定所述三维模型中亏格的位置;在操作S1203,消除所确定的亏格以降低所述三维模型中亏格的数量。
上面所述的降低三维模型中亏格数量,优选是将亏格的数量减少为零,即实现零亏格的三维模型,这将有助于提高三维到二维平面映射时的准确性。
下面详细介绍将所述三维模型以保面积的方式映射到二维平面的方法。
需要理解的是,将三维模型映射到二维平面有多种方式。例如,可以以保角的方式将三维模型映射到二维平面,但这种方式对于准确地检测突起物的面积(例如肠道息肉)存在一定的缺陷,因为保角的方式会使得三维物体的面积信息丢失,从而无法准确地判断突起物(例如肠道息肉)的大小。
而在本发明中,是通过保面积的映射方式将三维物体映射到二维平面中,使得三维物体中所有的部分的面积在二维平面中仍然保持不变,以方便后续的进一步处理。
图6示出了根据本发明一个实施方式的将所述三维模型以保面积的方式映射到二维平面的方法流程图。
如图6所示,将所述三维模型以保面积的方式映射到二维平面的操作包括:在操作S610,确定二维平面的边界;在操作S620,将所述三维数据调和映射到所述边界的内部,以形成调和映射点;在操作S630,计算所述调和映射点的第二权重,进而计算所述调和映射点的加权Voronoi图;在操作S640,根据所述加权Voronoi图,将所述三维模型以保面积的方式映射到二维平面。
对于操作S610而言,确定二维平面的边界可以根据三维物体的具体形状来确定。例如,对于肠道而言,其整体类似于细长的物体,因此优选地,可以将肠道所映射的二维边界确定为矩形,这将更有利于肠道在映射过程中的展开和后续的阅读。
根据本公开的一个实施方式,设闭合曲线为L,那么可以通过如下方式来建立上述二维平面的边界:从所述闭合曲线
Figure 417669DEST_PATH_IMAGE001
中选择四个点
Figure 684702DEST_PATH_IMAGE002
,令
Figure 86865DEST_PATH_IMAGE003
,
Figure 21323DEST_PATH_IMAGE006
,将
Figure 217949DEST_PATH_IMAGE005
分别映射到所述四边形的四条边。
四边形的形状取决于四条边边长的选择,根据根据实际情况来确定四条边的边长。
在确定了边界之后,可以将三维数据中非边界部分的点映射到该边界所限定的二维平面内部。可以通过调和映射的方式将这些三维数据映射到二维平面上。
以通俗的方式来表达,在将三维模型映射到二维平面时,模型内部的部分由于边界的变形,其本身也会收到一定的拉力,然后向边界扩散,每个点扩散的方向是它周围所有点的合力的作用结果。直到每个部分都不再有变化,相当于达到了一种“调和”的状态。
图7示出了将三维数据调和映射到边界内部以形成调和映射点的流程图。
如图7所示,由此,将所述三维数据调和映射到所述边界的内部以形成调和映射点包括:在操作S6201,将所述三维数据进行初始化,以在所述二维平面中形成映射点;在操作S6203,计算二维平面中所述映射点之间的调和能量;在操作S6205,当所述调和能量大于预设能量梯度阈值时,调整所述映射点的坐标,并根据所述调整后的映射点的坐标来调整所述调和能量,当所述调和能量小于预设能量梯度阈值时,停止所述调整;以及,在操作S6207,以停止调整时所述映射点的坐标作为调和映射点。
下面具体介绍上面的各个操作步骤。
对于一个网格
Figure 237858DEST_PATH_IMAGE007
,预先设定能量梯度阈值
Figure 178132DEST_PATH_IMAGE008
对于非边界点,初始化
Figure 701517DEST_PATH_IMAGE009
,该
Figure 396941DEST_PATH_IMAGE010
表示点在该二维图形中的位置。根据本发明的一个实施方式,可以将所有的三维数据点映射到上面所述的二维平面中,初始,可以将所有的三维点映射到位置(0,0),当然,这仅仅是一个示例,也可以在最初将所有的三维点平均地映射到二维平面中,即所有点在二维平面中的距离相等。
接下来,计算初始调和能量
Figure 91096DEST_PATH_IMAGE011
,即计算二维平面中上述映射点之间的调和能量。调和能量计算公式如下:
Figure 631799DEST_PATH_IMAGE012
公式1
在上面的公式中,E(f)表示所有映射点的调和能量,可以理解的是,初始调和能量可能是最大的,此后将逐渐调整每个映射点的位置,使得调和能量逐渐减少,最终低于一个预设的能量梯度阈值。此时即可以达到调和状态。
在上面的公式中,对属于该二维平面(不包括边界点)的所有点与其相邻点之间的能量进行计算,根据本发明的一个实施方式,首先计算相邻映射点之间的位置之差的平方值;计算所述平方值与所述相邻映射点形成的边的第一权重的第一乘积;以及计算针对所有映射点的第一乘积之和,即可得到初始调和能量。
如果初始调和能量能量大于上述的能量梯度阈值
Figure 478532DEST_PATH_IMAGE013
,则调整相应点的位置,并重新计算新的调和能量E,而将上一轮计算的调和能量设为E0
接下来计算新的调和能量E与上一轮计算的调和能量E0之间的差值,即
Figure 79278DEST_PATH_IMAGE014
是否大于预设的调和能量梯度 阈值 。该循环持续进行,直到新的调和能量E与上一轮计算的调和能量E0之间的差值不大于预设的调和能量梯度阈值 为止。此时所有点之间的能量梯度最小,从而达到调和状态。
每个映射点的坐标通过如下公式来计算
Figure 57095DEST_PATH_IMAGE015
公式2
其中,vi是第i个点的表示,vj是与i相邻的第j个点的表示,f(vi)表示vi点的位置,M表示一个三角网格曲面,
Figure 94321DEST_PATH_IMAGE016
是边
Figure 44960DEST_PATH_IMAGE017
的权重。
根据本公开的一个实施方式,相邻映射点形成的边的第一权重通过如下方式来计算:确定所述边对应的三角形的角度;如果所述边为两个三角形公用的边,则所述边的第一权重等于两个三角形与所述边相对的角度的余切三角函数之和的一半;如果所述边为边界上的边,则所述边的第一权重等于所述边所处三角形中与该边相对的角度的余切三角函数的一半。
对于三角形网格而言,三角形的边一般存在两种情形,一种是两个三角形公用的边,一个是边界的边,如图8所示。
在图8中,i和j点确定的边为两个三角形公用的边,而i和l确定的边是边界的边,边eij对应的两个三角形的角度分别为
Figure 379995DEST_PATH_IMAGE018
Figure 998058DEST_PATH_IMAGE019
,而边eil所对应的三角形的角度为
Figure 143869DEST_PATH_IMAGE020
,由此,这两条边的权重分别根据如下方式计算:
= 内部的边(有两个相邻的面)
Figure 943831DEST_PATH_IMAGE023
=
Figure 322860DEST_PATH_IMAGE024
边界的边(只有一个面)
由此可见,随着点的位置不断调整,每个三角形的角度也在不断发生变化, 由此边的权重也在不断改变。但由于这种调整的收敛性,边的权重将逐渐保持恒定,从而图形的映射达到调和状态。
换言之,通过以上的描述可以看出,随着每个映射点的调整,调和能量逐渐降低,并最终达到小于特定调和能量梯度阈值,从而实现调和映射。
图9示出了根据本发明一个实施方式的计算所述调和映射点的第二权重,进而计算所述调和映射点的加权Voronoi图的流程图。
如图9所示,本发明中计算所述调和映射点的第二权重,进而计算所述调和映射点的加权Voronoi图包括:
在操作S6301,初始化每个调和映射点的第二权重,其中至少三个调和映射点构成一个初始面;在操作S6303,确定每个初始面的加权对偶点,所述加权对偶点到每个初始面的顶点的加权距离相等,其中,所述加权对偶点连接起来形成所述加权对偶点的对偶面,多个对偶面确定了加权Voronoi图;以及,在操作S6305,更新每个调和映射点的第二权重,并根据所更新的第二权重来重新调整所述加权Voronoi图。
首先,根据本发明的一个实施方式中,在所形成的调和映射点基础上,确定加权Voronoi图。图10示出了Voronoi图的一个示例。
如图10所示,Voronoi图是网格(不限于三角网格)的一种对偶形式,以三角网格为例,对于网格中的每个面来说,它都对应一个voronoi图中的对偶点(虚线的定点),该对偶点到三个顶点(即上文中的调和映射点,图10中实线的顶点)的距离相等,而原网格中的每个点(本发明中的调和映射点)又对应voronoi图中的一个对偶面,如图10所示。而加权Voronoi图和普通的Voronoi图的区别就在于原网格中的每个点都有一个权重,在计算距离的时候,本来是
Figure 451353DEST_PATH_IMAGE025
,加权之后则是
Figure 941240DEST_PATH_IMAGE026
,加入权重
Figure 466986DEST_PATH_IMAGE027
,就会使voronoi剖腔的大小随权重的大小而改变。某个面的顶点的权重越大,就会使这个面的外心到这个顶点的欧氏距离越远,如此该顶点对应的对偶面的面积就会变大。
下面具体解释图9的方法。
首先,初始化每个点的权重为
Figure 16916DEST_PATH_IMAGE028
,并给定一个权重阈值
Figure 632705DEST_PATH_IMAGE029
,如
Figure 660704DEST_PATH_IMAGE030
对于
Figure 107866DEST_PATH_IMAGE007
中的每个面,使用如下方程组计算其加权对偶点
Figure 666203DEST_PATH_IMAGE032
,其中表示每个实线三角形的三个顶点
Figure 2824DEST_PATH_IMAGE034
公式3
到这三个点的加权距离
Figure 203047DEST_PATH_IMAGE035
相等,而
Figure 838427DEST_PATH_IMAGE036
是q和v的加权距离,
Figure 994919DEST_PATH_IMAGE038
是v点的权重。
对于
Figure 807017DEST_PATH_IMAGE007
中的每条实线边,将实线边两侧的加权对偶点
Figure 246089DEST_PATH_IMAGE039
连接起来形成一条新的虚线边作为实线边的对偶边。
这些对偶边构成的新图即为加权Voronoi图 。每个调和映射点都在加权Voronoi图
Figure 427989DEST_PATH_IMAGE040
中对应有一个对偶面,为一个剖腔
Figure 789700DEST_PATH_IMAGE041
, 则每个点当前的面积为
计算每个点的梯度 ,令
Figure 426720DEST_PATH_IMAGE044
,若
Figure 275728DEST_PATH_IMAGE045
,则停止迭代更新,否则,令
Figure 525444DEST_PATH_IMAGE046
,λ为梯度下降法的步长,需要自己调,一般设置为一个小于1的值,也可以使用牛顿法等等来迭代计算新的权重。其中
Figure 713979DEST_PATH_IMAGE047
为每个调和映射点的目标面积,即调和映射点在三维物体中对应的面积。
图11示出了根据本发明一个实施方式的将所述三维模型以保面积的方式映射到二维平面的流程图。
如图11所示,根据所述加权Voronoi图,将所述三维模型以保面积的方式映射到二维平面包括:在操作S6401,确定所述加权Voronoi图中每个对偶面的重心;在操作S6403,将每个所述调和映射点映射到所述每个对偶面的重心,从而将所述三维模型以保面积的方式映射到二维平面。
由此,通过上述的方法,可以将肠道的三维数据以保面积的方式映射到二维平面中。
图13示出了根据本发明的一个实施方式的被映射到二维平面上的肠道的图片。
如图13所示,当三维数据被映射到二维平面中时,可以很容易在平面中检测期望的区域,并查看该区域中是否有异常发生。例如对于肠道而言,可以很容易地检测出肠道中是否有息肉,并确定息肉的大小。通过本发明,可以无需采用肠镜的介入人体的方式,就能够准确地检测肠道中是否存在息肉,进而帮助医生给出进一步的建议。此外,本发明对患者的痛苦也较少,检测的费用相对于传统方式也较低。
图12示出了根据本发明的另一个方面的用于检测肠道中突起物的设备,包括:第一装置M1210,用于获取关于所述肠道的三维模型,所述三维模型中包括所述肠道的三维数据;第二装置M1230,用于将所述三维模型以保面积的方式映射到二维平面;以及第三装置M1250,用于在所述二维平面中检测突起物的面积。
依据以下条款可更好地理解前述内容:
条款A1. 一种检测肠道中突起物的方法,包括:
通过扫描设备获取关于所述肠道的三维模型,所述三维模型中包括所述肠道的三维数据;
在计算机中将所述三维模型以保面积的方式映射到二维平面;以及
在所述二维平面中检测突起物的面积。
条款A2. 根据条款A1所述的方法,其中,获取关于所述肠道的三维模型包括:
获取包含肠道信息的多个切面;
在所述多个切面中定位所述肠道信息;以及
根据定位的肠道信息来形成所述三维模型。
条款A3. 根据条款A1或A2所述的方法,其中,通过如下方式中的一种来获取包含肠道信息的多个切面:
通过CT扫描技术来获取多个切面;
通过磁共振MR设备来获取多个切面;以及
通过单光子发射计算断层成像技术SPECT来获取多个切面。
条款A4. 根据条款A1-A3中任意一项所述的方法,其中,在所述多个切面中定位所述肠道信息包括:
通过边缘检测或曲率分割来定位所述肠道信息。
条款A5. 根据条款A1-A4中任意一项所述的方法,进一步包括:对所形成的三维模型进行拓扑修复。
条款A6. 根据条款A1-A5中任意一项所述的方法,,其中,对所形成的三维模型进行拓扑修复包括:
确定所述三维模型中亏格的位置;
消除所述亏格以降低所述三维模型中亏格的数量。
条款A7. 根据条款A1-A7中任意一项所述的方法,其中,将所述三维模型以保面积的方式映射到二维平面包括:
确定二维平面的边界;
将所述三维数据调和映射到所述边界的内部,以形成调和映射点;
计算所述调和映射点的第二权重,进而计算所述调和映射点的加权Voronoi图;
根据所述加权Voronoi图,将所述三维模型以保面积的方式映射到二维平面。
条款A8. 根据条款A1-A7中任意一项所述的方法,其中,所述二维平面的边界为多边形。
条款A9. 根据条款A1-A8中任意一项所述的方法,其中,确定二维平面的边界包括:
在所述三维模型中确定闭合曲线L;
从所述闭合曲线
Figure 289317DEST_PATH_IMAGE001
中选择四个点
Figure 563304DEST_PATH_IMAGE002
, 令
Figure 882290DEST_PATH_IMAGE003
,
Figure 722070DEST_PATH_IMAGE004
Figure 655259DEST_PATH_IMAGE005
分别映射到所述矩形的四条边。
条款A10. 根据条款A1-A9中任意一项所述的方法,其中,将所述三维数据调和映射到所述边界的内部以形成调和映射点包括:
将所述三维数据进行初始化,以在所述二维平面中形成映射点;
计算二维平面中所述映射点之间的调和能量;
当所述调和能量大于预设能量梯度阈值时,调整所述映射点的坐标,并根据所述调整后的映射点的坐标来调整所述调和能量,当所述调和能量小于预设能量梯度阈值时,停止所述调整;以及
以停止调整时所述映射点的坐标作为调和映射点。
条款A11. 根据条款A1-A10中任意一项所述的方法,其中,计算二维平面中所述映射点之间的调和能量包括:
计算相邻映射点之间的位置之差的平方值;
计算所述平方值与所述相邻映射点形成的边的第一权重的第一乘积;以及
计算针对所有映射点的第一乘积之和。
条款A12. 根据条款A1-A11中任意一项所述的方法,其中,相邻映射点形成的边的第一权重通过如下方式来计算:
确定所述边对应的三角形的角度;
如果所述边为两个三角形公用的边,则所述边的第一权重等于两个三角形与所述边相对的角度的余切三角函数之和的一半;
如果所述边为边界上的边,则所述边的第一权重等于所述边所处三角形中与该边相对的角度的余切三角函数的一半。
条款A13. 根据条款A1-A12中任意一项所述的方法,其中,计算所述调和映射点的第二权重,进而计算所述调和映射点的加权Voronoi图包括:
初始化每个调和映射点的第二权重,其中至少三个调和映射点构成一个初始面;
确定每个初始面的加权对偶点,所述加权对偶点到每个初始面的顶点的加权距离相等,其中,所述加权对偶点连接起来形成所述加权对偶点的对偶面,多个对偶面确定了加权Voronoi图;
更新每个调和映射点的第二权重,并根据所更新的第二权重来重新调整所述加权Voronoi图。
条款A14. 根据条款A1-A13中任意一项所述的方法,其中更新每个调和映射点的第二权重包括:
确定每个调和映射点的初始面的面积Ai
确定每个调和映射点的对偶面的面积Ai’;
确定每个调和映射点的面积梯度gi=Ai-Ai’;
确定所有调和映射点的面积梯度的平方和;
如果所述平方和大于预设的权重阈值时,减小所述第二权重,直至所述平方和小于所述权重阈值。
条款A15. 根据条款A1-A14中任意一项所述的方法,其中,根据所述加权Voronoi图,将所述三维模型以保面积的方式映射到二维平面包括:
确定所述加权Voronoi图中每个对偶面的重心;
将每个所述调和映射点映射到所述每个对偶面的重心,从而将所述三维模型以保面积的方式映射到二维平面。
条款A16. 一种检测肠道中突起物的终端,包括:
处理器;
与所述处理器相连接的存储器,所述存储器中存储有计算机程序代码,当所述计算机程序代码被执行时,使得所述处理器执行如条款A1-A15中任意一项所述的方法。
条款A17. 一种计算机可读存储介质,其上存储有计算机可读指令,该计算机可读指令被一个或多个处理器执行时,实现如条款A1-A15中任意一项所述的方法。
示例性装置
所属技术领域的技术人员能够理解,本发明的各个方面可以实现为系统、方法或程序产品。因此,本发明的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。
在一些可能的实施方式中,根据本发明实施方式的对应用程序进行测试的装置可以包括至少一个处理单元、以及至少一个存储单元。其中,存储单元存储有程序代码,当程序代码被处理单元执行时,使得处理单元执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的对应用程序进行测试的方法中的步骤。
示例性程序产品
在一些可能的实施方式中,本发明的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当所述程序产品在设备上运行时,所述程序代码用于使设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的对应用程序进行测试的方法中的步骤。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于——无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码,程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意,尽管在上文详细描述中提及了装置的若干单元或子单元,但是这种划分仅仅是示意性的并非强制性的。实际上,根据本发明的实施方式,上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之,上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
此外,尽管在附图中以特定顺序描述了本发明方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
虽然已经参考若干具体实施方式描述了本发明的精神和原理,但是应该理解,本发明并不限于所公开的具体实施方式,对各方面的划分也不意味着这些方面中的特征不能组合以进行受益,这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims (17)

1.一种在计算机中检测肠道中突起物的方法,包括:
通过扫描设备获取关于所述肠道的三维模型,所述三维模型中包括所述肠道的三维数据;
在计算机中将所述三维模型以保面积的方式映射到二维平面;以及
在所述二维平面中检测突起物的面积。
2.根据权利要求1所述的方法,其中,获取关于所述肠道的三维模型包括:
获取包含肠道信息的多个切面;
在所述多个切面中定位所述肠道信息;以及
根据定位的肠道信息来形成所述三维模型。
3.根据权利要求2所述的方法,其中,通过如下方式中的一种来获取包含肠道信息的多个切面:
通过CT扫描技术来获取多个切面;
通过磁共振MR设备来获取多个切面;以及
通过单光子发射计算断层成像技术SPECT来获取多个切面。
4.根据权利要求2所述的方法,其中,在所述多个切面中定位所述肠道信息包括:
通过边缘检测或曲率分割来定位所述肠道信息。
5.根据权利要求2所述的方法,进一步包括:对所形成的三维模型进行拓扑修复。
6.根据权利要求5所述的方法,其中,对所形成的三维模型进行拓扑修复包括:
确定所述三维模型中亏格的位置;
消除所述亏格以降低所述三维模型中亏格的数量。
7.根据权利要求1所述的方法,其中,将所述三维模型以保面积的方式映射到二维平面包括:
确定二维平面的边界;
将所述三维数据调和映射到所述边界的内部,以形成调和映射点;
计算所述调和映射点的第二权重,进而计算所述调和映射点的加权Voronoi图;
根据所述加权Voronoi图,将所述三维模型以保面积的方式映射到二维平面。
8.根据权利要求7所述的方法,其中,所述二维平面的边界为矩形。
9.根据权利要求8所述的方法,其中,确定二维平面的边界包括:
在所述三维模型中确定闭合曲线L;
从所述闭合曲线
Figure 819195DEST_PATH_IMAGE001
中选择四个点
Figure 329811DEST_PATH_IMAGE002
,令
Figure 578389DEST_PATH_IMAGE003
,
Figure 317806DEST_PATH_IMAGE004
Figure 601020DEST_PATH_IMAGE005
分别映射到所述矩形的四条边。
10.根据权利要求7所述的方法,其中,将所述三维数据调和映射到所述边界的内部以形成调和映射点包括:
将所述三维数据进行初始化,以在所述二维平面中形成映射点;
计算二维平面中所述映射点之间的调和能量;
当所述调和能量大于预设能量梯度阈值时,调整所述映射点的坐标,并根据所述调整后的映射点的坐标来调整所述调和能量,当所述调和能量小于预设能量梯度阈值时,停止所述调整;以及
以停止调整时所述映射点的坐标作为调和映射点。
11.根据权利要求10所述的方法,其中,计算二维平面中所述映射点之间的调和能量包括:
计算相邻映射点之间的位置之差的平方值;
计算所述平方值与所述相邻映射点形成的边的第一权重的第一乘积;以及
计算针对所有映射点的第一乘积之和。
12.根据权利要求11所述的方法,其中,相邻映射点形成的边的第一权重通过如下方式来计算:
确定所述边对应的三角形的角度;
如果所述边为两个三角形公用的边,则所述边的第一权重等于两个三角形与所述边相对的角度的余切三角函数之和的一半;
如果所述边为边界上的边,则所述边的第一权重等于所述边所处三角形中与该边相对的角度的余切三角函数的一半。
13.根据权利要求7所述的方法,其中,计算所述调和映射点的第二权重,进而计算所述调和映射点的加权Voronoi图包括:
初始化每个调和映射点的第二权重,其中至少三个调和映射点构成一个初始面;
确定每个初始面的加权对偶点,所述加权对偶点到每个初始面的顶点的加权距离相等,其中,所述加权对偶点连接起来形成所述加权对偶点的对偶面,多个对偶面确定了加权Voronoi图;
更新每个调和映射点的第二权重,并根据所更新的第二权重来重新调整所述加权Voronoi图。
14.根据权利要求13所述的方法,其中更新每个调和映射点的第二权重包括:
确定每个调和映射点的初始面的面积Ai
确定每个调和映射点的对偶面的面积Ai’;
确定每个调和映射点的面积梯度gi=Ai-Ai’;
确定所有调和映射点的面积梯度的平方和;
如果所述平方和大于预设的权重阈值,减小所述第二权重,直至所述平方和小于所述权重阈值。
15.根据权利要求13所述的方法,其中,根据所述加权Voronoi图,将所述三维模型以保面积的方式映射到二维平面包括:
确定所述加权Voronoi图中每个对偶面的重心;
将每个所述调和映射点映射到所述每个对偶面的重心,从而将所述三维模型以保面积的方式映射到二维平面。
16.一种检测肠道中突起物的终端,包括:
处理器;
与所述处理器相连接的存储器,所述存储器中存储有计算机程序代码,当所述计算机程序代码被执行时,使得所述处理器执行如权利要求1-15中任意一项所述的方法。
17.一种计算机可读存储介质,其上存储有计算机可读指令,该计算机可读指令被一个或多个处理器执行时,实现如权利要求1-15中任意一项所述的方法。
CN201911361335.5A 2019-11-05 2019-12-26 检测肠道中突起物的方法、终端和计算机可读存储介质 Active CN110766692B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/774,204 US20220351388A1 (en) 2019-11-05 2020-11-04 Method and terminal for detecting protrusion in intestinal tract, and computer-readable storage medium
PCT/CN2020/126488 WO2021088868A1 (zh) 2019-11-05 2020-11-04 检测肠道中突起物的方法、终端和计算机可读存储介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2019110687022 2019-11-05
CN201911068702 2019-11-05

Publications (2)

Publication Number Publication Date
CN110766692A true CN110766692A (zh) 2020-02-07
CN110766692B CN110766692B (zh) 2020-04-21

Family

ID=69341569

Family Applications (4)

Application Number Title Priority Date Filing Date
CN201911361346.3A Active CN110766808B (zh) 2019-11-05 2019-12-26 人脸数据的处理方法、设备和计算机可读存储介质
CN201911361335.5A Active CN110766692B (zh) 2019-11-05 2019-12-26 检测肠道中突起物的方法、终端和计算机可读存储介质
CN202010226115.8A Pending CN111127314A (zh) 2019-11-05 2020-03-27 对大脑的三维数据平面化处理的方法、设备和存储介质
CN202011126641.3A Active CN112381706B (zh) 2019-11-05 2020-10-20 对大脑的三维数据进行平面化处理的方法,设备和计算机可读存储介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201911361346.3A Active CN110766808B (zh) 2019-11-05 2019-12-26 人脸数据的处理方法、设备和计算机可读存储介质

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN202010226115.8A Pending CN111127314A (zh) 2019-11-05 2020-03-27 对大脑的三维数据平面化处理的方法、设备和存储介质
CN202011126641.3A Active CN112381706B (zh) 2019-11-05 2020-10-20 对大脑的三维数据进行平面化处理的方法,设备和计算机可读存储介质

Country Status (3)

Country Link
US (3) US20220351388A1 (zh)
CN (4) CN110766808B (zh)
WO (3) WO2021088868A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111127314A (zh) * 2019-11-05 2020-05-08 北京智拓视界科技有限责任公司 对大脑的三维数据平面化处理的方法、设备和存储介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112287743B (zh) * 2020-07-04 2021-06-22 滨州医学院附属医院 老年性痴呆预防娱乐一体系统
CN113240788A (zh) * 2020-07-08 2021-08-10 北京智拓视界科技有限责任公司 三维数据的传输和接收方法、设备和计算机可读存储介质
CN112150612A (zh) * 2020-09-23 2020-12-29 上海眼控科技股份有限公司 三维模型构建方法、装置、计算机设备及存储介质
CN113486825A (zh) * 2021-07-12 2021-10-08 上海锐瞻智能科技有限公司 非接触式指纹采集装置及其方法、系统、介质
CN113538219A (zh) * 2021-07-15 2021-10-22 北京智拓视界科技有限责任公司 三维人脸数据的传输和接收方法、设备和计算机可读存储介质
CN114998291A (zh) * 2022-06-21 2022-09-02 北京银河方圆科技有限公司 一种医学图像的处理方法、装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105261052A (zh) * 2015-11-03 2016-01-20 沈阳东软医疗系统有限公司 管腔图像展开绘制方法及装置
CN105741270A (zh) * 2016-05-16 2016-07-06 杭州职业技术学院 千兆电子计算机断层扫描的前列腺三维图像分割方法
CN107146287A (zh) * 2017-03-22 2017-09-08 西北大学 二维投影图像至三维模型的映射方法
WO2019146903A1 (ko) * 2018-01-25 2019-08-01 전자부품연구원 거리정보를 이용한 랩어라운드뷰 영상제공장치 및 방법

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060013505A1 (en) * 2002-11-06 2006-01-19 Shing-Tung Yau Analysis of geometric surfaces by comformal structure
CN101276484A (zh) * 2008-03-31 2008-10-01 浙江大学 基于调和映射的网格生成方法
US8405659B2 (en) * 2009-06-24 2013-03-26 International Business Machines Corporation System and method for establishing correspondence, matching and repairing three dimensional surfaces of arbitrary genus and arbitrary topology in two dimensions using global parameterization
JP2014522274A (ja) * 2011-06-03 2014-09-04 ネクスティム オーワイ 誘導脳刺激機能データを脳のライブ画像上に重ねる方法及びシステム
US20130066219A1 (en) * 2011-09-09 2013-03-14 Jingfeng Jiang Method for Assessing The Efficacy of a Flow-Diverting Medical Device in a Blood Vessel
US9972128B2 (en) * 2012-07-20 2018-05-15 The University Of British Columbia Methods and systems for generating polycubes and all-hexahedral meshes of an object
US20140172377A1 (en) 2012-09-20 2014-06-19 Brown University Method to reconstruct a surface from oriented 3-d points
JP6559552B2 (ja) * 2015-11-18 2019-08-14 株式会社Vtsタッチセンサー 導電性フィルム、タッチパネル、および、表示装置
CN107679515A (zh) * 2017-10-24 2018-02-09 西安交通大学 一种基于曲面调和形状图像深度表示的三维人脸识别方法
CN109416939B (zh) 2017-12-05 2022-04-26 北京师范大学 面向群体应用的经颅脑图谱生成方法、预测方法及其装置
US20190270118A1 (en) * 2018-03-01 2019-09-05 Jake Araujo-Simon Cyber-physical system and vibratory medium for signal and sound field processing and design using dynamical surfaces
CN110473459A (zh) * 2018-05-11 2019-11-19 兰州交通大学 基于网络Voronoi图的点群选取
CN108648231B (zh) * 2018-05-14 2019-07-12 合肥融视信息科技有限公司 基于三维医学影像的管状结构长度测量系统及方法
CN108875813B (zh) * 2018-06-04 2021-10-08 北京工商大学 一种基于几何图像的三维网格模型检索方法
CN109410195B (zh) * 2018-10-19 2020-12-22 山东第一医科大学(山东省医学科学院) 一种磁共振成像脑分区方法及系统
CN110046543A (zh) * 2019-02-27 2019-07-23 视缘(上海)智能科技有限公司 一种基于平面参数化的三维人脸识别方法
CN110288642B (zh) * 2019-05-25 2023-08-08 西南电子技术研究所(中国电子科技集团公司第十研究所) 基于相机阵列的三维物体快速重建方法
US10922884B2 (en) * 2019-07-18 2021-02-16 Sony Corporation Shape-refinement of triangular three-dimensional mesh using a modified shape from shading (SFS) scheme
CN110766808B (zh) * 2019-11-05 2020-03-27 北京智拓视界科技有限责任公司 人脸数据的处理方法、设备和计算机可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105261052A (zh) * 2015-11-03 2016-01-20 沈阳东软医疗系统有限公司 管腔图像展开绘制方法及装置
CN105741270A (zh) * 2016-05-16 2016-07-06 杭州职业技术学院 千兆电子计算机断层扫描的前列腺三维图像分割方法
CN107146287A (zh) * 2017-03-22 2017-09-08 西北大学 二维投影图像至三维模型的映射方法
WO2019146903A1 (ko) * 2018-01-25 2019-08-01 전자부품연구원 거리정보를 이용한 랩어라운드뷰 영상제공장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111127314A (zh) * 2019-11-05 2020-05-08 北京智拓视界科技有限责任公司 对大脑的三维数据平面化处理的方法、设备和存储介质
WO2021088868A1 (zh) * 2019-11-05 2021-05-14 北京智拓视界科技有限责任公司 检测肠道中突起物的方法、终端和计算机可读存储介质

Also Published As

Publication number Publication date
US20220351388A1 (en) 2022-11-03
US11922632B2 (en) 2024-03-05
US20220392015A1 (en) 2022-12-08
US11823390B2 (en) 2023-11-21
US20220366528A1 (en) 2022-11-17
CN111127314A (zh) 2020-05-08
CN110766692B (zh) 2020-04-21
CN112381706B (zh) 2024-02-02
CN112381706A (zh) 2021-02-19
WO2021088868A1 (zh) 2021-05-14
CN110766808A (zh) 2020-02-07
WO2021088867A1 (zh) 2021-05-14
WO2021088869A1 (zh) 2021-05-14
CN110766808B (zh) 2020-03-27

Similar Documents

Publication Publication Date Title
CN110766692B (zh) 检测肠道中突起物的方法、终端和计算机可读存储介质
Van Rikxoort et al. Automated segmentation of pulmonary structures in thoracic computed tomography scans: a review
US8081809B2 (en) Methods and systems for optimizing high resolution image reconstruction
Li et al. Optimal surface segmentation in volumetric images-a graph-theoretic approach
CN108876794B (zh) 体积图像数据中的动脉瘤与载瘤血管的隔离
Kurugol et al. Automated quantitative 3D analysis of aorta size, morphology, and mural calcification distributions
JP2006255412A (ja) 腫瘍量を監視する方法及びシステム
JP2007135858A (ja) 画像処理装置
US20100260392A1 (en) Consistency metric based image registration
US7689018B2 (en) Anomaly detection in volume data structure information
Roth et al. Registration of the endoluminal surfaces of the colon derived from prone and supine CT colonography
CN112419484A (zh) 三维血管合成方法、系统及冠状动脉分析系统和存储介质
EP2476102B1 (en) Improvements to curved planar reformation
EP3872755B1 (en) Method for providing airway information
JP4463817B2 (ja) 脈管構造の局部画像を自動的に配向する方法及びシステム
US20220092788A1 (en) Segmentation method for pneumonia sign, medium, and electronic device
US8121376B2 (en) Diagnostic imaging support processing apparatus and diagnostic imaging support processing program product
JP2008307183A (ja) 画像処理装置および画像処理プログラム
RU2459261C2 (ru) Способы, системы и компьютерный программный продукт для обнаружения выбухания
Sharghi et al. A novel method for accelerating the visualisation process used in virtual colonoscopy
CN113506277B (zh) 图像处理方法及装置
Pyo et al. Physically based nonrigid registration using smoothed particle hydrodynamics: application to hepatic metastasis volume-preserving registration
Balogh et al. Virtual dissection of the colon: technique and first experiments with artificial and cadaveric phantoms
Yao et al. Polyp Segmentation on CT Colonography
KR20240002932A (ko) 입체 형상 데이터 생성 프로그램, 입체 형상 데이터 생성 방법 및 정보 처리 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240307

Address after: 100000 No. 1005, 10th Floor, No. 9 Zhichun Road, Haidian District, Beijing

Patentee after: Beijing Mingshang Medical Technology Co.,Ltd.

Country or region after: China

Address before: 100176 G005, 3rd floor, building 3, No.5, Rongchang East Street, economic and Technological Development Zone, Daxing District, Beijing (centralized office area)

Patentee before: Beijing Zhituo Vision Technology Co.,Ltd.

Country or region before: China

TR01 Transfer of patent right