CN113516775B - 手机相机获取印章辅助图像的三维重建方法 - Google Patents

手机相机获取印章辅助图像的三维重建方法 Download PDF

Info

Publication number
CN113516775B
CN113516775B CN202110172702.8A CN202110172702A CN113516775B CN 113516775 B CN113516775 B CN 113516775B CN 202110172702 A CN202110172702 A CN 202110172702A CN 113516775 B CN113516775 B CN 113516775B
Authority
CN
China
Prior art keywords
mobile phone
measured object
dimensional reconstruction
dimensional
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110172702.8A
Other languages
English (en)
Other versions
CN113516775A (zh
Inventor
林凌
兰天
尚帅杰
宋悦
李刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202110172702.8A priority Critical patent/CN113516775B/zh
Publication of CN113516775A publication Critical patent/CN113516775A/zh
Application granted granted Critical
Publication of CN113516775B publication Critical patent/CN113516775B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

发明一种手机相机获取印章辅助图像的三维重建方法，设计可提供三维重建特征信息又可提供尺度基准的特征图案，以此特征图案制作印章，在被测对象表面盖印，在手机客户端中，应用手机相机围绕盖有特征图案的被测对象一周，同时读取手机传感器数据实现特定角度自动拍照获得图像序列，将图像序列进行图像的归一化配准，将配准后的图像序列进行三维重建，得到被测对象外观三维几何模型。本发明在保证精度的前提下，使用手机以及印章辅助，对被测对象，尤其是表面纹理特征较少的被测对象实现低成本、方便快捷的三维重建。

Description

手机相机获取印章辅助图像的三维重建方法
技术领域
本发明属于人工智能领域，特别提供一种手机相机获取印章辅助图像的三维重建方法。
背景技术
基于图像的三维重建从获取多视图图像开始，逐步通过相应的算法恢复场景中物体的三维结构，随着此技术的发展，激光扫描仪、基于结构光的深度摄像头、基于双目视觉的深度摄像头等图像采集设备的应用，其获取深度信息以及重建精度方面均不可忽视，在工业检测、医疗、建筑设计、航空航天和虚拟现实等领域都有广泛的应用。
在医学上应用，如X射线照片进行骨结构的三维重建，在计算机辅助外科手术中有着重要的作用；基于医学CT图像三维重建，直观病灶相对位置，对疾病的诊断治疗提供了可靠的依据；针对临床糖尿病足溃疡损伤评估，应用红外结构光的深度摄像头获取足部的外围图像进行三维重建。
上述用来三维重建的图像获取方法，其重建模型的精度不可忽视，但所需设备昂贵，专业性较强，不适合家用。
发明内容
本发明的目的在于提供一种手机相机获取印章辅助图像的三维重建方法，对被测对象，尤其是纹理特征较少的被测对象进行低成本、方便快捷的三维重建。
本发明技术方案如下：应用手机相机围绕盖有特征图案的被测对象一周，同时读取手机传感器数据实现特定角度自动拍照获得图像序列，用此图像序列进行三维重建获得被测对象的三维几何模型，并获取有效信息，具体步骤在于：
S1：设计可提供三维重建特征信息又可提供尺度基准的特征图案，以此特征图案制作印章，在被测对象表面盖印；
S2：在手机客户端中，用手机相机围绕盖有特征图案的被测对象拍摄一周，获得特定角度的图像序列；
S3：将图像序列上传到云端；
S4：将图像序列进行图像的归一化配准；
S5：将配准后的图像序列进行三维重建，得到被测对象外观三维几何模型；
S6：判断三维几何模型的特征参数，获取有效信息。
进一步地，发明了图案样式简单规范的印章盖印在被测对象，不仅丰富被测对象表面的特征信息，而且还给予被测对象一个尺度基准，利用此基准进行将不同图像中的特征图案所占像素数量归一化，实现相机与被测对象之间距离的自动校准；图案样式简单规范且具有方向性，并在图案中设定特征距离。
进一步地，印章还有以下作用：特征距离的设定，建立了实际尺寸与图像像素尺寸之间的关系，对三维几何模型有效性的评估提供依据；图案样式较为简单，不仅制作简单，且线条清晰，便于直线的拟合，为图像配准提供了便利；非中心对称图形，使得图案具有了方向性，有利于人为识别待处理图片的方向。
进一步地，开发手机客户端，用以调用手机摄像头以及手机内置陀螺仪和三轴加速度传感器，把两个传感器的数据进行融合，当被测对象在任意角度静置，均可计算相机相对被测对象的旋转角度，实现特定角度的自动拍照。具体地说，在垂直方向上的拍照姿态，角度的计算调用的是手机内置陀螺仪传感器；而水平方向上的拍照姿态，调用的是手机内置三轴加速度传感器计算角度信息；任意角度的拍照姿态，是融合两种传感器数据获得的角度信息。
进一步地，应用互联网相关技术，将获取到的图像上传到云端，通过云计算进行图像的归一化配准和三维重建，并将得到的三维几何模型存储，从而判断其特征参数，获取有效信息。
进一步地，应用人工智能相关技术，对被测对象进行三维重建，将采集到的图像进行特征的提取与计算，得出被测对象的空间和几何关系，生成三维点云，将点云网格化后，进行一系列优化处理，最终得到被测对象的三维几何模型。
本发明的有益效果为：在保证精度的前提下，使用手机以及印章辅助，对被测对象，尤其是表面纹理特征较少的被测对象实现低成本、方便快捷的三维重建。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1本发明实施方式流程图
图2印章的特征图案
图3手机客户端程序框图
图4手机相机图像采集姿态示意图
图5三维几何模型示意图
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将对本申请的技术方案进行详细的描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本申请所保护的范围。
参见图1所示，本申请提供了一种由手机相机获取印章辅助图像的三维重建方法，并将其应用在家庭健康领域的静脉疾病早期诊断中，其具体步骤为：
S1：发明如图2所示印章，可提供三维重建特征信息又可提供尺度基准的特征图案，以此特征图案制作印章，在下肢自然放松的状态下盖印，图案样式简单规范且具备方向性，上下两平行线可作为特征距离，可作为模型有效性的评估的依据；
S2：发明手机客户端，此程序框图如图3所示，点击拍照按钮，开始图像采集，每隔5°拍摄一张照片，为了防止由于抖动和手动转速控制不稳定的问题，设定在5°±0.5°的范围内即可触发一次拍照，围绕小腿旋转一圈。手机相机拍照姿态示意图如图4所示，在本实施例中使用的是垂直方向上的拍照姿态，角度的计算调用的是手机内置陀螺仪传感器；
S3：将获取到的图像序列上传到云端；
S4：进行图像归一化配准，此过程均使用基于C++的OpenCV进行，具体步骤如下：
S41：将手机拍摄的图像，以特征图案为模板，用matchTemplate()模板匹配函数，将匹配到的ROI区域保存下来；
S42：将上述ROI区域用cvtColor()函数转化为灰度图；
S43：由于图像数量较多，每幅图像二值化阈值不同，使用adaptiveThreshold()自适应阈值进行二值化，使得二值化更具有特异性；
S44：morphologyEx()进行形态学处理闭运算后，使得图案更加具有连贯性；
S45：Canny算子边缘检测，提取特征图案的轮廓；
S46：HoughLinesP()进行霍夫变换拟合直线，得到线集，可读取直线的两个端点，从而计算所有直线的斜率以及两直线间距离，以斜率相似度0.1以及像素距离(120,200)的双重限制，筛选出满足条件的直线对，以剩余直线对距离的均值作为此图像的中特征图案的最终像素距离，以此为依据计算图像缩放比例，完成图像的配准，提高建模精度。
S5：三维重建：此过程在VisualSFM和Geomagic中进行。VisualSFM是一款使用广泛的开源的三维重建软件，操作简单，上手容易，用来计算三维点云以及相机信息，并利用CMVS/PMVS进行稠密点云重建。最终稠密重建结果在Geomagic软件中显示，用其对模型进行优化处理以及获取两下肢同一高度的截面，结果如图5所示。
S6：两下肢非对成性参数提取，在OpenCV中将S4中所得截面进行轮廓提取，arcLength()计算下肢外轮廓周长，比较双腿同一高度截面周长差异，来判断是否存在潜在静脉疾病。
综上，本发明应用智能手机在家中就可实现下肢静脉疾病早期筛查；应用互联网技术，实现图像获取的便捷化；应用人工智能相关技术，实现手机图像的三维重建；设计特殊印章，在三维重建所需特征点及图像配准中起到了关键性作用；一系列优势可以保证用户在家方便、快捷、经常性的自我检查，在超出指标的情况下，提醒用户到医院做进一步的检查。因此本作品可以有效地对使用者进行腿部静脉疾病的早期筛查，并得到及时的治疗。
本发明未尽事宜为公知技术。
上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。

Claims (3)

1.一种手机相机获取印章辅助图像的三维重建方法，其特征在于：应用手机相机围绕盖有特征图案的被测对象一周，同时读取手机传感器数据实现特定角度自动拍照获得图像序列，用此图像序列进行三维重建获得被测对象的三维几何模型，并获取有效信息，具体步骤在于：
S1：设计可提供三维重建特征信息又可提供尺度基准的特征图案，以此特征图案制作印章，在被测对象表面盖印；
S2：在手机客户端中，用手机相机围绕盖有特征图案的被测对象拍摄一周，获得特定角度的图像序列；
S3：将图像序列上传到云端；
S4：将图像序列进行图像的归一化配准；
S5：将配准后的图像序列进行三维重建，得到被测对象外观三维几何模型；
S6：判断三维几何模型的特征参数，获取有效信息；
所述印章中的特征图案不仅丰富被测对象表面的特征信息，而且还给予被测对象一个尺度基准，利用此基准进行图像归一化配准，实现相机与被测对象之间距离的自动校准，图案样式简单规范且具有方向性，并在图案中设定特征距离，建立了实际尺寸与图像像素尺寸之间的关系，对三维几何模型有效性的评估提供依据；
所述手机客户端，通过调用手机摄像头和手机内置陀螺仪和三轴加速度传感器，计算手机相对于被测对象的旋转角度，达到特定角度，自动拍照获取图像；
所述三维几何模型特征参数，应用在人体下肢三维重建中，包括下肢外轮廓周长和双腿同一高度截面周长差异；
所述有效信息，应用在人体静脉疾病早期诊断中，为是否存在潜在静脉疾病的信息。
2.如权利要求1所述的方法，其特征在于：应用互联网技术，将获取到的图像上传到云端，通过云计算进行图像的归一化配准和三维重建，并将得到的三维几何模型存储，从而判断其特征参数，获取有效信息。
3.如权利要求1所述的方法，其特征在于：将采集到的图像进行特征的提取与计算，得出被测对象的空间和几何关系，生成三维点云，将点云网格化后，进行一系列优化处理，生成被测对象的三维几何模型。
CN202110172702.8A 2021-02-09 2021-02-09 手机相机获取印章辅助图像的三维重建方法 Active CN113516775B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110172702.8A CN113516775B (zh) 2021-02-09 2021-02-09 手机相机获取印章辅助图像的三维重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110172702.8A CN113516775B (zh) 2021-02-09 2021-02-09 手机相机获取印章辅助图像的三维重建方法

Publications (2)

Publication Number Publication Date
CN113516775A CN113516775A (zh) 2021-10-19
CN113516775B true CN113516775B (zh) 2023-02-28

Family

ID=78061023

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110172702.8A Active CN113516775B (zh) 2021-02-09 2021-02-09 手机相机获取印章辅助图像的三维重建方法

Country Status (1)

Country Link
CN (1) CN113516775B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101750029A (zh) * 2008-12-10 2010-06-23 中国科学院沈阳自动化研究所 基于三焦点张量的特征点三维重建方法
CN105432079A (zh) * 2013-07-17 2016-03-23 微软技术许可有限责任公司 立体深度相机阵列的实时配准
CN110383136A (zh) * 2016-12-30 2019-10-25 巴科股份有限公司 用于3d重构的系统和方法
CN110567345A (zh) * 2019-09-04 2019-12-13 北京信息科技大学 基于机器视觉的非接触式管材壁厚测量方法与系统
CN111242990A (zh) * 2020-01-06 2020-06-05 西南电子技术研究所（中国电子科技集团公司第十研究所） 基于连续相位稠密匹配的360°三维重建优化方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011091717A1 (en) * 2010-01-29 2011-08-04 The Hong Kong University Of Science And Technology Architectural pattern detection and modeling in images
CN102184566A (zh) * 2011-04-28 2011-09-14 湘潭大学 基于微型投影仪手机平台的便携式三维扫描系统及方法
CN102420898A (zh) * 2011-09-27 2012-04-18 惠州Tcl移动通信有限公司 一种基于手机的全景照相实现方法及手机
CN103679699B (zh) * 2013-10-16 2016-09-21 南京理工大学 一种基于显著图平移和联合测度的立体匹配方法
CN104469001A (zh) * 2014-12-02 2015-03-25 王国忠 一种具有拍照防抖功能的手机及其在拍照中的防抖方法
US11889979B2 (en) * 2016-12-30 2024-02-06 Barco Nv System and method for camera calibration
CN206523142U (zh) * 2017-02-05 2017-09-26 鞍钢股份有限公司 带钢宽度测量系统像机像素尺度校准装置
CN108010125A (zh) * 2017-12-28 2018-05-08 中国科学院西安光学精密机械研究所 基于线结构光和图像信息的真实尺度三维重建系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101750029A (zh) * 2008-12-10 2010-06-23 中国科学院沈阳自动化研究所 基于三焦点张量的特征点三维重建方法
CN105432079A (zh) * 2013-07-17 2016-03-23 微软技术许可有限责任公司 立体深度相机阵列的实时配准
CN110383136A (zh) * 2016-12-30 2019-10-25 巴科股份有限公司 用于3d重构的系统和方法
CN110567345A (zh) * 2019-09-04 2019-12-13 北京信息科技大学 基于机器视觉的非接触式管材壁厚测量方法与系统
CN111242990A (zh) * 2020-01-06 2020-06-05 西南电子技术研究所（中国电子科技集团公司第十研究所） 基于连续相位稠密匹配的360°三维重建优化方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于智能手机单目视觉三维重建的小型金属件测量方法;何文韬等;《软件》;20201231;第41卷(第8期);第5-9页 *

Also Published As

Publication number Publication date
CN113516775A (zh) 2021-10-19

Similar Documents

Publication Publication Date Title
US10607420B2 (en) Methods of using an imaging apparatus in augmented reality, in medical imaging and nonmedical imaging
CN107292948B (zh) 一种人体建模方法、装置及电子设备
CN107909622B (zh) 模型生成方法、医学成像的扫描规划方法及医学成像系统
Ye et al. A depth camera motion analysis framework for tele-rehabilitation: Motion capture and person-centric kinematics analysis
CN109559371B (zh) 一种用于三维重建的方法和装置
CN112861598A (zh) 用于人体模型估计的系统和方法
Courtney et al. A monocular marker-free gait measurement system
CN113229807A (zh) 人体康复评估装置、方法、电子设备及存储介质
CN112184898A (zh) 一种基于动作识别的数字人体建模方法
Kaashki et al. Deep learning-based automated extraction of anthropometric measurements from a single 3-D scan
CN111401340B (zh) 目标对象的运动检测方法和装置
Chen et al. Measurement of body joint angles for physical therapy based on mean shift tracking using two low cost Kinect images
Kuryło et al. Machine vision system measuring the trajectory of upper limb motion applying the matlab software
Benalcazar et al. A 3D iris scanner from multiple 2D visible light images
CN114359445A (zh) 人体骨骼关节点提取模型的训练数据生成方法及装置
CN113516775B (zh) 手机相机获取印章辅助图像的三维重建方法
CN112382390A (zh) 生成健康评估报告的方法、系统及存储介质
CN115105062B (zh) 髋膝关节协调性评估方法、装置、系统和存储介质
CN114067422A (zh) 一种用于辅助驾驶的视线检测方法、装置及存储介质
CN114913153A (zh) 一种基于深度学习技术的伤口识别与面积测量系统及方法
CN114298986A (zh) 一种基于多视点无序x光片的胸腔骨骼三维构建方法及系统
Albuquerque et al. Remote Pathological Gait Classification System
Procházka et al. Multi-camera systems use for dental arch shape measurement
Prima et al. Evaluation of Joint Range of Motion Measured by Vision Cameras
CN110503056A (zh) 以ar技术为基础应用于认知功能评估的肢体动作识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant