CN116614614A - 三维相机的自适应距离控制方法、装置及存储介质 - Google Patents
三维相机的自适应距离控制方法、装置及存储介质 Download PDFInfo
- Publication number
- CN116614614A CN116614614A CN202310885425.4A CN202310885425A CN116614614A CN 116614614 A CN116614614 A CN 116614614A CN 202310885425 A CN202310885425 A CN 202310885425A CN 116614614 A CN116614614 A CN 116614614A
- Authority
- CN
- China
- Prior art keywords
- distance
- dimensional
- dimensional camera
- camera
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 230000003044 adaptive effect Effects 0.000 claims description 30
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000003247 decreasing effect Effects 0.000 abstract description 2
- 238000012360 testing method Methods 0.000 description 18
- 238000004590 computer program Methods 0.000 description 10
- 230000000007 visual effect Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 208000001491 myopia Diseases 0.000 description 2
- 230000004379 myopia Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
- H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请提供一种三维相机的自适应距离控制方法、装置及存储介质,涉及人工智能技术领域,所述方法包括:对被试头部进行拍摄,获取三维点云;基于所述三维点云确定第一距离;所述第一距离为所述三维点云中离所述三维相机最近的点云与所述三维相机的距离;基于所述第一距离,控制所述三维相机。本申请实施例提供的三维相机的自适应距离控制方法、装置及存储介质,通过获取三维点云与三维相机的最小距离,并根据最小距离和预设阈值之间的关系控制三维相机增大或减小与被试之间的距离,使对被试头部的拍摄可以完成自适应的调整,能够提高三维点云之间配准的准确性,从而提高合成点云的完整性。
Description
技术领域
本申请涉及人工智能技术领域,尤其涉及一种三维相机的自适应距离控制方法、装置及存储介质。
背景技术
在颅脑手术导航等临床应用中,常需要使用机械臂带动三维相机多视角拍摄被试头部,得到多幅局部头部点云,再通过配准将多幅局部头部点云精确地拼接合成一幅完整的头部点云。多幅点云合成要求每幅点云和邻近相机视角拍摄的点云有一定比例的重合。三维相机具有固定的聚焦范围(即最近和最远测量距离),小于或超过该范围的点无法成像。为了确定若干个合适的相机视角,一种简单的方法是,预先利用头部模型确定若干合适的拍摄视角,并保证这些视角能成功合成完整的头部点云,这些视角一旦确定,在后续的拍摄中将固定不变。
但不同被试头部大小以及每次拍摄时头部的位置不能同模型完全一致,这可能导致被试在某些视角距离相机过近或过远,可能会影响这些视角点云与其他视角点云配准的准确性,以及合成点云的完整性。
发明内容
本申请实施例提供一种三维相机的自适应距离控制方法、装置及存储介质,用以解决相关技术中拍摄时视角距离不适宜造成的合成点云的完整性低的技术问题。
第一方面,本申请实施例提供一种三维相机的自适应距离控制方法,包括:
对被试头部进行拍摄,获取三维点云;
基于所述三维点云确定第一距离;所述第一距离为所述三维点云中离所述三维相机最近的点云与所述三维相机的距离;
基于所述第一距离,控制所述三维相机。
在一些实施例中,所述基于所述第一距离,控制所述三维相机,包括:
在所述第一距离大于第一阈值且小于第二阈值的情况下,控制所述三维相机增大与被试头部的距离;所述第一阈值为三维相机的最近测量距离和三维相机重复精度的差,所述第二阈值为三维相机的最近测量距离和三维相机重复精度的和。
在一些实施例中,所述控制所述三维相机增大与被试头部的距离,包括:
基于所述三维点云边界上点云的梯度信息,确定第二距离,所述第二距离为所述三维点云边界上点云与所述三维点云中离所述三维相机最近的点云的距离;
基于所述第二距离,控制所述三维相机增大与被试头部的距离。
在一些实施例中,所述基于所述第一距离,控制所述三维相机,包括:
在所述第一距离大于第二阈值且小于第三阈值的情况下,控制所述三维相机对被试头部进行拍摄;所述第三阈值为三维相机的最近测量距离和预设距离的和。
在一些实施例中,所述基于所述第一距离,控制所述三维相机,包括:
在所述第一距离大于第三阈值的情况下,控制所述三维相机减小与被试头部的距离。
在一些实施例中,所述控制所述三维相机减小与被试头部的距离,包括:
基于所述第一距离、相机的最近测量距离和预设距离,确定第三距离;
基于所述第三距离,控制所述三维相机减小与被试头部的距离。
在一些实施例中,所述方法还包括:
得到的被试面部的关键点;
配准所述被试面部的关键点和模型关键点,得到配准结果;所述模型关键点为预先对头部模型进行拍摄时得到的模型面部的关键点;
基于所述配准结果,调整所述三维相机与所述被试头部的距离。
在一些实施例中,所述方法还包括:
获取邻近视角拍摄的三维点云;
确定当前视角拍摄的三维点云与所述邻近视角拍摄的三维点云的最大重叠点云;
基于所述最大重叠点云,调整所述三维相机与所述被试头部的距离。
在一些实施例中,对被试头部进行拍摄,获取三维点云,包括:
在无法获取三维点云的情况下,调整所述三维相机与所述被试头部的距离。
第二方面,本申请实施例还提供一种三维相机的自适应距离控制装置,包括:
第一获取模块,用于对被试头部进行拍摄,获取三维点云;
第一确定模块,用于基于所述三维点云确定第一距离;所述第一距离为所述三维点云中离所述三维相机最近的点云与所述三维相机的距离;
第一控制模块,用于基于所述第一距离,控制所述三维相机。
在一些实施例中,所述第一控制模块包括第一控制子模块:
所述第一控制子模块用于在所述第一距离大于第一阈值且小于第二阈值的情况下,控制所述三维相机增大与被试头部的距离;所述第一阈值为三维相机的最近测量距离和三维相机重复精度的差,所述第二阈值为三维相机的最近测量距离和三维相机重复精度的和。
在一些实施例中,所述第一控制子模块包括第一确定单元、第一控制单元,其中:
所述第一确定单元用于基于所述三维点云边界上点云的梯度信息,确定第二距离,所述第二距离为所述三维点云边界上点云与所述三维点云中离所述三维相机最近的点云的距离;
所述第一控制单元用于基于所述第二距离,控制所述三维相机增大与被试头部的距离。
在一些实施例中,所述第一控制模块包括第二控制子模块:
所述第二控制子模块用于在所述第一距离大于第二阈值且小于第三阈值的情况下,控制所述三维相机对被试头部进行拍摄;所述第三阈值为三维相机的最近测量距离和预设距离的和。
在一些实施例中,所述第一控制模块包括第三控制子模块:
所述第三控制子模块用于在所述第一距离大于第三阈值的情况下,控制所述三维相机减小与被试头部的距离。
在一些实施例中,所述第三控制子模块包括第二确定单元、第二控制单元,其中:
所述第二确定单元用于基于所述第一距离、相机的最近测量距离和预设距离,确定第三距离;
所述第二控制单元用于基于所述第三距离,控制所述三维相机减小与被试头部的距离。
在一些实施例中,所述三维相机的自适应距离控制装置还包括:
第一处理模块,用于得到的被试面部的关键点;
第一配准模块,用于配准所述被试面部的关键点和模型关键点,得到配准结果;所述模型关键点为预先对头部模型进行拍摄时得到的模型面部的关键点;
第一调整模块,用于基于所述配准结果,调整所述三维相机与所述被试头部的距离。
在一些实施例中,所述三维相机的自适应距离控制装置还包括:
第二获取模块,用于获取邻近视角拍摄的三维点云;
第二确定模块,用于确定当前视角拍摄的三维点云与所述邻近视角拍摄的三维点云的最大重叠点云;
第二调整模块,用于基于所述最大重叠点云,调整所述三维相机与所述被试头部的距离。
在一些实施例中,所述第一获取模块包括第一调整子模块:
所述第一调整子模块用于在无法获取三维点云的情况下,调整所述三维相机与所述被试头部的距离。
第三方面,本申请实施例还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述三维相机的自适应距离控制方法。
第四方面,本申请实施例还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述三维相机的自适应距离控制方法。
第五方面,本申请实施例还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述三维相机的自适应距离控制方法。
本申请实施例提供的三维相机的自适应距离控制方法、装置及存储介质,通过获取三维点云与三维相机的最小距离,并根据最小距离和预设阈值之间的关系控制三维相机增大或减小与被试之间的距离,使对被试头部的拍摄可以完成自适应的调整,能够提高三维点云之间配准的准确性,从而提高合成点云的完整性。
附图说明
为了更清楚地说明本申请实施例或相关技术中的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的三维相机的自适应距离控制方法的流程示意图;
图2是本申请实施例提供的三维相机的自适应距离控制方法的正式拍摄步骤框图;
图3是本申请实施例提供的拍摄前调整初始视角的步骤框图;
图4是本申请实施例提供的拍摄时视角调整的步骤框图;
图5是本申请实施例提供的三维相机的自适应距离控制装置的结构示意图;
图6是本申请实施例提供的电子设备的实体结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
图1是本申请实施例提供的三维相机的自适应距离控制方法的流程示意图,如图1所示,本申请实施例提供一种三维相机的自适应距离控制方法,包括:
步骤101,对被试头部进行拍摄,获取三维点云。
具体地,根据相机的近端和远端视场角、测量范围、最近测量距离等参数以及相机坐标系的定义,确定相机的可见域,在本申请实施例中约定xOy平面与测量平面平行,z轴正方向指向拍摄物体。
本申请实施例可以分为预先拍摄和正式拍摄两步。预先拍摄需使用头部模型作为参考,确定若干合适的拍摄视角。在正式拍摄时,基于相机初始视角和邻近视角的正式拍摄结果,本申请实施例提供一种三维相机的自适应距离控制方法调整相机与被试的距离。为保证拍摄效率,每个视角的调整不会超过2次。
预先拍摄的过程与相关技术相同,使用头部模型作为参考,通过自动布局或手动示教等方式定义多个测试视角。正式拍摄时,在任意位置,可以根据面部识别和/或邻近视角点云调整拍摄视角。在完成初始视角调整后,通过三维相机对被试头部进行拍摄,获取一幅三维点云。
步骤102,基于所述三维点云确定第一距离;所述第一距离为所述三维点云中离所述三维相机最近的点云与所述三维相机的距离。
具体地,在得到一幅三维点云的情况下,首先判断三维点云中的点云是否为空。如果点云为空集,说明被试与相机小于最近工作距离或最远工作距离,此时发出提示并暂停程序,可以通过人工拖动或发出指令等方式调整机械臂和三维相机到一个合适的视角。如果点云不为空集,则计算点云中离三维相机最近的点云与三维相机距离,即第一距离。
步骤103,基于所述第一距离,控制所述三维相机。
具体地,根据和预设的判定条件,控制三维相机调整与被试之间的距离。判定条件如下:
:
其中为相机最近测量距离,/>为相机重复精度,若/>在此范围内,说明可能有部分点因为与相机过近而没有被测量到,需要三维相机远离被试一段距离。这些过近点的真实坐标已经丢失了,但可以根据边界上点的梯度信息估计这些过近点中与相机最近点的z坐标,从而控制三维相机远离被试。在控制三维相机远离被试之后,可以根据判定条件重新判定一次,确保三维相机处于合适的距离。
若:
其中为一预设的可接受距离,若/>在此范围内,则不调整相机视角,将相机此时的视角定为正式视角,并在此拍摄点云。
若:
说明相机距离被试过远,需要将相机靠近被试。
本申请实施例提供的三维相机的自适应距离控制方法,通过获取三维点云与三维相机的最小距离,并根据最小距离和预设阈值之间的关系控制三维相机增大或减小与被试之间的距离,使对被试头部的拍摄可以完成自适应的调整,能够提高三维点云之间配准的准确性,从而提高合成点云的完整性。
在一些实施例中,所述基于所述第一距离,控制所述三维相机,包括:
在所述第一距离大于第一阈值且小于第二阈值的情况下,控制所述三维相机增大与被试头部的距离;所述第一阈值为三维相机的最近测量距离和三维相机重复精度的差,所述第二阈值为三维相机的最近测量距离和三维相机重复精度的和。
具体地,根据和预设的判定条件,控制三维相机调整与被试之间的距离。判定条件如下:
若:
其中为相机最近测量距离,/>为相机重复精度,若/>在此范围内,说明可能有部分点因为与相机过近而没有被测量到,需要三维相机远离被试一段距离。这些过近点的真实坐标已经丢失了,但可以根据边界上点的梯度信息估计这些过近点中与相机最近点的z坐标,从而控制三维相机远离被试。
本申请实施例提供的三维相机的自适应距离控制方法,通过获取三维点云与三维相机的最小距离,并根据最小距离和预设阈值之间的关系控制三维相机远离被试,使对被试头部的拍摄可以完成自适应的调整,能够提高三维点云之间配准的准确性,从而提高合成点云的完整性。
在一些实施例中,所述控制所述三维相机增大与被试头部的距离,包括:
基于所述三维点云边界上点云的梯度信息,确定第二距离,所述第二距离为所述三维点云边界上点云与所述三维点云中离所述三维相机最近的点云的距离;
基于所述第二距离,控制所述三维相机增大与被试头部的距离。
具体地,在判定三维相机需要远离被试的情况下,可以根据边界上点的梯度信息估计这些过近点中与相机最近点的z坐标,并根据坐标确定需要远离被试的距离,即第二距离。
在最近测量距离边界上的任意一点记为,/>。定义/>的“单位延长向量”/>为/>邻域内其他点到/>的平均位移向量,并将其单位化:
计算的倾角/>:
在最近测量平面上计算得到围成形状的面积/>,将形状简化为圆并得到半径。将过近点中与最近测量平面的距离/>估计为:
其中为所有/>求得的/>的平均值。
在实际情况下,由于头部的大部分表面都可视为凸面体(即带尖端的表面很少),因此这个估计是偏大的,可以预设一个小于1的修正因子/>和一个可移动的最大距离,防止出现异常大的移动:
可以得到需要三维相机从初始视角沿z轴移动/>。
本申请实施例提供的三维相机的自适应距离控制方法,通过三维点云边界上点云的梯度信息,确定三维相机需要远离被试的距离从而控制三维相机远离被试,使对被试头部的拍摄可以完成自适应的调整,能够提高三维点云之间配准的准确性,从而提高合成点云的完整性。
在一些实施例中,所述基于所述第一距离,控制所述三维相机,包括:
在所述第一距离大于第二阈值且小于第三阈值的情况下,控制所述三维相机对被试头部进行拍摄;所述第三阈值为三维相机的最近测量距离和预设距离的和。
具体地,根据和预设的判定条件,控制三维相机调整与被试之间的距离。若:
其中为一预设的可接受距离,若/>在此范围内,则不调整相机视角,将相机此时的视角定为正式视角,并在此拍摄点云。
本申请实施例提供的三维相机的自适应距离控制方法,通过获取三维点云与三维相机的最小距离,并根据最小距离和预设阈值之间的关系控制三维相机靠近或远离被试,使对被试头部的拍摄可以完成自适应的调整,能够提高三维点云之间配准的准确性,从而提高合成点云的完整性。
在一些实施例中,所述基于所述第一距离,控制所述三维相机,包括:
在所述第一距离大于第三阈值的情况下,控制所述三维相机减小与被试头部的距离。
具体地,根据和预设的判定条件,控制三维相机调整与被试之间的距离。若:
说明相机距离被试过远,需要将相机靠近被试。
本申请实施例提供的三维相机的自适应距离控制方法,通过获取三维点云与三维相机的最小距离,并根据最小距离和预设阈值之间的关系控制三维相机靠近被试,使对被试头部的拍摄可以完成自适应的调整,能够提高三维点云之间配准的准确性,从而提高合成点云的完整性。
在一些实施例中,所述控制所述三维相机减小与被试头部的距离,包括:
基于所述第一距离、相机的最近测量距离和预设距离,确定第三距离;
基于所述第三距离,控制所述三维相机减小与被试头部的距离。
具体地,在需要三维相机减小与被试距离的情况下,根据预设距离和三维相机的最近测量距离,确定需要靠近被试的距离,即第三距离:
将相机此时的视角定为正式视角,并在此拍摄点云/>。
本申请实施例提供的三维相机的自适应距离控制方法,通过预设距离和三维相机的最近测量距离,确定三维相机需要靠近被试的距离从而控制三维相机靠近被试,使对被试头部的拍摄可以完成自适应的调整,能够提高三维点云之间配准的准确性,从而提高合成点云的完整性。
在一些实施例中,所述方法还包括:
得到的被试面部的关键点;
配准所述被试面部的关键点和模型关键点,得到配准结果;所述模型关键点为预先对头部模型进行拍摄时得到的模型面部的关键点;
基于所述配准结果,调整所述三维相机与所述被试头部的距离。
具体地,每一个拍摄位置的正式拍摄分为两步:(1)拍摄前视角调整;(2)多视角拍摄与实时视角调整。
在拍摄前视角调整的过程中,可以通过面部识别调整所有相机视角。在拍摄被试面部,得到被试面部的对应关键点。将位于机械臂基坐标系的模型关键点与被试关键点配准,计算模型-被试位姿变换/>。将/>应用于所有测试视角/>,即更新相机坐标系-机械臂基坐标系变换/>:
以使所有相机视角都大致适应于被试当前的位姿。
本申请实施例提供的三维相机的自适应距离控制方法,通过对模型关键点与被试关键点进行配准,并根据配准结果调整拍摄视角,使对被试头部的拍摄可以完成自适应的调整,能够提高三维点云之间配准的准确性,从而提高合成点云的完整性。
在一些实施例中,所述方法还包括:
获取邻近视角拍摄的三维点云;
确定当前视角拍摄的三维点云与所述邻近视角拍摄的三维点云的最大重叠点云;
基于所述最大重叠点云,调整所述三维相机与所述被试头部的距离。
具体地,在拍摄前视角调整的过程中,可以根据邻近视角点云调整后续视角。为简单起见,我们只在相机空间z轴方向移动相机。形式化地,根据在三维相机视角/>拍摄与邻近视角拍摄的最大重叠点云/>估计相机移动量/>,并确定初始视角。
具体的,首先确定在测试视角/>中可见的点云/>:
若为空集,则不移动相机,初始视角/>直接为测试视角/>。
若不为空集,则计算/>到相机(测试视角/>)的平均距离/>。为了保证重叠部分到相机的距离与预先拍摄时尽可能保持一致,设置相机移动量/>。初始视角/>定义为相机从测试视角/>在z轴移动/>。
本申请实施例提供的三维相机的自适应距离控制方法,通过三维相机视角拍摄与邻近视角拍摄的最大重叠点云,确定需要调整拍摄视角的距离,使对被试头部的拍摄可以完成自适应的调整,能够提高三维点云之间配准的准确性,从而提高合成点云的完整性。
在一些实施例中,对被试头部进行拍摄,获取三维点云,包括:
在无法获取三维点云的情况下,调整所述三维相机与所述被试头部的距离。
具体地,在得到一幅三维点云的情况下,首先判断三维点云中的点云是否为空。如果点云为空集,说明被试与相机小于最近工作距离或最远工作距离,此时发出提示并暂停程序,可以通过人工拖动或发出指令等方式调整机械臂和三维相机到一个合适的视角。
本申请实施例提供的三维相机的自适应距离控制方法,通过获取三维点云与三维相机的最小距离,并根据最小距离和预设阈值之间的关系控制三维相机增大或减小与被试之间的距离,使对被试头部的拍摄可以完成自适应的调整,能够提高三维点云之间配准的准确性,从而提高合成点云的完整性。
下面以具体的例子,对上述实施例中的方法进行进一步说明。
本申请实施例可以分为预先拍摄和正式拍摄两步。
预先拍摄需使用头部模型作为参考,确定若干合适的拍摄视角。在正式拍摄时,基于相机初始视角和邻近视角的正式拍摄结果,本申请实施例提供一种三维相机的自适应距离控制方法调整相机与被试的距离。为保证拍摄效率,每个视角的调整不会超过2次。
在本申请实施例中约定xOy平面与测量平面平行,z轴正方向指向拍摄物体。根据相机的近端和远端视场角、测量范围、最近测量距离等参数以及相机坐标系的定义,确定相机的可见域:
其中,点坐标,齐次坐标/>,/>。
预先拍摄使用头部模型作为参考,通过自动布局或手动示教等方式(不限于)定义k个测试视角,并拍摄模型点云/>。每幅点云需要与其他点云有一定的重叠区域,以确保多幅点云配准的可行性。
利用已知的机械臂末端坐标系-机械臂基坐标系变换和相机坐标系-机械臂末端坐标系变换/>,将点云/>从原始相机坐标系变换到共同的机械臂基坐标系。并通过:
得到相机坐标系-机械臂基坐标系变换,记作。
可以采用点云配准方法将多幅点云图像逐幅配准到一幅上,确保可以成功得到完整的被试头部点云。得到配准后的多幅点云。其中,点云配准方法可以为迭代最近点(ICP)配准、正态分布变换(Normal Distribution Transform,NDT)等方法,本申请不对此进行限定。
在后续正式拍摄时需要通过面部识别调整所有视角的情况下,则第一视角在此情况下定为拍摄被试面部,在第一视角拍摄的点云中识别出模型面部关键点(如嘴角、眼角、鼻尖等)。
在后续正式拍摄时需要根据邻近视角点云调整后续视角的情况下,则计算配准后两两点云之间的重叠部分,与/>的重叠部分定义为:/>中与/>中最近点距离小于阈值/>的那些点。计算两两点云之间的重叠率,拍摄在/>前(即序号小于/>)且与/>有最大重叠的点云/>记为/>。计算/>与/>重叠部分到相机的平均距离/>。
图2是本申请实施例提供的三维相机的自适应距离控制方法的正式拍摄步骤框图,如图2所示,在正式拍摄的过程中,每一个拍摄位置的正式拍摄分为两步:(1)拍摄前视角调整;(2)拍摄时视角调整。定义正式拍摄时相机视角为,点云为,相机坐标系-机械臂基坐标系变换为/>。
可选的,进行拍摄前视角调整。
图3是本申请实施例提供的拍摄前调整初始视角的步骤框图,如图3所示,拍摄前视角调整可以分为两个方面,第一方面为通过面部识别进行视角调整,第二方面为根据邻近视角点云进行视角调整。这两个方面均为可选的,可以根据实际情况确定是否需要进行。
在确定需要进行拍摄前视角调整的情况下,可以先确定当前是否为第一个视角。
在确定当前为第一个视角,且在需要通过面部识别调整所有视角的情况下,通过面部识别调整所有相机视角。在拍摄被试面部,得到被试面部的对应关键点。将位于机械臂基坐标系的模型关键点与被试关键点配准,计算模型-被试位姿变换/>。将/>应用于所有测试视角/>,即更新相机坐标系-机械臂基坐标系变换/>:
以使所有相机视角都大致适应于被试当前的位姿。
在确定当前不为第一个视角,且在需要根据邻近视角点云调整后续视角的情况下,为简单起见,我们只在相机空间z轴方向移动相机。形式化地,根据在相机视角拍摄的最大重叠点云/>估计相机移动量/>,并确定初始视角/>。
具体的,首先确定在测试视角/>中可见的点云/>:
若为空集,则不移动相机,初始视角/>直接为测试视角/>。
若不为空集,则计算/>到相机(测试视角/>)的平均距离/>。为了保证重叠部分到相机的距离与预先拍摄时尽可能保持一致,设置相机移动量/>。初始视角/>定义为相机从测试视角/>在z轴移动/>。
然后进行拍摄时视角调整。
图4是本申请实施例提供的拍摄时视角调整的步骤框图,如图4所示,对于每次拍摄,首先从初始视角拍摄一幅点云。为了符号简便,规定位于相机坐标系下任意点的坐标表示为/>。
如果点云为空集,说明被试与相机小于最近工作距离或最远工作距离,此时发出提示并暂停程序,等待人工拖动机械臂和相机到一个合适的视角。
如果点云不为空集,则计算点云与相机最近距离并判定条件:
1、若:
其中为相机最近测量距离,/>为相机重复精度,若/>在此范围内,说明可能有部分点因为与相机过近而没有被测量到,需要相机远离被试一段距离。这些过近点的真实坐标已经丢失了,但可以根据边界上点的梯度信息估计这些过近点中与相机最近点的z坐标。在最近测量距离边界上的任意一点记为/>,/>。
定义的“单位延长向量”/>为/>邻域内其他点到/>的平均位移向量,并将其单位化:
计算的倾角/>:
在最近测量平面上计算得到围成形状的面积/>,将形状简化为圆并得到半径。将过近点中与最近测量平面的距离/>估计为:
其中为所有/>求得的/>的平均值。
在实际情况下,由于头部的大部分表面都可视为凸面体(即带尖端的表面很少),因此这个估计是偏大的,可以预设一个小于1的修正因子/>和一个可移动的最大距离,防止出现异常大的移动:
相机从初始视角沿z轴移动/>,拍摄后再次计算点云与相机最近距离/>,并重新判定条件1、2和3一次(使相机靠近、远离或不动)。将相机在最后的视角作为正式视角/>,并在此拍摄点云/>。
2、若:
其中为一预设的可接受距离,若/>在此范围内,则不调整相机视角,将相机此时的视角定为正式视角/>,并在此拍摄点云/>。
3、若:
说明相机距离被试过远,需要将相机靠近被试,移动量为:
将相机此时的视角定为正式视角,并在此拍摄点云/>。
本申请实施例提供的三维相机的自适应距离控制方法,通过获取三维点云与三维相机的最小距离,并根据最小距离和预设阈值之间的关系控制三维相机增大或减小与被试之间的距离,使对被试头部的拍摄可以完成自适应的调整,能够提高三维点云之间配准的准确性,从而提高合成点云的完整性。
图5是本申请实施例提供的三维相机的自适应距离控制装置的结构示意图,如图5所示,本申请实施例提供的三维相机的自适应距离控制装置,包括第一获取模块501,第一确定模块502,第一控制模块503,其中:
第一获取模块501,用于对被试头部进行拍摄,获取三维点云;
第一确定模块502,用于基于所述三维点云确定第一距离;所述第一距离为所述三维点云中离所述三维相机最近的点云与所述三维相机的距离;
第一控制模块503,用于基于所述第一距离,控制所述三维相机。
在一些实施例中,所述第一控制模块包括第一控制子模块:
所述第一控制子模块用于在所述第一距离大于第一阈值且小于第二阈值的情况下,控制所述三维相机增大与被试头部的距离;所述第一阈值为三维相机的最近测量距离和三维相机重复精度的差,所述第二阈值为三维相机的最近测量距离和三维相机重复精度的和。
在一些实施例中,所述第一控制子模块包括第一确定单元、第一控制单元,其中:
所述第一确定单元用于基于所述三维点云边界上点云的梯度信息,确定第二距离,所述第二距离为所述三维点云边界上点云与所述三维点云中离所述三维相机最近的点云的距离;
所述第一控制单元用于基于所述第二距离,控制所述三维相机增大与被试头部的距离。
在一些实施例中,所述第一控制模块包括第二控制子模块:
所述第二控制子模块用于在所述第一距离大于第二阈值且小于第三阈值的情况下,控制所述三维相机对被试头部进行拍摄;所述第三阈值为三维相机的最近测量距离和预设距离的和。
在一些实施例中,所述第一控制模块包括第三控制子模块:
所述第三控制子模块用于在所述第一距离大于第三阈值的情况下,控制所述三维相机减小与被试头部的距离。
在一些实施例中,所述第三控制子模块包括第二确定单元、第二控制单元,其中:
所述第二确定单元用于基于所述第一距离、相机的最近测量距离和预设距离,确定第三距离;
所述第二控制单元用于基于所述第三距离,控制所述三维相机减小与被试头部的距离。
在一些实施例中,所述三维相机的自适应距离控制装置还包括:
第一处理模块,用于得到的被试面部的关键点;
第一配准模块,用于配准所述被试面部的关键点和模型关键点,得到配准结果;所述模型关键点为预先对头部模型进行拍摄时得到的模型面部的关键点;
第一调整模块,用于基于所述配准结果,调整所述三维相机与所述被试头部的距离。
在一些实施例中,所述三维相机的自适应距离控制装置还包括:
第二获取模块,用于获取邻近视角拍摄的三维点云;
第二确定模块,用于确定当前视角拍摄的三维点云与所述邻近视角拍摄的三维点云的最大重叠点云;
第二调整模块,用于基于所述最大重叠点云,调整所述三维相机与所述被试头部的距离。
在一些实施例中,所述第一获取模块包括第一调整子模块:
所述第一调整子模块用于在无法获取三维点云的情况下,调整所述三维相机与所述被试头部的距离。
具体地,本申请实施例提供的上述三维相机的自适应距离控制装置,能够实现上述三维相机的自适应距离控制方法实施例所实现的所有方法步骤,且能够达到相同的技术效果,在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
图6是本申请实施例提供的电子设备的实体结构示意图,如图6所示,该电子设备可以包括:处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640,其中,处理器610,通信接口620,存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令,以执行三维相机的自适应距离控制方法,该方法包括:
对被试头部进行拍摄,获取三维点云;
基于所述三维点云确定第一距离;所述第一距离为所述三维点云中离所述三维相机最近的点云与所述三维相机的距离;
基于所述第一距离,控制所述三维相机。
此外,上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在一些实施例中,所述基于所述第一距离,控制所述三维相机,包括:
在所述第一距离大于第一阈值且小于第二阈值的情况下,控制所述三维相机增大与被试头部的距离;所述第一阈值为三维相机的最近测量距离和三维相机重复精度的差,所述第二阈值为三维相机的最近测量距离和三维相机重复精度的和。
在一些实施例中,所述控制所述三维相机增大与被试头部的距离,包括:
基于所述三维点云边界上点云的梯度信息,确定第二距离,所述第二距离为所述三维点云边界上点云与所述三维点云中离所述三维相机最近的点云的距离;
基于所述第二距离,控制所述三维相机增大与被试头部的距离。
在一些实施例中,所述基于所述第一距离,控制所述三维相机,包括:
在所述第一距离大于第二阈值且小于第三阈值的情况下,控制所述三维相机对被试头部进行拍摄;所述第三阈值为三维相机的最近测量距离和预设距离的和。
在一些实施例中,所述基于所述第一距离,控制所述三维相机,包括:
在所述第一距离大于第三阈值的情况下,控制所述三维相机减小与被试头部的距离。
在一些实施例中,所述控制所述三维相机减小与被试头部的距离,包括:
基于所述第一距离、相机的最近测量距离和预设距离,确定第三距离;
基于所述第三距离,控制所述三维相机减小与被试头部的距离。
在一些实施例中,所述方法还包括:
得到的被试面部的关键点;
配准所述被试面部的关键点和模型关键点,得到配准结果;所述模型关键点为预先对头部模型进行拍摄时得到的模型面部的关键点;
基于所述配准结果,调整所述三维相机与所述被试头部的距离。
在一些实施例中,所述方法还包括:
获取邻近视角拍摄的三维点云;
确定当前视角拍摄的三维点云与所述邻近视角拍摄的三维点云的最大重叠点云;
基于所述最大重叠点云,调整所述三维相机与所述被试头部的距离。
在一些实施例中,对被试头部进行拍摄,获取三维点云,包括:
在无法获取三维点云的情况下,调整所述三维相机与所述被试头部的距离。
具体地,本申请实施例提供的上述电子设备,能够实现上述执行主体为电子设备的方法实施例所实现的所有方法步骤,且能够达到相同的技术效果,在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,计算机程序可存储在非暂态计算机可读存储介质上,所述计算机程序被处理器执行时,计算机能够执行上述各方法所提供的三维相机的自适应距离控制方法,该方法包括:
对被试头部进行拍摄,获取三维点云;
基于所述三维点云确定第一距离;所述第一距离为所述三维点云中离所述三维相机最近的点云与所述三维相机的距离;
基于所述第一距离,控制所述三维相机。
又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各方法提供的三维相机的自适应距离控制方法,该方法包括:
对被试头部进行拍摄,获取三维点云;
基于所述三维点云确定第一距离;所述第一距离为所述三维点云中离所述三维相机最近的点云与所述三维相机的距离;
基于所述第一距离,控制所述三维相机。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
另外需要说明的是:本申请实施例中术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”所区别的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。
本申请实施例中术语“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本申请实施例中术语“多个”是指两个或两个以上,其它量词与之类似。
本申请中的“基于A确定B”表示确定B时要考虑A这个因素。并不限于“只基于A就可以确定出B”,还应包括:“基于A和C确定B”、“基于A、C和E确定B”、基于“A确定C,基于C进一步确定B”等。另外还可以包括将A作为确定B的条件,例如,“当A满足第一条件时,使用第一方法确定B”;再例如,“当A满足第二条件时,确定B”等;再例如,“当A满足第三条件时,基于第一参数确定B”等。当然也可以是将A作为确定B的因素的条件,例如,“当A满足第一条件时,使用第一方法确定C,并进一步基于C确定B”等。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种三维相机的自适应距离控制方法,其特征在于,包括:
对被试头部进行拍摄,获取三维点云;
基于所述三维点云确定第一距离;所述第一距离为所述三维点云中离所述三维相机最近的点云与所述三维相机的距离;
基于所述第一距离,控制所述三维相机。
2.根据权利要求1所述的三维相机的自适应距离控制方法,其特征在于,所述基于所述第一距离,控制所述三维相机,包括:
在所述第一距离大于第一阈值且小于第二阈值的情况下,控制所述三维相机增大与被试头部的距离;所述第一阈值为三维相机的最近测量距离和三维相机重复精度的差,所述第二阈值为三维相机的最近测量距离和三维相机重复精度的和。
3.根据权利要求2所述的三维相机的自适应距离控制方法,其特征在于,所述控制所述三维相机增大与被试头部的距离,包括:
基于所述三维点云边界上点云的梯度信息,确定第二距离,所述第二距离为所述三维点云边界上点云与所述三维点云中离所述三维相机最近的点云的距离;
基于所述第二距离,控制所述三维相机增大与被试头部的距离。
4.根据权利要求1所述的三维相机的自适应距离控制方法,其特征在于,所述基于所述第一距离,控制所述三维相机,包括:
在所述第一距离大于第二阈值且小于第三阈值的情况下,控制所述三维相机对被试头部进行拍摄;所述第三阈值为三维相机的最近测量距离和预设距离的和。
5.根据权利要求1所述的三维相机的自适应距离控制方法,其特征在于,所述基于所述第一距离,控制所述三维相机,包括:
在所述第一距离大于第三阈值的情况下,控制所述三维相机减小与被试头部的距离。
6.根据权利要求5所述的三维相机的自适应距离控制方法,其特征在于,所述控制所述三维相机减小与被试头部的距离,包括:
基于所述第一距离、相机的最近测量距离和预设距离,确定第三距离;
基于所述第三距离,控制所述三维相机减小与被试头部的距离。
7.根据权利要求1所述的三维相机的自适应距离控制方法,其特征在于,所述方法还包括:
得到的被试面部的关键点;
配准所述被试面部的关键点和模型关键点,得到配准结果;所述模型关键点为预先对头部模型进行拍摄时得到的模型面部的关键点;
基于所述配准结果,调整所述三维相机与所述被试头部的距离。
8.根据权利要求1所述的三维相机的自适应距离控制方法,其特征在于,所述方法还包括:
获取邻近视角拍摄的三维点云;
确定当前视角拍摄的三维点云与所述邻近视角拍摄的三维点云的最大重叠点云;
基于所述最大重叠点云,调整所述三维相机与所述被试头部的距离。
9.根据权利要求1所述的三维相机的自适应距离控制方法,其特征在于,对被试头部进行拍摄,获取三维点云,包括:
在无法获取三维点云的情况下,调整所述三维相机与所述被试头部的距离。
10.一种三维相机的自适应距离控制装置,其特征在于,包括:
第一获取模块,用于对被试头部进行拍摄,获取三维点云;
第一确定模块,用于基于所述三维点云确定第一距离;所述第一距离为所述三维点云中离所述三维相机最近的点云与所述三维相机的距离;
第一控制模块,用于基于所述第一距离,控制所述三维相机。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310885425.4A CN116614614B (zh) | 2023-07-19 | 2023-07-19 | 三维相机的自适应距离控制方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310885425.4A CN116614614B (zh) | 2023-07-19 | 2023-07-19 | 三维相机的自适应距离控制方法、装置及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116614614A true CN116614614A (zh) | 2023-08-18 |
CN116614614B CN116614614B (zh) | 2023-10-31 |
Family
ID=87685707
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310885425.4A Active CN116614614B (zh) | 2023-07-19 | 2023-07-19 | 三维相机的自适应距离控制方法、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116614614B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170119496A (ko) * | 2016-04-19 | 2017-10-27 | 광주과학기술원 | 3차원 객체 검출 및 자세추정 방법 |
CN107547798A (zh) * | 2017-08-09 | 2018-01-05 | 广东欧珀移动通信有限公司 | 拍摄对焦控制方法、装置和终端设备 |
CN110213491A (zh) * | 2019-06-26 | 2019-09-06 | Oppo广东移动通信有限公司 | 一种焦距调整方法、装置及存储介质 |
CN111009002A (zh) * | 2019-10-16 | 2020-04-14 | 贝壳技术有限公司 | 点云配准检测方法、装置以及电子设备、存储介质 |
CN114556904A (zh) * | 2020-12-30 | 2022-05-27 | 深圳市大疆创新科技有限公司 | 云台系统的控制方法、控制设备、云台系统和存储介质 |
KR20230082497A (ko) * | 2021-12-01 | 2023-06-08 | 한국전자통신연구원 | 3차원 포인트 클라우드를 이용한 구조물의 실시간 검진 자동화 방법 및 장치 |
-
2023
- 2023-07-19 CN CN202310885425.4A patent/CN116614614B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170119496A (ko) * | 2016-04-19 | 2017-10-27 | 광주과학기술원 | 3차원 객체 검출 및 자세추정 방법 |
CN107547798A (zh) * | 2017-08-09 | 2018-01-05 | 广东欧珀移动通信有限公司 | 拍摄对焦控制方法、装置和终端设备 |
CN110213491A (zh) * | 2019-06-26 | 2019-09-06 | Oppo广东移动通信有限公司 | 一种焦距调整方法、装置及存储介质 |
CN111009002A (zh) * | 2019-10-16 | 2020-04-14 | 贝壳技术有限公司 | 点云配准检测方法、装置以及电子设备、存储介质 |
CN114556904A (zh) * | 2020-12-30 | 2022-05-27 | 深圳市大疆创新科技有限公司 | 云台系统的控制方法、控制设备、云台系统和存储介质 |
KR20230082497A (ko) * | 2021-12-01 | 2023-06-08 | 한국전자통신연구원 | 3차원 포인트 클라우드를 이용한 구조물의 실시간 검진 자동화 방법 및 장치 |
Also Published As
Publication number | Publication date |
---|---|
CN116614614B (zh) | 2023-10-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Ferstl et al. | Image guided depth upsampling using anisotropic total generalized variation | |
CN109118545B (zh) | 基于旋转轴和双目摄像头的三维成像系统标定方法及系统 | |
US9841271B2 (en) | Three-dimensional measurement apparatus, processing method, and non-transitory computer-readable storage medium | |
JP5132832B1 (ja) | 計測装置および情報処理装置 | |
JP6478136B1 (ja) | 内視鏡システム、内視鏡システムの作動方法 | |
CN111951201B (zh) | 一种无人机航拍图像拼接方法、装置和存储介质 | |
CN105550992B (zh) | 一种三维全脸照相机中高保真全脸纹理融合方法 | |
CN111899305A (zh) | 一种相机自动标定优化方法及相关系统、设备 | |
JP2017123087A (ja) | 連続的な撮影画像に映り込む平面物体の法線ベクトルを算出するプログラム、装置及び方法 | |
CN111951335A (zh) | 确定相机标定参数的方法、装置、处理器和图像采集系统 | |
WO2023116430A1 (zh) | 视频与城市信息模型三维场景融合方法、系统及存储介质 | |
CN106908041A (zh) | 一种近场标定相机实施远场测量的方法和装置 | |
CN116614614B (zh) | 三维相机的自适应距离控制方法、装置及存储介质 | |
WO2021161878A1 (ja) | 画像処理装置、画像処理方法、学習済みモデルの生成方法、およびプログラム | |
CN112233161B (zh) | 手部图像深度确定方法、装置、电子设备及存储介质 | |
JP5111321B2 (ja) | 瞼尤度演算装置、及びプログラム | |
CN109859313B (zh) | 3d点云数据获取方法、装置、3d数据生成方法及系统 | |
WO2021056501A1 (zh) | 提取特征点的方法、可移动平台及存储介质 | |
CN113587895B (zh) | 双目测距方法及装置 | |
JP6991700B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
JP7063165B2 (ja) | 計測装置、計測方法及び計測プログラム | |
JP6061631B2 (ja) | 計測装置、情報処理装置、計測方法、情報処理方法、および、プログラム | |
JP2006065472A (ja) | 3次元モデル生成装置および方法 | |
CN117073988B (zh) | 抬头显示虚像距离测量系统及方法、电子设备 | |
GB2533449B (en) | Configuration settings of a digital camera for depth map generation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |