CN113947658A - 水下三维重构装置以及方法 - Google Patents

水下三维重构装置以及方法 Download PDF

Info

Publication number
CN113947658A
CN113947658A CN202110710670.2A CN202110710670A CN113947658A CN 113947658 A CN113947658 A CN 113947658A CN 202110710670 A CN202110710670 A CN 202110710670A CN 113947658 A CN113947658 A CN 113947658A
Authority
CN
China
Prior art keywords
parameters
underwater
camera
sets
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110710670.2A
Other languages
English (en)
Inventor
池上温史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Furuno Electric Co Ltd
Original Assignee
Furuno Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Furuno Electric Co Ltd filed Critical Furuno Electric Co Ltd
Publication of CN113947658A publication Critical patent/CN113947658A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本公开提供一种在水下条件下使用立体相机实行对目标的图像的正确3D重构的水下三维重构装置(100)以及方法。水下三维重构装置(100)包括立体相机(105，110)、数据存储装置(130)以及3D重构模块(150)。立体相机(105，110)包括第一相机及第二相机，第一相机及第二相机拍摄目标在水下环境中的一对照片。数据存储装置(130)存储多组参数，所述多组参数中的每一组对立体相机进行建模以使立体相机生成水下目标在距立体相机一距离处的照片。所述多组参数以不同的距离对立体相机进行建模。3D重构模块(150)基于目标在所述一对照片上的2D位置以及从所述多组参数中选择的所选组来计算目标的3D位置。

Description

水下三维重构装置以及方法
技术领域
本文中阐述的本主题涉及对鱼图像进行重构的技术领域。本主题具体来说涉及一种基于立体相机&相机校准进行水下鱼大小测量的装置。
背景技术
背景说明包括在理解本发明方面可为有用的信息。并不承认本文中提供的信息中的任意者是先前技术或与当前主张的发明相关，或者不承认以具体或隐含方式引用的任何出版物是先前技术。
水产品在满足人类蛋白质需求方面发挥着重要作用。为了高效地对鱼类资源进行可持续管理，渔民必须适当地捕鱼并获得有意义的信息。在捕鱼作业期间，预先了解鱼大小是重要的，因为大小过小和/或品质低的鱼可导致经济上不可持续的作业。在没有生物采样的条件下获得鱼大小估计值(estimate)也是例如水面照相装置及水下照相装置等自主平台的意义所在。
正确估计鱼大小成为评价鱼类资源状况(stock status)以及增加水产产业的经济效益的重要参数。在鱼类养殖中，收集鱼大小信息来阐述及管理鱼的生长对于在最佳时间收获鱼是必要的。鱼大小可用来预测一系列的种群水平特征及评估饲养活动的鱼量。对鱼大小进行确定在市场上得到应用，应在收获之后将鱼按大小分类，以估计价值。这一步是设定不同价格及管理市场经济所必需的。同时，大小信息可用于在食品工业中对品质进行监控，这可帮助水产产业评估价格。大小信息还有助于测量鱼的生物量及形态(例如体积)，以及甚至对脂肪含量进行估计。因此，鱼大小是水产产业所必需的重要参数。
传统方法公开使用水下立体相机及三维(Three Dimensional，3D)重构技术来计算鱼大小。
当实行鱼大小测量时，相机处于多媒介(空气、水、透明窗口)条件下，此将造成折射。采用几种已知的相机校准技术来消除折射条件。相机校准技术估计相机的镜头及图像传感器的参数。这些参数用于校正镜头畸变(lens distortion)，以世界单位测量对象的大小，或确定对象在场景中的位置。所述参数可包括内部系数、外部系数及畸变系数。为了估计相机参数，需要3D世界点及它们对应的2D图像点。这些对应是使用校准图案的多个图像获得的。使用所述对应，对相机参数进行求解。
在其他已知的技术中，在装置中使用针孔相机来确定大小。针孔相机模型不考虑折射。针孔相机模型是单焦距模型，但由于折射，焦距及畸变系数不是常数。
针孔相机模型常常通过以下方程式来表示：s[x y 1]T＝A[R t][X Y Z 1]T…(方程式1)
其中：
·x、y是像素坐标中的2D点位置
·X、Y、Z是世界坐标中的3D位置
·s是比例因子
·A，内部矩阵，是由5个内部参数构成的矩阵
Figure BDA0003133594790000021
其中α及β以像素表示焦距。
·[R t]，外部参数，是将世界坐标系与相机坐标系联系起来的旋转及平移。
相机模型还包括镜头畸变，镜头畸变包括径向镜头畸变及切向镜头畸变。
径向畸变参数如下对径向畸变进行建模：
xdistorted＝x(1+k1*r2+k2*r4+k3*r6)
ydistorted＝y(1+k1*r2+k2*r4+k3*r6)
切向畸变参数如下对切向畸变进行建模：
xdistorted＝x+[2*p1*x*y+p2*(r2+2*x2)]
ydistorted＝y+[p1*(r2+2*y2)+2*p2*x*y]
其中：
·x、y是未畸变的像素位置
·xdistorted、ydistorted是畸变点
·k1、k2、k3是镜头的径向畸变系数
·p1、p2是镜头的切向畸变系数
·r2＝x2+y2
这些内部参数、外部参数及畸变系数的计算以及3D重构使得能够计算物体(优选水下的鱼)的大小。这些参数及系数可通过校准来估计。存在许多校准方法(例如张氏法、蔡氏法)用于此些技术中。
本发明解决的问题是，当实行3D重构及测量鱼大小的相机位于水下环境中时，存在折射，并且焦距及畸变系数不保持恒定。此种情况导致使用错误的鱼大小测量进行不正确的3D重构。根据现有的方法，将相机放置在防水壳体中，防水壳体在镜头前面具有透明窗口。作为从水下目标(例如，鱼)反射到相机的光线，它必须穿行过会导致折射的不同的媒介(即，水、透明窗口及空气)。由于折射，相机的参数根据目标对象与相机之间的距离而改变。因此，无法精确计算水下目标的大小。
先前技术中论述了一些传统对策。先前技术提出在相机的镜头上装配防水罩(water house)，从而消除折射的装置。此种装置结构复杂且不容易使用。
先前技术WO2019/188506公开一种鱼大小计算装置。先前技术公开一种基于相机的鱼长计算系统。使用传统方法(例如直接线性变换解法(Direct LinearTransformation，DLT))实行相机的校准。根据鱼与相机之间的距离，使用此校准系统计算鱼的长度时出现的误差是已知的，并且所述误差得到校正。此种方法具有以下缺点：由于当鱼在垂直于相机且与相机相交的轴上时，它似乎提供正确的目标大小信息，但是当鱼远离此轴时，所述方法似乎提供不正确的读数。
本发明通过正确实行3D重构且因此使用立体相机及校准技术正确计算水下目标大小来解决问题。将本发明的立体相机校准以获得一组内部参数及外部参数以及多个距离处的畸变系数。在校准后，实行3D重构以提供正确的鱼大小。
发明内容
在本公开中提供对现有发明的一个或多个缺点的解决方案以及附加优点。通过本公开的技术细节实现附加的特征及优点。本公开的其他实施例及方面在本文中得到详细阐述，并且被认为是所主张公开的一部分。
本公开涉及一种水下目标的水下三维重构装置，所述水下三维重构装置包括立体相机、数据存储装置以及3D重构模块。所述立体相机包括第一相机及第二相机，所述第一相机及所述第二相机被配置成拍摄目标在水下环境中的一对照片。所述数据存储装置被配置成存储多组参数，所述多组参数中的每一组对所述立体相机进行建模以使所述立体相机生成水下目标在距所述立体相机一距离处的照片。所述多组参数以不同的距离对所述立体相机进行建模。所述3D重构模块被配置成基于所述目标在所述一对照片上的2D位置以及从所述多组参数中选择的所选组来计算所述目标的3D位置。
在本发明的一个方面中，距离计算模块被配置成基于所述目标在所述一对照片上的2D位置来计算所述目标与所述立体相机之间的距离。组选择模块被配置成基于所计算的所述距离来选择所述所选组。
优选地，所述组选择模块被配置成通过从所述多组参数中选择一组来选择所述所选组，在所述多组参数中，所述所选组的所述距离最接近所计算的所述距离。
在本发明的另一方面中，所述组选择模块被配置成通过从所述多组参数中选择第一组及第二组来选择所述所选组，所述第一组及所述第二组的所述距离分别在所计算的所述距离的两侧中的任一者上最接近所计算的所述距离。所述3D重构模块被配置成根据所述第一组及所述第二组计算内插组，并基于所述内插组计算所述目标的所述3D位置。
在本发明的另一方面中，所述距离计算模块被配置成使用所述多组参数中的一组来计算所述距离。
在本发明的又一方面中，所述距离计算模块被配置成使用所述立体相机的焦距及水相对于空气的折射率来计算所述距离。
在本发明的一个方面中，所述多组参数中的每一组是通过使用放置在所述组所要获得的所述距离附近的水下目标对所述立体相机进行校准来获得的。
优选地，所述多组参数中的每一组参数的所述参数包括针孔相机模型的参数。
优选地，所述多组参数中的每一组参数的所述参数还包括镜头畸变系数。
在本发明的方面中，防水壳体对空气及所述立体相机进行封闭，且包含光透明材料，所述立体相机经过所述光透明材料拍摄所述目标的所述照片。
在本发明的方面中，所述第一相机包括在所述第一相机内布置在固定位置中的一个或多个镜头元件，且所述第二相机包括在所述第二相机内布置在固定位置中的一个或多个镜头元件。
在本发明的方面中，所述立体相机被布置成经过多种不同的媒介拍摄所述目标的照片，且所述多组参数被布置成补偿由所述多种不同的媒介造成的折射。
根据本公开的另一方面涉及一种方法，所述方法包括：使用立体相机拍取目标在水下环境中的一对照片；存储多组参数，所述多组参数中的每一组对所述立体相机进行建模以使所述立体相机生成水下目标在距所述立体相机一距离处的照片，其中，所述多组参数以不同的距离对所述立体相机进行建模；以及基于所述目标在所述一对照片上的2D位置及从所述多组参数中选择的所选组来计算所述目标的3D位置。
前述发明内容仅是例示性的且并不旨在以任何方式进行限制。除了上述例示性的方面、实施例和特征之外，通过参照图式和以下详细说明，进一步的方面、实施例和特征将变得显而易见。
[发明效果]
本发明提供一种在水下条件下使用立体相机实行对目标的图像的正确3D重构的水下三维重构装置。所述水下三维重构装置会消除对以下的要求：将考虑多种媒介的特殊模型；或者使用传统针孔相机模型，使用传统校准方法消除折射(防水罩)的特殊相机。
附图说明
然而，应注意，附图仅示出本主题的典型实施例，且因此不应被认为是对其范围的限制。参照附图阐述详细说明。在图中，参考编号标识出其中参考编号首次出现的图。在所有图中使用相同的编号来指代相同的特征及组件。现在通过实例并参照附图来阐述根据本主题的实施例的系统或方法或结构的一些实施例，其中：
图1是例示本发明的结构特征的方块图。
图2例示出置于水下条件下的水下三维重构装置。
图3是例示根据本发明对目标的3D图像进行重构的过程的一个实例的流程图。
图4是示出根据本发明实行校准的过程的一个实例的流程图。
图5例示出第一相机及第二相机内的简化结构。
图仅出于例示的目的来绘示本主题的实施例。所属领域中的技术人员将根据以下说明容易地认识到，在不背离本文中阐述的公开内容的原理的条件下，可采用本文中示出的结构及方法的替代实施例。
具体实施方式
本发明的实施例使用立体相机系统来测量鱼大小。作为一般规则，必须对相机进行校准。然而，当相机被放置在防水壳体中，且然后被放置在水环境中时，本发明人发现，由于发生折射，校准参数根据待测量目标(鱼)与相机之间的距离而改变。为了解决此问题，在本发明的实施例中，在距立体相机的多个距离处实行校准。因此将创建的多组校准参数预先存储在数据存储装置中。然后，当立体相机探测到鱼时，计算到鱼的粗略距离。基于所计算的粗略距离，从存储在数据存储装置中的所述多个组中选择一组校准参数。然后，使用所选的一组校准参数通过三角测量来计算鱼的大小。
参照图1及图3，例示出用于实行目标(优选鱼)的3D重构的水下三维重构装置100。在实施例中，水下三维重构装置100包括：立体相机，包括第一相机105，305及第二相机110，310；目标探测模块312；配对模块313；距离计算模块120，320；组选择模块140，340；数据存储装置130；以及3D重构模块150，350。
图5示出第一相机105，305及第二相机110，310内的简化结构。第一相机及第二相机中的每一者包括图像传感器51、针孔52及镜头53。镜头53由一个或多个镜头元件531构成。来自场景的光54穿过镜头53、针孔52并投射到图像传感器51上。在本发明的实施例中，图像传感器51与镜头53之间的距离是固定的，并且针孔52与镜头53之间的距离是固定的。当镜头53由多于一个镜头元件531构成时，镜头元件531之间的间距也是固定的。因此，第一相机包括在第一相机内布置在固定位置中的一个或多个镜头元件531，且第二相机包括在第二相机内布置在固定位置中的一个或多个镜头元件531。
在本发明的实施例中，在使用水下三维重构装置100实行3D重构之前，实行内部校准(in-house calibration)步骤。参照图2。在其中发生折射的多媒介环境中，针孔相机模型的参数及畸变系数根据目标255相对于立体相机205，210的位置而改变。为此，立体相机以如下方式进行校准，参照图4：
a)使用传统的校准方法(例如张氏校准方法及类似的方法)，在媒介中，优选在水260中，在距立体相机205，210的多个距离处实行校准。将立体相机放置在防水壳体201中，防水壳体201对空气265进行封闭，且包含光透明材料202，立体相机经过光透明材料202拍摄目标(例如棋盘)的照片。为了在所述多个距离处实行校准，将棋盘放置在所述距离附近(步骤S41)。
b)此使得能够创建多组参数。所述多组参数中的每一组包括针孔相机模型的内部参数及外部参数。所述多组参数中的每一组还优选地包括径向镜头畸变系数及切向透镜畸变系数。针对已实行校准的多个距离中的每一者，获得所述组。举例来说，在距离1处获得组1，…，在距离n处获得组n。数据存储装置130被配置成存储所述多组参数(步骤S42)。所述多组参数中的每一组对立体相机进行进行建模以使立体相机生成水下目标在距立体相机的已实行校准的一距离处的照片。应理解，来自所述多组参数的组正以不同的距离对立体相机进行建模。
c)一旦实行使用上述步骤的内部校准，便可实行以下3D重构。
参照图2，将立体相机105，205，110，210放置在防水壳体201中，防水壳体201对空气265进行封闭且包含光透明材料202，立体相机经过光透明材料拍摄目标255的照片。
立体相机105，305，110，310被配置成使用相机同步频闪(strobe)模块拍摄一对照片311。立体相机105，305，110，310被配置成使用传统上通过例如使用通用输入/输出(General Purpose Input/output，GPIO)同步、总线时间戳同步、声音信号同步或类似方法完成的同步，在相同或几乎相同的定时处拍摄一对照片311。
目标探测模块312被配置成实行在每一照片311上探测鱼的任务。示出鱼上的点来指示所探测到的鱼的存在。在替代方案中，代替点，填充区域或矩形框传统上也用于指示所探测到的鱼的存在。此过程传统上由处理器电路系统及一些相机执行。建议使用例如以下传统的点探测方法来实行探测鱼的任务：机器学习、特征点探测、边缘探测技术。
配对模块313被配置成对每对照片311上的鱼进行配对。配对模块313对所述一对照片上的对应的鱼进行配对。显而易见的是，存在例如以下几种传统的配对方法可供使用：块匹配，有或没有机器学习能力。
距离计算模块120，320被配置成计算目标与立体相机之间的距离的粗略估计。距离计算是基于所述一对照片上的目标的2D位置。
在本发明的特征中，距离计算模块120，320被配置成使用如下方法来计算距离：
a)获取针孔相机模型的参数及制造商在相机的规格中提供的畸变系数。这些参数常常是从制造商的设计规格中提供的设计参数，且实际上在相机的生产之后制造商不会测量这些参数。
b)由于假设制造商的规格是为在空气中使用相机而制定的，因此将与焦距相关的参数(即，α及β)乘以水相对于空气的折射率(即1.33)。
c)规格中未提供的参数及系数使用默认值。
d)使用这些参数及系数计算在步骤312处探测到的目标的距离，以及使用例如三角测量原理计算目标在所述一对照片311上的2D位置。
在本发明的另一特征中，距离计算模块120，320被配置成使用如下方法来计算距离：
a)假设已预先在空气中校准立体相机105，110，305，310，获取针孔相机模型的所得参数及畸变系数。这些参数因此被存储在数据存储装置130中。
b)将与焦距(即，α及β)相关的参数乘以水相对于空气的折射率(即，1.33)。
c)使用这些参数及系数计算在步骤312处探测到的目标的距离，以及使用例如三角测量原理计算目标在所述一对照片上的2D位置。
在本发明的优选特征中，距离计算模块120，320被配置成使用如下方法来计算距离：
a)从数据存储装置130检索在水中在内部校准期间获取的所述组参数组中的一者。可选择所述组参数中的任一组。
b)使用所检索的所述组参数计算在步骤312处探测到的目标的距离，以及使用例如三角测量原理计算目标在所述一对照片上的2D位置。
组选择模块140，340被配置成基于在内部校准期间获得的所述多个组且基于由距离计算模块120，320计算的目标与相机之间的粗略距离来计算包括内部参数及外部参数以及畸变系数的组。在优选实施例中，从在内部校准期间获得的所述多个组(距离1处的组1、…、距离n处的组n)中，例如通过选择其距离最接近在步骤320处获得的粗略距离的组来选择所述组中的一者。举例来说，如果存在0.3m、0.5m、1m、2m及5m的组，且在步骤320处获取的粗略距离是3m，则组选择模块140，340可选择2m的组作为所选组，因为它是最接近的组。应理解，所述多个组被存储在数据存储装置130中且组选择模块140，340被配置成选择所述组。可由3D重构模块150，350基于所选组来计算目标的3D重构。
在另一实施例中，组选择模块140，340被配置成从所述多个组中选择距离最接近在步骤320处获取的粗略距离的第一组及第二组(即两个组)。举例来说，如果存在0.3m、0.5m、1m、2m及5m的组，且在步骤320处获取的粗略距离是3m，则组选择模块140、340可选择2m的组作为第一组以及5m的组作为第二组，因为它们是两个最接近的组。此后，组选择模块140，340根据第一组及第二组计算内插组。可通过基于例如目标相对于第一组及第二组的相对位置来设定对第一组及第二组的加权而根据第一组及第二组内插计算内插组，所述第一组及第二组分别是在距立体相机第一距离及第二距离处获取的。如果目标位于第一距离与第二距离之间，则在距第一组第一距离的距离n1处及距第二组第二距离的距离n2处，当实行加权内插时，可对第一组设定n2/(n1+n2)的加权且可对第二组设定n1/(n1+n2)的加权。可由3D位置重构模块150，350基于内插组来计算目标的3D重构。
3D位置重构模块150，350被配置成使用由组选择模块140，340计算的所述组参数将探测到的目标在所述一对照片上的2D位置转换成3D位置。存在用于2D到3D形式转换的几种传统转换方法，并且本发明被配置成在不增加对可在本发明中使用的形式转换类型的限制的条件下使用三角测量。使用由组选择模块140，340计算的所述组参数方程式1中的A、R、t基于方程式1实行从探测到的目标的2D位置到3D位置的转换。
随后，由于可由3D位置重构模块150，350将在所述一对照片上探测到的目标上的任何2D位置转换成3D位置，因此水下三维重构装置100可通过计算目标上的两个位置之间的距离来计算目标的大小。举例来说，可通过将所述一对照片上的鱼的头部的2D位置及鱼的尾部的2D位置转换成3D位置以及通过计算鱼的头部的3D位置与鱼的尾部的3D位置之间的距离来计算鱼的长度。
现在将阐述本发明的实施例的技术效果。传统上，使用立体相机进行的水下3D重构是使用单组校准参数来实行的。然而，当在水下实行3D重构时，由于立体相机处于多媒介(空气、水、透明窗口)环境中，因此会造成折射。因此，立体相机的校准参数会根据与立体相机的距离而改变。
为了解决此问题，在本公开的实施例中，在距立体相机多个距离处对立体相机进行校准。当实行目标的3D重构时，使用已在接近目标的距离的距离处获得的校准参数来对目标进行重构。因此，可实现更精确的3D重构。

Claims (14)

1.一种水下三维重构装置(100)，其特征在于，包括：
立体相机(105，110)，包括第一相机及第二相机，所述第一相机及所述第二相机被配置成拍摄目标在水下环境中的一对照片；
数据存储装置(130)，被配置成存储多组参数，所述多组参数中的每一组对所述立体相机(105，110)进行建模以使所述立体相机(105，110)生成水下目标在距所述立体相机(105，110)一距离处的照片，其中所述多组参数以不同的距离对所述立体相机进行建模；以及
三维重构模块(150)，被配置成基于所述目标在所述一对照片上的二维位置以及从所述多组参数中选择的所选组来计算所述目标的三维位置。
2.根据权利要求1所述的水下三维重构装置，其特征在于，还包括：
距离计算模块(120)，被配置成基于所述目标在所述一对照片上的二维位置来计算所述目标与所述立体相机(105，110)之间的距离；以及
组选择模块(140)，被配置成基于所计算的所述距离来选择所述所选组。
3.根据权利要求2所述的水下三维重构装置，其特征在于，
所述组选择模块(140)被配置成通过从所述多组参数中选择一组来选择所述所选组，在所述多组参数中，所述所选组的所述距离最接近所计算的所述距离。
4.根据权利要求2所述的水下三维重构装置，其特征在于，
所述组选择模块(140)被配置成通过从所述多组参数中选择第一组及第二组来选择所述所选组，所述第一组及所述第二组的所述距离分别在所计算的所述距离的两侧中的任一者上最接近所计算的所述距离。
5.根据权利要求4所述的水下三维重构装置，其特征在于，
所述三维重构模块(150)被配置成根据所述第一组及所述第二组计算内插组，并基于所述内插组计算所述目标的所述三维位置。
6.根据权利要求2至5中任一项所述的水下三维重构装置，其特征在于，
所述距离计算模块(120)被配置成使用所述多组参数中的一组来计算所述距离。
7.根据权利要求2至5中任一项所述的水下三维重构装置，其特征在于，
所述距离计算模块(120)被配置成使用所述立体相机(105，110)的焦距及水相对于空气的折射率来计算所述距离。
8.根据前述权利要求中任一项所述的水下三维重构装置，其特征在于，
所述多组参数中的每一组是通过使用放置在所述组所要获得的所述距离附近的水下目标对所述立体相机(105，110)进行校准来获得的。
9.根据前述权利要求中任一项所述的水下三维重构装置，其特征在于，
所述多组参数中的每一组参数的所述参数包括针孔相机模型的参数。
10.根据权利要求9所述的水下三维重构装置，其特征在于，
所述多组参数中的每一组参数的所述参数还包括镜头畸变系数。
11.根据前述权利要求中任一项所述的水下三维重构装置，其特征在于，还包括：
防水壳体(201)，对空气(265)及所述立体相机(105，110)进行封闭，且包含光透明材料(202)，所述立体相机(105，110)经过所述光透明材料(202)拍摄所述目标的所述照片。
12.根据前述权利要求中任一项所述的水下三维重构装置，其特征在于，
所述第一相机包括在所述第一相机内布置在固定位置中的一个或多个镜头元件(531)；且
所述第二相机包括在所述第二相机内布置在固定位置中的一个或多个镜头元件(531)。
13.根据前述权利要求中任一项所述的水下三维重构装置，其特征在于，
所述立体相机被布置成经过多种不同的媒介拍摄所述目标的照片，且
所述多组参数被布置成补偿由所述多种不同的媒介造成的折射。
14.一种水下三维重构方法，其特征在于，包括：
使用立体相机拍取目标在水下环境中的一对照片；
存储多组参数，所述多组参数中的每一组对所述立体相机进行建模以使所述立体相机生成水下目标在距所述立体相机一距离处的照片，其中所述多组参数以不同的距离对所述立体相机进行建模；以及
基于所述目标在所述一对照片上的二维位置及从所述多组参数中选择的所选组来计算所述目标的三维位置。
CN202110710670.2A 2020-07-16 2021-06-25 水下三维重构装置以及方法 Pending CN113947658A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
EP20186341.2 2020-07-16
EP20186341.2A EP3940642A1 (en) 2020-07-16 2020-07-16 Underwater 3d reconstruction device
EP21150369.3 2021-01-06
EP21150369.3A EP3940643A1 (en) 2020-07-16 2021-01-06 Underwater 3d reconstruction device

Publications (1)

Publication Number Publication Date
CN113947658A true CN113947658A (zh) 2022-01-18

Family

ID=71661793

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110710670.2A Pending CN113947658A (zh) 2020-07-16 2021-06-25 水下三维重构装置以及方法

Country Status (4)

Country Link
EP (2) EP3940642A1 (zh)
JP (1) JP7245291B2 (zh)
CN (1) CN113947658A (zh)
CL (1) CL2021001500A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102456515B1 (ko) * 2020-11-04 2022-10-18 포항공과대학교 산학협력단 수중 물체에 대한 3차원 광학 체적 모델을 획득하는 방법 및 시스템
KR102456516B1 (ko) * 2020-11-04 2022-10-18 포항공과대학교 산학협력단 수중 물체에 대한 3차원 음향 체적 모델을 획득하는 방법 및 시스템
US20240070915A1 (en) * 2022-08-23 2024-02-29 Motional Ad Llc Maintaining intrinsic calibration of cameras with in-body image stabilization systems

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4916280B2 (ja) * 2006-08-17 2012-04-11 国立大学法人 宮崎大学 自動キャリブレーション装置、及びキャリブレーション方法
US20130002826A1 (en) * 2010-04-06 2013-01-03 Eiji Ishiyama Calibration data selection device, method of selection, selection program, and three dimensional position measuring apparatus
JP2014098576A (ja) * 2012-11-13 2014-05-29 Iwate Univ モーションキャプチャー方法及びこのモーションキャプチャー方法を行うモーションキャプチャー装置
PH12016000469A1 (en) * 2016-12-15 2018-06-25 Univ Of The Philippines Diliman Estimating fish size, population density, species distribution and biomass
JP7056660B2 (ja) * 2017-07-21 2022-04-19 日本電気株式会社 較正方法
WO2019188506A1 (ja) 2018-03-26 2019-10-03 日本電気株式会社 情報処理装置、物体計測システム、物体計測方法およびプログラム記憶媒体
JP6694039B1 (ja) * 2018-11-22 2020-05-13 株式会社アイエンター 魚体サイズ算出装置

Also Published As

Publication number Publication date
EP3940642A1 (en) 2022-01-19
JP7245291B2 (ja) 2023-03-23
CL2021001500A1 (es) 2021-12-31
EP3940643A1 (en) 2022-01-19
JP2022019593A (ja) 2022-01-27

Similar Documents

Publication Publication Date Title
CN113947658A (zh) 水下三维重构装置以及方法
Shortis Calibration techniques for accurate measurements by underwater camera systems
Shortis et al. Design and calibration of an underwater stereo-video system for the monitoring of marine fauna populations
Bryson et al. True color correction of autonomous underwater vehicle imagery
US9367930B2 (en) Methods and systems for determining fish catches
Shortis Camera calibration techniques for accurate measurement underwater
US10404969B2 (en) Method and apparatus for multiple technology depth map acquisition and fusion
Sedlazeck et al. 3d reconstruction based on underwater video from rov kiel 6000 considering underwater imaging conditions
KR101626072B1 (ko) 영상 보정 장치 및 영상 보정 방법
CN109961468A (zh) 基于双目视觉的体积测量方法、装置及存储介质
CN114241031B (zh) 基于双视角融合的鱼类体尺测量和体重预测的方法及装置
EP2662833B1 (en) Light source data processing device, method and program
CN111150175A (zh) 一种双足三维扫描方法、装置及系统
JP7074185B2 (ja) 特徴推定装置および特徴推定方法、プログラム
CN110738703A (zh) 定位方法及装置、终端、存储介质
CN112816967B (zh) 图像距离测量方法、装置、测距设备和可读存储介质
CN113313833A (zh) 一种基于3d视觉技术的猪体重预估方法
JPWO2019225682A1 (ja) 三次元再構成方法および三次元再構成装置
JPWO2019198701A1 (ja) 分析装置、分析方法、プログラムおよび水中生物監視システム
CN117178161A (zh) 计算机程序、模型生成方法、推断方法以及推断装置
CN112261399B (zh) 胶囊内窥镜图像三维重建方法、电子设备及可读存储介质
Helmholz et al. Accuracy assessment of go pro hero 3 (Black) camera in underwater environment
CN110702066B (zh) 一种水下双目相机视觉定位方法
WO2022061899A1 (zh) 红外图像处理方法、装置及红外相机
Shortis et al. The design, calibration and stability of an underwater stereo-video system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination