CN117501315A - 图像处理装置、图像处理方法及程序 - Google Patents

图像处理装置、图像处理方法及程序 Download PDF

Info

Publication number
CN117501315A
CN117501315A CN202280043352.8A CN202280043352A CN117501315A CN 117501315 A CN117501315 A CN 117501315A CN 202280043352 A CN202280043352 A CN 202280043352A CN 117501315 A CN117501315 A CN 117501315A
Authority
CN
China
Prior art keywords
dimensional
dimensional coordinates
image
camera
positions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280043352.8A
Other languages
English (en)
Inventor
菊池浩明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN117501315A publication Critical patent/CN117501315A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/21—Collision detection, intersection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种图像处理装置的处理器，其执行如下处理：获取能够确定多个测定点的位置的三维测距传感器系统三维坐标且由适用于三维测距传感器的三维坐标系规定的三维测距传感器系统三维坐标，根据三维测距传感器系统三维坐标来获取摄像装置系统三维坐标，将摄像装置系统三维坐标转换为能够确定摄像图像内的位置的摄像装置系统二维坐标，将摄像装置系统三维坐标转换为能够确定画面内的位置的显示系统二维坐标，将构成摄像图像的像素分配到画面内的根据利用摄像装置系统二维坐标和显示系统二维坐标的插值法确定的插值位置。

Description

图像处理装置、图像处理方法及程序
技术领域
本发明的技术涉及一种图像处理装置、图像处理方法及程序。
背景技术
日本特开2012-220471号公报中公开有一种展开图生成装置。日本特开2012-220471号公报所记载的展开图生成装置具备：存储机构，存储拍摄隧道的壁面来获得的图像及具有通过对壁面进行激光扫描测量来获得的壁面的多个测量点的坐标值及反射强度值的测量点数据；转换机构，进行将壁面的多个测量点配置于壁面的展开图的坐标转换；对照机构，根据反射强度值，进行图像与经坐标转换的多个测量点的对位；位移形状生成机构，根据经坐标转换的多个测量点的坐标，生成通过赋予反映出与壁面的展开平面正交的方向的坐标的值的凹凸形状而成的位移形状；及描绘机构，在位移形状上描绘已进行对位的图像的图案。
日本特开2017-106749号公报中公开有一种点云数据(point cloud data)获取系统，其具备具有第1电子设备及一个以上的可移动的第2电子设备的第1电子设备组，获取以像素单位具有被摄体的表面的各点为止的深度信息的点云数据。
在日本特开2017-106749号公报所记载的点云数据获取系统中，第2电子设备具备：多个标志物，其为具有第2坐标系且具有多个视觉性特征的规定标志物，且多个标志物分别在第2坐标系中分别设置于线性独立的位置；及三维测量部，根据第2坐标系测量被摄体的点云数据。并且，在日本特开2017-106749号公报所记载的点云数据获取系统中，第1电子设备具备具有第1坐标系并根据第1坐标系来测量被摄体的位置测量部，点云数据获取系统还具备：标记位置信息计算部，具有基准坐标系，根据由位置信息测量部测量的数据，计算第2电子设备所具备的多个标志物在第1坐标系中的坐标值即第2电子设备位置信息；点云数据坐标值转换部，根据第2电子设备位置信息，将通过第2电子设备所具备的三维测量部测量的点云数据中的各点的数据在第2坐标系中的坐标值转换为基准坐标系中的坐标值；及合成点云数据创建部，根据由点云数据坐标值转换部转换的基准坐标系中的坐标值，将通过第2电子设备所具备的三维测量部测量的多个点云数据创建成一个合成点云数据。
日本特开2018-025551号公报中公开有一种技术，其具备：第1电子设备，具备根据深度相机坐标系测量被摄体的点云数据的深度相机；及第2电子设备，具备根据非深度相机坐标系获取被摄体的二维图像数据的非深度相机，该技术中，对由非深度相机获取的被摄体的二维图像数据和将通过深度相机测量的被摄体表面的各点在深度相机坐标系中的坐标值转换为非深度相机坐标系中的坐标值而得的点云数据建立对应关联，由此将被摄体的二维图像数据转换为点云数据。
日本专利第4543820号中公开有一种三维数据处理装置，其具备：中间插值机构，对包含多个线数据的三维矢量数据的各线数据进行辅助中间点的插值；TIN生成机构，根据描述三维矢量数据的各线数据的点及辅助中间点的三维坐标值形成不规则三角形网，并生成规定各三角形的TIN(Triangulated Irregular Network)数据；及栅格(Grid)坐标计算机构，对TIN数据适用规定栅格间隔的栅格并根据TIN数据计算各栅格点的坐标值，对各个栅格点输出表示三维坐标的栅格数据，所述栅格坐标计算机构具备搜索TIN数据中包含的TIN的机构及计算搜索到的TIN中包含的栅格点的坐标值的坐标值计算机构。在日本专利第4543820号所记载的三维数据处理装置中，由坐标值计算机构确定容纳在与TIN外接的四边形中的最大栅格范围，搜索在最大栅格范围内搜索到的TIN中包含的栅格点，并根据TIN的三个顶点的坐标值计算搜索到的各栅格点的坐标值。
“As-is 3D Thermal Modeling for Existing Building Envelopes Using aHybrid LIDAR System，Chao Wang，Yong K.Cho，Journal of Computing in CivilEngineering，2013，27，645-656”(以下，称为“非专利文献1”)中公开有一种对所测定的温度数据和建筑物的三维几何进行组合的方法。在非专利文献1所记载的方法中，使用虚拟地表示实际存在的建筑物的能量效率和环境负荷的功能。并且，非专利文献1所记载的方法通过使用混合型LiDAR(Light Detection and Ranging：光检测和测距)系统来提供视觉信息。由此促进建筑物的改造。
在非专利文献1所记载的方法中，3D温度模型同时保持建筑物的几何点云数据和各点的温度数据(温度及根据温度生成的温度颜色信息)。LiDAR无法从透明的物体收集几何数据，因此在窗玻璃的情况下需要创建虚拟的温度顶点。因此，在非专利文献1所记载的方法中，使用确定窗的算法(Aｌgotithm)。非专利文献1中提出的服务的框架由如下要件构成。(1)从实际存在的建筑物的外壁同时收集点云和温度的混合3D LiDAR系统。(2)所收集的点云和温度数据的自动合成。(3)用于弥补LiDAR无法检测窗玻璃的情况的窗检测算法。(4)描绘到GUI。(5)用于决定修缮等的基于WEB的平面图布局程序。
非专利文献1中记载有如下内容，即，LiDAR和IR(Infrared Rays：红外线)相机被固定在PTU(Pan and Tilt Unit：平移和倾斜装置)的底座(参考图5)，在摄影系统中预先校准了IR相机的畸变像差。并且，非专利文献1中记载有使用黑白检查板(参考图7)。并且，非专利文献1中记述有如下内容，即，为了合成基于LiDAR的点云和通过IR相机获得的图像，需要进行内部参数和外部参数的校准(参考图6)。内部参数是指焦距、透镜主点、偏斜畸变系数及畸变像差系数，外部参数是指旋转及平行移动的矩阵。
发明内容
本发明的技术所涉及的一实施方式提供一种能够有助于画面内的图像的高精细创建的图像处理装置、图像处理方法及程序。
用于解决技术课题的手段
本发明的技术所涉及的第1方式是一种图像处理装置，其具备：处理器；及存储器，与处理器连接或内置于处理器，图像处理装置的三维测距传感器与采样分辨率比三维测距传感器高的摄像装置之间的位置关系为已知，其中，处理器执行如下处理：根据三维测距传感器针对多个测定点的测距结果，获取能够确定多个测定点的位置的三维测距传感器系统三维坐标且由适用于三维测距传感器的三维坐标系规定的三维测距传感器系统三维坐标；根据三维测距传感器系统三维坐标，获取由适用于摄像装置的三维坐标系规定的摄像装置系统三维坐标；，将摄像装置系统三维坐标转换为能够确定由摄像装置进行拍摄而获得的摄像图像内的位置的摄像装置系统二维坐标；将摄像装置系统三维坐标转换为能够确定画面内的位置的显示系统二维坐标；及将构成摄像图像的像素分配到画面内的根据利用摄像装置系统二维坐标和显示系统二维坐标的插值法确定的插值位置。
本发明的技术所涉及的第2方式是第1方式所涉及的图像处理装置，其中，处理器根据摄像装置系统三维坐标生成多边形图像块(patch)，摄像装置系统三维坐标规定多边形图像块的交点的位置。
本发明的技术所涉及的第3方式是第2方式所涉及的图像处理装置，其中，插值位置是画面内的与除多边形图像块的交点以外的位置对应的位置。
本发明的技术所涉及的第4方式是第2方式或第3方式所涉及的图像处理装置，其中，处理器执行如下处理：将摄像图像中包含的多个像素中的与多边形图像块的交点的位置对应的位置的像素进一步分配到画面内的与多边形图像块的交点的位置对应的画面内交点位置，由此创建三维图像。
本发明的技术所涉及的第5方式是第2方式至第4方式中任一方式所涉及的图像处理装置，其中，多边形图像块由三角形网格(Mesh)或四边形网格规定。
本发明的技术所涉及的第6方式是第1方式至第5方式中任一方式所涉及的图像处理装置，其中，处理器执行如下处理：将三维测距传感器系统三维坐标转换为摄像装置系统三维坐标，由此获取摄像装置系统三维坐标。
本发明的技术所涉及的第7方式是第1方式至第6方式中任一方式所涉及的图像处理装置，其中，处理器执行如下处理：根据作为像而包含在多帧图像之间的被摄体的特征点，进行计算来获取摄像装置系统三维坐标，所述多帧图像通过由摄像装置从不同的位置拍摄被摄体来获得。
本发明的技术所涉及的第8方式是第1方式至第7方式中任一方式所涉及的图像处理装置，其中，画面内的位置为显示器的画面内的位置。
本发明的技术所涉及的第9方式是第1方式至第8方式中任一方式所涉及的图像处理装置，其中，存储器保持将三维测距传感器系统三维坐标和摄像装置系统二维坐标建立对应关联而得的对应关联信息。
本发明的技术所涉及的第10方式是第9方式所涉及的图像处理装置，其中，处理器执行如下处理：参考对应关联信息，将构成摄像图像的像素分配到插值位置。
本发明的技术所涉及的第11方式是一种图像处理方法，其包括如下步骤：在三维测距传感器与采样分辨率比三维测距传感器高的摄像装置之间的位置关系为已知的条件下，根据三维测距传感器针对多个测定点的测距结果，获取能够确定多个测定点的位置的三维测距传感器系统三维坐标且由适用于三维测距传感器的三维坐标系规定的三维测距传感器系统三维坐标；根据三维测距传感器系统三维坐标，获取由适用于摄像装置的三维坐标系规定的摄像装置系统三维坐标；将摄像装置系统三维坐标转换为能够确定由摄像装置进行拍摄而获得的摄像图像内的位置的摄像装置系统二维坐标；将摄像装置系统三维坐标转换为能够确定画面内的位置的显示系统二维坐标；及将构成摄像图像的像素分配到画面内的根据基于摄像装置系统二维坐标和显示系统二维坐标的插值法确定的插值位置。
本发明的技术所涉及的第12方式是一种程序，其用于使计算机执行包括如下步骤的处理：在三维测距传感器与采样分辨率比三维测距传感器高的摄像装置之间的位置关系为已知的条件下，根据三维测距传感器针对多个测定点的测距结果，获取能够确定多个测定点的位置的三维测距传感器系统三维坐标且由适用于三维测距传感器的三维坐标系规定的三维测距传感器系统三维坐标；根据三维测距传感器系统三维坐标，获取由适用于摄像装置的三维坐标系规定的摄像装置系统三维坐标；将摄像装置系统三维坐标转换为能够确定由摄像装置进行拍摄而获得的摄像图像内的位置的摄像装置系统二维坐标；将摄像装置系统三维坐标转换为能够确定画面内的位置的显示系统二维坐标；及将构成摄像图像的像素分配到画面内的根据利用摄像装置系统二维坐标和显示系统二维坐标的插值法确定的插值位置。
附图说明
图1是表示移动体系统的整体结构的一例的概略结构图。
图2是表示加速度传感器及角速度传感器的检测轴的一例的概略立体图。
图3是表示信息处理系统的硬件结构的一例的框图。
图4是表示处理器的主要部分功能的一例的框图。
图5是表示获取部的处理内容的一例的概念图。
图6是表示LiDAR坐标系被转换为相机三维坐标系的方式的一例的概念图。
图7是表示获取部的处理内容的一例的概念图。
图8是表示转换部的处理内容的一例的概念图。
图9是表示相机三维坐标被透视投影于xy平面及uv平面的方式的一例的概念图。
图10是表示像素分配部的处理内容的一例的概念图。
图11是表示纹理映射处理流程的一例的流程图。
图12是对将仅与TIN交点对应的位置的像素分配到画面的方式例和将与TIN交点对应的位置的像素及与除TIN交点以外的位置对应的位置的像素分配到画面的方式例进行对比的对比图。
图13是表示将相机二维坐标系的重心或重心部分的像素分配到画面二维坐标系的方式的一例的概念图。
图14是表示将相机二维坐标系的边上的像素分配到画面二维坐标系的方式的一例的概念图。
图15是表示第1变形例所涉及的处理器的主要部分功能的一例的框图。
图16是表示第1变形例所涉及的纹理映射处理流程的一例的流程图。
图17是表示通过移动体的相机在改变摄像位置的同时拍摄同一被摄体的方式的一例的概念图。
图18是表示第2变形例所涉及的处理器的处理内容的一例的概念图。
图19是用于说明极几何的概念图。
图20是表示纹理映射处理从存储介质安装于计算机的方式的一例的概念图。
具体实施方式
以下，根据附图对本发明的技术所涉及的图像处理装置、图像处理方法及程序的实施方式的一例进行说明。
首先，对在以下说明中使用的词句进行说明。
CPU是指“Central Processing Unit(中央处理器)”的简称。GPU是指“GraphicsProcessing Unit：图形处理单元”的简称。RAM是指“Random Access Memory：随机存取存储器”的简称。IC是指“Integrated Circuit：集成电路”的简称。ASIC是指“ApplicationSpecific Integrated Circuit(专用集成电路)”的简称。PLD是指“Programmable LogicDevice：可编程逻辑器件”的简称。FPGA是指“Field-Programmable Gate Array：现场可编程门阵列”的简称。SoC是指“System-on-a-chip：片上系统”的简称。SSD是指“Solid StateDrive：固态硬盘”的简称。USB是指“Universal Serial Bus：通用串行总线”的简称。HDD是指“Hard Disk Drive：硬盘驱动器”的简称。EL是指“Electro-Luminescence：电致发光”的简称。I/F是指“Interface：接口”的简称。UI是指“User Interface：用户界面”的缩写。CMOS是指“Complementary Metal Oxide Semiconductor：互补金属氧化物半导体”的简称。CCD是指“Charge Coupled Device：电荷耦合器件”的简称。LiDAR是指“Light Detection andRanging：光检测和测距”的简称。TIN是指“Triangulated Irregular Network：不规则三角网”的简称。在本说明书中，交点是指多边形的相邻的2个边相交的点(即，顶点)。并且，在本说明书中，多边形或多边形图像块的除交点以外的位置是指多边形或多边形图像块的内侧(多边形内)的位置。多边形的内侧(多边形内)中还包含多边形的边。
作为一例，如图1所示，信息处理系统2具备移动体10及信息处理装置20。在移动体10搭载有传感器单元30。作为移动体10的一例，可举出无人移动体。在图1所示的例子中，作为移动体10的一例，示出了无人驾驶航空器(例如，无人机)。
移动体10用于对土地和/或基础设施等进行测量和/或检查。作为基础设施，例如可举出道路设施(例如，桥、路面、隧道、护栏、信号灯和/或防风栅栏)、水路设施、机场设施、港口设施、储水设施、燃气设施、供电设施、医疗设施和/或消防设施等。
在此，作为移动体10的一例举出了无人驾驶航空器，但本发明的技术并不限定于此。例如，移动体10可以是车辆。作为车辆的一例，可举出缆车、高空作业车或桥梁检查车等。并且，移动体10也可以是能够搭载传感器单元30的滑块或台车等。并且，移动体10可以是人。在此，人例如是指通过携带传感器单元30并操作传感器单元30来对土地和/或基础设施等进行测量和/或检查的操作人员。
信息处理装置20是笔记本个人电脑。在此，例示了笔记本个人电脑，但这仅为一例，也可以是台式个人电脑。并且，并不限于个人电脑，也可以是服务器。服务器可以是在本地与移动体10一同使用的大型计算机，也可以是通过云计算实现的外部服务器。并且，服务器也可以为通过雾计算、边缘计算或栅格计算等网络计算实现的外部服务器。
信息处理装置20具备接收装置22及显示器24。接收装置22具有键盘、鼠标及触摸屏等，接收来自用户的指示。显示器24显示各种信息(例如，图像及字符等)。作为显示器24的一例，例如可以举出EL显示器(例如，有机EL显示器或无机EL显示器)。另外，并不限于EL显示器，也可以是液晶显示器等其他种类的显示器。
移动体10以可无线通信的方式与信息处理装置20连接，在移动体10与信息处理装置20之间通过无线交换各种信息。
移动体10具备主体12及多个螺旋桨14(图1所示的例子中，4个螺旋桨)。移动体10通过控制多个螺旋桨14各自的旋转，在三维空间内飞行或悬停。
在主体12安装有传感器单元30。在图1所示的例子中，传感器单元30安装于主体12的上部。但是，这仅为一例，传感器单元30也可以安装于除主体12的上部以外的部位(例如，主体12的下部)。
传感器单元30具备外部传感器32及内部传感器34。外部传感器32感测移动体10的外部环境。外部传感器32具有LiDAR32A及相机32B。LiDAR32A是本发明的技术所涉及的“三维测距传感器”的一例，相机32B是本发明的技术所涉及的“摄像装置”的一例。
LiDAR32A通过向周围出射脉冲状的激光束L来扫描周围的空间。激光束L例如为可见光或红外光。LiDAR32A接收从存在于周围空间的物体(例如，自然物体和/或人造物体)反射的激光束L的反射光，测量从出射激光束L后接收到反射光为止的时间，由此计算物体上的测定点为止的距离。在此，测定点是指物体上的激光束L的反射点。并且，LiDAR32A每次扫描周围的空间时，输出表示多个三维坐标的点云数据作为能够确定多个测定点的位置的位置信息。点云数据还被称为点云。点云数据例如为由三维正交坐标表示的数据。
LiDAR32A以移动体10的行进方向为基准，例如向左右分别135度及上下分别15度的视野范围S1出射激光束L。LiDAR32A例如在向左右或上下中的任一方向每次变更0.25度的角度的同时向整个视野范围S1射出激光束L。LiDAR32A反复扫描视野范围S1，并输出每次扫描的点云数据。以下，为了便于说明，将LiDAR32A在每次扫描时输出的点云数据称为区分点云数据PG(参考图3)。
相机32B是具有图像传感器的数码相机。在此，图像传感器例如是指CMOS图像传感器或CCD图像传感器等。相机32B根据从外部(例如，信息处理装置20)给出的指示拍摄视野范围S2。基于相机32B的拍摄例如可举出动态图像用的拍摄(例如，以30帧/秒或60帧/秒等既定帧速率进行的拍摄)及静止图像用的拍摄。根据从外部对相机32B给出的指示选择性地进行动态图像用的拍摄及基于相机32B的静止图像用的拍摄。
基于相机32B的采样分辨率(例如，通过由相机32B进行拍摄来获得的摄像图像的每单位面积的像素的密度)比基于LiDAR32A的采样分辨率(例如，点云数据的每单位面积的测距点的密度)高。并且，在信息处理装置20中，LiDAR32A与相机32B之间的位置关系为已知。
另外，以下为了便于说明，以LiDAR32A及相机32B固定于移动体10为前提进行说明。并且，以下为了便于说明，以视野范围S2包含在视野范围S1内(即，视野范围S2为视野范围S1的一部分)、视野范围S2相对于视野范围S1的位置固定及视野范围S2相对于视野范围S1的位置为已知作为条件来进行说明。并且，在此为了便于说明，例示了视野范围S2包含在视野范围S1内，但这仅为一例，例如可以是视野范围S1包含在视野范围S2内(即，可以是视野范围S1为视野范围S2的一部分)。具体而言，视野范围S1和视野范围S2以可获得能够实现后述纹理映射处理(参考图11)的多个区分点云数据PG和摄像图像的程度重叠即可。
内部传感器34具有加速度传感器36及角速度传感器38。内部传感器34检测为了确定移动体10的移动方向、移动距离及姿势等而所需的物理量，并输出表示检测出的物理量的检测数据。基于内部传感器34的检测数据(以下，还简称为“检测数据”)例如为由加速度传感器36检测出的表示加速度的加速度数据及由角速度传感器38检测出的表示角速度的加速度数据。
移动体10具有LiDAR坐标系及相机三维坐标系。LiDAR坐标系是适用于LiDAR32A的三维坐标系(在此，作为一例，三维空间的正交坐标系)。相机三维坐标系是适用于相机32B的三维坐标系(在此，作为一例，三维空间的正交坐标系)。
作为一例，如图2所示，适用于LiDAR32A的三维空间的正交坐标系即LiDAR坐标系由彼此正交的XL轴、YL轴及ZL轴确定。点云数据由LiDAR坐标系规定。
加速度传感器36(参考图1)检测施加于XL轴、YL轴及ZL轴的各方向的加速度。角速度传感器38(参考图1)检测围绕XL轴、YL轴及ZL轴的各轴(即，横滚方向、俯仰方向及偏转方向的各方向)而施加的角速度。即，内部传感器34是六轴的惯性测量传感器。
作为一例，如图3所示，在移动体10的主体12设置有控制器16、通信I/F18及马达14A。控制器16例如由IC芯片实现。主体12上设置有多个马达14A。多个马达14A与多个螺旋桨14连接。控制器16通过控制多个马达14A来控制移动体10的飞行。并且，控制器16控制基于LiDAR32A的激光束L的扫描动作。
外部传感器32对作为外部环境的一例的物体50进行感测，作为其结果，将通过由LiDAR32A对视野范围S1扫描激光束L来获得的区分点云数据PG及由相机32B拍摄表示视野范围S2的被摄体光(即，表示物体50中包含在视野范围S2内的部分的反射光)来获得的摄像图像PD输出至控制器16。控制器16从外部传感器32接收区分点云数据PG及摄像图像PD。
内部传感器34将通过进行感测而获得的检测数据(例如，基于加速度传感器36的加速度数据及基于角速度传感器38的角速度数据)输出至控制器16。控制器16从内部传感器34接收检测数据。
控制器16经由通信I/F18将所接收到的区分点云数据PG、摄像图像PD及检测数据无线发送至信息处理装置20。
信息处理装置20除了具备接收装置22及显示器24以外，还具备计算机39及通信I/F46。计算机39具备处理器40、存储设备42及RAM44。接收装置22、显示器24、处理器40、存储设备42、RAM44及通信I/F46与总线48连接。另外，信息处理装置20是本发明的技术所涉及的“图像处理装置”的一例。并且，计算机39是本发明的技术所涉及的“计算机”的一例。并且，处理器40是本发明的技术所涉及的“处理器”的一例。并且，存储设备42及RAM44是本发明的技术所涉及的“存储器”的一例。
例如，处理器40具有CPU及GPU，并控制整个信息处理装置20。GPU在CPU的控制下进行动作，负责执行画面显示和/或图像处理等。另外，处理器40可以是集成GPU功能的一个以上的CPU，也可以是不集成GPU功能的一个以上的CPU。
存储设备42为存储各种程序及各种参数等的非易失性存储装置。作为存储设备42，例如可举出HDD及SSD。另外，HDD及SSD仅为一例，也可以代替HDD和/或SSD或者与HDD和/或SSD一同使用闪存、磁阻存储器和/或铁电存储器。
RAM44是暂时存储信息的存储器，处理器40将其用作工作存储器。作为RAM44，例如可举出DRAM和/或SRAM等。
通信I/F46通过与移动体10的通信I/F18进行无线通信，从移动体10接收多个区分点云数据PG。通过通信I/F46接收的多个区分点云数据PG是指由LiDAR32A获取的不同时刻的多个区分点云数据PG(即，通过多次扫描获得的多个区分点云数据PG)。并且，通信I/F46通过与移动体10的通信I/F18进行无线通信，在分别获取多个区分点云数据PG的每个时刻，接收由内部传感器34获得的摄像图像PD及检测数据。如此通过通信I/F46接收到的区分点云数据PG、摄像图像PD及检测数据由处理器40获取并处理。
处理器40根据从移动体10接收到的多个区分点云数据PG，获取合成点云数据SG。具体而言，处理器40进行对从移动体10接收到的多个区分点云数据PG进行合成的合成处理，由此生成合成点云数据SG。合成点云数据SG是通过对视野范围S1进行扫描来获得的多个区分点云数据PG的集合，由处理器40存储于存储设备42。另外，多个区分点云数据PG是本发明的技术所涉及的“三维测距传感器针对多个测定点的测距结果”的一例。并且，合成点云数据SG是本发明的技术所涉及的“三维测距传感器系统三维坐标”的一例。
作为一例，如图4所示，在存储设备42存储有纹理映射处理程序52。纹理映射处理程序52是本发明的技术所涉及的“程序”的一例。处理器40从存储设备42读出纹理映射处理程序52，并在RAM44上执行所读出的纹理映射处理程序52。处理器40根据在RAM44上执行的纹理映射处理程序52进行纹理映射处理(参考图11)。处理器40通过执行纹理映射处理程序52，作为获取部40A、转换部40B及像素分配部40C进行动作。
作为一例，如图5所示，获取部40A从存储设备42获取合成点云数据SG。然后，获取部40A根据合成点云数据SG，获取由相机三维坐标系规定的相机三维坐标。在此，基于获取部40A的相机三维坐标的获取通过由获取部40A将合成点云数据SG转换为相机三维坐标来实现。在此，相机三维坐标是本发明的技术所涉及的“摄像装置系统三维坐标”的一例。
作为一例，如图6所示，合成点云数据SG向相机三维坐标的转换通过根据旋转矩阵及平移向量将LiDAR坐标系转换为相机三维坐标系来实现。在图6所示的例子中，示出了将合成点云数据SG中的确定一个测定点P的位置的数据即三维坐标(以下，还称为“LiDAR坐标”)转换为相机三维坐标的方式的一例。
在此，在将LiDAR坐标系的三轴设为XL轴、YL轴及ZL轴，将从LiDAR坐标系转换为相机三维坐标系所需的旋转矩阵设为C LR的情况下，旋转矩阵C LR由以下的矩阵(1)表示，所述旋转矩阵C LR表示使移动体10与LiDAR坐标系一同依次围绕LiDAR坐标系的XL轴、围绕LiDAR坐标系的YL轴及围绕LiDAR坐标系的ZL轴分别旋转角度φ、角度θ及角度ψ时的移动体10的位置转换。另外，根据检测数据中包含的角速度数据计算角度φ、角度θ及角度ψ。
[数式1]
然后，在将LiDAR坐标系的原点设为OL，将相机三维坐标系的原点设为OC，将相机三维坐标系的三轴设为XC轴、YC轴及ZC轴，将测定点P在LiDAR坐标系中的三维坐标(即，LiDAR三维坐标)设为LP，将测定点P在相机三维坐标系中的三维坐标(即，相机三维坐标)设为CP，将从LiDAR坐标系转换为相机三维坐标系所需的平移向量设为C LT，且将原点OL的位置在LiDAR坐标系中表示为L0C的情况下，相机三维坐标CP由以下数式(2)表示。另外，根据检测数据中包含的加速度数据计算平移向量C LT。
[数式2]
在此，C LT、C LR及L0C的关系由以下数式(3)表示，因此通过将数式(3)代入数式(2)，相机三维坐标CP由以下数式(4)表示。包含与测定点P相关的LiDAR坐标的合成点云数据SG通过使用数式(4)而转换为多个相机三维坐标。
[数式3]
[数式4]
作为一例，如图7所示，获取部40A为了以数字数据结构表示通过数式(4)转换合成点云数据SG而得的多个相机三维坐标，根据多个相机三维坐标生成TIN54。TIN54是表示由三角形网格(例如，不规则三角形网)规定的三角形图像块54A的集合的数字数据结构。多个相机三维坐标规定TIN54中包含的多个三角形图像块54A的交点的位置(换言之，各三角形图像块54A的顶点)。另外，三角形图像块54A是本发明的技术所涉及的“多边形图像块”的一例。在此，例示了三角形图像块54A，但这仅为一例，也可以是除三角形以外的多边形图像块。即，可以代替T[N54适用多个多边形图像块集合而成的面结构的多边形集合图像块。
作为一例，如图8所示，转换部40B将TIN54中使用的多个相机三维坐标转换为能够确定摄像图像PD内的位置的多个二维坐标(以下，还称为“相机二维坐标”)。并且，转换部40B将TIN54中使用的多个相机三维坐标转换为能够确定显示器24的画面内的位置的多个二维坐标(以下，还称为“画面二维坐标”)。在此，相机二维坐标是本发明的技术所涉及的“摄像装置系统二维坐标”的一例，画面二维坐标是本发明的技术所涉及的“显示系统二维坐标”的一例。
作为一例，如图9所示，构成摄像图像PD的各像素的位置由与相机32B(参考图1及图3)的图像传感器的摄像面对应的xy平面PDO(在图9所示的例子中，相当于从原点OC在ZC轴方向上仅相距焦距的摄像面的平面)内的坐标来确定。xy平面PDO是能够以由x轴及y轴规定的二维坐标系(以下，还称为“相机二维坐标系”)表示的平面，构成摄像图像PD的各像素的位置由相机二维坐标(x，y)确定。在此，在设为i＝0、1、2、……、n的情况下，xy平面PD0内的像素的位置Ai、Ai+1及Ai+2与三角形图像块54A的三个顶点的位置Pi、Pi+1及Pi+2对应。位置Ai、Ai+1及Ai+2的相机二维坐标(x0，y0)、(x1，y1)及(x2，y2)通过位置Pi、Pi+1及Pi+2的各相机三维坐标被透视投影于xy平面PD0来获得。
在图9所示的例子中，示出了将原点设为Od，并具有彼此正交的Xd轴、Yd轴及Zd轴的显示器三维坐标系。显示器三维坐标是适用于显示器24(参考图1及图3)的三维坐标。在显示器三维坐标系设定有画面24A。画面24A是显示器24的画面，显示表示物体50的图像。例如，显示于画面24A的图像是纹理图像。在此，纹理图像是指通过由相机32B进行拍摄而获得的摄像图像PD被纹理映射于画面24A的图像。
设定于显示器三维坐标系的画面24A的位置及朝向例如根据由接收装置22(参考图3)接收的指示而变更。构成画面24A的各像素的位置由uv平面24A1(在图9所示的例子中，从原点Od在Zd轴方向上仅相距相当于焦距的距离的平面)内的坐标确定。uv平面24A1是能够以由u轴及v轴规定的二维坐标系(以下，还称为“画面二维坐标系”)表示的平面。构成画面24A的各像素的位置即显示器24的画面内的位置由画面二维坐标(u，v)确定。
在图10所示的例子中，uv平面24A1内的像素的位置Bi、Bi+1及Bi+2与三角形图像块54A的三个顶点的位置Pi、Pi+1及Pi+2对应。位置Bi、Bi+1及Bi+2的画面二维坐标(u0，v0)、(u1，v1)及(u2，v2)通过位置Pi、Pi+1及Pi+2的各相机三维坐标被透视投影于uv平面24A1来获得。
作为一例，如图10所示，像素分配部40C将摄像图像PD中包含的多个像素(作为一例，所有像素)中与TIN54中包含的多个三角形图像块54A(参考图7～图9)的交点的位置对应的位置的像素分配到画面内交点位置，由此创建三维图像(即，用户通过画面24A三维地感知的纹理图像)。画面内交点位置是指画面24A中包含的多个像素(作为一例，所有像素)中与TIN54中包含的多个三角形图像块54A(参考图7～图9)的交点的位置对应的位置。在图10所示的例子中，摄像图像PD中包含的多个像素中位置Ai、Ai+1及Ai+2(即，由相机二维坐标(x0，y0)、(x1，y1)及(x2，y2)确定的位置)的各像素被分配到画面24A内的位置Bi、Bi+1及Bi+2(即，由画面二维坐标(u0，v0)、(u1，v1)及(u2，v2)确定的位置)。
如此，即使摄像图像PD中包含的多个像素中与TIN54中包含的多个三角形图像块54A的交点的位置对应的位置的像素被分配到画面24A内所对应的位置，由于对除多个三角形图像块54A的交点(换言之，三角形图像块54A的顶点)以外的位置并不分配像素，因此显示于画面24A的图像的像素密度相应地变低。
因此，像素分配部40C将构成摄像图像PD的像素分配到画面24A内的根据利用相机二维坐标和画面二维坐标的插值法确定的插值位置。在此，插值位置是指与除三角形图像块54A的交点以外的位置对应的位置(在图10所示的例子中，第2插值位置D0)。作为插值法，例如可举出线性插值。作为除线性插值以外的插值法，例如可举出多项式插值或样条插值等。
在图10所示的例子中，摄像图像PD中包含的多个像素(作为一例，所有像素)的位置中，作为与除三角形图像块54A的交点以外的位置对应的位置，示出有第1插值位置C0。并且，在图10所示的例子中，画面24A中包含的多个像素(作为一例，所有像素)的位置中，作为与除三角形图像块54A的交点以外的位置对应的位置，示出有第2插值位置D0。第2插值位置D0是与第1插值位置C0对应的位置。并且，在图10所示的例子中，作为第1插值位置C0的相机二维坐标示出有(x，y)，作为第2插值位置D0的画面二维坐标示出有(u，v)。
第1插值位置C0是在摄像图像PD内存在于以位置Ai、Ai+1及Ai+2为三个顶点的三角形的内侧(即，在摄像图像PD内形成的三角形图像块的内侧)的位置。例如，第1插值位置C0是存在于位置C1与位置C2之间的位置。位置C1是在摄像图像PD内存在于以位置Ai、Ai+1及Ai+2为三个顶点的三角形的三个边中连结位置Ai和Ai+2的边上的位置。位置C2是在摄像图像PD内存在于以位置Ai、Ai+1及Ai+2为三个顶点的三角形的三个边中连结位置Ai和Ai+1的边上的位置。另外，位置C1及C2可以根据由接收装置22(参考图3)接收的指示来确定，也可以根据适用于连结位置Ai和Ai+2的边及连结位置Ai和Ai+1的边的规定内分比来确定。
位置C1的相机二维坐标为(x02，y02)，位置C2的相机二维坐标为(x01，y01)。第1插值位置C0根据利用相机二维坐标(x0，y0)、(x1，y1)、(x2，y2)、(x01，y01)及(x02，y02)进行了插值的相机二维坐标(x，y)确定。
第2插值位置D0是在画面24A内存在于以位置Bi、Bi+1及Bi+2为三个顶点的三角形的内侧(即，在画面24A内形成的三角形图像块的内侧)的位置。例如，第2插值位置D0是存在于位置D1与位置D2之间的位置。位置D1是在画面24A内存在于以位置Bi、Bi+1及Bi+2为三个顶点的三角形的三个边中连结位置Bi和Bi+2的边上的位置。位置D2在画面24A内存在于以位置Bi、Bi+1及Bi+2为三个顶点的三角形的三个边中连结位置Bi和Bi+1的边上。另外，位置D1与位置C1对应，位置D2与位置C2对应。
位置D1的画面二维坐标为(u02，v02)，位置C2的相机二维坐标为(u01，v01)。第2插值位置D0根据利用画面二维坐标(u0，v0)、(u1，v1)、(u2，v2)、(u01，v01)及(u02，v02)进行了插值的画面二维坐标(u，v)确定。
摄像图像PD中包含的多个像素中，根据相机二维坐标(x，y)确定的第1插值位置C0的像素由像素分配部40C被分配到根据画面二维坐标(u，v)确定的第2插值位置D0。第1插值位置C0的像素可以是构成摄像图像PD的像素本身，但在根据相机二维坐标(x，y)确定的位置上不存在像素的情况下，将与根据相机二维坐标(x，y)确定的位置相邻的多个像素(例如，以位置Ai、Ai+1及Ai+2为三个顶点的像素)进行插值而生成的像素可以用作第1插值位置X0的像素。
另外，优选使摄像图像PD的分辨率(即，基于相机32B的采样分辨率)比合成点云数据SG的分辨率(即，基于LiDAR32A的采样分辨率)高，使得在摄像图像PD内的三角形(即，与三角形图像块54A对应的三角形)内存在根据插值处理(例如，以插值法确定第1插值位置C0的处理)的解像力来确定的个数以上的像素。在此，根据插值处理的解像力确定的个数例如是指以插值处理的解像力越高，使像素的个数越多的方式事先确定的个数。插值处理的解像力可以是根据摄像图像PD和/或画面24A的分辨率等来确定的固定值，也可以是根据从外部给出的指示(例如，由接收装置22接收到的指示)而变更的可变值，还可以是根据三角形图像块54A、三角形图像块54A被透视投影于相机二维坐标系而得的三角形和/或三角形图像块54A被透视投影于画面二维坐标系而得的三角形的大小(例如，平均大小)而变更的可变值。在插值处理的解像力取决于三角形图像块54A等的情况下，例如，三角形图像块54A等越大，使插值处理的解像力越高，三角形图像块54A等越小，使插值处理的解像力越低即可。
像素分配部40C为了将第1插值位置C0的像素(即，根据相机二维坐标(x，y)确定的第1插值位置C0的像素)分配到第2插值位置D0(即，根据画面二维坐标(u，v)确定的第2插值位置D0)，通过利用以下数式(5)～(12)的插值法计算出第2插值位置D0的画面二维坐标(u，v)。
[数式5]
[数式6]
[数式7]
/>
[数式8]
[数式9]
[数式10]
[数式11]
[数式12]
接着，作为信息处理系统2的作用，参考图11，对由信息处理装置20的处理器40进行的纹理映射处理进行说明。
在图11中示出了由处理器40进行的纹理映射处理流程的一例。图11所示的纹理映射处理流程是本发明的技术所涉及的“图像处理方法”的一例。另外，以下以在存储设备42已经存储有合成点云数据SG作为前提进行说明。
在图11所示的纹理映射处理中，首先，在步骤ST100中，获取部40A从存储设备42获取合成点云数据SG(参考图5)。在执行步骤ST100的处理之后，纹理映射处理转移到步骤ST102。
在步骤ST102中，获取部40A将合成点云数据SG转换为多个相机三维坐标(参考图5及图6)。在执行步骤ST102的处理之后，纹理映射处理转移到步骤ST104。
在步骤ST104中，获取部40A根据多个相机三维坐标生成TIN54(参考图7)。在执行步骤ST104的处理之后，纹理映射处理转移到步骤ST106。
在步骤STl06中，转换部40B将TIN54中使用的多个相机三维坐标转换为多个相机二维坐标(参考图8及图9)。在执行步骤ST106的处理之后，纹理映射处理转移到步骤ST108。
在步骤ST108中，转换部40B将TIN54中使用的多个相机三维坐标转换为多个画面二维坐标(参考图8及图9)。在执行步骤ST108的处理之后，纹理映射处理转移到步骤ST110。
在步骤ST110中，像素分配部40C将摄像图像PD中包含的多个像素中与TIN54中包含的多个三角形图像块54A(参考图7～图9)的交点的位置对应的位置的像素分配到画面内交点位置，由此创建纹理图像。通过执行步骤ST110的处理来获得的纹理图像显示于画面24A。
接着，为了使通过执行步骤ST110的处理来获得的纹理图像精细化，由像素分配部40C进行步骤ST112的处理及步骤ST114的处理。
在步骤ST112中，像素分配部40C通过利用在步骤ST106中获得的相机二维坐标、在步骤ST108中获得的画面二维坐标及数式(5)～(12)的插值法，计算出画面24A内的插值位置即第2插值位置D0的画面二维坐标(u，v)(参考图10)。在执行步骤ST112的处理之后，纹理映射处理转移到步骤ST114。
在步骤ST114中，像素分配部40C对画面24A内的插值位置即第2插值位置D0的画面二维坐标(u，v)，分配构成摄像图像PD的多个像素中与画面二维坐标(u，v)对应的相机二维坐标(在图10所示的例子中，相机二维坐标(x，y))的像素。由此，比通过执行步骤ST110的处理来获得的纹理图像更精细的纹理图像显示于画面24A。在执行步骤ST114的处理之后，纹理映射处理结束。
如以上说明，在信息处理系统2中，合成点云数据SG被转换为多个相机三维坐标(参考图5～图7)，多个相机三维坐标被转换为多个相机二维坐标及多个画面二维坐标(参考图8及图9)。然后，将构成摄像图像PD的像素分配到画面24A内的根据利用多个相机二维坐标及多个画面二维坐标的插值法确定多个相机三维坐标的插值位置(在图10所示的例子中，第2插值位置D0)(参考图10)。由此，在画面24A内显示三维图像(即，用户三维地感知的纹理图像)。因此，根据本结构，与仅利用合成点云数据SG创建画面内的图像的情况相比，能够有助于画面24A内的图像的高精细创建。并且，画面24A是显示器24的画面，因此能够通过显示器24向用户显示纹理图像。
并且，在信息处理系统2中，摄像图像PD中包含的多个像素中与TIN54中包含的多个三角形图像块54A(参考图7～图9)的交点的位置对应的位置的像素被分配到画面内交点位置，由此创建纹理图像。然后，对画面24A内的插值位置即第2插值位置D0的画面二维坐标(u，v)，分配构成摄像图像PD的多个像素中与画面二维坐标(u，v)对应的相机二维坐标(在图10所示的例子中，相机二维坐标(x，y))的像素。由此，作为一例，如图12所示，若将仅与TIN54中包含的多个三角形图像块54A的交点的位置对应的位置的像素分配到给画面内交点位置的方式例和、将与TIN54中包含的多个三角形图像块54A的交点的位置对应的位置的像素及与除TIN54中包含的多个三角形图像块54A的交点以外的位置对应的位置的像素分配到画面24A的方式例进行比较，则与前一方式例相比，后一方式例可获得像素密度高的纹理图像。即，根据本结构，能够将比仅通过与TIN54中包含的多个三角形图像块54A的交点的位置对应的位置的像素被分配到画面内交点位置来创建的纹理图像更精细的纹理图像显示于画面24A。
并且，在信息处理系统2中，根据多个相机三维坐标生成由多个三角形图像块54A规定的TIN54。多个三角形图像块54A的交点的位置由多个相机三维坐标规定。TIN54中包含的多个三角形图像块54A的交点的位置被透视投影于xy平面PD0及uv平面24A1。然后，通过多个三角形图像块54A的交点的位置被透视投影于xy平面PDO来获得的位置Ai、Ai+1及Ai+2的各像素分配到通过多个三角形图像块54A的交点的位置被透视投影于uv平面24A1来获得的位置Bi、Bi+1及Bi+2。由此，在画面24A内创建纹理图像。因此，根据本结构，与不利用三角形图像块54A等多边形图像块来创建纹理图像的情况相比，能够容易地创建纹理图像。
并且，在信息处理系统2中，作为第2插值位置D0，适用了画面24A内的与除三角形图像块54A的交点以外的位置对应的位置。即，构成摄像图像PD的像素不仅被分配到画面内交点位置，还被分配到第2插值位置D0。因此，根据本结构，与构成摄像图像PD的像素仅被分配到画面内交点位置的情况相比，能够将精细的纹理图像显示于画面24A。
并且，在信息处理系统2中，合成点云数据SG被转换为多个相机三维坐标，多个相机三维坐标被转换为多个相机二维坐标及多个画面二维坐标。然后，通过根据相机二维坐标确定的位置的像素被分配到根据画面二维坐标确定的位置，实现纹理映射。因此，根据本结构，与合成点云数据SG不被转换为多个相机三维坐标而进行纹理映射的情况相比，能够获得高精度的纹理图像。
另外，在上述实施方式中，举出对各个三角形图像块54A适用一个第2插值位置D0的方式例进行了说明，但本发明的技术并不限定于此。例如，也可以对每个三角形图像块54A适用多个第2插值位置D0。在该情况下，对每个三角形图像块54A给出多个第1插值位置C0。然后，对多个第2插值位置D0分配所对应的多个第1插值位置C0的各像素。由此，与对一个三角形图像块54A仅适用一个第2插值位置D0的情况相比，作为显示于画面24A的图像，能够创建更精细的纹理图像。
并且，作为一例，如图13所示，可以在相机二维坐标系中，对与三角形图像块54A的重心CG1和/或重心部分CG2(例如，在比三角形图像块54A更靠内侧的区域内，以重心CG1为中心的圆形部分)对应的部位适用至少一个第2插值位置D0。在该情况下，例如在相机二维坐标系中，对与每个三角形图像块54A的重心CG1和/或重心部分CG2对应的部位给出至少一个第1插值位置C0。然后，以与上述实施方式相同的方式，对至少一个第2插值位置D0分配所对应的第1插值位置C0的像素。由此，在相机二维坐标系中，相比于对比与三角形图像块54A的重心CG1对应的部位更靠与三角形图像块54A的交点对应的部位的位置适用第2插值位置D0的情况，能够抑制显示于画面24A的图像内的像素的偏离。并且，作为一例，如图14所示，可以对三角形图像块54A的边54A1上所对应的部位适用至少一个第2插值位置D0。在该情况下，例如，对三角形图像块54A的边54A1上所对应的部位(在图10所示的例子中，位置C1和/或C2)给出至少一个第1插值位置C0。然后，以与上述实施方式相同的方式，对至少一个第2插值位置D0分配所对应的第1插值位置C0的像素。
并且，在相机二维坐标系及画面二维坐标系中适用于与TIN54对应的三角形的集合的插值位置的数量(例如，适用于三角形图像块54A的插值位置的平均个数)可以根据从外部给出的指示(例如，由接收装置22接收到的指示)而变更。在该情况下，如果要实现显示于画面24A的图像的进一步精细化，则增加在相机二维坐标系及画面二维坐标系中适用于与三角形图像块54A对应的三角形的插值位置的数量，如果要减少纹理映射处理中的运算负荷，则减少插值位置的数量即可。
[第1变形例]
在上述实施方式中，举出通过由处理器40执行纹理映射处理程序52来作为获取部40A、转换部40B及像素分配部40C进行动作的方式例进行了说明，但本发明的技术并不限定于此，例如如图15所示，可以通过由处理器40执行纹理映射处理程序52，使处理器40还作为控制部40D进行动作。
作为一例，如图15所示，控制部40D通过获取部40A获取用于多个相机三维坐标的转换的合成点云数据SG，且获取通过获取部40A获得的多个相机三维坐标。控制部40D根据合成点云数据SG及多个相机三维坐标，生成作为本发明的技术所涉及的“对应关联信息”的一例的数据集56。数据集56是将由获取部40A转换为多个相机三维坐标之前的合成点云数据SG和由获取部40A转换成合成点云数据SG的多个相机三维坐标建立对应关联而得的信息。
控制部40D将数据集56存储于存储设备42中。由此，由存储设备42保持数据集56。
作为一例，如图16所示，第1变形例所涉及的纹理映射处理与图11所示的纹理映射处理相比，不同点在于具有步骤ST200的处理及步骤ST202～步骤ST206的处理。步骤ST200的处理在步骤ST102的处理与步骤ST104的处理之间执行。步骤ST202～步骤ST206的处理在执行步骤ST114的处理之后执行。
在图16所示的纹理映射处理中，在步骤ST200中，控制部40D通过将在步骤ST100中获取的合成点云数据SG和在步骤ST102中获取的多个相机三维坐标建立对应关联来生成数据集56，并将所生成的数据集56存储于存储设备42中。
在步骤ST202中，控制部40D判定是否选择了存储设备42内的数据集56中包含的合成点云数据SG。合成点云数据SG的选择例如根据由接收装置22(参考图3)接收到的指示来实现。在步骤ST202中，在未选择存储设备42内的数据集56中包含的合成点云数据SG的情况下，判定得到否定，纹理映射处理转移到步骤ST206。在步骤ST202中，在选择了存储设备42内的数据集56中包含的合成点云数据SG的情况下，判定得到肯定，纹理映射处理转移到步骤ST204。
在步骤ST204中，获取部40A从存储设备42内的数据集56获取与在步骤ST202中选择的合成点云数据SG建立有对应关联的多个相机三维坐标，并根据所获取的多个相机三维坐标生成TIN54。在执行步骤ST204的处理之后，纹理映射处理转移到步骤ST106，在步骤ST106～步骤ST110中，执行利用在步骤ST204中生成的TIN54进行的处理。然后，在执行步骤ST110的处理之后，执行步骤ST112及步骤ST114的各处理。
在步骤ST206中，控制部40D判定是否满足纹理映射处理结束的条件(以下，称为“结束条件”)。作为结束条件的第1例，可举出由接收装置22(参考图3)接收到结束纹理映射处理的指示等条件。作为结束条件的第2例，可举出开始执行纹理映射处理后在步骤ST202的判定未得到肯定的情况下经过了规定时间(例如，15分钟)等条件。
在步骤ST206中，在不满足结束条件的情况下，判定得到否定，纹理映射处理转到步骤ST202。在步骤ST206中，在满足结束条件的情况下，判定得到肯定，纹理映射处理结束。
如以上说明，在第1变形例中，作为将合成点云数据SG和多个相机三维坐标建立对应关联而得的信息，存储设备42保持数据集56。因此，根据本结构，对物体50中已经获得了合成点云数据SG的部位，无需再通过LiDAR进行扫描便能够根据与已经获得的合成点云数据SG建立有对应关联的多个相机三维坐标进行纹理映射处理。
并且，在第1变形例中，由处理器40参考数据集56生成TIN54(参考图16的步骤ST204)，执行步骤ST106之后的处理。由此，构成摄像图像PD的像素被分配到画面24A内的根据利用多个相机二维坐标及多个画面二维坐标的插值法确定多个相机三维坐标的插值位置(在图10所示的例子中，第2插值位置D0)。因此，根据本结构，对物体50中已经获得了合成点云数据SG的部位，无需再通过LiDAR进行扫描便能够创建显示于画面24A的三维图像(即，用户三维地感知的纹理图像)。
[第2变形例]
在上述实施方式中，举出合成点云数据SG被转换为多个相机三维坐标的方式例进行了说明，但本发明的技术并不限定于此，也可以根据多个摄像图像PD计算出多个相机三维坐标。
在该情况下，首先，作为一例，如图17所示，使移动体10移动至多个位置，使相机32B从各位置拍摄被摄体58。例如，使移动体10依次移动至第1摄像位置、第2摄像位置及第3摄像位置，使相机32B分别在第1摄像位置、第2摄像位置及第3摄像位置拍摄被摄体58。
在从相机32B的透镜中心仅相距焦距的位置的摄像面32B1上成像有被摄体58的被摄体像，由相机32B拍摄被摄体像。在图17所示的例子中，在第1摄像位置上的摄像面32B1上成像有与被摄体58对应的被摄体像OI1。并且，在第2摄像位置上的摄像面32B1上成像有与被摄体58对应的被摄体像OI2。而且，在第3摄像位置上的摄像面32B1成像有与被摄体58对应的被摄体像OI3。
通过在第1摄像位置由相机32B进行拍摄来获得的摄像图像PD中映入有相当于被摄体像OI1的电子像，通过在第2摄像位置由相机32B进行拍摄来获得的摄像图像PD中映入有相当于被摄体像OI2的电子像，通过在第3摄像位置由相机32B进行拍摄来获得的摄像图像PD中映入有相当于被摄体像OI3的电子像。
作为一例，如图18所示，处理器40从相机32B获取多帧摄像图像PD。在此，多帧摄像图像PD是指，例如通过从第1摄像位置、第2摄像位置及第3摄像位置等中的至少两个不同的位置由相机32B拍摄被摄体58来获得的多帧摄像图像PD。处理器40根据作为像(在此，作为一例，电子像)而包含在多帧摄像图像PD之间的被摄体58的特征点，计算出能够确定被摄体58的特征点的位置的相机三维坐标，由此获取相机三维坐标，所述多帧摄像图像PD通过由相机32B从不同的位置拍摄被摄体58来获得。
在图18所示的例子中，示出了被摄体58中包含的特征点Q。通过在第1摄像位置由相机32B拍摄被摄体58来获得的第1摄像图像PD1中包含与特征点Q对应的第1摄像图像内特征点q1。并且，通过在第2摄像位置由相机32B拍摄被摄体58来获得的第2摄像图像PD2中包含与特征点Q对应的第2摄像图像内特征点q2。特征点Q的相机三维坐标(X，Y，Z)根据作为第1摄像图像内特征点q1的相机视野内坐标的二维坐标(x3，y3)和作为第2摄像图像内特征点q2的相机视野内坐标的二维坐标(x4，y4)来计算。即，处理器40根据第1摄像图像内特征点q1的二维坐标(x3，y3)及第2摄像图像内特征点q2的二维坐标(x4，y4)以几何方式计算相机32B的位置及姿势，并根据计算结果计算出特征点Q的相机三维坐标(X，Y，Z)。
作为一例，如图19所示，相机32B的位置及姿势根据作为以特征点Q、相机中心O1及相机中心O2为三个顶点的三角形平面的极平面60来确定。相机中心O1存在于从特征点Q通过第1摄像图像内特征点q1的直线上，相机中心O2存在于从特征点Q通过第2摄像图像内特征点q2的直线上。极平面60具有基线BL。基线BL是连结相机中心O1和相机中心O2的线段。并且，极平面60具有极点e1及e2。极点e1是基线BL与第1摄像图像PD1的平面相交的点，极点e2是基线BL与第2摄像图像PD2的平面相交的点。第1摄像图像PD1具有极线EP1。极线EP1是通过极点e1和第1摄像图像内特征点q1的直线。第2摄像图像PD2具有极线EP2。极线EP2是通过极点e2和第2摄像图像内特征点q2的直线。
如此，在由相机32B在多个摄像位置(在此，作为一例，第1摄像位置及第2摄像位置)拍摄了存在于三维空间的被摄体58的情况(即，特征点Q在第1摄像图像PD1的平面被投影为第1摄像图像内特征点q1，特征点Q在第2摄像图像PD2的平面被投影为第2摄像图像内特征点q2的情况)下，在第1摄像图像PD1与第2摄像图像PD2之间，作为基于极平面60的特有的几何，出现极几何。极几何表示特征点Q、第1摄像图像内特征点q1及第2摄像图像内特征点q2之间的相关性。例如，若特征点Q的位置改变，则第1摄像图像内特征点q1及第2摄像图像内特征点q2改变，极平面60也改变。若极平面60改变，则极点e1及e2也改变，因此极线EP1及EP2也改变。即，极几何中包含确定多个摄像位置(在此，作为一例，第1摄像位置及第2摄像位置)上的相机32B的位置及姿势所需的信息。
因此，处理器40利用第1摄像图像内特征点q1的二维坐标(x3，y3)、第2摄像图像内特征点q2的二维坐标(x4，y4)及极几何，根据以下数式(13)～(19)计算出基本矩阵E，并根据计算出的基本矩阵E推算出旋转矩阵R及平移向量T。然后，处理器40根据推算出的旋转矩阵R及平移向量T，计算特征点Q的相机三维坐标(X，Y，Z)。
在此，对基本矩阵E的计算方法的一例进行说明。由第1摄像位置上的相机32B的坐标系表示的特征点Q的相机三维坐标(X1，Y1，Z1)与由第2摄像位置上的相机32B的坐标系表示的特征点Q的相机三维坐标(X2，Y2，Z2)之间的关系由以下数式(13)表示。在数式(13)中，Q1是由第1摄像位置上的相机32B的坐标系表示的特征点Q的相机三维坐标(X1，Y1，Z1)，Q2是由第2摄像位置上的相机32B的坐标系表示的特征点Q的相机三维坐标(X2，Y2，Z2)，R是旋转矩阵(即，从第1摄像位置上的相机32B的坐标系转换为第2摄像位置上的相机32B的坐标系所需的旋转矩阵)，T是平移向量(即，从第1摄像位置上的相机32B的坐标系转换为第2摄像位置上的相机32B的坐标系所需的平移向量)。
[数式13]
Q2＝RQ1+T……(13)
特征点Q的相机三维坐标(X1，Y1，Z1)向二维坐标(x3，y3)及(x4，y4)的投影由以下数式(14)表示。在数式(14)中，λ1是表示在将特征点Q投影于第1摄像图像PD1时损失的深度的值，λ2是表示在将特征点Q投影于第2摄像图像PD2时损失的深度的值。
[数式14]
数式(14)被替换为以下数式(15)。若将数式(15)代入数式(13)，则可获得以下数式(16)。
[数式15]
λ2q2＝Q2，λ1＝Q1(λ1＝Z1，λ2＝Z2)……(15)
[数式16]
λ2q2＝Rλ1+T……(16)
平移向量T是表示从相机中心O2至相机中心O1为止的距离及朝向的矢量。即，平移向量T相当于从相机中心O2向相机中心O1延伸的矢量，与基线BL一致。另一方面，数式(16)左边的“λ2q2”(即，数式(15)的“Q2”)相当于从相机中心O2向特征点Q延伸的直线，与极平面60的一边一致。因此，平移向量T与“λ2q2”的外积成为与极平面60垂直的矢量W(参考图19)。在此，若对数式(16)的右边也取与平移向量T的外积，则由以下数式(17)表示。另外，在数式(17)中，平移向量T被表示为失真对称矩阵[T]。
[数式17]
T×λ2q2＝T×(Rλ1q1+T)
[T|×λ2q2＝[T]×Rλ1q1……(17)
矢量W(参考图19)与极平面60正交，因此若对数式(17)的两边取与第2摄像图像内特征点q2的二维坐标(x4，y4)的内积，则如以下数式(18)所示，成为“0”。λ1及λ2是常数项，不影响旋转矩阵R及平移向量T的推算，因此将其从数式(18)删除。若设为“E＝[T]×R”，则可从数式(18)导出表示所谓的极约束式的数式(19)。
[数式18]
[数式19]
基本矩阵E通过联立针对包含特征点Q在内的多个特征点的每一个导出的多个极约束式来计算。基本矩阵E仅包含旋转矩阵R及平移向量T，因此通过计算基本矩阵E，还能够求出旋转矩阵R及平移向量T。旋转矩阵R及平移向量T根据基本矩阵E利用奇点分解等公知的方法(例如，参考https：//ir.lib.hiroshima-u.ac.jp/files/public/2/27688/20141016161841707301/20091125note_reconstruction.pdf_图像工程专题讲义：使用线性代数的三维复原_玉木徹_平成21年11月25日_59页“1.4.2_基于射影几何的极几何”～69页“1.4.4_三维复原的总结”)来推算。
特征点Q的相机三维坐标(X，Y，Z)通过将根据基本矩阵E推算的旋转矩阵R及平移向量T代入数式(13)来计算。
如以上说明，根据第2变形例，根据作为像而包含在多帧摄像图像PD之间的被摄体58的第1摄像图像内特征点q1及第2摄像图像内特征点q2，计算被摄体58的特征点Q的相机三维坐标，所述多帧摄像图像PD通过由相机32B从不同的位置拍摄被摄体58来获得。因此，根据本结构，能够不利用LiDAR32A而计算被摄体58的特征点Q的相机三维坐标。
[其他变形例]
在上述实施方式中，例示了三角形图像块54A，但本发明的技术并不限定于此，也可以代替三角形图像块54A利用由四边形网格规定的四边形图像块。并且，也可以代替三角形图像块54A利用除三角形或四边形以外的多边形的图像块。如此，在本发明的技术中利用了多边形图像块，因此与不利用多边形图像块的情况相比，能够容易地进行纹理映射。
另外，多边形图像块可以是平面图像块，也可以是曲面图像块，与曲面图像块相比，平面图像块的纹理映射的运算中的负荷较小，因此多边形图像块优选为平面图像块。
在上述实施方式中，列举纹理映射处理程序52存储于存储单元42中的形式的例子进行了说明，但本发明的技术并不限定于此。例如，纹理映射处理程序52可以存储于SSD或USB存储器等便携式存储介质100。存储介质100为非临时性的计算机可读取的存储介质。存储于存储介质100的纹理映射处理程序52安装于信息处理装置20的计算机39。处理器40根据纹理映射处理程序52执行纹理映射处理。
并且，可以在经由网络与信息处理装置20连接的其他计算机或服务器装置等的存储装置中存储纹理映射处理程序52，根据信息处理装置20的请求下载纹理映射处理程序52，并安装于计算机39。
另外，并不一定要将纹理映射处理程序52全部存储于与信息处理装置20连接的其他计算机或服务器装置等的存储装置或存储设备42，也可以存储纹理映射处理程序52的一部分。
并且，图3所示的信息处理装置20中内置有计算机39，但是本发明的技术并不限定于此，例如也可以设为计算机39设置于信息处理装置20的外部。
在上述实施方式中，例示了计算机39，但本发明的技术并不限定于此，也可以代替计算机39适用包括ASIC、FPGA和/或PLD的设备。并且，也可以使用硬件结构及软件结构的组合来代替计算机39。
作为执行在上述实施方式中说明的纹理映射处理的硬件资源，能够使用以下所示的各种处理器。作为处理器，例如，可以举出通用的处理器即CPU，其通过执行软件即程序，作为执行纹理映射处理的硬件资源而发挥作用。并且，作为处理器，例如可举出FPGA、PLD或ASIC等具有为了执行特定处理而专门设计的电路结构的处理器即专用电路。在任何处理器中都内置或连接有存储器，任何处理器都通过使用内存而执行纹理映射处理。
执行纹理映射处理的硬件资源可以由这些各种处理器中的一个构成，也可以由相同类型或不同类型的两个以上处理器的组合(例如，多个FPGA的组合、或CPU与FPGA的组合)构成。并且，执行纹理映射处理的硬件资源可以是一个处理器。
作为由一个处理器构成的例子，第一，有如下方式：通过一个以上的CPU和软件的组合来构成一个处理器，该处理器作为执行纹理映射处理的硬件资源发挥作用。第二，存在如下方式：如以SoC等为代表，使用由一个IC芯片实现包括执行纹理映射处理的多个硬件资源的整体系统的功能的处理器。如此，纹理映射处理通过使用一个以上的上述各种处理器作为硬件资源而实现。
而且，作为这些各种处理器的硬件结构，更具体而言，能够利用组合了半导体元件等电路元件的电路。并且，上述纹理映射处理仅为一例。因此，当然可以在不脱离宗旨的范围内删除不需要的步骤、或追加新的步骤或替换处理顺序。
以上示出的记载内容及图示内容为针对本发明的技术所涉及的部分的详细说明，仅仅是本发明的技术的一例。例如，与上述的结构、功能、作用及效果相关的说明是与本发明的技术所涉及的部分的结构、功能、作用及效果的一例相关的说明。因此，可以在不脱离本发明的技术宗旨的范围内，对以上示出的记载内容及图示内容，删除不需要的部分或追加新的要素、或进行替换，这是毋庸置疑的。并且，为了避免复杂化并且便于理解本发明的技术所涉及的部分，在以上示出的记载内容及图示内容中，省略了与在本发明的技术的实施中无需特别说明的技术常识等相关的说明。
在本说明书中，“A和/或B”的含义与“A及B中的至少一个”相同。即，“A和/或B”意味着可以只是A，也可以只是B，还可以是A及B的组合。并且，在本说明书中，利用“和/或”结合三个以上的事项来表述时，也适用与“A和/或B”相同的概念。
就本说明书中记载的全部的文献、专利申请以及技术规格而言，与具体且分别记载通过参考而编入的各个文献、专利申请以及技术规格的情况相同地，通过参考而编入本说明书。

Claims (12)

1.一种图像处理装置，其具备：
处理器；及
存储器，与所述处理器连接或内置于所述处理器，
所述图像处理装置的三维测距传感器与采样分辨率比所述三维测距传感器高的摄像装置之间的位置关系为已知，其中，
所述处理器执行如下处理：
根据所述三维测距传感器针对多个测定点的测距结果，获取能够确定所述多个测定点的位置的三维测距传感器系统三维坐标且由适用于所述三维测距传感器的三维坐标系规定的三维测距传感器系统三维坐标；
根据所述三维测距传感器系统三维坐标，获取由适用于所述摄像装置的三维坐标系规定的摄像装置系统三维坐标；
将所述摄像装置系统三维坐标转换为能够确定由所述摄像装置进行拍摄而获得的摄像图像内的位置的摄像装置系统二维坐标；
将所述摄像装置系统三维坐标转换为能够确定画面内的位置的显示系统二维坐标；及
将构成所述摄像图像的像素分配到所述画面内的根据利用所述摄像装置系统二维坐标和所述显示系统二维坐标的插值法确定的插值位置。
2.根据权利要求1所述的图像处理装置，其中，
所述处理器根据所述摄像装置系统三维坐标生成多边形图像块，
所述摄像装置系统三维坐标规定所述多边形图像块的交点的位置。
3.根据权利要求2所述的图像处理装置，其中，
所述插值位置是所述画面内的与除所述多边形图像块的交点以外的位置对应的位置。
4.根据权利要求2或3所述的图像处理装置，其中，
所述处理器执行如下处理：将所述摄像图像中包含的多个像素中的与所述多边形图像块的交点的位置对应的位置的像素进一步分配到所述画面内的与所述多边形图像块的交点的位置对应的画面内交点位置，由此创建三维图像。
5.根据权利要求2至4中任一项所述的图像处理装置，其中，
所述多边形图像块由三角形网格或四边形网格规定。
6.根据权利要求1至5中任一项所述的图像处理装置，其中，
所述处理器执行如下处理：将所述三维测距传感器系统三维坐标转换为所述摄像装置系统三维坐标，由此获取所述摄像装置系统三维坐标。
7.根据权利要求1至6中任一项所述的图像处理装置，其中，
所述处理器执行如下处理：根据作为像而包含在多帧图像之间的所述被摄体的特征点，进行计算来获取所述摄像装置系统三维坐标，所述多帧图像通过由所述摄像装置从不同的位置拍摄被摄体来获得。
8.根据权利要求1至7中任一项所述的图像处理装置，其中，
所述画面内的位置为显示器的画面内的位置。
9.根据权利要求1至8中任一项所述的图像处理装置，其中，
所述存储器保持将所述三维测距传感器系统三维坐标和所述摄像装置系统二维坐标建立对应关联而得的对应关联信息。
10.根据权利要求9所述的图像处理装置，其中，
所述处理器执行如下处理：参考所述对应关联信息，将构成所述摄像图像的像素分配到所述插值位置。
11.一种图像处理方法，其包括如下步骤：
在三维测距传感器与采样分辨率比所述三维测距传感器高的摄像装置之间的位置关系为已知的条件下，根据所述三维测距传感器针对多个测定点的测距结果，获取能够确定所述多个测定点的位置的三维测距传感器系统三维坐标且由适用于所述三维测距传感器的三维坐标系规定的三维测距传感器系统三维坐标；
根据所述三维测距传感器系统三维坐标，获取由适用于所述摄像装置的三维坐标系规定的摄像装置系统三维坐标；
将所述摄像装置系统三维坐标转换为能够确定由所述摄像装置进行拍摄而获得的摄像图像内的位置的摄像装置系统二维坐标；
将所述摄像装置系统三维坐标转换为能够确定画面内的位置的显示系统二维坐标；及
将构成所述摄像图像的像素分配到所述画面内的根据基于所述摄像装置系统二维坐标和所述显示系统二维坐标的插值法确定的插值位置。
12.一种程序，其用于使计算机执行包括如下步骤的处理：
在三维测距传感器与采样分辨率比所述三维测距传感器高的摄像装置之间的位置关系为已知的条件下，根据所述三维测距传感器针对多个测定点的测距结果，获取能够确定所述多个测定点的位置的三维测距传感器系统三维坐标且由适用于所述三维测距传感器的三维坐标系规定的三维测距传感器系统三维坐标；
根据所述三维测距传感器系统三维坐标，获取由适用于所述摄像装置的三维坐标系规定的摄像装置系统三维坐标；
将所述摄像装置系统三维坐标转换为能够确定由所述摄像装置进行拍摄而获得的摄像图像内的位置的摄像装置系统二维坐标；
将所述摄像装置系统三维坐标转换为能够确定画面内的位置的显示系统二维坐标；及
将构成所述摄像图像的像素分配到所述画面内的根据利用所述摄像装置系统二维坐标和所述显示系统二维坐标的插值法确定的插值位置。
CN202280043352.8A 2021-06-29 2022-06-06 图像处理装置、图像处理方法及程序 Pending CN117501315A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021108048 2021-06-29
JP2021-108048 2021-06-29
PCT/JP2022/022785 WO2023276567A1 (ja) 2021-06-29 2022-06-06 画像処理装置、画像処理方法、及びプログラム

Publications (1)

Publication Number Publication Date
CN117501315A true CN117501315A (zh) 2024-02-02

Family

ID=84690262

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280043352.8A Pending CN117501315A (zh) 2021-06-29 2022-06-06 图像处理装置、图像处理方法及程序

Country Status (5)

Country Link
US (1) US20240119657A1 (zh)
JP (1) JPWO2023276567A1 (zh)
CN (1) CN117501315A (zh)
DE (1) DE112022003299T5 (zh)
WO (1) WO2023276567A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115797185B (zh) * 2023-02-08 2023-05-02 四川精伍轨道交通科技有限公司 一种基于图像处理、复球面的坐标转换的方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4543820B2 (ja) 2004-08-19 2010-09-15 朝日航洋株式会社 ３次元データ処理装置及びプログラム
JP5734070B2 (ja) 2011-04-14 2015-06-10 三菱電機株式会社 展開図生成装置及び展開図生成方法
US8948498B1 (en) * 2012-10-17 2015-02-03 Google Inc. Systems and methods to transform a colored point cloud to a 3D textured mesh
JP6166631B2 (ja) * 2013-09-25 2017-07-19 株式会社 日立産業制御ソリューションズ ３次元形状計測システム
JP6293110B2 (ja) 2015-12-07 2018-03-14 株式会社Ｈｉｅｌｅｒｏ 点群データ取得システム及びその方法
JP6574461B2 (ja) 2016-08-04 2019-09-11 株式会社フォーディーアイズ 点群データ変換システム及びその方法

Also Published As

Publication number Publication date
WO2023276567A1 (ja) 2023-01-05
DE112022003299T5 (de) 2024-04-18
JPWO2023276567A1 (zh) 2023-01-05
US20240119657A1 (en) 2024-04-11

Similar Documents

Publication Publication Date Title
JP6503500B2 (ja) 点群データ利用システム
JP6149676B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
Murphy et al. Historic building information modelling (HBIM)
US10681269B2 (en) Computer-readable recording medium, information processing method, and information processing apparatus
JP5303873B2 (ja) 車両形状計測方法と装置
CN111462213A (zh) 一种在运动过程中获取物体3d坐标及尺寸的设备及方法
MX2013003853A (es) Modelado tridimensional rápido.
CN102692213B (zh) 基于主动式全景视觉传感器的交通事故现场测绘仪
WO2022078440A1 (zh) 一种包含运动物体的空间占用率采集判断设备及方法
WO2022111105A1 (zh) 一种自由姿态的智能视觉3d信息采集设备
JP2018048839A (ja) 三次元データ生成装置及び三次元データ生成方法、並びに三次元データ生成装置を備えた監視システム
WO2022078442A1 (zh) 一种基于光扫描和智能视觉融合的3d信息采集方法
US20240119657A1 (en) Image processing device, image processing method, and program
JP4588369B2 (ja) 撮影装置及び撮影方法
JP2023505891A (ja) 環境のトポグラフィを測定するための方法
JP7148229B2 (ja) 三次元点群データの縦断面図作成方法，そのための測量データ処理装置，および測量システム
RU2562368C1 (ru) Способ трёхмерного (3d) картографирования
WO2022078439A1 (zh) 一种空间与物体三维信息采集匹配设备及方法
JP4834524B2 (ja) ３次元形状測定方法およびその装置
Bori et al. Integration the low cost camera images with the google earth dataset to create a 3D model
WO2022078444A1 (zh) 一种用于3d信息采集的程序控制方法
WO2022078437A1 (zh) 一种移动物体之间的三维处理设备及方法
JP4491293B2 (ja) モデル形成装置及びモデル形成方法
JP2023072353A (ja) 移動体の移動経路決定装置、移動体の移動経路決定方法及び移動体の移動経路決定プログラム
CN112304250B (zh) 一种移动物体之间的三维匹配设备及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination