CN113205587A - 用于棚内煤堆建模的图像格式转换系统及方法 - Google Patents

Abstract

本发明提供了一种用于棚内煤堆建模的图像格式转换系统，包括：处理单元和摄像机，所述摄像机通过云台设置在斗轮机机臂末端上；其中，所述摄像机与所述处理单元进行交互连接。还提供一种用于棚内煤堆建模的图像格式转换方法。根据本发明的实施方式，解决了对棚内煤堆三维重建之前无法获取带三维坐标信息的图像问题，有利于棚内煤堆三维重建工作。

Description

用于棚内煤堆建模的图像格式转换系统及方法

技术领域

本发明涉及图像采集技术领域，尤其涉及一种用于棚内煤堆建模的图像 格式转换系统及采用该系统的方法。

背景技术

煤炭作为我国的主要能源，其相关产业推动着的国家经济发展。随着采 煤技术逐渐成熟，煤炭产量也随之有了很大的提升，出现了一批千万吨级的 特大型煤矿。这些高产量的煤矿都需要利用大型储煤场来存储煤炭。随着我 国煤炭产量过剩，国家转变能源战略，煤矿企业的重点工作也扩展为制定合 理的煤炭生产计划，根据需求合理地控制煤炭产量及存储量，增加企业利润， 减少企业损失。

除了煤矿企业，在火力发电厂等需要存储煤炭的企业生产经营活动中， 按时盘点储煤场的储煤量是这些企业生产经营活动中的重要环节。一般这些 企业都设立有专门负责盘点储煤量的部门和人员，以及时获得储煤场中的储 煤量，核算经济效益。如何快速高效地盘点储煤量，实现储煤场储煤量的精 确测量一直以来都是煤炭产业的难点问题。

目前广泛使用的盘煤方法主要有人工皮尺测量法和激光测量法。近些年， 随着无人机技术与三维重建技术的发展，通过无人机采集露天储煤场的图像 序列,进而采用基于图像序列的三维重建算法，生成露天储煤场中煤堆的三维 实景模型，能够较好地解决人工测量法和激光测量法盘煤所存在的困难。

而且无人机具有体积小、价格低以及操作方便等优点，在三维建模方面 有着广阔的发展前景，操作人员可以自主规划飞行以应对不同环境，极大满 足了不同领域的作业需求。作为近几年的研究热点，无人机技术结合计算机 视觉技术在数据采集、图像处理方面快速发展，取得了较大进步，扩展了计 算机视觉的应用领域。

但是目前针对火电厂煤场的煤堆的建模算法，都是对露天煤堆进行三维 重建，而商业三维重建软件需要的是带GPS信息的图像数据，如果煤堆被火 电厂的煤棚等建筑物从上方遮挡，无人机只能采集棚外的带GPS(经度、纬度、 高程)的图像信息，而无法获取棚内煤堆的带GPS(经度、纬度、高程)的图 像信息，从而导致后续三维重建的工作无法进行。

背景技术部分的内容仅仅是发明人所知晓的技术，并不当然代表本领域 的现有技术。

发明内容

有鉴于此，本发明旨在提供一种改进的可用于棚内煤堆建模的图像格式 转换系统及方法的技术方案。

在一个方面，提供一种用于棚内煤堆建模的图像格式转换系统，包括：

处理单元；以及

摄像机，所述摄像机通过云台设置在斗轮机机臂末端上；

其中，所述摄像机与所述处理单元进行交互连接。

在一个实施例中，所述处理单元包括：ARM开发板、用于传递信息的通信 模块、存储模块和图像数据模块；所述通信模块、所述存储模块和所述图像 数据模块均设置在所述ARM开发板上；所述通信模块与所述存储模块连接。

在一个实施例中，所述处理单元还包括：提供电源的电源模块，所述电 源模块设置在所述ARM开发板上。

在一个实施例中，所述电源模块包括：电源芯片、电源指示灯和电源适 配器；所述电源芯片与所述电源指示灯和所述电源适配器连接，所述电源适 配器还与所述电源模块内的电池连接。

在一个实施例中，所述通信模块为板载WiFi和蓝牙二合一模块。

在另一个方面，还提供一种用于棚内煤堆建模的图像格式转换方法，采 用如上所述的图像格式转换系统，其特征在于，包括如下步骤：

S101：在棚外选取一个基准点，并在棚内煤场上选取一个辅助计算点；

S102：获取基准点的三维坐标信息；

S103：利用摄像机采集棚内煤堆的图像及对应的三维信息；

S104：将所述三维信息转换为以基准点为原点的三维坐标信息；以及

S105：将所述图像转换为带三维坐标信息的图像。

在一个实施例中，在步骤S103中摄像机采集图像的角度与棚外无人机采 集图像的角度匹配。

在一个实施例中，所述三维坐标信息为：经度、纬度和高程。

在一个实施例中，步骤S104中所述转换的计算公式为：

当0°≤α＜90°时，X₀＝a-L cosβcosα，Y₀＝L cosβsinα，Z₀＝L sinβ；

当90°≤α＜180°时，X₀＝a+L cosβcos(π-α)，Y₀＝L cosβsin(π-α)，Z₀＝L sinβ；

当180°≤α＜270°时，X₀＝a+L cosβcos(α-π)，Y₀＝-L cosβsin(α-π)，Z₀＝L sinβ；

当270°≤α＜360°时，X₀＝a-L cosβcos(2π-α)，Y₀＝-L cosβsin(2π-α)， Z₀＝Lsinβ；

L为斗轮机机臂长，a为斗轮机位移，α为斗轮机机臂与斗轮机轨道基准 点所形成的夹角，β为俯仰角度，m为煤堆长度，n为宽度，n₀为斗轮机轨道 距煤堆边缘的宽度。

在一个实施例中，步骤S105中所述转换的计算公式为：

当0°≤α＜180°时，

H＝h₁+Z₀/K；

当180°≤α＜360°时，

H＝h₁+Z₀/K。

(m₁,n₁,h₁)，(m₂,n₂,h₂)分别为基准点和辅助计算点的GPS坐标(经度、 纬度、高程)信息，K为无人机图像比例尺，(M,N,H)为转换后的图像坐标。

根据本发明的实施方式，本发明提供的方法通过在棚外选取的带GPS坐 标信息的基准点，并将采集的棚内不带三维坐标信息的图像以基准点为原点， 转换为带三维坐标信息的图像，本发明提供的方法不仅简单并且有利于后续 对棚内煤堆进行三维重建的工作；本发明提供的图像格式转换系统中的斗轮 机在煤场内为常见设施，斗轮机与摄像机相结合完成了煤堆的图像采集工作， 处理单元可以控制调整摄像机的方向和图像采集，并实现了对图像数据的处 理工作，图像格式转换系统解决了对棚内煤堆三维重建之前无法获取棚内煤 堆带三维坐标信息的图像的问题，有利于后续对棚内煤堆进行三维重建的工 作。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的 示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在 附图中：

图1示出了根据本发明一个实施例的棚内煤场示意图；

图2示出了根据本发明一个实施例的斗轮机机臂与摄像机位置示意图；

图3示出了根据本发明一个实施例的处理单元示意图；

图4示出了根据本发明一个实施例的包含基准点的棚内煤场坐标系示意 图；

图5示出了根据本发明一个实施例的棚内采集图像与棚外采集图像的路 径示意图。

具体实施方式

在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可 认识到的那样，在不脱离本发明的精神或范围的情况下，可通过各种不同方 式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限 制性的。

在本发明的描述中，需要理解的是，术语"中心"、"纵向"、"横向"、"长 度"、"宽度"、"厚度"、"上"、"下"、"前"、"后"、"左"、"右"、"坚直"、"水 平"、"顶"、"底"、"内"、"外"、"顺时针"、"逆时针"等指示的方位或位置关 系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述， 而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构 造和操作，因此不能理解为对本发明的限制。此外，术语"第一"、"第二"仅用 于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技 术特征的数量。由此，限定有"第一"、"第二"的特征可以明示或者隐含地包 括一个或者更多个所述特征。在本发明的描述中，"多个"的含义是两个或两 个以上，除非另有明确具体的限定。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语" 安装"、"相连"、"连接"应做广义理解，例如，可以是固定连接，也可以是可 拆卸连接，或一体地连接:可以是机械连接，也可以是电连接或可以相互通讯； 可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连 通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据 具体情况理解上述术语在本发明中的具体含义。

下文的公开提供了许多不同的实施方式或例子用来实现本发明的不同结 构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。当 然，它们仅仅为示例，并且目的不在于限制本发明。此外，本发明可以在不同 例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其 本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本发明提供了 的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他 工艺的应用和/或其他材料的使用。

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述 的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

图1示出了根据本发明一个实施例的棚内煤场示意图，图2示出了根据 本发明一个实施例的斗轮机机臂2与摄像机3位置示意图。如图1-2所示， 用于棚内煤堆建模的图像格式转换系统，包括设置在斗轮机轨道11上的斗轮 机1，还包括：处理单元(未示出)、摄像机3；摄像机3通过云台31设置在 斗轮机1的斗轮机机臂2末端上，斗轮机1沿斗轮机轨道11运动，斗轮机机 臂2末端上的摄像机3随斗轮机1的运动采集棚内煤场的煤堆的图像数据，同时斗轮机机臂2在采集图像数据的过程调节与地面的角度；摄像机3与处 理单元进行交互连接，处理单元可以接收摄像机3采集的图像数据。

图3示出了根据本发明一个实施例的处理单元示意图。如图3所示，处 理单元包括：ARM开发板、用于传递信息的通信模块、存储模块和采集处理图 像数据的图像数据模块；通信模块、存储模块和图像数据模块均设置在ARM开 发板上；通信模块与存储模块连接。

优选的，处理单元选用飞凌Cortex-A9系列核心板，处理器为Freescale i.MX6Q，主频为1GHz；RAM为1GBDDR3；ROM为8GBEMMC。

处理单元还包括：提供电源的电源模块，电源模块也设置在ARM开发板 上。电源模块包括：电源芯片、电源指示灯和电源适配器；电源芯片维持电压 电流的稳定输出，电源芯片与电源指示灯和电源适配器连接；电源适配器还 与电源模块内的电池连接，可以通过电源适配器对电池进行充电；电源指示 灯用于显示电源模块是否连接以及处理单元是否出现故障。优选的，电源指 示灯为LED指示灯。

通信模块可以接收由摄像机3采集和传输的斗轮机1的位移、水平角度 和俯仰角度的信息，以及棚内煤场的煤堆的图像信息。图4示出了根据本发 明一个实施例的包含基准点的棚内煤场坐标系示意图。建立如图4所示坐标 系，x轴为斗轮机轨道11所在轴线，z轴垂直于水平面，原点为斗轮机1的 起始运动位置，基准点在x轴的负方向上，则水平角度为：斗轮机机臂2在 水平面的投影线与负x轴所形成的夹角，俯仰角度为：斗轮机机臂2与水平面之间的夹角。

优选的，通信模块为板载WiFi和蓝牙二合一模块。型号是RealTek RTL8723ASCombo Module，IEEE 802.11b/g/n 2.4GHz 1T1R WiFi with Bluetooth v2.1+EDR/Bluetooth3.0/3.0+HS/4.0。

存储模块包括RAM、ROM和SD卡接口，其中SD卡接口兼容SDXC(UHS- I)标准，可支持目前最高512GB的SD卡。存储模块可以接收由通信模块传 输的图像信息和三维坐标信息。

图像数据模块提取存储在存储模块中的图像信息和三维坐标信息，并处 理为目标图像数据格式的图像信息。

另外在无人机航空摄影测量中，沿同一航线的各相片间的重叠称为航向 重叠；相邻航线间相片的重叠，称为旁向重叠。航向重叠和旁向重叠是进行 立体观察、立体测量、以及相片连接的必须条件，即采集满足航向重叠和旁 向重叠要求的图像是进行三维重建的前提。

因此在棚内采集图像时，位于斗轮机机臂2末端的摄像机3的镜头倾斜 角度，应当与室外无人机相机镜头的倾斜角度相一致。图5示出了根据本发 明一个实施例的棚内采集图像与棚外采集图像的路径示意图。如图5所示， 在棚内摄像机3采集图像时的路径和拍摄角度均需满足图像重叠度的需求。

同航线相邻影像的重叠程度称为航向重叠度；相邻航线间影像的重叠程 度，称为旁向重叠度。一般商用三维建模软件对图像重叠度的要求为航向重 叠度为60％，旁向重叠度为40％，当煤堆形状变化较大时，为保证重建精度， 可适当增加图像重叠度。

用于棚内煤堆建模的图像格式转换系统的工作过程为：斗轮机1从斗轮 机轨道11的起始位置出发，沿斗轮机轨道11运动，斗轮机机臂2随斗轮机 1的运动而运动，摄像机3随斗轮机机臂2的运动而移动；在移动的过程中， 调整斗轮机机臂2的水平角度和俯仰角度，同时处理单元控制云台31调整摄 像机3的镜头的拍摄角度，使摄像机3采集图像的角度与无人机采集图像的 角度匹配；移动过程中摄像机3采集斗轮机1的位移、水平角度和俯仰角度 信息，以及棚内煤场的煤堆图像信息；摄像机3将采集的信息传输至处理单 元中的通信模块，通信模块接收数据并将数据传输至存储单元，图像数据模 块提取存储单元中存储的数据，将图像转换为带三维坐标信息的图像格式。

还提供一种用于棚内煤堆建模的图像格式转换方法，采用如上所述的图 像格式转换系统，包括如下步骤：

S101：在棚外选取一个基准点，并在棚内煤场上选取一个辅助计算点

如图1所示，在棚内煤场之外选取一个基准点，该基准点位于斗轮机轨 道11的延长线上。另外在棚内煤场上选取一个辅助计算点，相对于煤堆来说， 辅助计算点位于基准点的对角方向上，注意基准点与辅助计算点的经度和纬 度均不相同。

S102：获取基准点的三维坐标信息

在采集图像前，使用无线通讯定位设备例如手机获取基准点的三维坐标 信息即GPA坐标信息；并将获取的基准点的三维坐标信息发送至处理单元。

S103：利用摄像机3采集棚内煤堆的图像及对应的三维信息

如图2所示，将斗轮机机臂2调整到能达到的最大高度，启动斗轮机1 使斗轮机1沿斗轮机轨道11从靠近基准点一端开始运动，斗轮机机臂2随斗 轮机1的运动而运动；通过云台31安装在斗轮机机臂2末端的摄像机3，随 斗轮机机臂2的运动而移动；在移动的过程中，调整斗轮机机臂2的水平角 度和俯仰角度，同时处理单元控制云台31调整摄像机3的镜头的拍摄角度， 使摄像机3采集图像的角度与无人机采集图像的角度匹配；摄像机3完成对煤堆的不带三维坐标信息的图像及对应的三维信息采集，并将采集的信息传 输到处理单元中的通信模块中，通信模块将接收的信息存储到存储模块。

S104：将所述三维信息转换为以基准点为原点的三维坐标信息

如图4所示坐标系，x轴为斗轮机轨道11所在轴线，z轴垂直于水平面， 原点为斗轮机1的起始运动位置，基准点在x轴的负方向上；处理单元中的 图像数据模块将采集的图像的三维信息转换为对应的以基准点为原点的三维 坐标信息，并将处理后的信息存储在存储模块中。

S105：将所述图像转换为带三维坐标信息的图像。

通过处理单元中的图像数据模块，将采集的不带三维坐标信息的图像与 存储在存储模块中的三维坐标信息结合，生成带三维坐标信息的图像。

在一些实施例中，三维坐标信息为：经度、纬度和高程。

如图4所示，在一些实施例中，步骤S104中所述转换的计算公式为：

当0°≤α＜90°时，X₀＝a-L cosβcosα，Y₀＝L cosβsinα，Z₀＝L sinβ；

当90°≤α＜180°时，X₀＝a+L cosβcos(π-α)，Y₀＝L cosβsin(π-α)，Z₀＝L sinβ；

当180°≤α＜270°时，X₀＝a+L cosβcos(α-π)，Y₀＝-L cosβsin(α-π)，Z₀＝L sinβ；

当270°≤α＜360°时，X₀＝a-L cosβcos(2π-α)，Y₀＝-L cosβsin(2π-α)， Z₀＝Lsinβ；

L为斗轮机机臂2长，a为斗轮机1位移，α为斗轮机机臂2与斗轮机轨 道11基准点所形成的夹角，β为俯仰角度，m为煤堆长度，n为宽度，n₀为 斗轮机轨道11距煤堆边缘的宽度。

在一些实施例中，步骤S105中所述转换的计算公式为：

当0°≤α＜180°时，

H＝h₁+Z₀/K；

当180°≤α＜360°时，

H＝h₁+Z₀/K。

(m₁,n₁,h₁)，(m₂,n₂,h₂)分别为基准点和辅助计算点的GPS坐标(经度、 纬度、高程)信息，K为无人机图像比例尺，(M,N,H)为转换后的图像坐标。

根据本发明的实施方式，本发明提供的方法通过在棚外选取的带GPS坐 标信息的基准点，并将采集的棚内不带三维坐标信息的图像以基准点为原点， 转换为带三维坐标信息的图像，本发明提供的方法不仅简单并且有利于后续 对棚内煤堆进行三维重建的工作；本发明提供的图像格式转换系统中的斗轮 机1在煤场内为常见设施，斗轮机1与摄像机3相结合完成了煤堆的图像采 集工作，处理单元可以控制调整摄像机3的方向和图像采集，并实现了对图 像数据的处理工作，图像格式转换系统解决了对棚内煤堆三维重建之前无法获取棚内煤堆带三维坐标信息的图像问题，有利于棚内煤堆三维重建工作。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本 发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本 发明的保护范围之内。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限 制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的 技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或 者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作 的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种用于棚内煤堆建模的图像格式转换系统，其特征在于，包括：

处理单元；以及

摄像机，所述摄像机通过云台设置在斗轮机机臂末端上；

其中，所述摄像机与所述处理单元进行交互连接。

2.根据权利要求1所述的图像格式转换系统，其特征在于，所述处理单元包括：ARM开发板、用于传递信息的通信模块、存储模块和图像数据模块；所述通信模块、所述存储模块和所述图像数据模块均设置在所述ARM开发板上；所述通信模块与所述存储模块连接。

3.根据权利要求2所述的图像格式转换系统，其特征在于，所述处理单元还包括：提供电源的电源模块，所述电源模块设置在所述ARM开发板上。

4.根据权利要求3所述的图像格式转换系统，其特征在于，所述电源模块包括：电源芯片、电源指示灯和电源适配器；所述电源芯片与所述电源指示灯和所述电源适配器连接，所述电源适配器还与所述电源模块内的电池连接。

5.根据权利要求2所述的图像格式转换系统，其特征在于，所述通信模块为板载WiFi和蓝牙二合一模块。

6.一种用于棚内煤堆建模的图像格式转换方法，采用如权利要求1-5中任一项所述的图像格式转换系统，其特征在于，包括如下步骤：

S101：在棚外选取一个基准点，并在棚内煤场上选取一个辅助计算点；

S102：获取基准点的三维坐标信息；

S103：利用摄像机采集棚内煤堆的图像及对应的三维信息；

S104：将所述三维信息转换为以基准点为原点的三维坐标信息；以及

S105：将所述图像转换为带三维坐标信息的图像。

7.根据权利要求6所述的图像格式转换方法，其特征在于，在步骤S103中摄像机采集图像的角度与棚外无人机采集图像的角度匹配。

8.根据权利要求7所述的图像格式转换方法，其特征在于，所述三维坐标信息为：经度、纬度和高程。

9.根据权利要求8所述的图像格式转换方法，其特征在于，步骤S104中所述转换的计算公式为：

当0°≤α＜90°时，X₀＝a-Lcosβcosα，Y₀＝Lcosβsinα，Z₀＝Lsinβ；

当90°≤α＜180°时，X₀＝a+Lcosβcos(π-α)，Y₀＝Lcosβsin(π-α)，Z₀＝Lsinβ；

当180°≤α＜270°时，X₀＝a+Lcosβcos(α-π)，Y₀＝-Lcosβsin(α-π)，Z₀＝Lsinβ；

当270°≤α＜360°时，X₀＝a-Lcosβcos(2π-α)，Y₀＝-Lcosβsin(2π-α)，Z₀＝Lsinβ；

L为斗轮机机臂长，a为斗轮机位移，α为斗轮机机臂与斗轮机轨道基准点所形成的夹角，β为俯仰角度，m为煤堆长度，n为宽度，n₀为斗轮机轨道距煤堆边缘的宽度。

10.根据权利要求9所述的图像格式转换方法，其特征在于，步骤S105中所述转换的计算公式为：

当0°≤α＜180°时，

H＝h₁+Z₀/K；

当180°≤α＜360°时，

H＝h₁+Z₀/K。

(m₁,n₁,h₁)，(m₂,n₂,h₂)分别为基准点和辅助计算点的GPS坐标(经度、纬度、高程)信息，K为无人机图像比例尺，(M,N,H)为转换后的图像坐标。

Images