CN114612537A - 数字孪生图像与真实图像配准方法、设备及可读存储介质 - Google Patents
数字孪生图像与真实图像配准方法、设备及可读存储介质 Download PDFInfo
- Publication number
- CN114612537A CN114612537A CN202210326207.2A CN202210326207A CN114612537A CN 114612537 A CN114612537 A CN 114612537A CN 202210326207 A CN202210326207 A CN 202210326207A CN 114612537 A CN114612537 A CN 114612537A
- Authority
- CN
- China
- Prior art keywords
- straight line
- image
- real image
- reference straight
- digital twin
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 230000009466 transformation Effects 0.000 claims abstract description 12
- 238000001514 detection method Methods 0.000 claims description 7
- 238000003708 edge detection Methods 0.000 claims description 5
- 238000005286 illumination Methods 0.000 abstract description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000003345 natural gas Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种数字孪生图像与真实图像配准方法、设备及可读存储介质，本发明基于Hough变换，具有抗光照、抗畸变能力强的特点，由于将真实图像的第一基准直线与数字孪生图像中的第二基准直线作为基准进行配准，并且不需要进行图像变换、矫正等等处理，因此，配准精度高，使得生成的融合图像更为清晰，满足了业务需求。
Description
技术领域
本发明属于图像配准技术领域，尤其涉及一种数字孪生图像与真实图像配准方法、设备及可读存储介质。
背景技术
随着以大数据、物联网与人工智能技术为代表的新一代信息技术的快速发展，传统产业的数字化升级迫在眉睫。在天然气运营企业数字化转型过程中，为了实现LNG场站的可视化，一般采用三维建模的方式构建虚拟数字孪生图像，为了充分展示真实场景的细节内容往往需要将数字孪生图像与真实图像进行配准、融合。
由于LNG场站遥感图像的采集容易受到天气变换、光照强度等自然因素的影响，获取到的真实图像往往较为模糊。因此，采用基于灰度的图像配准算法对LNG场站的数字孪生图像与真实图像进行匹配时难以找到配准基准特征，导致生成的融合图像往往较为模糊，难以达到业务需求。基于频域的图像配准算法通常利用图像平移、旋转和缩放等变换在频域的性质，求解变换参数从而实现两幅图像的精准匹配，然而场站数字孪生图像纹理细节特征大量缺失，对其进行图像变换、矫正后很容易引入噪声和误差使图像配准精度降低，生成的融合图像较为模糊。
发明内容
基于此，针对上述技术问题，提供一种数字孪生图像与真实图像配准方法、设备及可读存储介质。
本发明采用的技术方案如下：
一方面，提供一种数字孪生图像与真实图像配准方法，包括：
S101、对真实图像进行边缘检测，生成所述真实图像的二值边缘图；
S102、对所述二值边缘图中的边缘点进行Hough变换，识别到所述真实图像中的多条直线；
S103、在所述真实图像中检测目标区域，将所述多条直线中与检测到的目标区域的边缘重合的直线作为第一基准直线，从数字孪生图像的对应目标区域中找到与所述第一基准直线对应的第二基准直线；
S104、在所述第一基准直线和第二基准直线上分别选取目标区域的角点作为关键特征点；
S105、对所述数字孪生图像进行缩放，使其与所述真实图像具有相同的比例；
S106、将所述第一基准直线上的关键特征点与所述第二基准直线上的关键特征点进行重合，使所述第一基准直线与第二基准直线重合，完成配准。
另一方面，提供一种电子设备，包括存储模块，所述存储模块包括由处理器加载并执行的指令，所述指令在被执行时使所述处理器执行上述的一种数字孪生图像与真实图像配准方法。
再一方面，提供一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现上述的一种数字孪生图像与真实图像配准方法。
本发明基于Hough变换，具有抗光照、抗畸变能力强的特点，由于将真实图像的第一基准直线与数字孪生图像中的第二基准直线作为基准进行配准，并且不需要进行图像变换、矫正等等处理，因此，配准精度高，使得生成的融合图像更为清晰，满足了业务需求。
附图说明
下面结合附图和具体实施方式本发明进行详细说明：
图1为本发明的的流程图。
具体实施方式
如图1所示，本说明书实施例提供一种数字孪生图像与真实图像配准方法，包括：
S101、对真实图像进行边缘检测，生成真实图像的二值边缘图。
在本实施例中，通过canny算子对真实图像进行边缘检测，由于canny算子检测到的边缘特征通常十分完整且边缘特征细节清晰，有助于提高后续Hough变换精准度。
S102、对二值边缘图中的边缘点进行Hough变换，识别到真实图像中的多条直线。
S103、在真实图像中检测目标区域，将多条直线中与检测到的目标区域的边缘重合的直线作为第一基准直线，从数字孪生图像的对应目标区域中找到与第一基准直线对应的第二基准直线。
其中，目标区域是指作为基准的区域，如对于LNG场站图像，可以将其中的卸车位(矩形区域)作为目标区域。
对于目标区域的检测通过训练好的检测模型实现，优选地，检测模型采用CornerNet模型，CornerNet模型通过检测一对关键点(左上角点和右下角点)来检测目标区域。传统的检测模型，不论是一阶还是二阶检测器，基本都基于anchor来进行分类和回归，但是anchor存在两点问题：首先是anchor的数量众多，但实际上只有很小一部分和gtboxes有较高的overlap，这导致了样本正负不均衡、网络收敛速度慢等问题，其次是引入了很多anchor相关的超参数，如数量、尺寸、宽高比等，而超参数的合理选择会直接影响网络的性能。CornerNet模型消除了anchor机制，同时也就避免了上述提及的问题，检测效率较高。
对于第一基准直线的确定，可以先根据检测到的目标区域，确定目标区域的四个角点，然后将多条直线中经过其中两个角点的直线作为第一基准直线，如将经过左上角点和左下角点的直线作为第一基准直线。
对于第二基准直线的确定，可以先根据第一基准直线经过的两个角点，确定目标区域与第一基准直线所重合的边缘，然后根据该边缘，找到数字孪生图像中对应目标区域的对应边缘，最后将对应边缘作为第二基准直线。
假设第一基准直线经过左上角点和左下角点，那么就可以确定目标区域的四条边缘中与第一基准直线重合的是左侧边缘，这样就能从数字孪生图像的对应目标区域中，找到对应的左侧边缘。
对于数字孪生图像，其目标区域的四个角点的坐标本身就是已知的，因此，很容易找到第二基准直线。
S104、在第一基准直线和第二基准直线上分别选取目标区域的角点作为关键特征点。
S105、对数字孪生图像进行缩放，使其与真实图像具有相同的比例。
S106、将第一基准直线上的关键特征点与第二基准直线上的关键特征点进行重合，使第一基准直线与第二基准直线重合，完成配准。
为了便于第一基准直线与第二基准直线重合，在S104中，在第一基准直线和第二基准直线上分别选取目标区域的两个角点作为关键特征点。
基于同一发明构思，本说明书实施例还提供一种电子设备，包括存储模块，存储模块包括由处理器加载并执行的指令，指令在被执行时使处理器执行本说明书上述一种数字孪生图像与真实图像配准方法部分中描述的根据本发明各种示例性实施方式的步骤。
其中，存储模块可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)和/或高速缓存存储单元，还可以进一步包括只读存储单元(ROM)。
基于同一发明构思，本说明书实施例还提供一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，一个或多个程序当被处理器执行时，实现本说明书上述一种数字孪生图像与真实图像配准方法部分中描述的根据本发明各种示例性实施方式的步骤。
计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。计算机可读存储介质的更具体示例包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
但是，本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例的变化、变型都将落在本发明的权利要求书范围内。
Claims (9)
1.一种数字孪生图像与真实图像配准方法，其特征在于，包括：
S101、对真实图像进行边缘检测，生成所述真实图像的二值边缘图；
S102、对所述二值边缘图中的边缘点进行Hough变换，识别到所述真实图像中的多条直线；
S103、在所述真实图像中检测目标区域，将所述多条直线中与检测到的目标区域的边缘重合的直线作为第一基准直线，从数字孪生图像的对应目标区域中找到与所述第一基准直线对应的第二基准直线；
S104、在所述第一基准直线和第二基准直线上分别选取目标区域的角点作为关键特征点；
S105、对所述数字孪生图像进行缩放，使其与所述真实图像具有相同的比例；
S106、将所述第一基准直线上的关键特征点与所述第二基准直线上的关键特征点进行重合，使所述第一基准直线与第二基准直线重合，完成配准。
2.根据权利要求1所述的一种数字孪生图像与真实图像配准方法，其特征在于，所述S101通过canny算子对真实图像进行边缘检测，生成所述真实图像的二值边缘图。
3.根据权利要求1或2所述的一种数字孪生图像与真实图像配准方法，其特征在于，所述在所述真实图像中检测目标区域，进一步包括：
通过训练好的检测模型在所述真实图像中检测目标区域。
4.根据权利要求3所述的一种数字孪生图像与真实图像配准方法，其特征在于，所述检测模型采用CornerNet模型。
5.根据权利要求4所述的一种数字孪生图像与真实图像配准方法，其特征在于，所述将所述多条直线中与检测到的目标区域的边缘重合的直线作为第一基准直线，进一步包括：
根据检测到的目标区域，确定所述目标区域的四个角点；
将所述多条直线中经过两个角点的直线作为第一基准直线。
6.根据权利要求5所述的一种数字孪生图像与真实图像配准方法，其特征在于，所述从数字孪生图像的对应目标区域中找到与所述第一基准直线对应的第二基准直线，进一步包括：
根据所述第一基准直线所经过的两个角点，确定所述目标区域与所述第一基准直线所重合的边缘；
根据所述边缘，找到所述数字孪生图像中对应目标区域的对应边缘；
将所述对应边缘作为第二基准直线。
7.根据权利要求6所述的一种数字孪生图像与真实图像配准方法，其特征在于，所述S104进一步包括：
在所述第一基准直线和第二基准直线上分别选取目标区域的两个角点作为关键特征点。
8.一种电子设备，其特征在于，包括存储模块，所述存储模块包括由处理器加载并执行的指令，所述指令在被执行时使所述处理器执行根据权利要求1-7任一项所述的一种数字孪生图像与真实图像配准方法。
9.一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，其特征在于，所述一个或多个程序当被处理器执行时，实现权利要求1-7任一项所述的一种数字孪生图像与真实图像配准方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210326207.2A CN114612537A (zh) | 2022-03-29 | 2022-03-29 | 数字孪生图像与真实图像配准方法、设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210326207.2A CN114612537A (zh) | 2022-03-29 | 2022-03-29 | 数字孪生图像与真实图像配准方法、设备及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114612537A true CN114612537A (zh) | 2022-06-10 |
Family
ID=81867732
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210326207.2A Pending CN114612537A (zh) | 2022-03-29 | 2022-03-29 | 数字孪生图像与真实图像配准方法、设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114612537A (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105427304A (zh) * | 2015-11-19 | 2016-03-23 | 北京航空航天大学 | 基于多种特征联合的目标sar图像和光学图像配准方法 |
| CN106203271A (zh) * | 2016-06-29 | 2016-12-07 | 南京大学 | 一种基于高分辨率sar图像相干性的高铁干线提取方法 |
| CN106570877A (zh) * | 2016-10-27 | 2017-04-19 | 西安科技大学 | 基于采煤机虚拟样机与真实图像配准的采煤机位姿定位系统及方法 |
| WO2017067321A1 (zh) * | 2015-10-19 | 2017-04-27 | 广州视源电子科技股份有限公司 | 一种基于外轮廓的pcb板卡匹配方法及装置 |
| CN108510523A (zh) * | 2018-03-16 | 2018-09-07 | 新智认知数据服务有限公司 | 一种建立获取目标物特征的模型和目标物搜索方法及装置 |
| CN108563692A (zh) * | 2018-03-16 | 2018-09-21 | 新智认知数据服务有限公司 | 一种目标查重方法及装置 |
| CN109544447A (zh) * | 2018-10-26 | 2019-03-29 | 广西师范大学 | 一种图像拼接方法、装置及存储介质 |
| AU2020103713A4 (en) * | 2020-11-27 | 2021-02-18 | Devi, V.Ajantha | Digital imaging methods and system for processing agar plate images for automated diagnostics |
| KR102312531B1 (ko) * | 2020-11-05 | 2021-10-14 | (주)케이넷 이엔지 | 위치 추적 시스템 및 이를 수행하기 위한 컴퓨팅 장치 |
| CN113516643A (zh) * | 2021-07-13 | 2021-10-19 | 重庆大学 | Octa图像中视网膜血管分叉点和交叉点的检测方法 |
| CN114018237A (zh) * | 2021-10-09 | 2022-02-08 | 烟台杰瑞石油服务集团股份有限公司 | 一种基于数字孪生的井场定位方法和装置 |
| US20220067229A1 (en) * | 2020-09-03 | 2022-03-03 | International Business Machines Corporation | Digital twin multi-dimensional model record using photogrammetry |
-
2022
- 2022-03-29 CN CN202210326207.2A patent/CN114612537A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017067321A1 (zh) * | 2015-10-19 | 2017-04-27 | 广州视源电子科技股份有限公司 | 一种基于外轮廓的pcb板卡匹配方法及装置 |
| CN105427304A (zh) * | 2015-11-19 | 2016-03-23 | 北京航空航天大学 | 基于多种特征联合的目标sar图像和光学图像配准方法 |
| CN106203271A (zh) * | 2016-06-29 | 2016-12-07 | 南京大学 | 一种基于高分辨率sar图像相干性的高铁干线提取方法 |
| CN106570877A (zh) * | 2016-10-27 | 2017-04-19 | 西安科技大学 | 基于采煤机虚拟样机与真实图像配准的采煤机位姿定位系统及方法 |
| CN108510523A (zh) * | 2018-03-16 | 2018-09-07 | 新智认知数据服务有限公司 | 一种建立获取目标物特征的模型和目标物搜索方法及装置 |
| CN108563692A (zh) * | 2018-03-16 | 2018-09-21 | 新智认知数据服务有限公司 | 一种目标查重方法及装置 |
| CN109544447A (zh) * | 2018-10-26 | 2019-03-29 | 广西师范大学 | 一种图像拼接方法、装置及存储介质 |
| US20220067229A1 (en) * | 2020-09-03 | 2022-03-03 | International Business Machines Corporation | Digital twin multi-dimensional model record using photogrammetry |
| KR102312531B1 (ko) * | 2020-11-05 | 2021-10-14 | (주)케이넷 이엔지 | 위치 추적 시스템 및 이를 수행하기 위한 컴퓨팅 장치 |
| AU2020103713A4 (en) * | 2020-11-27 | 2021-02-18 | Devi, V.Ajantha | Digital imaging methods and system for processing agar plate images for automated diagnostics |
| CN113516643A (zh) * | 2021-07-13 | 2021-10-19 | 重庆大学 | Octa图像中视网膜血管分叉点和交叉点的检测方法 |
| CN114018237A (zh) * | 2021-10-09 | 2022-02-08 | 烟台杰瑞石油服务集团股份有限公司 | 一种基于数字孪生的井场定位方法和装置 |
Non-Patent Citations (2)
| Title |
|---|
| 刘中杰: "无人机精确打击过程中的SAR图像解译系统关键技术研究", 《中国优秀博硕士学位论文全文数据库(博士)》, no. 1, 15 January 2016 (2016-01-15), pages 1 - 135 * |
| 戴进墩等: "基于特征四边形的电气设备红外与可见光图像的配准方法", 《电气自动化》, vol. 40, no. 6, 31 December 2018 (2018-12-31), pages 112 - 115 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230007989A1 (en) | Methods and devices for generating training sample, training model and recognizing character | |
| US20210090266A1 (en) | Method and device for labeling point of interest | |
| EP3844668A1 (en) | System and method for training a damage identification model | |
| CN112149667B (zh) | 一种基于深度学习的指针式仪表的自动读数的方法 | |
| CN110378966B (zh) | 车路协同相机外参标定方法、装置、设备及存储介质 | |
| CN111160256A (zh) | 变电站指针式仪表自动识别方法及系统 | |
| CN105303168A (zh) | 一种多视角的指针式仪表识别方法和装置 | |
| US9009613B2 (en) | System to overlay application help on a mobile device | |
| CN110688902B (zh) | 一种检测停车位内车辆区域的方法及装置 | |
| CN111126393A (zh) | 车辆外观改装判断方法、装置、计算机设备及存储介质 | |
| CN115063618B (zh) | 一种基于模板匹配的缺陷定位方法、系统、设备及介质 | |
| CN108197634A (zh) | 自动抄表方法、系统、计算机设备和可读存储介质 | |
| CN113836850A (zh) | 模型获得方法及系统及装置及介质及产品缺陷检测方法 | |
| WO2020047316A1 (en) | System and method for training a damage identification model | |
| CN113239227A (zh) | 图像数据结构化方法、装置、电子设备及计算机可读介质 | |
| CN114872574A (zh) | 基于充电桩的采集与监控系统及方法 | |
| CN114612537A (zh) | 数字孪生图像与真实图像配准方法、设备及可读存储介质 | |
| CN112446231A (zh) | 一种人行横道检测方法、装置、计算机设备及存储介质 | |
| CN115205355A (zh) | 图像配准系统、方法及电子设备 | |
| CN111522570B (zh) | 目标库更新方法、装置、电子设备及机器可读存储介质 | |
| CN111242187B (zh) | 一种图像相似度处理方法、装置、介质和电子设备 | |
| Roch et al. | Car pose estimation through wheel detection | |
| CN114255199A (zh) | 一种包裹数量检测方法、装置及存储介质 | |
| CN112215032A (zh) | 图像中的目标识别方法、装置、电子设备及程序介质 | |
| CN111488771A (zh) | Ocr挂接方法、装置与设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |