CN109978761A - 一种生成全景图片的方法、装置及电子设备 - Google Patents
一种生成全景图片的方法、装置及电子设备 Download PDFInfo
- Publication number
- CN109978761A CN109978761A CN201810952360.XA CN201810952360A CN109978761A CN 109978761 A CN109978761 A CN 109978761A CN 201810952360 A CN201810952360 A CN 201810952360A CN 109978761 A CN109978761 A CN 109978761A
- Authority
- CN
- China
- Prior art keywords
- real picture
- picture
- characteristic point
- panoramic pictures
- ball machine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 81
- 238000000605 extraction Methods 0.000 claims abstract description 28
- 238000013507 mapping Methods 0.000 claims description 14
- 238000005457 optimization Methods 0.000 claims description 7
- 235000013399 edible fruits Nutrition 0.000 claims description 3
- 230000001960 triggered effect Effects 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 abstract description 11
- 238000012545 processing Methods 0.000 abstract description 10
- 230000000694 effects Effects 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 16
- 238000005516 engineering process Methods 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 7
- 238000003860 storage Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 241000208340 Araliaceae Species 0.000 description 3
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 3
- 235000003140 Panax quinquefolius Nutrition 0.000 description 3
- 235000008434 ginseng Nutrition 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 238000012656 cationic ring opening polymerization Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 210000003733 optic disk Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明的实施例公开一种生成全景图片的方法、装置及电子设备，涉及计算机图片处理技术，能够提升视频监控效果。所述生成全景图片的方法包括：控制球机按照预先设置的抓图规则旋转以抓拍实景图片，所述实景图片中包含有抓拍参数项信息；提取所述实景图片的特征点，对提取的相邻实景图片的特征点进行匹配；依据匹配的特征点以及所述匹配的特征点对应的抓拍参数项信息，对所述实景图片以及与所述实景图片相邻的相邻实景图片进行变形处理，拼接变形处理后的实景图片得到全景图片。本发明适用于利用球机实景图片组成全景图片。
Description
技术领域
本发明涉及计算机图片处理技术，尤其涉及一种生成全景图片的方法、装置及电子设备。
背景技术
随着经济和通信技术的发展，安全性得到了人们越来越多的重视。其中，视频监控通过集成计算机技术、网络技术、图片处理技术以及数据传输技术，以其可以实时获取目标场景相关信息的特点，是目前应用最为广泛的安全监控方法。目前，通常利用球机对目标场景进行监控，在球机监控过程中，云台控制球机摄像头的转动以获取周围场景的实景图片并实时传输至显示屏进行即时展示。
随着安全监控行业的纵深发展，用户对监控效果的展示有着越来越高的要求，例如，对于高质量展示效果的三维立体全景图片的需求，但目前的球机采用单一二维的实景图片进行显示，还不能实现全景图片，使得视频监控效果不佳。
发明内容
有鉴于此，本发明实施例提供一种生成全景图片的方法、装置及电子设备，能够生成全景图片，以解决现有视频监控方法中，不能实现全景图片导致的视频监控效果不佳的问题。
第一方面，本发明实施例提供一种生成全景图片的方法，包括：
控制球机按照预先设置的抓图规则旋转以抓拍实景图片，所述实景图片中包含有抓拍参数项信息；
提取所述实景图片的特征点，对提取的相邻实景图片的特征点进行匹配；
依据匹配的特征点以及所述匹配的特征点对应的抓拍参数项信息，对所述实景图片以及与所述实景图片相邻的相邻实景图片进行变形处理，拼接变形处理后的实景图片得到全景图片。
结合第一方面，在第一方面的第一种实施方式中，所述提取所述实景图片的特征点，对提取的相邻实景图片的特征点进行匹配包括：
对抓拍的实景图片进行特征点提取；
依次选取实景图片，获取与选取的实景图片相邻的实景图片，比对选取的实景图片的特征点与相邻的实景图片的特征点。
结合第一方面，在第一方面的第二种实施方式中，在所述对提取的相邻实景图片的特征点进行匹配后，所述方法还包括：
依据预先设置的实景图片与待优化参数项的映射关系，结合匹配的特征点对所述实景图片映射的优化参数项进行优化。
结合第一方面，在第一方面的第三种实施方式中，所述控制球机按照预先设置的抓图规则旋转以抓拍实景图片包括：
A11，启动球机，初始化球机位置；
A12，抓拍实景图片，判断球机水平位置是否已水平旋转360度，如果是，执行步骤A14，如果不是，执行步骤A13；
A13，水平方向旋转水平第一角度阈值，执行步骤A12；
A14，判断球机垂直位置是否已垂直旋转90度，如果是，将球机恢复到初始位置，如果不是，执行步骤A15；
A15，垂直方向旋转垂直第二角度阈值，执行步骤A12。
结合第一方面的第三种实施方式，在第一方面的第四种实施方式中，在所述抓拍实景图片之前，所述方法还包括：
等待对焦第一时间阈值后触发所述抓拍实景图片的流程。
结合第一方面、第一方面的第一种至第四种中任一种实施方式，在第一方面的第五种实施方式中，所述方法还包括：
加载显示所述全景图片。
第二方面，本发明实施例提供一种生成全景图片的装置，包括：实景图片获取模块、特征点匹配模块以及全景图片生成模块，其中，
实景图片获取模块，用于控制球机按照预先设置的抓图规则旋转以抓拍实景图片，所述实景图片中包含有抓拍参数项信息；
特征点匹配模块，用于提取所述实景图片的特征点，对提取的相邻实景图片的特征点进行匹配；
全景图片生成模块，用于依据匹配的特征点以及所述匹配的特征点对应的抓拍参数项信息，对所述实景图片以及与所述实景图片相邻的相邻实景图片进行变形处理，拼接变形处理后的实景图片得到全景图片。
结合第二方面，在第二方面的第一种实施方式中，所述特征点匹配模块包括：特征点提取单元以及特征点比对单元，其中，
特征点提取单元，用于对抓拍的实景图片进行特征点提取；
特征点比对单元，用于依次选取实景图片，获取与选取的实景图片相邻的实景图片，比对选取的实景图片的特征点与相邻的实景图片的特征点。
结合第二方面，在第二方面的第二种实施方式中，所述装置还包括：
优化模块，用于依据预先设置的实景图片与待优化参数项的映射关系，结合匹配的特征点对所述实景图片映射的优化参数项进行优化。
结合第二方面，在第二方面的第三种实施方式中，所述实景图片获取模块包括：初始化单元、水平转动判断单元、水平转动单元、垂直转动判断单元以及垂直转动单元，其中，
初始化单元，用于启动球机，初始化球机位置；
水平转动判断单元，用于抓拍实景图片，判断球机水平位置是否已水平旋转360度，如果是，通知垂直转动判断单元，如果不是，通知水平转动单元；
水平转动单元，用于在水平方向旋转水平第一角度阈值后，通知水平转动判断单元；
垂直转动判断单元，用于判断球机垂直位置是否已垂直旋转90度，如果是，通知初始化单元，如果不是，通知垂直转动单元；
垂直转动单元，用于在垂直方向旋转垂直第二角度阈值后，通知水平转动判断单元。
结合第二方面的第三种实施方式，在第二方面的第四种实施方式中，所述实景图片获取模块还包括：
聚焦单元，用于等待对焦第一时间阈值后通知水平转动判断单元。
结合第二方面、第二方面的第一种至第四种中任一种实施方式，在第二方面的第五种实施方式中，所述装置还包括：
全景图片显示模块，用于加载显示所述全景图片。
第三方面，本发明实施例提供一种电子设备，包括处理器及存储器；其中，所述存储器存储有可被处理器调用的程序；其中，所述处理器执行所述程序时，实现如前述任一实现方式所述的生成全景图片的方法。
本发明实施例提供的一种生成全景图片的方法、装置及电子设备，通过控制球机按照预先设置的抓图规则旋转以抓拍实景图片，所述实景图片中包含有抓拍参数项信息；提取所述实景图片的特征点，对提取的相邻实景图片的特征点进行匹配；依据匹配的特征点以及所述匹配的特征点对应的抓拍参数项信息，对所述实景图片以及与所述实景图片相邻的相邻实景图片进行变形处理，拼接变形处理后的实景图片得到全景图片，能够生成全景图片，以解决现有视频监控方法中，不能实现全景图片导致的视频监控效果不佳的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明的实施例一生成全景图片的方法流程示意图；
图2为本发明实施例的图片记事本文件示意图；
图3为本发明实施例的针图记事本文件示意图；
图4为本发明实施例的特征点信息文件示意图；
图5为本发明实施例的抓图信息项示意图；
图6为本发明实施例的待优化参数项示意图；
图7为本发明实施例对实景图片映射的优化参数项进行优化得到的优化结果项示意图；
图8为本发明的实施例二生成全景图片的装置结构示意图；
图9为本发明实施例电子设备的结构示意图。
具体实施方式
下面结合附图对本发明实施例进行详细描述。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本发明实施例提供一种利用球机实景图片组成全景图片的方法，涉及到计算机视觉学、计算机图形学、数字图片处理学以及一些数学工具等技术，可以将多幅图片(实景图片)拼接成一幅360°*90°的全景图片。
图1为本发明的实施例一生成全景图片的方法流程示意图，如图1所示，本实施例的方法可以包括：
步骤101，控制球机按照预先设置的抓图规则旋转以抓拍实景图片，所述实景图片中包含有抓拍参数项信息；
本实施例中，对球机进行控制，使球机按照预先设置的规则旋转抓拍实景图片，以获得生成全景图片的基础数据。
本实施例中，作为一可选实施例，控制球机按照预先设置的抓图规则旋转以抓拍实景图片包括：
A11，启动球机，初始化球机位置；
本实施例中，连接球机，对球机位置进行初始化，作为一可选实施例，初始化位置可以设置为水平角度(P)0度、垂直角度(T)0度。
A12，抓拍实景图片，判断球机水平位置是否已水平旋转360度，如果是，执行步骤A14，如果不是，执行步骤A13；
本实施例中，作为一可选实施例，实景图片以位置信息，即水平角度以及垂直角度进行命名。作为另一可选实施例，还可以记录包含抓拍实景图片的抓拍参数项信息以及抓拍时间的标注信息，在抓拍的实景图片中，屏蔽标注信息。其中，抓拍参数项信息包括但不限于：镜头名称、镜头视角、镜头矫正系数、位置信息(水平角度以及垂直角度)等。
本实施例中，如果球机水平位置已水平旋转360度，表明球机在水平位置已旋转到初始位置。
A13，水平方向旋转水平第一角度阈值，执行步骤A12；
本实施例中，作为一可选实施例，整数个水平第一角度阈值的积为360度，例如，水平第一角度阈值可以设置为20度、30度或60度等。当然，实际应用中，在水平方向每次进行的水平旋转角度，可以相同，也可以不同，本实施例对此不作限定。
A14，判断球机垂直位置是否已垂直旋转90度，如果是，将球机恢复到初始位置，如果不是，执行步骤A15；
A15，垂直方向旋转垂直第二角度阈值，执行步骤A12。
本实施例中，作为一可选实施例，整数个垂直第二角度阈值的积为90度。
本实施例中，作为另一可选实施例，控制球机按照预先设置的抓图规则旋转以抓拍实景图片包括：
球机从预先设置的坐标原点位置开始，在水平平面内按照预先设置的水平转动步长转动，并在每一水平转动步长转动时抓拍实景图片，当在水平平面内转动一周时，球机在垂直平面内以预先设置的垂直转动步长转动，当球机在垂直平面内以预先设置的垂直转动步长转动一垂直转动步长并抓拍实景图片后，重新在水平平面内按照预先设置的水平转动步长转动，直至完成在水平平面内的一周转动，球机再在垂直平面内以预先设置的垂直转动步长转动以进行下一次的转动，以此类推，直到球机在垂直平面内的转动角度达到90度。
本实施例中，作为一可选实施例，为了使球机拍摄得到更清晰的实景图片，在所述抓拍实景图片之前，该方法还包括：
等待对焦第一时间阈值后触发所述抓拍实景图片的流程。
本实施例中，记录视频画面的标注信息(镜头名称、时间等)以及位置信息，并将标注信息以及命名进行屏蔽，将球机位置设置到0(水平角度)、0(垂直角度)位置等待2秒进行实景图片抓拍，并以球机位置信息命名(标识)实景图片，然后水平方向旋转20度再等待两秒抓拍，以相同方式直到水平方向旋转到360度(其实就是回到了0度位置)，然后，在抓拍实景图片后垂直方向旋转20度，以前述的方式水平旋转抓拍，直到垂直方向到达90度，从而完成所有方位的实景图片抓拍，最后恢复视频画面的标注信息以及命名。
本实施例中，通过预留时间等待球机自动对焦，可以获取更为清晰的实景图片。作为一可选实施例，对焦第一时间阈值可以设置为2秒、3秒或其他。
本实施例中，作为另一可选实施例，该方法还包括：
接收抓拍停止指令或从开始抓拍计时至预先设置的计时阈值，断开球机连接以停止实景图片抓拍。
本实施例中，作为一可选实施例，实景图片以位置信息进行命名或标识，例如，对于0(水平角度)、0(垂直角度)抓拍的实景图片，命名(标识)为P000T000.jpg，其中，P代表水平角度，T代表垂直角度，P000表示水平角度为0度，T000表示垂直角度为0度。
步骤102，提取所述实景图片的特征点，对提取的相邻实景图片的特征点进行匹配；
本实施例中，作为一可选实施例，提取所述实景图片的特征点，对提取的相邻实景图片的特征点进行匹配包括：
B11，对抓拍的实景图片进行特征点提取；
B12，依次选取实景图片，获取与选取的实景图片相邻的实景图片，比对选取的实景图片的特征点与相邻的实景图片的特征点。
本实施例中，作为一可选实施例，可以采用开源组件NISwGSP(在GitHub上获取)进行实景图片的特征点提取以及特征点比对(匹配)。使用开源组件，可以无需了解其中很多内部算法的实现，而只需要了解其组件的作用。利用开源组件NISwGSP，可以快速地完成图片特征点的提取和匹配。
本实施例中，作为一可选实施例，在所述对抓拍的实景图片进行特征点提取之前，该方法还包括：
依据抓拍时间顺序对获取的实景图片进行图片编号。
本实施例中，对获取的实景图片进行图片编号，并依据图片编号信息生成图片记事本文件。其中，图片记事本文件用于记录后续需要进行分析的实景图片，并对需要分析的实景图片进行编号，便于后续可以直接依据图片编号进行相关分析。
图2为本发明实施例的图片记事本文件示意图。参见图2，设图片记事本文件为images.txt，其中，示例性地，images_count 56表示抓拍的实景图片中，总共有56张图片需要进行后续分析，matching_images-0表示图片P000T000.jpg在后续处理时的图片编号为0。
本实施例中，作为一可选实施例，还可以依据依次选取的实景图片与该选取的实景图片相邻的实景图片，生成针图记事本文件。即记录需要分析的实景图片的分析顺序，获取需要分析的实景图片的相邻实景图片，生成针图记事本文件。
本实施例中，针图记事本文件(STITCH-GRAPH.txt)用于记录开源组件NISwGSP的分析图片顺序。
图3为本发明实施例的针图记事本文件示意图。参见图3，其中，示例性地，matching_graph_images_edges-0表示图片编号为0的实景图片在NISwGSP中的分析图片顺序为0，6、52、1表示图片编号为0的实景图片对应的相邻实景图片的图片编号分别为6、52以及1。
本实施例中，作为一可选实施例，可以依据预先设置的规则，预先获取需要分析的实景图片映射的相邻实景图片，这样，可以有效减少特征点匹配时的比对次数。
本实施例中，作为一可选实施例，该方法还包括：
对图片记事本文件以及针图记事本文件进行特征点处理，得到与选取的实景图片的特征点相匹配的特征点信息文件。
本实施例中，作为一可选实施例，利用开源组件NISwGSP对图片记事本文件以及针图记事本文件进行特征点处理，即利用开源组件NISwGSP比对选取的实景图片的特征点与相邻的实景图片的特征点，生成相匹配的特征点信息文件(cpt.txt)。
图4为本发明实施例的特征点信息文件示意图。参见图4，其中，c n0 N1x1029.93y718.191 x1029.79 y125.829表示图片编号为0的图片像素位置(1029.93，718.191)的特征点与图片编号为1的图片像素位置(1029.79，125.829)的特征点相互匹配或相似。
本实施例中，作为一可选实施例，在所述对提取的相邻实景图片的特征点进行匹配后，该方法还包括：
依据预先设置的实景图片与待优化参数项的映射关系，结合匹配的特征点对所述实景图片映射的优化参数项进行优化。
本实施例中，作为一可选实施例，待优化参数项是抓拍参数项信息中的一项或多项，包括但不限于：视角、畸变、位置，通过提取实景图片的特征点并进行匹配，依据映射关系重新计算实景图片的视角、畸变、位置等优化参数项，以对实景图片的优化参数项进行优化。
本实施例中，由于云台(摄像头)是机械旋转，可能存在不能旋转到指定位置而导致误差，例如，要求云台旋转到(0、0)位置(指定位置)，但实际上的旋转位置可能为(1、0)或者(0、1)，因而，如果基于摄像头的实际旋转位置进行后续实景图片拼接，拼接的图片与指定位置会存在位置误差。为了有效减少误差，本实施例通过反复实验，对实景图片的抓拍参数项(可进行优化，称为待优化参数项，即待优化抓拍参数项)进行优化。作为一可选实施例，不同的实景图片可以设置不同的待优化参数项，从而构建实景图片与待优化参数项的映射关系。
本实施例中，作为一可选实施例，可以利用图片记事本文件、针图记事本文件以及特征点信息文件生成对待优化参数项进行优化的PTO文件。PTO文件中包含有实景图片与待优化参数项的映射关系，具体地，PTO文件包含以下3部分内容：
第一部分，抓图信息项；
图5为本发明实施例的抓图信息项示意图。参见图5，其中，P f2w4096 h2048v360n“TIFF_m c：LZW r：CROP”中，f2w4096h2048v360表示后续拼接后的全景图片是一张长4096、宽2048、水平视角有360度的用于球形模型的全景图片；i W1920 h1080 f0 v58.8 r0p-0 y0 TrX0 TrY0 TrZ0 tpy0 Tpp0 j0 a0 b0 e0 g0 t0 n“P000T000.jpg”中，W1920h1080表示抓拍的实景图片P000T000.jpg的图片大小为1920 x1080，V58.8表示摄像头抓拍时的镜头视角为58.8度。镜头视角可以从摄像头说明书信息中获取，该参数用于确定所有抓拍的实景图片的抓拍视角。p-0y0表示抓拍的图片编号为0的实景图片在全景模型中的位置为(0，0)，该位置信息可以根据实景图片命名获取。
第二部分，待优化参数项；
这部分内容中包含有实景图片与待优化参数项的映射关系。图6为本发明实施例的待优化参数项示意图。参见图6，其中，v0 a0 b0 c0表示图片编号为0的实景图片需要优化v(视角)、a、b、c(该三个参数为镜头矫正系数)参数。
p1y1表示优化图片编号为1的实景图片的p(垂直角度)、y(水平角度)参数。
r2 p2 y2表示优化图片编号为2的实景图片的r(旋转角度)、p(垂直角度)、y(水平角度)。
第三部分，控制点信息项。
本实施例中，控制点信息项即匹配的特征点对，可以通过复制的方式从比对的特征点信息文件中获取。
本实施例中，作为一可选实施例，依据预先设置的实景图片与待优化参数项的映射关系，结合匹配的特征点对所述实景图片映射的优化参数项进行优化。具体来说，包括：在生成PTO文件后，利用开源工具PToptimiyer读取PTO文件，依据第三部分控制点信息项以及第二部分待优化参数项，对第一部分抓图信息项进行优化，每张实景图片需要优化的参数由PTO文件中的第二部分待优化参数项确定。
图7为本发明实施例对实景图片映射的优化参数项进行优化得到的优化结果项示意图。参见图7，优化结果项只会影响PTO文件中的第一部分。例如，对于优化前的待优化参数项：i W1920 h1080 f0 v58.8 r0 p-0 y0 TrX0 TrY0 TrZ0 tpy0 Tpp0 j0 a0 b0 e0 g0t0 n“P000T000.jpg”，经过优化后，优化结果项变为：iW1920 h1080 f0 v59.21 r0 p-0 y0TrX0 TrYO TrZ0 中y0 Tpp0 j0 a0.00798459 b0.0110872 e0.0111621 g0 t0 n“P000T000.jpg”。
步骤103，依据匹配的特征点以及所述匹配的特征点对应的抓拍参数项信息，对所述实景图片以及与所述实景图片相邻的相邻实景图片进行变形处理，拼接变形处理后的实景图片得到全景图片。
本实施例中，作为一可选实施例，将初始抓拍的实景图片的各特征点映射到全景图片上，与初始抓拍的实景图片的各特征点相匹配的特征点在全景图片上相一致的原则，对其他抓取的实景图片进行变形处理，并将变形处理的实景图片的各特征点映射到全景图片上，最终得到完整的全景图片。
本实施例中，作为一可选实施例，还可以直接利用开源组件hugin中的nano工具，读取生成的PTO文件，或特征点信息文件和相应的抓拍参数项，对抓拍的实景图片进行变形处理。
在变形处理后，再利用开源组件hugin中的enblend工具依次进行拼接，得到全景图片。
本实施例中，作为一可选实施例，该方法还包括：
加载显示所述全景图片。
本实施例中，显示全景图片可以是直接浏览全景图片，也可以将全景图片作为3维球形模型的贴图来实现类似街景、VR的效果。
本发明实施例的生成全景图片的方法，通过控制球机按照预先设置的抓图规则旋转以抓拍实景图片，所述实景图片中包含有抓拍参数项信息；提取所述实景图片的特征点，对提取的相邻实景图片的特征点进行匹配；依据匹配的特征点以及所述匹配的特征点对应的抓拍参数项信息，对所述实景图片以及与所述实景图片相邻的相邻实景图片进行变形处理，拼接变形处理后的实景图片得到全景图片，从而通过采用开源组件NISwGSP进行实景图片的特征点提取以及特征点比对，直接利用开源组件hugin中的nano工具，对抓拍的实景图片进行变形处理，在变形处理后，再利用开源组件hugin中的enblend工具依次进行拼接，得到全景图片，从而满足对高质量展示效果的三维立体全景图片的需求，有效提升了视频监控效果。
图8为本发明的实施例二生成全景图片的装置结构示意图，如图8所示，本实施例的装置可以包括：实景图片获取模块81、特征点匹配模块82以及全景图片生成模块83，其中，
实景图片获取模块81，用于控制球机按照预先设置的抓图规则旋转以抓拍实景图片，所述实景图片中包含有抓拍参数项信息；
本实施例中，作为一可选实施例，实景图片以位置信息进行命名或标识，例如，P000T000.jpg，其中，P代表水平角度，T代表垂直角度，P000表示水平角度为0度，T000表示垂直角度为0度。
本实施例中，作为一可选实施例，实景图片获取模块81包括：初始化单元、水平转动判断单元、水平转动单元、垂直转动判断单元以及垂直转动单元(图中未示出)，其中，
初始化单元，用于启动球机，初始化球机位置；
水平转动判断单元，用于抓拍实景图片，判断球机水平位置是否已水平旋转360度，如果是，通知垂直转动判断单元，如果不是，通知水平转动单元；
水平转动单元，用于在水平方向旋转水平第一角度阈值后，通知水平转动判断单元；
垂直转动判断单元，用于判断球机垂直位置是否已垂直旋转90度，如果是，通知初始化单元，将球机恢复到初始位置，如果不是，通知垂直转动单元；
垂直转动单元，用于在垂直方向旋转垂直第二角度阈值后，通知水平转动判断单元。
本实施例中，作为一可选实施例，实景图片获取模块81还包括：
聚焦单元，用于等待对焦第一时间阈值后通知水平转动判断单元。
本实施例中，通过预留时间等待球机自动对焦，可以获取更为清晰的实景图片。作为一可选实施例，对焦第一时间阈值可以设置为2秒、3秒或其他。
特征点匹配模块82，用于提取所述实景图片的特征点，对提取的相邻实景图片的特征点进行匹配；
本实施例中，作为一可选实施例，可以采用开源组件NISwGSP(在GitHub上获取)进行实景图片的特征点提取以及特征点比对(匹配)。
本实施例中，作为一可选实施例，特征点匹配模块82包括：特征点提取单元以及特征点比对单元(图中未示出)，其中，
特征点提取单元，用于对抓拍的实景图片进行特征点提取；
本实施例中，作为一可选实施例，在所述对抓拍的实景图片进行特征点提取之前，还可以对获取的实景图片进行图片编号，并依据图片编号信息生成图片记事本文件，并依据依次选取的实景图片与该选取的实景图片相邻的实景图片，生成针图记事本文件，对图片记事本文件以及针图记事本文件进行特征点处理，得到与选取的实景图片的特征点相匹配的特征点信息文件。
特征点比对单元，用于依次选取实景图片，获取与选取的实景图片相邻的实景图片，比对选取的实景图片的特征点与相邻的实景图片的特征点。
本实施例中，作为一可选实施例，可以利用图片记事本文件、针图记事本文件以及特征点信息文件生成对待优化参数项进行优化的PTO文件，利用开源工具PToptimiyer读取PTO文件，依据第三部分控制点信息项以及第二部分待优化参数项，对第一部分抓图信息项进行优化，每张实景图片需要优化的参数由PTO文件中的第二部分待优化参数项确定。
全景图片生成模块83，用于依据匹配的特征点以及所述匹配的特征点对应的抓拍参数项信息，对所述实景图片以及与所述实景图片相邻的相邻实景图片进行变形处理，拼接变形处理后的实景图片得到全景图片。
本实施例中，作为一可选实施例，利用开源组件hugin中的nano工具，读取生成的PTO文件，对抓拍的实景图片进行变形处理；在变形处理后，再利用开源组件hugin中的enblend工具依次进行拼接，得到全景图片。
本实施例中，作为一可选实施例，该装置还包括：
优化模块84，用于依据预先设置的实景图片与待优化参数项的映射关系，结合匹配的特征点对所述实景图片映射的优化参数项进行优化。
本实施例中，作为一可选实施例，该装置还包括：
全景图片显示模块85，用于加载显示所述全景图片。
本实施例的装置，可以用于执行图1至图7所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图9为本发明实施例电子设备的结构示意图。参看图9，本实施例电子设备，包括处理器21及存储器22；其中，所述存储器22存储有可被处理器21调用的程序；其中，所述处理器21执行所述程序时，实现如前述任一实施例所述的生成全景图片的方法。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，″计算机可读介质″可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。
在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
为了描述的方便，描述以上装置是以功能分为各种单元/模块分别描述。当然，在实施本发明时可以把各单元/模块的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种生成全景图片的方法，其特征在于，包括：
控制球机按照预先设置的抓图规则旋转以抓拍实景图片，所述实景图片中包含有抓拍参数项信息；
提取所述实景图片的特征点，对提取的相邻实景图片的特征点进行匹配；
依据匹配的特征点以及所述匹配的特征点对应的抓拍参数项信息，对所述实景图片以及与所述实景图片相邻的相邻实景图片进行变形处理，拼接变形处理后的实景图片得到全景图片。
2.根据权利要求1所述的生成全景图片的方法，其特征在于，所述提取所述实景图片的特征点，对提取的相邻实景图片的特征点进行匹配包括：
对抓拍的实景图片进行特征点提取；
依次选取实景图片，获取与选取的实景图片相邻的实景图片，比对选取的实景图片的特征点与相邻的实景图片的特征点。
3.根据权利要求1所述的生成全景图片的方法，其特征在于，在所述对提取的相邻实景图片的特征点进行匹配后，所述方法还包括：
依据预先设置的实景图片与待优化参数项的映射关系，结合匹配的特征点对所述实景图片映射的优化参数项进行优化。
4.根据权利要求1所述的生成全景图片的方法，其特征在于，所述控制球机按照预先设置的抓图规则旋转以抓拍实景图片包括：
A11，启动球机，初始化球机位置；
A12，抓拍实景图片，判断球机水平位置是否已水平旋转360度，如果是，执行步骤A14，如果不是，执行步骤A13；
A13，水平方向旋转水平第一角度阈值，执行步骤A12；
A14，判断球机垂直位置是否已垂直旋转90度，如果是，将球机恢复到初始位置，如果不是，执行步骤A15；
A15，垂直方向旋转垂直第二角度阈值，执行步骤A12。
5.根据权利要求4所述的生成全景图片的方法，其特征在于，在所述抓拍实景图片之前，所述方法还包括：
等待对焦第一时间阈值后触发所述抓拍实景图片的流程。
6.根据权利要求1至5任一项所述的生成全景图片的方法，其特征在于，所述方法还包括：
加载显示所述全景图片。
7.一种生成全景图片的装置，其特征在于，包括：实景图片获取模块、特征点匹配模块以及全景图片生成模块，其中，
实景图片获取模块，用于控制球机按照预先设置的抓图规则旋转以抓拍实景图片，所述实景图片中包含有抓拍参数项信息；
特征点匹配模块，用于提取所述实景图片的特征点，对提取的相邻实景图片的特征点进行匹配；
全景图片生成模块，用于依据匹配的特征点以及所述匹配的特征点对应的抓拍参数项信息，对所述实景图片以及与所述实景图片相邻的相邻实景图片进行变形处理，拼接变形处理后的实景图片得到全景图片。
8.根据权利要求7所述的生成全景图片的装置，其特征在于，所述装置还包括：
优化模块，用于依据预先设置的实景图片与待优化参数项的映射关系，结合匹配的特征点对所述实景图片映射的优化参数项进行优化。
9.根据权利要求7所述的生成全景图片的装置，其特征在于，所述实景图片获取模块包括：初始化单元、水平转动判断单元、水平转动单元、垂直转动判断单元以及垂直转动单元，其中，
初始化单元，用于启动球机，初始化球机位置；
水平转动判断单元，用于抓拍实景图片，判断球机水平位置是否已水平旋转360度，如果是，通知垂直转动判断单元，如果不是，通知水平转动单元；
水平转动单元，用于在水平方向旋转水平第一角度阈值后，通知水平转动判断单元；
垂直转动判断单元，用于判断球机垂直位置是否已垂直旋转90度，如果是，通知初始化单元，如果不是，通知垂直转动单元；
垂直转动单元，用于在垂直方向旋转垂直第二角度阈值后，通知水平转动判断单元。
10.一种电子设备，其特征在于，包括处理器及存储器；
其中，所述存储器存储有可被处理器调用的程序；其中，所述处理器执行所述程序时，实现如权利要求1-6中任意一项所述的生成全景图片的方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711470709 | 2017-12-28 | ||
| CN2017114707098 | 2017-12-28 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109978761A true CN109978761A (zh) | 2019-07-05 |
| CN109978761B CN109978761B (zh) | 2023-06-27 |
Family
ID=67075975
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810952360.XA Active CN109978761B (zh) | 2017-12-28 | 2018-08-21 | 一种生成全景图片的方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109978761B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111473739A (zh) * | 2020-04-24 | 2020-07-31 | 中铁隧道集团二处有限公司 | 一种基于视频监控的隧道塌方区围岩变形实时监测方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101345843A (zh) * | 2008-08-28 | 2009-01-14 | 中兴通讯股份有限公司 | 可视移动终端全景视频的实现方法及系统 |
| CN102857739A (zh) * | 2012-08-20 | 2013-01-02 | 上海光亮光电科技有限公司 | 分布式全景监控系统及其方法 |
| US20130293671A1 (en) * | 2012-05-01 | 2013-11-07 | Tourwrist, Inc. | Systems and methods for stitching and sharing panoramas |
| CN104301674A (zh) * | 2014-09-28 | 2015-01-21 | 北京正安融翰技术有限公司 | 一种基于视频特征匹配的全景监控与ptz摄像机联动方法 |
| CN104992408A (zh) * | 2015-06-30 | 2015-10-21 | 百度在线网络技术（北京）有限公司 | 用于用户终端的全景图像生成方法和装置 |
| CN106056539A (zh) * | 2016-06-24 | 2016-10-26 | 中国南方电网有限责任公司 | 一种全景视频拼接方法 |
| US20170118475A1 (en) * | 2015-10-22 | 2017-04-27 | Mediatek Inc. | Method and Apparatus of Video Compression for Non-stitched Panoramic Contents |
| CN107395919A (zh) * | 2017-07-06 | 2017-11-24 | 杭州电子科技大学 | 一种通过修改特性文件实现数字印刷颜色校正的方法 |
-
2018
- 2018-08-21 CN CN201810952360.XA patent/CN109978761B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101345843A (zh) * | 2008-08-28 | 2009-01-14 | 中兴通讯股份有限公司 | 可视移动终端全景视频的实现方法及系统 |
| US20130293671A1 (en) * | 2012-05-01 | 2013-11-07 | Tourwrist, Inc. | Systems and methods for stitching and sharing panoramas |
| CN102857739A (zh) * | 2012-08-20 | 2013-01-02 | 上海光亮光电科技有限公司 | 分布式全景监控系统及其方法 |
| CN104301674A (zh) * | 2014-09-28 | 2015-01-21 | 北京正安融翰技术有限公司 | 一种基于视频特征匹配的全景监控与ptz摄像机联动方法 |
| CN104992408A (zh) * | 2015-06-30 | 2015-10-21 | 百度在线网络技术（北京）有限公司 | 用于用户终端的全景图像生成方法和装置 |
| US20170118475A1 (en) * | 2015-10-22 | 2017-04-27 | Mediatek Inc. | Method and Apparatus of Video Compression for Non-stitched Panoramic Contents |
| CN106056539A (zh) * | 2016-06-24 | 2016-10-26 | 中国南方电网有限责任公司 | 一种全景视频拼接方法 |
| CN107395919A (zh) * | 2017-07-06 | 2017-11-24 | 杭州电子科技大学 | 一种通过修改特性文件实现数字印刷颜色校正的方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111473739A (zh) * | 2020-04-24 | 2020-07-31 | 中铁隧道集团二处有限公司 | 一种基于视频监控的隧道塌方区围岩变形实时监测方法 |
| CN111473739B (zh) * | 2020-04-24 | 2022-02-08 | 中铁隧道集团二处有限公司 | 一种基于视频监控的隧道塌方区围岩变形实时监测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109978761B (zh) | 2023-06-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106797460B (zh) | 三维视频的重建 | |
| CN108564527B (zh) | 基于神经网络的全景图内容补全和修复的方法及装置 | |
| AU2009257959B2 (en) | 3D content aggregation built into devices | |
| CN107507274A (zh) | 一种基于云计算的公安案件现场三维实景快速还原方法 | |
| CN110363133B (zh) | 一种视线检测和视频处理的方法、装置、设备和存储介质 | |
| CN109891466A (zh) | 3d模型的增强扫描 | |
| US20090295791A1 (en) | Three-dimensional environment created from video | |
| US20120068996A1 (en) | Safe mode transition in 3d content rendering | |
| EP2111605B1 (fr) | Procédé et dispositif de création d'au moins deux images clés correspondant à un objet tridimensionnel | |
| US20140133764A1 (en) | Automatic curation of digital images | |
| CN110046649A (zh) | 一种基于区块链的多媒体信息监播方法、装置及系统 | |
| JP2023521270A (ja) | 多様なポートレートから照明を学習すること | |
| CN112740261A (zh) | 全景光场捕获、处理和显示 | |
| CN107995408A (zh) | 一种360°全景拍摄系统及方法 | |
| WO2022129324A1 (en) | Method and device for displaying details of a texture of a three-dimensional object | |
| US6795090B2 (en) | Method and system for panoramic image morphing | |
| CN109978761A (zh) | 一种生成全景图片的方法、装置及电子设备 | |
| RU2020107056A (ru) | Системы и способы создания и отображения интерактивных трёхмерных представлений реальных объектов | |
| CN109636711A (zh) | 漫画册生成方法、装置及计算机可读存储介质 | |
| KR20140092460A (ko) | 2차원 이미지의 홀로그램 이미지 변환 장치 및 그 방법 | |
| Han et al. | Improving face detection performance with 3d-rendered synthetic data | |
| JP2000188746A (ja) | 画像表示システムおよび画像表示方法、並びに提供媒体 | |
| CN110914871A (zh) | 获取三维场景的方法与装置 | |
| Wu et al. | Performance Capture of High‐Speed Motion Using Staggered Multi‐View Recording | |
| Li et al. | Constructing 3D model based on panoramic images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |