CN109801211B - 一种基于全景相机的目标物消除方法 - Google Patents
一种基于全景相机的目标物消除方法 Download PDFInfo
- Publication number
- CN109801211B CN109801211B CN201811566423.4A CN201811566423A CN109801211B CN 109801211 B CN109801211 B CN 109801211B CN 201811566423 A CN201811566423 A CN 201811566423A CN 109801211 B CN109801211 B CN 109801211B
- Authority
- CN
- China
- Prior art keywords
- picture
- target object
- panoramic
- basic
- areas
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000008030 elimination Effects 0.000 title claims abstract description 14
- 238000003379 elimination reaction Methods 0.000 title claims abstract description 14
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20216—Image averaging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
一种基于全景相机的目标物消除方法，所述全景相机包括至少两个独立镜头，所述方法包括如下步骤：S1、利用每个所述独立镜头拍摄一个基础全景图片；S2、从每个所述基础全景图片中识别出目标物；S3、将每个所述基础全景图片划分为多个图片区域，所述图片区域的大小相等或者不等，其中至少一个所述图片区域包括目标物；S4、将每个所述基础全景图片中包括目标物的一个所述图片区域删除；S5、将每个所述基础全景图片中余下的所有图片区域组合到一起，得到消除目标物的修正全景图片。本发明提供一种基于全景相机的目标物消除方法，能够快速高效地消除目标物，并且保证图片质量。
Description
【技术领域】
本发明涉及图像处理技术领域，具体的说是一种基于全景相机的目标物消除方法。
【背景技术】
三维建模技术是物体对象在三维空间中数据表示的处理过程，三维模型可以使用采集物体的三维空间点构成点云来进行表示，点云可以使用三角网格、线、多边形网格来进行连接重建模型的表面。三维模型可以使用在在电影、游戏、制造等领域，三维建模技术属于一个多学科交叉的研究领域，是计算机图形学和图像处理在工程中的重要应用。
全景相机是一种能够拍摄全景图像的相机，常用的为球幕相机，即鱼眼相机，进行三维建模的方法一般适用于诸如墙面、桌面等面的结构化场景，主要比较适合拍摄较大场景的照片，如建筑、风景等题材。当球幕相机用于拍风景时能拍更广阔的画面、拍集体照时能容纳下更多的人，视角更广，可以涵盖大范围景物。
但是全景相机也存在一些缺点，主要表现在拍摄范围覆盖较大的情况下，很容易将一些并不需要的目标物也拍摄进去，例如拍摄者、行走的人或者小动物等，导致在三维建模的过程中出现错误，因此后续还需要一种能够将目标物消除的方法。
【发明内容】
为了解决现有技术中的不足，本发明提供一种基于全景相机的目标物消除方法，能够快速高效地消除目标物，并且保证图片质量。
为了实现上述目的，本发明采用的具体方案为：
一种基于全景相机的目标物消除方法，所述全景相机包括至少两个独立镜头，所述方法包括如下步骤：
S1、利用每个所述独立镜头拍摄一个基础全景图片；
S2、从每个所述基础全景图片中识别出目标物；
S3、将每个所述基础全景图片划分为多个图片区域，所述图片区域的大小相等或者不等，其中至少一个所述图片区域包括目标物；
S4、将每个所述基础全景图片中包括目标物的一个所述图片区域删除；
S5、将每个所述基础全景图片中余下的所有图片区域组合到一起，得到消除目标物的修正全景图片。
优选的，所述全景相机包括两个独立镜头，两个所述独立镜头背向设置，每个所述独立镜头的拍摄角度为220°，所述方法包括如下步骤：
S1、分别利用两个所述独立镜头拍摄两个基础全景图片；
S2、分别从两个所述基础全景图片中识别出目标物；
S3、分别将两个所述基础全景图片划分为多个图片区域，所述图片区域的大小相等或者不等，其中至少一个所述图片区域包括目标物；
S4、将两个所述基础全景图片中包括目标物的一个所述图片区域删除；
S5、将两个所述基础全景图片中余下的所有所述图片区域组合到一起，得到消除目标物的修正全景图片。
优选的，S2中，从每个所述基础全景图片中识别出目标物的方法为人工识别或者机器识别。
优选的，所述人工识别的具体方法包括如下步骤：
S211、在所述基础全景图片上创建两条经向参考线和两条纬向参考线；
S212、调整所述经向参考线和所述纬向参考线的位置，使两条所述纬向参考线分别位于目标物的上方和下方，使两条所述经向参考线分别位于目标物的两侧；
S213、以两条所述经向参考线和两条所述纬向参考线形成的四个交点为顶点拾取出一个矩形面域；
S214、将所述矩形面域标识为目标物；
并且，S3中包括目标物的一个所述图片区域完全覆盖所述矩形面域。
优选的，所述机器识别的具体方法包括如下步骤：
S221、确定所述独立镜头的高度、目标物的体型和目标物的距离，记为参考因子；
S222、根据所述参考因子计算在所述基础全景图片中目标物所占据的面域，记为目标面域；
并且，S3中包括目标物的一个所述图片区域完全覆盖所述目标面域。
优选的，S4中，每个所述图片区域均呈矩形。
优选的，S5中，将所述图片区域组合到一起的方法包括如下步骤：
S51、基于RGB色域分析每个所述图片区域中每个像素的色彩值；
S52、对于同一个位置的像素，若每个所述图片区域的色彩值相同，则保留该色彩值，若其中至少一个所述图片区域的色彩值不同，则将所有所述图片区域的色彩值进行平均。
优选的，S1中，每次拍摄所述基础全景图片时目标物均位于所述独立镜头的前方。
本发明通过对图片进行区域划分，通过使图片区域覆盖目标物，从而将消除目标物转换为消除某个图片区域，从而大幅减少方法的复杂程度，提高效率，并且借助于像素级的操作避免图片处理后发生失真的情况。
【附图说明】
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例中其中一个独立镜头拍摄的基础全景图片；
图2是本发明实施例中另外一个独立镜头拍摄的基础全景图片；
图3是本发明实施例中图片区域的划分方法示意图；
图4是本发明实施例中消除目标物后获得的目标全景图片。
【具体实施方式】
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1至4，图1是本发明实施例中其中一个独立镜头拍摄的基础全景图片，图2是本发明实施例中另外一个独立镜头拍摄的基础全景图片，图3是本发明实施例中图片区域的划分方法示意图，图4是本发明实施例中消除目标物后获得的目标全景图片。
一种基于全景相机的目标物消除方法，全景相机包括至少两个独立镜头，方法包括S1至S5。
S1、利用每个独立镜头拍摄一个基础全景图片。
S2、从每个基础全景图片中识别出目标物。
S3、将每个基础全景图片划分为多个图片区域，图片区域的大小相等或者不等，其中至少一个图片区域包括目标物。
S4、将每个基础全景图片中包括目标物的一个图片区域删除。
S5、将每个基础全景图片中余下的所有图片区域组合到一起，得到消除目标物的修正全景图片。
在实践过程中，目标物会随现场的环境实时发生变化，无法统一将其概括到一个模型内，因此本发明在获得了基础全景图片之后再进行目标物识别，从而能够切合当前场景灵活地选择消除哪些目标物，避免造成图片混乱。
在本实施例中，以一个具体实例进行说明，其中全景相机包括两个独立镜头，两个独立镜头背向设置，每个独立镜头的拍摄角度为220°，S1至S5可进一步描述如下。
S1、分别利用两个独立镜头拍摄两个基础全景图片，每次拍摄基础全景图片时目标物均站在独立镜头的前方。
S2、分别从两个基础全景图片中识别出目标物。S2中，从每个基础全景图片中识别出目标物的方法为人工识别或者机器识别。
人工识别的具体方法包括S211至S214。
S211、在基础全景图片上创建两条经向参考线和两条纬向参考线。
S212、调整经向参考线和纬向参考线的位置，使两条纬向参考线分别位于目标物的上方和下方，使两条经向参考线分别位于目标物的两侧。
S213、以两条经向参考线和两条纬向参考线形成的四个交点为顶点拾取出一个矩形面域。
S214、将矩形面域标识为目标物，并且，S3中包括目标物的一个图片区域完全覆盖矩形面域。
人工识别的方法可以借助于Photoshop等图片处理软件实现，不再详细赘述其过程。
机器识别的具体方法包括S221至S222。
S221、确定独立镜头的高度、目标物的体型和目标物的距离，记为参考因子，其中体型可以包括体积和表面轮廓两种因素。
S222、根据参考因子计算在基础全景图片中目标物所占据的面域，记为目标面域，并且，S3中包括目标物的一个图片区域完全覆盖目标面域。
机器识别的方法可以通过编写软件实现。
S3、分别将两个基础全景图片划分为多个图片区域，图片区域的大小相等或者不等，其中至少一个图片区域包括目标物。为了降低方法的复杂程度，目标物要完全容纳在一个图片区域中，这样后续操作时只需要对该图片区域进行处理即可。
S4、将两个基础全景图片中包括目标物的一个图片区域删除，每个图片区域均呈矩形。
S5、将两个基础全景图片中余下的所有图片区域组合到一起，得到消除目标物的修正全景图片。将图片区域组合到一起的方法包括S51至S52。
S51、基于RGB色域分析每个图片区域中每个像素的色彩值。
S52、对于同一个位置的像素，若每个图片区域的色彩值相同，则保留该色彩值，若其中至少一个图片区域的色彩值不同，则将所有图片区域的色彩值进行平均。
通常来说，两次拍摄的间隔时间够短的情况下，同一个物体在不同的挤出全景图片中所呈现的效果和像素的色彩值应当是完全相同的，但是在特殊情况下，例如光线突然变化的情况下，也可能出现色彩值不同的情况，不过差别一般都非常小，此时通过计算均值的方式可以获得较小的误差，保证最终得到目标全景图片能够呈现物体的真实状态。
本发明通过对图片进行区域划分，通过使图片区域覆盖目标物，从而将消除目标物转换为消除某个图片区域，从而大幅减少方法的复杂程度，提高效率，并且借助于像素级的操作避免图片处理后发生失真的情况。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (3)
1.一种基于全景相机的目标物消除方法，所述全景相机包括至少两个独立镜头，其特征在于：所述方法包括如下步骤：
S1、利用每个所述独立镜头拍摄一个基础全景图片；
S2、从每个所述基础全景图片中识别出目标物；
S3、将每个所述基础全景图片划分为多个图片区域，所述图片区域的大小相等或者不等，其中至少一个所述图片区域包括目标物；
S4、将每个所述基础全景图片中包括目标物的一个所述图片区域删除；S4中，每个所述图片区域均呈矩形；
S5、将每个所述基础全景图片中余下的所有图片区域组合到一起，得到消除目标物的修正全景图片；S5中，将所述图片区域组合到一起的方法包括如下步骤：
S51、基于RGB色域分析每个所述图片区域中每个像素的色彩值；
S52、对于同一个位置的像素，若每个所述图片区域的色彩值相同，则保留该色彩值，若其中至少一个所述图片区域的色彩值不同，则将所有所述图片区域的色彩值进行平均；
在S2中，从每个所述基础全景图片中识别出目标物的方法为机器识别；
所述机器识别的具体方法包括如下步骤：
S221、确定所述独立镜头的高度、目标物的体型和目标物的距离，记为参考因子；
S222、根据所述参考因子计算在所述基础全景图片中目标物所占据的面域，记为目标面域；
并且，S3中包括目标物的一个所述图片区域完全覆盖所述目标面域。
2.如权利要求1所述的一种基于全景相机的目标物消除方法，其特征在于：所述全景相机包括两个独立镜头，两个所述独立镜头背向设置，每个所述独立镜头的拍摄角度为220°，所述方法包括如下步骤：
S1、分别利用两个所述独立镜头拍摄两个基础全景图片；
S2、分别从两个所述基础全景图片中识别出目标物；
S3、分别将两个所述基础全景图片划分为多个图片区域，所述图片区域的大小相等或者不等，其中至少一个所述图片区域包括目标物；
S4、将两个所述基础全景图片中包括目标物的一个所述图片区域删除；
S5、将两个所述基础全景图片中余下的所有所述图片区域组合到一起，得到消除目标物的修正全景图片。
3.如权利要求1所述的一种基于全景相机的目标物消除方法，其特征在于：S1中，每次拍摄所述基础全景图片时目标物均位于所述独立镜头的前方。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811566423.4A CN109801211B (zh) | 2018-12-19 | 2018-12-19 | 一种基于全景相机的目标物消除方法 |
| US16/560,997 US11240429B2 (en) | 2018-12-19 | 2019-09-04 | Target object elimination method based on panoramic camera |
| EP19195812.3A EP3671624A1 (en) | 2018-12-19 | 2019-09-06 | Target object elimination method based on panoramic camera |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811566423.4A CN109801211B (zh) | 2018-12-19 | 2018-12-19 | 一种基于全景相机的目标物消除方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109801211A CN109801211A (zh) | 2019-05-24 |
| CN109801211B true CN109801211B (zh) | 2022-08-12 |
Family
ID=66557294
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811566423.4A Active CN109801211B (zh) | 2018-12-19 | 2018-12-19 | 一种基于全景相机的目标物消除方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11240429B2 (zh) |
| EP (1) | EP3671624A1 (zh) |
| CN (1) | CN109801211B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110267009B (zh) * | 2019-06-28 | 2021-03-12 | Oppo广东移动通信有限公司 | 图像处理方法、装置、服务器及存储介质 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001325695A (ja) | 2000-05-17 | 2001-11-22 | Mitsubishi Electric Corp | 交通流監視装置 |
| US20070147812A1 (en) | 2005-12-22 | 2007-06-28 | Nokia Corporation | Digital panoramic camera |
| US9762794B2 (en) * | 2011-05-17 | 2017-09-12 | Apple Inc. | Positional sensor-assisted perspective correction for panoramic photography |
| WO2013001143A2 (en) * | 2011-06-30 | 2013-01-03 | Nokia Corporation | Method, apparatus and computer program product for generating panorama images |
| US10033924B2 (en) * | 2014-10-10 | 2018-07-24 | Iec Infrared Systems, Llc | Panoramic view imaging system |
| CN105376471A (zh) * | 2015-12-21 | 2016-03-02 | 景好 | 一种基于移动平台的全景拍摄系统及方法 |
| US9947108B1 (en) * | 2016-05-09 | 2018-04-17 | Scott Zhihao Chen | Method and system for automatic detection and tracking of moving objects in panoramic video |
| US20180176465A1 (en) * | 2016-12-16 | 2018-06-21 | Prolific Technology Inc. | Image processing method for immediately producing panoramic images |
| CN108347556A (zh) * | 2017-01-21 | 2018-07-31 | 盯盯拍（东莞）视觉设备有限公司 | 全景图像拍摄方法、全景图像显示方法、全景图像拍摄装置以及全景图像显示装置 |
| CN107392878A (zh) * | 2017-05-30 | 2017-11-24 | 深圳晨芯时代科技有限公司 | 一种全景相机的图像融合方法 |
| CN109215055A (zh) | 2017-06-30 | 2019-01-15 | 杭州海康威视数字技术股份有限公司 | 一种目标特征提取方法、装置及应用系统 |
| CN108259743A (zh) * | 2018-01-15 | 2018-07-06 | 维沃移动通信有限公司 | 全景图像拍摄方法及电子设备 |
| CN108307098B (zh) * | 2018-03-09 | 2020-08-04 | 上海小蚁科技有限公司 | 鱼眼相机阴影校正参数确定方法、校正方法及装置、鱼眼相机 |
| CN109064404A (zh) | 2018-08-10 | 2018-12-21 | 西安电子科技大学 | 一种基于多相机标定的全景拼接方法、全景拼接系统 |
-
2018
- 2018-12-19 CN CN201811566423.4A patent/CN109801211B/zh active Active
-
2019
- 2019-09-04 US US16/560,997 patent/US11240429B2/en active Active
- 2019-09-06 EP EP19195812.3A patent/EP3671624A1/en not_active Withdrawn
Also Published As
| Publication number | Publication date |
|---|---|
| CN109801211A (zh) | 2019-05-24 |
| US20200204733A1 (en) | 2020-06-25 |
| US11240429B2 (en) | 2022-02-01 |
| EP3671624A1 (en) | 2020-06-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Jiang et al. | Learning to see moving objects in the dark | |
| US20190088004A1 (en) | Method and system of 3d reconstruction with volume-based filtering for image processing | |
| US10609282B2 (en) | Wide-area image acquiring method and apparatus | |
| KR101175097B1 (ko) | 파노라마 영상 생성 방법 | |
| CN110782394A (zh) | 全景视频快速拼接方法及系统 | |
| CN101689292B (zh) | Banana多媒体数字信号编解码器 | |
| CN109064404A (zh) | 一种基于多相机标定的全景拼接方法、全景拼接系统 | |
| US20050053278A1 (en) | Image background replacement method | |
| CN105072314A (zh) | 一种可自动跟踪目标的虚拟演播室实现方法 | |
| CN111866523B (zh) | 全景视频合成方法、装置、电子设备和计算机存储介质 | |
| CN107358577B (zh) | 一种立方体全景图的快速拼接方法 | |
| CN113436130B (zh) | 一种非结构光场智能感知系统与装置 | |
| CN113391644B (zh) | 一种基于图像信息熵的无人机拍摄距离半自动寻优方法 | |
| RU2654127C1 (ru) | Способ формирования цифрового панорамного изображения | |
| CN110517304A (zh) | 生成深度图的方法、装置、电子设备和存储介质 | |
| CN114697623A (zh) | 投影面选取和投影图像校正方法、装置、投影仪及介质 | |
| JP2020053774A (ja) | 撮像装置および画像記録方法 | |
| JP7424076B2 (ja) | 画像処理装置、画像処理システム、撮像装置、画像処理方法およびプログラム | |
| CN111640065A (zh) | 基于相机阵列的图像拼接方法、成像装置 | |
| CN109801211B (zh) | 一种基于全景相机的目标物消除方法 | |
| CN114022562A (zh) | 一种保持行人完整性的全景视频拼接方法和装置 | |
| CN108564654B (zh) | 三维大场景的画面进入方式 | |
| Popovic et al. | Design and implementation of real-time multi-sensor vision systems | |
| TWI683280B (zh) | 立體環景影片產生方法及裝置 | |
| CN111105350A (zh) | 大视差场景下基于自身单应性变换的实时视频拼接方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |