CN106651773A - 图片处理方法及装置 - Google Patents
图片处理方法及装置 Download PDFInfo
- Publication number
- CN106651773A CN106651773A CN201611083737.XA CN201611083737A CN106651773A CN 106651773 A CN106651773 A CN 106651773A CN 201611083737 A CN201611083737 A CN 201611083737A CN 106651773 A CN106651773 A CN 106651773A
- Authority
- CN
- China
- Prior art keywords
- pictures
- panoramic
- image
- picture
- distortion correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 17
- 238000000034 method Methods 0.000 claims abstract description 90
- 230000008569 process Effects 0.000 claims description 56
- 230000015654 memory Effects 0.000 claims description 25
- 230000009466 transformation Effects 0.000 claims description 11
- 238000004458 analytical method Methods 0.000 claims description 9
- 238000010191 image analysis Methods 0.000 claims description 5
- 230000002159 abnormal effect Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 8
- 238000004891 communication Methods 0.000 description 22
- 230000006870 function Effects 0.000 description 8
- 238000010295 mobile communication Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000005055 memory storage Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 101150012579 ADSL gene Proteins 0.000 description 1
- 102100020775 Adenylosuccinate lyase Human genes 0.000 description 1
- 108700040193 Adenylosuccinate lyases Proteins 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 241001062009 Indigofera Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000009730 ganji Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 230000002463 transducing effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本文公布一种图片处理方法及装置，包括：分别从多个角度拍摄同一对象，获取所述对象的多张图片；分别对所述多张图片进行畸变矫正处理；将畸变矫正处理后的所述多张图片进行全景拼接处理，得到所述对象的全景图片。本申请解决了相关技术中全景拼接容易出现拼接效果差的问题，提升了移动终端的用户体验。
Description
技术领域
本申请涉及电子设备技术领域，尤指一种图片处理方法及装置。
背景技术
目前，移动终端提供的拍照功能越来越受到人们的青睐。
相关技术中，移动终端可将已拍摄的多张图片进行全景拼接形成全景图片，但所形成的全景图片在拼接处的边角部分容易存在明显瑕疵，效果很差，不仅造成用户使用上的不便，而且大大降低了用户体验。
针对相关技术中移动终端全景拼接所形成的全景图片存在明显瑕疵的技术问题，目前尚未提出有效的解决方案。
发明内容
为了解决上述技术问题，本发明实施例提供了一种图片处理方法及装置。
本发明实施例提供了：
一种图片处理方法，应用于移动终端，包括：
分别从多个角度拍摄同一对象，获取所述对象的多张图片；
分别对所述多张图片进行畸变矫正处理；
将畸变矫正处理后的所述多张图片进行全景拼接处理，得到所述对象的全景图片。
其中，分别对所述多张图片进行畸变矫正处理，包括：
分别对所述多张图片进行图像分析，得到所述多张图片的特征信息；
根据所述多张图片的特征信息，分别采用对应的畸变矫正算法对所述多张图片进行畸变矫正处理。
其中，所述进行全景拼接处理，包括：
分别对所述多张图片进行投影变换，得到与所述多张图片相对应的多个图像；
分别提取所述多个图像的特征点；
从所述多个图片的特征点中找到各所述图像之间的特征匹配点；
基于各所述图像之间的特征匹配点进行图像拼接，得到所述全景图片。
其中，基于各所述图像之间的特征匹配点进行图像拼接，得到所述全景图片，包括：
基于各所述图像之间的特征匹配点进行配准；
所述配准之后，合成所述多个图像，得到全景图像；
基于所述全景图像生成所述全景图片。
其中，所述得到所述对象的全景图片之后，还包括：
显示所述全景图片。
一种图片处理装置，应用于移动终端，包括：
拍摄模块，用于分别从多个角度拍摄同一对象，获取所述对象的多张图片；
畸变矫正模块，用于分别对所述多张图片进行畸变矫正处理；
拼接模块，用于将畸变矫正处理后的所述多张图片进行全景拼接处理，得到所述对象的全景图片。
其中，还包括：图像分析模块，用于分别对所述多张图片进行图像分析，得到所述多张图片的特征信息；所述畸变矫正模块，具体用于根据所述多张图片的特征信息，分别采用对应的畸变矫正算法对所述多张图片进行畸变矫正处理。
其中，所述拼接模块，具体用于：分别对所述多张图片进行投影变换，得到与所述多张图片相对应的多个图像；分别提取所述多个图像的特征点；从所述多个图片的特征点中找到各所述图像之间的特征匹配点；基于各所述图像之间的特征匹配点进行图像拼接，得到所述全景图片。
其中，还包括：显示模块，用于显示所述全景图片。
一种图片处理装置，包括：处理器和存储器，应用于移动终端，所述存储器存储有计算机可执行指令，所述计算机可执行指令被所述处理器执行时实现如下方法：
分别从多个角度拍摄同一对象，获取所述对象的多张图片；
分别对所述多张图片进行畸变矫正处理；
将畸变矫正处理后的所述多张图片进行全景拼接处理，得到所述对象的全景图片。
本发明实施例提供了一种图片处理方法及装置，在全景拼接处理之前，分别对每张图片进行畸变矫正处理，消除畸变导致的非人为造成的图片与图片之间的对不齐现象，使全景拼接时图片更利于配准，从而解决了相关技术中全景拼接容易出现拼接效果差的问题，提升了移动终端的用户体验。
附图说明
附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
图1为实现本发明各个实施例一可选的移动终端的硬件结构示意图；
图2为如图1所示的移动终端的无线通信系统示意图；
图3为本发明实施例图片处理方法流程示意图；
图4为本发明实施例图片处理方法的具体实现流程示意图；
图5为本发明实施例图片处理装置的组成结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
现在将参考附图描述实现本发明各个实施例的移动终端。在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，"模块"与"部件"可以混合地使用。
移动终端可以以各种形式来实施。例如，本发明中描述的终端可以包括诸如移动电话、智能电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、导航装置等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。下面，假设终端是移动终端。然而，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本发明的实施方式的构造也能够应用于固定类型的终端。
图1为实现本发明各个实施例的移动终端的硬件结构示意。
移动终端100可以包括无线通信单元110、A/V(音频/视频)输入单元120、用户输入单元130、感测单元140、输出单元150、存储器160、接口单元170、控制器180和电源单元190等等。图1示出了具有各种组件的移动终端，但是应理解的是，并不要求实施所有示出的组件。可以替代地实施更多或更少的组件。将在下面详细描述移动终端的元件。
无线通信单元110通常包括一个或多个组件，其允许移动终端100与无线通信系统或网络之间的无线电通信。例如，无线通信单元可以包括广播接收模块111、移动通信模块112、无线互联网模块113、短程通信模块114和位置信息模块115中的至少一个。
广播接收模块111经由广播信道从外部广播管理服务器接收广播信号和/或广播相关信息。广播信道可以包括卫星信道和/或地面信道。广播管理服务器可以是生成并发送广播信号和/或广播相关信息的服务器或者接收之前生成的广播信号和/或广播相关信息并且将其发送给终端的服务器。广播信号可以包括TV广播信号、无线电广播信号、数据广播信号等等。而且，广播信号可以进一步包括与TV或无线电广播信号组合的广播信号。广播相关信息也可以经由移动通信网络提供，并且在该情况下，广播相关信息可以由移动通信模块112来接收。广播信号可以以各种形式存在，例如，其可以以数字多媒体广播(DMB)的电子节目指南(EPG)、数字视频广播手持(DVB-H)的电子服务指南(ESG)等等的形式而存在。广播接收模块111可以通过使用各种类型的广播系统接收信号广播。特别地，广播接收模块111可以通过使用诸如多媒体广播-地面(DMB-T)、数字多媒体广播-卫星(DMB-S)、数字视频广播-手持(DVB-H)，前向链路媒体(MediaFLO@)的数据广播系统、地面数字广播综合服务(ISDB-T)等等的数字广播系统接收数字广播。广播接收模块111可以被构造为适合提供广播信号的各种广播系统以及上述数字广播系统。经由广播接收模块111接收的广播信号和/或广播相关信息可以存储在存储器160(或者其它类型的存储介质)中。
移动通信模块112将无线电信号发送到基站(例如，接入点、节点B等等)、外部终端以及服务器中的至少一个和/或从其接收无线电信号。这样的无线电信号可以包括语音通话信号、视频通话信号、或者根据文本和/或多媒体消息发送和/或接收的各种类型的数据。
无线互联网模块113支持移动终端的无线互联网接入。该模块可以内部或外部地耦接到终端。该模块所涉及的无线互联网接入技术可以包括WLAN(无线LAN)(Wi-Fi)、Wibro(无线宽带)、Wimax(全球微波互联接入)、HSDPA(高速下行链路分组接入)等等。
短程通信模块114是用于支持短程通信的模块。短程通信技术的一些示例包括蓝牙TM、射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB)、紫蜂TM等等。
位置信息模块115是用于检查或获取移动终端的位置信息的模块。位置信息模块的典型示例是GPS(全球定位系统)。根据当前的技术，GPS模块115计算来自三个或更多卫星的距离信息和准确的时间信息并且对于计算的信息应用三角测量法，从而根据经度、纬度和高度准确地计算三维当前位置信息。当前，用于计算位置和时间信息的方法使用三颗卫星并且通过使用另外的一颗卫星校正计算出的位置和时间信息的误差。此外，GPS模块115能够通过实时地连续计算当前位置信息来计算速度信息。
A/V输入单元120用于接收音频或视频信号。A/V输入单元120可以包括相机121和麦克风1220，相机121对在视频捕获模式或图像捕获模式中由图像捕获装置获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元151上。经相机121处理后的图像帧可以存储在存储器160(或其它存储介质)中或者经由无线通信单元110进行发送，可以根据移动终端的构造提供两个或更多相机1210。麦克风122可以在电话通话模式、记录模式、语音识别模式等等运行模式中经由麦克风接收声音(音频数据)，并且能够将这样的声音处理为音频数据。处理后的音频(语音)数据可以在电话通话模式的情况下转换为可经由移动通信模块112发送到移动通信基站的格式输出。麦克风122可以实施各种类型的噪声消除(或抑制)算法以消除(或抑制)在接收和发送音频信号的过程中产生的噪声或者干扰。
用户输入单元130可以根据用户输入的命令生成键输入数据以控制移动终端的各种操作。用户输入单元130允许用户输入各种类型的信息，并且可以包括键盘、锅仔片、触摸板(例如，检测由于被接触而导致的电阻、压力、电容等等的变化的触敏组件)、滚轮、摇杆等等。特别地，当触摸板以层的形式叠加在显示单元151上时，可以形成触摸屏。
感测单元140检测移动终端100的当前状态，(例如，移动终端100的打开或关闭状态)、移动终端100的位置、用户对于移动终端100的接触(即，触摸输入)的有无、移动终端100的取向、移动终端100的加速或减速移动和方向等等，并且生成用于控制移动终端100的操作的命令或信号。例如，当移动终端100实施为滑动型移动电话时，感测单元140可以感测该滑动型电话是打开还是关闭。另外，感测单元140能够检测电源单元190是否提供电力或者接口单元170是否与外部装置耦接。感测单元140可以包括接近传感器1410将在下面结合触摸屏来对此进行描述。
接口单元170用作至少一个外部装置与移动终端100连接可以通过的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。识别模块可以是存储用于验证用户使用移动终端100的各种信息并且可以包括用户识别模块(UIM)、客户识别模块(SIM)、通用客户识别模块(USIM)等等。另外，具有识别模块的装置(下面称为"识别装置")可以采取智能卡的形式，因此，识别装置可以经由端口或其它连接装置与移动终端100连接。接口单元170可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到移动终端100内的一个或多个元件或者可以用于在移动终端和外部装置之间传输数据。
另外，当移动终端100与外部底座连接时，接口单元170可以用作允许通过其将电力从底座提供到移动终端100的路径或者可以用作允许从底座输入的各种命令信号通过其传输到移动终端的路径。从底座输入的各种命令信号或电力可以用作用于识别移动终端是否准确地安装在底座上的信号。输出单元150被构造为以视觉、音频和/或触觉方式提供输出信号(例如，音频信号、视频信号、警报信号、振动信号等等)。输出单元150可以包括显示单元151、音频输出模块152、警报单元153等等。
显示单元151可以显示在移动终端100中处理的信息。例如，当移动终端100处于电话通话模式时，显示单元151可以显示与通话或其它通信(例如，文本消息收发、多媒体文件下载等等)相关的用户界面(UI)或图形用户界面(GUI)。当移动终端100处于视频通话模式或者图像捕获模式时，显示单元151可以显示捕获的图像和/或接收的图像、示出视频或图像以及相关功能的UI或GUI等等。
同时，当显示单元151和触摸板以层的形式彼此叠加以形成触摸屏时，显示单元151可以用作输入装置和输出装置。显示单元151可以包括液晶显示器(LCD)、薄膜晶体管LCD(TFT-LCD)、有机发光二极管(OLED)显示器、柔性显示器、三维(3D)显示器等等中的至少一种。这些显示器中的一些可以被构造为透明状以允许用户从外部观看，这可以称为透明显示器，典型的透明显示器可以例如为TOLED(透明有机发光二极管)显示器等等。根据特定想要的实施方式，移动终端100可以包括两个或更多显示单元(或其它显示装置)，例如，移动终端可以包括外部显示单元(未示出)和内部显示单元(未示出)。触摸屏可用于检测触摸输入压力以及触摸输入位置和触摸输入面积。
音频输出模块152可以在移动终端处于呼叫信号接收模式、通话模式、记录模式、语音识别模式、广播接收模式等等模式下时，将无线通信单元110接收的或者在存储器160中存储的音频数据转换音频信号并且输出为声音。而且，音频输出模块152可以提供与移动终端100执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出模块152可以包括扬声器、蜂鸣器等等。
警报单元153可以提供输出以将事件的发生通知给移动终端100。典型的事件可以包括呼叫接收、消息接收、键信号输入、触摸输入等等。除了音频或视频输出之外，警报单元153可以以不同的方式提供输出以通知事件的发生。例如，警报单元153可以以振动的形式提供输出，当接收到呼叫、消息或一些其它进入通信(incomingcommunication)时，警报单元153可以提供触觉输出(即，振动)以将其通知给用户。通过提供这样的触觉输出，即使在用户的移动电话处于用户的口袋中时，用户也能够识别出各种事件的发生。警报单元153也可以经由显示单元151或音频输出模块152提供通知事件的发生的输出。
存储器160可以存储由控制器180执行的处理和控制操作的软件程序等等，或者可以暂时地存储己经输出或将要输出的数据(例如，电话簿、消息、静态图像、视频等等)。而且，存储器160可以存储关于当触摸施加到触摸屏时输出的各种方式的振动和音频信号的数据。
存储器160可以包括至少一种类型的存储介质，所述存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等等。而且，移动终端100可以与通过网络连接执行存储器160的存储功能的网络存储装置协作。
控制器180通常控制移动终端的总体操作。例如，控制器180执行与语音通话、数据通信、视频通话等等相关的控制和处理。另外，控制器180可以包括用于再现(或回放)多媒体数据的多媒体模块1810，多媒体模块1810可以构造在控制器180内，或者可以构造为与控制器180分离。控制器180可以执行模式识别处理，以将在触摸屏上执行的手写输入或者图片绘制输入识别为字符或图像。
电源单元190在控制器180的控制下接收外部电力或内部电力并且提供操作各元件和组件所需的适当的电力。
这里描述的各种实施方式可以以使用例如计算机软件、硬件或其任何组合的计算机可读介质来实施。对于硬件实施，这里描述的实施方式可以通过使用特定用途集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、被设计为执行这里描述的功能的电子单元中的至少一种来实施，在一些情况下，这样的实施方式可以在控制器180中实施。对于软件实施，诸如过程或功能的实施方式可以与允许执行至少一种功能或操作的单独的软件模块来实施。软件代码可以由以任何适当的编程语言编写的软件应用程序(或程序)来实施，软件代码可以存储在存储器160中并且由控制器180执行。
至此，己经按照其功能描述了移动终端。下面，为了简要起见，将描述诸如折叠型、直板型、摆动型、滑动型移动终端等等的各种类型的移动终端中的滑动型移动终端作为示例。因此，本发明能够应用于任何类型的移动终端，并且不限于滑动型移动终端。
如图1中所示的移动终端100可以被构造为利用经由帧或分组发送数据的诸如有线和无线通信系统以及基于卫星的通信系统来操作。
现在将参考图2描述其中根据本发明的移动终端能够操作的通信系统。
这样的通信系统可以使用不同的空中接口和/或物理层。例如，由通信系统使用的空中接口包括例如频分多址(FDMA)、时分多址(TDMA)、码分多址(CDMA)和通用移动通信系统(UMTS)(特别地，长期演进(LTE))、全球移动通信系统(GSM)等等。作为非限制性示例，下面的描述涉及CDMA通信系统，但是这样的教导同样适用于其它类型的系统。
参考图2，CDMA无线通信系统可以包括多个移动终端100、多个基站(BS)270、基站控制器(BSC)275和移动交换中心(MSC)280。MSC280被构造为与公共电话交换网络(PSTN)290形成接口。MSC280还被构造为与可以经由回程线路耦接到基站270的BSC275形成接口。回程线路可以根据若干己知的接口中的任一种来构造，所述接口包括例如E1/T1、ATM，IP、PPP、帧中继、HDSL、ADSL或xDSL。将理解的是，如图2中所示的系统可以包括多个BSC2750。
每个BS270可以服务一个或多个分区(或区域)，由多向天线或指向特定方向的天线覆盖的每个分区放射状地远离BS270。或者，每个分区可以由用于分集接收的两个或更多天线覆盖。每个BS270可以被构造为支持多个频率分配，并且每个频率分配具有特定频谱(例如，1.25MHz,5MHz等等)。
分区与频率分配的交叉可以被称为CDMA信道。BS270也可以被称为基站收发器子系统(BTS)或者其它等效术语。在这样的情况下，术语"基站"可以用于笼统地表示单个BSC275和至少一个BS270。基站也可以被称为"蜂窝站"。或者，特定BS270的各分区可以被称为多个蜂窝站。
如图2中所示，广播发射器(BT)295将广播信号发送给在系统内操作的移动终端100。如图1中所示的广播接收模块111被设置在移动终端100处以接收由BT295发送的广播信号。在图2中，示出了几个全球定位系统(GPS)卫星300。卫星300帮助定位多个移动终端100中的至少一个。
在图2中，描绘了多个卫星300，但是理解的是，可以利用任何数目的卫星获得有用的定位信息。如图1中所示的GPS模块115通常被构造为与卫星300配合以获得想要的定位信息。替代GPS跟踪技术或者在GPS跟踪技术之外，可以使用可以跟踪移动终端的位置的其它技术。另外，至少一个GPS卫星300可以选择性地或者额外地处理卫星DMB传输。
作为无线通信系统的一个典型操作，BS270接收来自各种移动终端100的反向链路信号。移动终端100通常参与通话、消息收发和其它类型的通信。特定基站270接收的每个反向链路信号被在特定BS270内进行处理。获得的数据被转发给相关的BSC275。BSC提供通话资源分配和包括BS270之间的软切换过程的协调的移动管理功能。BSC275还将接收到的数据路由到MSC280，其提供用于与PSTN290形成接口的额外的路由服务。类似地，PSTN290与MSC280形成接口，MSC与BSC275形成接口，并且BSC275相应地控制BS270以将正向链路信号发送到移动终端100。
实施例一
如图3所示，本实施例提供了一种图片处理方法，应用于移动终端，可以包括：
步骤301，分别从多个角度拍摄同一对象，获取所述对象的多张图片；
这里，所述对象可以是景物、人物、静物等任何可以拍摄图片的物体。
步骤302，分别对所述多张图片进行畸变矫正处理；
步骤303，将畸变矫正处理后的所述多张图片进行全景拼接处理，得到所述对象的全景图片。
本实施例中，在全景拼接处理之前，分别对每张图片进行畸变矫正处理，消除畸变导致的非人为造成的图片与图片之间的对不齐现象，使全景拼接时图片更利于配准，从而解决了相关技术中全景拼接容易出现拼接效果差的问题，提升了移动终端的用户体验。
在一些实现方式中，分别对所述多张图片进行畸变矫正处理，包括：分别对所述多张图片进行图像分析，得到所述多张图片的特征信息；根据所述多张图片的特征信息，分别采用对应的畸变矫正算法对所述多张图片进行畸变矫正处理。如此，可通过图像分析算法分析各个图片的特点，进而根据不同图片特点选取不同的畸变矫正处理算法进行处理。例如，可以通过图像分析得到所述多张图片的亮度特征，再根据亮度特征选择适合的畸变矫正处理算法对图片进行畸变矫正。
实际应用中，本实施例中的畸变矫正算法可以是基于特征点的边角畸变矫正算法、基于灰度插值的边角畸变矫正等。本实施例中，可以使用仿射变换的畸变矫正，同时通过调整算法顺序，可以增加单个图像畸变矫正的算法复杂度，从而提升效果。
下面举例说明畸变矫正算法的具体实现过程，如下方法仅为示例，本申请不局限于此算法。
一般情况下图像存在各种畸变现象，最普遍的是径向畸变，切向畸变。那么消除径向畸变、切向畸变的一般流程如下：
(1)：参数介绍：dx,dy分别为镜头x,y方向上的焦距；
<u0,v0>为镜头光轴和图像平面的交点；
K1,k2为镜头径向畸变参数；
P1,p2为镜头切向畸变参数；
w，h为图像宽，高
(2)：矫正流程(图像逆向投影——目标图像到原图像(O))：
第一步：假设一张目标图像A，宽高分别为w，h。该图像不存在畸变，图像的每个像素灰度值都是255(可以理解为这就是一张白纸)
第二步：把第一步图像A的像素坐标转换为物理坐标，参数已知，下面公式(1)中(u，v)对应A的每个像素点坐标，(x，y)为(u，v)转换后的物理坐标，得到一个物理坐标系下的图像B。
第三步：对图像B进行加畸变操作，参数已知，(x’，y’)为图像B每一个像素坐标点，通过如下式(2)进行变化，其中，(x”，y”)则为对(x’，y’)进行加畸变操作得到的带有畸变的坐标，这样就得到一副有畸变的图像C。
x″＝x′·(1+k1·r2+k2·r4)+2·p1·x′·y′+p2·(r2+2x′2)
y″＝y′·(1+k1·r2+k2·r4)+p1·(r2+2·y′2)+2·p2·x′·y′ (2)
第四步：执行第二步的逆向操作，把图像C转换到像素坐标系下的带有畸变的图像D，参考下面公式(3)滤除不合理的坐标点。
第五步：到第四步获取到了带畸变的图像D，同时保存该步骤获取的浮点型结果，根据浮点结果定义4个加权的坐标m1，m2，m3，m4，即从图像A变换到图像D的过程中，每一个点经过一系列变换都对应着4个加权的坐标。
第六步：根据逆向变换原理，目标图像A变换得到的四个加权坐标都在原图像O上一一对应，利用原图像的四个加权坐标对图像A进行填充，最后即得到消除畸变的目标图像。
在一些实现方式中，步骤303中的进行全景拼接处理，可以通过如下过程实现：分别对所述多张图片进行投影变换，得到与所述多张图片相对应的多个图像；分别提取所述多个图像的特征点；从所述多个图片的特征点中找到各所述图像之间的特征匹配点；基于各所述图像之间的特征匹配点进行图像拼接，得到所述全景图片。
实际应用中，图像拼接的关键两步是：配准(registration)和融合(blending)。配准的目的是根据几何运动模型，将图像注册到同一个坐标系中；融合则是将配准后的图像合成为一张大的拼接图像。本实施例中，基于各所述图像之间的特征匹配点进行图像拼接，得到所述全景图片，可以包括：基于各所述图像之间的特征匹配点进行配准；所述配准之后，合成所述多个图像，得到全景图像；基于所述全景图像生成所述全景图片。
实际应用中，由于每幅图像是相机在不同角度下拍摄得到的，所以他们并不在同一投影平面上，如果对重叠的图像直接进行无缝拼接，会破坏实际景物的视觉一致性。所以需要先对图像进行投影变换，再进行拼接。实际应用中，可以采用平面投影、柱面投影、立方体投影和球面投影等方式进行投影变换。
在一些实现方式中，为便于用户查看，在得到全景图片之后，还可以包括：显示所述全景图片。实际应用中，可以通过移动终端的触摸屏显示所述全景图片。
除此之外，还可以在得到全景图片之后，将所述全景图片保存至预定存储空间，方便用户随时查看。该预定存储空间可以是移动终端默认设置的用于存储图片的空间，也可以是用户自行设定的存储空间。实际应用中，该存储空间可以是移动终端中存储器、内存等中的一块区域。
下面以手机为例详细说明本实施例中图片处理方法的具体实现过程。
如图4所示，图片处理的具体实现过程可以包括如下步骤：
步骤401，用户启动手机中的相机，并选择全景拍摄；
步骤402，相机进入全景拍摄，采用全景拍摄对应的拍摄参数随着用户移动手机进行多角度拍摄，获取到当前景物的多张图片：图片1、图片2、图片3、……、图片N，该多张图片分别对应当前景物的不同角度，该多张图片可满足图片全景拼接的要求，即视角首尾连接。
步骤403，手机分别对上述多种图片(即图片1、图片2、图片3、……、图片N)进行畸变矫正处理，消除畸变导致的非人为造成的图片与图片之间的对不齐现象，使图片更加利于配准；
步骤404，手机将畸变矫正处理后的图片1、图片2、图片3、……、图片N进行全景拼接，得到当前景物的全景图片；
步骤405，通过所述手机的触摸屏显示所述全景图片；
步骤406，用户选中所述全景图片并点击保存，手机将所述全景图片保存至指定的存储空间。
通过本实施例中图4所示的图片处理方法仅为示例，实际应用中也可以采用其他具体实现方式来实现本实施例的上述方法，对此，本文不作限制。
实施例二
如图5所示，本实施例提供一种图片处理装置，应用于移动终端，可包括：
拍摄模块51，用于分别从多个角度拍摄同一对象，获取所述对象的多张图片；
畸变矫正模块52，用于分别对所述多张图片进行畸变矫正处理；
拼接模块53，用于将畸变矫正处理后的所述多张图片进行全景拼接处理，得到所述对象的全景图片。
其中，上述装置还可以包括：图像分析模块54，用于分别对所述多张图片进行图像分析，得到所述多张图片的特征信息；所述畸变矫正模块52，具体可用于根据所述多张图片的特征信息，分别采用对应的畸变矫正算法对所述多张图片进行畸变矫正处理。
其中，所述拼接模块53，具体可用于：分别对所述多张图片进行投影变换，得到与所述多张图片相对应的多个图像；分别提取所述多个图像的特征点；从所述多个图片的特征点中找到各所述图像之间的特征匹配点；基于各所述图像之间的特征匹配点进行图像拼接，得到所述全景图片。
这里，所述拼接模块53，具体可用于通过如下方式基于各所述图像之间的特征匹配点进行图像拼接：基于各所述图像之间的特征匹配点进行配准；所述配准之后，合成所述多个图像，得到全景图像；基于所述全景图像生成所述全景图片。
其中，上述装置还可以包括：显示模块55，用于显示所述全景图片。如此，便于用户查看全景图片。
本实施例中的上述装置，在全景拼接处理之前，分别对每张图片进行畸变矫正处理，消除畸变导致的非人为造成的图片与图片之间的对不齐现象，使全景拼接时图片更利于配准，从而解决了相关技术中全景拼接容易出现拼接效果差的问题，提升了用户体验。
本实施例的上述装置可配置在移动终端，执行实施例一所述方法，其具体实现细节可参照实施例一，不再赘述。其中，拍摄模块51、畸变矫正模块52、拼接模块53、图像分析模块54、显示模块55分别可以是软件、硬件或两者的结合。需要说明的是，本实施例提供的上述装置中的畸变矫正模块52、拼接模块53、图像分析模块54可以设置在图1中移动终端的控制器180中或相机121中，拍摄模块51可以为图1中移动终端的照相121中，显示模块55可以是图1中移动终端的显示单元151。
实施例三
本实施例中，提供一种图片处理装置，包括：处理器和存储器，应用于移动终端，所述存储器存储有计算机可执行指令，所述计算机可执行指令被所述处理器执行时实现如下方法：
分别从多个角度拍摄同一对象，获取所述对象的多张图片；
分别对所述多张图片进行畸变矫正处理；
将畸变矫正处理后的所述多张图片进行全景拼接处理，得到所述对象的全景图片。
在一些实现方式中，所述计算机可执行指令被所述处理器执行时实现上述方法时可执行如下操作：分别对所述多张图片进行图像分析，得到所述多张图片的特征信息；根据所述多张图片的特征信息，分别采用对应的畸变矫正算法对所述多张图片进行畸变矫正处理。
在一些实现方式中，所述计算机可执行指令被所述处理器执行时实现上述方法时可执行如下操作：通过全球定位系统GPS采集当前地理位置的经纬度信息；通过陀螺仪采集当前拍摄的仰视角度信息；根据所述经纬度信息和仰视角度信息，确定星轨中心轴线相对于当前地理位置的角度。
在一些实现方式中，所述计算机可执行指令被所述处理器执行时实现上述方法时可执行如下操作：分别对所述多张图片进行投影变换，得到与所述多张图片相对应的多个图像；分别提取所述多个图像的特征点；从所述多个图片的特征点中找到各所述图像之间的特征匹配点；基于各所述图像之间的特征匹配点进行图像拼接，得到所述全景图片。
在一些实现方式中，所述计算机可执行指令被所述处理器执行时实现上述方法时可执行如下操作：基于各所述图像之间的特征匹配点进行配准；所述配准之后，合成所述多个图像，得到全景图像；基于所述全景图像生成所述全景图片。
在一些实现方式中，所述计算机可执行指令被所述处理器执行时实现上述方法时还可执行如下操作：得到所述对象的全景图片之后，显示所述全景图片。
本实施例中的上述装置，在全景拼接处理之前，分别对每张图片进行畸变矫正处理，消除畸变导致的非人为造成的图片与图片之间的对不齐现象，使全景拼接时图片更利于配准，从而解决了相关技术中全景拼接容易出现拼接效果差的问题，提升了用户体验。
本实施例的上述装置可配置在移动终端，执行实施例一所述方法，其具体实现细节可参照实施例一，不再赘述。
实施例四
此外，本申请实施例还提供一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令被执行时实现下述方法：
分别从多个角度拍摄同一对象，获取所述对象的多张图片；
分别对所述多张图片进行畸变矫正处理；
将畸变矫正处理后的所述多张图片进行全景拼接处理，得到所述对象的全景图片。
本实施例中的计算机可读存储介质可应用于移动终端中，在全景拼接处理之前，分别对每张图片进行畸变矫正处理，消除畸变导致的非人为造成的图片与图片之间的对不齐现象，使全景拼接时图片更利于配准，从而解决了相关技术中全景拼接容易出现拼接效果差的问题，提升了用户体验。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
可选地，在本实施例中，处理器根据存储介质中已存储的程序代码执行上述实施例的方法步骤。
可选地，本实施例中的具体示例可以参考上述实施例中的描述，本实施例在此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种图片处理方法，其特征在于，应用于移动终端，包括：
分别从多个角度拍摄同一对象，获取所述对象的多张图片；
分别对所述多张图片进行畸变矫正处理；
将畸变矫正处理后的所述多张图片进行全景拼接处理，得到所述对象的全景图片。
2.根据权利要求1所述的图片处理方法，其特征在于，分别对所述多张图片进行畸变矫正处理，包括：
分别对所述多张图片进行图像分析，得到所述多张图片的特征信息；
根据所述多张图片的特征信息，分别采用对应的畸变矫正算法对所述多张图片进行畸变矫正处理。
3.根据权利要求1所述的图片处理方法，其特征在于，所述进行全景拼接处理，包括：
分别对所述多张图片进行投影变换，得到与所述多张图片相对应的多个图像；
分别提取所述多个图像的特征点；
从所述多个图片的特征点中找到各所述图像之间的特征匹配点；
基于各所述图像之间的特征匹配点进行图像拼接，得到所述全景图片。
4.根据权利要求3所述的图片处理方法，其特征在于，基于各所述图像之间的特征匹配点进行图像拼接，得到所述全景图片，包括：
基于各所述图像之间的特征匹配点进行配准；
所述配准之后，合成所述多个图像，得到全景图像；
基于所述全景图像生成所述全景图片。
5.根据权利要求1至4任一项所述的图片处理方法，其特征在于，所述得到所述对象的全景图片之后，还包括：
显示所述全景图片。
6.一种图片处理装置，其特征在于，应用于移动终端，包括：
拍摄模块，用于分别从多个角度拍摄同一对象，获取所述对象的多张图片；
畸变矫正模块，用于分别对所述多张图片进行畸变矫正处理；
拼接模块，用于将畸变矫正处理后的所述多张图片进行全景拼接处理，得到所述对象的全景图片。
7.根据权利要求6所述的图片处理装置，其特征在于，还包括：
图像分析模块，用于分别对所述多张图片进行图像分析，得到所述多张图片的特征信息；
所述畸变矫正模块，具体用于根据所述多张图片的特征信息，分别采用对应的畸变矫正算法对所述多张图片进行畸变矫正处理。
8.根据权利要求6所述的图片处理装置，其特征在于，所述拼接模块，具体用于：
分别对所述多张图片进行投影变换，得到与所述多张图片相对应的多个图像；
分别提取所述多个图像的特征点；
从所述多个图片的特征点中找到各所述图像之间的特征匹配点；
基于各所述图像之间的特征匹配点进行图像拼接，得到所述全景图片。
9.根据权利要求6至8任一项所述的图片处理装置，其特征在于，还包括：
显示模块，用于显示所述全景图片。
10.一种图片处理装置，包括：处理器和存储器，其特征在于，应用于移动终端，所述存储器存储有计算机可执行指令，所述计算机可执行指令被所述处理器执行时实现如下方法：
分别从多个角度拍摄同一对象，获取所述对象的多张图片；
分别对所述多张图片进行畸变矫正处理；
将畸变矫正处理后的所述多张图片进行全景拼接处理，得到所述对象的全景图片。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611083737.XA CN106651773A (zh) | 2016-11-30 | 2016-11-30 | 图片处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611083737.XA CN106651773A (zh) | 2016-11-30 | 2016-11-30 | 图片处理方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106651773A true CN106651773A (zh) | 2017-05-10 |
Family
ID=58813594
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611083737.XA Pending CN106651773A (zh) | 2016-11-30 | 2016-11-30 | 图片处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106651773A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109600584A (zh) * | 2018-12-11 | 2019-04-09 | 中联重科股份有限公司 | 观察塔机的方法和装置、塔机及机器可读存储介质 |
| CN109903227A (zh) * | 2019-02-21 | 2019-06-18 | 武汉大学 | 基于相机几何位置关系的全景影像拼接方法 |
| CN115222602A (zh) * | 2022-08-15 | 2022-10-21 | 北京城市网邻信息技术有限公司 | 图像拼接方法、装置、设备及存储介质 |
| WO2022246608A1 (zh) * | 2021-05-24 | 2022-12-01 | 深圳市大疆创新科技有限公司 | 生成全景视频的方法、装置和可移动平台 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104331889A (zh) * | 2014-10-30 | 2015-02-04 | 中国电建集团成都勘测设计研究院有限公司 | 基于图像解译技术的水土保持监测方法 |
| CN104486551A (zh) * | 2014-12-24 | 2015-04-01 | 上海摩软通讯技术有限公司 | 移动终端以及移动终端的全景拍摄方法 |
| CN104639832A (zh) * | 2015-01-23 | 2015-05-20 | 广东欧珀移动通信有限公司 | 一种全景拍照方法及终端 |
| CN104992455A (zh) * | 2015-07-29 | 2015-10-21 | 中国神华能源股份有限公司 | 塌陷坑检测方法及装置 |
| US20160065856A1 (en) * | 2014-08-29 | 2016-03-03 | Samsung Electronics Co., Ltd. | Photographing method and electronic device |
-
2016
- 2016-11-30 CN CN201611083737.XA patent/CN106651773A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160065856A1 (en) * | 2014-08-29 | 2016-03-03 | Samsung Electronics Co., Ltd. | Photographing method and electronic device |
| CN104331889A (zh) * | 2014-10-30 | 2015-02-04 | 中国电建集团成都勘测设计研究院有限公司 | 基于图像解译技术的水土保持监测方法 |
| CN104486551A (zh) * | 2014-12-24 | 2015-04-01 | 上海摩软通讯技术有限公司 | 移动终端以及移动终端的全景拍摄方法 |
| CN104639832A (zh) * | 2015-01-23 | 2015-05-20 | 广东欧珀移动通信有限公司 | 一种全景拍照方法及终端 |
| CN104992455A (zh) * | 2015-07-29 | 2015-10-21 | 中国神华能源股份有限公司 | 塌陷坑检测方法及装置 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109600584A (zh) * | 2018-12-11 | 2019-04-09 | 中联重科股份有限公司 | 观察塔机的方法和装置、塔机及机器可读存储介质 |
| CN109903227A (zh) * | 2019-02-21 | 2019-06-18 | 武汉大学 | 基于相机几何位置关系的全景影像拼接方法 |
| WO2022246608A1 (zh) * | 2021-05-24 | 2022-12-01 | 深圳市大疆创新科技有限公司 | 生成全景视频的方法、装置和可移动平台 |
| CN115222602A (zh) * | 2022-08-15 | 2022-10-21 | 北京城市网邻信息技术有限公司 | 图像拼接方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106502693A (zh) | 一种图像显示方法和装置 | |
| CN105227837A (zh) | 一种图像合成方法和装置 | |
| CN106791455B (zh) | 全景拍摄方法及装置 | |
| CN106686301A (zh) | 照片拍摄方法及装置 | |
| CN106534619A (zh) | 一种调整对焦区域的方法、装置和终端 | |
| CN106155694A (zh) | 一种应用与分身应用的显示方法和装置 | |
| CN107016639A (zh) | 一种图像处理方法和装置 | |
| CN107071329A (zh) | 视频通话过程中自动切换摄像头的方法及装置 | |
| CN106850941A (zh) | 照片拍摄方法及装置 | |
| CN106651773A (zh) | 图片处理方法及装置 | |
| CN106506858A (zh) | 星轨预测方法及装置 | |
| CN106534590A (zh) | 一种照片处理方法、装置及终端 | |
| CN106909681A (zh) | 一种信息处理方法及其装置 | |
| CN106372607A (zh) | 一种从视频中提取图片的方法及移动终端 | |
| CN106250081A (zh) | 一种基于双屏终端的显示方法和装置 | |
| CN105242483B (zh) | 一种实现对焦的方法和装置、实现拍照的方法和装置 | |
| CN106506965A (zh) | 一种拍摄方法及终端 | |
| CN106130981A (zh) | 增强现实设备的数字标签自定义装置及方法 | |
| CN107018326A (zh) | 一种拍摄方法和装置 | |
| CN106875347A (zh) | 一种图片处理装置及方法 | |
| CN104731484B (zh) | 图片查看的方法及装置 | |
| CN106791119A (zh) | 一种照片处理方法、装置及终端 | |
| CN106980460A (zh) | 一种移动终端及图像处理方法 | |
| CN106851114A (zh) | 一种照片显示、照片生成装置和方法、终端 | |
| CN105554285A (zh) | 拍摄人物照片的处理方法、智能移动终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170510 |