CN108230372B - 一种图像处理方法、终端及计算机可读存储介质 - Google Patents

一种图像处理方法、终端及计算机可读存储介质 Download PDF

Info

Publication number
CN108230372B
CN108230372B CN201711236926.0A CN201711236926A CN108230372B CN 108230372 B CN108230372 B CN 108230372B CN 201711236926 A CN201711236926 A CN 201711236926A CN 108230372 B CN108230372 B CN 108230372B
Authority
CN
China
Prior art keywords
images
image
matching
matching points
pairs
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711236926.0A
Other languages
English (en)
Other versions
CN108230372A (zh
Inventor
戴向东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nubia Technology Co Ltd
Original Assignee
Nubia Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nubia Technology Co Ltd filed Critical Nubia Technology Co Ltd
Priority to CN201711236926.0A priority Critical patent/CN108230372B/zh
Publication of CN108230372A publication Critical patent/CN108230372A/zh
Application granted granted Critical
Publication of CN108230372B publication Critical patent/CN108230372B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/285Analysis of motion using a sequence of stereo image pairs

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供了一种图像处理方法、终端及计算机可读存储介质,包括:根据图像的特征信息,确定两幅图像的匹配点对;对确定的匹配点对进行计算分析,获得两幅图像的行对齐误差;通过计算分析获得的两幅图像的行对齐误差,确定两幅图像的相对偏移信息;根据确定的相对偏移信息进行图像的校正;其中,相对偏移信息包括:两幅图像中的第一图像相对于第二图像的偏移方向和偏移尺寸。本发明实施例实现了在镜头模组变形、对焦不一致等因素的影响下,对图像进行垂直方向上的偏差校正,提升了图像处理质量。

Description

一种图像处理方法、终端及计算机可读存储介质
技术领域
本发明涉及图像处理技术领域,尤指一种图像处理方法、终端及计算机可读存储介质。
背景技术
利用双目进行三维(3D)场景的深度图计算中,有两个关键步骤为立体校准和立体匹配。
根据立体视觉的三角原理,需要先将双目图像校正在同一个水平方向,图1为相关技术图像校正的示意图,如图1所示,相关匹配算法根据极线对准约束进行立体匹配时,只需搜索行对齐的方向,即可以找到匹配点。
在实际应用中,受到镜头模组变形、对焦不一致等因素的影响,校准精度有时比较难以满足行对齐的要求,如果匹配算法仍然使用行对齐的方法进行立体匹配,就会出现偏差,影响深度图的效果输出;图2为相关技术行对齐出现偏差的方法示意图,如图2所示,图像在垂直方向上出现了偏差。
发明内容
针对上述技术问题,本发明实施例提供了一种图像处理方法、终端及计算机可读存储介质,能够在镜头模组变形、对焦不一致等因素的影响下,对图像进行垂直方向上的偏差校正。
本发明实施例提供了一种图像处理方法,包括:
根据图像的特征信息,确定两幅图像的匹配点对;
对确定的匹配点对进行计算分析,获得两幅图像的行对齐误差;
通过计算分析获得的两幅图像的行对齐误差,确定两幅图像的相对偏移信息;
根据确定的相对偏移信息进行图像的校正;
其中,所述相对偏移信息包括:两幅图像中的第一图像相对于第二图像的偏移方向和偏移尺寸。
可选的,所述确定两幅图像的匹配点对之前,所述方法还包括:
对所述两幅图像采用定向二进制简单描述符ORB算法、尺度不变特征变换Sift算法或快速鲁棒特征Surf算法进行特征提取,以获得所述特征信息。
可选的,所述对确定的匹配点对进行计算分析包括:
从确定的所有所述匹配点对中选择一对或一对以上匹配点;
对每一对匹配点,分别根据匹配点的行坐标计算匹配点的行对齐误差;
根据计算获得的匹配点的行对齐误差,确定所述两幅图像的行对齐误差。
可选的,所述确定所述两幅图像的行对齐误差包括:
从确定的所述匹配点对仅选择一对匹配点时,将计算获得的匹配点的行对齐误差,作为所述两幅图像的行对齐误差;
从确定的所述匹配点对选择两对或两对以上匹配点时,将计算获得的所有匹配点的行对齐误差进行求平均计算获得行对齐平均误差,将计算获得的行对齐平均误差作为所述两幅图像的行对齐误差。
可选的,所述图像处理方法还包括:
以所述第一图像中的已知的第一像素点为中心,根据所述两幅图像的行对齐误差确定预设尺寸的局部窗口;
从所述第二图像与所述第一像素点相同的第一行方向上,在预设的搜索视差范围内搜素与所述第一像素点匹配的第二像素点;
对局部窗口内的一行或一行以上像素,计算所述第一像素点在所述搜索视差范围内的匹配代价;
根据计算获得的各行的匹配代价,确定最优的视差代价。
另一方面,本发明实施例还提供一种终端,所述终端包括处理器、存储器及通信总线;
所述通信总线用于实现处理器和存储器之间的连接通信;
所述处理器用于执行存储器中存储的图像处理程序,以实现以下步骤:
根据图像的特征信息,确定两幅图像的匹配点对;
对确定的匹配点对进行计算分析,获得两幅图像的行对齐误差;
通过计算分析获得的两幅图像的行对齐误差,确定两幅图像的相对偏移信息;
根据确定的相对偏移信息进行图像的校正;
其中,所述相对偏移信息包括:两幅图像中的第一图像相对于第二图像的偏移方向和偏移尺寸。
可选的,所述处理器用于执行存储器中存储的对确定的匹配点对进行计算分析的步骤包括:
从确定的所有所述匹配点对中选择一对或一对以上匹配点;
对每一对匹配点,分别根据匹配点的行坐标计算匹配点的行对齐误差;
根据计算获得的匹配点的行对齐误差,确定所述两幅图像的行对齐误差。
可选的,所述处理器用于执行存储器中存储的确定所述两幅图像的行对齐误差的步骤包括:
从确定的所述匹配点对仅选择一对匹配点时,将计算获得的匹配点的行对齐误差,作为所述两幅图像的行对齐误差;
从确定的所述匹配点对选择两对或两对以上匹配点时,将计算获得的所有匹配点的行对齐误差进行求平均计算获得行对齐平均误差,将计算获得的行对齐平均误差作为所述两幅图像的行对齐误差。
可选的,所述处理器用于执行存储器中存储的图像处理,还用于实现以下步骤:
以所述第一图像中的已知的第一像素点为中心,根据所述两幅图像的行对齐误差确定预设尺寸的局部窗口;
从所述第二图像与所述第一像素点相同的第一行方向上,在预设的搜索视差范围内搜素与所述第一像素点匹配的第二像素点;
对局部窗口内的一行或一行以上像素,计算所述第一像素点在所述搜索视差范围内的匹配代价;
根据计算获得的各行的匹配代价,确定最优的视差代价。
再一方面,本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行以实现上述图像处理方法。
与相关技术相比,本发明实施例技术方案包括:根据图像的特征信息,确定两幅图像的匹配点对;对确定的匹配点对进行计算分析,获得两幅图像的行对齐误差;通过计算分析获得的两幅图像的行对齐误差,确定两幅图像的相对偏移信息;根据确定的相对偏移信息进行图像的校正;其中,相对偏移信息包括:两幅图像中的第一图像相对于第二图像的偏移方向和偏移尺寸。本发明实施例实现了在镜头模组变形、对焦不一致等因素的影响下,对图像进行垂直方向上的偏差校正,提升了图像处理质量。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1为相关技术图像校正的示意图;
图2为相关技术行对齐出现偏差的方法示意图;
图3为实现本发明各个实施例一可选的移动终端的硬件结构示意;
图4为本发明实施例的相机的主要电气结构的框图;
图5为本发明实施例图像处理方法的流程图;
图6为本发明实施例确定的匹配点对的示意图;
图7为本发明实施例设置匹配点对数的交互界面示意图;
图8为本发明实施例进行行对齐处理的两幅图像的示意图;
图9为对第二图像进行向下校正平移的示意图;
图10为深度图的对比示意图;
图11为本发明另一实施例实现图像处理的方法的流程图;
图12为本发明实施例终端的结构框图。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
在后续的描述中,使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明,其本身没有特定的意义。因此,“模块”、“部件”或“单元”可以混合地使用。
终端可以以各种形式来实施。例如,本发明中描述的终端可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(Personal Digital Assistant,PDA)、便捷式媒体播放器(Portable Media Player,PMP)、导航装置、可穿戴设备、智能手环、计步器等移动终端,以及诸如数字TV、台式计算机等固定终端。
后续描述中将以移动终端为例进行说明,本领域技术人员将理解的是,除了特别用于移动目的的元件之外,根据本发明的实施方式的构造也能够应用于固定类型的终端。
请参阅图3,其为实现本发明各个实施例的一种移动终端的硬件结构示意图,该移动终端100可以包括:RF(Radio Frequency,射频)单元101、 WiFi模块102、音频输出单元103、A/V(音频/视频)输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、处理器110、以及电源111等部件。本领域技术人员可以理解,图3中示出的移动终端结构并不构成对移动终端的限定,移动终端可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图3对移动终端的各个部件进行具体的介绍:
射频单元101可用于收发信息或通话过程中,信号的接收和发送,具体的,将基站的下行信息接收后,给处理器110处理;另外,将上行的数据发送给基站。通常,射频单元101包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外,射频单元101还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于GSM(Global System of Mobile communication,全球移动通讯系统)、GPRS(General Packet Radio Service,通用分组无线服务)、 CDMA2000(CodeDivision Multiple Access 2000,码分多址2000)、WCDMA (Wideband Code DivisionMultiple Access,宽带码分多址)、TD-SCDMA (Time Division-Synchronous CodeDivision Multiple Access,时分同步码分多址)、FDD-LTE(Frequency DivisionDuplexing-Long Term Evolution,频分双工长期演进)和TDD-LTE(Time DivisionDuplexing-Long Term Evolution,分时双工长期演进)等。
WiFi属于短距离无线传输技术,移动终端通过WiFi模块102可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图3示出了WiFi模块102,但是可以理解的是,其并不属于移动终端的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
音频输出单元103可以在移动终端100处于呼叫信号接收模式、通话模式、记录模式、语音识别模式、广播接收模式等等模式下时,将射频单元 101或WiFi模块102接收的或者在存储器109中存储的音频数据转换成音频信号并且输出为声音。而且,音频输出单元103还可以提供与移动终端 100执行的特定功能相关的音频输出(例如,呼叫信号接收声音、消息接收声音等等)。音频输出单元103可以包括扬声器、蜂鸣器等等。
A/V输入单元104用于接收音频或视频信号。A/V输入单元104可以包括图形处理器(Graphics Processing Unit,GPU)1041和麦克风1042,图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元106上。经图形处理器1041处理后的图像帧可以存储在存储器 109(或其它存储介质)中或者经由射频单元101或WiFi模块102进行发送。麦克风1042可以在电话通话模式、记录模式、语音识别模式等等运行模式中经由麦克风1042接收声音(音频数据),并且能够将这样的声音处理为音频数据。处理后的音频(语音)数据可以在电话通话模式的情况下转换为可经由射频单元101发送到移动通信基站的格式输出。麦克风1042可以实施各种类型的噪声消除(或抑制)算法以消除(或抑制)在接收和发送音频信号的过程中产生的噪声或者干扰。
移动终端100还包括至少一种传感器105,比如光传感器、运动传感器以及其他传感器。具体地,光传感器包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板1061的亮度,接近传感器可在移动终端100移动到耳边时,关闭显示面板1061和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于手机还可配置的指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
显示单元106用于显示由用户输入的信息或提供给用户的信息。显示单元106可包括显示面板1061,可以采用液晶显示器(Liquid Crystal Display, LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板1061。
用户输入单元107可用于接收输入的数字或字符信息,以及产生与移动终端的用户设置以及功能控制有关的键信号输入。具体地,用户输入单元107可包括触控面板1071以及其他输入设备1072。触控面板1071,也称为触摸屏,可收集用户在其上或附近的触控操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1071上或在触控面板1071附近的操作),并根据预先设定的程式驱动相应的连接装置。触控面板1071可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触控操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器110,并能接收处理器110发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1071。除了触控面板1071,用户输入单元107还可以包括其他输入设备1072。具体地,其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种,具体此处不做限定。
进一步的,触控面板1071可覆盖显示面板1061,当触控面板1071检测到在其上或附近的触控操作后,传送给处理器110以确定触摸事件的类型,随后处理器110根据触摸事件的类型在显示面板1061上提供相应的视觉输出。虽然在图3中,触控面板1071与显示面板1061是作为两个独立的部件来实现移动终端的输入和输出功能,但是在某些实施例中,可以将触控面板1071与显示面板1061集成而实现移动终端的输入和输出功能,具体此处不做限定。
接口单元108用作至少一个外部装置与移动终端100连接可以通过的接口。例如,外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元108可以用于接收来自外部装置的输入(例如,数据信息、电力等等)并且将接收到的输入传输到移动终端100内的一个或多个元件或者可以用于在移动终端100和外部装置之间传输数据。
存储器109可用于存储软件程序以及各种数据。存储器109可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器109可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器110是移动终端的控制中心,利用各种接口和线路连接整个移动终端的各个部分,通过运行或执行存储在存储器109内的软件程序和/或模块,以及调用存储在存储器109内的数据,执行移动终端的各种功能和处理数据,从而对移动终端进行整体监控。处理器110可包括一个或多个处理单元;优选的,处理器110可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器110中。
移动终端100还可以包括给各个部件供电的电源111(比如电池),优选的,电源111可以通过电源管理系统与处理器110逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管图3未示出,移动终端100还可以包括蓝牙模块等,在此不再赘述。
图4为本发明实施例的相机的主要电气结构的框图。摄影镜头701由用于形成被摄体像的多个光学镜头构成,是单焦点镜头或变焦镜头,其中在本实施例中,摄影镜头701为两个。摄影镜头701能够通过镜头驱动部711在光轴方向上移动,根据来自镜头驱动控制部712的控制信号,控制摄影镜头 701的焦点位置,在变焦镜头的情况下,也控制焦点距离。镜头驱动控制电路712按照来自微型计算机707的控制命令进行镜头驱动部711的驱动控制。
在摄影镜头701的光轴上、由摄影镜头701形成被摄体像的位置附近配置有摄像元件702。摄像元件702发挥作为对被摄体像摄像并取得摄像图像数据的摄像部的功能。在摄像元件702上二维地呈矩阵状配置有构成各像素的光电二极管。各光电二极管产生与受光量对应的光电转换电流,该光电转换电流由与各光电二极管连接的电容器进行电荷蓄积。各像素的前表面配置有拜耳排列的RGB滤色器。
摄像元件702与摄像电路703连接,该摄像电路703在摄像元件702中进行电荷蓄积控制和图像信号读出控制,对该读出的图像信号(模拟图像信号)降低重置噪声后进行波形整形,进而进行增益提高等以成为适当的信号电平。摄像电路703与模拟数字转换(A/D)转换部704连接,该A/D转换部704对模拟图像信号进行模数转换,向总线199输出数字图像信号(以下称之为图像数据)。
总线199是用于传送在相机的内部读出或生成的各种数据的传送路径。在总线199连接着上述A/D转换部704,此外还连接着图像处理器705、JPEG 处理器706、微型计算机707、动态随机访问存储器(SDRAM, Synchronous DRAM)708、存储器接口(以下称之为存储器I/F)709、液晶显示器(LCD,Liquid Crystal Display)驱动器710。
图像处理器705对基于摄像元件702的输出的图像数据进行OB相减处理、白平衡调整、颜色矩阵运算、伽马转换、色差信号处理、噪声去除处理、同时化处理、边缘处理等各种图像处理。JPEG处理器706在将图像数据记录于记录介质715时,按照JPEG压缩方式压缩从SDRAM 708读出的图像数据。此外,JPEG处理器706为了进行图像再现显示而进行JPEG图像数据的解压缩。进行解压缩时,读出记录在记录介质715中的文件,在JPEG 处理器706中实施了解压缩处理后,将解压缩的图像数据暂时存储于 SDRAM 708中并在LCD716上进行显示。另外,在本实施例中,作为图像压缩解压缩方式采用的是JPEG方式,然而压缩解压缩方式不限于此,当然可以采用MPEG、TIFF、H.264等其他的压缩解压缩方式。
微型计算机707发挥作为该相机整体的控制部的功能,统一控制相机的各种处理序列。微型计算机707连接着操作单元713和闪存714。
操作单元713包括但不限于实体按键或者虚拟按键,该实体或虚拟按键可以为电源按钮、拍照键、编辑按键、动态图像按钮、再现按钮、菜单按钮、十字键、OK按钮、删除按钮、放大按钮等各种输入按钮和各种输入键等操作部材,检测这些操作部材的操作状态。
将检测结果向微型计算机707输出。此外,在作为显示部的LCD716的前表面设有触摸面板,检测用户的触摸位置,将该触摸位置向微型计算机 707输出。微型计算机707根据来自操作单元713的操作部材的检测结果,执行与用户的操作对应的各种处理序列。同样,此处可以是计算机707根据 LCD716前面的触摸面板的检测结果,执行与用户的操作对应的各种处理序列。
闪存714存储用于执行微型计算机707的各种处理序列的程序。微型计算机707根据该程序进行相机整体的控制。此外,闪存714存储相机的各种调整值,微型计算机707读出调整值,按照该调整值进行相机的控制。
SDRAM 708是用于对图像数据等进行暂时存储的可电改写的易失性存储器。该SDRAM708暂时存储从A/D转换部704输出的图像数据和在图像处理器705、JPEG处理器706等中进行了处理后的图像数据。
存储器接口709与记录介质715连接,进行将图像数据和附加在图像数据中的文件头等数据写入记录介质715和从记录介质715中读出的控制。记录介质715例如为能够在相机主体上自由拆装的存储器卡等记录介质,然而不限于此,也可以是内置在相机主体中的硬盘等。
LCD驱动器710与LCD716连接,将由图像处理器705处理后的图像数据存储于SDRAM,需要显示时,读取SDRAM存储的图像数据并在 LCD716上显示,或者,JPEG处理器706压缩过的图像数据存储于SDRAM,在需要显示时,JPEG处理器706读取SDRAM的压缩过的图像数据,再进行解压缩,将解压缩后的图像数据通过LCD716进行显示。
LCD716配置在相机主体的背面等上,进行图像显示。该LCD716设有检测用户的触摸操作的触摸面板。另外,作为显示部,在本实施例中配置的是液晶表示面板(LCD716),然而不限于此,也可以采用有机EL等各种显示面板。
图5为本发明实施例图像处理方法的流程图,如图5所示,包括:
步骤501、根据图像的特征信息,确定两幅图像的匹配点对;
需要说明的是,本发明实施例可以利用最近邻(knn)匹配算法确定两幅图像匹配点对;当然,基于knn匹配算法延伸的算法,或图像处理中对特征信息进行分析可以确定匹配点对的算法,也可以应用于本发明实施例,在此不做赘述。图6为本发明实施例确定的匹配点对的示意图,如图6所示,图6的左侧的第一图像和右侧的第二图像通过虚线连接的两点为一对匹配点;图6仅示例了部分匹配点对,对于两幅图像,可以有很多匹配点对,根据算法的不同,匹配点对的数量和分布将存在一定差异。
可选的,确定两幅图像的匹配点对之前,本发明实施例方法还包括:
对所述两幅图像采用定向二进制简单描述符ORB算法、尺度不变特征变换Sift算法或快速鲁棒特征Surf算法进行特征提取,以获得所述特征信息。
需要说明的是,二进制简单描述符算法、尺度不变特征变换算法或快速鲁棒特征算法为相关技术中已有的算法,本领域技术人员可以根据上述算法进行特征提取;另外,本领域技术人员可以采用其他算法进行特征提取,只要可以实现特征提取均可以应用于本发明实施例。
步骤502、对确定的匹配点对进行计算分析,获得两幅图像的行对齐误差;
可选的,本发明实施例对确定的匹配点对进行计算分析包括:
从确定的所有所述匹配点对中选择一对或一对以上匹配点;
对每一对匹配点,分别根据匹配点的行坐标计算匹配点的行对齐误差;
根据计算获得的匹配点的行对齐误差,确定所述两幅图像的行对齐误差。
需要说明的是,本发明实施例匹配点对的对数可以由本领域技术人员根据经验值确定;理论上,匹配点对越多,对行对齐误差的计算越精确;匹配点对设置较少时,行对齐误差的计算量相对较少,处理速度相对较快;另外,本领域技术人员可以根据精度要求进行匹配点对数的设置和调整;图7为本发明实施例设置匹配点对数的交互界面示意图,如图7所示,用户可以根据精度要求在文本输入框中输入匹配点对数,文本输入框中根据本领域技术人员经验设置有初始值,用户可以参考初始值进行匹配点对数的增大或减小的调整。
步骤503、通过计算分析获得的两幅图像的行对齐误差,确定两幅图像的相对偏移信息;其中,所述相对偏移信息包括:两幅图像中的第一图像相对于第二图像的偏移方向和偏移尺寸;
可选的,本发明实施例确定所述两幅图像的行对齐误差包括:
从确定的所述匹配点对仅选择一对匹配点时,将计算获得的匹配点的行对齐误差,作为所述两幅图像的行对齐误差;
从确定的所述匹配点对选择两对或两对以上匹配点时,将计算获得的所有匹配点的行对齐误差进行求平均计算获得行对齐平均误差,将计算获得的行对齐平均误差作为所述两幅图像的行对齐误差。
以下通过示例对两幅图像的行对齐误差的计算过程进行示例,图8为本发明实施例进行行对齐处理的两幅图像的示意图;其中,第一图像为图8的左侧部分,第二图像为图8的右侧部分,如图8所示,匹配点对中第一图像上的点以Pi(xi,yi)表示,i为正整数;匹配点对中第一图像上的点以Qr (mr,nr)表示,r为正整数;x和m表示水平方向上的坐标,y和n表示垂直方向上的坐标;假设仅通过一对匹配点进行两幅图像的行对齐误差的确定;则两幅图像的行对齐误差等于选择的一对匹配点的行误差,假设匹配点对为P1(x1,y1)和Q1(mr,nr),则两幅图像的行对齐误差可通过式(1) 和式(2)计算;
Err_Value=P(y1)-Q(n1) 式(1)
Figure BDA0001489157570000131
其中,Err_Value为行对齐误差大小,P(yi)表示匹配点对中在第一图像内的匹配点的纵坐标,Q(nr)表示匹配点对中在第二图像内的匹配点的纵坐标,Err_Direct为误差方向,Err_Direct等于1表示第二图像相对第一图像向上偏移,反正Err_Direct等于-1表示第二图像相对第一图像向下偏移;
假设选择了两对或两对以上匹配点,匹配点对数通过z表示,则两幅图像的行对齐误差可以通过以下计算公式计算:
Figure BDA0001489157570000132
Avg_Err=Eum_Err/z 式(4)
Figure BDA0001489157570000133
其中,所有匹配点的行对齐误差的和为Sum_Err,行对齐平均误差为 Avg_Err,总体偏移方向为Sum_Direct;Sum_Direct等于1表示第二图像相对第一图像向上偏移,反正Sum_Direct等于-1表示第二图像相对第一图像向下偏移;如果两幅图像的行对齐误差为0则,表示在垂直方向上没有误差,无需进行图像校正;
根据确定的两幅图像的行对齐误差可以确定两幅图像的相对偏移信息,并根据确定的相对偏移信息进行图像的校正;以包含多个匹配点对的计算过程为例:
如果Sum_Direct=1,表示第二图像相对第一图像向上偏移,那么需要按照反方向将第二图像在垂直方向上进行校正平移,即将第二图像垂直方向向下偏移,距离为行对齐平均误差Avg_Err;
如果Sum_Direct=-1,表示第二图像相对第一图像向下偏移,那么需要按照反方向将第二图像在垂直方向上进行校正平移,即将第二图像垂直方向向上偏移,距离为行对齐平均误差Avg_Err;
图9为对第二图像进行向下校正平移的示意图,如图9所示,Q1(m1, n1)为平移之前的坐标,Q1’(m1,nr’)为平移之后的坐标;平移之后,两幅图像在垂直方向上的偏移得到了纠正。
步骤504、根据确定的相对偏移信息进行图像的校正。
可选的,本发明实施例图像处理方法还包括:
以所述第一图像中的已知的第一像素点为中心,根据所述两幅图像的行对齐误差确定预设尺寸的局部窗口;
从所述第二图像与所述第一像素点相同的第一行方向上,在预设的搜索视差范围内搜素与所述第一像素点匹配的第二像素点;
对局部窗口内的一行或一行以上像素,计算所述第一像素点在所述搜索视差范围内的匹配代价;
根据计算获得的各行的匹配代价,确定最优的视差代价。
需要说明的是,计算匹配代价和确定最优的视差代价均可以通过相关技术中已有的运算方法实现;以下通过示例对上述匹配代价和视差代价的运算处理过程进行示例,本示例假设Cy,Cx表示第一像素点的坐标,i和j表示第二像素点距离局部窗口中心的位置,用于索引遍历窗口,通过相关技术确定搜索视差范围d为[0max],假设两幅图像的行对齐误差为3,则设置局部窗口以第一像素点为中心,尺寸为3个像素点的正方形;本发明实施例可以通过下述公式对局部窗口内的每一行像素,计算第一像素点在所述搜索视差范围内的匹配代价:
Figure BDA0001489157570000141
Figure BDA0001489157570000151
Figure BDA0001489157570000152
其中,cost(p,d,Cy,Cx)表示在第一行方向上,第一像素点在搜索视差范围内的匹配代价;cost(p,d,Cy+1,Cx)表示在第一行往上一行的行方向上,第一像素点在搜索视差范围内的匹配代价;cost(p,d,Cy-1,Cx)表示在第一行往下一行的行方向上,第一像素点在搜索视差范围内的匹配代价。
根据通过上述计算获得的各行的匹配代价,本发明实施例可以根据式 (9)确定最优的视差代价,也就是第一像素点的最佳深度值,最优视差代价可以用于头像分割、三维重建、图像整合等:
Figure BDA0001489157570000153
图10为深度图的对比示意图,如图10所示,从未进行立体校准误差修正的深度图和经过立体校准误差修正的深度图的效果对比中可以看到:在矩形圈定的区域内的黑洞表示错误的深度值,参考图10所示,经过立体校准误差修正的深度图的效果比较好。
与相关技术相比,本发明实施例技术方案包括:根据图像的特征信息,确定两幅图像的匹配点对;对确定的匹配点对进行计算分析,获得两幅图像的行对齐误差;通过计算分析获得的两幅图像的行对齐误差,确定两幅图像的相对偏移信息;根据确定的相对偏移信息进行图像的校正;其中,相对偏移信息包括:两幅图像中的第一图像相对于第二图像的偏移方向和偏移尺寸。本发明实施例实现了在镜头模组变形、对焦不一致等因素的影响下,对图像进行垂直方向上的偏差校正,提升了图像处理质量。
图11为本发明另一实施例实现图像处理的方法的流程图,如图11所示,包括:
步骤1101、获取两幅图像的特征信息;
可选的,本发明实施例可以通过下述方法实现特征信息的获取:
对所述两幅图像采用定向二进制简单描述符(ORB)算法、尺度不变特征变换(Sift)算法或快速鲁棒特征(Surf)算法进行特征提取,以获得所述特征信息。
需要说明的是,二进制简单描述符算法、尺度不变特征变换算法或快速鲁棒特征算法为相关技术中已有的算法,本领域技术人员可以根据上述算法进行特征提取;另外,本领域技术人员可以采用其他算法进行特征提取,只要可以实现特征提取均可以应用于本发明实施例。
步骤1102、根据获取的特征信息,确定两幅图像的匹配点对;
需要说明的是,本发明实施例可以利用最近邻(knn)匹配算法确定两幅图像匹配点对;当然,基于knn匹配算法延伸的算法,或图像处理中对特征信息进行分析可以确定匹配点对的算法,也可以应用于本发明实施例,在此不做赘述。本发明实施例两幅图像可以有很多匹配点对,根据算法的不同,匹配点对的数量和分布将存在一定差异。
步骤1103、对确定的匹配点对进行计算分析,获得两幅图像的行对齐误差;
可选的,本发明实施例对确定的匹配点对进行计算分析包括:
从确定的所有所述匹配点对中选择一对或一对以上匹配点;
对每一对匹配点,分别根据匹配点的行坐标计算匹配点的行对齐误差;
根据计算获得的匹配点的行对齐误差,确定所述两幅图像的行对齐误差。
需要说明的是,本发明实施例匹配点对的对数可以由本领域技术人员根据经验值确定;理论上,匹配点对越多,对行对齐误差的计算越精确;匹配点对设置较少时,行对齐误差的计算量相对较少,处理速度相对较快;本发明实施例用户可以根据精度要求进行匹配点对数的设置和调整;包括:用户可以参考预先设置的初始值进行匹配点对数的增大或减小的调整。
步骤1104、通过计算分析获得的两幅图像的行对齐误差,确定两幅图像的相对偏移信息;
其中,本发明实施例相对偏移信息包括:两幅图像中的第一图像相对于第二图像的偏移方向和偏移尺寸。
可选的,本发明实施例确定两幅图像的行对齐误差包括:
从确定的所述匹配点对仅选择一对匹配点时,将计算获得的匹配点的行对齐误差,作为所述两幅图像的行对齐误差;
从确定的所述匹配点对选择两对或两对以上匹配点时,将计算获得的所有匹配点的行对齐误差进行求平均计算获得行对齐平均误差,将计算获得的行对齐平均误差作为所述两幅图像的行对齐误差。
以下通过示例对两幅图像的行对齐误差的计算过程进行示例,本发明实施例假设匹配点对中第一图像上的点以Pi(xi,yi)表示,i为正整数;匹配点对中第一图像上的点以Qr(mr,nr)表示,r为正整数;x和m表示水平方向上的坐标,y和n表示垂直方向上的坐标;假设仅通过一对匹配点进行两幅图像的行对齐误差的确定;则两幅图像的行对齐误差等于选择的一对匹配点的行误差,假设匹配点对为P1(x1,y1)和Q1(mr,nr),则两幅图像的行对齐误差可通过式(1)和式(2)计算;
ErrValue=P(y1)-Q(n1) 式(1)
Figure BDA0001489157570000171
其中,Err_Value为行对齐误差大小,P(yi)表示匹配点对中在第一图像内的匹配点的纵坐标,Q(nr)表示匹配点对中在第二图像内的匹配点的纵坐标,Err_Direct为误差方向,Err_Direct等于1表示第二图像相对第一图像向上偏移,反正Err_Direct等于-1表示第二图像相对第一图像向下偏移;
假设选择了两对或两对以上匹配点,匹配点对数通过z表示,则两幅图像的行对齐误差可以通过以下计算公式计算:
Figure BDA0001489157570000172
Avg_Err=Eum_Err/z 式(4)
Figure BDA0001489157570000181
其中,所有匹配点的行对齐误差的和为Sum_Err,行对齐平均误差为Avg_Err,总体偏移方向为Sum_Direct;Sum_Direct等于1表示第二图像相对第一图像向上偏移,反正Sum_Direct等于-1表示第二图像相对第一图像向下偏移;如果两幅图像的行对齐误差为0则,表示在垂直方向上没有误差,无需进行图像校正;
根据确定的两幅图像的行对齐误差可以确定两幅图像的相对偏移信息,并根据确定的相对偏移信息进行图像的校正;以包含多个匹配点对的计算过程为例:
如果Sum_Direct=1,表示第二图像相对第一图像向上偏移,那么需要按照反方向将第二图像在垂直方向上进行校正平移,即将第二图像垂直方向向下偏移,距离为行对齐平均误差Avg_Err;
如果Sum_Direct=-1,表示第二图像相对第一图像向下偏移,那么需要按照反方向将第二图像在垂直方向上进行校正平移,即将第二图像垂直方向向上偏移,距离为行对齐平均误差Avg_Err;
步骤1105、根据确定的相对偏移信息进行图像的校正。
可选的,本发明实施例图像处理方法还包括:
以所述第一图像中的已知的第一像素点为中心,根据所述两幅图像的行对齐误差确定预设尺寸的局部窗口;
从所述第二图像与所述第一像素点相同的第一行方向上,在预设的搜索视差范围内搜素与所述第一像素点匹配的第二像素点;
对局部窗口内的一行或一行以上像素,计算所述第一像素点在所述搜索视差范围内的匹配代价;
根据计算获得的各行的匹配代价,确定最优的视差代价。
需要说明的是,计算匹配代价和确定最优的视差代价均可以通过相关技术中已有的运算方法实现;以下通过示例对上述匹配代价和视差代价的运算处理过程进行示例,本示例假设Cy,Cx表示第一像素点的坐标,i和j表示第二像素点距离局部窗口中心的位置,用于索引遍历窗口,通过相关技术确定搜索视差范围d为[0max],假设两幅图像的行对齐误差为3,则设置局部窗口以第一像素点为中心,尺寸为3个像素点的正方形;本发明实施例可以通过下述公式对局部窗口内的每一行像素,计算第一像素点在所述搜索视差范围内的匹配代价:
Figure BDA0001489157570000191
Figure BDA0001489157570000192
Figure BDA0001489157570000193
其中,cost(p,d,Cy,Cx)表示在第一行方向上,第一像素点在搜索视差范围内的匹配代价;cost(p,d,Cy+1,Cx)表示在第一行往上一行的行方向上,第一像素点在搜索视差范围内的匹配代价;cost(p,d,Cy-1,Cx)表示在第一行往下一行的行方向上,第一像素点在搜索视差范围内的匹配代价。
根据通过上述计算获得的各行的匹配代价,本发明实施例可以根据式 (9)确定最优的视差代价,也就是第一像素点的最佳深度值,最优视差代价可以用于头像分割、三维重建、图像整合等:
Figure BDA0001489157570000194
与相关技术相比,本发明实施例技术方案包括:根据图像的特征信息,确定两幅图像的匹配点对;对确定的匹配点对进行计算分析,获得两幅图像的行对齐误差;通过计算分析获得的两幅图像的行对齐误差,确定两幅图像的相对偏移信息;根据确定的相对偏移信息进行图像的校正;其中,相对偏移信息包括:两幅图像中的第一图像相对于第二图像的偏移方向和偏移尺寸。本发明实施例实现了在镜头模组变形、对焦不一致等因素的影响下,对图像进行垂直方向上的偏差校正,提升了图像处理质量。
图12为本发明实施例终端的结构框图,如图12所示,所述终端包括处理器、存储器及通信总线;
所述通信总线用于实现处理器和存储器之间的连接通信;
所述处理器用于执行存储器中存储的图像处理程序,以实现以下步骤:
根据图像的特征信息,确定两幅图像的匹配点对;
需要说明的是,本发明实施例可以利用最近邻(knn)匹配算法确定两幅图像匹配点对;当然,基于knn匹配算法延伸的算法,或图像处理中对特征信息进行分析可以确定匹配点对的算法,也可以应用于本发明实施例,在此不做赘述。本发明实施例两幅图像可以有很多匹配点对,根据算法的不同,匹配点对的数量和分布将存在一定差异。
对确定的匹配点对进行计算分析,获得两幅图像的行对齐误差;
通过计算分析获得的两幅图像的行对齐误差,确定两幅图像的相对偏移信息;
根据确定的相对偏移信息进行图像的校正;
其中,所述相对偏移信息包括:两幅图像中的第一图像相对于第二图像的偏移方向和偏移尺寸。
可选的,本发明实施例所述处理器用于执行存储器中存储的图像处理,还用于实现以下步骤:
确定两幅图像的匹配点对之前,对所述两幅图像采用定向二进制简单描述符ORB算法、尺度不变特征变换Sift算法或快速鲁棒特征Surf算法进行特征提取,以获得所述特征信息。
需要说明的是,二进制简单描述符算法、尺度不变特征变换算法或快速鲁棒特征算法为相关技术中已有的算法,本领域技术人员可以根据上述算法进行特征提取;另外,本领域技术人员可以采用其他算法进行特征提取,只要可以实现特征提取均可以应用于本发明实施例。
可选的,本发明实施例处理器用于执行存储器中存储的对确定的匹配点对进行计算分析的步骤包括:
从确定的所有所述匹配点对中选择一对或一对以上匹配点;
对每一对匹配点,分别根据匹配点的行坐标计算匹配点的行对齐误差;
根据计算获得的匹配点的行对齐误差,确定所述两幅图像的行对齐误差。
需要说明的是,本发明实施例匹配点对的对数可以由本领域技术人员根据经验值确定;理论上,匹配点对越多,对行对齐误差的计算越精确;匹配点对设置较少时,行对齐误差的计算量相对较少,处理速度相对较快;本发明实施例用户可以根据精度要求进行匹配点对数的设置和调整;例如,用户可以参考预先设置的初始值进行匹配点对数的增大或减小的调整。
可选的,本发明实施例处理器用于执行存储器中存储的确定所述两幅图像的行对齐误差的步骤包括:
从确定的所述匹配点对仅选择一对匹配点时,将计算获得的匹配点的行对齐误差,作为所述两幅图像的行对齐误差;
从确定的所述匹配点对选择两对或两对以上匹配点时,将计算获得的所有匹配点的行对齐误差进行求平均计算获得行对齐平均误差,将计算获得的行对齐平均误差作为所述两幅图像的行对齐误差。
以下通过示例对两幅图像的行对齐误差的计算过程进行示例,本发明实施例匹配点对中第一图像上的点以Pi(xi,yi)表示,i为正整数;匹配点对中第一图像上的点以Qr(mr,nr)表示,r为正整数;x和m表示水平方向上的坐标,y和n表示垂直方向上的坐标;假设仅通过一对匹配点进行两幅图像的行对齐误差的确定;则两幅图像的行对齐误差等于选择的一对匹配点的行误差,假设匹配点对为P1(x1,y1)和Q1(mr,nr),则两幅图像的行对齐误差可通过式(1)和式(2)计算;
Err_Value=P(y1)-Q(n1) 式(1)
Figure BDA0001489157570000211
其中,Err_Value为行对齐误差大小,P(yi)表示匹配点对中在第一图像内的匹配点的纵坐标,Q(nr)表示匹配点对中在第二图像内的匹配点的纵坐标,Err_Direct为误差方向,Err_Direct等于1表示第二图像相对第一图像向上偏移,反正Err_Direct等于-1表示第二图像相对第一图像向下偏移;
假设选择了两对或两对以上匹配点,匹配点对数通过z表示,则两幅图像的行对齐误差可以通过以下计算公式计算:
Figure BDA0001489157570000221
Avg_Err=Eum_Err/z式(4)
Figure BDA0001489157570000222
其中,所有匹配点的行对齐误差的和为Sum_Err,行对齐平均误差为 Avg_Err,总体偏移方向为Sum_Direct;Sum_Direct等于1表示第二图像相对第一图像向上偏移,反正Sum_Direct等于-1表示第二图像相对第一图像向下偏移;如果两幅图像的行对齐误差为0则,表示在垂直方向上没有误差,无需进行图像校正;
根据确定的两幅图像的行对齐误差可以确定两幅图像的相对偏移信息,并根据确定的相对偏移信息进行图像的校正;以包含多个匹配点对的计算过程为例:
如果Sum_Direct=1,表示第二图像相对第一图像向上偏移,那么需要按照反方向将第二图像在垂直方向上进行校正平移,即将第二图像垂直方向向下偏移,距离为行对齐平均误差Avg_Err;
如果Sum_Direct=-1,表示第二图像相对第一图像向下偏移,那么需要按照反方向将第二图像在垂直方向上进行校正平移,即将第二图像垂直方向向上偏移,距离为行对齐平均误差Avg_Err;
可选的,本发明实施例处理器用于执行存储器中存储的图像处理,还用于实现以下步骤:
以所述第一图像中的已知的第一像素点为中心,根据所述两幅图像的行对齐误差确定预设尺寸的局部窗口;
从所述第二图像与所述第一像素点相同的第一行方向上,在预设的搜索视差范围内搜素与所述第一像素点匹配的第二像素点;
对局部窗口内的一行或一行以上像素,计算所述第一像素点在所述搜索视差范围内的匹配代价;
根据计算获得的各行的匹配代价,确定最优的视差代价。
需要说明的是,计算匹配代价和确定最优的视差代价均可以通过相关技术中已有的运算方法实现;以下通过示例对上述匹配代价和视差代价的运算处理过程进行示例,本示例假设Cy,Cx表示第一像素点的坐标,i和j表示第二像素点距离局部窗口中心的位置,用于索引遍历窗口,通过相关技术确定搜索视差范围d为[0max],假设两幅图像的行对齐误差为3,则设置局部窗口以第一像素点为中心,尺寸为3个像素点的正方形;本发明实施例可以通过下述公式对局部窗口内的每一行像素,计算第一像素点在所述搜索视差范围内的匹配代价:
Figure BDA0001489157570000231
Figure BDA0001489157570000232
Figure BDA0001489157570000233
其中,cost(p,d,Cy,Cx)表示在第一行方向上,第一像素点在搜索视差范围内的匹配代价;cost(p,d,Cy+1,Cx)表示在第一行往上一行的行方向上,第一像素点在搜索视差范围内的匹配代价;cost(p,d,Cy-1,Cx)表示在第一行往下一行的行方向上,第一像素点在搜索视差范围内的匹配代价。
根据通过上述计算获得的各行的匹配代价,本发明实施例可以根据式 (9)确定最优的视差代价,也就是第一像素点的最佳深度值,最优视差代价可以用于头像分割、三维重建、图像整合等:
Figure BDA0001489157570000234
与相关技术相比,本发明实施例技术方案包括:根据图像的特征信息,确定两幅图像的匹配点对;对确定的匹配点对进行计算分析,获得两幅图像的行对齐误差;通过计算分析获得的两幅图像的行对齐误差,确定两幅图像的相对偏移信息;根据确定的相对偏移信息进行图像的校正;其中,相对偏移信息包括:两幅图像中的第一图像相对于第二图像的偏移方向和偏移尺寸。本发明实施例实现了在镜头模组变形、对焦不一致等因素的影响下,对图像进行垂直方向上的偏差校正,提升了图像处理质量。
图像处理方法。
本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行以实现上述图像处理方法。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,这些均属于本发明的保护之内。

Claims (8)

1.一种图像处理方法,其特征在于,包括:
根据图像的特征信息,确定两幅图像的匹配点对;
对确定的匹配点对进行计算分析,获得两幅图像的行对齐误差;
通过计算分析获得的两幅图像的行对齐误差,确定两幅图像的相对偏移信息;
根据确定的相对偏移信息进行图像的校正;
其中,所述相对偏移信息包括:两幅图像中的第一图像相对于第二图像的偏移方向和偏移尺寸;
以所述第一图像中的已知的第一像素点为中心,根据所述两幅图像的行对齐误差确定预设尺寸的局部窗口;
从所述第二图像与所述第一像素点相同的第一行方向上,在预设的搜索视差范围内搜素与所述第一像素点匹配的第二像素点;
对局部窗口内的一行或一行以上像素,计算所述第一像素点在所述搜索视差范围内的匹配代价;
根据计算获得的各行的匹配代价,确定最优的视差代价。
2.根据权利要求1所述的图像处理方法,其特征在于,所述确定两幅图像的匹配点对之前,所述方法还包括:
对所述两幅图像采用定向二进制简单描述符ORB算法、尺度不变特征变换Sift算法或快速鲁棒特征Surf算法进行特征提取,以获得所述特征信息。
3.根据权利要求1所述的图像处理方法,其特征在于,所述对确定的匹配点对进行计算分析包括:
从确定的所有所述匹配点对中选择一对或一对以上匹配点;
对每一对匹配点,分别根据匹配点的行坐标计算匹配点的行对齐误差;
根据计算获得的匹配点的行对齐误差,确定所述两幅图像的行对齐误差。
4.根据权利要求3所述的图像处理方法,其特征在于,所述确定所述两幅图像的行对齐误差包括:
从确定的所述匹配点对仅选择一对匹配点时,将计算获得的匹配点的行对齐误差,作为所述两幅图像的行对齐误差;
从确定的所述匹配点对选择两对或两对以上匹配点时,将计算获得的所有匹配点的行对齐误差进行求平均计算获得行对齐平均误差,将计算获得的行对齐平均误差作为所述两幅图像的行对齐误差。
5.一种终端,其特征在于,所述终端包括处理器、存储器及通信总线;
所述通信总线用于实现处理器和存储器之间的连接通信;
所述处理器用于执行存储器中存储的图像处理程序,以实现以下步骤:
根据图像的特征信息,确定两幅图像的匹配点对;
对确定的匹配点对进行计算分析,获得两幅图像的行对齐误差;
通过计算分析获得的两幅图像的行对齐误差,确定两幅图像的相对偏移信息;
根据确定的相对偏移信息进行图像的校正;
其中,所述相对偏移信息包括:两幅图像中的第一图像相对于第二图像的偏移方向和偏移尺寸;
所述处理器用于执行存储器中存储的图像处理,还用于实现以下步骤:
以所述第一图像中的已知的第一像素点为中心,根据所述两幅图像的行对齐误差确定预设尺寸的局部窗口;
从所述第二图像与所述第一像素点相同的第一行方向上,在预设的搜索视差范围内搜素与所述第一像素点匹配的第二像素点;
对局部窗口内的一行或一行以上像素,计算所述第一像素点在所述搜索视差范围内的匹配代价;
根据计算获得的各行的匹配代价,确定最优的视差代价。
6.根据权利要求5所述的终端,其特征在于,所述处理器用于执行存储器中存储的对确定的匹配点对进行计算分析的步骤包括:
从确定的所有所述匹配点对中选择一对或一对以上匹配点;
对每一对匹配点,分别根据匹配点的行坐标计算匹配点的行对齐误差;
根据计算获得的匹配点的行对齐误差,确定所述两幅图像的行对齐误差。
7.根据权利要求6所述的终端,其特征在于,所述处理器用于执行存储器中存储的确定所述两幅图像的行对齐误差的步骤包括:
从确定的所述匹配点对仅选择一对匹配点时,将计算获得的匹配点的行对齐误差,作为所述两幅图像的行对齐误差;
从确定的所述匹配点对选择两对或两对以上匹配点时,将计算获得的所有匹配点的行对齐误差进行求平均计算获得行对齐平均误差,将计算获得的行对齐平均误差作为所述两幅图像的行对齐误差。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行以实现如权利要求1~4任一项所述的图像处理方法。
CN201711236926.0A 2017-11-30 2017-11-30 一种图像处理方法、终端及计算机可读存储介质 Active CN108230372B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711236926.0A CN108230372B (zh) 2017-11-30 2017-11-30 一种图像处理方法、终端及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711236926.0A CN108230372B (zh) 2017-11-30 2017-11-30 一种图像处理方法、终端及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN108230372A CN108230372A (zh) 2018-06-29
CN108230372B true CN108230372B (zh) 2022-01-14

Family

ID=62653660

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711236926.0A Active CN108230372B (zh) 2017-11-30 2017-11-30 一种图像处理方法、终端及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN108230372B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111292380B (zh) * 2019-04-02 2022-12-02 展讯通信(上海)有限公司 图像处理方法及装置
CN111106054B (zh) * 2019-12-05 2022-08-12 福建省福联集成电路有限公司 一种预判晶圆校准值的方法和存储介质
CN111193865B (zh) * 2019-12-31 2021-08-03 维沃移动通信有限公司 图像处理方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5487011A (en) * 1994-03-17 1996-01-23 Gerber Garment Technology, Inc. Garment marker system having computer assisted alignment of variable contrast cloth designs
CN102065313A (zh) * 2010-11-16 2011-05-18 上海大学 平行式相机阵列的未标定多视点图像校正方法
CN102638693A (zh) * 2011-02-09 2012-08-15 索尼公司 摄像装置、摄像装置控制方法以及程序
CN103792667A (zh) * 2012-10-30 2014-05-14 财团法人工业技术研究院 立体摄像装置、自动校正装置与校正方法
CN103868460A (zh) * 2014-03-13 2014-06-18 桂林电子科技大学 基于视差优化算法的双目立体视觉自动测量方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5487011A (en) * 1994-03-17 1996-01-23 Gerber Garment Technology, Inc. Garment marker system having computer assisted alignment of variable contrast cloth designs
CN102065313A (zh) * 2010-11-16 2011-05-18 上海大学 平行式相机阵列的未标定多视点图像校正方法
CN102638693A (zh) * 2011-02-09 2012-08-15 索尼公司 摄像装置、摄像装置控制方法以及程序
CN103792667A (zh) * 2012-10-30 2014-05-14 财团法人工业技术研究院 立体摄像装置、自动校正装置与校正方法
CN103868460A (zh) * 2014-03-13 2014-06-18 桂林电子科技大学 基于视差优化算法的双目立体视觉自动测量方法

Also Published As

Publication number Publication date
CN108230372A (zh) 2018-06-29

Similar Documents

Publication Publication Date Title
US11189037B2 (en) Repositioning method and apparatus in camera pose tracking process, device, and storage medium
CN109151442B (zh) 一种图像拍摄方法及终端
CN108989672B (zh) 一种拍摄方法及移动终端
CN108038825B (zh) 一种图像处理方法及移动终端
CN107248137B (zh) 一种实现图像处理的方法及移动终端
CN107846583B (zh) 一种图像阴影补偿方法及移动终端
CN109660723B (zh) 一种全景拍摄方法及装置
CN108156374B (zh) 一种图像处理方法、终端及可读存储介质
CN108776822B (zh) 目标区域检测方法、装置、终端及存储介质
CN107749046B (zh) 一种图像处理方法及移动终端
CN107707821B (zh) 畸变参数的建模方法及装置、校正方法、终端、存储介质
CN108230372B (zh) 一种图像处理方法、终端及计算机可读存储介质
CN108174110B (zh) 一种拍照方法及柔性屏终端
KR20200113522A (ko) 제스처 입력에 따라 기능을 실행하는 전자 장치 및 이의 동작 방법
CN108234978B (zh) 一种图像处理方法及移动终端
CN113012211B (zh) 图像采集方法、装置、系统、计算机设备及存储介质
CN107798662B (zh) 一种图像处理方法及移动终端
CN107817963B (zh) 一种图像显示方法、移动终端及计算机可读存储介质
CN107395971B (zh) 一种图像采集方法、设备和计算机可读存储介质
CN111182206B (zh) 图像处理方法和装置
CN108600623B (zh) 重聚焦显示方法以及终端设备
CN111385481A (zh) 图像处理方法及装置、电子设备及存储介质
CN108550182B (zh) 一种三维建模方法和终端
WO2019179413A1 (zh) 景深图像生成方法及移动终端
CN111127539B (zh) 视差确定方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant