CN105354838B - 图像中弱纹理区域的深度信息获取方法及终端 - Google Patents

图像中弱纹理区域的深度信息获取方法及终端 Download PDF

Info

Publication number
CN105354838B
CN105354838B CN201510685831.1A CN201510685831A CN105354838B CN 105354838 B CN105354838 B CN 105354838B CN 201510685831 A CN201510685831 A CN 201510685831A CN 105354838 B CN105354838 B CN 105354838B
Authority
CN
China
Prior art keywords
weak texture
pixel points
depth
image
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510685831.1A
Other languages
English (en)
Other versions
CN105354838A (zh
Inventor
戴向东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nubia Technology Co Ltd
Original Assignee
Nubia Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nubia Technology Co Ltd filed Critical Nubia Technology Co Ltd
Priority to CN201510685831.1A priority Critical patent/CN105354838B/zh
Publication of CN105354838A publication Critical patent/CN105354838A/zh
Priority to PCT/CN2016/101602 priority patent/WO2017067390A1/zh
Application granted granted Critical
Publication of CN105354838B publication Critical patent/CN105354838B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种终端，所述终端包括：图像分割模块，用于获取图像的颜色和亮度信息，根据所述颜色与亮度信息，将所述图像分割为若干区域；弱纹理区域获取模块，用于计算获得所述图像对应的梯度信息，根据所述梯度信息从所述图像分割模块分割的若干区域中选取出弱纹理区域，所述弱纹理区域为梯度统计平均值在预设范围内的区域；边缘深度获取模块，用于提取所述弱纹理区域获取模块选取的弱纹理区域的边界像素点，获取所述边界像素点的深度值；区域深度获取模块，用于根据所述边缘深度获取模块获取的边界像素点的深度值，计算出所述弱纹理区域中各像素点的深度值。本发明实施例还公开了一种图像中弱纹理区域的深度信息获取方法。

Description

图像中弱纹理区域的深度信息获取方法及终端
技术领域
本发明涉及图像处理领域，尤其涉及一种图像中弱纹理区域的深度信息获取方法及终端。
背景技术
立体匹配是立体视觉中的一个核心算法，在立体匹配算法中，弱纹理区域的处理一直是其中的一个难点，很多应用场景中，弱纹理区域的像素点在颜色和亮度上比较相似，这就给像素点的匹配带来了奇异性，应用立体匹配算法容易误匹配，这样获取的弱纹理区域的深度信息就不准确。
发明内容
有鉴于此，本发明实施例期望提供一种图像中弱纹理区域的深度信息获取方法及终端，可以准确获取弱纹理区域的深度信息。
为达到上述目的，本发明的技术方案是这样实现的：
一种终端，包括：
图像分割模块，用于获取图像的颜色和亮度信息，根据所述颜色与亮度信息，将所述图像分割为若干区域；
弱纹理区域获取模块，用于计算获得所述图像对应的梯度信息，根据所述梯度信息从所述图像分割模块分割的若干区域中选取出弱纹理区域，所述弱纹理区域为梯度统计平均值在预设范围内的区域；
边缘深度获取模块，用于提取所述弱纹理区域获取模块选取的弱纹理区域的边界像素点，获取所述边界像素点的深度值；
区域深度获取模块，用于根据所述边缘深度获取模块获取的边界像素点的深度值，计算出所述弱纹理区域中各像素点的深度值。
上述方案中，所述区域深度获取模块，具体用于根据所述边界像素点的深度值筛除所述边界像素点中的突变点，获得所述边界像素点中的可靠点；将所述可靠点的深度值进行平面拟合，计算出所述弱纹理区域中各像素点的深度值。
上述方案中，所述图像分割模块，具体用于选取若干种子像素点，将所述种子像素点周围满足预设条件的新像素点划分到所述种子像素点所在的区域，将所述新像素点当作新的种子像素点，继续将所述新的种子像素点周围满足预设条件的新像素点划分到所述种子像素点所在的区域，直到所述新的种子像素点周围不存在满足预设条件的像素点，获取到根据所述若干种子像素点划分出的若干区域；其中，所述预设条件为与所述种子像素点相比，颜色和亮度信息的差值在第一阈值内。
上述方案中，所述边缘深度获取模块，具体用于对所述弱纹理区域进行区域标记获得标记后的弱纹理区域，然后将标记后的弱纹理区域与所述图像的其他区域进行二值化获得二值化后的弱纹理区域，将所述二值化后的弱纹理区域进行区域空洞填充获得空洞填充后的弱纹理区域，将所述空洞填充后的弱纹理区域进行轮廓提取获取所述弱纹理区域的轮廓线，根据所述弱纹理区域的轮廓线获取所述弱纹理区域的边界像素点；按照以下公式计算获取所述边界像素点的深度值Z：
其中，f是立体成像装置中两个数码摄像头的焦距，T是两个数码摄像头之间的间距，d为两个数码摄像头拍摄的两幅图像的视差图中所述边界像素点对应的视差值。
上述方案中，所述区域深度获取模块，具体用于将所述边界像素点的深度值作为样本集P，随机从样本集P中抽出n个边界像素点的深度值作为子集S，并通过平面拟合获得初始化模型M；将余集SC＝P\S中与所述初始化模型M的误差小于第二阈值的边界像素点的深度值划分为内点集；当内点集中深度值的数目达到了N时，根据内点集采用最小二乘法重新计算新的模型M*；重新随机抽取新的子集S*，重复以上过程；在重复一定次数后，选出获得的最大内点集，所述最大内点集中的深度值为所述边界像素点中的可靠点的深度值，所述样本集P中的其余数值为所述边界像素点中突变点的深度值，所述n和N为预设值。
一种图像中弱纹理区域的深度信息获取方法，所述方法包括：
获取图像的颜色和亮度信息，根据所述颜色与亮度信息，将所述图像分割为若干区域；
计算获得所述图像对应的梯度信息，根据所述梯度信息从所述若干区域中选取出弱纹理区域，所述弱纹理区域为梯度统计平均值在预设范围内的区域；
提取所述弱纹理区域的边界像素点，获取所述边界像素点的深度值；
根据所述边界像素点的深度值，计算出所述弱纹理区域中各像素点的深度值。
上述方案中，所述根据所述边界像素点的深度值，计算出所述弱纹理区域中各像素点的深度值，包括：
根据所述边界像素点的深度值筛除所述边界像素点中的突变点，获得所述边界像素点中的可靠点；将所述可靠点的深度值进行平面拟合，计算出所述弱纹理区域中各像素点的深度值。
上述方案中，所述根据所述颜色与亮度信息，将所述图像分割为若干区域，包括：
选取种子像素点，将与所述种子像素点相比颜色与亮度信息的差值在第一阈值内的像素点划分为一个区域，获取到所述若干区域。
上述方案中，所述提取所述弱纹理区域的边界像素点，获取所述边界像素点的深度值，包括：
对所述弱纹理区域进行区域标记获得标记后的弱纹理区域，然后将标记后的弱纹理区域与所述图像的其他区域进行二值化获得二值化后的弱纹理区域，将所述二值化后的弱纹理区域进行区域空洞填充获得空洞填充后的弱纹理区域，将所述空洞填充后的弱纹理区域进行轮廓提取获取所述弱纹理区域的轮廓线，根据所述弱纹理区域的轮廓线获取所述弱纹理区域的边界像素点；按照以下公式计算获取所述边界像素点的深度值Z：
其中，f是立体成像装置中两个数码摄像头的焦距，T是两个数码摄像头之间的间距，d为两个数码摄像头拍摄的两幅图像的视差图中所述边界像素点对应的视差值。
上述方案中，所述根据所述边界像素点的深度值筛除所述边界像素点中的突变点，获得所述边界像素点中的可靠点，包括：
将所述边界像素点的深度值作为样本集P，随机从样本集P中抽出n个边界像素点的深度值作为子集S，并通过平面拟合获得初始化模型M；将余集SC＝P\S中与所述初始化模型M的误差小于第二阈值的边界像素点的深度值划分为内点集；当内点集中深度值的数目达到了N时，根据内点集采用最小二乘法重新计算新的模型M*；重新随机抽取新的子集S*，重复以上过程；在重复一定次数后，选出获得的最大内点集，所述最大内点集中的深度值为所述边界像素点中的可靠点的深度值，所述样本集P中的其余数值为所述边界像素点中突变点的深度值，所述n和N为预设值。
本发明实施例提供了一种图像中弱纹理区域的深度信息获取方法及终端，所述终端将图像分割成若干图像分割区域；根据所述梯度统计检测获得弱纹理区域；提取所述弱纹理区域的边界像素点，应用立体匹配算法获取所述边界像素点的深度值；根据所述边界像素点的深度值筛除所述边界像素点中的突变点，获得所述边界像素点中的可靠点；将所述可靠点的深度值进行平面拟合，计算出所述弱纹理区域中各像素点的深度值。与现有技术中直接应用立体匹配算法获取弱纹理区域中各像素点的深度值相比，本实施例方法根据筛选出的可靠点的深度值进行平面拟合，估计出所述弱纹理区域中各像素点的深度值，可以减少弱纹理区域的深度值估计的错误概率，准确获取弱纹理区域的深度信息。
附图说明
图1为实现本发明各个实施例的移动终端的硬件结构示意图；
图2为如图1所示的移动终端的无线通信系统示意图；
图3为本发明实施例1提供的一种终端的结构框图；
图4为本发明实施例提供的一张用于处理的图像；
图5为本发明实施例提供的对图4所示图像进行分割后由若干色块对应标识出若干图像分割区域的图示；
图6为本发明实施例提供的标识出弱纹理区域的图像；
图7为本发明实施例提供的对弱纹理区域进行二值化后的图像；
图8为本发明实施例提供的对图7所示的二值化后的图像进行空洞填充后的图像；
图9为本发明实施例提供的对图8所示的空洞填充后的图像进行轮廓提取后的图像；
图10为本发明实施例提供的对可靠点的深度值进行平面拟合后的示意图；
图11本发明实施例提供的应用现有方法获取的深度图像；
图12本发明实施例提供的应用本发明实施例方法获取的深度图像；
图13为本发明实施例2提供的一种图像中弱纹理区域的深度信息获取方法的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
现在将参考附图1来描述实现本发明各个实施例的移动终端。在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，"模块"与"部件"可以混合地使用。
移动终端可以以各种形式来实施。例如，本发明中描述的终端可以包括诸如移动电话、智能电话、笔记本电脑、数字广播接收器、个人数字助理(PDA)、平板电脑(PAD)、便携式多媒体播放器(PMP)、导航装置等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。下面，假设终端是移动终端。然而，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本发明的实施方式的构造也能够应用于固定类型的终端。
图1为实现本发明各个实施例的移动终端的硬件结构示意。
移动终端100可以包括无线通讯单元110、音频/视频(A/V)输入单元120、用户输入单元130、感测单元140、输出单元150、存储器160、接口单元170、控制器180和电源单元190等等。图1示出了具有各种组件的移动终端，但是应理解的是，并不要求实施所有示出的组件，可以替代地实施更多或更少的组件，将在下面详细描述移动终端的元件。
无线通讯单元110通常包括一个或多个组件，其允许移动终端100与无线通讯系统或网络之间的无线电通讯。例如，无线通讯单元可以包括广播接收模块111、移动通讯模块112、无线互联网模块113、短程通讯模块114和位置信息模块115中的至少一个。
广播接收模块111经由广播信道从外部广播管理服务器接收广播信号和/或广播相关信息。广播信道可以包括卫星信道和/或地面信道。广播管理服务器可以是生成并发送广播信号和/或广播相关信息的服务器或者接收之前生成的广播信号和/或广播相关信息并且将其发送给终端的服务器。广播信号可以包括TV广播信号、无线电广播信号、数据广播信号等等。而且，广播信号可以进一步包括与TV或无线电广播信号组合的广播信号。广播相关信息也可以经由移动通讯网络提供，并且在该情况下，广播相关信息可以由移动通讯模块112来接收。广播信号可以以各种形式存在，例如，其可以以数字多媒体广播(DMB)的电子节目指南(EPG)、数字视频广播手持(DVB-H)的电子服务指南(ESG)等等的形式而存在。广播接收模块111可以通过使用各种类型的广播系统接收信号广播。特别地，广播接收模块111可以通过使用诸如多媒体广播-地面(DMB-T)、数字多媒体广播-卫星(DMB-S)、数字视频广播-手持(DVB-H)，前向链路媒体(Media FLO@)的数据广播系统、地面数字广播综合服务(ISDB-T)等等的数字广播系统接收数字广播。广播接收模块111可以被构造为适合提供广播信号的各种广播系统以及上述数字广播系统。经由广播接收模块111接收的广播信号和/或广播相关信息可以存储在存储器160(或者其它类型的存储介质)中。
移动通讯模块112将无线电信号发送到基站(例如，接入点、节点B等等)、外部终端以及服务器中的至少一个和/或从其接收无线电信号。这样的无线电信号可以包括语音通话信号、视频通话信号、或者根据文本和/或多媒体消息发送和/或接收的各种类型的数据。
无线互联网模块113支持移动终端的无线互联网接入。该模块可以内部或外部地耦接到终端。该模块所涉及的无线互联网接入技术可以包括无线局域网(WLAN)(Wi-Fi)、无线宽带(Wibro)、全球微波互联接入(Wimax)、高速下行链路分组接入(HSDPA)等等。
短程通讯模块114是用于支持短程通讯的模块。短程通讯技术的一些示例包括蓝牙TM、射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB)、紫蜂TM等等。
位置信息模块115是用于检查或获取移动终端的位置信息的模块。位置信息模块的典型示例是全球定位系统(GPS)。根据当前的技术，GPS模块115计算来自三个或更多卫星的距离信息和准确的时间信息并且对于计算的信息应用三角测量法，从而根据经度、纬度和高度准确地计算三维当前位置信息。当前，用于计算位置和时间信息的方法使用三颗卫星并且通过使用另外的一颗卫星校正计算出的位置和时间信息的误差。此外，GPS模块115能够通过实时地连续计算当前位置信息来计算速度信息。
A/V输入单元120用于接收音频或视频信号。A/V输入单元120可以包括相机121和麦克风122，相机121对在视频捕获模式或图像捕获模式中由图像捕获装置获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元151上。经相机121处理后的图像帧可以存储在存储器160(或其它存储介质)中或者经由无线通讯单元110进行发送，可以根据移动终端的构造提供两个或更多相机121。麦克风122可以在电话通话模式、记录模式、语音识别模式等等运行模式中经由麦克风接收声音(音频数据)，并且能够将这样的声音处理为音频数据。处理后的音频(语音)数据可以在电话通话模式的情况下转换为可经由移动通讯模块112发送到移动通讯基站的格式输出。麦克风122可以实施各种类型的噪声消除(或抑制)算法以消除(或抑制)在接收和发送音频信号的过程中产生的噪声或者干扰。
用户输入单元130可以根据用户输入的命令生成键输入数据以控制移动终端的各种操作。用户输入单元130允许用户输入各种类型的信息，并且可以包括键盘、锅仔片、触摸板(例如，检测由于被接触而导致的电阻、压力、电容等等的变化的触敏组件)、滚轮、摇杆等等。特别地，当触摸板以层的形式叠加在显示单元151上时，可以形成触摸屏。
感测单元140检测移动终端100的当前状态，(例如，移动终端100的打开或关闭状态)、移动终端100的位置、用户对于移动终端100的接触(即，触摸输入)的有无、移动终端100的取向、移动终端100的加速或减速移动和方向等等，并且生成用于控制移动终端100的操作的命令或信号。例如，当移动终端100实施为滑动型移动电话时，感测单元140可以感测该滑动型电话是打开还是关闭。另外，感测单元140能够检测电源单元190是否提供电力或者接口单元170是否与外部装置耦接。感测单元140可以包括接近传感器141将在下面结合触摸屏来对此进行描述。
接口单元170用作至少一个外部装置与移动终端100连接可以通过的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。识别模块可以是存储用于验证用户使用移动终端100的各种信息并且可以包括用户识别模块(UIM)、客户识别模块(SIM)、通用客户识别模块(USIM)等等。另外，具有识别模块的装置(下面称为"识别装置")可以采取智能卡的形式，因此，识别装置可以经由端口或其它连接装置与移动终端100连接。接口单元170可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到移动终端100内的一个或多个元件或者可以用于在移动终端和外部装置之间传输数据。
另外，当移动终端100与外部底座连接时，接口单元170可以用作允许通过其将电力从底座提供到移动终端100的路径或者可以用作允许从底座输入的各种命令信号通过其传输到移动终端的路径。从底座输入的各种命令信号或电力可以用作用于识别移动终端是否准确地安装在底座上的信号。输出单元150被构造为以视觉、音频和/或触觉方式提供输出信号(例如，音频信号、视频信号、警报信号、振动信号等等)。输出单元150可以包括显示单元151、音频输出模块152、警报单元153等等。
显示单元151可以显示在移动终端100中处理的信息。例如，当移动终端100处于电话通话模式时，显示单元151可以显示与通话或其它通讯(例如，文本消息收发、多媒体文件下载等等)相关的用户界面(UI)或图形用户界面(GUI)。当移动终端100处于视频通话模式或者图像捕获模式时，显示单元151可以显示捕获的图像和/或接收的图像、示出视频或图像以及相关功能的UI或GUI等等。
同时，当显示单元151和触摸板以层的形式彼此叠加以形成触摸屏时，显示单元151可以用作输入装置和输出装置。显示单元151可以包括液晶显示器(LCD)、薄膜晶体管LCD(TFT-LCD)、有机发光二极管(OLED)显示器、柔性显示器、三维(3D)显示器等等中的至少一种。这些显示器中的一些可以被构造为透明状以允许用户从外部观看，这可以称为透明显示器，典型的透明显示器可以例如为TOLED(透明有机发光二极管)显示器等等。根据特定想要的实施方式，移动终端100可以包括两个或更多显示单元(或其它显示装置)，例如，移动终端可以包括外部显示单元(未示出)和内部显示单元(未示出)。触摸屏可用于检测触摸输入压力以及触摸输入位置和触摸输入面积。
音频输出模块152可以在移动终端处于呼叫信号接收模式、通话模式、记录模式、语音识别模式、广播接收模式等等模式下时，将无线通讯单元110接收的或者在存储器160中存储的音频数据转换音频信号并且输出为声音。而且，音频输出模块152可以提供与移动终端100执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出模块152可以包括扬声器、蜂鸣器等等。
警报单元153可以提供输出以将事件的发生通知给移动终端100。典型的事件可以包括呼叫接收、消息接收、键信号输入、触摸输入等等。除了音频或视频输出之外，警报单元153可以以不同的方式提供输出以通知事件的发生。例如，警报单元153可以以振动的形式提供输出，当接收到呼叫、消息或一些其它进入通讯(incoming communication)时，警报单元153可以提供触觉输出(即，振动)以将其通知给用户。通过提供这样的触觉输出，即使在用户的移动电话处于用户的口袋中时，用户也能够识别出各种事件的发生。警报单元153也可以经由显示单元151或音频输出模块152提供通知事件的发生的输出。
存储器160可以存储由控制器180执行的处理和控制操作的软件程序等等，或者可以暂时地存储己经输出或将要输出的数据(例如，电话簿、消息、静态图像、视频等等)。而且，存储器160可以存储关于当触摸施加到触摸屏时输出的各种方式的振动和音频信号的数据。
存储器160可以包括至少一种类型的存储介质，所述存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等等。而且，移动终端100可以与通过网络连接执行存储器160的存储功能的网络存储装置协作。
控制器180通常控制移动终端的总体操作。例如，控制器180执行与语音通话、数据通讯、视频通话等等相关的控制和处理。另外，控制器180可以包括用于再现(或回放)多媒体数据的多媒体模块181，多媒体模块181可以构造在控制器180内，或者可以构造为与控制器180分离。控制器180可以执行模式识别处理，以将在触摸屏上执行的手写输入或者图片绘制输入识别为字符或图像。
电源单元190在控制器180的控制下接收外部电力或内部电力并且提供操作各元件和组件所需的适当的电力。
这里描述的各种实施方式可以以使用例如计算机软件、硬件或其任何组合的计算机可读介质来实施。对于硬件实施，这里描述的实施方式可以通过使用特定用途集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、被设计为执行这里描述的功能的电子单元中的至少一种来实施，在一些情况下，这样的实施方式可以在控制器180中实施。对于软件实施，诸如过程或功能的实施方式可以与允许执行至少一种功能或操作的单独的软件模块来实施。软件代码可以由以任何适当的编程语言编写的软件应用程序(或程序)来实施，软件代码可以存储在存储器160中并且由控制器180执行。
至此，己经按照其功能描述了移动终端。下面，为了简要起见，将描述诸如折叠型、直板型、摆动型、滑动型移动终端等等的各种类型的移动终端中的滑动型移动终端作为示例。因此，本发明能够应用于任何类型的移动终端，并且不限于滑动型移动终端。
如图1中所示的移动终端100可以被构造为利用经由帧或分组发送数据的诸如有线和无线通讯系统以及基于卫星的通讯系统来操作。
现在将参考图2描述其中根据本发明的移动终端能够操作的通讯系统。
这样的通讯系统可以使用不同的空中接口和/或物理层。例如，由通讯系统使用的空中接口包括例如频分多址(FDMA)、时分多址(TDMA)、码分多址(CDMA)和通用移动通讯系统(UMTS)(特别地，长期演进(LTE))、全球移动通讯系统(GSM)等等。作为非限制性示例，下面的描述涉及CDMA通讯系统，但是这样的教导同样适用于其它类型的系统。
参考图2，CDMA无线通讯系统可以包括多个移动终端100、多个基站(BS)270、基站控制器(BSC)275和移动交换中心(MSC)280。MSC280被构造为与公共电话交换网络(PSTN)290形成接口。MSC280还被构造为与可以经由回程线路耦接到基站270的BSC275形成接口。回程线路可以根据若干己知的接口中的任一种来构造，所述接口包括例如E1/T1、ATM，IP、PPP、帧中继、HDSL、ADSL或xDSL。将理解的是，如图2中所示的系统可以包括多个BSC275。
每个BS270可以服务一个或多个分区(或区域)，由多向天线或指向特定方向的天线覆盖的每个分区放射状地远离BS270。或者，每个分区可以由用于分集接收的两个或更多天线覆盖。每个BS270可以被构造为支持多个频率分配，并且每个频率分配具有特定频谱(例如，1.25MHz，5MHz等等)。
分区与频率分配的交叉可以被称为CDMA信道。BS270也可以被称为基站收发器子系统(BTS)或者其它等效术语。在这样的情况下，术语"基站"可以用于笼统地表示单个BSC275和至少一个BS270。基站也可以被称为"蜂窝站"。或者，特定BS270的各分区可以被称为多个蜂窝站。
如图2中所示，广播发射器(BT)295将广播信号发送给在系统内操作的移动终端100。如图1中所示的广播接收模块111被设置在移动终端100处以接收由BT295发送的广播信号。在图2中，示出了几个全球定位系统(GPS)卫星300。卫星300帮助定位多个移动终端100中的至少一个。
在图2中，描绘了多个卫星300，但是理解的是，可以利用任何数目的卫星获得有用的定位信息。如图1中所示的GPS模块115通常被构造为与卫星300配合以获得想要的定位信息。替代GPS跟踪技术或者在GPS跟踪技术之外，可以使用可以跟踪移动终端的位置的其它技术。另外，至少一个GPS卫星300可以选择性地或者额外地处理卫星DMB传输。
作为无线通讯系统的一个典型操作，BS270接收来自各种移动终端100的反向链路信号。移动终端100通常参与通话、消息收发和其它类型的通讯。特定基站270接收的每个反向链路信号被在特定BS270内进行处理。获得的数据被转发给相关的BSC275。BSC提供通话资源分配和包括BS270之间的软切换过程的协调的移动管理功能。BSC275还将接收到的数据路由到MSC280，其提供用于与PSTN290形成接口的额外的路由服务。类似地，PSTN290与MSC280形成接口，MSC与BSC275形成接口，并且BSC275相应地控制BS270以将正向链路信号发送到移动终端100。
基于上述移动终端硬件结构以及通讯系统，提出本发明方法各个实施例。
实施例1
本发明实施例提供了一种终端，如图3所示，所述终端包括图像分割模块301，弱纹理区域获取模块302，边缘深度获取模块303，区域深度获取模块304；其中，
图像分割模块301，用于获取图像的颜色和亮度信息，根据所述颜色与亮度信息，将所述图像分割为若干区域。
对于图4所示的图像，图像分割模块301可以根据所述图像的颜色与亮度信息，将所述图像进行分割。
图像分割模块301具体可以应用基于区域的分割方法如区域生长方法来对图像进行分割。区域生长的基本思想是将具有相似性质的像素集合起来构成区域。具体先对每个需要分割的区域找一个种子像素点作为生长的起点，然后将种子像素点周围中与种子像素点有相同或相似性质的像素(本实施例中是颜色和亮度信息相似的像素)合并到种子像素点所在的区域中。将这些新像素当作新的种子像素点继续进行上面的过程，直到再没有满足条件的像素可被包括进来。这样一个区域就长成了。
即所述图像分割模块，具体用于选取若干种子像素点，将所述种子像素点周围满足预设条件的新像素点划分到所述种子像素点所在的区域，将所述新像素点当作新的种子像素点，继续将所述新的种子像素点周围满足预设条件的新像素点划分到所述种子像素点所在的区域，直到所述新的种子像素点周围不存在满足预设条件的像素点，获取到根据所述若干种子像素点划分出的若干区域；其中，所述预设条件为与所述种子像素点相比，颜色和亮度信息的差值在第一阈值内。
所述图像分割模块还可以利用均值漂移(meanshift)算法，根据所述图像的颜色和亮度信息将所述图像进行分割，获取到若干区域。
Mean Shift算法是一种有效的统计迭代算法，基于Mean Shift算法的图像分割也是一种基于区域的分割方法，这种分割方法跟人眼的对图像的分析特性极其相近，并且具有很强的适应性和鲁棒性。它对图像的平滑区域和图像纹理区域并不敏感，所以能够得到很好的分割结果。此算法己经在计算机视觉领域得到了较为广泛的应用并取得了较大的成功。本实施例可以应用Mean Shift算法，将所述图像按照颜色和亮度信息分割为若干图像分割区域。
用Mean Shift算法进行图像分割的大概步骤如下：
1、对每一个象素点i，初始化j＝1，并且使yi,1＝xi；
2、运用均值漂移算法计算yi,j+1，即
其中，w(xi)为权重系数，g(x)＝-k'(x)称为k的影子函数，k为核函数剖面函数，均值漂移的过程不断进行，对于每个特征向量xi，通过多次迭代收敛到不同模式点，记收敛后的值为yi,c，赋值
3、重复1和2的步骤，形成聚类中心集合Cd＝{cd,k,k＝1,2,.....n}；经过该预分类的过程，初始特征向量依据聚类中心的不同划分为n个类。
4、再对Cd从空域进行检测，若任意ci,cj∈Cd,i≠j满足在特征空间中位于相同包围球内，则认为特征相近，将ci和cj归为一类，即经过以上的处理，最终聚为同一类的像素点被分割成一个区域，这样图像就会被分割成若干区域。
当然，在基于图像的颜色和亮度信息的情况下，图像分割模块301还可以采用基于阈值的分割方法、基于边缘的分割方法、聚类分析方法等图割方法将该图像进行分割，本实施例采用的具体图像分割方法，在此并不做限制。
图像分割模块301是基于图像的颜色和亮度信息来进行图像分割的，分割成的区域内部的像素点在颜色和亮度上特征都比较相近。示例的，将图4所示图像进行分割，不同图像分割区域用不同色块表示，效果如图5所示。
弱纹理区域获取模块302，用于计算获得所述图像对应的梯度信息，根据所述梯度信息从所述图像分割模块分割的若干区域中选取出弱纹理区域，所述弱纹理区域为梯度统计平均值在预设范围内的区域。
可以将图像看成二维离散函数I(i，j)，(i，j)为图像中像素点的坐标，I(i，j)为像素点(i，j)的像素值(如：RGB值)，所述图像的梯度信息其实就是这个二维离散函数的求导：
图像的梯度信息可以为:G(x，y)＝dx(i，j)+dy(i，j)；
其中，dx(i，j)＝I(i+1，j)-I(i，j)；
dy(i，j)＝I(i，j+1)-I(i，j)；
也可以用中值差分：
dx(i，j)＝[I(i+1，j)-I(i-1，j)]/2；
dy(i，j)＝[I(i，j+1)-I(i，j-1)]/2；
以上只是举例说明最简单的梯度定义，其实还有更多更复杂的梯度公式。比如：Sobel、Roberts、kirsch、laplace、piewitt、robinson算子等。
图像的梯度大小可以反映出图像的像素的亮度以及颜色的频率变化大小，对于弱纹理区域，其内部像素点的亮度颜色比较相近，变化较小，相应的梯度值也比较小，按照该原理，对于所述图像分割模块301分割成的若干区域，其中梯度统计平均值较小的区域即为弱纹理区域。
本实施例中，弱纹理区域获取模块302根据现有的某种梯度算法可以计算获得所述图像对应的梯度信息，即获得所述图像中各个像素点对应的梯度，然后所述弱纹理区域获取模块302可以计算出所述图像分割模块301分割的若干区域内的像素点对应的梯度统计平均值，选取梯度统计平均值在预设范围内的区域为弱纹理区域。预设范围为一个梯度统计平均值取值较小的范围如0-10，具体可根据实际情况来限定。
示例的，对于图4所示的图像，通过弱纹理区域获取模块302的上述处理可以获得如图6标示出的三个弱纹理区域。
所述边缘深度获取模块303，用于提取所述弱纹理区域获取模块302选取的弱纹理区域的边界像素点，获取所述边界像素点的深度值。
所述边缘深度获取模块303，具体用于对所述弱纹理区域进行区域标记获得标记后的弱纹理区域，然后将标记后的弱纹理区域与所述图像的其他区域进行二值化获得二值化后的弱纹理区域，将所述二值化后的弱纹理区域进行区域空洞填充获得空洞填充后的弱纹理区域，将所述空洞填充后的弱纹理区域进行轮廓提取获取所述弱纹理区域的轮廓线，根据所述弱纹理区域的轮廓线获取所述弱纹理区域的边界像素点；按照以下公式计算获取所述边界像素点的深度值Z：
其中，f是立体成像装置中两个数码摄像头的焦距，T是两个数码摄像头之间的间距，d为两个数码摄像头拍摄的两幅图像的视差图中所述边界像素点对应的视差值。
区域标记就是把连续区域作同一个标记，常见的区域标记方法有四邻域标记算法和八邻域标记算法。
二值化，就是将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的只有黑和白的视觉效果。
对于图6所标示出的三个弱纹理区域中位于图像右上方的弱纹理区域，进行区域标记，即将图像右上方的弱纹理区域标记为1号区域，其他区域标记为2号区域；然后将标记后的弱纹理区域即1号区域与所述图像的其他区域即2号区域进行二值化，就如图7所示，位于图像右上方的弱纹理区域显示为白色，图像中的其他区域显示为黑色。通常由于噪声的影响，弱纹理区域中的部分像素点会被误认为不属于弱纹理区域，导致检测出的弱纹理区域内部出现空洞，如图7中的白色区域内的黑点。
为了获取所述弱纹理区域的边界像素点，所述边缘深度获取模块303会采用区域空洞填充算法将二值化后的弱纹理区域进行区域空洞填充获得空洞填充后的弱纹理区域。弱纹理区域进行区域空洞填充完成后的图像如图8所示。
此时就可以对图8进行轮廓提取，由于黑白对比分明，所述边缘深度获取模块303可以容易提取到弱纹理区域的轮廓线，其轮廓线如图9中的线条所示。根据所述弱纹理区域的轮廓线就可以获取所述弱纹理区域的边界像素点。
边缘深度获取模块303提取到所述弱纹理区域的边界像素点后，可以应用立体匹配算法获取所述边界像素点的深度值。
立体匹配算法的输入为若干不同视角的数码摄像头采集的图像，输出是这些图像上的点的对应关系。假设为标准配置下双目立体视觉的几何模型，c和c'为两相机的光心，f为焦距，T为两光心的连线即两个数码摄像头之间的间距，也称为基线，过光心且垂直于成像平面的直线称为光轴。所谓标准配置是指两个相机的光轴垂直于基线且互相平行。设两相机的焦距相等都为f，且相机的坐标系的水平坐标与基线方向平行，则空间中的点P在两相机上成的像具有相同的竖直坐标，这个特点也叫立体视觉的外极线(Epipolar Line)(所谓的外极线是指外极平面和图像平面的交线，其中外极平面是包含两个焦点和空间点的平面)约束。对于一般配置的相机，通过相机标定和配准，可以得到标准配置下的图像。设P点投影到两相机后的图像分别为x和x'，x和x'是一对对应点。如果用x和x'来表示它们的水平坐标，这两个点的对应关系可以由如下定义的视差来描述：
视差d＝x-x'
通过简单的几何关系推导，我们可以得到如下等式：
其中Z表示对应点的深度。
可见当基线和焦距固定的时候，也就是相机的参数以及相机之间的相对位置和姿态固定不变的时候，视差d与空间的点的深度Z成反比。因此，只需要知道了像素点的视差就可以得到该像素点的深度。
边缘深度获取模块303可以使用立体匹配算法获得弱纹理区域的边界像素点的视差d，使用以下公式计算出所述弱纹理区域的边界像素点的Z：
应用立体匹配算法计算弱纹理区域的像素点的深度值时，由于弱纹理区域内的像素点在颜色和亮度上比较相似，这就给像素点的匹配带来了奇异性，应用立体匹配算法容易误匹配，这样获取的弱纹理区域的深度信息就不准确。但是对于弱纹理区域的边界像素点来说，边界像素点与弱纹理区域内部的像素点在颜色和亮度上都不相同，应用立体匹配算法不容易误匹配，这样获取的弱纹理区域的边界像素点的深度值就比较准确。
所述区域深度获取模块304，用于根据所述边缘深度获取模块303获取的边界像素点的深度值，计算出所述弱纹理区域中各像素点的深度值。
所述区域深度获取模块304可以直接根据所述边缘深度获取模块303获取的边界像素点的深度值，进行平面拟合计算出所述弱纹理区域中各像素点的深度值
由于立体匹配算法本身的弱点以及边界点的遮挡问题，会出现部分深度值不准确的突变像素点，此时为了获取更加准确的深度值；所述区域深度获取模块304，具体用于根据所述边界像素点的深度值筛除所述边界像素点中的突变点，获得所述边界像素点中的可靠点；将所述可靠点的深度值进行平面拟合，计算出所述弱纹理区域中各像素点的深度值。
所述区域深度获取模块304具体可以利用RANSAC算法筛除所述边界像素点中的突变点。
随机抽样一致(RANSAC，RANdom SAmple Consensus)算法，是根据一组包含异常数据的样本数据集，计算出数据的数学模型参数，得到有效样本数据的算法。RANSAC算法经常用于计算机视觉中。
RANSAC算法的基本假设是样本中包含正确数据(inliers)即可以被模型描述的数据，也包含异常数据(outliers)即偏离正常范围很远、无法适应数学模型的数据，即数据集中含有噪声。这些异常数据可能是由于错误的测量、错误的假设、错误的计算等产生的。同时RANSAC也假设，给定一组正确的数据，存在可以计算出符合这些数据的模型参数的方法。
RANSAC算法的基本思想描述如下：
①考虑一个最小抽样集的势为n的模型(n为初始化模型参数所需的最小样本数)和一个样本集P，集合P的样本数#(P)>n，从P中随机抽取包含n个样本的P的子集S初始化模型M；
②余集SC＝P\S中与模型M的误差小于某一设定阈值t的样本集以及S构成S*。S*认为是内点集，它们构成S的一致集(Consensus Set)；
③若#(S*)≥N，认为得到正确的模型参数，并利用集S*(内点inliers)采用最小二乘等方法重新计算新的模型M*；重新随机抽取新的S，重复以上过程。
④在完成一定的抽样次数后，若未找到一致集则算法失败，否则选取抽样后得到的最大一致集判断内外点，算法结束。
在本实施例中，所述区域深度获取模块304，具体用于将所述边界像素点的深度值作为样本集P，随机从样本集P中抽出n个边界像素点的深度值作为子集S，并通过平面拟合获得初始化模型M；将余集SC＝P\S中与所述初始化模型M的误差小于第二阈值的边界像素点的深度值划分为内点集；当内点集中深度值的数目达到了N时，根据内点集采用最小二乘法重新计算新的模型M*；重新随机抽取新的子集S*，重复以上过程；在重复一定次数(如5-10次)后，选出获得的最大内点集，所述最大内点集中的深度值为所述边界像素点中的可靠点的深度值，所述样本集P中的其余数值为所述边界像素点中突变点的深度值，所述n和N为预设值。n为预设数值，可以为P中样本点数目的60％-80％，N值也为预设值，可以为P中样本点数目的90％。
区域深度获取模块304可以将所述可靠点的深度值进行平面拟合，获得平面拟合方程，所述弱纹理区域中各像素点的深度值就可以通过该平面拟合方程计算出来。如图10所示为一个弱纹理区域的边界像素点的深度值进行的平面拟合图示，可以看到边界点拟合的平面覆盖了该弱纹理区域，该区域的其它像素点的深度值可以通过该平面拟合方程计算出来。
图11为应用现有的立体匹配算法获得的深度图像，图12为应用本实施例提供的方法获得的弱纹理区域的深度图像以及应用现有的立体匹配算法获得的其他区域的深度图像；可以看到图6中标记处理来的弱纹理区域的深度图变得平滑，且正确率提升了。
应用本实施例终端可以准确获取弱纹理区域的深度信息，这样，在利用深度图像进行背景虚化时，在弱纹理区域，由于立体匹配算法的奇异性，使得弱纹理区域的深度值估计会出现错误，背景虚化的效果会受到影响，虚化效果不自然。利用本实施例的终端进行弱纹理区域的深度值估计，可以减少弱纹理区域的深度值估计的错误概率，让背景虚化效果更好。在利用深度图像进行区域目标距离估计时，如果该目标区域为弱纹理区域，则利用匹配算法中奇异性的深度值估计的目标距离将会出错，利用本实施例的终端进行弱纹理区域的深度值估计，可以减少弱纹理区域的深度值估计的错误概率，使目标的距离估计更为准确；在利用深度图像进行图像分割时，如果目标和背景都含有若纹理区域，则利用匹配算法中奇异性的深度值进行分割的区域将会不准确，利用本实施例的终端进行弱纹理区域的深度值估计，可以减少弱纹理区域的深度值估计的错误概率，使得图像分割区域更加准确。
实施例2
本发明实施例提供了一种图像中弱纹理区域的深度信息获取方法，如图13所示，本实施例方法的处理流程包括以下步骤：
步骤1301、获取图像的颜色和亮度信息，根据所述颜色与亮度信息，将所述图像分割为若干区域。
终端可以应用基于区域的分割方法如区域生长方法来对图像进行分割。区域生长的基本思想是将具有相似性质的像素集合起来构成区域。具体先对每个需要分割的区域找一个种子像素点作为生长的起点，然后将种子像素点周围中与种子像素点有相同或相似性质的像素(本实施例中是颜色和亮度信息相似的像素)合并到种子像素点所在的区域中。将这些新像素当作新的种子像素点继续进行上面的过程，直到再没有满足条件的像素可被包括进来。这样一个区域就长成了。
即根据所述颜色与亮度信息，将所述图像分割为若干区域，具体包括：选取若干种子像素点，将所述种子像素点周围满足预设条件的新像素点划分到所述种子像素点所在的区域，将所述新像素点当作新的种子像素点，继续将所述新的种子像素点周围满足预设条件的新像素点划分到所述种子像素点所在的区域，直到所述新的种子像素点周围不存在满足预设条件的像素点，获取到根据所述若干种子像素点划分出的若干区域；其中，所述预设条件为与所述种子像素点相比，颜色和亮度信息的差值在第一阈值内。
终端还可以利用meanshift算法，根据所述图像的颜色和亮度信息将所述图像进行分割，获取到若干区域。
Mean Shift算法是一种有效的统计迭代算法，基于Mean Shift算法的图像分割也是一种基于区域的分割方法，这种分割方法跟人眼的对图像的分析特性极其相近，并且具有很强的适应性和鲁棒性。它对对图像的平滑区域和图像纹理区域并不敏感，所以能够得到很好的分割结果。此算法己经在计算机视觉领域得到了较为广泛的应用并取得了较大的成功。本实施例可以应用Mean Shift算法，将所述图像按照颜色和亮度信息分割为若干图像分割区域。
当然，终端在基于图像的颜色和亮度信息的情况下，还可以采用基于阈值的分割方法、基于边缘的分割方法、聚类分析方法等图割方法将该图像进行分割，本实施例采用的具体图像分割方法，在此并不做限制。
本实施例方法中终端是基于图像的颜色和亮度信息来进行图像分割的，分割后的图像分割区域的内部像素在颜色和亮度上特征都比较相近。示例的，将图4所示图像进行分割，不同图像分割区域用不同色块表示，效果如图5所示。
步骤1302、计算获得所述图像对应的梯度信息，根据所述梯度信息从所述若干区域中选取出弱纹理区域。
所述弱纹理区域为梯度统计平均值在预设范围内的区域。
可以将图像看成二维离散函数I(i，j)，(i，j)为图像中像素点的坐标，I(i，j)为像素点(i，j)的像素值(如：RGB值)，所述图像的梯度信息其实就是这个二维离散函数的求导：
图像的梯度信息可以为:G(x，y)＝dx(i，j)+dy(i，j)；
其中，dx(i，j)＝I(i+1，j)-I(i，j)；
dy(i，j)＝I(i，j+1)-I(i，j)；
也可以用中值差分：
dx(i，j)＝[I(i+1，j)-I(i-1，j)]/2；
dy(i，j)＝[I(i，j+1)-I(i，j-1)]/2；
以上只是举例说明最简单的梯度定义，其实还有更多更复杂的梯度公式。比如：Sobel、Roberts、kirsch、laplace、piewitt、robinson算子等。
图像的梯度大小可以反映出图像的像素的亮度以及颜色的频率变化大小，对于弱纹理区域，其内部像素点的亮度颜色比较相近，变化较小，相应的梯度值也比较小，按照该原理，对于图像分割成的这些区域，其中梯度统计平均值较小的区域即为弱纹理区域。
本实施例中，终端可以根据现有的某种梯度算法可以计算获得所述图像对应的梯度信息，即获得所述图像中各个像素点对应的梯度，然后计算出所述若干图像分割区域内像素点对应的梯度统计平均值，选取梯度统计平均值在预设范围内的区域为弱纹理区域。预设范围为一个梯度统计平均值取值较小的范围如0-10，可根据实际情况来限定。
示例的，对于图4所示的图像，存在如图6标示出的三个弱纹理区域。
步骤1303、提取所述弱纹理区域的边界像素点，获取所述边界像素点的深度值。
终端可以先对所述弱纹理区域进行区域标记获得标记后的弱纹理区域，然后将标记后的弱纹理区域与所述图像的其他区域进行二值化获得二值化后的弱纹理区域，将所述二值化后的弱纹理区域进行区域空洞填充获得空洞填充后的弱纹理区域，将所述空洞填充后的弱纹理区域进行轮廓提取获取所述弱纹理区域的轮廓线，根据所述弱纹理区域的轮廓线获取所述弱纹理区域的边界像素点；按照以下公式计算获取所述边界像素点的深度值Z：
其中，f是立体成像装置中两个数码摄像头的焦距，T是两个数码摄像头之间的间距，d为两个数码摄像头拍摄的两幅图像的视差图中所述边界像素点对应的视差值。
区域标记就是把连续区域作同一个标记，常见的区域标记方法有四邻域标记算法和八邻域标记算法。
二值化，就是将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的只有黑和白的视觉效果。
对于图6所标示出的三个弱纹理区域中位于图像右上方的弱纹理区域，进行区域标记，即将图像右上方的弱纹理区域标记为1号区域，其他区域标记为2号区域；然后将标记后的弱纹理区域即1号区域与所述图像的其他区域即2号区域进行二值化，就如图7所示，位于图像右上方的弱纹理区域显示为白色，图像中的其他区域显示为黑色。通常由于噪声的影响，弱纹理区域中的部分像素点会被误认为不属于弱纹理区域，导致检测出的弱纹理区域内部出现空洞，如图7中的白色区域内的黑点。
为了获取所述弱纹理区域的边界像素点，终端会采用区域空洞填充算法将二值化后的弱纹理区域进行区域空洞填充获得空洞填充后的弱纹理区域。弱纹理区域进行区域空洞填充完成后的图像如图8所示。
此时就可以对图8进行轮廓提取，由于黑白对比分明，所述终端可以容易提取到弱纹理区域的轮廓线，其轮廓线如图9中的线条所示。根据所述弱纹理区域的轮廓线就可以获取所述弱纹理区域的边界像素点。
所述获取所述边界像素点的深度值，包括：应用立体匹配算法获取所述边界像素点的深度值。
立体匹配算法的输入为若干不同视角的数码摄像头采集的图像，输出是这些图像上的点的对应关系。假设为标准配置下双目立体视觉的几何模型，c和c'为两相机的光心，f为焦距，T为两光心的连线即两个数码摄像头之间的间距，也称为基线，过光心且垂直于成像平面的直线称为光轴。所谓标准配置是指两个相机的光轴垂直于基线且互相平行。设两相机的焦距相等都为f，且相机的坐标系的水平坐标与基线方向平行，则空间中的点P在两相机上成的像具有相同的竖直坐标，这个特点也叫立体视觉的外极线(Epipolar Line)(所谓的外极线是指外极平面和图像平面的交线，其中外极平面是包含两个焦点和空间点的平面)约束。对于一般配置的相机，通过相机标定和配准，可以得到标准配置下的图像。设P点投影到两相机后的图像分别为x和x'，x和x'是一对对应点。如果用x和x'来表示它们的水平坐标，这两个点的对应关系可以由如下定义的视差来描述：
视差d＝x-x'
通过简单的几何关系推导，我们可以得到如下等式：
其中Z表示对应点的深度。
可见当基线和焦距固定的时候，也就是相机的参数以及相机之间的相对位置和姿态固定不变的时候，视差d与空间的点的深度Z成反比。因此，只需要知道了像素点的视差就可以得到该像素点的深度。
终端可以使用立体匹配算法获得弱纹理区域的边界像素点的视差d，使用以下公式计算出所述弱纹理区域的边界像素点的Z：
应用立体匹配算法计算弱纹理区域的像素点的深度值时，由于弱纹理区域内的像素点在颜色和亮度上比较相似，这就给像素点的匹配带来了奇异性，应用立体匹配算法容易误匹配，这样获取的弱纹理区域的深度信息就不准确。但是对于弱纹理区域的边界像素点来说，边界像素点与弱纹理区域内部的像素点在颜色和亮度上都不相同，应用立体匹配算法不容易误匹配，这样获取的弱纹理区域的边界像素点的深度值就比较准确。
步骤1304、根据所述边界像素点的深度值，计算出所述弱纹理区域中各像素点的深度值。
终端可以直接根据获取的边界像素点的深度值，进行平面拟合计算出所述弱纹理区域中各像素点的深度值。
由于立体匹配算法本身的弱点以及边界点的遮挡问题，会出现部分深度值不准确的突变像素点，此时为了获取更加准确的深度值；所述终端可以根据所述边界像素点的深度值筛除所述边界像素点中的突变点，获得所述边界像素点中的可靠点；将所述可靠点的深度值进行平面拟合，计算出所述弱纹理区域中各像素点的深度值。
可选的，所述根据所述边界像素点的深度值筛除所述边界像素点中的突变点，包括：根据所述边界像素点的深度值，利用RANSAC算法筛除所述边界像素点中的突变点。
RANSAC算法是根据一组包含异常数据的样本数据集，计算出数据的数学模型参数，得到有效样本数据的算法。RANSAC算法经常用于计算机视觉中。
RANSAC算法的基本假设是样本中包含正确数据(inliers)即可以被模型描述的数据，也包含异常数据(outliers)即偏离正常范围很远、无法适应数学模型的数据，即数据集中含有噪声。这些异常数据可能是由于错误的测量、错误的假设、错误的计算等产生的。同时RANSAC也假设，给定一组正确的数据，存在可以计算出符合这些数据的模型参数的方法。
RANSAC算法的基本思想描述如下：
①考虑一个最小抽样集的势为n的模型(n为初始化模型参数所需的最小样本数)和一个样本集P，集合P的样本数#(P)>n，从P中随机抽取包含n个样本的P的子集S初始化模型M；
②余集SC＝P\S中与模型M的误差小于某一设定阈值t的样本集以及S构成S*。S*认为是内点集，它们构成S的一致集(Consensus Set)；
③若#(S*)≥N，认为得到正确的模型参数，并利用集S*(内点inliers)采用最小二乘等方法重新计算新的模型M*；重新随机抽取新的S，重复以上过程。
④在完成一定的抽样次数后，若未找到一致集则算法失败，否则选取抽样后得到的最大一致集判断内外点，算法结束。
在本实施例中，终端可以将所述边界像素点的深度值作为样本集P，随机从样本集P中抽出n个边界像素点的深度值作为子集S，并通过平面拟合获得初始化模型M；将余集SC＝P\S中与所述初始化模型M的误差小于第二阈值的边界像素点的深度值划分为内点集；当内点集中深度值的数目达到了N时，根据内点集采用最小二乘法重新计算新的模型M*；重新随机抽取新的子集S*，重复以上过程；在重复一定次数(如5-10次)后，选出获得的最大内点集，所述最大内点集中的深度值为所述边界像素点中的可靠点的深度值，所述样本集P中的其余数值为所述边界像素点中突变点的深度值，所述n和N为预设值。n为预设数值，可以为P中样本点数目的60％-80％，N值也为预设值，可以为P中样本点数目的90％。
终端可以将所述可靠点的深度值进行平面拟合，获得平面拟合方程，所述弱纹理区域中各像素点的深度值就可以通过该平面拟合方程计算出来。如图10所示为一个弱纹理区域的边界像素点的深度值进行的平面拟合图示，可以看到边界点拟合的平面覆盖了该弱纹理区域，该区域的其它像素点的深度值可以通过该平面拟合方程计算出来。
图11为应用现有的立体匹配算法获得的深度图像，图12为应用本实施例提供的方法获得的弱纹理区域的深度图像以及应用现有的立体匹配算法获得的其他区域的深度图像；可以看到图6中标记处理来的弱纹理区域的深度图变得平滑，且正确率提升了。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (10)

1.一种终端，其特征在于，包括：
图像分割模块，用于获取图像的颜色和亮度信息，根据所述颜色与亮度信息，将所述图像分割为若干区域；
弱纹理区域获取模块，用于计算获得所述图像对应的梯度信息，根据所述梯度信息从所述图像分割模块分割的若干区域中选取出弱纹理区域，所述弱纹理区域为梯度统计平均值在预设范围内的区域；
边缘深度获取模块，用于提取所述弱纹理区域获取模块选取的弱纹理区域的边界像素点，获取所述边界像素点的深度值；
区域深度获取模块，用于根据所述边缘深度获取模块获取的边界像素点的深度值，计算出所述弱纹理区域中各像素点的深度值。
2.根据权利要求1所述的终端，其特征在于，
所述区域深度获取模块，具体用于根据所述边界像素点的深度值筛除所述边界像素点中的突变点，获得所述边界像素点中的可靠点；将所述可靠点的深度值进行平面拟合，计算出所述弱纹理区域中各像素点的深度值。
3.根据权利要求1所述的终端，其特征在于，
所述图像分割模块，具体用于选取若干种子像素点，将所述种子像素点周围满足预设条件的新像素点划分到所述种子像素点所在的区域，将所述新像素点当作新的种子像素点，继续将所述新的种子像素点周围满足预设条件的新像素点划分到所述种子像素点所在的区域，直到所述新的种子像素点周围不存在满足预设条件的像素点，获取到根据所述若干种子像素点划分出的若干区域；其中，所述预设条件为与所述种子像素点相比，颜色和亮度信息的差值在第一阈值内。
4.根据权利要求1所述的终端，其特征在于，
所述边缘深度获取模块，具体用于对所述弱纹理区域进行区域标记获得标记后的弱纹理区域，然后将标记后的弱纹理区域与所述图像的其他区域进行二值化获得二值化后的弱纹理区域，将所述二值化后的弱纹理区域进行区域空洞填充获得空洞填充后的弱纹理区域，将所述空洞填充后的弱纹理区域进行轮廓提取获取所述弱纹理区域的轮廓线，根据所述弱纹理区域的轮廓线获取所述弱纹理区域的边界像素点；按照以下公式计算获取所述边界像素点的深度值Z：
<mrow> <mi>Z</mi> <mo>=</mo> <mfrac> <mrow> <mi>f</mi> <mi>T</mi> </mrow> <mi>d</mi> </mfrac> <mo>;</mo> </mrow>
其中，f是立体成像装置中两个数码摄像头的焦距，T是两个数码摄像头之间的间距，d为两个数码摄像头拍摄的两幅图像的视差图中所述边界像素点对应的视差值。
5.根据权利要求2所述的终端，其特征在于，
所述区域深度获取模块，具体用于将所述边界像素点的深度值作为样本集P，随机从样本集P中抽出n个边界像素点的深度值作为子集S，并通过平面拟合获得初始化模型M；将余集SC＝P\S中与所述初始化模型M的误差小于第二阈值的边界像素点的深度值划分为内点集；当内点集中深度值的数目达到了N时，根据内点集采用最小二乘法重新计算新的模型M*；重新随机抽取新的子集S*，重复以上过程；在重复一定次数后，选出获得的最大内点集，所述最大内点集中的深度值为所述边界像素点中的可靠点的深度值，所述样本集P中的其余数值为所述边界像素点中突变点的深度值，所述n和N为预设值。
6.一种图像中弱纹理区域的深度信息获取方法，其特征在于，所述方法包括：
获取图像的颜色和亮度信息，根据所述颜色与亮度信息，将所述图像分割为若干区域；
计算获得所述图像对应的梯度信息，根据所述梯度信息从所述若干区域中选取出弱纹理区域，所述弱纹理区域为梯度统计平均值在预设范围内的区域；
提取所述弱纹理区域的边界像素点，获取所述边界像素点的深度值；
根据所述边界像素点的深度值，计算出所述弱纹理区域中各像素点的深度值。
7.根据权利要求6所述的方法，其特征在于，所述根据所述边界像素点的深度值，计算出所述弱纹理区域中各像素点的深度值，包括：
根据所述边界像素点的深度值筛除所述边界像素点中的突变点，获得所述边界像素点中的可靠点；将所述可靠点的深度值进行平面拟合，计算出所述弱纹理区域中各像素点的深度值。
8.根据权利要求6所述的方法，其特征在于，所述根据所述颜色与亮度信息，将所述图像分割为若干区域，包括：
选取若干种子像素点，将所述种子像素点周围满足预设条件的新像素点划分到所述种子像素点所在的区域，将所述新像素点当作新的种子像素点，继续将所述新的种子像素点周围满足预设条件的新像素点划分到所述种子像素点所在的区域，直到所述新的种子像素点周围不存在满足预设条件的像素点，获取到根据所述若干种子像素点划分出的若干区域；其中，所述预设条件为与所述种子像素点相比，颜色和亮度信息的差值在第一阈值内。
9.根据权利要求6所述的方法，其特征在于，所述提取所述弱纹理区域的边界像素点，获取所述边界像素点的深度值，包括：对所述弱纹理区域进行区域标记获得标记后的弱纹理区域，然后将标记后的弱纹理区域与所述图像的其他区域进行二值化获得二值化后的弱纹理区域，将所述二值化后的弱纹理区域进行区域空洞填充获得空洞填充后的弱纹理区域，将所述空洞填充后的弱纹理区域进行轮廓提取获取所述弱纹理区域的轮廓线，根据所述弱纹理区域的轮廓线获取所述弱纹理区域的边界像素点；按照以下公式计算获取所述边界像素点的深度值Z：
<mrow> <mi>Z</mi> <mo>=</mo> <mfrac> <mrow> <mi>f</mi> <mi>T</mi> </mrow> <mi>d</mi> </mfrac> <mo>;</mo> </mrow>
其中，f是立体成像装置中两个数码摄像头的焦距，T是两个数码摄像头之间的间距，d为两个数码摄像头拍摄的两幅图像的视差图中所述边界像素点对应的视差值。
10.根据权利要求7所述的方法，其特征在于，所述根据所述边界像素点的深度值筛除所述边界像素点中的突变点，获得所述边界像素点中的可靠点，包括：
将所述边界像素点的深度值作为样本集P，随机从样本集P中抽出n个边界像素点的深度值作为子集S，并通过平面拟合获得初始化模型M；将余集SC＝P\S中与所述初始化模型M的误差小于第二阈值的边界像素点的深度值划分为内点集；当内点集中深度值的数目达到了N时，根据内点集采用最小二乘法重新计算新的模型M*；重新随机抽取新的子集S*，重复以上过程；在重复一定次数后，选出获得的最大内点集，所述最大内点集中的深度值为所述边界像素点中的可靠点的深度值，所述样本集P中的其余数值为所述边界像素点中突变点的深度值，所述n和N为预设值。
CN201510685831.1A 2015-10-20 2015-10-20 图像中弱纹理区域的深度信息获取方法及终端 Active CN105354838B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201510685831.1A CN105354838B (zh) 2015-10-20 2015-10-20 图像中弱纹理区域的深度信息获取方法及终端
PCT/CN2016/101602 WO2017067390A1 (zh) 2015-10-20 2016-10-09 图像中弱纹理区域的深度信息获取方法及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510685831.1A CN105354838B (zh) 2015-10-20 2015-10-20 图像中弱纹理区域的深度信息获取方法及终端

Publications (2)

Publication Number Publication Date
CN105354838A CN105354838A (zh) 2016-02-24
CN105354838B true CN105354838B (zh) 2018-04-10

Family

ID=55330805

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510685831.1A Active CN105354838B (zh) 2015-10-20 2015-10-20 图像中弱纹理区域的深度信息获取方法及终端

Country Status (2)

Country Link
CN (1) CN105354838B (zh)
WO (1) WO2017067390A1 (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105354838B (zh) * 2015-10-20 2018-04-10 努比亚技术有限公司 图像中弱纹理区域的深度信息获取方法及终端
CN105869167A (zh) * 2016-03-30 2016-08-17 天津大学 基于主被动融合的高分辨率深度图获取方法
CN107636727A (zh) * 2016-12-30 2018-01-26 深圳前海达闼云端智能科技有限公司 一种目标检测的方法及装置
CN109389644B (zh) * 2017-08-10 2024-02-13 纵目科技（上海）股份有限公司 基于方向梯度增强的车位线检测方法
CN109969889B (zh) * 2017-12-28 2024-05-10 三菱电机上海机电电梯有限公司 电梯轿厢内卫生环境监控装置
CN108285866A (zh) * 2018-01-18 2018-07-17 华南农业大学 一种具有图像分析功能的培养箱
WO2020037575A1 (zh) * 2018-08-22 2020-02-27 深圳市大疆创新科技有限公司 图像深度估计方法、装置、可读存储介质及电子设备
CN111950543B (zh) * 2019-05-14 2024-08-16 北京京东乾石科技有限公司 一种目标检测方法和装置
CN112566177A (zh) * 2019-09-25 2021-03-26 中国电信股份有限公司 弱覆盖区域识别方法及装置、计算机可存储介质
CN114586059A (zh) * 2019-11-13 2022-06-03 Oppo广东移动通信有限公司 图像的配准方法、终端以及计算机存储介质
CN111402314A (zh) * 2019-12-30 2020-07-10 香港光云科技有限公司 材质属性参数获取方法及装置
CN111369621B (zh) * 2020-03-11 2023-03-24 西安应用光学研究所 系留式升空平台图像定位解算方法
CN111508017B (zh) * 2020-04-08 2023-11-03 中导光电设备股份有限公司 一种弱对比度定位标记中心的方法和系统
CN111476194B (zh) * 2020-04-20 2024-02-27 海信集团有限公司 一种感知模组工作状态检测方法及冰箱
CN111932566B (zh) * 2020-05-27 2024-02-20 杭州群核信息技术有限公司 一种模型轮廓图生成方法、装置和系统
CN111583376B (zh) * 2020-06-04 2024-02-23 网易（杭州）网络有限公司 光照贴图中黑边的消除方法及装置、存储介质及电子设备
CN111932576B (zh) * 2020-07-15 2023-10-31 中国科学院上海微系统与信息技术研究所 一种基于深度相机的物体边界测量方法和装置
CN112102199A (zh) * 2020-09-18 2020-12-18 贝壳技术有限公司 深度图像的空洞区域填充方法、装置和系统
CN112749713B (zh) * 2021-01-26 2024-03-29 海南职业技术学院 一种基于人工智能的大数据图像识别系统及方法
CN113627429B (zh) * 2021-08-12 2024-09-27 深圳市爱培科技术股份有限公司 一种图像的低纹理区域识别方法、装置、存储介质及设备
CN113838114B (zh) * 2021-09-22 2023-08-29 中南大学 一种基于边缘散焦追踪的高炉料面深度估计方法及系统
CN114240928B (zh) * 2021-12-29 2024-03-01 湖南云箭智能科技有限公司 板卡质量的分区检测方法、装置、设备及可读存储介质
CN114359123B (zh) * 2022-01-12 2024-09-20 广东汇天航空航天科技有限公司 一种图像处理方法和装置
CN114897773B (zh) * 2022-03-31 2024-01-05 上海途巽通讯科技有限公司 一种基于图像处理的扭曲木材检测方法及系统
CN115578357B (zh) * 2022-10-21 2023-11-21 中国人民解放军战略支援部队信息工程大学 基于量子算法的医学图像边缘检测方法及系统
CN116843689B (zh) * 2023-09-01 2023-11-21 山东众成菌业股份有限公司 一种菌盖表面破损检测方法
CN117036445B (zh) * 2023-10-08 2023-12-26 埃洛克航空科技（北京）有限公司 基于随机分配的深度估计方法、装置、计算机设备和介质
CN117197130B (zh) * 2023-11-03 2024-01-26 山东太阳耐磨件有限公司 基于机器视觉的驱动齿角缺陷识别方法
CN117392162B (zh) * 2023-12-11 2024-02-09 浙江托普云农科技股份有限公司 基于视觉的西瓜切面表型分析方法、系统及装置
CN118365696B (zh) * 2024-06-19 2024-10-18 无锡市明通动力工业有限公司 一种用于工业风机的风叶尺寸智能化测量方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103226821A (zh) * 2013-04-27 2013-07-31 山西大学 基于视差图像素分类校正优化的立体匹配方法
CN104050682A (zh) * 2014-07-09 2014-09-17 武汉科技大学 一种融合颜色和深度信息的图像分割方法
CN104835165A (zh) * 2015-05-12 2015-08-12 努比亚技术有限公司 图像处理方法及装置
US9153065B2 (en) * 2013-02-05 2015-10-06 Google Technology Holdings LLC System and method for adjusting image pixel color to create a parallax depth effect

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102447917A (zh) * 2010-10-08 2012-05-09 三星电子株式会社 立体图像匹配方法及其设备
US8994722B2 (en) * 2011-02-14 2015-03-31 Mitsubishi Electric Research Laboratories, Inc. Method for enhancing depth images of scenes using trellis structures
CN103049906B (zh) * 2012-12-07 2015-09-30 清华大学深圳研究生院 一种图像深度提取方法
WO2015134996A1 (en) * 2014-03-07 2015-09-11 Pelican Imaging Corporation System and methods for depth regularization and semiautomatic interactive matting using rgb-d images
CN104867135B (zh) * 2015-05-04 2017-08-25 中国科学院上海微系统与信息技术研究所 一种基于指导图像引导的高精度立体匹配方法
CN105354838B (zh) * 2015-10-20 2018-04-10 努比亚技术有限公司 图像中弱纹理区域的深度信息获取方法及终端

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9153065B2 (en) * 2013-02-05 2015-10-06 Google Technology Holdings LLC System and method for adjusting image pixel color to create a parallax depth effect
CN103226821A (zh) * 2013-04-27 2013-07-31 山西大学 基于视差图像素分类校正优化的立体匹配方法
CN104050682A (zh) * 2014-07-09 2014-09-17 武汉科技大学 一种融合颜色和深度信息的图像分割方法
CN104835165A (zh) * 2015-05-12 2015-08-12 努比亚技术有限公司 图像处理方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Self-Similarity Based Corresponding-Point Extraction from Weakly Textured Stereo Pairs;MinMao等;《Mathematical Problems in Engineering》;20140903;第1-20页 *
基于弱纹理检测及视差图融合的立体匹配;曹晓倩等;《仪器仪表学报》;20130930;第34卷(第9期);第2074-2079页 *

Also Published As

Publication number Publication date
WO2017067390A1 (zh) 2017-04-27
CN105354838A (zh) 2016-02-24

Similar Documents

Publication Publication Date Title
CN105354838B (zh) 图像中弱纹理区域的深度信息获取方法及终端
CN106375596B (zh) 提示对焦对象的装置及方法
WO2017067526A1 (zh) 图像增强方法及移动终端
CN106846345B (zh) 一种实现交互式图像分割的方法、装置及终端
CN106651867B (zh) 一种实现交互式图像分割的方法、装置及终端
US10740946B2 (en) Partial image processing method, device, and computer storage medium
CN106131450B (zh) 一种图像处理的方法、装置和终端
WO2016180325A1 (zh) 图像处理方法及装置
US20130088614A1 (en) Mobile terminal and method for generating an out-of-focus image
CN105468158B (zh) 颜色调整方法及移动终端
CN106534693B (zh) 一种照片处理方法、装置及终端
CN107018331A (zh) 一种基于双摄像头的成像方法及移动终端
CN106097284B (zh) 一种夜景图像的处理方法和移动终端
CN106898003B (zh) 一种实现交互式图像分割的方法、装置及终端
CN106603931A (zh) 一种双目拍摄方法及装置
CN105100775A (zh) 一种图像处理方法及装置、终端
CN106886999B (zh) 一种实现交互式图像分割的方法、装置及终端
WO2017071542A1 (zh) 图像处理方法及装置
CN106846323B (zh) 一种实现交互式图像分割的方法、装置及终端
CN106780516B (zh) 一种实现交互式图像分割的方法、装置及终端
CN106898005B (zh) 一种实现交互式图像分割的方法、装置及终端
CN106875399B (zh) 一种实现交互式图像分割的方法、装置及终端
CN106791119B (zh) 一种照片处理方法、装置及终端
CN106897004A (zh) 一种移动终端及显示界面的调整方法
CN106898002B (zh) 一种实现交互式图像分割的方法、装置及终端

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant