CN109600598A - 影像处理方法、影像处理装置及电脑可读取记录媒体 - Google Patents
影像处理方法、影像处理装置及电脑可读取记录媒体 Download PDFInfo
- Publication number
- CN109600598A CN109600598A CN201710994378.1A CN201710994378A CN109600598A CN 109600598 A CN109600598 A CN 109600598A CN 201710994378 A CN201710994378 A CN 201710994378A CN 109600598 A CN109600598 A CN 109600598A
- Authority
- CN
- China
- Prior art keywords
- image
- background
- line
- parallax
- capturing device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000013507 mapping Methods 0.000 claims abstract description 24
- 230000000007 visual effect Effects 0.000 claims description 25
- 230000000149 penetrating effect Effects 0.000 claims description 2
- 230000011218 segmentation Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 22
- 238000012545 processing Methods 0.000 description 12
- 230000008030 elimination Effects 0.000 description 6
- 238000003379 elimination reaction Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/543—Depth or shape recovery from line drawings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20068—Projection on vertical or horizontal image axis
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
Abstract
本公开提供一种影像处理方法、影像处理装置及电脑可读取记录媒体。通过影像获取装置来获得原始视差影像。根据相对于目标物的背景区域,在映射视差图中获得背景关联线。基于背景关联线,自原始视差影像中删除背景区域。本公开提供的影像处理方法可删除背景区域,提高分割物体的正确率。
Description
技术领域
本发明涉及一种影像处理机制,且特别涉及一种识别目标物的影像处理方法、影像处理装置及系统电脑可读取记录媒体。
背景技术
双镜头的立体视觉影像(stereo vision)技术是取得深度图的其中一种方法,是根据特征点在左右影像的视差计算其深度信息,取得深度图后会再将图中相连的影像定义为同一物体。目前遇到的困难是地板容易使不同物体相连,造成多个物体被识别成一个相连物体的情况。
删除背景是影像处理中很常使用的一项技术,但是背景的建立通常需要在影像获取装置为固定的情况下才可以建立背景,并且需要时间收集大量的图片来建立一个背景模型。据此,如何迅速且精准地将地板由图中删除为目前影像处理中的课题之一。
发明内容
本发明提供一种影像处理方法、影像处理装置及系统电脑可读取记录媒体,可删除背景区域,提高分割物体的正确率。
本发明的识别目标物的影像处理方法,包括:通过影像获取装置来获得原始视差影像(disparity image);根据相对于目标物的背景区域,在映射视差图中获得背景关联线;以及基于背景关联线,自原始视差影像中删除背景区域。
在本发明的一实施例中,根据相对于目标物的背景区域,在映射视差图中获得背景关联线的步骤包括:在映射视差图中找出背景关联线。基于背景关联线,自原始视差影像中删除背景区域的步骤包括:基于背景关联线来获得预估背景视差图;以及比较预估背景视差图以及原始视差影像,而在原始视差影像中删除背景区域。
在本发明的一实施例中,在映射视差图中找出背景关联线的步骤包括:计算影像获取装置的镜头视野与地面之间的夹角;基于夹角与影像获取装置的设置高度,计算最近地板距离;基于影像获取装置的获取焦距以及影像获取装置进行取像的俯仰角度,计算映射视差图中的消失点位置;基于影像获取装置的获取焦距、基准线距离以及最近地板距离,计算最近地板视差值;以及在映射视差图中,基于消失点位置以及最近地板视差值,获得地面关联线,其该地面关联线为背景关联线。
在本发明的一实施例中,在计算影像获取装置的镜头视野与地面之间的夹角之前,基于影像获取装置的影像高度以及获取焦距,计算镜头视野。其中,计算镜头视野是依据下述公式,
FOV=2×arctan[(DImageHeight/2)/F];
其中,FOV为镜头视野,DImageHeight为影像高度,F为获取焦距。
在本发明的一实施例中,计算影像获取装置的镜头视野与地面之间的夹角是依据下述公式:
θ=FOV/2+θPitchAngle;
其中,θ为镜头视野与地面之间的夹角,θPitchAngle为俯仰角度(pitch angle)。
在本发明的一实施例中,计算最近地板距离是依据下述公式:
DNearestPlane=DCaptureHeight/sin(θ);
其中,DNearestPlane为最近地板距离,DCaptureHeight为设置高度。
在本发明的一实施例中,计算映射视差图中的消失点位置是依据下述公式:
PVanish=F×tan(θPitchAngle)+VCapturer;
其中,PVanish为映射视差图中的消失点位置,VCapturer为影像获取装置在水平情况下的消失点位置。
在本发明的一实施例中,上述计算最近地板视差值是依据下述公式:
VNearestDisparity=DBaseLine×F/DNearestPlane;
其中,VNearestDisparity为最近地板视差值,DBaseLine为基准线距离。
在本发明的一实施例中,上述基于地面关联线来获得预估地板视差图的步骤包括:将背景关联线投影至UV坐标,而获得预估背景视差图。
在本发明的一实施例中,比较预估地板视差图以及原始视差影像,而在原始视差影像中删除背景区域的步骤包括:逐一比较原始视差影像的每一像素与预估背景视差图的每一像素,判断原始视差影像的视差值是否大于预估背景视差图的视差值;将原始视差影像的视差值小于或等于预估背景视差图的视差值的像素判定为背景区域;以及在原始视差影像中删除背景区域。
在本发明的一实施例中,上述影像获取装置包括两个镜头。
在本发明的一实施例中,上述映射视差图为V视差图(V-disparity map)或U视差图(U-disparity map),背景区域为地板区域。
本发明的影像处理装置,包括:影像获取装置,获得原始视差影像;存储器,储存多个模块;处理器,耦接至影像获取装置以及存储器,接收原始视差影像并驱动所述模块来执行多个动作,所述动作包括:根据相对于目标物的背景区域,在映射视差图中获得背景关联线;以及基于背景关联线,自原始视差影像中删除背景区域。
本发明的电脑可读取记录媒体,其记录至少一程序指令,所述程序指令在载入电子装置后,执行所述识别目标物的影像处理方法。
基于上述,本发明找出相对于目标物的背景区域,让背景区域的定义可以输出给其他深度图使用。当深度图使用背景区域的定义,可以直接由图中删除背景区域,避免物体因背景造成相连,并降低物体分割与识别的运算量。
为让本发明的上述特征和优点能更明显易懂,下文特举实施例,并配合说明书附图作详细说明如下。
附图说明
图1是依照本发明一实施例的影像处理装置的方框图。
图2是依照本发明一实施例的影像处理方法流程图。
图3是依照本发明一实施例的影像获取装置的环境配置的示意图。
图4是依照本发明一实施例的找出地面关联线的方法流程图。
图5是依照本发明一实施例的基于不同设置高度及俯仰角度的V视差图的示意图。
图6是依照本发明一实施例的将地面关联线投影为UV图的示意图。
图7A是依照本发明一实施例的未消除地面的物体框选结果的示意图。
图7B是依照本发明一实施例的消除地面的物体框选结果的示意图。
图8A是依照本发明另一实施例的未消除地面的物体框选结果的示意图。
图8B是依照本发明另一实施例的消除地面的物体框选结果的示意图。
图9A是依照本发明又一实施例的未消除地面的物体框选结果的示意图。
图9B是依照本发明又一实施例的消除地面的物体框选结果的示意图。
附图标记说明:
100:影像处理装置
110:影像获取装置
120:处理器
130:存储器
510、520、530、540、610:V视差图
511、521、531、541、Lfloor:地面关联线
620:UV图
30:下缘
D:视差值
DCaptureHeight:设置高度
FOV:镜头视野
G:地面
ND:最近地板视差值
U:水平位置
V:垂直位置
VP:消失点位置
θ:夹角
θPitchAngle:俯仰角度
S205~S220:影像处理方法各步骤
S405~S425:找出地面关联线的方法各步骤
具体实施方式
图1是依照本发明一实施例的影像处理装置的方框图。请参照图1,在此,影像处理装置100为具有运算能力的电子装置,例如为笔记本电脑、平板电脑、数码相机、智能手机、智能手表、机器人等。影像处理装置100包括影像获取装置110、处理器120以及存储器130。处理器110耦接至影像获取装置110以及存储器130。
影像获取装置110例如是采用电荷耦合元件(Charge coupled device,CCD)镜头、互补式金属氧化物半导体晶体管(Complementary metal oxide semiconductortransistors,CMOS)镜头的摄影机、照相机等。在此,影像获取装置110例如为深度相机,其包括两个镜头,利用双镜头来获得原始视差影像。
处理器120例如为中央处理单元(Central Processing Unit,CPU)、图像处理单元(Graphic Processing Unit,GPU)、物理处理单元(Physics Processing Unit,PPU)、可程序化的微处理器(Microprocessor)、嵌入式控制芯片、数字信号处理器(Digital SignalProcessor,DSP)、特殊应用集成电路(Application Specific Integrated Circuits,ASIC)或其他类似装置。
存储器130例如是任意形式的固定式或可移动式随机存取存储器(Random AccessMemory,RAM)、只读存储器(Read-Only Memory,ROM)、快闪存储器(Flash memory)、安全数字卡(Secure Digital Memory Card,SD)、硬盘或其他类似装置或这些装置的组合。存储器130中包括多个模块,处理器120驱动这些模块实现影像处理方法各步骤。
另外,可将处理器120以及存储器130设置在一主机中,而主机通过连接接口耦接至影像获取装置110,以接收并分析影像获取装置110所获取的影像。
在其他实施例中,处理器120以及存储器130可设置在同一台主机中。主机例如为台式电脑、笔记本电脑、平板电脑、智能手机、智能手表、云端服务器等。主机通过无线网络接口、有线网络接口或通用序列总线(Universal Serial Bus,缩USB)等连接接口耦接至影像获取装置110。
底下搭配上述影像处理装置100来说明影像处理方法各步骤。
图2是依照本发明一实施例的影像处理方法流程图。请同时参照图1及图2,在步骤S205中,通过影像获取装置110来获得原始视差影像。在此,原始视差影像为使用了UVD坐标空间的UV图,其中U所指为影像的水平位置,V所指为影像的垂直位置,D所指为各像素中储存的视差值。以1080p的UV图来说,其横轴是用1920个单位表示U值,纵轴用1080个单位表示V值。
接着,在步骤S210中,根据相对于目标物的背景区域,在映射视差图中获得背景关联线。例如,以背景区域为地板区域而言,为了要定义出在某个水平面上延伸的地面,因此用来定义地面高度的V值与延伸方向的D值相当重要,故,映射视差图为V视差图(V-disparity map)。即,利用V视差图(V-disparity map)来定义地板。然,在其他实施例中,映射视差图为亦可采用U视差图(U-disparity map),在此并不限制。
例如,以映射视差图为V视差图,背景区域为地板区域而言,在V视差图中找出地面关联线,并设定地面关联线为该背景关联线。然后,在步骤S215中,基于背景关联线,自原始视差影像中删除背景区域,以识别该目标物。具体而言,在获得地面关联线之后,基于地面关联线来获得预估地板视差图(预估背景视差图)。在此,将地面关联线投影至UV坐标,获得预估地板视差图。之后,比较预估地板视差图以及原始视差影像,而在原始视差影像中删除地板区域,以识别目标物。
在本实施例中,利用消失点以及最近地板距离来找出地面关联线。所谓消失点是在透视图中凡是平行的直线都会消失于无穷远处的同一个点。而最近地板距离为影像获取装置110的镜头视野(Field Of View,FOV)所能获取的地面距离中的最近距离。
举例来说,图3是依照本发明一实施例的影像获取装置的环境配置的示意图。请参照图3,在影像获取装置110的镜头视野FOV的下缘30中自影像获取装置110至地面G之间的距离即为最近地板距离DNearestPlane。在本实施例中,影像获取装置110距离地面G的设置高度为DCaptureHeight,θ为镜头视野FOV的下缘30与地面G之间的夹角,θPitchAngle为影像获取装置110进行取像的俯仰角度(pitch angle)。其中,俯仰角度θPitchAngle以及设置高度DCaptureHeight为已知的数值。例如,使用者在架设好影像获取装置110之后,便会进一步去测量设置高度DCaptureHeight以及俯仰角度θPitchAngle。
图4是依照本发明一实施例的找出地面关联线的方法流程图。请参照图4,在步骤S405中,计算影像获取装置110的镜头视野FOV与地面G之间的夹角θ。在此,利用下述公式1来计算镜头视野FOV与地面G之间的夹角θ。
θ=FOV/2+θPitchAngle (公式1)
而在计算夹角θ之前,处理器120会先基于影像获取装置110的影像高度DImageHeight以及获取焦距F,计算镜头视野FOV。所述影像高度DImageHeight是由影像获取装置110的分辨率来获得。例如,利用公式2来求出镜头视野FOV。
FOV=2×arctan[(DImageHeight/2)/F] (公式2)
在步骤S410中,基于夹角θ与影像获取装置110的设置高度DCaptureHeight,计算最近地板距离DNearestPlane,如下述公式3所示。
DNearestPlane=DCaptureHeight/sin(θ) (公式3)
在步骤S415中,基于影像获取装置110的获取焦距F以及影像获取装置110进行取像的俯仰角度θPitchAngle,计算V视差图中的消失点位置PVanish,如下述公式4所示。
PVanish=F×tan(θPitchAngle)+VCapturer (公式4)
其中,VCapturer为影像获取装置110在水平情况下的消失点位置。以UV图为例,当镜头处于水平情况下,消失点位置VCapturer会位于影像的正中间,因此,消失点位置VCapturer的V值(即,垂直位置)为DImageHeight/2。然而,为了将镜头可能处于非水平的情况考虑进去,因此加入了获取焦距F与俯仰角度θPitchAngle来计算消失点位置VCapturer的V值。
在步骤S420中,基于影像获取装置110的获取焦距F、基准线距离DBaseLine以及最近地板距离DNearestPlane,计算最近地板视差值VNearestDisparity,如下述公式5所示。其中,基准线距离DBaseLine为影像获取装置110的两个镜头之间的距离。
VNearestDisparity=DBaseLine×F/DNearestPlane (公式5)
在步骤S425中,在V视差图中,基于消失点位置PVanish以及最近地板视差值VNearestDisparity,获得地面关联线。在此,在V视差图中,将消失点位置PVanish及最近地板视差值VNearestDisparity相连而成的直线作为地面关联线。
举例来说,图5是依照本发明一实施例的基于不同设置高度及俯仰角度的V视差图的示意图。请参照图5,V视差图510、520、530、540中,纵轴为垂直高度V,横轴为视差值D,而V视差图510、520、530、540分别具有地面关联线511、521、531、541。
在影像获取装置110的设置高度DCaptureHeight为0.9米,俯仰角度θPitchAngle为0度的情况下,获得V视差图510。在影像获取装置110的设置高度DCaptureHeight为0.9米,俯仰角度θPitchAngle为-10度(表示镜头为垂直往下)的情况下,获得V视差图520。在影像获取装置110的设置高度DCaptureHeight为1.5米,俯仰角度θPitchAngle为0度的情况下,获得V视差图530。在影像获取装置110的设置高度DCaptureHeight为1.5米,俯仰角度θPitchAngle为-10度的情况下,获得V视差图540。
图6是依照本发明一实施例的将地面关联线投影为UV图的示意图。请参照图6,在V视差图610中,纵轴表示垂直位置V,横轴表示视差值D,而消失点位置VP以及最近地板视差值ND所连成的直线为地面关联线Lfloor。在UV图(即,预估地板视差图)620中,纵轴表示垂直位置V,横轴表示水平位置U,而其坐标值为视差值D。
将V视差图610的地面关联线Lfloor投影为UV图620的方式为:以地面关联线Lfloor垂直位置的视差值作为UV图中对应的垂直位置的所有像素的坐标值。例如,以垂直位置为0的视差值(即,最近地板视差值ND),作为UV图的垂直位置为0所有像素的坐标值;以垂直位置为1的视差值作为UV图的垂直位置为1所有像素的坐标值;以垂直位置为VP的视差值(0)作为UV图的垂直位置为VP所有像素的坐标值。以此类推将地面关联线Lfloor投影为UV图620。
也就是说,在UV图620中,在同一个垂直位置所对应的所有水平位置的像素的值为相同的视差值。在UV图620中,垂直位置越小,视差越大。之后,将UV图620的各像素与步骤S205所获得的原始视差影像的各像素逐一进行比较,判断原始视差影像的视差值是否大于UV图620的视差值。将原始视差影像的视差值小于或等于UV图的视差值的像素判定为地板区域。并且,在原始视差影像中删除地板区域。
例如,以坐标(x,y)而言,分别比较原始视差影像的坐标(x,y)与UV图620的坐标(x,y)两个像素的视差值。倘若原始视差影像的坐标(x,y)的视差值小于或等于UV图620的坐标(x,y)的视差值,代表此像素的物体距离比地面还远或相等,因此,在原始视差影像中删除该像素。倘若原始视差影像的坐标(x,y)的视差值大于UV图620的坐标(x,y)的视差值,代表此像素的物体距离比地面还近,该像素为地面上的物体。
图7A是依照本发明一实施例的未消除地面的物体框选结果的示意图。图7B是依照本发明一实施例的消除地面的物体框选结果的示意图。图8A是依照本发明另一实施例的未消除地面的物体框选结果的示意图。图8B是依照本发明另一实施例的消除地面的物体框选结果的示意图。图9A是依照本发明又一实施例的未消除地面的物体框选结果的示意图。图9B是依照本发明又一实施例的消除地面的物体框选结果的示意图。在此,测量的影像获取装置110的设置高度DCaptureHeight以及俯仰角度θPitchAngle分别为:设置高度DCaptureHeight为90公分,俯仰角度θPitchAngle为-15度(视角向下15度)。
图7A、图8A、图9A所示的物体框选结果表示尚未估测地板时所得到的检测物件结果,由于物体框选结果因为通过深度图并无法有效地识别地板与对应不同几何外形的目标物(坐有人的椅子、箱子、椅子)的差别,因而将地板区域(虚线框选出的区域)与目标物识别为连在一起的物件,所以在最后给定物件范围的粗黑色方框时,就将地板也一起包含了进去,导致物体检测的效果变得非常糟糕。在图7B、图8B、图9B中,由于删除了地板区域了,因此在最后给定物件范围的粗黑色方框时,可以精准地框选出目标物。
在图7B、图8B、图9B中,在得知影像获取装置110(例如为摄影机)架设的设置高度DCaptureHeight以及俯仰角度θPitchAngle后,利用这两个参数搭配影像获取装置110本身的内部参数(包括获取焦距F、获取影像的分辨率、基准线距离DBaseLine)便能够来估算出地板区域并且将其移除。即,通过上述实施例可得到一个不受地板干扰的物体检测系统。
另外,上述方法可以电脑可读取记录媒体来实施。电脑可读取记录媒体记录至少一程序指令,此至少一程序指令在载入电子装置后,用以执行步骤S205~S220。
综上所述,本发明适用在立体视觉影像的系统,主要用来定义出地板区域,并将地板区域由影像中删除,以利后续物体分割的运算。在所述实施例中,利用影像获取装置本身的内部参数(获取焦距、分辨率以及基准线距离),只需取得两个外部参数即,影像获取装置的设置高度与俯仰角度,就可以估测出地面模型,进而减少影像处理的难度,并提高识别目标物的准确率。
虽然本发明已以实施例公开如上,然其并非用以限定本发明,任何所属技术领域中技术人员,在不脱离本发明的构思和范围内,当可作些许的变动与润饰,故本发明的保护范围当视权利要求所界定者为准。
Claims (20)
1.一种识别目标物的影像处理方法,包括:
通过一影像获取装置来获得一原始视差影像;
根据相对于一目标物的一背景区域,在一映射视差图中获得一背景关联线;以及
基于该背景关联线,自该原始视差影像中删除该背景区域,以识别该目标物。
2.如权利要求1所述的影像处理方法,其中根据相对于该目标物的该背景区域,在该映射视差图中获得该背景关联线的步骤包括:
在该映射视差图中找出该背景关联线;
其中,基于该背景关联线,自该原始视差影像中删除该背景区域的步骤包括:
基于该背景关联线来获得一预估背景视差图;以及
比较该预估背景视差图以及该原始视差影像,而在该原始视差影像中删除该背景区域。
3.如权利要求2所述的影像处理方法,其中在该映射视差图中找出该背景关联线的步骤包括:
计算该影像获取装置的一镜头视野与一地面之间的一夹角;
基于该夹角与该影像获取装置的一设置高度,计算一最近地板距离;
基于该影像获取装置的一获取焦距以及该影像获取装置进行取像的一俯仰角度,计算该映射视差图中的一消失点位置;
基于该影像获取装置的该获取焦距、一基准线距离以及该最近地板距离,计算一最近地板视差值;以及
在该映射视差图中,基于该消失点位置以及该最近地板视差值,获得一地面关联线,其中该地面关联线为该背景关联线。
4.如权利要求3所述的影像处理方法,其中在计算该影像获取装置的该镜头视野与该地面之间的该夹角的步骤之前,还包括:
基于该影像获取装置的一影像高度以及该获取焦距,计算该镜头视野;
其中,计算该镜头视野是依据下述公式,
FOV=2×arctan[(DImageHeight/2)/F];
其中,FOV为该镜头视野,DImageHeight为该影像高度,F为该获取焦距。
5.如权利要求4所述的影像处理方法,其中计算该影像获取装置的该镜头视野与该地面之间的该夹角是依据下述公式:
θ=FOV/2+θPitchAngle;
其中,θ为该镜头视野与该地面之间的该夹角,θPitchAngle为该俯仰角度。
6.如权利要求5所述的影像处理方法,其中计算该最近地板距离是依据下述公式:
DNearestPlane=DCaptureHeight/sin(θ);
其中,DNearestPlane为该最近地板距离,DCaptureHeight为该设置高度。
7.如权利要求5所述的影像处理方法,其中计算该映射视差图中的该消失点位置是依据下述公式:
PVanish=F×tan(θPitchAngle)+VCapturer;
其中,PVanish为该映射视差图中的该消失点位置,VCapturer为该影像获取装置在一水平情况下的消失点位置。
8.如权利要求6所述的影像处理方法,其中计算该最近地板视差值是依据下述公式:
VNearestDisparity=DBaseLine×F/DNearestPlane;
其中,VNearestDisparity为该最近地板视差值,DBaseLine为该基准线距离。
9.如权利要求2所述的影像处理方法,其中基于该地面关联线来获得该预估背景视差图的步骤包括:
将该背景关联线投影至一UV坐标,而获得该预估背景视差图。
10.如权利要求2所述的影像处理方法,其中比较该预估背景视差图以及该原始视差影像,而在该原始视差影像中删除该背景区域的步骤包括:
逐一比较该原始视差影像的每一像素与该预估背景视差图的每一像素,判断该原始视差影像的视差值是否大于该预估背景视差图的视差值;
将该原始视差影像的视差值小于或等于该预估背景视差图的视差值的像素判定为该背景区域;以及
在该原始视差影像中删除该背景区域。
11.如权利要求1所述的影像处理方法,其中该映射视差图为一V视差图或一U视差图,该背景区域为一地板区域。
12.如权利要求1所述的影像处理方法,其中该影像获取装置包括两个镜头。
13.一种影像处理装置,包括:
一影像获取装置,获得一原始视差影像;
一存储器,储存多个模块;以及
一处理器,耦接至该影像获取装置以及该存储器,接收该原始视差影像并驱动所述模块来执行多个动作,所述动作包括:根据相对于一目标物的一背景区域,在一映射视差图中获得一背景关联线;以及基于该背景关联线,自该原始视差影像中删除该背景区域,以识别该目标物。
14.如权利要求13所述的影像处理装置,其中该处理器驱动所述模块所执行的所述动作还包括:
在该映射视差图中找出一背景关联线;基于该背景关联线来获得一预估背景视差图;以及比较该预估背景视差图以及该原始视差影像,而在该原始视差影像中删除该背景区域。
15.如权利要求14所述的影像处理装置,其中该处理器驱动所述模块所执行的所述动作还包括:
计算该影像获取装置的一镜头视野与一地面之间的一夹角;基于该夹角与该影像获取装置的一设置高度,计算一最近地板距离;基于该影像获取装置的一获取焦距以及该影像获取装置进行取像的一俯仰角度,计算该映射视差图中的一消失点位置;基于该影像获取装置的该获取焦距、一基准线距离以及该最近地板距离,计算一最近地板视差值;以及在该映射视差图中,基于该消失点位置以及该最近地板视差值,获得一地面关联线,其中该地面关联线为该背景关联线。
16.如权利要求15所述的影像处理装置,其中该处理器驱动所述模块所执行的所述动作还包括:
基于该影像获取装置的一影像高度以及该获取焦距,计算该镜头视野。
17.如权利要求14所述的影像处理装置,其中该处理器驱动所述模块所执行的所述动作还包括:
将该背景关联线投影至一UV坐标,而获得该预估背景视差图。
18.如权利要求14所述的影像处理装置,其中该处理器驱动所述模块所执行的所述动作还包括:
逐一比较该原始视差影像的每一像素与该预估背景视差图的每一像素,判断该原始视差影像的视差值是否大于该预估背景视差图的视差值;将该原始视差影像的视差值小于或等于该预估背景视差图的视差值的像素判定为该地板区域;以及在该原始视差影像中删除该背景区域。
19.如权利要求13所述的影像处理装置,其中该映射视差图为一V视差图或一U视差图,该背景区域为一地板区域。
20.一种电脑可读取记录媒体,该电脑可读取记录媒体记录至少一程序指令,该至少一程序指令在载入一电子装置后,执行如权利要求1所述的识别目标物的影像处理方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW106134066 | 2017-10-02 | ||
TW106134066A TWI658431B (zh) | 2017-10-02 | 2017-10-02 | 影像處理方法、影像處理裝置及電腦可讀取記錄媒體 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109600598A true CN109600598A (zh) | 2019-04-09 |
CN109600598B CN109600598B (zh) | 2021-01-08 |
Family
ID=65897972
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710994378.1A Active CN109600598B (zh) | 2017-10-02 | 2017-10-23 | 影像处理方法、影像处理装置及电脑可读取记录媒体 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10475197B2 (zh) |
CN (1) | CN109600598B (zh) |
TW (1) | TWI658431B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111724431B (zh) * | 2019-03-22 | 2023-08-08 | 北京地平线机器人技术研发有限公司 | 视差图的获得方法、装置和电子设备 |
CN113160083A (zh) * | 2021-04-19 | 2021-07-23 | 广州欢网科技有限责任公司 | 媒资视频封面图优化方法、装置、设备和存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103037075A (zh) * | 2011-10-07 | 2013-04-10 | Lg电子株式会社 | 移动终端及其离焦图像生成方法 |
CN103679120A (zh) * | 2012-09-11 | 2014-03-26 | 株式会社理光 | 不平道路的检测方法和系统 |
US20150070467A1 (en) * | 2013-09-12 | 2015-03-12 | Ventana 3D Llc | Depth key compositing for video and holographic projection |
US20150269446A1 (en) * | 2014-03-24 | 2015-09-24 | Toyota Jidosha Kabushiki Kaisha | Boundary detection apparatus and boundary detection method |
CN105225482A (zh) * | 2015-09-02 | 2016-01-06 | 上海大学 | 基于双目立体视觉的车辆检测系统和方法 |
CN105760846A (zh) * | 2016-03-01 | 2016-07-13 | 北京正安维视科技股份有限公司 | 基于深度数据的目标检测与定位方法及系统 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU1930700A (en) * | 1998-12-04 | 2000-06-26 | Interval Research Corporation | Background estimation and segmentation based on range and color |
JP3945279B2 (ja) * | 2002-03-15 | 2007-07-18 | ソニー株式会社 | 障害物認識装置、障害物認識方法、及び障害物認識プログラム並びに移動型ロボット装置 |
CN101527046B (zh) * | 2009-04-28 | 2012-09-05 | 青岛海信数字多媒体技术国家重点实验室有限公司 | 一种运动检测方法、装置和系统 |
CN102780855B (zh) | 2011-05-13 | 2016-03-16 | 晨星软件研发(深圳)有限公司 | 影像处理的方法与相关装置 |
FR2988504B1 (fr) * | 2012-03-23 | 2014-05-09 | Commissariat Energie Atomique | Procede de determination d'un plan du sol a partir d'une image de profondeur |
CN103390269B (zh) * | 2012-05-11 | 2016-12-28 | 株式会社理光 | 连续型道路分割物检测方法和装置 |
CA2834877A1 (en) * | 2012-11-28 | 2014-05-28 | Henry Leung | System and method for event monitoring and detection |
US20140363073A1 (en) * | 2013-06-11 | 2014-12-11 | Microsoft Corporation | High-performance plane detection with depth camera data |
EP3195192B1 (en) * | 2014-09-15 | 2024-02-21 | Cortigent, Inc. | Method and system for detecting obstacles for a visual prosthesis |
TWI502166B (zh) | 2014-11-19 | 2015-10-01 | Alpha Imaging Technology Corp | 動態影像監測系統及方法 |
KR101714185B1 (ko) * | 2015-08-05 | 2017-03-22 | 엘지전자 주식회사 | 차량 운전 보조장치 및 이를 포함하는 차량 |
KR101770642B1 (ko) * | 2016-05-16 | 2017-09-05 | 엘지전자 주식회사 | 차량용 조명 장치 및 차량 |
CN106203429A (zh) * | 2016-07-06 | 2016-12-07 | 西北工业大学 | 基于双目立体视觉复杂背景下的遮挡目标检测方法 |
-
2017
- 2017-10-02 TW TW106134066A patent/TWI658431B/zh active
- 2017-10-23 CN CN201710994378.1A patent/CN109600598B/zh active Active
- 2017-12-25 US US15/853,930 patent/US10475197B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103037075A (zh) * | 2011-10-07 | 2013-04-10 | Lg电子株式会社 | 移动终端及其离焦图像生成方法 |
CN103679120A (zh) * | 2012-09-11 | 2014-03-26 | 株式会社理光 | 不平道路的检测方法和系统 |
US20150070467A1 (en) * | 2013-09-12 | 2015-03-12 | Ventana 3D Llc | Depth key compositing for video and holographic projection |
US20150269446A1 (en) * | 2014-03-24 | 2015-09-24 | Toyota Jidosha Kabushiki Kaisha | Boundary detection apparatus and boundary detection method |
CN105225482A (zh) * | 2015-09-02 | 2016-01-06 | 上海大学 | 基于双目立体视觉的车辆检测系统和方法 |
CN105760846A (zh) * | 2016-03-01 | 2016-07-13 | 北京正安维视科技股份有限公司 | 基于深度数据的目标检测与定位方法及系统 |
Non-Patent Citations (1)
Title |
---|
ELIJAH S. LEE ETC: "Feature-based Lateral Position Estimation of Surrounding Vehicles Using Stereo Vision", 《2017 IEEE INTELLIGENT VEHICLES SYMPOSIUM (Ⅳ)》 * |
Also Published As
Publication number | Publication date |
---|---|
TW201915951A (zh) | 2019-04-16 |
CN109600598B (zh) | 2021-01-08 |
TWI658431B (zh) | 2019-05-01 |
US10475197B2 (en) | 2019-11-12 |
US20190102895A1 (en) | 2019-04-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11010924B2 (en) | Method and device for determining external parameter of stereoscopic camera | |
WO2019200837A1 (zh) | 一种包裹体积的测量方法、系统、储存介质及移动终端 | |
CN107230225B (zh) | 三维重建的方法和装置 | |
US9542745B2 (en) | Apparatus and method for estimating orientation of camera | |
CN101630406B (zh) | 摄像机的标定方法及摄像机标定装置 | |
JP6338021B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
CN106023303B (zh) | 一种基于轮廓有效性提高三维重建点云稠密程度的方法 | |
CN110568447A (zh) | 视觉定位的方法、装置及计算机可读介质 | |
JP6503906B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
CN109840922B (zh) | 基于双目光场相机的深度获取方法和系统 | |
US20190378294A1 (en) | Stereo camera and height acquisition method thereof and height acquisition system | |
JP2013089252A (ja) | 映像処理方法及び装置 | |
KR101759798B1 (ko) | 실내 2d 평면도의 생성 방법, 장치 및 시스템 | |
BR112016010089A2 (pt) | dispositivo de estimação de posição de corpo em movimento e método de estimação de posição de corpo em movimento | |
US11017552B2 (en) | Measurement method and apparatus | |
WO2019169941A1 (zh) | 一种测距方法及装置 | |
CN112330751A (zh) | 一种结构光相机行偏差检测方法及装置 | |
CN109920003A (zh) | 相机标定检测方法、装置以及设备 | |
CN110136114A (zh) | 一种波面高度测量方法、终端设备及存储介质 | |
CN109600598A (zh) | 影像处理方法、影像处理装置及电脑可读取记录媒体 | |
JP2022151676A (ja) | ロバストなカメラ姿勢推定を用いた画像スティッチングのシステムおよび方法 | |
CN112102404B (zh) | 物体检测追踪方法、装置及头戴显示设备 | |
CN109242900B (zh) | 焦平面定位方法、处理装置、焦平面定位系统及存储介质 | |
US20140081599A1 (en) | Visualizing dimensions and usage of a space | |
JP2003006618A (ja) | 3次元モデルの生成方法および装置並びにコンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |