CN111383262B - 遮挡检测方法、系统、电子终端以及存储介质 - Google Patents

遮挡检测方法、系统、电子终端以及存储介质 Download PDF

Info

Publication number
CN111383262B
CN111383262B CN201811621959.1A CN201811621959A CN111383262B CN 111383262 B CN111383262 B CN 111383262B CN 201811621959 A CN201811621959 A CN 201811621959A CN 111383262 B CN111383262 B CN 111383262B
Authority
CN
China
Prior art keywords
target object
vector
coordinate system
cur
judging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811621959.1A
Other languages
English (en)
Other versions
CN111383262A (zh
Inventor
朱康
毕文韬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yaoke Intelligent Technology Shanghai Co ltd
Original Assignee
Yaoke Intelligent Technology Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yaoke Intelligent Technology Shanghai Co ltd filed Critical Yaoke Intelligent Technology Shanghai Co ltd
Priority to CN201811621959.1A priority Critical patent/CN111383262B/zh
Publication of CN111383262A publication Critical patent/CN111383262A/zh
Application granted granted Critical
Publication of CN111383262B publication Critical patent/CN111383262B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供遮挡检测方法、系统、电子终端以及存储介质,所述方法包括:获取目标对象在世界坐标系下的位置信息,并获取虚拟相机在世界坐标系下的视角信息;根据目标对象在世界坐标系下的位置信息和虚拟相机在世界坐标系下的视角信息,判断目标对象是否被遮挡;若被遮挡,则对该目标对象进行光场渲染处理以去除该遮挡。本申请基于顶视深度信息的前视焦平面检测系统可以通过顶视传感器实时检测和定位场景中人群的所有头部位置,这些头部位置所处平面可以通过内外参关系转化为前置光场监控系统视角下的焦平面位置信息,用于光场渲染,本申请的技术方案达到了自适应更强,效率更高,且针对性更佳的光场渲染效果。

Description

遮挡检测方法、系统、电子终端以及存储介质
技术领域
本申请涉及光场技术领域,特别是涉及遮挡检测方法、系统、电子终端以及存储介质。
背景技术
现有的针对不同的应用场景存在着多种方法确定对焦平面。对于应用范围单一的固定场景,可以直接人为设定焦平面,使得光场系统固定在对焦于同一个焦平面,进行光场渲染。对于需要前景对焦的场景,可以利用图像算法对场景前景进行测距,从而估计出焦平面距离,这种方法的准确性很大程度上依赖于测距方法的有效性以及场景环境的复杂程度。对于多对焦平面需求的应用,可以通过扫焦的方式,即由远至近的设定不同的对焦面,直到光场对焦,但是这一种对焦方式,一是与场景内容无关,所以并不知道哪一个对焦面是准确的,二是它的效果依赖于扫焦分辨率。
因此,现有的确定对焦平面技术效率不高且针对性不够,自适应程度低,无法达到预期的光场去遮挡功能。
申请内容
鉴于以上所述现有技术的缺点,本申请的目的在于提供遮挡检测方法、系统、电子终端以及存储介质,用于解决现有的确定对焦平面技术效率不高且针对性不够,自适应程度低,无法达到预期的光场去遮挡功能等技术问题。
为实现上述目的及其他相关目的,本申请的第一方面提供一种遮挡检测方法,其包括:获取目标对象在世界坐标系下的位置信息,并获取虚拟相机在世界坐标系下的视角信息;根据目标对象在世界坐标系下的位置信息和虚拟相机在世界坐标系下的视角信息,判断目标对象是否被遮挡;若被遮挡,则对该目标对象进行光场渲染处理以去除该遮挡。
于本申请第一方面的一些实施方式中,所述方法包括:判断目标对象是否在虚拟相机的视角范围内;若目标对象在虚拟相机的视角范围内,则判断该目标对象是否被遮挡;若目标对象不在虚拟相机的视角范围内,则不再判断该目标对象是否被遮挡。
于本申请第一方面的一些实施方式中,判断目标对象是否在虚拟相机的视角范围内的方式包括:判断目标对象是否落入虚拟相机的水平视角范围内且落入虚拟相机的竖直视角范围内;若目标对象既落入虚拟相机的水平视角范围内又落入虚拟相机的竖直视角范围内,则判断目标对象落入该虚拟相机的视角范围内。
于本申请第一方面的一些实施方式中,判断目标对象是否被遮挡的方式包括:判断虚拟相机的坐标系原点与目标对象的中心之间的视线是否被遮挡物阻隔;若被阻隔,则判断目标对象被该遮挡物所遮挡;若未被阻隔,则判断目标对象未被该遮挡物所遮挡。
于本申请第一方面的一些实施方式中,所述方法包括:目标对象在世界坐标系下的位置信息表示为:Sw={Pw|Pw=Rd·pm+td,m∈[1,M]};其中,Pm表示目标对象m在相机坐标系下的位置信息;Pw表示目标对象m在世界坐标系下的位置信息;M表示区域数量;Sw表示目标对象在世界坐标系下的位置信息集合;Rd表示旋转矩阵;td表示平移矩阵;虚拟相机在世界坐标系下的视角信息表示为:坐标原点
Figure BDA0001927079470000021
坐标轴单位向量信息
Figure BDA0001927079470000022
水平视角信息θh、以及竖直视角信息θν。
于本申请第一方面的一些实施方式中,令目标对象的向量为向量OPcur,所述方法包括:将向量OPcur投影到
Figure BDA0001927079470000023
平面得到向量OPh;计算向量OPh与向量
Figure BDA0001927079470000024
的夹角
Figure BDA0001927079470000025
并比较
Figure BDA0001927079470000026
与θh/2之间的大小;若
Figure BDA0001927079470000027
大于θh/2,则判断向量OPcur不落入水平视角范围内;若
Figure BDA0001927079470000028
不大于θh/2,则判断向量OPcur落入水平视角范围内;以及,将向量OPcur投影到
Figure BDA0001927079470000029
平面得到向量OPv;计算向量OPv与向量
Figure BDA00019270794700000210
的夹角
Figure BDA00019270794700000211
并比较
Figure BDA00019270794700000212
与θν/2之间的大小;若
Figure BDA00019270794700000213
大于θν/2,则判断向量OPcur不落入竖直视角范围内;若
Figure BDA00019270794700000214
不大于θν/2,则判断向量OPcur落入竖直视角范围内;以及,若向量OPcur落入水平视角范围内且落入竖直视角范围内,则判断向量OPcur落入虚拟相机的视角范围内。
于本申请第一方面的一些实施方式中,令目标对象和遮挡物所涉半径为r,令目标对象的中心为点Pcur,令遮挡物的中心为点Pi,令原点与点Pcur之间连接的线段为L,且令点Pi至线段L的垂直距离为d;判断目标对象是否被遮挡的方式包括:判断d是否满足d≤r;若满足,则判断目标对象被遮挡物所遮挡;若不满足,则判断目标对象未被遮挡物所遮挡。
为实现上述目的及其他相关目的,本申请的第二方面提供一种遮挡检测系统,其包括:获取模块,用于获取目标对象在世界坐标系下的位置信息,并用于获取虚拟相机在世界坐标系下的视角信息;判断模块,用于根据目标对象在世界坐标系下的位置信息和虚拟相机在世界坐标系下的视角信息,判断目标对象是否被遮挡;处理模块,用于在目标对象被遮挡时,该目标对象进行光场渲染处理以去除该遮挡。
为实现上述目的及其他相关目的,本申请的第三方面提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现所述遮挡检测方法。
为实现上述目的及其他相关目的,本申请的第四方面提供一种电子终端,包括:处理器及存储器;所述存储器用于存储计算机程序,所述处理器用于执行所述存储器存储的计算机程序,以使所述终端执行所述遮挡检测方法。
如上所述,本申请的遮挡检测方法、系统、电子终端以及存储介质,具有以下有益效果:本申请基于顶视深度信息的前视焦平面检测系统可以通过顶视传感器实时检测和定位场景中人群的所有头部位置,这些头部位置所处平面可以通过内外参关系转化为前置光场监控系统视角下的焦平面位置信息,用于光场渲染。此外,本申请还根据头部定位信息、顶视相机参数信息和前置光场相机参数信息,完成判断人群头部的遮挡关系,从而直接选择被遮挡位置进行光场渲染,进而达到了自适应更强,效率更高,且针对性更佳的光场渲染效果。
附图说明
图1显示为本申请一实施例中的遮挡检测方法的流程示意图。
图2显示为本申请一实施例中的遮挡检测方法的场景示意图。
图3显示为本申请一实施例中的遮挡检测方法的流程示意图。
图4a显示为本申请一实施例中的头部被遮挡的示意图。
图4b显示为本申请一实施例中的头部被遮挡的示意图。
图4c显示为本申请一实施例中的头部未被遮挡的示意图。
图5显示为本申请一实施例中的遮挡检测系统的结构示意图。
图6显示为本申请一实施例中的电子终端的结构示意图。
具体实施方式
以下通过特定的具体实例说明本申请的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本申请的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
需要说明的是,在下述描述中,参考附图,附图描述了本申请的若干实施例。应当理解,还可使用其他实施例,并且可以在不背离本申请的精神和范围的情况下进行机械组成、结构、电气以及操作上的改变。下面的详细描述不应该被认为是限制性的,并且本申请的实施例的范围仅由公布的专利的权利要求书所限定。这里使用的术语仅是为了描述特定实施例,而并非旨在限制本申请。空间相关的术语,例如“上”、“下”、“左”、“右”、“下面”、“下方”、“下部”、“上方”、“上部”等,可在文中使用以便于说明图中所示的一个元件或特征与另一元件或特征的关系。
在本申请中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”、“固持”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本申请中的具体含义。
再者,如同在本文中所使用的,单数形式“一”、“一个”和“该”旨在也包括复数形式,除非上下文中有相反的指示。应当进一步理解,术语“包含”、“包括”表明存在所述的特征、操作、元件、组件、项目、种类、和/或组,但不排除一个或多个其他特征、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的,或意味着任一个或任何组合。因此,“A、B或C”或者“A、B和/或C”意味着“以下任一个:A;B;C;A和B;A和C;B和C;A、B和C”。仅当元件、功能或操作的组合在某些方式下内在地互相排斥时,才会出现该定义的例外。
光作为一种分布在空间中的电磁场,具有振幅、相位、波长等多种属性,帮助人类感知物体的明暗、位置和色彩。然而,传统的光学成像智能捕获到光辐射在二维平面上的投影强度,而失去了目标的三维形态信息。光场信息采集,便是是获取光辐射的完整分布,通过变换和积分等数据处理手段来计算所需要的图像。光场成像指的是光场的采集将光场处理为图像的过程。光场成像作为一种计算成像技术,其“所得”(光场)需要经过相应的数字处理算法才能得到“所见”(图像)。
光场渲染(Light Field Renderin,LFR)是在不需要图像的深度信息或相关性的条件下,通过相机阵列或由一个相机按设计好的路径移动把场景拍摄下来作为输入图像集,对于任意给定的新视点,找出该视点邻近的几个采样点进行简单的重新采样,就能得到该视点处的视图。光场渲染是光场成像系统的重要算法模块,其根据光场成像系统的内外参,对采集到的画面进行去畸变,并通过投影技术手段去除倾斜角对场景的影响;且利用光场合成孔径成像技术和光场重建算法,根据不同的聚焦参数,对图像进行不同焦平面的光场重聚焦渲染,完成光场去遮挡功能。
现有的针对不同的应用场景存在着多种方法确定对焦平面。例如:对于应用范围单一的固定场景,可以直接人为设定焦平面,使得光场系统固定在对焦于同一个焦平面,进行光场渲染;对于需要前景对焦的场景,可以利用图像算法对场景前景进行测距,从而估计出焦平面距离;对于多对焦平面需求的应用,可以通过扫焦的方式,即由远至近的设定不同的对焦面,直到光场对焦。但是,这些确定对焦平面的技术效率不高且针对性不够,自适应程度低,无法达到预期的光场去遮挡功能。
鉴于上述存在于现有技术中的种种问题,本申请的主要思想是判断目标对象是否位于相机的视角范围内,并针对相机视角范围内的目标对象进一步判断其是否被遮挡。对被遮挡的目标对象采取相应的光场渲染处理,从而去除遮挡的影响。本申请中采用的确定对焦平面的方法自适应高,从而达到有效去遮挡的功能。
如图1所示,展示本申请一实施例中的遮挡检测方法的流程示意图。
需要说明的是,所述遮挡检测方法可应用于包括存储器、存储控制器、一个或多个处理单元(CPU)、外设接口、RF电路、音频电路、扬声器、麦克风、输入/输出(I/O)子系统、显示屏、其他输出或控制设备,以及外部端口等组件的计算机;所述计算机包括但不限于如台式电脑、笔记本电脑、平板电脑、智能手机、智能电视、个人数字助理(Personal DigitalAssistant,简称PDA)等个人电脑。所述遮挡检测方法也可应用于服务器,服务器可以根据功能、负载等多种因素布置在一个或多个实体服务器上,也可以由分布的或集中的服务器集群构成。
于本实施例中,所述遮挡检测方法包括步骤S11、步骤S12、步骤S13、以及步骤S14。
在步骤S11中,获取目标对象在世界坐标系下的位置信息,并获取虚拟相机在世界坐标系下的视角信息。
所述目标对象是指遮挡检测的检测对象,例如可选取人的头部作为目标对象,或者也可选取拍摄的动物、植物、建筑物、家具、甚至微生物等作为检测对象,本申请对此不作限定。为方便理解,下文以顶视角度下人的头部作为目标对象为例,来解释本申请的技术方案。
在图2展示的应用场景中,以光场成像系统21为正视方向,在场景顶部架设若干深度传感器22,对场景进行俯视测距。该场景中,利用基于顶视深度信息的前视焦平面检测系统得到了多个区域中的头部三维位置信息。
设定顶部深度相机Cd,利用计算机视觉中的相机标定技术获取深度相机Cd的内参Kd、旋转矩阵Rd以及平移向量td。根据深度相机Cd的成像数据,利用基于顶视深度信息的前视焦平面检测系统得到了M个区域中的头部三维位置集合S={pm|pm=[xm,ym,zm]T,m∈[1,M]}。将S转化至世界坐标系下可以得到世界坐标系下人群头部位置信息Sw={Pw|Pw=Rd·pm+td,m∈[1,M]}。
前置光场监控系统合成孔径虚拟相机Cv在相机坐标系下的水平视角和竖直视角。设定Cv的水平视场角为θh,竖直视场角为θv。设定原点Ov=[xo,yo,zo]T,坐标轴单位向量OX,OY和OZ。同上,利用Cv的内参Kv、旋转矩阵Rv以及平移向量tv将其转换至世界坐标系分别得到
Figure BDA0001927079470000061
Figure BDA0001927079470000062
在步骤S12中,根据目标对象在世界坐标系下的位置信息和虚拟相机在世界坐标系下的视角信息,判断目标对象是否被遮挡。
在一实施例中,在判断目标对象是否被遮挡之前,先判断目标对象是否在虚拟相机的视角范围内。若目标对象在虚拟相机的视角范围内,则继续判断该目标对象是否被遮挡。若目标对象不在虚拟相机的视角范围内,则即使做光场渲染处理,也无法实现去遮挡,故将该目标对象排除,不再判断该目标对象是否被遮挡。
判断目标对象是否在虚拟相机的视角范围内的方法流程如图3所示,其包括步骤S31、步骤S32、以及步骤S33。
在步骤S31中,判断目标对象是否落入虚拟相机的水平视角范围内且落入虚拟相机的竖直视角范围内。
具体的,将向量OPcur投影到
Figure BDA0001927079470000063
平面得到向量OPh,计算向量OPh与向量
Figure BDA0001927079470000064
的夹角
Figure BDA0001927079470000065
并比较
Figure BDA0001927079470000066
与θh/2之间的大小。若
Figure BDA0001927079470000067
大于θh/2,则判断向量OPcur不落入水平视角范围内,若
Figure BDA0001927079470000068
不大于θh/2,则判断向量OPcur落入水平视角范围内。
Figure BDA0001927079470000069
将向量OPcur投影到
Figure BDA00019270794700000610
平面得到向量OPv,计算向量OPv与向量
Figure BDA00019270794700000611
的夹角
Figure BDA00019270794700000612
并比较
Figure BDA00019270794700000613
与θν/2之间的大小。若
Figure BDA00019270794700000614
大于θν/2,则判断向量OPcur不落入竖直视角范围内,若
Figure BDA00019270794700000615
不大于θν/2,则判断向量OPcur落入竖直视角范围内。
Figure BDA00019270794700000616
在步骤S32中,若目标对象既落入虚拟相机的水平视角范围内又落入虚拟相机的竖直视角范围内,则判断目标对象落入该虚拟相机的视角范围内。
在步骤S33中,否则,判断目标对象不落入虚拟相机的视角范围内。
也即,如果Pcur既在水平视角范围,又在竖直视角范围内,则表明Pcur在视野范围内,需要进一步判断是否需要在此处进行光场渲染;否则,表明Pcur不在视野范围内,即使在此处进行光场渲染也得不到理想的信息。
在一实施例中,判断目标对象是否被遮挡的方式包括:判断虚拟相机的坐标系原点与目标对象的中心之间的视线是否被遮挡物阻隔;若被阻隔,则判断目标对象被该遮挡物所遮挡;若未被阻隔,则判断目标对象未被该遮挡物所遮挡。
以顶视角度下人的头部图像为例,设定人的头围半径为r,
Figure BDA0001927079470000071
与Pcur,(xp,yp,zp)两点连成线段L:
Figure BDA0001927079470000072
记为Ax+By+Cz+D=0。如果存在
Figure BDA0001927079470000073
遮挡Pcur,则线段L会与球心为Pi,半径为r的球体相交或相切,即Pi到L的距离
Figure BDA0001927079470000074
如果相交或相切,说明存在遮挡关系,需要在Pcur处进行光场渲染,以去除遮挡。否则,不存在遮挡关系,故不需要进行光场渲染。
如图4a所示,显示为线段L与球心为Pi,半径为r的球体相交的示意图,Pi到L的距离d与球体半径r的关系为:d<r。
如图4b所示,显示为线段L与球心为Pi,半径为r的球体相切的示意图,Pi到L的距离d与球体半径r的关系为:d=r。
如图4c所示,显示为线段L与球心为Pi,半径为r的球体相离的示意图,Pi到L的距离d与球体半径r的关系为:d>r。
在步骤S13中,若目标对象被遮挡,则对该目标对象进行光场渲染处理,以去除该遮挡。
在步骤S14中,若目标对象未被遮挡,则无需进行光场渲染处理。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
如图5所示,展示本申请一实施例中的遮挡检测系统的结构示意图。所述遮挡检测系统包括:获取模块51、判断模块52、以及处理模块53。获取模块51用于获取目标对象在世界坐标系下的位置信息,并用于获取虚拟相机在世界坐标系下的视角信息;判断模块52用于根据目标对象在世界坐标系下的位置信息和虚拟相机在世界坐标系下的视角信息,判断目标对象是否被遮挡;处理模块53用于在目标对象被遮挡时,该目标对象进行光场渲染处理以去除该遮挡。
需要说明的是,本实施例中的遮挡检测系统的实施方式与上文中的遮挡检测方法的实施方式类似,故不再赘述。另外需要说明的是,本领域技术人员应理解以上系统的各个模块的划分仅仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现;也可以全部以硬件的形式实现;还可以部分模块通过处理元件调用软件的形式实现,部分模块通过硬件的形式实现。例如,处理模块可以为单独设立的处理元件,也可以集成在上述系统的某一个芯片中实现,此外,也可以以程序代码的形式存储于上述系统的存储器中,由上述系统的某一个处理元件调用并执行以上处理模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起,也可以独立实现。这里所述的处理元件可以是一种集成电路,具有信号的处理能力。在实现过程中,上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如,以上这些模块可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(Application Specific Integrated Circuit,简称ASIC),或,一个或多个微处理器(digital signal processor,简称DSP),或,一个或者多个现场可编程门阵列(Field Programmable Gate Array,简称FPGA)等。再如,当以上某个模块通过处理元件调度程序代码的形式实现时,该处理元件可以是通用处理器,例如中央处理器(Central Processing Unit,简称CPU)或其它可以调用程序代码的处理器。再如,这些模块可以集成在一起,以片上系统(system-on-a-chip,简称SOC)的形式实现。
如图6所示,展示本申请一实施例中的电子终端的结构示意图。本实例提供的电子终端,包括:处理器61、存储器62、收发器63、通信接口64和系统总线65;存储器62和通信接口64通过系统总线65与处理器61和收发器63连接并完成相互间的通信,存储器62用于存储计算机程序,通信接口64和收发器63用于和其他设备进行通信,处理器61用于运行计算机程序,使电子终端执行如上遮挡检测方法的各个步骤。
上述提到的系统总线可以是外设部件互连标准(Peripheral ComponentInterconnect,简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,简称EISA)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(Random Access Memory,简称RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital Signal Processing,简称DSP)、专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
综上所述,本申请提供遮挡检测方法、系统、电子终端以及存储介质,其基于顶视深度信息的前视焦平面检测系统可以通过顶视传感器实时检测和定位场景中人群的所有头部位置,这些头部位置所处平面可以通过内外参关系转化为前置光场监控系统视角下的焦平面位置信息,用于光场渲染。此外,本申请还根据头部定位信息、顶视相机参数信息和前置光场相机参数信息,完成判断人群头部的遮挡关系,从而直接选择被遮挡位置进行光场渲染,进而达到了自适应更强,效率更高,且针对性更佳的光场渲染效果。所以,本申请有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本申请的原理及其功效,而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本申请的权利要求所涵盖。

Claims (6)

1.一种遮挡检测方法,其特征在于,包括:
获取目标对象在世界坐标系下的位置信息,并获取虚拟相机在世界坐标系下的视角信息;
根据目标对象在世界坐标系下的位置信息和虚拟相机在世界坐标系下的视角信息,判断目标对象是否被遮挡;
若被遮挡,则对该目标对象进行光场渲染处理以去除该遮挡;
其中,判断目标对象是否被遮挡的方式包括:判断虚拟相机的坐标系原点与目标对象的中心之间的视线是否被遮挡物阻隔;若被阻隔,则判断目标对象被该遮挡物所遮挡;若未被阻隔,则判断目标对象未被该遮挡物所遮挡;
目标对象在世界坐标系下的位置信息表示为:Sw={Pw|Pw=Rd·pm+td,m∈[1,M]};其中,pm表示目标对象m在相机坐标系下的位置信息;Pw表示目标对象m在世界坐标系下的位置信息;M表示区域数量;Sw表示目标对象在世界坐标系下的位置信息集合;Rd表示旋转矩阵;td表示平移矩阵;虚拟相机在世界坐标系下的视角信息表示为:坐标原点
Figure FDA0004145572370000011
坐标轴单位向量信息
Figure FDA0004145572370000012
水平视角信息θh、以及竖直视角信息θv
令目标对象的向量为向量OPcur,将向量OPcur投影到
Figure FDA0004145572370000013
平面得到向量OPh;计算向量OPh与向量
Figure FDA0004145572370000014
的夹角
Figure FDA0004145572370000015
并比较
Figure FDA0004145572370000016
与θh/2之间的大小;若
Figure FDA0004145572370000017
大于θh/2,则判断向量OPcur不落入水平视角范围内;若
Figure FDA0004145572370000018
不大于θh/2,则判断向量OPcur落入水平视角范围内;以及将向量OPcur投影到
Figure FDA0004145572370000019
平面得到向量OPv;计算向量OPv与向量
Figure FDA00041455723700000110
的夹角
Figure FDA00041455723700000111
并比较
Figure FDA00041455723700000112
与θν/2之间的大小;若
Figure FDA00041455723700000113
大于θν/2,则判断向量OPcur不落入竖直视角范围内;若
Figure FDA00041455723700000114
不大于θν/2,则判断向量OPcur落入竖直视角范围内;以及若向量OPcur落入水平视角范围内且落入竖直视角范围内,则判断向量OPcur落入虚拟相机的视角范围内;
令目标对象和遮挡物所涉半径为r,令目标对象的中心为点Pcur,令遮挡物的中心为点Pi,令原点与点Pcur之间连接的线段为L,且令点Pi至线段L的垂直距离为d;判断目标对象是否被遮挡的方式包括:判断d是否满足d≤r;若满足,则判断目标对象被遮挡物所遮挡;若不满足,则判断目标对象未被遮挡物所遮挡。
2.根据权利要求1所述的遮挡检测方法,其特征在于,所述方法包括:
判断目标对象是否在虚拟相机的视角范围内;
若目标对象在虚拟相机的视角范围内,则判断该目标对象是否被遮挡;
若目标对象不在虚拟相机的视角范围内,则不再判断该目标对象是否被遮挡。
3.根据权利要求2所述的遮挡检测方法,其特征在于,判断目标对象是否在虚拟相机的视角范围内的方式包括:
判断目标对象是否落入虚拟相机的水平视角范围内且落入虚拟相机的竖直视角范围内;
若目标对象既落入虚拟相机的水平视角范围内又落入虚拟相机的竖直视角范围内,则判断目标对象落入该虚拟相机的视角范围内。
4.一种遮挡检测系统,其特征在于,包括:
获取模块,用于获取目标对象在世界坐标系下的位置信息,并用于获取虚拟相机在世界坐标系下的视角信息;
判断模块,用于根据目标对象在世界坐标系下的位置信息和虚拟相机在世界坐标系下的视角信息,判断目标对象是否被遮挡;
处理模块,用于在目标对象被遮挡时,该目标对象进行光场渲染处理以去除该遮挡;
其中,判断目标对象是否被遮挡的方式包括:判断虚拟相机的坐标系原点与目标对象的中心之间的视线是否被遮挡物阻隔;若被阻隔,则判断目标对象被该遮挡物所遮挡;若未被阻隔,则判断目标对象未被该遮挡物所遮挡;
目标对象在世界坐标系下的位置信息表示为:Sw={Pw|Pw=Rd·pm+td,m∈[1,M]};其中,pm表示目标对象m在相机坐标系下的位置信息;Pw表示目标对象m在世界坐标系下的位置信息;M表示区域数量;Sw表示目标对象在世界坐标系下的位置信息集合;Rd表示旋转矩阵;td表示平移矩阵;虚拟相机在世界坐标系下的视角信息表示为:坐标原点
Figure FDA0004145572370000021
坐标轴单位向量信息
Figure FDA0004145572370000022
水平视角信息θh、以及竖直视角信息θv
令目标对象的向量为向量OPcur,将向量OPcur投影到
Figure FDA0004145572370000023
平面得到向量OPh;计算向量OPh与向量
Figure FDA0004145572370000024
的夹角
Figure FDA0004145572370000025
并比较
Figure FDA0004145572370000026
与θh/2之间的大小;若
Figure FDA0004145572370000027
大于θh/2,则判断向量OPcur不落入水平视角范围内;若
Figure FDA0004145572370000028
不大于θh/2,则判断向量OPcur落入水平视角范围内;以及将向量OPcur投影到
Figure FDA0004145572370000029
平面得到向量OPv;计算向量OPv与向量
Figure FDA00041455723700000210
的夹角
Figure FDA00041455723700000211
并比较
Figure FDA00041455723700000212
与θν/2之间的大小;若
Figure FDA00041455723700000213
大于θν/2,则判断向量OPcur不落入竖直视角范围内;若
Figure FDA00041455723700000214
不大于θν/2,则判断向量OPcur落入竖直视角范围内;以及若向量OPcur落入水平视角范围内且落入竖直视角范围内,则判断向量OPcur落入虚拟相机的视角范围内;
令目标对象和遮挡物所涉半径为r,令目标对象的中心为点Pcur,令遮挡物的中心为点Pi,令原点与点Pcur之间连接的线段为L,且令点Pi至线段L的垂直距离为d;判断目标对象是否被遮挡的方式包括:判断d是否满足d≤r;若满足,则判断目标对象被遮挡物所遮挡;若不满足,则判断目标对象未被遮挡物所遮挡。
5.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至3中任一项所述的遮挡检测方法。
6.一种电子终端,其特征在于,包括:处理器及存储器;
所述存储器用于存储计算机程序;
所述处理器用于执行所述存储器存储的计算机程序,以使所述终端执行如权利要求1至3中任一项所述的遮挡检测方法。
CN201811621959.1A 2018-12-28 2018-12-28 遮挡检测方法、系统、电子终端以及存储介质 Active CN111383262B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811621959.1A CN111383262B (zh) 2018-12-28 2018-12-28 遮挡检测方法、系统、电子终端以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811621959.1A CN111383262B (zh) 2018-12-28 2018-12-28 遮挡检测方法、系统、电子终端以及存储介质

Publications (2)

Publication Number Publication Date
CN111383262A CN111383262A (zh) 2020-07-07
CN111383262B true CN111383262B (zh) 2023-05-12

Family

ID=71214814

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811621959.1A Active CN111383262B (zh) 2018-12-28 2018-12-28 遮挡检测方法、系统、电子终端以及存储介质

Country Status (1)

Country Link
CN (1) CN111383262B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115220470A (zh) * 2021-09-30 2022-10-21 达闼科技(北京)有限公司 巡检方法、装置、系统、控制终端及计算机存储介质
CN114398707B (zh) * 2022-01-15 2023-03-21 清华大学 空间遮挡信息的确定方法、装置及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101312540A (zh) * 2008-07-03 2008-11-26 浙江大学 基于深度和遮挡信息的虚拟视点合成方法
WO2017092307A1 (zh) * 2015-12-01 2017-06-08 乐视控股(北京)有限公司 模型渲染方法及装置
CN107403423A (zh) * 2017-08-02 2017-11-28 清华大学深圳研究生院 一种光场相机的合成孔径去遮挡方法
CN108769462A (zh) * 2018-06-06 2018-11-06 北京邮电大学 自由视角场景漫游方法及装置
CN108898676A (zh) * 2018-06-19 2018-11-27 青岛理工大学 一种虚实物体之间碰撞及遮挡检测方法及系统
CN109003235A (zh) * 2018-06-27 2018-12-14 曜科智能科技(上海)有限公司 光场图像的校正方法、计算机可读存储介质、及电子终端

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1398601A3 (en) * 2002-09-13 2014-05-07 Canon Kabushiki Kaisha Head up display for navigation purposes in a vehicle
GB2465791A (en) * 2008-11-28 2010-06-02 Sony Corp Rendering shadows in augmented reality scenes
US20130215230A1 (en) * 2012-02-22 2013-08-22 Matt Miesnieks Augmented Reality System Using a Portable Device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101312540A (zh) * 2008-07-03 2008-11-26 浙江大学 基于深度和遮挡信息的虚拟视点合成方法
WO2017092307A1 (zh) * 2015-12-01 2017-06-08 乐视控股(北京)有限公司 模型渲染方法及装置
CN107403423A (zh) * 2017-08-02 2017-11-28 清华大学深圳研究生院 一种光场相机的合成孔径去遮挡方法
CN108769462A (zh) * 2018-06-06 2018-11-06 北京邮电大学 自由视角场景漫游方法及装置
CN108898676A (zh) * 2018-06-19 2018-11-27 青岛理工大学 一种虚实物体之间碰撞及遮挡检测方法及系统
CN109003235A (zh) * 2018-06-27 2018-12-14 曜科智能科技(上海)有限公司 光场图像的校正方法、计算机可读存储介质、及电子终端

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
武雪玲 ; 任福 ; 杜清运 ; .混合硬件跟踪定位的空间信息虚实配准.地理与地理信息科学.2010,(03),全文. *
赵于平 ; 金熙 ; 赵松年 ; .光场成像中的景深扩展方法与信息处理.现代电子技术.2016,(04),全文. *

Also Published As

Publication number Publication date
CN111383262A (zh) 2020-07-07

Similar Documents

Publication Publication Date Title
CN109737874B (zh) 基于三维视觉技术的物体尺寸测量方法及装置
US10924729B2 (en) Method and device for calibration
US9338437B2 (en) Apparatus and method for reconstructing high density three-dimensional image
CN106033621B (zh) 一种三维建模的方法及装置
JP2020535758A (ja) 画像処理方法、装置、及び、デバイス
WO2017076106A1 (zh) 图像的拼接方法和装置
WO2015164025A1 (en) Generation and use of a 3d radon image
CN108734738B (zh) 相机标定方法及装置
JP2022169723A (ja) ビジョンシステムで画像内のプローブを効率的に採点するためのシステム及び方法
CN109271923A (zh) 人脸姿态检测方法、系统、电子终端及存储介质
CN113361365B (zh) 定位方法和装置、设备及存储介质
CN113362445B (zh) 基于点云数据重建对象的方法及装置
CN111383262B (zh) 遮挡检测方法、系统、电子终端以及存储介质
WO2021056501A1 (zh) 提取特征点的方法、可移动平台及存储介质
US10529057B2 (en) Image processing apparatus and image processing method
CN111815715A (zh) 变焦云台摄像机的标定方法、装置及存储介质
CN107067441B (zh) 摄像机标定方法及装置
CN116051736A (zh) 一种三维重建方法、装置、边缘设备和存储介质
CN108229281B (zh) 神经网络的生成方法和人脸检测方法、装置及电子设备
US10306146B2 (en) Image processing apparatus and image processing method
CN112785651A (zh) 用于确定相对位姿参数的方法和装置
CN115514877B (zh) 图像处理装置和降低噪声的方法
CN111862098B (zh) 基于光场语义的个体匹配方法、装置、设备和介质
US10453183B2 (en) Image processing apparatus and image processing method
CN111489384B (zh) 基于互视角的遮挡评估方法及装置、设备、系统和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant