CN110719406B - 拍摄处理方法、拍摄设备及计算机设备 - Google Patents
拍摄处理方法、拍摄设备及计算机设备 Download PDFInfo
- Publication number
- CN110719406B CN110719406B CN201910979482.2A CN201910979482A CN110719406B CN 110719406 B CN110719406 B CN 110719406B CN 201910979482 A CN201910979482 A CN 201910979482A CN 110719406 B CN110719406 B CN 110719406B
- Authority
- CN
- China
- Prior art keywords
- guide rail
- vertical guide
- vertical
- image
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
Abstract
本申请涉及一种拍摄处理方法、拍摄设备及计算机设备,该方法包括:控制图像采集设备拍摄位于初始位置的目标对象,得到初始图像;确定初始图像中目标对象所处的目标区域与中心主图区之间的位置偏差;按照所述位置偏差,移动所述图像采集设备的位置;在移动后的图像采集设备的拍摄画面中,所述目标对象处于中心主图区;通过保持所述图像采集设备与所述目标对象之间的相对位置,控制所述图像采集设备跟踪拍摄所述目标对象;所述相对位置,由所述图像采集设备移动后的位置与所述初始位置之间相对的位置确定。本申请方案能够提高拍摄效率。
Description
技术领域
本发明涉及计算机技术领域及医疗技术领域,特别是涉及一种拍摄处理方法、拍摄设备及计算机设备。
背景技术
随着科学技术的飞速发展,拍摄处理技术被应用到越来越多的场景中。在很多拍摄场景下,被拍摄的目标对象会处于运动状态,或者,需要拍摄处于运动状态的目标对象。比如,拍摄患者的运动视频,以根据拍摄的视频中患者的运动情况,分析患者是否罹患一些疾病,比如,分析患者是否罹患帕金森病。
传统的拍摄方法中,需要人使用手持便携式拍摄设备,人为地跟随目标对象,并需要手动地寻找拍摄角度,来拍摄目标对象。传统方法这种需要人工跟随目标对象并手动调整拍摄角度的处理,导致拍摄效率比较低。
发明内容
基于此,有必要针对传统方法拍摄效率比较低的问题,提供一种拍摄处理方法、拍摄设备及计算机设备。
一种拍摄处理方法,所述方法包括:
控制图像采集设备拍摄位于初始位置的目标对象,得到初始图像;
确定初始图像中目标对象所处的目标区域与中心主图区之间的位置偏差;
按照所述位置偏差,移动所述图像采集设备的位置;在移动后的图像采集设备的拍摄画面中,所述目标对象处于中心主图区;
通过保持所述图像采集设备与所述目标对象之间的相对位置,控制所述图像采集设备跟踪拍摄所述目标对象;所述相对位置,由所述图像采集设备移动后的位置与所述初始位置之间相对的位置确定。
在一个实施例中,所述通过保持所述图像采集设备与所述目标对象之间的相对位置,控制所述图像采集设备跟踪拍摄所述目标对象包括:
当所述目标对象按预设路径运动时,则控制所述图像采集设备以所述移动后的位置为中心,跟随所述目标对象的运动而旋转,并在跟随过程中拍摄所述目标对象;
其中,预设路径,为以所述移动后的位置为圆心,所述移动后的位置与所述初始位置之间的距离为半径的环形路径;在跟随拍摄得到的各图像中,所述目标对象位于中心主图区。
在一个实施例中,所述按照所述位置偏差,移动所述图像采集设备的位置包括:
按照所述位置偏差,控制所述图像采集设备沿组合导轨移动至第一位置;在所述图像采集设备处于所述第一位置时的拍摄画面中,所述目标对象处于中心区域;
确定所述目标对象在所述第一位置处的拍摄画面中的画面占比;
按照所述画面占比,控制所述图像采集设备沿所述组合导轨,从所述第一位置移动至第二位置;在所述图像采集设备处于第二位置时的拍摄画面中,所述目标对象处于中心主图区。
在一个实施例中,所述位置偏差包括水平位置偏差和垂直位置偏差;所述组合导轨包括水平导轨和垂直导轨;所述垂直导轨垂直连接于所述水平导轨、且能够在所述水平导轨上滑动;
所述按照所述位置偏差,控制所述图像采集设备沿组合导轨移动至第一位置包括:
按照所述水平位置偏差和所述垂直位置偏差,分别控制所述图像采集设备沿所述水平导轨和垂直导轨,在水平方向和垂直方向进行移动,到达第一位置。
在一个实施例中,所述组合导轨还包括竖直导轨;所述竖直导轨垂直连接于所述垂直导轨、且能够在所述垂直导轨上滑动;所述图像采集设备设置于所述竖直导轨;
所述按照所述水平位置偏差和所述垂直位置偏差,分别控制所述图像采集设备沿所述水平导轨和垂直导轨,在水平方向和垂直方向进行移动包括:
按照所述水平位置偏差,控制所述垂直导轨沿所述水平导轨滑动,通过滑动的垂直导轨带动与所述垂直导轨连接的竖直导轨移动,以使设置于所述竖直导轨上的图像采集设备在水平方向上移动;
按照所述垂直位置偏差,控制所述竖直导轨沿所述垂直导轨滑动,以使设置于所述竖直导轨上的图像采集设备在垂直方向上移动。
在一个实施例中,所述图像采集设备能够沿所述竖直导轨滑动;
所述按照所述画面占比,控制所述图像采集设备沿所述组合导轨,从所述第一位置移动至第二位置包括:
按照所述画面占比,控制所述图像采集设备沿所述竖直导轨,从所述第一位置滑动至第二位置。
在一个实施例中,所述按照所述水平位置偏差,控制所述垂直导轨沿所述水平导轨滑动包括:
按照所述水平位置偏差,控制水平驱动设备沿所述水平导轨移动,以驱动所述垂直导轨沿所述水平导轨移动;所述垂直导轨通过所述水平驱动设备与所述水平导轨垂直连接;和/或,
所述按照所述垂直位置偏差,控制所述竖直导轨沿所述垂直导轨滑动包括:
按照所述垂直位置偏差,控制垂直驱动设备沿所述垂直导轨移动,以驱动所述竖直导轨沿所述垂直导轨滑动;所述竖直导轨通过所述垂直驱动设备与所述垂直导轨垂直连接;和/或,
所述控制所述图像采集设备沿所述竖直导轨,从所述第一位置滑动至第二位置包括:
控制竖直驱动设备沿所述竖直导轨移动,以驱动所述图像采集设备沿所述竖直导轨,从所述第一位置滑动至第二位置;所述图像采集设备通过所述竖直驱动设备与所述竖直导轨连接。
在一个实施例中,所述竖直导轨通过垂直驱动设备与所述垂直导轨之间建立垂直连接;
所述通过保持所述图像采集设备与所述目标对象之间的相对位置,控制所述图像采集设备跟踪拍摄所述目标对象包括:
当所述目标对象按预设路径运动时,则保持所述图像采集设备处于所述竖直导轨上的所述第二位置,且通过控制所述垂直驱动设备驱动所述竖直导轨跟随所述目标对象的运动而旋转,以使所述图像采集设备跟随所述目标对象的运动而旋转;
其中,预设路径,为以所述第二位置为圆心,所述第二位置与所述初始位置之间的距离为半径的环形路径。
在一个实施例中,所述确定初始图像中目标对象所处的目标区域与中心主图区之间的位置偏差包括:
对所述初始图像进行卷积处理,得到所述初始图像的特征图;
确定所述特征图中各候选对象所占据的候选区域;
对各所述候选区域分别进行分类处理和线性回归处理,以识别属于目标对象的候选区域、以及确定所识别出的所述候选区域所对应的位置坐标;
根据所述位置坐标,从所述初始图像中检测出目标区域。
在一个实施例中,各所述候选区域的边界长度为浮点数值;所述对各所述候选区域分别进行分类处理和线性回归处理包括:
将每个候选区域均匀分割,得到单元格;各单元格的边界长度为浮点数值;
在每个单元格中选取采样点,并确定各采样点的浮点特征值;
池化同一单元格内的采样点的浮点特征值,得到各单元格的浮点特征值;
将同一候选区域中单元格的浮点特征值进行线性回归,得到所述候选区域的位置坐标。
在一个实施例中,所述控制所述图像采集设备跟踪拍摄所述目标对象包括:
当从所述图像采集设备所拍摄的同一图像中,检测到多个属于目标类别的疑似对象时,则从所述图像中提取各疑似对象的对象特征图;所述目标类别是目标对象所属的类别;
将各对象特征图分别与预存储的目标对象特征图进行特征相似度比对;
判定相似度最高的对象特征图所对应的疑似对象为目标对象;
继续通过保持所述相对位置,控制图像采集设备跟踪拍摄所述目标对象。
一种拍摄处理装置,所述装置包括:
图像获取模块,用于控制图像采集设备拍摄位于初始位置的目标对象,得到初始图像;
位置调整模块,用于确定初始图像中目标对象所处的目标区域与中心主图区之间的位置偏差;按照所述位置偏差,移动所述图像采集设备的位置;在移动后的图像采集设备的拍摄画面中,所述目标对象处于中心主图区;
跟踪拍摄模块,用于通过保持所述图像采集设备与所述目标对象之间的相对位置,控制所述图像采集设备跟踪拍摄所述目标对象;所述相对位置,由所述图像采集设备移动后的位置与所述初始位置之间相对的位置确定。
一种拍摄设备,包括处理器和图像采集设备;
所述处理器,用于控制图像采集设备拍摄位于初始位置的目标对象,得到初始图像;
所述处理器还用于确定初始图像中目标对象所处的目标区域与中心主图区之间的位置偏差;按照所述位置偏差,移动所述图像采集设备的位置;在移动后的图像采集设备的拍摄画面中,所述目标对象处于中心主图区;
所述处理器还用于通过保持所述图像采集设备与所述目标对象之间的相对位置,控制所述图像采集设备跟踪拍摄所述目标对象;所述相对位置,由所述图像采集设备移动后的位置与所述初始位置之间相对的位置确定。
一种拍摄设备,包括计算机设备、图像采集设备和至少一个导向组件;
所述计算机设备和所述图像采集设备之间电性连接;所述图像采集设备滑动连接于所述导向组件;
所述计算机设备,用于控制所述图像采集设备跟随目标对象的移动,在所述导向组件上滑动,以跟踪拍摄目标对象。
一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行本申请各实施例所述的拍摄处理方法中的步骤。
一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行本申请各实施例所述的拍摄处理方法中的步骤。
上述拍摄处理方法、拍摄设备及计算机设备,自动检测分析初始图像中目标对象所处的目标区域与中心主图区之间的位置偏差,并按照该位置偏差,自动地移动所述图像采集设备的位置,以自动调整图像采集设备的拍摄角度,从而将目标对象调整至图像采集设备的拍摄画面的中心主图区,使目标对象在拍摄画面中占据主要区域。由于,基于调整后的图像采集设备的位置和目标对象所处的初始位置之间的相对位置,能够保持目标对象在拍摄画面中占据中心主图区,进而自动控制图像采集设备跟踪拍摄目标对象时,保持图像采集设备和目标对象之间满足该相对位置条件,使得跟踪拍摄的图像中目标对象处于中心主图区。进而,实现了高质量的自动化的跟踪拍摄,相较于传统方法提高了拍摄效率。
附图说明
图1为一个实施例中拍摄处理方法的应用场景图;
图2为一个实施例中拍摄处理方法的流程示意图;
图3为一个实施例中拍摄处理方法的流程简示图;
图4为一个实施例中拍摄处理方法的场景示意图;
图5至图6为一个实施例中图像采集设备位置调整的拍摄画面示意图;
图7为一个实施例中调整图像采集设备位置后的拍摄画面效果示意图;
图8为一个实施例中图像采集设备位置调整的示意图;
图9为一个实施例中跟踪拍摄的示意图;
图10为一个实施例中检测目标区域的原理示意图;
图11为一个实施例中特征提取的原理示意图;
图12为一个实施例中传统方法整数化示意图;
图13为一个实施例中保留浮点数值的计算示意图;
图14为一个实施例中跟踪拍摄的原理示意图;
图15为一个实施例中提取对象特征图的原理示意图;
图16为一个实施例中拍摄处理装置的框图;
图17为一个实施例中计算机设备的框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
图1为一个实施例中拍摄处理方法的应用场景图。参照图1,该应用场景中包括计算机设备110、图像采集设备120和目标对象130。其中,计算机设备110与图像采集设备120之间建立通信连接,计算机设备110能够通过建立的通信连接控制图像采集设备120拍摄图像且能够直接或间接控制图像采集设备120移动。计算机设备110可以通过有线网络、无线网络或蓝牙等方式与图像采集设备120之间建立通信连接。
可以理解,计算机设备110具有计算处理功能,进而能够进行计算处理且能够发送控制指令。图像采集设备120是具备图像采集功能的设备。可以理解,图像采集设备120可以是用于进行图像采集处理的专用设备,比如,独立摄像机。图像采集设备120也可以是集成有图像采集模块的设备,比如,带有摄像头的人工智能(AI)医疗检测仪、智能电视机、台式计算机或移动终端等至少一种。移动终端可以包括手机、平板电脑、笔记本电脑、个人数字助理和穿戴式设备等中的至少一种。
其中,人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。可以理解,带有摄像头的人工智能(AI)医疗检测仪,能够通过执行本申请各实施例中的拍摄处理方法,自动地实现对患者的跟踪拍摄,进而可以得到患者的运动视频。这正是能以人类智能相似的方式做出反应的智能机器。
在目标对象130位于初始位置时,计算机设备110可以控制图像采集设备120拍摄初始图像,并检测目标对象130在所述初始图像中所处的目标区域。计算机设备110可以确定所述目标区域与所述初始图像的中心主图区之间的位置偏差。计算机设备110可以按照所述位置偏差,移动所述图像采集设备120的位置;在移动后的图像采集设备的拍摄画面中,所述目标对象处于中心主图区。可以理解,移动后的图像采集设备进行拍摄时,目标对象处于初始位置。目标对象130可以沿着箭头标注的方向,环绕图像采集设备120运动,那么,计算机设备110可以通过保持图像采集设备120与目标对象之间的相对位置,控制图像采集设备120跟踪拍摄目标对象。即,目标对象130环绕图像采集设备120运动时,计算机设备130可以控制图像采集设备120跟随目标对象130的运动而旋转,以跟踪拍摄目标对象130;该相对位置,由图像采集设备移动后的位置与所述初始位置之间相对的位置确定。
需要说明的是,图1示出的仅为一种目标对象130环绕图像采集设备120运动的应用场景,目标对象130也可以不环绕图像采集设备120运动,计算机设备130仍然可以控制图像采集设备120跟随目标对象130的运动而运动。
图2为一个实施例中拍摄处理方法的流程示意图。本实施例中的该拍摄处理方法可以应用于计算机设备,现主要以图1中的计算机设备110进行举例说明。参照图2,该方法具体包括如下步骤:
S202,控制图像采集设备拍摄位于初始位置的目标对象,得到初始图像。
其中,图像采集设备,是具备图像采集功能的设备。初始图像,是图像采集设备在被移动位置进行拍摄角度纠正之前,所拍摄的图像。初始位置,是指在拍摄初始图像时,目标对象所位于的位置。
具体地,计算机设备可以向图像采集设备发送图像采集指令,通过图像采集指令控制图像采集设备拍摄初始图像。
S204,确定初始图像中目标对象所处的目标区域与中心主图区之间的位置偏差。
其中,目标对象,是需要跟踪拍摄的对象。目标对象所处区域,是目标对象在初始图像中所位于的目标区域。中心主图区,是指在初始图像中占据主图位置且处于图像中心位置的区域。主图位置,是指在初始图像中占据主要图像内容。可以理解,一幅图像中可以包括多个对象,但是,很多对象是充当背景作用的,在图像中充当前景的用于体现主要图像内容,即为主图内容。
在一个实施例中,目标对象可以是人、动物、交通工具或物品等中的至少一种。
在一个实施例中,步骤S204包括:检测目标对象在初始图像中所处的目标区域;确定目标区域与初始图像的中心主图区之间的位置偏差。
具体地,计算机设备可以对初始图像进行目标对象检测处理,以从中检测出目标对象所位于的目标区域。
可以理解,在调整、纠正图像采集设备的拍摄角度之前,图像采集设备所拍摄的初始图像中可能不存在目标对象。那么,当检测到目标对象时,则执行步骤S204及后续步骤,当未检测到目标对象时,则可以直接结束或生成针对目标对象的提示信息。
在一个实施例中,当在初始图像中未检测到目标对象时,计算机设备可以输出提示信息,以指示目标对象调整位置,以使图像采集设备能够采集到包括目标对象的图像。
在一个实施例中,计算机设备可以输出语音提示信息,该语音提示信息用于指示目标对象调整至能够被图像采集设备所采集到的位置。可以理解,在其他实施例中,计算机设备也可以输出文字或者图示形式的提示信息。
可以理解,由于在调整、纠正图像采集设备的拍摄角度之前,图像采集设备可能由于拍摄角度的问题,导致所拍摄的初始图像中存在目标区域所处的位置比较偏或者拍摄的目标对象不完整等问题。所以,初始图像中检测的目标区域与初始图像的中心主图区之间存在位置偏差。
在一个实施例中,计算机设备可以确定目标区域在初始图像中的位置坐标,与初始图像中的中心主图区的位置坐标之间的差值,得到目标区域与初始图像的中心主图区之间的位置偏差。
S206,按照位置偏差,移动图像采集设备的位置;在移动后的图像采集设备的拍摄画面中,所述目标对象处于中心主图区。
其中,移动后的图像采集设备处于移动后的位置。移动后的位置,是指图像采集设备按照位置偏差移动后所处的位置。移动后的图像采集设备的拍摄画面,是指图像采集设备处于移动后的位置时的拍摄画面。
可以理解,在移动后的图像采集设备拍摄目标对象时,目标对象仍处于初始位置。这样一来,根据位置偏差调整图像采集设备的位置之后,才能够在图像采集设备处于移动后的位置时的拍摄画面中,使目标对象处于中心主图区。
具体地,计算机设备可以按照位置偏差,控制图像采集设备的位置发生移动,以对图像采集设备的位置进行矫正,从而调整图像采集设备的拍摄角度,并在图像采集设备处于移动后的位置时调整该图像采集设备的焦距。
在一个实施例中,当图像采集设备具备自动变焦功能时,计算机设备则可以直接按照位置偏差,移动图像采集设备的位置,以调整图像采集设备的拍摄角度,由图像采集设备自动调整在移动后的位置处的焦距。
在一个实施例中,当图像采集设备不具备自动变焦功能时,计算机设备则可以在图像采集设备处于移动后的位置时,发送焦距调整指令,以控制图像采集设备根据所处的位置调整焦距。
可以理解,位置偏差是初始图像中目标区域与中心主图区之间的位置偏差,所以,按照位置偏差移动图像采集设备的位置,以矫正拍摄角度,能够使得图像采集设备在移动后的位置的拍摄画面中,目标对象处于中心主图区。即,图像采集设备在处于移动后的位置进行拍摄时,目标对象能够位于所拍摄画面的中心主图区。
需要说明的是,计算机设备可以按照位置偏差,直接或间接移动图像采集设备的位置。
在一个实施例中,图像采集设备自身可以具备移动能力,计算机设备则可以直接控制图像采集设备自身,按照该位置偏差,移动其位置。
比如,图像采集设备可以是能够进行移动的具有图像采集功能的智能机器人。那么,计算机设备则可以控制该智能机器人按照位置偏差进行移动。该智能机器人于移动后的位置处进行拍摄时,目标对象能够位于该智能机器人所拍摄画面的中心主图区。
在一个实施例中,图像采集设备自身不具备移动能力。那么,计算机设备可以控制承载于该图像采集设备的驱动设备运动,以驱动该图像采集设备移动。
比如,驱动设备可以是电机,则可以通过电机承载图像采集设备,计算机设备可以控制电机运动,以带动图像采集设备移动位置。
S208,通过保持图像采集设备与目标对象之间的相对位置,控制图像采集设备跟踪拍摄目标对象。
其中,相对位置,是由图像采集设备移动后的位置与初始位置之间相对的位置确定。这里,初始位置,是指拍摄初始图像时目标对象所处的位置,也相当于在图像采集设备移动停止时,目标对象所处的位置。
可以理解,将图像采集设备调整到移动后的位置之后,该图像采集设备在该移动后的位置处的拍摄,就能够让目标对象处于拍摄画面的中心主图区。说明,在满足移动后的位置和初始位置之间的相对位置时,图像采集设备能够拍摄到目标对象位于中心主图区的图像。即,该相对位置,用于保证图像采集设备拍摄到目标对象位于中心主图区的图像。
因此,当目标对象发生运动时,计算机设备可以保持图像采集设备与目标对象之间的相对位置,控制图像采集设备跟踪拍摄目标对象。这样一来,在图像采集设备跟踪拍摄的图像中,目标对象仍能够处于中心主图区。需要说明的是,目标对象发生运动,是指能够造成目标对象的位置发生变化的任何形式的动作。并不限定于幅度比较大的动作,还可以是行走等幅度比较小的动作。
图像采集设备跟踪拍摄目标对象,可以得到关于目标对象的视频,也可以得到包括目标对象的多个图片。可以理解,当目标对象发生运动时,跟踪拍摄可以得到目标对象的运动视频。即,通过视频记录目标对象的运动情况或运动数据。
可以理解,移动后的位置与初始位置之间的相对位置,包括相对距离和相对角度。比如,当目标对象绕着图像采集设备运动时,则两者之间的相对角度发生变化,则可以控制图像采集设备旋转,以保持之前的相对角度。又比如,当目标对象远离图像采集设备运动时,则可以控制图像采集设备朝向目标对象运动,以保持两者之间的相对距离不变。再比如,当目标对象绕着图像采集设备进行既引起相对角度变化的运动、又引起相对距离变化的运动时,则可以控制图像采集设备既旋转又移动位置,以保持和目标对象之间的相对距离和相对角度不变。
可以理解,在控制图像采集设备跟踪拍摄目标对象时,为了保证正确拍摄到目标对象,则需要对目标对象进行重识别处理。
图3为一个实施例中拍摄处理方法的流程简示图。需要说明的是,图3是以医疗场景下拍摄患者视频为例进行说明,则目标对象为患者。参照图3,当计算机设备启动后,它将连接相机,语音提示患者站在设备前适当位置,拍摄初始图像,使用目标检测算法检测图像中的患者。当未检测到患者时,计算机设备则可以通过语音提示患者调整位置,并重新拍摄初始图像。当检测到患者后,使用相机位置矫正算法,自动调整设备拍摄角度和相机焦距。相机调整完毕后,语音提示需要拍摄的动作和动作描述,自主启动运动视频拍摄功能以启动录像拍摄,并语音提示患者开始动作。通过实时目标重识别算法跟踪拍摄患者的运动(行走)视频,同时开启计时软件进行录像计时。根据设定的拍摄时间,录像结束(即完成视频拍摄)后提示患者停止动作。计算机设备自动命名并保存视频,完成该阶段视频拍摄任务。需要说明的是,即使目标对象为患者,该拍摄处理方法并不属于疾病诊断和治疗的方法,仅是拍摄患者的视频。
图4为一个实施例中拍摄处理方法的场景示意图。参照图4,初始图像402中目标对象404所属的目标区域(图中方框所示区域)位于画面的边缘地方,不利于拍摄完整性和拍摄准确性,所以,通过位置偏差对相机位置和焦距进行调整。在所述图像采集设备处于移动后的位置时的拍摄画面406中,所述目标对象404处于中心主图区,从而保证拍摄效果。进而,可以跟踪拍摄目标对象404,在跟踪拍摄的图像408中,目标对象404处于中心主图区。
上述拍摄处理方法,自动检测分析初始图像中目标对象所处的目标区域与中心主图区之间的位置偏差,并按照该位置偏差,自动地移动所述图像采集设备的位置,以自动调整图像采集设备的拍摄角度,从而将目标对象调整至图像采集设备的拍摄画面的中心主图区,使目标对象在拍摄画面中占据主要区域。由于,基于调整后的图像采集设备的位置和目标对象所处的初始位置之间的相对位置,能够保持目标对象在拍摄画面中占据中心主图区,进而自动控制图像采集设备跟踪拍摄目标对象时,保持图像采集设备和目标对象之间满足该相对位置条件,使得跟踪拍摄的图像中目标对象处于中心主图区。进而,实现了高质量的自动化的跟踪拍摄,相较于传统方法提高了拍摄效率。
其次,传统通过手持便携式设备拍摄的方法,会产生抖动问题,导致拍摄质量比较低,所以,本申请的自动拍摄方案的拍摄画面更稳定,拍摄质量更高。
此外,需要说明的是,当本申请的拍摄处理方案应用于医学检测场景中,拍摄患者运动视频时,则更是带来了突出效果。因为,在医学领域,大多是通过传统的传感器来进行获取运动数据,而无法直接获取患者的图像信息。而且,通过传感器获取运动数据,对设备的硬件型号和软件版本等要求比较高,导致成本比较高。
最后,本申请方案在拍摄目标对象时,不需要目标对象去除遮蔽物,而且对场地和设备的成本要求比较低,节省了成本。
在一个实施例中,步骤S208包括:当目标对象按预设路径运动时,则控制图像采集设备以移动后的位置为中心,跟随目标对象的运动而旋转,并在跟随过程中拍摄目标对象。
其中,预设路径,是以移动后的位置为圆心,以移动后的位置与初始位置之间的距离为半径的环形路径。
可以理解,目标对象按照该预设路径运动时,能够保持与图像采集设备之间的相对距离不变,那么,图像采集设备则可以以移动后的位置为中心,跟随目标对象的运动进行旋转,以维持与图像采集设备之间的相对角度,从而维持图像采集设备与目标对象之间的相对位置,进而,能够跟踪拍摄到目标对象位于中心主图区的图像。
上述实施例中,当目标对象按预设路径运动时,则可以通过原地旋转图像采集设备的方式跟踪拍摄,节省了能耗,提高了拍摄效率。
在一个实施例中,步骤S206中按照位置偏差,移动图像采集设备的位置包括:按照位置偏差,控制图像采集设备沿组合导轨移动至第一位置;在图像采集设备处于第一位置时的拍摄画面中,目标对象处于中心区域;确定目标对象在第一位置处的拍摄画面中的画面占比;按照画面占比,控制图像采集设备沿组合导轨,从第一位置移动至第二位置;在图像采集设备处于第二位置时的拍摄画面中,目标对象处于中心主图区。
其中,组合导轨,是至少两个导轨所形成的组合。画面占比,是目标对象在拍摄画面中所占据的画面内容的比例。中心区域,是处于拍摄画面的中心位置的区域。图像采集设备可以直接或间接地在组合导轨上移动。
可以理解,中心区域和中心主图区有区别,中心区域的范围小于中心主图区。比如,一个对象处于拍摄画面的中心位置,那么,其就位于拍摄画面的中心区域,但是,如果该对象在拍摄画面中所占据的画面内容比较小,即使该对象位于中心区域,也不属于中心主图区。
在一个实施例中,位置偏差包括水平位置偏差和垂直位置偏差。计算机设备则可以按照水平位置偏差和垂直位置偏差,控制图像采集设备沿组合导轨移动至第一位置,以使目标对象位于图像采集设备在第一位置时的拍摄画面的中心区域。
计算机设备可以确定目标对象在第一位置处的拍摄画面中的画面占比;按照画面占比,控制图像采集设备沿组合导轨从第一位置移动至第二位置,以使目标对象位于图像采集设备在第二位置时的拍摄画面的中心主图区。
在一个实施例中,画面占比包括目标对象距拍摄画面的边缘之间的第一距离。计算机设备可以根据第一距离和预设的调整系数,确定图像采集设备在沿靠近或远离目标对象的方向所需要移动的第二距离。其中,预设的调整系数可以根据实验确定,属于经验值。
在一个实施例中,第一距离包括患者距拍摄画面宽边的距离和距拍摄画面长边的距离。可以理解,这些距离可以为像素距离。假设,画面长宽分别为W和H,此时第二距离(即需要使设备沿靠近或远离患者的方向移动距离)为M(cm),则:
M=0.8·Dw·α(Dw<Dh)
或
M=0.8·Dh·α(Dh<Dw)
其中,Dw为患者距画面的宽边W的距离,Dh为患者距画面的长边的距离;α为第二距离与画面调整距离之间的系数,该系数通过实验确定。
图5和图6为一个实施例中图像采集设备位置调整的拍摄画面示意图。参照图5,计算目标区域与图像画面的位置偏差。图中502表示相机位置调整前所摄画面中的患者(即目标对象),其中圆形504表示相机画面中心,虚线矩形框表示目标检测算法锁定的患者位置,中间棱形用于表征患者位置中心。由500可知,患者位置与相机画面中心的水平位置偏差(即水平偏移距离)为d1,垂直位置偏差(即垂直偏移距离)为d2。因此,需要控制相机水平方向上移动d1距离,垂直方向上移动d2距离,得到新的相机画面,如510所示,其中512为相机位置调整后所摄画面中的患者,此时患者位置中心(即棱形所示)与相机画面中心重叠,说明此时患者位于拍摄画面中心,即位于中心区域。
由于经过图5中对相机拍摄角度的调整,患者已位于相机画面中央位置,此时需要进一步调整相机中患者的大小,因此,通过计算患者在所摄画面中的画面占比,控制相机远离或靠近患者。可以理解,当患者画面太大(出镜)时,则可以控制相机远离患者,并调整相机焦距;当患者在画面中的画面占比太小,则可以控制相机靠近患者,调整相机焦距。需要说明的是,如何对相机的距离进行调整,可以根据画面占比来确定具体的调整数值。
可以理解,图5所示的510中,就属于患者离相机太远,患者的画面占比太小的情况,此时通过控制相机靠近患者,并调整相机焦距,即得到如图6所示的更清晰的患者画面。图6中,患者位于拍摄画面的中心主图区。即,占据拍摄画面的主要区域。如图6所示,假设是通过控制相机在Z轴(即竖直方向)上移动来实现远离或靠近患者,那么,则可以通过沿Z轴移动相机并调整相机焦距,来调整患者至拍摄画面的中心主图区。其中,Dw为患者距画面的宽边W的距离,Dh为患者距画面的长边的距离;W为画面宽度,H为画面长度。
图7为一个实施例中调整图像采集设备位置后的拍摄画面效果示意图。参照图7,图7中的702即为图像采集设备位置调整之前的初始图像,在初始图像中,目标对象处于边缘位置,不利于后续的拍摄和检测处理。通过对图像采集设备进行位置调整之后,拍摄得到704所示的拍摄画面,在该拍摄画面中,目标对象处于中心主图区。
上述实施例中,通过控制图像采集设备在组合导轨上的移动,将目标对象调整至拍摄画面的中心主图区,使得拍摄画面的质量更高。此外,通过组合导轨辅助的方式,而不需要让图像采集设备自身具备移动能力,降低了硬件要求,节省了成本。
在一个实施例中,位置偏差包括水平位置偏差和垂直位置偏差;组合导轨包括水平导轨和垂直导轨;垂直导轨垂直连接于水平导轨、且能够在水平导轨上滑动。本实施例中,步骤按照位置偏差,控制图像采集设备沿组合导轨移动至第一位置包括:按照水平位置偏差和垂直位置偏差,分别控制图像采集设备沿水平导轨和垂直导轨,在水平方向和垂直方向进行移动,到达第一位置。
其中,水平导轨,是处于水平方向的导轨。通过在水平导轨上的滑动,能够实现在水平方向上的移动。垂直导轨,是处于垂直方向的导轨。通过在垂直导轨上的滑动,能够实现在垂直方向上的移动。垂直导轨垂直连接于水平导轨、且能够在水平导轨上滑动。水平导轨可以是位置固定的,也可以是位置活动的,对此不限定。
在一个实施例中,水平导轨可以为一个或多个导轨。即可以通过单个或多个水平导轨实现在水平方向上的移动。
具体地,计算机设备可以按照水平位置偏差,控制图像采集设备沿水平导轨在水平方向上进行移动,以及按照垂直位置偏差,控制图像采集设备沿垂直导轨在垂直方向进行移动,以使处于移动后的第一位置的图像采集设备的拍摄画面中,目标对象处于中心区域。
上述实施例中,结合比较简单常见的水平导轨和垂直导轨,控制图像采集设备沿水平导轨和垂直导轨,在水平方向和垂直方向进行移动,以调整目标对象位于中心区域,而不需要很复杂的方式,提高了效率,且节省了成本。
在一个实施例中,组合导轨还包括竖直导轨;竖直导轨垂直连接于垂直导轨、且能够在垂直导轨上滑动;图像采集设备设置于竖直导轨。本实施例中,按照水平位置偏差和垂直位置偏差,分别控制图像采集设备沿水平导轨和垂直导轨,在水平方向和垂直方向进行移动包括:按照水平位置偏差,控制垂直导轨沿水平导轨滑动,通过滑动的垂直导轨带动与垂直导轨连接的竖直导轨移动,以使设置于竖直导轨上的图像采集设备在水平方向上移动;按照垂直位置偏差,控制竖直导轨沿垂直导轨滑动,以使设置于竖直导轨上的图像采集设备在垂直方向上移动。
其中,竖直导轨,是处于竖直方向的导轨。通过在竖直导轨上的滑动,能够实现在竖直方向上的移动。竖直导轨垂直连接于垂直导轨、且能够在垂直导轨上滑动。可以理解,竖直导轨由于处于竖直方向,所以,其也垂直于水平导轨和竖直导轨所位于的平面。图像采集设备可以滑动连接或固定连接于竖直导轨。组合导轨中的各个导轨可以是固形的,也可以是可伸缩的。
在一个实施例中,图像采集设备能够沿竖直导轨滑动。本实施例中,按照画面占比,控制图像采集设备沿组合导轨,从第一位置移动至第二位置包括:按照画面占比,控制图像采集设备沿竖直导轨,从第一位置滑动至第二位置。
可以理解,图像采集设备在第二位置处的拍摄画面中,目标对象位于中心主图区。即,通过按照画面占比,控制图像采集设备沿竖直导轨滑动,以通过调整图像采集设备与目标对象之间的距离远近,使目标对象由位于拍摄画面的中心区域调整到位于中心主图区。即,调整目标对象在拍摄画面中的占比,使之称为拍摄画面中的中心主图区。
在一个实施例中,各个导轨或图像采集设备的滑动或移动,可以通过自身直接实现,也可以通过驱动设备驱动实现。
为了便于理解,现结合图8进行解释说明。图8为一个实施例中图像采集设备位置调整的示意图。参照图8,高清摄像头即为图像采集设备,电脑模组即用于执行本申请各实施例中的拍摄处理方法。序号1~4即为4个可编程电机(即驱动设备),A~D即为4条导轨,构成组合导轨。导轨A和B为水平导轨,导轨C为垂直导轨,导轨D为竖直导轨。其中,垂直导轨C分别通过电机1和2垂直前后滑动连接于水平导轨A和B,可以通过电机1和2,沿着水平导轨A和B前后滑动。竖直导轨D通过电机3与垂直导轨C垂直前后滑动连接,能够通过电机3,沿着垂直导轨C前后滑动。高清摄像头通过电机4前后滑动连接于竖直导轨D,能够通过电机4的驱动,沿着竖直导轨D前后滑动。
结合图8,电脑模组可以按照水平位置偏差,控制垂直导轨C沿水平导轨A和B滑动,通过移动的垂直导轨C带动与垂直导轨C连接的竖直导轨D移动,以使设置于竖直导轨D上的高清摄像头(即图像采集设备)在水平方向上移动。从而将目标对象调整至图像采集设备的拍摄画面的中心区域。电脑模组可以按照垂直位置偏差,控制竖直导轨D沿垂直导轨C滑动,以使设置于竖直导轨D上的高清摄像头(即图像采集设备)在垂直方向上移动。
上述实施例中,结合水平、垂直以及竖直导轨之间的滑动连接,自动地控制图像采集设备调整到合适的位置,对硬件成本要求比较低,降低了成本,且提高了拍摄效果及拍摄效率。
在一个实施例中,按照水平位置偏差,控制垂直导轨沿水平导轨滑动包括:按照水平位置偏差,控制水平驱动设备沿水平导轨移动,以驱动垂直导轨沿水平导轨移动。
可以理解,垂直导轨通过水平驱动设备与水平导轨垂直连接。水平驱动设备,是能够沿水平导轨移动、且用于驱动在水平方向上的运动的设备。
那么,计算机设备可以按照水平位置偏差,控制水平驱动设备沿水平导轨移动,从而驱动垂直导轨沿水平导轨移动。
在一个实施例中,按照垂直位置偏差,控制竖直导轨沿垂直导轨滑动包括:按照垂直位置偏差,控制垂直驱动设备沿垂直导轨移动,以驱动竖直导轨沿垂直导轨滑动。
其中,竖直导轨通过垂直驱动设备与垂直导轨垂直连接。垂直驱动设备,是能够沿垂直导轨移动、且用于驱动在垂直方向上的运动的设备。
那么,计算机设备可以按照垂直位置偏差,控制垂直驱动设备沿垂直导轨移动。由于竖直导轨通过垂直驱动设备与垂直导轨垂直连接,所以,垂直驱动设备沿垂直导轨移动,则会带动竖直导轨沿所述垂直导轨滑动。
在一个实施例中,按照所述画面占比,控制图像采集设备沿竖直导轨,从第一位置滑动至第二位置包括:按照所述画面占比,控制竖直驱动设备沿竖直导轨移动,以驱动图像采集设备沿竖直导轨,从第一位置滑动至第二位置。
其中,图像采集设备通过竖直驱动设备与竖直导轨连接。所以,按照画面占比,控制竖直驱动设备沿竖直导轨移动,则能够驱动图像采集设备沿竖直导轨,从第一位置滑动至第二位置。
上述实施例中,通过导轨之间的滑动连接,自动地控制图像采集设备调整到合适的位置,对硬件成本要求比较低,降低了成本,且提高了拍摄效果及拍摄效率。
在一个实施例中,竖直导轨通过垂直驱动设备与垂直导轨之间建立垂直连接。通过保持图像采集设备与目标对象之间的相对位置,控制图像采集设备跟踪拍摄目标对象包括:当目标对象按预设路径运动时,则保持图像采集设备处于竖直导轨上的第二位置,且通过控制垂直驱动设备驱动竖直导轨跟随目标对象的运动而旋转,以使图像采集设备跟随目标对象的运动而旋转;其中,预设路径,为以第二位置为圆心,第二位置与初始位置之间的距离为半径的环形路径。
其中,垂直驱动设备,是具备旋转功能的驱动设备。比如,具有旋转功能的电机。
可以理解,竖直导轨通过垂直驱动设备与垂直导轨之间建立垂直连接。那么,通过垂直驱动设备的旋转,能够驱动竖直导轨的旋转。而由于图像采集设备设置于竖直导轨上,所以,通过竖直导轨的旋转,能够带动图像采集设备旋转。
可以理解,当目标对象按预设路径运动时,不会改变目标对象与图像采集设备之间的相对距离,仅会改变目标对象与图像采集设备之间的相对角度。由于相对距离并未改变,所以,计算机设备可以保持图像采集设备处于竖直导轨上的第二位置,以继续保持相对距离不变,进一步地,通过控制垂直驱动设备驱动竖直导轨跟随目标对象的运动而旋转,以使图像采集设备跟随目标对象的运动而旋转。
可以理解,这里“第二位置”即为移动后的位置。
同样结合图8进行举例说明。参照图8,电机3具备旋转功能,能够在垂直导轨C中旋转360度。可以理解,电机1和2即为水平驱动设备,电机3即为垂直驱动设备,电机4即为竖直驱动设备。电脑模组可以按照水平位置偏差,控制电机1和2沿水平导轨A和B移动,以使垂直导轨C沿水平导轨A和B滑动,进而通过移动的垂直导轨C带动与垂直导轨C连接的竖直导轨D移动,以使设置于竖直导轨D上的高清摄像头(即图像采集设备)在水平方向上移动。从而将目标对象调整至图像采集设备的拍摄画面的中心区域。
电脑模组可以按照垂直位置偏差,控制电机3沿所述垂直导轨C移动,以驱动竖直导轨D沿垂直导轨C滑动,从而使设置于竖直导轨D上的高清摄像头(即图像采集设备)在垂直方向上移动。电脑模组,可以按照画面占比,控制电机4沿竖直导轨D移动,以驱动高清摄像头沿竖直导轨D滑动至第二位置。从而将目标对象调整至拍摄画面的中心主图区。
由于电机3有旋转功能,所以,当目标对象按预设路径运动时,则保持高清摄像头处于竖直导轨上的第二位置,且通过控制电机3旋转以驱动竖直导轨跟随目标对象的运动而旋转,以使高清摄像头跟随目标对象的运动而旋转。
图9即为一个实施例中跟踪拍摄的示意图。参照图9,目标对象902以第二位置为圆心,以第二位置和初始位置为半径的预设路径在运动。预设路径即为由图9中环形箭头904和906所围成的环形路径。则通过电机3的旋转,驱动导轨D跟随目标对象902的运动按照环形箭头908旋转,以使高清摄像头跟随目标对象902的运动而旋转。
上述实施例中,通过控制驱动设备的旋转驱动竖直导轨进而带动图像采集设备跟随目标对象的运动而旋转,便捷地实现了跟踪拍摄,提高了拍摄效率,节省了成本。
在一个实施例中,检测目标对象在初始图像中所处的目标区域包括:对初始图像进行卷积处理,得到初始图像的特征图;确定特征图中各候选对象所占据的候选区域;对各候选区域分别进行分类处理和线性回归处理,以识别属于目标对象的候选区域、以及确定所识别出的候选区域所对应的位置坐标;根据位置坐标,从初始图像中检测出目标区域。
在一个实施例中,目标区域的位置坐标可以包括目标区域的中心点和目标区域的矩形长宽值。
可以理解,对初始图像进行卷积处理,以提取初始图像的特征,得到特征图。计算机设备可以采用预先训练的残差网络等单一的深度卷积神经网络提取特征图,也可以采用组合式的深度卷积神经网络提取特征图。
所卷积得到的特征图中可以包括多个候选对象。计算机设备可以确定特征图中各候选对象所占据的候选区域,并对各候选区域分别进行分类处理和线性回归处理,以识别属于目标类别的候选区域和其所对应的位置坐标,并根据该属于目标类别的候选区域所对应的位置坐标,从初始图像中检测出目标区域。
上述实施例中,通过卷积处理、分类处理和线性回归的处理,能够准确地从初始图像中检测出目标区域。
图10为一个实施例中检测目标区域的原理示意图。参照图10,通过底层的特征基础层(convolutional backbone),使用卷积神经网络算法提取图像特征,得到特征图(feature maps)。中间层为RPN(region proposal network,区域生成网络)+RoIAlign(Region of interesting alignment,即目标区域对齐算法)算法,从卷积输出的特征图中确定候选区域。最上面是头部层(head),该层是目标区域位置回归与物体分类层,接收中间层输出的固定大小的特征图(即fixed size feature map。可以理解,从卷积输出的特征图中确定的候选区域在性质上也属于特征图,即为中间层输出的特征图),使用分类算法识别出属于目标类别的目标区域,并使用线性回归算法,通过边框(box)回归目标区域的位置坐标,最终完成目标检测任务。
在一个实施例中,对初始图像进行卷积处理,得到初始图像的特征图包括:将初始图像输入预先训练的特征提取网络中,以针对初始图像进行从下到上的多层卷积处理,获取除所述特征提取网络中最底层以外的各卷积层输出的卷积特征图;对各卷积特征图进行降维处理,从最高层降维后的卷积特征图起,进行上采样,并将上采样后的特征图与下一层的大小相同的降维后的卷积特征图进行融合,得到融合后的特征图;将融合后的特征图作为下一次上采样的输入,并迭代地执行将上采样后的特征图与下一层的大小相同的降维后的卷积特征图进行融合的步骤,直至达到最底层;根据最高层降维后的卷积特征图和各个融合后的特征图,确定得到初始图像最终的特征图。
在一个实施例中,计算机设备可以对最高层降维后的卷积特征图和各个融合后的特征图分别进行卷积处理,得到初始图像最终的特征图。可以理解,再次进行卷积处理可以消除上采样的混叠效应。
在一个实施例中,上采样可以使用最近邻上采样,而不是使用反卷积操作,这样比较便捷简单,且有利于减少训练参数。
可以理解,使用特征提取网络提取卷积特征图,相当于自下而上连接的特征提取处理。从最高层起进行上采样的处理,相当于自上而下连接的特征提取处理。将上采样后的特征图和降维后的卷积特征图融合,相当于横向连接的特征提取处理。
在一个实施例中,特征提取网络可以是VGG Net(VGG Net由牛津大学的视觉几何组(Visual Geometry Group)和Google DeepMind公司的研究员一起研发的的深度卷积神经网络,)或ResNet网络(残差网络)等。
在一个实施例中,可以使用ResNet和FPN(Feature Pyramid Networks,特征金字塔网络)结合得到的网络框架来提取初始图像的特征图。
现结合图11进行举例说明。参见图11,ResNet-FPN包括3个部分,自下而上连接,自上而下连接和横向连接。下面分别介绍。自下而上:从下到上的特征提取过程。使用ResNet网络作为骨架网络(即为特征提取网络),根据特征图(feature map)大小分为5个阶段(stage),如左边的虚线框所示,即同一阶段的卷积层输出的特征图大小相同。将初始的图像从下到上依次输入这5个阶段的卷积层中,阶段2~5各自最后一层输出conv2,conv3,conv4,conv5的特征,即分别为特征图C2~C5。
自上而下是从最高层开始进行上采样。如图11所示,通过1*1卷积操作,将最高层的特征图C5降维,得到特征图M5,然后从最高层的M5开始进行2倍的上采样。那么,M5上采样后的特征图的大小与下一层(即阶段4)中输出的特征图C4大小相同,而对特征图进行1*1降维后,不改变特征图的大小,只用于降低通道数。而在进行自下而上的卷积处理时,是使用0.5X进行下采样,所以,M5上采样后的特征图的大小与下一层中的特征图C4降维后的大小相同,则可以将其融合得到特征图M4。接着,再将M4上采样并与特征图C3的降维后的结果融合,如此类推,直至得到特征图M2,M2即为M3上采样后与下一层的特征图C2降维后的结果融合得到。最后,采用3*3的卷积核对已经融合的特征M2~M4以及M5进行处理,消除上采样的混叠效应,得到初始图像最终的特征图P2~P5。需要说明的是,图11中的C2~C5、M2~M5、以及P2~P5属于经过不同处理后得到的特征图,这里用不同的标号(“C”、“M”以及“P”)进行区分。
后续则可以基于P2~P5,通过预测头部(predictor head)中的3*3卷积核以及两个分支1*1卷积核来进行分类,以及进行边框回归,以确定目标区域。
上述实施例中,通过ResNet-FPN组合网络来提取特征,实现了自上而下、自下而上以及横向连接等多种方式的特征提取和融合,从而能够考虑更多的特征信息,提高了特征提取的准确性。
在一个实施例中,各候选区域的边界长度为浮点数值;对各候选区域分别进行分类处理和线性回归处理包括:将每个候选区域均匀分割,得到单元格;各单元格的边界长度为浮点数值;在每个单元格中选取采样点,并确定各采样点的浮点特征值;池化同一单元格内的采样点的浮点特征值,得到各单元格的浮点特征值;将同一候选区域中单元格的浮点特征值进行线性回归,得到候选区域的位置坐标。
可以理解,传统方法中在对候选区域进行处理时,都会对候选区域的边界长度取整数,然后对取整数后的候选区域进行平均分割后再进行整数化。然而,边界长度通常情况下是浮点数值,所以,传统方法强行进行多次整数量化,会导致候选区域出现明显地偏差,从而影响到目标对象的识别和目标区域检测的准确性。
图12为一个实施例中传统方法整数化示意图。参照图12,输入一张800*800的图片,图片上有一个665*665的包围框(框着待检测的对象)。图片经过主干网络提取特征后,特征图缩放步长(stride)为32。因此,图像和包围框的边长都是输入时的1/32。800正好可以被32整除变为25。但665除以32以后得到20.78,带有小数,于是ROI Pooling(候选区域池化)直接将它整数化以量化成20。接下来需要把框内的特征池化7*7的大小,因此将上述包围框平均分割成7*7个矩形区域。显然,每个矩形区域的边长为2.86,又含有小数。于是ROIPooling再次把它量化到2。经过这两次整数化的量化,候选区域已经出现了较明显的偏差(如1202所示)。更重要的是,该层特征图上0.1个像素的偏差,缩放到原图就是3.2个像素。那么0.8的偏差,在原图上就是接近30个像素点的差别,这一差别不容小觑。
因此,计算机设备可以在特征图中确定候选区域时,可以保留候选区域的边界长度的浮点数值,并且在将每个候选区域均匀分割,得到单元格时,保留各单元格的边界长度为浮点数值。
进一步地,计算机设备可以在每个单元格中选取采样点,并确定各采样点的浮点特征值。其中,浮点特征值,是为浮点数值的特征值。计算机设备可以将同一单元格内的采样点的浮点特征值进行平均池化或最大池化处理,以得到各单元格的浮点特征值。计算机设备可以将同一候选区域中单元格的浮点特征值进行线性回归,得到候选区域的位置坐标。可以理解,通过分类算法识别出的属于目标类别的候选区域,即为目标区域,其所对应的位置坐标,即为目标区域的位置坐标。
可以理解,由于是使用候选区域内的浮点特征值进行线性回归,所以,线性回归得到的候选区域的位置坐标,相较于传统整数量化的方法减少了偏差,进而,提高了目标区域的位置坐标的准确性。
在一个实施例中,在每个单元格中选取采样点,并确定各采样点的浮点特征值包括:针对每个单元格,将该单元格均分为多个子方格,选取每个子方格的中心点为采样点;针对每个采样点采用双线性插值的方法,得到该采样点的特征值;每个采样点的特征值为浮点特征值。
图13为一个实施例中保留浮点数值的计算示意图。参照图13,虚线部分表示特征图,实线表示ROI,将ROI切分成2x2的单元格。如果采样点数是4,首先将每个单元格子均分成四个小方格(如红色线所示),每个小方格中心就是采样点。这些采样点的坐标通常是浮点数,所以需要对采样点像素进行双线性插值(如四个箭头所示),便得到该像素点的值,对每个单元格内的四个采样点进行最大值池化,就可以得到各单元格的浮点特征值。进而,基于这些浮点特征值进行线性回归所确定出的目标区域的位置坐标更为准确。
在一个实施例中,控制图像采集设备跟踪拍摄目标对象包括:当从图像采集设备所拍摄的同一图像中,检测到多个属于目标类别的疑似对象时,则从图像中提取各疑似对象的对象特征图;目标类别是目标对象所属的类别;将各对象特征图分别与预存储的目标对象特征图进行特征相似度比对;判定特征差异相似度最高的对象特征图所对应的疑似对象为目标对象;继续通过保持相对位置,控制图像采集设备跟踪拍摄目标对象。
可以理解,在跟踪拍摄目标对象运动(行走)视频时,考虑到目标对象可能被同类别的其他对象遮挡的问题,即当画面中出现多个属于目标类别的对象时,计算机设备则需要确定继续跟踪的目标对象,避免目标对象消失,视频录制不完整。
其中,疑似对象,是指疑似为目标对象的对象。预存储的目标对象特征图,是预先提取的目标对象的特征图。对象特征图,是疑似对象的特征图。
可以理解,目标对象特征图可以是在基于初始图像提取得到,也可以基于0图像采集设备在移动后的位置处拍摄的图像中提取得到。计算机设备可以将提取的目标对象特征图进行存储。
在跟踪拍摄目标对象的过程中,计算机设备可以实时调整相机位置和焦距,当视频中有其他属于目标类别的疑似对象闯入时,计算机设备可以获得多个疑似对象的图像,从图像中提取各疑似对象的对象特征图,将各对象特征图分别与预存储的目标对象特征图进行特征相似度比对;确定相似度最高的对象特征图,进而根据该对象特征图定位索引疑似对象的图像,进而继续定位到该图像所属的疑似对象。计算机设备可以继续以该定位到的对象为目标对象,并继续通过保持相对位置,控制图像采集设备继续跟踪拍摄该目标对象。
现结合图14举例说明当多个属于目标类别的疑似对象闯入时的跟踪拍摄处理。参照图14,以目标对象为患者进行举例,在正常跟踪情况下,图像采集设备拍摄到的仅有患者一人,那么,跟踪拍摄该患者得到正常图像的图像序列。计算机设备可以基于正常图像进行目标检测,从中获取患者图像,再对患者图像进行特征提取,得到患者特征,计算机设备可以将提取的患者特征(即目标对象特征图)保存。当异常情况下,即有闲杂人闯入图像采集设备的拍摄画面中,那么,拍摄的即为异常图像的图像序列。计算机设备可以针对异常图像进行目标检测,得到多个人物图像(含患者图像)。计算机设备可以对每个人物图像进行特征提取,得到多个人物特征,进而将各个人物特征与保存的患者特征进行特征比较。从多个人物特征中,选取最相似特征作为患者特征,基于该患者特征,从多个人物图像中定位到该患者特征所提取自的患者图像。进而,继续跟踪拍摄该患者图像所表征的患者。
在一个实施例中,计算机设备可以采用VGGNet网络结构,来提取各个疑似对象的对象特征图。现结合图15对提取对象特征图进行举例说明。参照图15,针对每个疑似对象的图像,将该疑似对象的图像分别输入图15所示的神经网络模型中进行前馈计算,经过多层特征提取处理,最终获取模型中最后一层的图像特征,得到一个1000维的特征向量,即得到该疑似对象的对象特征图。图15中convolution+ReLU表示进行卷积处理后使用ReLU(线性整流函数)作为激活函数,max pooling表示最大池化,fully nected+ReLU表示全连接后使用ReLU作为激活函数。softmax即为逻辑回归模型,也属于一种比较重要的激活函数。
为了便于理解,现举例说明。假设患者A图像为I1,异常情况下有N个人在画面中,提取所有人的图像分别为J1,J2,…,Jn,通过神经网络特征提取得到患者特征为异常情况下所有人(含该患者A)特征为将患者特征与异常情况特征使用欧式距离一一比较,定义特征距离为 比较特征距离,取最小的特征距离则Jk为所要重识别的患者图像,设备根据Jk的位置坐标,调整相机角度和焦距,继续拍摄患者A,从而达到目标重识别的目的。
上述实施例中,当有其他干扰对象进入拍摄画面中时,能够进行目标重识别计算恢复跟踪,提高了拍摄的准确性。
在一个实施例中,提供了一种拍摄设备,该拍摄设备包括处理器和图像采集设备;
所述处理器,用于控制图像采集设备拍摄位于初始位置的目标对象,得到初始图像;
所述处理器还用于确定初始图像中目标对象所处的目标区域与中心主图区之间的位置偏差;按照所述位置偏差,移动所述图像采集设备的位置;在移动后的图像采集设备的拍摄画面中,所述目标对象处于中心主图区;
所述处理器还用于通过保持所述图像采集设备与所述目标对象之间的相对位置,控制所述图像采集设备跟踪拍摄所述目标对象;所述相对位置,由所述图像采集设备移动后的位置与所述初始位置之间相对的位置确定。
在一个实施例中,所述处理器还用于当所述目标对象按预设路径运动时,则控制所述图像采集设备以所述移动后的位置为中心,跟随所述目标对象的运动而旋转,并在跟随过程中拍摄所述目标对象;其中,预设路径,为以所述移动后的位置为圆心,所述移动后的位置与所述初始位置之间的距离为半径的环形路径;在跟随拍摄得到的各图像中,所述目标对象位于中心主图区。
在一个实施例中,该拍摄设备还包括组合导轨;处理器还用于按照所述位置偏差,控制所述图像采集设备沿组合导轨移动至第一位置;在所述图像采集设备处于所述第一位置时的拍摄画面中,所述目标对象处于中心区域;确定所述目标对象在所述第一位置处的拍摄画面中的画面占比;按照所述画面占比,控制所述图像采集设备沿所述组合导轨,从所述第一位置移动至第二位置;在所述图像采集设备处于第二位置时的拍摄画面中,所述目标对象处于中心主图区。
在一个实施例中,所述位置偏差包括水平位置偏差和垂直位置偏差;所述组合导轨包括水平导轨和垂直导轨;所述垂直导轨垂直连接于所述水平导轨、且能够在所述水平导轨上滑动;处理器还用于按照所述水平位置偏差和所述垂直位置偏差,分别控制所述图像采集设备沿所述水平导轨和垂直导轨,在水平方向和垂直方向进行移动,到达第一位置。
在一个实施例中,所述组合导轨还包括竖直导轨;所述竖直导轨垂直连接于所述垂直导轨、且能够在所述垂直导轨上滑动;所述图像采集设备设置于所述竖直导轨;处理器还用于按照所述水平位置偏差,控制所述垂直导轨沿所述水平导轨滑动,通过滑动的垂直导轨带动与所述垂直导轨连接的竖直导轨移动,以使设置于所述竖直导轨上的图像采集设备在水平方向上移动;按照所述垂直位置偏差,控制所述竖直导轨沿所述垂直导轨滑动,以使设置于所述竖直导轨上的图像采集设备在垂直方向上移动。
在一个实施例中,所述图像采集设备能够沿所述竖直导轨滑动;处理器还用于按照所述画面占比,控制所述图像采集设备沿所述竖直导轨,从所述第一位置滑动至第二位置。
在一个实施例中,该拍摄设备还包括水平驱动设备、垂直驱动设备和竖直驱动设备中的至少一种;
处理器还用于按照所述水平位置偏差,控制水平驱动设备沿所述水平导轨移动,以驱动所述垂直导轨沿所述水平导轨移动;所述垂直导轨通过所述水平驱动设备与所述水平导轨垂直连接;和/或,按照所述垂直位置偏差,控制垂直驱动设备沿所述垂直导轨移动,以驱动所述竖直导轨沿所述垂直导轨滑动;所述竖直导轨通过所述垂直驱动设备与所述垂直导轨垂直连接;和/或,控制竖直驱动设备沿所述竖直导轨移动,以驱动所述图像采集设备沿所述竖直导轨,从所述第一位置滑动至第二位置;所述图像采集设备通过所述竖直驱动设备与所述竖直导轨连接。
在一个实施例中,所述竖直导轨通过垂直驱动设备与所述垂直导轨之间建立垂直连接;处理器还用于当所述目标对象按预设路径运动时,则保持所述图像采集设备处于所述竖直导轨上的所述第二位置,且通过控制所述垂直驱动设备驱动所述竖直导轨跟随所述目标对象的运动而旋转,以使所述图像采集设备跟随所述目标对象的运动而旋转;其中,预设路径,为以所述第二位置为圆心,所述第二位置与所述初始位置之间的距离为半径的环形路径。
在一个实施例中,处理器还用于对所述初始图像进行卷积处理,得到所述初始图像的特征图;确定所述特征图中各候选对象所占据的候选区域;对各所述候选区域分别进行分类处理和线性回归处理,以识别属于目标对象的候选区域、以及确定所识别出的所述候选区域所对应的位置坐标;根据所述位置坐标,从所述初始图像中检测出目标区域。
在一个实施例中,各所述候选区域的边界长度为浮点数值;处理器还用于将每个候选区域均匀分割,得到单元格;各单元格的边界长度为浮点数值;在每个单元格中选取采样点,并确定各采样点的浮点特征值;池化同一单元格内的采样点的浮点特征值,得到各单元格的浮点特征值;将同一候选区域中单元格的浮点特征值进行线性回归,得到所述候选区域的位置坐标。
在一个实施例中,处理器还用于当从所述图像采集设备所拍摄的同一图像中,检测到多个属于目标类别的疑似对象时,则从所述图像中提取各疑似对象的对象特征图;所述目标类别是目标对象所属的类别;将各对象特征图分别与预存储的目标对象特征图进行特征相似度比对;判定相似度最高的对象特征图所对应的疑似对象为目标对象;继续通过保持所述相对位置,控制图像采集设备跟踪拍摄所述目标对象。
在一个实施例中,提供了一种拍摄设备,包括计算机设备、图像采集设备和至少一个导向组件;
所述计算机设备和所述图像采集设备之间电性连接;所述图像采集设备滑动连接于所述导向组件;
所述计算机设备,用于控制所述图像采集设备跟随目标对象的移动,在所述导向组件上滑动,以跟踪拍摄目标对象。
在一个实施例中,所述导向组件,包括:
水平导向件,所述水平导向件固设于底座;
垂直导向件,所述垂直导向件与所述水平导向件垂直、且滑动连接于所述水平导向件;
竖直导向件,所述竖直导向件与所述垂直导向件垂直、且滑动连接于所述垂直导向件;
所述图像采集设备滑动连接于所述竖直导向件。
在一个实施例中,所述计算机设备还用于控制所述图像采集设备沿所述竖直导向件,在竖直方向上移动。
在一个实施例中,计算机设备还用于控制竖直导向件沿垂直导向件滑动,以使连接于竖直导向件的图像采集设备在垂直方向上移动。
在一个实施例中,所述水平导向件包括第一水平导向件和第二水平导向件;垂直导向件的两端分别与第一水平导向件和第二水平导向件垂直滑动连接;
计算机设备还用于控制垂直导向件沿第一水平导向件和第二导向组件滑动,通过滑动的垂直导轨带动与垂直导向件连接的竖直导向件移动,以使与所述竖直导向件连接的图像采集设备在水平方向上移动。
在一个实施例中,所述拍摄设备还包括:第一驱动设备、第二驱动设备、第三驱动设备和第四驱动设备;
所述垂直导向件通过所述第一驱动设备滑动连接于所述第一水平导向件;所述垂直导向件通过所述第二驱动设备滑动连接于所述第二水平导向件;
所述竖直导向件通过所述第三驱动设备滑动连接于所述垂直导向件;
所述图像采集设备通过所述第四驱动设备滑动连接于所述竖直导向件。
在一个实施例中,所述计算机设备分别与所述第一驱动设备、第二驱动设备、第三驱动设备和所述第四驱动设备电性连接;
所述计算机设备还用于控制所述第一驱动设备在所述第一水平导向件上滑动,以及控制所述第二驱动设备在所述第二水平导向件上滑动,以驱动所述垂直导向件沿水平方向移动;通过移动的垂直导轨带动与垂直导向件连接的竖直导向件移动,以使与所述竖直导向件连接的图像采集设备在水平方向上移动。
在一个实施例中,计算机设备还用于控制所述第三驱动设备在所述垂直导向件上滑动,以驱动所述竖直导向件在垂直方向上移动,通过移动的竖直导向件带动与竖直导向件连接的图像采集设备在垂直方向上移动。
在一个实施例中,所述计算机设备还用于控制所述第四驱动设备在所述竖直导向件上滑动,以驱动所述图像采集设备沿所述竖直导向件在竖直方向上移动。
可以理解,计算机设备还用于控制图像采集设备在移动过程中,拍摄目标对象。
在一个实施例中,第三驱动设备能够在垂直导向件上旋转。
所述计算机设备还用于控制所述第三驱动设备在垂直导向件上旋转,以驱动所述竖直导向件旋转,从而带动连接于所述竖直导轨上的所述图像采集设备旋转,并控制所述图像采集设备在旋转过程中拍摄目标对象。
在一个实施例中,第一驱动设备、第二驱动设备、第三驱动设备和第四驱动设备,皆为可编程电机。
在一个实施例中,水平导向件、垂直导向件和竖直导向件皆为导轨。
在一个实施例中,图像采集设备包括摄像头。
在一个实施例中,计算机设备为执行本申请各实施例所述拍摄处理方法的设备。
可以理解,图8即为一个实施例中拍摄设备的结构示意图。参照图8,导轨A和B即为第一水平导向件和第二水平导向件,导轨C为垂直导向件,导轨D即为竖直导向件。可编程电机1和2即为第一驱动设备和第二驱动设备,可编程电机3为第三驱动设备,可编程电机4为第四驱动设备。高清摄像头即为图像采集设备,电脑模组即为计算机设备。可编程电机3可以在导轨3上360°旋转。这样一来,当目标对象发生移动时,计算机设备则可以通过控制可编程电机3旋转,驱动导轨D旋转,进而带动高清摄像头旋转,以跟踪拍摄目标对象。
如图16所示,在一个实施例中,提供了一种拍摄处理装置1600,设置于接收机。该装置1600包括:图像获取模块1602、位置调整模块1604以及跟踪拍摄模块1606,其中:
图像获取模块1602,用于控制图像采集设备拍摄位于初始位置的目标对象,得到初始图像。
位置调整模块1604,用于确定初始图像中目标对象所处的目标区域与中心主图区之间的位置偏差;按照所述位置偏差,移动所述图像采集设备的位置;在移动后的图像采集设备的拍摄画面中,所述目标对象处于中心主图区。
跟踪拍摄模块1606,用于通过保持所述图像采集设备与所述目标对象之间的相对位置,控制所述图像采集设备跟踪拍摄所述目标对象;所述相对位置,由所述图像采集设备移动后的位置与所述初始位置之间相对的位置确定。
在一个实施例中,跟踪拍摄模块1606还用于当所述目标对象按预设路径运动时,则控制所述图像采集设备以所述移动后的位置为中心,跟随所述目标对象的运动而旋转,并在跟随过程中拍摄所述目标对象;其中,预设路径,为以所述移动后的位置为圆心,所述移动后的位置与所述初始位置之间的距离为半径的环形路径;在跟随拍摄得到的各图像中,所述目标对象位于中心主图区。
在一个实施例中,位置调整模块1604还用于按照所述位置偏差,控制所述图像采集设备沿组合导轨移动至第一位置;在所述图像采集设备处于所述第一位置时的拍摄画面中,所述目标对象处于中心区域;确定所述目标对象在所述第一位置处的拍摄画面中的画面占比;按照所述画面占比,控制所述图像采集设备沿所述组合导轨,从所述第一位置移动至第二位置;在所述图像采集设备处于第二位置时的拍摄画面中,所述目标对象处于中心主图区。
在一个实施例中,所述位置偏差包括水平位置偏差和垂直位置偏差;所述组合导轨包括水平导轨和垂直导轨;所述垂直导轨垂直连接于所述水平导轨、且能够在所述水平导轨上滑动;位置调整模块1604还用于按照所述水平位置偏差和所述垂直位置偏差,分别控制所述图像采集设备沿所述水平导轨和垂直导轨,在水平方向和垂直方向进行移动,到达第一位置。
在一个实施例中,所述组合导轨还包括竖直导轨;所述竖直导轨垂直连接于所述垂直导轨、且能够在所述垂直导轨上滑动;所述图像采集设备设置于所述竖直导轨;位置调整模块1604还用于按照所述水平位置偏差,控制所述垂直导轨沿所述水平导轨滑动,通过滑动的垂直导轨带动与所述垂直导轨连接的竖直导轨移动,以使设置于所述竖直导轨上的图像采集设备在水平方向上移动;按照所述垂直位置偏差,控制所述竖直导轨沿所述垂直导轨滑动,以使设置于所述竖直导轨上的图像采集设备在垂直方向上移动。
在一个实施例中,所述图像采集设备能够沿所述竖直导轨滑动;位置调整模块1604还用于按照所述画面占比,控制所述图像采集设备沿所述竖直导轨,从所述第一位置滑动至第二位置。
在一个实施例中,位置调整模块1604还用于按照所述水平位置偏差,控制水平驱动设备沿所述水平导轨移动,以驱动所述垂直导轨沿所述水平导轨移动;所述垂直导轨通过所述水平驱动设备与所述水平导轨垂直连接;和/或,按照所述垂直位置偏差,控制垂直驱动设备沿所述垂直导轨移动,以驱动所述竖直导轨沿所述垂直导轨滑动;所述竖直导轨通过所述垂直驱动设备与所述垂直导轨垂直连接;和/或,控制竖直驱动设备沿所述竖直导轨移动,以驱动所述图像采集设备沿所述竖直导轨,从所述第一位置滑动至第二位置;所述图像采集设备通过所述竖直驱动设备与所述竖直导轨连接。
在一个实施例中,所述竖直导轨通过垂直驱动设备与所述垂直导轨之间建立垂直连接;跟踪拍摄模块1606还用于当所述目标对象按预设路径运动时,则保持所述图像采集设备处于所述竖直导轨上的所述第二位置,且通过控制所述垂直驱动设备驱动所述竖直导轨跟随所述目标对象的运动而旋转,以使所述图像采集设备跟随所述目标对象的运动而旋转;其中,预设路径,为以所述第二位置为圆心,所述第二位置与所述初始位置之间的距离为半径的环形路径。
在一个实施例中,位置调整模块1604还用于对所述初始图像进行卷积处理,得到所述初始图像的特征图;确定所述特征图中各候选对象所占据的候选区域;对各所述候选区域分别进行分类处理和线性回归处理,以识别属于目标对象的候选区域、以及确定所识别出的所述候选区域所对应的位置坐标;根据所述位置坐标,从所述初始图像中检测出目标区域。
在一个实施例中,各所述候选区域的边界长度为浮点数值;位置调整模块1604还用于将每个候选区域均匀分割,得到单元格;各单元格的边界长度为浮点数值;在每个单元格中选取采样点,并确定各采样点的浮点特征值;池化同一单元格内的采样点的浮点特征值,得到各单元格的浮点特征值;将同一候选区域中单元格的浮点特征值进行线性回归,得到所述候选区域的位置坐标。
在一个实施例中,跟踪拍摄模块1606还用于当从所述图像采集设备所拍摄的同一图像中,检测到多个属于目标类别的疑似对象时,则从所述图像中提取各疑似对象的对象特征图;所述目标类别是目标对象所属的类别;将各对象特征图分别与预存储的目标对象特征图进行特征相似度比对;判定相似度最高的对象特征图所对应的疑似对象为目标对象;继续通过保持所述相对位置,控制图像采集设备跟踪拍摄所述目标对象。
图17为一个实施例中计算机设备的框图。参照图17,该计算机设备可以图1中的计算机设备110。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质可存储操作系统和计算机程序。该计算机程序被执行时,可使得处理器执行一种拍摄处理方法。该计算机设备的处理器用于提供计算和控制能力,支撑整个计算机设备的运行。该内存储器中可储存有计算机程序,该计算机程序被处理器执行时,可使得处理器执行一种拍摄处理方法。计算机设备的网络接口用于进行网络通信。
本领域技术人员可以理解,图17中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,本申请提供的拍摄处理装置或数据发送装置可以实现为一种计算机程序的形式,计算机程序可在如图17所示的计算机设备上运行,计算机设备的非易失性存储介质可存储组成该拍摄处理装置或数据发送装置的各个程序模块。比如,图16所示的图像获取模块1602、位置调整模块1604以及跟踪拍摄模块1606。各个程序模块所组成的计算机程序用于使该计算机设备执行本说明书中描述的本申请各个实施例的拍摄处理方法中的步骤。
比如,计算机设备可以通过如图16所示的拍摄处理装置1600中的图像获取模块1602控制图像采集设备拍摄位于初始位置的目标对象,得到初始图像。计算机设备可以通过位置调整模块1604确定初始图像中目标对象所处的目标区域与中心主图区之间的位置偏差;按照所述位置偏差,移动所述图像采集设备的位置;在移动后的图像采集设备的拍摄画面中,所述目标对象处于中心主图区。计算机设备可以通过跟踪拍摄模块1606通过保持所述图像采集设备与所述目标对象之间的相对位置,控制所述图像采集设备跟踪拍摄所述目标对象;所述相对位置,由所述图像采集设备移动后的位置与所述初始位置之间相对的位置确定。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,计算机程序被处理器执行时,使得处理器执行上述拍摄处理方法的步骤。此处拍摄处理方法的步骤可以是上述各个实施例的拍摄处理方法中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,存储有计算机程序,计算机程序被处理器执行时,使得处理器执行上述拍摄处理方法的步骤。此处拍摄处理方法的步骤可以是上述各个实施例的拍摄处理方法中的步骤。
需要说明的是,本申请各实施例中的“第一”和“第二”等仅用作区分,而并不用于大小、先后、从属等方面的限定。
应该理解的是,虽然本申请各实施例中的各个步骤并不是必然按照步骤标号指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,各实施例中至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (34)
1.一种拍摄处理方法,所述方法包括:
控制图像采集设备拍摄位于初始位置的目标对象,得到初始图像;
确定初始图像中目标对象所处的目标区域与中心主图区之间的位置偏差;
按照所述位置偏差,控制所述图像采集设备沿组合导轨移动至第一位置;在所述图像采集设备处于所述第一位置时的拍摄画面中,所述目标对象处于中心区域;所述中心区域,是处于拍摄画面的中心位置的区域;
确定所述目标对象在所述第一位置处的拍摄画面中的画面占比;
按照所述画面占比,控制所述图像采集设备沿所述组合导轨,从所述第一位置移动至第二位置;在所述图像采集设备处于第二位置时的拍摄画面中,所述目标对象处于中心主图区;所述中心主图区,是指在初始图像中占据主图位置且处于图像中心位置的区域;所述主图位置,是指在初始图像中占据主要图像内容;所述中心区域的范围小于所述中心主图区;
通过保持所述图像采集设备与所述目标对象之间的相对位置,控制所述图像采集设备跟踪拍摄所述目标对象;所述相对位置,由所述图像采集设备移动后的第二位置与所述初始位置之间相对的位置确定。
2.根据权利要求1所述的方法,其特征在于,所述通过保持所述图像采集设备与所述目标对象之间的相对位置,控制所述图像采集设备跟踪拍摄所述目标对象包括:
当所述目标对象按预设路径运动时,则控制所述图像采集设备以所述移动后的第二位置为中心,跟随所述目标对象的运动而旋转,并在跟随过程中拍摄所述目标对象;
其中,预设路径,为以所述移动后的第二位置为圆心,所述移动后的第二位置与所述初始位置之间的距离为半径的环形路径;在跟随拍摄得到的各图像中,所述目标对象位于中心主图区。
3.根据权利要求1所述的方法,其特征在于,所述位置偏差包括水平位置偏差和垂直位置偏差;所述组合导轨包括水平导轨和垂直导轨;所述垂直导轨垂直连接于所述水平导轨、且能够在所述水平导轨上滑动;
所述按照所述位置偏差,控制所述图像采集设备沿组合导轨移动至第一位置包括:
按照所述水平位置偏差和所述垂直位置偏差,分别控制所述图像采集设备沿所述水平导轨和垂直导轨,在水平方向和垂直方向进行移动,到达第一位置。
4.根据权利要求3所述的方法,其特征在于,所述组合导轨还包括竖直导轨;所述竖直导轨垂直连接于所述垂直导轨、且能够在所述垂直导轨上滑动;所述图像采集设备设置于所述竖直导轨;
所述按照所述水平位置偏差和所述垂直位置偏差,分别控制所述图像采集设备沿所述水平导轨和垂直导轨,在水平方向和垂直方向进行移动包括:
按照所述水平位置偏差,控制所述垂直导轨沿所述水平导轨滑动,通过滑动的垂直导轨带动与所述垂直导轨连接的竖直导轨移动,以使设置于所述竖直导轨上的图像采集设备在水平方向上移动;
按照所述垂直位置偏差,控制所述竖直导轨沿所述垂直导轨滑动,以使设置于所述竖直导轨上的图像采集设备在垂直方向上移动。
5.根据权利要求4所述的方法,其特征在于,所述图像采集设备能够沿所述竖直导轨滑动;
所述按照所述画面占比,控制所述图像采集设备沿所述组合导轨,从所述第一位置移动至第二位置包括:
按照所述画面占比,控制所述图像采集设备沿所述竖直导轨,从所述第一位置滑动至第二位置。
6.根据权利要求5所述的方法,其特征在于,所述按照所述水平位置偏差,控制所述垂直导轨沿所述水平导轨滑动包括:
按照所述水平位置偏差,控制水平驱动设备沿所述水平导轨移动,以驱动所述垂直导轨沿所述水平导轨移动;所述垂直导轨通过所述水平驱动设备与所述水平导轨垂直连接;和/或,
所述按照所述垂直位置偏差,控制所述竖直导轨沿所述垂直导轨滑动包括:
按照所述垂直位置偏差,控制垂直驱动设备沿所述垂直导轨移动,以驱动所述竖直导轨沿所述垂直导轨滑动;所述竖直导轨通过所述垂直驱动设备与所述垂直导轨垂直连接;和/或,
所述控制所述图像采集设备沿所述竖直导轨,从所述第一位置滑动至第二位置包括:
控制竖直驱动设备沿所述竖直导轨移动,以驱动所述图像采集设备沿所述竖直导轨,从所述第一位置滑动至第二位置;所述图像采集设备通过所述竖直驱动设备与所述竖直导轨连接。
7.根据权利要求5所述的方法,其特征在于,所述竖直导轨通过垂直驱动设备与所述垂直导轨之间建立垂直连接;
所述通过保持所述图像采集设备与所述目标对象之间的相对位置,控制所述图像采集设备跟踪拍摄所述目标对象包括:
当所述目标对象按预设路径运动时,则保持所述图像采集设备处于所述竖直导轨上的所述第二位置,且通过控制所述垂直驱动设备驱动所述竖直导轨跟随所述目标对象的运动而旋转,以使所述图像采集设备跟随所述目标对象的运动而旋转;
其中,预设路径,为以所述第二位置为圆心,所述第二位置与所述初始位置之间的距离为半径的环形路径。
8.根据权利要求1所述的方法,其特征在于,所述确定初始图像中目标对象所处的目标区域与中心主图区之间的位置偏差包括:
对所述初始图像进行卷积处理,得到所述初始图像的特征图;
确定所述特征图中各候选对象所占据的候选区域;
对各所述候选区域分别进行分类处理和线性回归处理,以识别属于目标对象的候选区域、以及确定所识别出的所述候选区域所对应的位置坐标;
根据所述位置坐标,从所述初始图像中检测出目标区域。
9.根据权利要求8所述的方法,其特征在于,各所述候选区域的边界长度为浮点数值;所述对各所述候选区域分别进行分类处理和线性回归处理包括:
将每个候选区域均匀分割,得到单元格;各单元格的边界长度为浮点数值;
在每个单元格中选取采样点,并确定各采样点的浮点特征值;
池化同一单元格内的采样点的浮点特征值,得到各单元格的浮点特征值;
将同一候选区域中单元格的浮点特征值进行线性回归,得到所述候选区域的位置坐标。
10.根据权利要求1至9中任一项所述的方法,其特征在于,所述控制所述图像采集设备跟踪拍摄所述目标对象包括:
当从所述图像采集设备所拍摄的同一图像中,检测到多个属于目标类别的疑似对象时,则从所述图像中提取各疑似对象的对象特征图;所述目标类别是目标对象所属的类别;
将各对象特征图分别与预存储的目标对象特征图进行特征相似度比对;
判定相似度最高的对象特征图所对应的疑似对象为目标对象;
继续通过保持所述相对位置,控制图像采集设备跟踪拍摄所述目标对象。
11.一种拍摄设备,包括处理器、图像采集设备和组合导轨;
所述处理器,用于控制图像采集设备拍摄位于初始位置的目标对象,得到初始图像;确定初始图像中目标对象所处的目标区域与中心主图区之间的位置偏差;
所述处理器还用于按照所述位置偏差,控制所述图像采集设备沿所述组合导轨移动至第一位置;在所述图像采集设备处于所述第一位置时的拍摄画面中,所述目标对象处于中心区域;所述中心区域,是处于拍摄画面的中心位置的区域;确定所述目标对象在所述第一位置处的拍摄画面中的画面占比;按照所述画面占比,控制所述图像采集设备沿所述组合导轨,从所述第一位置移动至第二位置;在所述图像采集设备处于第二位置时的拍摄画面中,所述目标对象处于中心主图区;所述中心主图区,是指在初始图像中占据主图位置且处于图像中心位置的区域;所述主图位置,是指在初始图像中占据主要图像内容;所述中心区域的范围小于所述中心主图区;
所述处理器还用于通过保持所述图像采集设备与所述目标对象之间的相对位置,控制所述图像采集设备跟踪拍摄所述目标对象;所述相对位置,由所述图像采集设备移动后的第二位置与所述初始位置之间相对的位置确定。
12.根据权利要求11所述的拍摄设备,其特征在于,所述处理器还用于当所述目标对象按预设路径运动时,则控制所述图像采集设备以所述移动后的第二位置为中心,跟随所述目标对象的运动而旋转,并在跟随过程中拍摄所述目标对象;其中,预设路径,为以所述移动后的第二位置为圆心,所述移动后的第二位置与所述初始位置之间的距离为半径的环形路径;在跟随拍摄得到的各图像中,所述目标对象位于中心主图区。
13.根据权利要求11所述的拍摄设备,其特征在于,所述位置偏差包括水平位置偏差和垂直位置偏差;所述组合导轨包括水平导轨和垂直导轨;所述垂直导轨垂直连接于所述水平导轨、且能够在所述水平导轨上滑动;处理器还用于按照所述水平位置偏差和所述垂直位置偏差,分别控制所述图像采集设备沿所述水平导轨和垂直导轨,在水平方向和垂直方向进行移动,到达第一位置。
14.根据权利要求13所述的拍摄设备,其特征在于,所述组合导轨还包括竖直导轨;所述竖直导轨垂直连接于所述垂直导轨、且能够在所述垂直导轨上滑动;所述图像采集设备设置于所述竖直导轨;处理器还用于按照所述水平位置偏差,控制所述垂直导轨沿所述水平导轨滑动,通过滑动的垂直导轨带动与所述垂直导轨连接的竖直导轨移动,以使设置于所述竖直导轨上的图像采集设备在水平方向上移动;按照所述垂直位置偏差,控制所述竖直导轨沿所述垂直导轨滑动,以使设置于所述竖直导轨上的图像采集设备在垂直方向上移动。
15.根据权利要求14所述的拍摄设备,其特征在于,所述图像采集设备能够沿所述竖直导轨滑动;处理器还用于按照所述画面占比,控制所述图像采集设备沿所述竖直导轨,从所述第一位置滑动至第二位置。
16.根据权利要求15所述的拍摄设备,其特征在于,该拍摄设备还包括水平驱动设备、垂直驱动设备和竖直驱动设备中的至少一种;
处理器还用于按照所述水平位置偏差,控制水平驱动设备沿所述水平导轨移动,以驱动所述垂直导轨沿所述水平导轨移动;所述垂直导轨通过所述水平驱动设备与所述水平导轨垂直连接;和/或,按照所述垂直位置偏差,控制垂直驱动设备沿所述垂直导轨移动,以驱动所述竖直导轨沿所述垂直导轨滑动;所述竖直导轨通过所述垂直驱动设备与所述垂直导轨垂直连接;和/或,控制竖直驱动设备沿所述竖直导轨移动,以驱动所述图像采集设备沿所述竖直导轨,从所述第一位置滑动至第二位置;所述图像采集设备通过所述竖直驱动设备与所述竖直导轨连接。
17.根据权利要求15所述的拍摄设备,其特征在于,所述竖直导轨通过垂直驱动设备与所述垂直导轨之间建立垂直连接;处理器还用于当所述目标对象按预设路径运动时,则保持所述图像采集设备处于所述竖直导轨上的所述第二位置,且通过控制所述垂直驱动设备驱动所述竖直导轨跟随所述目标对象的运动而旋转,以使所述图像采集设备跟随所述目标对象的运动而旋转;其中,预设路径,为以所述第二位置为圆心,所述第二位置与所述初始位置之间的距离为半径的环形路径。
18.根据权利要求11所述的拍摄设备,其特征在于,处理器还用于对所述初始图像进行卷积处理,得到所述初始图像的特征图;确定所述特征图中各候选对象所占据的候选区域;对各所述候选区域分别进行分类处理和线性回归处理,以识别属于目标对象的候选区域、以及确定所识别出的所述候选区域所对应的位置坐标;根据所述位置坐标,从所述初始图像中检测出目标区域。
19.根据权利要求18所述的拍摄设备,其特征在于,各所述候选区域的边界长度为浮点数值;处理器还用于将每个候选区域均匀分割,得到单元格;各单元格的边界长度为浮点数值;在每个单元格中选取采样点,并确定各采样点的浮点特征值;池化同一单元格内的采样点的浮点特征值,得到各单元格的浮点特征值;将同一候选区域中单元格的浮点特征值进行线性回归,得到所述候选区域的位置坐标。
20.根据权利要求11至19中任一项所述的拍摄设备,其特征在于,处理器还用于当从所述图像采集设备所拍摄的同一图像中,检测到多个属于目标类别的疑似对象时,则从所述图像中提取各疑似对象的对象特征图;所述目标类别是目标对象所属的类别;将各对象特征图分别与预存储的目标对象特征图进行特征相似度比对;判定相似度最高的对象特征图所对应的疑似对象为目标对象;继续通过保持所述相对位置,控制图像采集设备跟踪拍摄所述目标对象。
21.一种拍摄设备,包括计算机设备、图像采集设备和至少一个导向组件;
所述计算机设备和所述图像采集设备之间电性连接;所述图像采集设备滑动连接于所述导向组件;
所述计算机设备,用于控制图像采集设备拍摄位于初始位置的目标对象,得到初始图像;确定初始图像中目标对象所处的目标区域与中心主图区之间的位置偏差;按照所述位置偏差,控制所述图像采集设备沿导向组件移动至第一位置;在所述图像采集设备处于所述第一位置时的拍摄画面中,所述目标对象处于中心区域;所述中心区域,是处于拍摄画面的中心位置的区域;确定所述目标对象在所述第一位置处的拍摄画面中的画面占比;按照所述画面占比,控制所述图像采集设备沿所述导向组件,从所述第一位置移动至第二位置;在所述图像采集设备处于第二位置时的拍摄画面中,所述目标对象处于中心主图区;所述中心主图区,是指在初始图像中占据主图位置且处于图像中心位置的区域;所述主图位置,是指在初始图像中占据主要图像内容;所述中心区域的范围小于所述中心主图区;通过保持所述图像采集设备与所述目标对象之间的相对位置,控制所述图像采集设备跟踪拍摄所述目标对象;所述相对位置,由所述图像采集设备移动后的第二位置与所述初始位置之间相对的位置确定。
22.根据权利要求21所述的拍摄设备,其特征在于,所述导向组件,包括:
水平导向件,所述水平导向件固设于底座;
垂直导向件,所述垂直导向件与所述水平导向件垂直、且滑动连接于所述水平导向件;
竖直导向件,所述竖直导向件与所述垂直导向件垂直、且滑动连接于所述垂直导向件;
所述图像采集设备滑动连接于所述竖直导向件。
23.根据权利要求22所述的拍摄设备,其特征在于,所述计算机设备还用于控制所述图像采集设备沿所述竖直导向件,在竖直方向上移动。
24.根据权利要求22所述的拍摄设备,其特征在于,计算机设备还用于控制竖直导向件沿垂直导向件滑动,以使连接于竖直导向件的图像采集设备在垂直方向上移动。
25.根据权利要求22所述的拍摄设备,其特征在于,所述水平导向件包括第一水平导向件和第二水平导向件;垂直导向件的两端分别与第一水平导向件和第二水平导向件垂直滑动连接;
计算机设备还用于控制垂直导向件沿第一水平导向件和第二导向组件滑动,通过滑动的垂直导轨带动与垂直导向件连接的竖直导向件移动,以使与所述竖直导向件连接的图像采集设备在水平方向上移动。
26.根据权利要求25所述的拍摄设备,其特征在于,所述拍摄设备还包括:第一驱动设备、第二驱动设备、第三驱动设备和第四驱动设备;
所述垂直导向件通过所述第一驱动设备滑动连接于所述第一水平导向件;所述垂直导向件通过所述第二驱动设备滑动连接于所述第二水平导向件;
所述竖直导向件通过所述第三驱动设备滑动连接于所述垂直导向件;
所述图像采集设备通过所述第四驱动设备滑动连接于所述竖直导向件。
27.根据权利要求26所述的拍摄设备,其特征在于,所述计算机设备分别与所述第一驱动设备、第二驱动设备、第三驱动设备和所述第四驱动设备电性连接;
所述计算机设备还用于控制所述第一驱动设备在所述第一水平导向件上滑动,以及控制所述第二驱动设备在所述第二水平导向件上滑动,以驱动所述垂直导向件沿水平方向移动;通过移动的垂直导轨带动与垂直导向件连接的竖直导向件移动,以使与所述竖直导向件连接的图像采集设备在水平方向上移动。
28.根据权利要求26所述的拍摄设备,其特征在于,计算机设备还用于控制所述第三驱动设备在所述垂直导向件上滑动,以驱动所述竖直导向件在垂直方向上移动,通过移动的竖直导向件带动与竖直导向件连接的图像采集设备在垂直方向上移动。
29.根据权利要求26所述的拍摄设备,其特征在于,所述计算机设备还用于控制所述第四驱动设备在所述竖直导向件上滑动,以驱动所述图像采集设备沿所述竖直导向件在竖直方向上移动。
30.根据权利要求26所述的拍摄设备,其特征在于,所述计算机设备还用于控制所述第三驱动设备在垂直导向件上旋转,以驱动所述竖直导向件旋转,从而带动连接于所述竖直导向件上的所述图像采集设备旋转,并控制所述图像采集设备在旋转过程中拍摄目标对象。
31.根据权利要求26所述的拍摄设备,其特征在于,第一驱动设备、第二驱动设备、第三驱动设备和第四驱动设备,皆为可编程电机。
32.根据权利要求22所述的拍摄设备,其特征在于,所述水平导向件、所述垂直导向件和所述竖直导向件皆为导轨。
33.根据权利要求21所述的拍摄设备,其特征在于,所述图像采集设备包括摄像头。
34.一种计算机设备,其特征在于,包括存储器和处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行权利要求1至10中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910979482.2A CN110719406B (zh) | 2019-10-15 | 2019-10-15 | 拍摄处理方法、拍摄设备及计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910979482.2A CN110719406B (zh) | 2019-10-15 | 2019-10-15 | 拍摄处理方法、拍摄设备及计算机设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110719406A CN110719406A (zh) | 2020-01-21 |
CN110719406B true CN110719406B (zh) | 2022-06-14 |
Family
ID=69212623
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910979482.2A Active CN110719406B (zh) | 2019-10-15 | 2019-10-15 | 拍摄处理方法、拍摄设备及计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110719406B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111757084A (zh) * | 2020-07-30 | 2020-10-09 | 北京博清科技有限公司 | 一种立体图像的采集方法、采集装置及可读存储介质 |
CN113489893B (zh) * | 2020-07-31 | 2023-04-07 | 深圳技术大学 | 实时目标物体追踪定位方法以及实时目标物体追踪定位装置 |
CN114257732A (zh) * | 2020-09-22 | 2022-03-29 | 华为技术有限公司 | 一种拍摄设备的检测方法及相关装置 |
CN112887592A (zh) * | 2021-01-13 | 2021-06-01 | 河南工业和信息化职业学院 | 一种平衡车控制方法以及平衡车 |
CN113301367A (zh) * | 2021-03-23 | 2021-08-24 | 阿里巴巴新加坡控股有限公司 | 音视频处理方法、设备、系统及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101035273A (zh) * | 2007-04-24 | 2007-09-12 | 北京中星微电子有限公司 | 视频监控中的自动跟踪控制方法和控制装置 |
CN104184932A (zh) * | 2013-05-20 | 2014-12-03 | 浙江大华技术股份有限公司 | 球机控制方法及装置 |
JP2016149613A (ja) * | 2015-02-10 | 2016-08-18 | 株式会社デンソー | カメラパラメータ調整装置 |
CN106909172A (zh) * | 2017-03-06 | 2017-06-30 | 重庆零度智控智能科技有限公司 | 环绕跟踪方法、装置和无人机 |
CN207995237U (zh) * | 2017-12-19 | 2018-10-19 | 衢州光明电力投资集团有限公司 | 一种可实现多人监控的轨道跟踪式摄像头 |
CN109391762A (zh) * | 2017-08-03 | 2019-02-26 | 杭州海康威视数字技术股份有限公司 | 一种跟踪拍摄的方法和装置 |
-
2019
- 2019-10-15 CN CN201910979482.2A patent/CN110719406B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101035273A (zh) * | 2007-04-24 | 2007-09-12 | 北京中星微电子有限公司 | 视频监控中的自动跟踪控制方法和控制装置 |
CN104184932A (zh) * | 2013-05-20 | 2014-12-03 | 浙江大华技术股份有限公司 | 球机控制方法及装置 |
JP2016149613A (ja) * | 2015-02-10 | 2016-08-18 | 株式会社デンソー | カメラパラメータ調整装置 |
CN106909172A (zh) * | 2017-03-06 | 2017-06-30 | 重庆零度智控智能科技有限公司 | 环绕跟踪方法、装置和无人机 |
CN109391762A (zh) * | 2017-08-03 | 2019-02-26 | 杭州海康威视数字技术股份有限公司 | 一种跟踪拍摄的方法和装置 |
CN207995237U (zh) * | 2017-12-19 | 2018-10-19 | 衢州光明电力投资集团有限公司 | 一种可实现多人监控的轨道跟踪式摄像头 |
Also Published As
Publication number | Publication date |
---|---|
CN110719406A (zh) | 2020-01-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110719406B (zh) | 拍摄处理方法、拍摄设备及计算机设备 | |
US20210073961A1 (en) | Intelligent mixing and replacing of persons in group portraits | |
US10467458B2 (en) | Joint face-detection and head-pose-angle-estimation using small-scale convolutional neural network (CNN) modules for embedded systems | |
JP6946831B2 (ja) | 人物の視線方向を推定するための情報処理装置及び推定方法、並びに学習装置及び学習方法 | |
WO2020186942A1 (zh) | 目标检测方法、系统、装置、存储介质和计算机设备 | |
JP6943338B2 (ja) | 画像処理装置、システム、方法及びプログラム | |
US10284789B2 (en) | Dynamic generation of image of a scene based on removal of undesired object present in the scene | |
CN110149482A (zh) | 对焦方法、装置、电子设备和计算机可读存储介质 | |
JP4970557B2 (ja) | デジタル画像取込装置における顔検索及び検出 | |
US9405960B2 (en) | Face hallucination using convolutional neural networks | |
US8754945B2 (en) | Image capturing device and motion tracking method | |
US8982180B2 (en) | Face and other object detection and tracking in off-center peripheral regions for nonlinear lens geometries | |
KR101468351B1 (ko) | 대상물 추적 장치, 대상물 추적 방법 및 제어 프로그램 | |
CN110248096A (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 | |
CN110650291B (zh) | 目标追焦方法和装置、电子设备、计算机可读存储介质 | |
US20120249725A1 (en) | Face and other object tracking in off-center peripheral regions for nonlinear lens geometries | |
JP5720275B2 (ja) | 撮像装置および撮像方法 | |
WO2005116910A2 (en) | Image comparison | |
CN110191287B (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 | |
CN111246098B (zh) | 机器人拍照方法、装置、计算机设备和存储介质 | |
US9177406B2 (en) | Image mosaicing utilizing motion of scene content between successive images | |
WO2021093637A1 (zh) | 追焦方法和装置、电子设备、计算机可读存储介质 | |
JP2023523745A (ja) | コンピュータビジョンに基づく文字列認識方法、装置、機器及び媒体 | |
JP2020182048A (ja) | 画像撮影装置、画像処理装置及び画像処理方法 | |
US20210337098A1 (en) | Neural Network Supported Camera Image Or Video Processing Pipelines |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40020339 Country of ref document: HK |
|
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |