CN110536066B - 一种全景相机拍摄方法、装置、电子设备及存储介质 - Google Patents

一种全景相机拍摄方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN110536066B
CN110536066B CN201910736531.XA CN201910736531A CN110536066B CN 110536066 B CN110536066 B CN 110536066B CN 201910736531 A CN201910736531 A CN 201910736531A CN 110536066 B CN110536066 B CN 110536066B
Authority
CN
China
Prior art keywords
lens
lenses
images
time period
preset time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910736531.XA
Other languages
English (en)
Other versions
CN110536066A (zh
Inventor
于进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Runbo Panoramic Culture And Tourism Technology Co ltd
Original Assignee
Runbo Panoramic Culture And Tourism Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Runbo Panoramic Culture And Tourism Technology Co ltd filed Critical Runbo Panoramic Culture And Tourism Technology Co ltd
Priority to CN201910736531.XA priority Critical patent/CN110536066B/zh
Publication of CN110536066A publication Critical patent/CN110536066A/zh
Application granted granted Critical
Publication of CN110536066B publication Critical patent/CN110536066B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4038Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/65Control of camera operation in relation to power supply
    • H04N23/651Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof

Abstract

本申请披露了一种全景相机拍摄方法,所述全景相机包括多个镜头,所述方法包括:接收所述多个镜头在预设时间段内拍摄的图像;基于预设时间段内所述多个镜头拍摄的图像,标定所述多个镜头中的一个或多个景物镜头,和一个或多个人物镜头;基于所述多个镜头的标定结果,调节所述多个镜头的拍摄分辨率;控制所述分辨率经过调节后的镜头,拍摄图像。

Description

一种全景相机拍摄方法、装置、电子设备及存储介质
技术领域
本申请涉及全景相机领域,具体涉及一种全景相机的拍摄方法、 装置、电子设备及存储介质。
背景技术
全景相机是近几年流行并开始广泛应用的特殊摄像技术,通过多 个镜头、传感器系统以及图像拼接实现的拍摄技术,全景相机技术可 生成360°/720°三维空间场景影像。随着全景相机技术的不断发展, 由于其操作简单、效果震撼、一键拍摄即可生成720°三维空间场景影 像等特点,因此全景相机的应用场景也越来越广泛,比如旅游业、安 防领域。以旅游业为例,针对现有的景区,在景区部署全景相机是一 个很好的娱乐解决方案。全景相机拍摄的360°/720°全景照片将会大 大提高游客的创意性和趣味性,简化景区拍照流程,提高游客体验。 目前一些全景相机已经在景区实现部署和运营,比如北京润博公司的王牌720°全景拍全景相机已经部署在三亚景区进行试运行。
但是全景相机在景区部署也存在不少问题,一个比较突出的问题 是全景相机的供电问题,由于景区覆盖范围广(尤其是山区和森林地 带),大部分部署位置无法布设电源线,无法做到景区电源全覆盖, 所以目前部署的全景相机都是依靠相机本身的电池模块来给全景相 机供电,维护人员通过后台监控系统来监测全景相机的电量,当全景 相机电量低于一定阈值时现场人工更换电池模块,全景相机电量使用 的越快,更换电池模块的次数就越频繁,维护成本也就越大。因此如 何能优化全景相机电量的使用将有重要的现实意义,优化全景相机电 量的使用将大大降低维护成本。
发明内容
针对现有技术中的数据倾斜问题,本申请实施例提出了一种全景 相机拍摄方法、装置、电子设备及计算机可读存储介质,以解决全景 相机电池耗电过快的问题。
本申请实施例的第一方面提供了一种全景相机拍摄方法,所述全 景相机包括多个镜头,包括:接收所述多个镜头在预设时间段内拍摄 的图像;基于预设时间段内所述多个镜头拍摄的图像,标定所述多个 镜头中的一个或多个景物镜头,和一个或多个人物镜头;基于所述多 个镜头的标定结果,调节所述多个镜头拍摄时的分辨率;控制所述分 辨率经过调节后的多个镜头,拍摄图像。
在一些实施例中,所述基于预设时间段内所述多个镜头拍摄的图 像,标定所述多个镜头中的一个或多个景物镜头,和一个或多个人物 镜头,包括:针对所述多个镜头中的每个镜头,确定该镜头在预设时 间段内拍摄的多幅图像中包含人物的图像占预设时间段内该镜头拍 摄的所有图像的比例;当所述比例大于该镜头对应的预设阈值时,将 该镜头标定为人物镜头;当所述比例不大于该镜头对应的预设阈值时, 将该镜头标定为景物镜头。
在一些实施例中,所述确定该镜头在预设时间段内拍摄的图像中 包含人物的图像占预设时间段内该镜头拍摄的所有图像的比例,包括: 将该镜头预设时间段内拍摄的多幅图像输入至神经网络模型,确定所 述多幅图像中包含人脸的图像;确定所述包含人脸的图像占预设时间 段内该镜头拍摄的所有图像的比例。
在一些实施例中,所述基于所述多个镜头的标定结果,调节所述 多个镜头的拍摄分辨率,包括:调节所述多个镜头的拍摄分辨率,使 所述人物镜头的分辨率高于所述景物镜头的分辨率。
在一些实施例中,利用所述分辨率经过调节后的镜头,拍摄图像 后,所述方法还包括:基于插值方法对所述多个镜头拍摄的多幅图像 中的至少一幅进行处理,使得所述多个镜头对应的图像的分辨率相同; 将同一时刻所述多个镜头对应的图像进行拼接。
本申请实施例的第二方面提供了一种全景相机拍摄装置,所述全 景相机包括多个镜头,所述装置包括:接收单元,用于接收所述多个 镜头在预设时间段内拍摄的图像;标定单元,用于基于预设时间段内 所述多个镜头拍摄的图像,标定所述多个镜头中的一个或多个景物镜 头,和一个或多个人物镜头;调节单元,用于基于所述多个镜头的标 定结果,调节所述多个镜头拍摄时的分辨率;控制单元,用于控制所 述分辨率经过调节后的多个镜头,拍摄图像。
在一些实施例中,所述标定单元具体用于:针对所述多个镜头中 的每个镜头,确定该镜头在预设时间段内拍摄的多幅图像中包含人物 的图像占预设时间段内该镜头拍摄的所有图像的比例;当所述比例大 于该镜头对应的预设阈值时,将该镜头标定为人物镜头;当所述比例 不大于该镜头对应的预设阈值时,将该镜头标定为景物镜头。
在一些实施例中,所述确定该镜头在预设时间段内拍摄的图像中 包含人物的图像占预设时间段内该镜头拍摄的所有图像的比例,包括: 将该镜头预设时间段内拍摄的多幅图像输入至神经网络模型,确定所 述多幅图像中包含人脸的图像;确定所述包含人脸的图像占预设时间 段内该镜头拍摄的所有图像的比例。
在一些实施例中,所述调节单元具体用于:调节所述多个镜头的 拍摄分辨率,使所述人物镜头的分辨率高于所述景物镜头的分辨率。
在一些实施例中,所述装置还包括拼接单元,所述拼接单元具体 用于:基于插值方法对所述多个镜头拍摄的多幅图像中的至少一幅进 行处理,使得所述多个镜头对应的图像的分辨率相同;将同一时刻所 述多个镜头对应的图像进行拼接。
本申请实施例的第三方面提供了一种电子设备,包括:
存储器以及一个或多个处理器;
其中,所述存储器与所述一个或多个处理器通信连接,所述存储 器中存储有可被所述一个或多个处理器执行的指令,所述指令被所述 一个或多个处理器执行时,所述电子设备用于实现如前述各实施例所 述的全景相机拍摄方法。
本申请实施例的第四方面提供了一种计算机可读存储介质,其上 存储有计算机可执行指令,当所述计算机可执行指令被计算装置执行 时,可用来实现如前述各实施例所述的全景相机拍摄方法。
本申请实施例的第五方面提供了一种计算机程序产品,所述计算 机程序产品包括存储在计算机可读存储介质上的计算机程序,所述计 算机程序包括程序指令,当所述程序指令被计算机执行时,可用来实 现如前述各实施例所述的全景相机拍摄方法。
本申请实施例,通过标定全景相机的镜头,并调节标定的镜头的 分辨率,能够实现一种节省电量的全景相机的拍摄方法、装置、电子 设备及存储介质。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例描 述中所需要使用的附图作简单的介绍。显而易见地,下面描述中的附 图仅仅是本申请的一些实施例,对于本领域的普通技术人员来讲,在 不付出创造性劳动的前提下,还可以根据这些附图将本申请应用于其 它类似情景。除非从语言环境中显而易见或另做说明,图中相同标号 代表相同结构和操作。
图1是现有技术中的一种全景相机结构示意图;
图2是根据本申请的一些实施例所示的一种全景相机拍摄方法 示意图;
图3是根据本申请的一些实施例所示的一种部署在不同景区的 全景相机基于机器学习的插值方法示意图;
图4是根据本申请的一些实施例所示的图3中所示的插值方法 的信号处理示意图;
图5是根据本申请的一些实施例所示的另外一种能够利用全景 镜头来优化神经网络的方法;
图6是根据本申请的一些实施例所示的一种全景相机拍摄装置 示意图;以及
图7是根据本申请的一些实施例所示的电子设备示意图。
具体实施方式
在下面的详细描述中,通过示例阐述了本申请的许多具体细节, 以便提供对相关披露的透彻理解。然而,对于本领域的普通技术人员 来讲,本申请显而易见的可以在没有这些细节的情况下实施。应当理 解的是,本申请中使用“系统”、“装置”、“单元”和/或“模块”术语, 是用于区分在顺序排列中不同级别的不同部件、元件、部分或组件的 一种方法。然而,如果其他表达式可以实现相同的目的,这些术语可 以被其他表达式替换。
应当理解的是,当设备、单元或模块被称为“在……上”、“连接 到”或“耦合到”另一设备、单元或模块时,其可以直接在另一设备、 单元或模块上,连接或耦合到或与其他设备、单元或模块通信,或者 可以存在中间设备、单元或模块,除非上下文明确提示例外情形。例 如,本申请所使用的术语“和/或”包括一个或多个相关所列条目的任 何一个和所有组合。
本申请所用术语仅为了描述特定实施例,而非限制本申请范围。 如本申请说明书和权利要求书中所示,除非上下文明确提示例外情形, “一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复 数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的特 征、整体、步骤、操作、元素和/或组件,而该类表述并不构成一个排 它性的罗列,其他特征、整体、步骤、操作、元素和/或组件也可以包 含在内。
参看下面的说明以及附图,本申请的这些或其他特征和特点、操 作方法、结构的相关元素的功能、部分的结合以及制造的经济性可以 被更好地理解,其中说明和附图形成了说明书的一部分。然而,可以 清楚地理解,附图仅用作说明和描述的目的,并不意在限定本申请的 保护范围。可以理解的是,附图并非按比例绘制。
本申请中使用了多种结构图用来说明根据本申请的实施例的各 种变形。应当理解的是,前面或下面的结构并不是用来限定本申请。 本申请的保护范围以权利要求为准。
图1是现有技术中的一种全景相机结构示意图。具体地,图1是 现有的一种360°全景相机结构示意图。如图1所示,全景相机包括 4个拍摄镜头,镜头1朝向游客站立方向,拍摄游客方向的图像;镜 头2、镜头3和镜头4都是拍摄景色,从而保证全景相机能拍摄到360度范围的景色,720度的全景相机的拍摄原理和360度全景相机类似, 只是上下多增加了2个摄像头。
图2是根据本申请的一些实施例所示的一种全景相机拍摄方法 示意图。
在202中,接收所述多个镜头在预设时间段内拍摄的图像。在一 些实施例中,所述预设时间段可以是任意的时间段。例如,十分钟、 三小时、一天、一周、一个月、一年或任意的时间段。在一些实施例 中,所述多个镜头的个数是任意的。例如,可以是如图1中所示的四 个方向各设置一个摄像头。又例如,可以是一个水平圆周上设置任意 多个摄像头。
在204中,基于预设时间段内所述多个镜头拍摄的图像,标定所 述多个镜头中的一个或多个景物镜头,和一个或多个人物镜头。
具体地,针对所述多个镜头中的每个镜头,确定该镜头在预设时 间段内拍摄的多幅图像中包含人物的图像占预设时间段内该镜头拍 摄的所有图像的比例。当所述比例大于该镜头对应的预设阈值时,将 该镜头标定为人物镜头。当所述比例不大于该镜头对应的预设阈值时, 将该镜头标定为景物镜头。
在一些实施例中,所述全景相机中的多个镜头对应的预设阈值相 同,但所述预设阈值可以是人为可调的。例如,对于不同位置的全景 相机,设置不同的预设阈值。这是因为,对于不同位置的全景相机, 游客拍照的偏好不同,有些全景相机游客使用频繁,有些全景相机游 客不常使用。
在一些实施例中,所述全景相机中的多个镜头对应设置不同的预 设阈值。这是因为,对于同一个全景相机,某些镜头是游客偏好的正 脸拍摄镜头,有些镜头游客不常用于拍摄正脸出现,但不常出现并不 能说明该镜头不是人物镜头,因此,需要为该镜头设置较低的预设阈 值。
在一些实施例中,所述确定该镜头在预设时间段内拍摄的图像中 包含人物的图像占预设时间段内该镜头拍摄的所有图像的比例,包括: 将该镜头预设时间段内拍摄的多幅图像输入至神经网络模型,确定所 述多幅图像中包含人脸的图像;确定所述包含人脸的图像占预设时间 段内该镜头拍摄的所有图像的比例。所述多幅图像即为所述所有图像。
在一些实施例中,所述识别方法还可以是任意的人脸识别算法。 例如,基于人脸特征点的识别算法、基于整幅人脸图像的识别算法等, 或者采用神经网络模型识别包含人脸的图像等。
在206中,基于所述多个镜头的标定结果,调节所述多个镜头拍 摄时的分辨率。具体地,调节所述多个镜头的拍摄分辨率,使所述人 物镜头的分辨率高于所述景物镜头的分辨率。
在一些实施例中,所述调节所述多个镜头的拍摄分辨率可以是仅 调节所述标定的人物镜头,使人物镜头的分辨率高于景物镜头的分辨 率;或者可以是调节所述标定的景物镜头,使景物镜头的分辨率低于 人物镜头的分辨率;又或者可以是调节所有镜头,使得人物镜头的分 辨率高于景物镜头的分辨率。更进一步地,所述一个或多个景物镜头 间的分辨率可以不相同,仅使所述一个或多个景物镜头的分辨率均低 于所述人物镜头的分辨率即可。更进一步地,所述多个人物镜头的分 辨率可以不相同,仅使所述一个或多个人物镜头的分辨率均高于所述 一个或多个景物镜头的分辨率即可。
在208中,控制所述分辨率经过调节后的多个镜头,拍摄图像。
在一些实施例中,利用全景相机拍摄完成后,需要将多个镜头拍 摄的多个图像进行拼接。所述多幅待拼接的图像需要具有相同的分辨 率。然而,所述多个镜头中存在人物镜头和景物镜头,使得它们拍摄 的图像的分辨率不同;另外,如前所示,即使人物镜头之间、景物镜 头之间的分辨率也可能不同。因此,需要将所述多个镜头拍摄的图像 的分辨率调节至相同。
在一些实施例中,所述拼接方法包括:基于插值方法对所述多个 镜头拍摄的多幅图像中的至少一幅进行处理,使得所述多个镜头对应 的图像的分辨率相同;将同一时刻所述多个镜头对应的图像进行拼接。
本申请提出了一种基于机器学习的图像插值方法。首先,控制某 个镜头拍摄低分辨率样本图像和目标分辨率图像。其次,训练一个预 定义的深度神经网络。该神经网络的输入为低分辨率的图像,例如 N×N,并将该数据对应的目标分辨率图像,例如,M×M(M>N)作为标注数据,使用常见的训练方法,例如Adam优化算法来训练该 深度神经网络。在训练结束后,该网络可以接收分辨率的图像,并 输出分辨率的图像。
在一些实施例中,所述神经网络也可以用于将固定时间间隔X内 景色镜头拍摄的多张图像进行插值,生成多张图像,并与人像镜头拍 摄的多张图像进行融合。如图3给出了部署在不同景区的全景相机基 于机器学习的插值方法示意图。进一步,图4中给出了具体的信号处 理示意图,其中S1,S2,S3,S4代表四个镜头拍摄的图像信号,其 中S2,S3,S4使用了较低的分辨率,此处示意为2*2的信号矩阵, S1使用了较高的分辨率,此处示意为4*4的信号矩阵。假设神经网 络为如图所示5层神经网络,其输入为4个神经元输出为16个神经元。如图所示,S2输入该网络后,输出为长度16的序列Y2。损失函 数可以使用Mean SquareError:
Figure BDA0002162344420000081
进一步使用Adam优化器即可完成该网络的一次训练。在图5所示的 插值方法中,神经网络可以得到当前镜头景色的最优性能。
如图5中,本申请提出了另外一种能够利用全景镜头来优化神经 网络的方法。在图5中,低分辨率的信号首先经过一个简单插值,得 到与高分辨率信号分辨率相同的信号矩阵。此处简单插值可以使用任 意一种已知的差值方法,或直接使用简单的补零差值。进一步,将信 号输入至图像拼接算法,得到拼接后的信号序列。此时,由于具体的 拼接算法不同,输出的信号序列长度为N,其中N与输入信号长度不 一定等同。进一步,信号序列N输入至神经网络,输出信号长度仍然 为N。此时,定义损失函数为:
Figure BDA0002162344420000082
使用Adam优化器训练对应的神经网络。在该种方法中,神经网络可 以直接针对拼接后的图像进行插值,进而得到的图像能够利用到全景 图像中的统计特征,因此能够生成比图4中方法更优秀的全景图像。
值得说明的是,如前文步骤206中所述,所述人物镜头间或者景 物镜头间的分辨率可以不同,则在对所述多幅图像进行插值时,需要 基于分辨率的种类确定模型的个数。例如,所述X个镜头的分辨率各 不相同,则采集的图像包括X种分辨率,可以利用X-1个模型将所 述X-1个镜头(除最高分辨率镜头)采集的图像调节至与分辨率最高 的镜头采集的图像相同;或者利用X个模型将X个镜头采集的图像 调节至一个额外分辨率,所述额外分辨率与所述X个镜头的分辨率 均不相同。又例如,所述X个镜头的分辨率分为M种,则同上地, 利用M-1或M个模型进行插值。
图6是根据本申请的一些实施例所示的一种全景相机拍摄装置 示意图。如图6所示,所述全景相机拍摄装置600包括接收单元610、 标定单元620、调节单元630和控制单元640。
所述接收单元610用于接收所述多个镜头在预设时间段内拍摄 的图像。所述标定单元620用于基于预设时间段内所述多个镜头拍摄 的图像,标定所述多个镜头中的一个或多个景物镜头,和一个或多个 人物镜头。所述调节单元630用于基于所述多个镜头的标定结果,调 节所述多个镜头拍摄时的分辨率。所述控制单元640用于控制所述分 辨率经过调节后的多个镜头,拍摄图像。
在一些实施例中,所述标定单元具体用于:针对所述多个镜头中 的每个镜头,确定该镜头在预设时间段内拍摄的多幅图像中包含人物 的图像占预设时间段内该镜头拍摄的所有图像的比例;当所述比例大 于该镜头对应的预设阈值时,将该镜头标定为人物镜头;当所述比例 不大于该镜头对应的预设阈值时,将该镜头标定为景物镜头。
在一些实施例中,所述确定该镜头在预设时间段内拍摄的图像中 包含人物的图像占预设时间段内该镜头拍摄的所有图像的比例,包括: 将该镜头预设时间段内拍摄的多幅图像输入至神经网络模型,确定所 述多幅图像中包含人脸的图像;确定所述包含人脸的图像占预设时间 段内该镜头拍摄的所有图像的比例。
在一些实施例中,调节单元具体用于:调节所述多个镜头的拍摄 分辨率,使所述人物镜头的分辨率高于所述景物镜头的分辨率。
在一些实施例中,所述全景相机还包括拼接单元,所述拼接单元 具体用于:基于插值方法对所述多个镜头拍摄的多幅图像中的至少一 幅进行处理,使得所述多个镜头对应的图像的分辨率相同;将同一时 刻所述多个镜头对应的图像进行拼接。
值得说明的是,所述全景相机拍摄装置用于执行如图2所示的方 法。具体细节见图2及其描述,在此不做赘述。
图7是适于用来实现根据本申请实施方式的电子设备的结构示 意图。
如图7所示,电子设备700包括中央处理单元(CPU)701,其 可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708 加载到随机访问存储器(RAM)703中的程序而执行上述图2-5所示 的实施方式中的各种处理。在RAM703中,还存储有电子设备700操 作所需的各种程序和数据。CPU701、ROM702以及RAM703通过总 线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
以下部件连接至I/O接口705:包括键盘、鼠标等的输入部分706; 包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的 输出部分707;包括硬盘等的存储部分708;以及包括诸如LAN卡、 调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如 因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口 705。可拆卸介质711,诸如磁盘、光盘、磁光盘、半导体存储器等等, 根据需要安装在驱动器710上,以便于从其上读出的计算机程序根据 需要被安装入存储部分708。
特别地,根据本申请的实施方式,上文参考图2-5描述的方法可 以被实现为计算机软件程序。例如,本申请的实施方式包括一种计算 机程序产品,其包括有形地包含在及其可读介质上的计算机程序,所 述计算机程序包含用于执行图2-5的方法的程序代码。在这样的实施 方式中,该计算机程序可以通过通信部分709从网络上被下载和安 装,和/或从可拆卸介质711被安装。
附图中的流程图和框图,图示了按照本申请各种实施方式的装置、 方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点 上,路程图或框图中的每个方框可以代表一个模块、程序段或代码的 一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现 规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现 中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。 例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时 也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是, 框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现, 或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施方式中所涉及到的单元或模块可以通过软件 的方式实现,也可以通过硬件的方式来实现。所描述的单元或模块也 可以设置在处理器中,这些单元或模块的名称在某种情况下并不构成 对该单元或模块本身的限定。
作为另一方面,本申请还提供了一种计算机可读存储介质,该计 算机可读存储介质可以是上述实施方式中所述装置中所包含的计算 机可读存储介质;也可以是单独存在,未装配入设备中的计算机可读 存储介质。计算机可读存储介质存储有一个或者一个以上程序,所述 程序被一个或者一个以上的处理器用来执行描述于本申请的方法。
综上所述,本申请提出了一种全景相机拍摄方法、装置、电子设 备及其计算机可读存储介质。本申请实施例为不同功能的镜头配置不 同的拍摄分辨率,最大限度地实现了全景相机的节能。
应当理解的是,本申请的上述具体实施方式仅仅用于示例性说明 或解释本申请的原理,而不构成对本申请的限制。因此,在不偏离本 申请的精神和范围的情况下所做的任何修改、等同替换、改进等,均 应包含在本申请的保护范围之内。此外,本申请所附权利要求旨在涵 盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内 的全部变化和修改例。

Claims (12)

1.一种全景相机拍摄方法,所述全景相机包括多个镜头,其特征在于,包括:
接收所述多个镜头在预设时间段内拍摄的图像;
基于预设时间段内所述多个镜头拍摄的图像,标定所述多个镜头中的一个或多个景物镜头,和一个或多个人物镜头;
基于所述多个镜头的标定结果,调节所述多个镜头拍摄时的分辨率;
控制所述分辨率经过调节后的多个镜头,拍摄图像。
2.如权利要求1所述的方法,其特征在于,所述基于预设时间段内所述多个镜头拍摄的图像,标定所述多个镜头中的一个或多个景物镜头,和一个或多个人物镜头,包括:
针对所述多个镜头中的每个镜头,确定该镜头在预设时间段内拍摄的多幅图像中包含人物的图像占预设时间段内该镜头拍摄的所有图像的比例;
当所述比例大于该镜头对应的预设阈值时,将该镜头标定为人物镜头;
当所述比例不大于该镜头对应的预设阈值时,将该镜头标定为景物镜头。
3.如权利要求2所述的方法,其特征在于,所述确定该镜头在预设时间段内拍摄的图像中包含人物的图像占预设时间段内该镜头拍摄的所有图像的比例,包括:
将该镜头预设时间段内拍摄的多幅图像输入至神经网络模型,确定所述多幅图像中包含人脸的图像;
确定所述包含人脸的图像占预设时间段内该镜头拍摄的所有图像的比例。
4.如权利要求1所述的方法,其特征在于,所述基于所述多个镜头的标定结果,调节所述多个镜头的拍摄分辨率,包括:
调节所述多个镜头的拍摄分辨率,使所述人物镜头的分辨率高于所述景物镜头的分辨率。
5.如权利要求1所述的方法,其特征在于,利用所述分辨率经过调节后的镜头,拍摄图像后,所述方法还包括:
基于插值方法对所述多个镜头拍摄的多幅图像中的至少一幅进行处理,使得所述多个镜头对应的图像的分辨率相同;
将同一时刻所述多个镜头对应的图像进行拼接。
6.一种全景相机拍摄装置,所述全景相机包括多个镜头,其特征在于,所述装置包括:
接收单元,用于接收所述多个镜头在预设时间段内拍摄的图像;
标定单元,用于基于预设时间段内所述多个镜头拍摄的图像,标定所述多个镜头中的一个或多个景物镜头,和一个或多个人物镜头;
调节单元,用于基于所述多个镜头的标定结果,调节所述多个镜头拍摄时的分辨率;
控制单元,用于控制所述分辨率经过调节后的多个镜头,拍摄图像。
7.如权利要求6所述的装置,其特征在于,所述标定单元具体用于:
针对所述多个镜头中的每个镜头,确定该镜头在预设时间段内拍摄的多幅图像中包含人物的图像占预设时间段内该镜头拍摄的所有图像的比例;
当所述比例大于该镜头对应的预设阈值时,将该镜头标定为人物镜头;
当所述比例不大于该镜头对应的预设阈值时,将该镜头标定为景物镜头。
8.如权利要求7所述的装置,其特征在于,所述确定该镜头在预设时间段内拍摄的图像中包含人物的图像占预设时间段内该镜头拍摄的所有图像的比例,包括:
将该镜头预设时间段内拍摄的多幅图像输入至神经网络模型,确定所述多幅图像中包含人脸的图像;
确定所述包含人脸的图像占预设时间段内该镜头拍摄的所有图像的比例。
9.如权利要求6所述的装置,其特征在于,所述调节单元具体用于:
调节所述多个镜头的拍摄分辨率,使所述人物镜头的分辨率高于所述景物镜头的分辨率。
10.如权利要求6所述的装置,其特征在于,所述全景相机还包括拼接单元,所述拼接单元具体用于:
基于插值方法对所述多个镜头拍摄的多幅图像中的至少一幅进行处理,使得所述多个镜头对应的图像的分辨率相同;
将同一时刻所述多个镜头对应的图像进行拼接。
11.一种电子设备,其特征在于,包括:
存储器以及一个或多个处理器;
其中,所述存储器与所述一个或多个处理器通信连接,所述存储器中存储有可被所述一个或多个处理器执行的指令,所述指令被所述一个或多个处理器执行时,所述电子设备用于实现如权利要求1-5任一项所述的全景相机拍摄方法。
12.一种计算机可读存储介质,其上存储有计算机可执行指令,当所述计算机可执行指令被计算装置执行时,可用来实现如权利要求1-5任一项所述的全景相机拍摄方法。
CN201910736531.XA 2019-08-09 2019-08-09 一种全景相机拍摄方法、装置、电子设备及存储介质 Active CN110536066B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910736531.XA CN110536066B (zh) 2019-08-09 2019-08-09 一种全景相机拍摄方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910736531.XA CN110536066B (zh) 2019-08-09 2019-08-09 一种全景相机拍摄方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN110536066A CN110536066A (zh) 2019-12-03
CN110536066B true CN110536066B (zh) 2021-06-29

Family

ID=68662489

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910736531.XA Active CN110536066B (zh) 2019-08-09 2019-08-09 一种全景相机拍摄方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN110536066B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112995514B (zh) * 2021-03-03 2023-05-30 上海万物新生环保科技集团有限公司 一种工业相机的拍照物距的获取方法及设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101061721A (zh) * 2005-06-07 2007-10-24 松下电器产业株式会社 监视系统、监视方法及摄像机终端
WO2011106520A1 (en) * 2010-02-24 2011-09-01 Ipplex Holdings Corporation Augmented reality panorama supporting visually impaired individuals
CN103718540A (zh) * 2011-02-21 2014-04-09 英特尔公司 用于生成全景图像的方法、用户终端和计算机可读记录介质
CN103986872A (zh) * 2014-05-28 2014-08-13 宇龙计算机通信科技(深圳)有限公司 一种终端及终端拍摄方法
CN105335932A (zh) * 2015-12-14 2016-02-17 北京奇虎科技有限公司 多路图像采集拼合方法及系统
CN107231523A (zh) * 2017-05-30 2017-10-03 深圳晨芯时代科技有限公司 一种降低全景相机功耗的方法
CN108156386A (zh) * 2018-01-11 2018-06-12 维沃移动通信有限公司 一种全景拍照方法及移动终端

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9270976B2 (en) * 2005-11-02 2016-02-23 Exelis Inc. Multi-user stereoscopic 3-D panoramic vision system and method
US8600194B2 (en) * 2011-05-17 2013-12-03 Apple Inc. Positional sensor-assisted image registration for panoramic photography

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101061721A (zh) * 2005-06-07 2007-10-24 松下电器产业株式会社 监视系统、监视方法及摄像机终端
WO2011106520A1 (en) * 2010-02-24 2011-09-01 Ipplex Holdings Corporation Augmented reality panorama supporting visually impaired individuals
CN103718540A (zh) * 2011-02-21 2014-04-09 英特尔公司 用于生成全景图像的方法、用户终端和计算机可读记录介质
CN103986872A (zh) * 2014-05-28 2014-08-13 宇龙计算机通信科技(深圳)有限公司 一种终端及终端拍摄方法
CN105335932A (zh) * 2015-12-14 2016-02-17 北京奇虎科技有限公司 多路图像采集拼合方法及系统
CN107231523A (zh) * 2017-05-30 2017-10-03 深圳晨芯时代科技有限公司 一种降低全景相机功耗的方法
CN108156386A (zh) * 2018-01-11 2018-06-12 维沃移动通信有限公司 一种全景拍照方法及移动终端

Also Published As

Publication number Publication date
CN110536066A (zh) 2019-12-03

Similar Documents

Publication Publication Date Title
CN108304821B (zh) 图像识别方法及装置、图像获取方法及设备、计算机设备及非易失性计算机可读存储介质
US11233933B2 (en) Method and device for processing image, and mobile terminal
CN113992861B (zh) 一种图像处理方法及图像处理装置
CN108419028B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN109191403A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN105141841B (zh) 摄像设备及其方法
CN107704798B (zh) 图像虚化方法、装置、计算机可读存储介质和计算机设备
CN107113379A (zh) 红外光源的亮度调节方法与装置、光学动捕摄像机
CN107800979A (zh) 高动态范围视频拍摄方法及拍摄装置
CN110956679B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN112311965A (zh) 虚拟拍摄方法、装置、系统及存储介质
CN110991297A (zh) 一种基于场景监控的目标定位方法及系统
CN102236790B (zh) 一种图像处理方法和设备
CN109242794B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN109712177A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN108053438A (zh) 景深获取方法、装置及设备
CN110658918B (zh) 用于视频眼镜的眼球追踪相机的定位方法、设备及介质
CN108717704A (zh) 基于鱼眼图像的目标跟踪方法、计算机装置及计算机可读存储介质
CN110536066B (zh) 一种全景相机拍摄方法、装置、电子设备及存储介质
CN110445966B (zh) 一种全景相机视频拍摄方法、装置、电子设备及存储介质
CN108600631B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN113391644B (zh) 一种基于图像信息熵的无人机拍摄距离半自动寻优方法
CN113159229B (zh) 图像融合方法、电子设备及相关产品
JP2017211982A (ja) 顔識別システム及び顔識別方法
CN107295261B (zh) 图像去雾处理方法、装置、存储介质和移动终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20201225

Address after: 100020 17th floor, building 1, century wealth center, No.5 Guanghua Road, Chaoyang District, Beijing

Applicant after: Runbo panoramic culture and Tourism Technology Co.,Ltd.

Address before: 100055 108-4, building 1, 168 Guang'anmen street, Xicheng District, Beijing

Applicant before: Beijing Runbo Internet Digital Technology Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant