CN113542575A - 设备位姿调整方法和图像拍摄方法及电子设备 - Google Patents

设备位姿调整方法和图像拍摄方法及电子设备 Download PDF

Info

Publication number
CN113542575A
CN113542575A CN202010295055.5A CN202010295055A CN113542575A CN 113542575 A CN113542575 A CN 113542575A CN 202010295055 A CN202010295055 A CN 202010295055A CN 113542575 A CN113542575 A CN 113542575A
Authority
CN
China
Prior art keywords
image
electronic device
data
information
interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010295055.5A
Other languages
English (en)
Inventor
韩军辉
刘洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202010295055.5A priority Critical patent/CN113542575A/zh
Publication of CN113542575A publication Critical patent/CN113542575A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/617Upgrading or updating of programs or applications for camera control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)

Abstract

本申请涉及图像技术领域,具体涉及设备位姿调整方法和图像拍摄方法及电子设备。设备位姿调整方法包括:显示第一界面,第一界面包括携带有第一位姿数据的第一图像的信息,第一位姿数据包括第一位置的位置数据,第一位置为第一图像被捕获时第二电子设备的位置,第二电子设备为捕获第一图像的设备;响应于第一操作,提供第一提示信息,第一提示信息用于提示调整第一电子设备的位置,第一提示信息由第一位置的位置数据和第二位置的位置数据确定,第二位置为第一电子设备的当前位置。本申请实施例可以根据已拍摄图像所携带的位姿数据,提示用户对当前电子设备进行位置的调整,以提高当前拍摄得到的图像与已拍摄图像之间的衔接自然性。

Description

设备位姿调整方法和图像拍摄方法及电子设备
技术领域
本申请涉及图像技术领域,具体涉及设备位姿调整方法和图像拍摄方法及电子设备。
背景技术
随着具有拍摄功能的手机、相机等拍摄设备日益普及,可使得用户的照片拍摄或录像需 求得到极大满足。例如,可以方便地为孩子拍照或录制视频。再例如,可以方便地拍摄发现 的美景。等等。
在用户有拍摄需求时,如何调整设备的位置和姿态,以追求更好的拍摄效果,是用户所 关注的。
发明内容
本申请实施例提供了一种设备位姿调整方法和图像拍摄方法及电子设备,可以利用已拍 摄的图像被电子设备拍摄时电子设备的位姿,指示当前拍摄的电子设备的位姿,实现了前后 两次拍摄的拍摄位姿的一致或大约一致,保证了照片或视频之间的连贯性或一致性。
第一方面,本申请实施例提供了一种用于拍摄的设备位姿调整方法,应用于配置有第一 摄像头的第一电子设备,该方法包括:第一电子设备显示第一界面,第一界面包括携带有第 一位姿数据的第一图像的信息,第一位姿数据包括第一位置的位置数据,第一位置为第一图 像被捕获时第二电子设备的位置,第二电子设备为捕获第一图像的设备;其中,第一图像的 信息包括第一图像本身、第一图像的缩略图、第一图像的预览图、第一图像的指示信息中的 至少一种;第一电子设备响应于第一操作,提供第一提示信息,第一提示信息用于提示调整 第一电子设备的位置,第一提示信息由第一位置的位置数据和第二位置的位置数据确定,第 二位置为第一电子设备的当前位置。
也就是说,在该实现方式中,可以根据已拍摄图像所携带的位姿数据,提示用户对当前 的电子设备进行位置的调整,从而可以实现在和之前拍摄的图像的拍摄位置相同或相近的位 置完成当前拍摄,可提高当前拍摄得到的照片(或视频),与,已拍摄图像(或已拍摄图像所 属的视频)之间的衔接自然性。
在一种可能的实现方式中,在显示第一界面之前,该方法还包括:启动第一摄像头,以 显示取景界面;当取景界面包括含有第一物体的影像时,根据第一物体的影像,确定本地存 储或网络存储的含有第二物体的影像的图像为第一图像,第二物体为第一物体的对应物体; 显示第一界面包括:在取景界面显示第一图像的信息。
也就是说,在该实现方式中,可以根据当前设备的取景界面中的物体影像从本地存储或 网络存储中匹配第一图像,实现了自动获取第一图像,改善了用户操作体验。
在一种可能的实现方式中,在显示第一界面之前,该方法还包括:启动第一摄像头,以 显示取景界面;确定第一电子设备的第一地理位置;根据第一地理位置,在本地存储或网络 存储的图像中确定第一图像,其中,第一地理位置和第一位置之间的距离小于第一阈值,第 一位置为第二电子设备的地理位置;显示第一界面包括:在取景界面显示第一图像的信息。
也就是说,在该实现方式中,可以根据当前设备所在的地理位置,自动从本地存储或网 络存储中匹配第一图像,实现了自动获取第一图像,改善了用户操作体验。
在一种可能的实现方式中,在显示第一界面之前,该方法还包括:启动第一摄像头,以 显示取景界面;确定第一电子设备的第一网络信息;根据第一网络信息,确定本地存储或网 络存储的携带有第二网络信息的图像为第一图像,其中,第一网络信息和第二网络信息相对 应;显示第一界面包括:在取景界面显示第一图像的信息。
也就是说,在该实现方式中,可以根据当前设备所连接的网络的信息,自动从本地存储 或网络存储中匹配第一图像,实现了自动获取第一图像,改善了用户操作体验。
在一种可能的实现方式中,在显示第一界面之前,该方法还包括:启动第一摄像头,以 显示取景界面;确定第一电子设备的第一近场通信标签;根据第一近场通信标签,确定本地 存储或网络存储的携带有第二近场通信标签的图像为第一图像,其中,第一近场通信标签和 第二近场通信标签相相对应;显示第一界面包括:在取景界面显示第一图像的信息。
也就是说,在该实现方式中,可以根据当前设备所检测到的近场通信标签,自动从本地 存储或网络存储中匹配第一图像,实现了自动获取第一图像,改善了用户操作体验。
在一种可能的实现方式中,显示第一界面还包括:显示拍摄模式选择信息,选择信息用 于提示用户是否选择进入模仿拍摄模式或续拍模式;第一操作为用户起始的选择进入模仿拍 摄模式或续拍模式的操作。
也就是说,在该实现方式中,用户可以选择是否进行模仿拍摄或续拍,改善了用户操作 体验。
在一种可能的实现方式中,在显示第一界面之前,该方法还包括:显示第二界面,第二 界面包括一个或多个图像;响应于用户起始的操作,将一个或多个图像中的至少一个图像确 定为第一图像。
也就是说,在该实现方式中,用户可以人工选择第一图像,提高了用户选择的自主性, 改善了用户操作体验。
在一种可能的实现方式中,该一个或多个图像中的部分或全部图像携带有第一标识,第 一标识用于表示图像携带有位姿数据。
也就是说,在该实现方式中,携带有位姿数据的图像具有标识,以便用户进行选择。
在一种可能的实现方式中,提供第一提示信息包括:当第二位置和第一位置之间的距离 大于第二阈值时,显示导航路线,导航路线的终点为第一位置。
也就是说,在该实现方式中,在第一图像被拍摄位置和当前设备的位置较远时,可以进 行导航,以便用户可以尽快达到第一图像被拍摄位置。
在一种可能的实现方式中,提供第一提示信息包括:当第二位置和第一位置之间的距离 小于第三阈值时,显示第一指示信息;其中,第一指示信息用于指示第一电子设备的位置调 整方向。
也就是说,在该实现方式中,第一图像被拍摄位置和当前设备的位置较近时,当前设备 可以显示指示信息,使得用户可以调整当前设备的位置,使得当前设备更接近第一图像被拍 摄时的位置。
在一种可能的实现方式中,第一位置为三维空间中的第一坐标点,第二位置为三维空间 中的第二坐标点;第一指示信息是根据第一坐标点相对第二坐标点的方位确定的。
也就是说,在该实现方式中,可以通过对三维空间中的两个坐标点之间的矢量运算,来 指示用户调整当前设备的位置的方向。
在一种可能的实现方式中,显示第一指示信息包括:显示取景界面;当第一物体落入第 一摄像头的取景范围,且第一图像包括第二物体的影像时,确定第一物体的影像在取景界面 中的第一尺寸,以及确定第二物体的影像在第一图像中的第二尺寸;根据第一尺寸和第二尺 寸,确定第一指示信息。
也就是说,在该实现方式中,可以通过比较预览图像中的物体影像和第一图像中物体影 像的大小,来指示用户调整当前设备的位置的方向。
在一种可能的实现方式中,显示第一指示信息包括:显示取景界面;当第一物体落入第 一摄像头的取景范围,且第一图像包括第二物体的影像时,确定第一物体相对第一电子设备 的方位,以及确定第一图像被拍摄时第二物体相对第二电子设备的方位;第二物体为第一物 体对应的物体;根据第一物体相对第一电子设备的方位和第一图像被拍摄时第二物体相对第 二电子设备的方位,确定第一指示信息。
在一种可能的实现方式中,显示第一指示信息包括:显示取景界面;当第一物体落入第 一摄像头的取景范围时,在取景界面,显示第一指示信息。
在一种可能的实现方式中,第一指示信息用于指示在第一平面上任一方向平移第二电子 设备,第一平面垂直于第一摄像头的光轴;或者,第一指示信息用于指示沿第一摄像头的光 轴向前或向后平移第一电子设备。
在一种可能的实现方式中,第一位姿数据还包括第一姿态的姿态数据,第一姿态为第一 图像被捕获时第二电子设备在三维空间中的旋转;方法还包括:提供第二提示信息,第二提 示信息用于提示调整第一电子设备的姿态,第二提示信息由第一姿态的姿态数据和第二姿态 的姿态数据确定,第二姿态为当前第一电子设备在三维空间中的旋转。
在一种可能的实现方式中,提供第二提示信息包括:显示第二指示信息;其中,第二指 示信息用于指示在第一平面上旋转第一电子设备,第一平面垂直于第一摄像头的光轴;或者, 第二指示信息用于指示根据第一中心轴或第二中心轴偏转第一电子设备,以偏转第一摄像头 的光轴,其中,第一中心轴和第二中心轴为第一电子设备的中心轴,第一中心轴、第二中心 轴相互垂直,且均垂直于第一摄像头的光轴。
在一种可能的实现方式中,第一姿态的姿态数据包括用于表征第一姿态的四元数;提供 第二提示信息包括:确定第二姿态的姿态数据,第二姿态的姿态数据为用于表征第二姿态的 四元数;将第一姿态的姿态数据转换为第一欧拉角,以及将第二姿态的姿态数据转换为第二 欧拉角;基于第一欧拉角和第二欧拉角,确定第一姿态和第二姿态之间的相对旋转角度;根 据相对旋转角度,提供第二提示信息。
在一种可能的实现方式中,方法还包括:显示预览界面,预览界面包括第一物体的影像; 在预览界面,显示第一图像中第二物体的影像的特征点。
在一种可能的实现方式中,第二物体的影像的特征点构成第二物体的轮廓。
在一种可能的实现方式中,第二物体的影像的特征点包括在第一图像的扩展信息中。
在一种可能的实现方式中,在在预览界面显示第一图像中第二物体的影像的特征点之前, 方法还包括:
从第一图像中,提取第二物体的影像的特征点。
在一种可能的实现方式中,第一位姿数据还包括第一方向的方向数据,第一方向为第一 图像被捕获时第二电子设备的摄像头面对的方向;方法还包括:提供第三提示信息,第三提 示信息用于提示调整第一摄像头的面对方向,第三提示信息由第一摄像头的当前面对方向和 第一方向确定。
在一种可能的实现方式中,第一电子设备和第二电子设备为不同的电子设备;或者,第 一电子设备和第二电子设备为同一电子设备,第一图像为第一电子设备在显示第一界面之前 拍摄的图像。
第二方面,提供了一种图像拍摄方法,应用于配置有摄像头的电子设备;该方法包括: 获取第一图像,第一图像为摄像头捕获的图像;获取第一位姿数据,第一位姿数据包括第一 位置的位置数据,第一位置为第一图像被捕获时电子设备的位置;将第一位姿数据存储为第 一图像的扩展信息,以得到携带有位姿数据的第一图像。
也就是说,通过本申请实施例提供的图像拍摄方法,可以得到携带有位姿数据的图像。 该位姿数据可以包括位置数据,该位置数据可以用于在后续拍摄图像时调整设备的位置,使 得前后两次拍摄的图像的拍摄位置相同或相似,提高前后两次拍摄的图像间的衔接自然性。
在一种可能的实现方式中,第一位置的位置数据为地理位置信息。
在一种可能的实现方式中,第一位置的位置数据通过卫星定位、同步定位与地图构建 SLAM、Wi-Fi定位、惯性测量单元IMU中的至少一种得到。
在一种可能的实现方式中,第一位置的位置数据为第一图像被捕获时的电子设备在三维 空间中的坐标。
也就是说,在该实现方式中,位置数据可以为三维空间中的坐标信息,从而可以减少第 一图像的扩展信息的数据量,可以节省存储第一图像的存储空间。
在一种可能的实现方式中,第一位姿数据还包括第一姿态的姿态数据,第一姿态为第一 图像被捕获时电子设备在三维空间中的旋转。
也就是说,在该实现方式中,可以得到携带有位姿数据的图像。该位姿数据可以包括姿 态数据,该姿态数据可以用于在后续拍摄图像时调整设备的姿态,使得前后两次拍摄的图像 的拍摄角度相同或相似,提高前后两次拍摄的图像间的衔接自然性。
在一种可能的实现方式中,第一姿态的姿态数据通过SLAM和/或IMU得到。
在一种可能的实现方式中,第一位姿数据还包括第一方向的方向数据,第一方向为第一 图像被捕获时摄像头面对的方向。
也就是说,在该实现方式中,可以得到第一图像被拍摄时摄像头面对的方向的方向数据, 从而可以在后续拍摄时,可以提示用户调整摄像头面对的方向,改善了用户操作体验。
在一种可能的实现方式中,第一方向的方向数据通过电子罗盘得到。
在一种可能的实现方式中,该方法还包括:确定第一图像的中第一物体的影像的特征点; 将第一物体的影像的特征点作为第一图像的扩展信息进行存储。
在一种可能的实现方式中,第一物体影像的特征点为ORB特征点。
在一种可能的实现方式中,扩展信息为可交换图像文件EXIF信息。
第三方面,提供了一种视频录制方法,应用于配置有摄像头的电子设备,该方法包括: 在视频录制过程中,显示摄像头捕获的第一图像;当检测到第一信息时,确定第一图像为第 一关键帧;获取第一位姿数据,第一位姿数据包括第一位置的位置数据,第一位置为关键帧 被捕获时电子设备的位置;将第一位姿数据存储为第一关键帧的扩展信息,以得到携带有位 姿数据的视频。
也就是说,在本申请实施例提供的视频录制方法中,可以得到包括携带有位姿数据的视 频,该位姿数据可以包括用于描述位置的位置数据,该位置可以用于在后续录制视频时提示 用户调整设备的位置,使得前后两次录制的拍摄位置相同或相似,提高前后两次录制视频间 的衔接自然性。
在一种可能的实现方式中,第一信息为:针对第一图像的操作。
在一种可能的实现方式中,第一信息为:第一图像包括第一物体的影像或第一特征信息; 确定第一图像为第一关键帧包括:当检测到第一图像包括第一物体的影像或第一特征信息时, 确定第一图像为第一关键帧。
在一种可能的实现方式中,第一信息为:第一图像的捕获时刻和视频录制的启动时刻之 间的时长为预设时长的整数倍。
在一种可能的实现方式中,第一信息为:在摄像头捕获第一图像之后的第一时间段内, 电子设备的位姿改变大于阈值;其中,第一时间段的时长≤第一图像的帧长。
在一种可能的实现方式中,扩展信息为第一图像的补充增强消息SEI。
在一种可能的实现方式中,第一位置的位置数据为地理位置信息。
在一种可能的实现方式中,第一位置的位置数据通过卫星定位、同步定位与地图构建 SLAM、Wi-Fi定位、惯性测量单元IMU中的至少一种得到。
在一种可能的实现方式中,第一位置的位置数据为第一图像被捕获时的电子设备在三维 空间中的坐标。
也就是说,在该实现方式中,位置数据可以为三维空间中的坐标信息,从而可以减少第 一图像的扩展信息的数据量,可以节省存储第一图像的存储空间。
在一种可能的实现方式中,第一位姿数据还包括第一姿态的姿态数据,第一姿态为第一 图像被捕获时电子设备在三维空间中的旋转。
也就是说,在该实现方式中,可以得到携带有位姿数据的图像。该位姿数据可以包括姿 态数据,该姿态数据可以用于在后续视频录制时调整设备的姿态,使得前后两次录制的视频 的拍摄角度相同或相似,提高前后两次录制的视频间的衔接自然性。
在一种可能的实现方式中,第一姿态的姿态数据通过SLAM和/或IMU得到。
在一种可能的实现方式中,第一位姿数据还包括第一方向的方向数据,第一方向为第一 图像被捕获时摄像头面对的方向。
也就是说,在该实现方式中,可以得到第一图像被拍摄时摄像头面对的方向的方向数据, 从而可以在后续拍摄时,可以提示用户调整摄像头面对的方向,改善了用户操作体验。
在一种可能的实现方式中,第一方向的方向数据通过电子罗盘得到。
在一种可能的实现方式中,该方法还包括:确定第一图像的中第一物体的影像的特征点; 将第一物体的影像的特征点作为第一图像的扩展信息进行存储。
在一种可能的实现方式中,第一物体影像的特征点为ORB特征点。
第四方面,本申请实施例提供了一种用于拍摄的设备位姿调整装置,配置于具有第一摄 像头的第一电子设备,该装置包括:显示单元,用于显示第一界面,第一界面包括携带有第 一位姿数据的第一图像的信息,第一位姿数据包括第一位置的位置数据,第一位置为第一图 像被捕获时第二电子设备的位置,第二电子设备为捕获第一图像的设备;其中,第一图像的 信息包括第一图像本身、第一图像的缩略图、第一图像的预览图、第一图像的指示信息中的 至少一种;提供单元,用于响应于第一操作,提供第一提示信息,第一提示信息用于提示调 整第一电子设备的位置,第一提示信息由第一位置的位置数据和第二位置的位置数据确定, 第二位置为第一电子设备的当前位置。
在一种可能的实现方式中,该装置还包括启动单元和确定单元;启动单元用于在显示第 一界面之前,启动第一摄像头,以显示取景界面;确定单元用于当取景界面包括含有第一物 体的影像时,根据第一物体的影像,确定本地存储或网络存储的含有第二物体的影像的图像 为第一图像,第二物体为第一物体的对应物体;显示单元用于在取景界面显示第一图像的信 息。
在一种可能的实现方式中,该装置还包括启动单元和确定单元;启动单元用于在显示第 一界面之前,启动第一摄像头,以显示取景界面;确定单元用于确定第一电子设备的第一地 理位置;确定单元还用于根据第一地理位置,在本地存储或网络存储的图像中确定第一图像, 其中,第一地理位置和第一位置之间的距离小于第一阈值,第一位置为第二电子设备的地理 位置;显示单元用于在取景界面显示第一图像的信息。
在一种可能的实现方式中,该装置还包括启动单元和确定单元;启动单元用于在显示第 一界面之前,该方法还包括:启动第一摄像头,以显示取景界面;确定单元用于确定第一电 子设备的第一网络信息;确定单元还用于根据第一网络信息,确定本地存储或网络存储的携 带有第二网络信息的图像为第一图像,其中,第一网络信息和第二网络信息相对应;显示单 元用于在取景界面显示第一图像的信息。
在一种可能的实现方式中,该装置还包括启动单元和确定单元;启动单元用于在显示第 一界面之前,启动第一摄像头,以显示取景界面;确定单元用于确定第一电子设备的第一近 场通信标签;确定单元还用于根据第一近场通信标签,确定本地存储或网络存储的携带有第 二近场通信标签的图像为第一图像,其中,第一近场通信标签和第二近场通信标签相相对应; 显示单元在取景界面显示第一图像的信息。
在一种可能的实现方式中,显示单元用于显示拍摄模式选择信息,选择信息用于提示用 户是否选择进入模仿拍摄模式或续拍模式;第一操作为用户起始的选择进入模仿拍摄模式或 续拍模式的操作。
在一种可能的实现方式中,该装置还包括确定单元;显示单元用于在显示第一界面之前, 显示第二界面,第二界面包括一个或多个图像;确定单元用于响应于用户起始的操作,将一 个或多个图像中的至少一个图像确定为第一图像。
在一种可能的实现方式中,该一个或多个图像中的部分或全部图像携带有第一标识,第 一标识用于表示图像携带有位姿数据。
在一种可能的实现方式中,提供单元用于当第二位置和第一位置之间的距离大于第二阈 值时,显示导航路线,导航路线的终点为第一位置。
在一种可能的实现方式中,提供单元用于当第二位置和第一位置之间的距离小于第三阈 值时,显示第一指示信息;其中,第一指示信息用于指示第一电子设备的位置调整方向。
在一种可能的实现方式中,第一位置为三维空间中的第一坐标点,第二位置为三维空间 中的第二坐标点;第一指示信息是根据第一坐标点相对第二坐标点的方位确定的。
在一种可能的实现方式中,该装置还包括确定单元;提供单元用于显示取景界面;确定 单元用于当第一物体落入第一摄像头的取景范围,且第一图像包括第二物体的影像时,确定 第一物体的影像在取景界面中的第一尺寸,以及确定第二物体的影像在第一图像中的第二尺 寸;根据第一尺寸和第二尺寸,确定第一指示信息。
在一种可能的实现方式中,该装置还包括确定单元;显示单元用于显示取景界面;确定 单元用于当第一物体落入第一摄像头的取景范围,且第一图像包括第二物体的影像时,确定 第一物体相对第一电子设备的方位,以及确定第一图像被拍摄时第二物体相对第二电子设备 的方位;第二物体为第一物体对应的物体;确定单元还用于根据第一物体相对第一电子设备 的方位和第一图像被拍摄时第二物体相对第二电子设备的方位,确定第一指示信息。
在一种可能的实现方式中,提供单元用于显示取景界面;提供单元还用于当第一物体落 入第一摄像头的取景范围时,在取景界面,显示第一指示信息。
在一种可能的实现方式中,第一指示信息用于指示在第一平面上任一方向平移第二电子 设备,第一平面垂直于第一摄像头的光轴;或者,第一指示信息用于指示沿第一摄像头的光 轴向前或向后平移第一电子设备。
在一种可能的实现方式中,第一位姿数据还包括第一姿态的姿态数据,第一姿态为第一 图像被捕获时第二电子设备在三维空间中的旋转;提供单元还用于提供第二提示信息,第二 提示信息用于提示调整第一电子设备的姿态,第二提示信息由第一姿态的姿态数据和第二姿 态的姿态数据确定,第二姿态为当前第一电子设备在三维空间中的旋转。
在一种可能的实现方式中,提供单元还用于显示第二指示信息;其中,第二指示信息用 于指示在第一平面上旋转第一电子设备,第一平面垂直于第一摄像头的光轴;或者,第二指 示信息用于指示根据第一中心轴或第二中心轴偏转第一电子设备,以偏转第一摄像头的光轴, 其中,第一中心轴和第二中心轴为第一电子设备的中心轴,第一中心轴、第二中心轴相互垂 直,且均垂直于第一摄像头的光轴。
在一种可能的实现方式中,第一姿态的姿态数据包括用于表征第一姿态的四元数;提供 单元用于确定第二姿态的姿态数据,第二姿态的姿态数据为用于表征第二姿态的四元数;提 供单元用于将第一姿态的姿态数据转换为第一欧拉角,以及将第二姿态的姿态数据转换为第 二欧拉角;提供单元用于基于第一欧拉角和第二欧拉角,确定第一姿态和第二姿态之间的相 对旋转角度;提供单元用于根据相对旋转角度,提供第二提示信息。
在一种可能的实现方式中,该装置还包括显示单元,用于显示预览界面,预览界面包括 第一物体的影像;显示单元还用于在预览界面,显示第一图像中第二物体的影像的特征点。
在一种可能的实现方式中,第二物体的影像的特征点构成第二物体的轮廓。
在一种可能的实现方式中,第二物体的影像的特征点包括在第一图像的扩展信息中。
在一种可能的实现方式中,该装置还包括提取单元,用于在预览界面显示第一图像中第 二物体的影像的特征点之前,从第一图像中提取第二物体的影像的特征点。
在一种可能的实现方式中,第一位姿数据还包括第一方向的方向数据,第一方向为第一 图像被捕获时第二电子设备的摄像头面对的方向;提供单元还用于提供第三提示信息,第三 提示信息用于提示调整第一摄像头的面对方向,第三提示信息由第一摄像头的当前面对方向 和第一方向确定。
在一种可能的实现方式中,第一电子设备和第二电子设备为不同的电子设备;或者,第 一电子设备和第二电子设备为同一电子设备,第一图像为第一电子设备在显示第一界面之前 拍摄的图像。
可以理解,第四方面提供的位姿调整装置用于执行第一方面提供的方法,因此,其所能 达到的有益效果可以参考前述相应的有益效果。
第五方面提供了一种图像拍摄装置,配置于具有摄像头的电子设备;该装置包括:第一 获取单元,用于获取第一图像,第一图像为摄像头捕获的图像;第二获取单元,用于获取第 一位姿数据,第一位姿数据包括第一位置的位置数据,第一位置为第一图像被捕获时电子设 备的位置;存储单元,用于将第一位姿数据存储为第一图像的扩展信息,以得到携带有位姿 数据的第一图像。
在一种可能的实现方式中,第一位置的位置数据为地理位置信息。
在一种可能的实现方式中,第一位置的位置数据通过卫星定位、同步定位与地图构建 SLAM、Wi-Fi定位、惯性测量单元IMU中的至少一种得到。
在一种可能的实现方式中,第一位置的位置数据为第一图像被捕获时的电子设备在三维 空间中的坐标。
在一种可能的实现方式中,第一位姿数据还包括第一姿态的姿态数据,第一姿态为第一 图像被捕获时电子设备在三维空间中的旋转。
在一种可能的实现方式中,第一姿态的姿态数据通过SLAM和/或IMU得到。
在一种可能的实现方式中,第一位姿数据还包括第一方向的方向数据,第一方向为第一 图像被捕获时摄像头面对的方向。
在一种可能的实现方式中,第一方向的方向数据通过电子罗盘得到。
在一种可能的实现方式中,该方法还包括:确定第一图像的中第一物体的影像的特征点; 将第一物体的影像的特征点作为第一图像的扩展信息进行存储。
在一种可能的实现方式中,第一物体影像的特征点为ORB特征点。
在一种可能的实现方式中,扩展信息为可交换图像文件EXIF信息。
可以理解,第五方面提供的拍摄装置用于执行第二方面提供的方法,因此,其所能达到 的有益效果可以参考前述相应的有益效果。
第六方面,提供了一种视频录制装置,配置于具有摄像头的电子设备,该装置包括:显 示单元,用于在视频录制过程中,显示摄像头捕获的第一图像;确定单元,用于当检测到第 一信息时,确定第一图像为第一关键帧;获取单元,用于获取第一位姿数据,第一位姿数据 包括第一位置的位置数据,第一位置为关键帧被捕获时电子设备的位置;存储单元,用于将 第一位姿数据存储为第一关键帧的扩展信息,以得到携带有位姿数据的视频。
也就是说,在本申请实施例提供的视频录制方法中,可以得到包括携带有位姿数据的视 频,该位姿数据可以包括用于描述位置的位置数据,该位置可以用于在后续录制视频时提示 用户调整设备的位置,使得前后两次录制的拍摄位置相同或相似,提高前后两次录制视频间 的衔接自然性。
在一种可能的实现方式中,第一信息为:针对第一图像的操作。
在一种可能的实现方式中,第一信息为:第一图像包括第一物体的影像或第一特征信息; 确定单元用于当检测到第一图像包括第一物体的影像或第一特征信息时,确定第一图像为第 一关键帧。
在一种可能的实现方式中,第一信息为:第一图像的捕获时刻和视频录制的启动时刻之 间的时长为预设时长的整数倍。
在一种可能的实现方式中,第一信息为:在摄像头捕获第一图像之后的第一时间段内, 电子设备的位姿改变大于阈值;其中,第一时间段的时长≤第一图像的帧长。
在一种可能的实现方式中,扩展信息为第一图像的补充增强消息SEI。
在一种可能的实现方式中,第一位置的位置数据为地理位置信息。
在一种可能的实现方式中,第一位置的位置数据通过卫星定位、同步定位与地图构建 SLAM、Wi-Fi定位、惯性测量单元IMU中的至少一种得到。
在一种可能的实现方式中,第一位置的位置数据为第一图像被捕获时的电子设备在三维 空间中的坐标。
在一种可能的实现方式中,第一位姿数据还包括第一姿态的姿态数据,第一姿态为第一 图像被捕获时电子设备在三维空间中的旋转。
在一种可能的实现方式中,第一姿态的姿态数据通过SLAM和/或IMU得到。
在一种可能的实现方式中,第一位姿数据还包括第一方向的方向数据,第一方向为第一 图像被捕获时摄像头面对的方向。
在一种可能的实现方式中,第一方向的方向数据通过电子罗盘得到。
在一种可能的实现方式中,确定单元还用于确定第一图像的中第一物体的影像的特征点; 存储单元还用于将第一物体的影像的特征点作为第一图像的扩展信息进行存储。
在一种可能的实现方式中,第一物体影像的特征点为ORB特征点。
可以理解,第六方面提供的录制装置用于执行第三方面提供的方法,因此,其所能达到 的有益效果可以参考前述相应的有益效果。
第七方面,提供了一种第一电子设备,其特征在于,包括:处理器、存储器、摄像头、显示屏;
所述存储器用于存储计算机指令;
当所述第一电子设备运行时,所述处理器执行所述计算机指令,使得所述第一电子设备 执行:显示第一界面,第一界面包括携带有第一位姿数据的第一图像的信息,第一位姿数据 包括第一位置的位置数据,第一位置为第一图像被捕获时第二电子设备的位置,第二电子设 备为捕获第一图像的设备;其中,第一图像的信息包括第一图像本身、第一图像的缩略图、 第一图像的预览图、第一图像的指示信息中的至少一种;响应于第一操作,提供第一提示信 息,第一提示信息用于提示调整第一电子设备的位置,第一提示信息由第一位置的位置数据 和第二位置的位置数据确定,第二位置为第一电子设备的当前位置。
在一种可能的实现方式中,在显示第一界面之前,所述处理器执行所述计算机指令,使 得所述第一电子设备还执行:启动第一摄像头,以显示取景界面;当取景界面包括含有第一 物体的影像时,根据第一物体的影像,确定本地存储或网络存储的含有第二物体的影像的图 像为第一图像,第二物体为第一物体的对应物体;显示第一界面包括:在取景界面显示第一 图像的信息。
在一种可能的实现方式中,在显示第一界面之前,所述处理器执行所述计算机指令,使 得所述第一电子设备还执行:启动第一摄像头,以显示取景界面;确定第一电子设备的第一 地理位置;根据第一地理位置,在本地存储或网络存储的图像中确定第一图像,其中,第一 地理位置和第一位置之间的距离小于第一阈值,第一位置为第二电子设备的地理位置;显示 第一界面包括:在取景界面显示第一图像的信息。
在一种可能的实现方式中,在显示第一界面之前,所述处理器执行所述计算机指令,使 得所述第一电子设备还执行:启动第一摄像头,以显示取景界面;确定第一电子设备的第一 网络信息;根据第一网络信息,确定本地存储或网络存储的携带有第二网络信息的图像为第 一图像,其中,第一网络信息和第二网络信息相对应;显示第一界面包括:在取景界面显示 第一图像的信息。
在一种可能的实现方式中,在显示第一界面之前,所述处理器执行所述计算机指令,使 得所述第一电子设备还执行:启动第一摄像头,以显示取景界面;确定第一电子设备的第一 近场通信标签;根据第一近场通信标签,确定本地存储或网络存储的携带有第二近场通信标 签的图像为第一图像,其中,第一近场通信标签和第二近场通信标签相相对应;显示第一界 面包括:在取景界面显示第一图像的信息。
在一种可能的实现方式中,所述处理器执行所述计算机指令,使得所述第一电子设备还 执行:显示拍摄模式选择信息,选择信息用于提示用户是否选择进入模仿拍摄模式或续拍模 式;第一操作为用户起始的选择进入模仿拍摄模式或续拍模式的操作。
在一种可能的实现方式中,在显示第一界面之前,所述处理器执行所述计算机指令,使 得所述第一电子设备还执行:显示第二界面,第二界面包括一个或多个图像;响应于用户起 始的操作,将一个或多个图像中的至少一个图像确定为第一图像。
在一种可能的实现方式中,该一个或多个图像中的部分或全部图像携带有第一标识,第 一标识用于表示图像携带有位姿数据。
在一种可能的实现方式中,所述处理器执行所述计算机指令,使得所述第一电子设备还 执行:当第二位置和第一位置之间的距离大于第二阈值时,显示导航路线,导航路线的终点 为第一位置。
在一种可能的实现方式中,所述处理器执行所述计算机指令,使得所述第一电子设备还 执行:当第二位置和第一位置之间的距离小于第三阈值时,显示第一指示信息;其中,第一 指示信息用于指示第一电子设备的位置调整方向。
在一种可能的实现方式中,第一位置为三维空间中的第一坐标点,第二位置为三维空间 中的第二坐标点;第一指示信息是根据第一坐标点相对第二坐标点的方位确定的。
在一种可能的实现方式中,所述处理器执行所述计算机指令,使得所述第一电子设备还 执行:显示取景界面;当第一物体落入第一摄像头的取景范围,且第一图像包括第二物体的 影像时,确定第一物体的影像在取景界面中的第一尺寸,以及确定第二物体的影像在第一图 像中的第二尺寸;根据第一尺寸和第二尺寸,确定第一指示信息。
在一种可能的实现方式中,所述处理器执行所述计算机指令,使得所述第一电子设备还 执行:显示取景界面;当第一物体落入第一摄像头的取景范围,且第一图像包括第二物体的 影像时,确定第一物体相对第一电子设备的方位,以及确定第一图像被拍摄时第二物体相对 第二电子设备的方位;第二物体为第一物体对应的物体;根据第一物体相对第一电子设备的 方位和第一图像被拍摄时第二物体相对第二电子设备的方位,确定第一指示信息。
在一种可能的实现方式中,所述处理器执行所述计算机指令,使得所述第一电子设备还 执行:显示取景界面;当第一物体落入第一摄像头的取景范围时,在取景界面,显示第一指 示信息。
在一种可能的实现方式中,第一指示信息用于指示在第一平面上任一方向平移第二电子 设备,第一平面垂直于第一摄像头的光轴;或者,第一指示信息用于指示沿第一摄像头的光 轴向前或向后平移第一电子设备。
在一种可能的实现方式中,第一位姿数据还包括第一姿态的姿态数据,第一姿态为第一 图像被捕获时第二电子设备在三维空间中的旋转;所述处理器执行所述计算机指令,使得所 述第一电子设备还执行:提供第二提示信息,第二提示信息用于提示调整第一电子设备的姿 态,第二提示信息由第一姿态的姿态数据和第二姿态的姿态数据确定,第二姿态为当前第一 电子设备在三维空间中的旋转。
在一种可能的实现方式中,所述处理器执行所述计算机指令,使得所述第一电子设备还 执行:显示第二指示信息;其中,第二指示信息用于指示在第一平面上旋转第一电子设备, 第一平面垂直于第一摄像头的光轴;或者,第二指示信息用于指示根据第一中心轴或第二中 心轴偏转第一电子设备,以偏转第一摄像头的光轴,其中,第一中心轴和第二中心轴为第一电 子设备的中心轴,第一中心轴、第二中心轴相互垂直,且均垂直于第一摄像头的光轴。
在一种可能的实现方式中,第一姿态的姿态数据包括用于表征第一姿态的四元数;所述 处理器执行所述计算机指令,使得所述第一电子设备还执行:确定第二姿态的姿态数据,第 二姿态的姿态数据为用于表征第二姿态的四元数;将第一姿态的姿态数据转换为第一欧拉角, 以及将第二姿态的姿态数据转换为第二欧拉角;基于第一欧拉角和第二欧拉角,确定第一姿 态和第二姿态之间的相对旋转角度;根据相对旋转角度,提供第二提示信息。
在一种可能的实现方式中,所述处理器执行所述计算机指令,使得所述第一电子设备还 执行:显示预览界面,预览界面包括第一物体的影像;在预览界面,显示第一图像中第二物 体的影像的特征点。
在一种可能的实现方式中,第二物体的影像的特征点构成第二物体的轮廓。
在一种可能的实现方式中,第二物体的影像的特征点包括在第一图像的扩展信息中。
在一种可能的实现方式中,在在预览界面显示第一图像中第二物体的影像的特征点之前, 所述处理器执行所述计算机指令,使得所述第一电子设备还执行:从第一图像中,提取第二 物体的影像的特征点。
在一种可能的实现方式中,第一位姿数据还包括第一方向的方向数据,第一方向为第一 图像被捕获时第二电子设备的摄像头面对的方向;所述处理器执行所述计算机指令,使得所 述第一电子设备还执行:提供第三提示信息,第三提示信息用于提示调整第一摄像头的面对 方向,第三提示信息由第一摄像头的当前面对方向和第一方向确定。
在一种可能的实现方式中,第一电子设备和第二电子设备为不同的电子设备;或者,第 一电子设备和第二电子设备为同一电子设备,第一图像为第一电子设备在显示第一界面之前 拍摄的图像。
可以理解,第七方面提供的电子设备用于执行第一方面提供的方法,因此,其所能达到 的有益效果可以参考前述相应的有益效果。
第八方面,提供了一种电子设备,包括:处理器、存储器、摄像头、显示屏;存储器用于存储计算机指令;当电子设备运行时,处理器执行计算机指令,使得电子设备执行:获取第一图像,第一图像为摄像头捕获的图像;获取第一位姿数据,第一位姿数据包括第一位置的位置数据,第一位置为第一图像被捕获时电子设备的位置;将第一位姿数据存储为第一图 像的扩展信息,以得到携带有位姿数据的第一图像。
在一种可能的实现方式中,第一位置的位置数据为地理位置信息。
在一种可能的实现方式中,第一位置的位置数据通过卫星定位、同步定位与地图构建 SLAM、Wi-Fi定位、惯性测量单元IMU中的至少一种得到。
在一种可能的实现方式中,第一位置的位置数据为第一图像被捕获时的电子设备在三维 空间中的坐标。
在一种可能的实现方式中,第一位姿数据还包括第一姿态的姿态数据,第一姿态为第一 图像被捕获时电子设备在三维空间中的旋转。
在一种可能的实现方式中,第一姿态的姿态数据通过SLAM和/或IMU得到。
在一种可能的实现方式中,第一位姿数据还包括第一方向的方向数据,第一方向为第一 图像被捕获时摄像头面对的方向。
在一种可能的实现方式中,第一方向的方向数据通过电子罗盘得到。
在一种可能的实现方式中,处理器执行计算机指令,使得电子设备执行:确定第一图像 的中第一物体的影像的特征点;将第一物体的影像的特征点作为第一图像的扩展信息进行存 储。
在一种可能的实现方式中,第一物体影像的特征点为ORB特征点。
在一种可能的实现方式中,扩展信息为可交换图像文件EXIF信息。
可以理解,第八方面提供的电子设备用于执行第二方面提供的方法,因此,其所能达到 的有益效果可以参考前述相应的有益效果。
第九方面,提供了一种电子设备,包括:处理器、存储器、摄像头、显示屏;存储器用于存储计算机指令;当电子设备运行时,处理器执行计算机指令,使得电子设备执行:在视频录制过程中,显示摄像头捕获的第一图像;当检测到第一信息时,确定第一图像为第一关键帧;获取第一位姿数据,第一位姿数据包括第一位置的位置数据,第一位置为关键帧被捕获时电子设备的位置;将第一位姿数据存储为第一关键帧的扩展信息,以得到携带有位姿数 据的视频。
在一种可能的实现方式中,第一信息为:针对第一图像的操作。
在一种可能的实现方式中,第一信息为:第一图像包括第一物体的影像或第一特征信息; 处理器执行计算机指令,使得电子设备还执行:当检测到第一图像包括第一物体的影像或第 一特征信息时,确定第一图像为第一关键帧。
在一种可能的实现方式中,第一信息为:第一图像的捕获时刻和视频录制的启动时刻之 间的时长为预设时长的整数倍。
在一种可能的实现方式中,第一信息为:在摄像头捕获第一图像之后的第一时间段内, 电子设备的位姿改变大于阈值;其中,第一时间段的时长≤第一图像的帧长。
在一种可能的实现方式中,扩展信息为第一图像的补充增强消息SEI。
在一种可能的实现方式中,第一位置的位置数据为地理位置信息。
在一种可能的实现方式中,第一位置的位置数据通过卫星定位、同步定位与地图构建 SLAM、Wi-Fi定位、惯性测量单元IMU中的至少一种得到。
在一种可能的实现方式中,第一位置的位置数据为第一图像被捕获时的电子设备在三维 空间中的坐标。
在一种可能的实现方式中,第一位姿数据还包括第一姿态的姿态数据,第一姿态为第一 图像被捕获时电子设备在三维空间中的旋转。
在一种可能的实现方式中,第一姿态的姿态数据通过SLAM和/或IMU得到。
在一种可能的实现方式中,第一位姿数据还包括第一方向的方向数据,第一方向为第一 图像被捕获时摄像头面对的方向。
在一种可能的实现方式中,第一方向的方向数据通过电子罗盘得到。
在一种可能的实现方式中,处理器执行计算机指令,使得电子设备还执行:确定第一图 像的中第一物体的影像的特征点;将第一物体的影像的特征点作为第一图像的扩展信息进行 存储。
在一种可能的实现方式中,第一物体影像的特征点为ORB特征点。
可以理解,第九方面提供的电子设备用于执行第二方面提供的方法,因此,其所能达到 的有益效果可以参考前述相应的有益效果。
第十方面,提供了一种数据结构,包括:第一图像的图像数据和第一图像的扩展信息, 其中,第一图像的扩展信息包括第一位姿数据,第一位姿数据包括第一位置的位置数据,第 一位置为第一图像被电子设备捕获时电子设备的位置。
第十一方面,提供了一种数据结构,包括:视频数据,视频数据包括第一图像数据和第 一图像的扩展信息,其中,第一图像的扩展信息包括第一位姿数据,第一位姿数据包括第一 位置的位置数据,第一位置为第一图像被电子设备捕获时电子设备的位置。
第十二方面,提供了一种计算机存储介质,包括:第一图像的图像数据和第一图像的扩 展信息,其中,第一图像的扩展信息包括第一位姿数据,第一位姿数据包括第一位置的位置 数据,第一位置为第一图像被电子设备捕获时电子设备的位置。
第十三方面,提供了一种计算机存储介质,包括:视频数据,视频数据包括第一图像数 据和第一图像的扩展信息,其中,第一图像的扩展信息包括第一位姿数据,第一位姿数据包 括第一位置的位置数据,第一位置为第一图像被电子设备捕获时电子设备的位置。
第十四方面,提供了一种计算机存储介质,计算机存储介质包括计算机指令,当所述计 算机指令在电子设备上运行时,使得所述电子设备执行第一方面所提供的方法或第二方面所 提供的方法或第三方面所提供的方法。
第十五方面,提供了一种计算机程序产品,所述计算机程序产品包含的程序代码被电子 设备中的处理器执行时,实现第一方面所提供的方法或第二方面所提供的方法或第三方面所 提供的方法。
通过本申请实施例提供的设备位姿调整方法和图像拍摄方法及电子设备,可以利用已拍 摄的图像被电子设备拍摄时电子设备的位姿,指示当前拍摄的电子设备的位姿,实现了前后 两次拍摄的拍摄位姿的一致或大约一致,保证了照片或视频之间的连贯性或一致性。
附图说明
图1为本申请实施例提供的一种图像数据的数据结构示意图;
图2A为本申请实施例提供的一种视频中图像数据的数据结构示意图;
图2B为本申请实施例提供的一种视频中图像数据的数据结构示意图;
图2C为本申请实施例提供的一种视频中图像数据的数据结构示意图;
图3A为本申请实施例提供的一种用户交互界面示意图;
图3B为本申请实施例提供的一种用户交互界面示意图;
图3C为本申请实施例提供的一种用户交互界面示意图;
图4A为本申请实施例提供的一种用户交互界面示意图;
图4B为本申请实施例提供的一种用户交互界面示意图;
图4C为本申请实施例提供的一种用户交互界面示意图;
图4D为本申请实施例提供的一种用户交互界面示意图;
图4E为本申请实施例提供的一种用户交互界面示意图;
图4F为本申请实施例提供的一种用户交互界面示意图;
图4G为本申请实施例提供的一种用户交互界面示意图;
图4H为本申请实施例提供的一种用户交互界面示意图;
图5为本申请实施例提供的一种用户交互界面示意图;
图6A为本申请实施例提供的一种用户交互界面示意图;
图6B为本申请实施例提供一种图像示意图;
图6C为本申请实施例提供的一种用户交互界面示意图;
图6D为本申请实施例提供一种图像示意图;
图7为本申请实施例提供的设备位姿调整示意图;
图8A为本申请实施例提供的一种图像示意图;
图8B为本申请实施例提供的一种用户交互界面示意图;
图8C为本申请实施例提供的一种用户交互界面示意图;
图9为本申请实施例提供的一种相册示意图;
图10A为本申请实施例提供的一种用户交互界面示意图;
图10B为本申请实施例提供的一种用户交互界面示意图;
图10C为本申请实施例提供的一种用户交互界面示意图;
图11A为本申请实施例提供的一种用户交互界面示意图;
图11B为本申请实施例提供的一种用户交互界面示意图;
图12A为本申请实施例提供的一种用户交互界面示意图;
图12B为本申请实施例提供的一种用户交互界面示意图;
图12C为本申请实施例提供的一种用户交互界面示意图;
图12D为本申请实施例提供的一种用户交互界面示意图;
图13A为本申请实施例提供的一种用户交互界面示意图;
图13B为本申请实施例提供的一种用户交互界面示意图;
图13C为本申请实施例提供的一种用户交互界面示意图;
图13D为本申请实施例提供的一种用户交互界面示意图;
图13E为本申请实施例提供的一种用户交互界面示意图;
图14为本申请实施例提供的一种用户交互界面示意图;
图15A为本申请实施例提供的一种视频播放界面示意图;
图15B为本申请实施例提供的一种视频播放界面示意图;
图15C为本申请实施例提供的一种视频播放界面示意图;
图15D为本申请实施例提供的一种视频播放界面示意图;
图16A为本申请实施例提供的一种视频断点续录方法流程图;
图16B为本申请实施例提供的选择待续录图像的示意图;
图17为本申请实施例提供的一种电子设备的硬件结构示意图;
图18为本申请实施例提供的一种电子设备的软件结构框图;
图19为本申请实施例提供的一种设备位姿调整装置结构示意图;
图20为本申请实施例提供的一种图像拍摄装置结构示意图;
图21为本申请实施例提供的一种视频录制装置结构示意图;
图22为本申请实施例提供的一种电子设备结构示意图。
具体实施方式
下面将结合附图,对本发明实施例中的技术方案进行描述。显然,所描述的实施例仅是 本申请一部分实施例,而不是全部的实施例。
在本说明书的描述中“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施 例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现 的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例 中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是 以其他方式另外特别强调。
其中,在本说明书的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A 或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如, A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,在本 申请实施例的描述中,“多个”是指两个或多于两个。
在本说明书的描述中,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示 相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可 以明示或者隐含地包括一个或者更多个该特征。术语“包括”、“包含”、“具有”及它们的变形 都意味着“包括但不限于”,除非是以其他方式另外特别强调。
申请人认为,随着手机等设备的普及以及设备拍摄功能的增强,用户通过拍摄照片或录 制视频来记录世事变迁的需求也越来越多。例如,每隔一年,在同一地方,为孩子拍照或录 制视频,然后制备成相册或拼接视频,以从视觉上感受孩子的成长过程。再例如,故地重游 时,在上次拍照的位置再次拍照或录制视频,然后,制备成相册或拼接视频,以从视觉上感 受景区和用户自身的前后变化。再例如,摄像记者在不同时间拍摄火车站的人流,以观测该 火车站的人流变化。等等。
申请人认为上述两次或多次拍摄的照片或视频之间的连贯性或一致性是用户所关注的。 通常,用户凭借主观印象或记忆确定相机的摆放位置和姿态,这往往难以和上一次的摆放位 置和姿态保持一致,导致拍摄的角度前后不一致,进而使得拼接的视频在播放时产生画面跳 跃,或制备的相册中不同照片之间具有跳跃感,难以使用户沉浸在由视频或相册所承载或带 来的回忆中。
本申请实施例提供了一种图像拍摄方法,可以应用于配置有摄像头的电子设备。在该摄 像头捕获图像时,该电子设备可以获取其自身的位姿数据,并将位姿数据作为图像的扩展信 息和该图像的图像数据一并存储,从而可以得到携带有位姿数据的图像。其中,位姿数据可 以包括用于表示电子设备位置的位置数据,也可以包括用于表示电子设备的姿态的姿态数据, 也可以包括用于表示摄像头面对方向的方向数据。
接下来,在不同实施例中,对本申请实施例提供的图像拍摄方法进行举例说明。
在一些实施例中,可以设定用户使用配置有摄像头E1的电子设备A1,在地点B1,面对 场景C1拍摄图像D1,即图像D1为场景C1中落入到摄像头E1取景范围中的部分的影像。其中,在摄像头E1捕获图像D1,电子设备A1检测电子设备A1位置,得到位置数据。电子 设备A1可以将位置数据作为图像D1的扩展信息进行存储,从而得到携带有位置数据的图像 D1。捕获图像也可以称为拍摄图像,具体可以是指摄像头中的图像传感器将感知到的光学图像转换成电子信号,从而实现图像的捕获或拍摄。在一个例子中,图像传感器可以包括电荷耦合器件(charge-coupled device,CCD)。在另一个例子中,图像传感器可以包括互补金属氧 化物半导体(complementary metal oxide semiconductor,CMOS)。等等,此处不再一一列举。
示例性的,电子设备A1可以记录图像D1被摄像头E1捕获时的时间戳。电子设备A1可以持续或者按照预设时间间隔通过检测其位置,可以得到用于表示电子设备A1位置的一条或多条位置数据,其中任一条位置数据可以包括表示该位置数据对应的位置检测时间的时 间戳。电子设备A1在存储图像D1的图像数据时,可以将时间戳与图像D1被捕获时的时间戳相同或相近的位置数据,作为图像D1的扩展信息,联合图像D1的图像数据进行存储,得到携带有位置数据的图像D1。其中,两个时间戳相近可以是指这两个时间戳之间的时间差小 于时长阈值。示例性的,该时长阈值可以等于或小于上述预设时间间隔。
在一些实施例中,电子设备A1的位置数据可以为电子设备A1的地理位置信息。示例性 的,位置数据可以包括经纬度数据。位置数据还可以包括海拔高度数据。
示例性的,电子设备A1可以配置由定位模块。可以通过定位模块实现位置检测,得到 位置数据。该定位模块可以为基于卫星定位数据确定电子设备相对地球的位置的收发器。在 一个例子中,定位模块可以为全球定位系统(global positioning system,GPS)模块。在一个例 子中,定位模块可以为北斗卫星导航系统(beidou navigation satellitesystem,BDS)。在一个 例子中,定位模块可以为伽利略卫星导航系统(galileo satellitenavigation system)。在一个例 子中,定位模块可以为差分定位模块,例如差分GPS模块。电子设备A1的差分GPS模块对 应的GPS基准台,可通过已知的自身位置和通过卫星定位数据确定的位置,来计算伪距修正 量(或位置修正量),再将伪距修正量(或位置修正量)发送电子设备A1,以便电子设备A1 可以根据卫星定位数据和伪距修正量(或位置修正量)确定自身更精确地位置。
示例性的,电子设备A1可以配置有惯性测量单元(inertial measurement unit,IMU),由 此,可以通过IMU检测电子设备A1的位置。在一个例子中,IMU可以用于结合定位模块, 实现电子设备A1的精确定位,获得更精确位置的位置数据。
示例性的,电子设备A1可以配置有气压传感器。可以通过气压传感器可以检测电子设 备A1的海拔高度。
在一些实施例中,电子设备A1的位置数据可以为用于表示电子设备A1相对于其周围环 境的相对位置的数据。
示例性的,电子设备A1可以配置有同步定位与地图构建(simultaneouslocalization and mapping,SLAM)模块,可以进行运动跟踪,由此,可以检测电子设备A1相对于周围环境的 相对位置,得到位置数据。通过SLAM模块的运动追踪,电子设备A1可以构建地图,为方 便描述,可以将构建的地图称为SLAM地图。该位置数据可以用于描述或表征电子设备A1 在SLAM地图坐标系中的坐标。
在一个例子中,电子设备A1配置的SLAM模块可以为视觉SLAM模块,可以通过电子设备A1的摄像头采集周围环境图像,根据周围环境图像确定电子设备A1相对于周围环境的位置。例如,电子设备A1还可以配置有摄像头E2,其中,摄像头E2可以用于采集周围环 境图像。
示例性的,电子设备A1可以IMU。IMU可以结合同步定位与地图构建模块,实现电子设备A1的更精确定位,获得更精确位置的位置数据。通常,SLAM模块,特别是视觉SLAM 模块,在纹理丰富的环境中效果很好。但是在周围环境具有玻璃、白墙等纹理较少物体时, 效果较差,若融合IMU的检测数据,可以更精确地检测位置。由此,可以得到的更准确的 SLAM地图,以及用于描述或表征电子设备A1在SLAM地图坐标系中坐标的位置数据。
在一些实施例中,电子设备A1的位置数据可以为电子设备A1所在网络的网络信息。
示例性的,可以设定电子设备A1在拍摄图像时,电子设备A1处于由路由器提供的无线 保真(wireless fidelity,Wi-Fi)网络中,电子设备A1可以获取该路由器的标识信息(例如服务 集标识(Service Set Identifier,SSID)或基本服务集标识符(Basic ServiceSet Identifier,BSSID)), 并将该路由器的标识信息作为用于表示电子设备A1的位置数据。可以理解,路由器在投入 使用后,通常很少会移动位置。并且一个路由器的覆盖范围有限。电子设备A1在处于路由 器提供的Wi-Fi网络中时,可以将该路由器的标识信息用作表示电子设备A1位置的位置数据。
示例性的,可以设定电子设备A1在拍摄图像时,电子设备A1可以处于蜂窝网络(cellular network)中,电子设备A1可以将其驻留的小区(cell)的标识(identity)或者基站(base station) 的标识,用作表示电子设备A1位置的位置数据。
示例性的,可以设定电子设备A1在拍摄图像时,可以检测到其他设备的近场通信标签 (例如蓝牙标签)。电子设备A1可以将该近场通信标签,用作表示电子设备A1位置的位置 数据。
在一些实施例中,电子设备A1的位置数据可以为用于表示电子设备A1在三维空间中的 坐标的数据。电子设备A1可以将其各传感器检测到的原始位置数据,转换成为表示三维空 间中的坐标的数据,以减少表示电子设备A1的位置的数据量。示例性的,电子设备A1的位 置数据可以是指用于表示电子设备A1在三维空间坐标系的X、Y、Z三个方向的坐标的数据, 在一个例子中,该三维空间坐标系可以为大地坐标系。大地坐标系可以定义为:X轴和电子 设备A1所在位置的地面正切,其中,X轴的正方向指向东方;Y轴和电子设备A1所在位置 的地面正切,其中,Y轴的正方向指向北方;Z轴和电子设备A1所在位置的地面垂直,其中, Z轴的正方指向天空。在一个例子中,原始位置数据可以包括经度数据、纬度数据和海拔高 度数据,可以将经度数据转换为大地坐标系中的X轴上的坐标,将纬度数据转换为大地坐标 系中Y轴上的坐标,以及将海拔高度数据转换为Z上的坐标。
在一些实施例中,在摄像头E1捕获图像D1时,电子设备A1检测电子设备A1姿态数据,得到姿态数据。电子设备A1可以将姿态数据作为图像D1的扩展信息进行存储,从而得到携带有姿态数据的图像D1。电子设备A1的姿态可以是指在电子设备A1在三维空间中的旋转。示例性的,电子设备A1的姿态可以通过三维空间坐标系的X、Y、Z三个方向的角度 来表示。
电子设备A1可以记录图像D1被摄像头E1捕获时的时间戳。电子设备A1可以持续或者按照预设时间间隔通过检测其姿态,可以得到用于表示电子设备A1姿态的一条或多条姿态数据,其中任一条姿态数据可以包括表示该姿态数据对应的姿态检测时间的时间戳。电子 设备A1在存储图像D1的图像数据时,可以将时间戳与图像D1被捕获时的时间戳相同或相 近的姿态数据,作为图像D1的扩展信息,联合图像D1的图像数据进行存储,得到携带有姿 态数据的图像D1。其中,两个时间戳相近可以是指这两个时间戳之间的时间差小于时长阈值。 示例性的,该时长阈值可以等于或小于上述预设时间间隔。
示例性的,电子设备A1可以配置有IMU。电子设备A1可以通过IMU可以检测电子设备A1的姿态,得到姿态数据。通常,IMU可以包括X轴方向上的加速度计、Y轴方向上的 加速度计、Z轴的加速度计。因此,电子设备A1的IMU可以检测电子设备A1在三维坐标 系的各轴上的加速度。IMU还可以包括X轴方向上的陀螺仪、Y轴方向上的陀螺仪、Z轴的 陀螺仪。因此,电子设备A1的IMU可以检测电子设备A1在三维坐标系的各轴上的角速度。 根据三维坐标系上的各轴的加速度和角速度可以计算出电子设备A1姿态。
示例性的,电子设备A1可以配置有同步定位与地图构建SLAM模块,可以进行运动跟 踪,以确定电子设备A1的姿态。在一个例子中,该SLAM模块可以为视觉SLAM模块,可 以通过电子设备A1的摄像头采集周围环境图像,根据周围环境图像确定电子设备A1相对于周围环境的姿态。例如,电子设备A1还可以配置摄像头E2。可以通过摄像头E2采集周围 环境图像。
示例性的,电子设备A1可以联合使用视觉SLAM模块和IMU,来确定电子设备A1姿态。通常,视觉SLAM模块在纹理丰富的环境中效果很好。但是在周围环境具有玻璃、白墙 等纹理较少物体时,效果较差,若融合IMU的检测数据,可以更精确地检测姿态。
示例性的,姿态可以通过四元数进行表征或描述。
在一些实施例中,在摄像头E1捕获图像D1,电子设备A1检测摄像头E1面对的方向,得到方向数据。电子设备A1可以将方向数据作为图像D1的扩展信息进行存储,从而得到携带有方向数据的图像D1。
示例性的,电子设备A1可以配置有电子罗盘。电子设备A1可以通过电子罗盘检测摄像 头E1面对的方向,得到方向数据。
在本申请实施例中,为方便描述,可以将上述位置数据、姿态数据、方向数据统称为位 姿数据,相应地,可以将电子设备的位置、电子设备的姿态、摄像头面对的方向可以统称为 位姿。
在一些实施例中,位姿数据可以作为图像D1的可交换图像文件(exchangeableimage file, EXIF)信息和图像D1的图像数据一并存储。存储的数据结构可以如图1所示。
在一些实施例中,电子设备A1可以识别并提取图像D1的多个图像特征点,得到图像特 征点的描述数据。图像特征点的描述数据也可以称为图像特征点数据。在一个例子中,图像 特征点可以为ORB(Oriented FAST and Rotated BRIEF)特征点。具体可以采用基于加速分割 测试的特征(features from accelerated segment test,FAST)算法来识别和提取ORB特征点,以 及采用二进制鲁棒独立基本特征(binary robust independentelementary features,BRIEF)算法对 ORB特征点进行特征描述,得到图像特征点数据。
示例性的,图像D1可以包括一个或多个物体。该图像的多个图像特征点可以为用于表 征该一个或多个物体轮廓的特征点。
电子设备A1可以将图像D1的多个图像特征点的描述数据作为图像D1的扩展信息,和 图像D1的图像数据一并存储。存储的数据结构可以如图1所示。
通过本申请实施例提供的图像拍摄方法,可以得到携带有位姿数据的图像。携带有位姿 数据的图像可以用于在后续拍摄图像时调整设备的位姿,使得前后两次拍摄的图像的拍摄角 度相同或相似,提高前后两次拍摄的图像间的衔接自然性。
本申请实施例提供了一种视频录制方法,可以应用于配置有摄像头的电子设备A1。电子 设备A1在录制视频V1时,可以将录制的视频V1中的一帧或多帧图像确定关键帧图像,并 将关键帧图像被摄像头捕获时的电子设备A1的位姿数据,作为该关键帧图像的扩展信息进 行存储,得到携带有位姿数据的视频V1。示例性的,扩展信息可以为补充增强消息(supplemental enhancement information,SEI)。
电子设备A1的位姿数据的获取方式可以参考上文介绍,在此不再赘述。
在一个说明性示例中,当关键帧图像为一帧图像时,关键帧图像被摄像头捕获时的电子 设备A1的位姿数据可以是指,时间戳与该帧图像被摄像头捕获时的时间戳相同或相近的位 姿数据。位姿数据的时间戳可以参考上文对位置数据或姿态数据的时间戳的介绍,在此不再 赘述。两个时间戳相近可以是指两个时间戳之间的时间戳小于时长阈值。示例性的,该时长 阈值可以等于或小于一帧图像的帧长。视频中一帧图像的帧长可以通过1秒除以该视频V1 的帧率得到。帧率也可以称为每秒传输帧数(frames per second,FPS)。
在该示例的一个例子中,包括该关键帧图像的视频V1的数据格式可以如图2A所示。
在一个说明性示例中,当关键帧图像包括多帧图像时,该多帧图像可以对应一条位姿数 据,其中,该多帧图像可以对应的位姿数据可以是指,时间戳与该多帧图像中任一帧图像被 摄像头捕获时的时间戳相同或相近的位姿数据。
在该示例的一个例子中,包括该关键帧图像的视频V1的数据格式可以如图2B所示。
在一个说明性示例中,当关键帧图像包括多帧图像时,每一帧图像可以各自对应一条位 姿数据。其中,对于任一帧图像而言,其对应的位姿数据可以是指,时间戳与该帧图像被摄 像头捕获时的时间戳相同或相近的位姿数据。
在该示例的一个例子中,包括该关键帧图像的视频V1的数据格式可以如图2C所示。
在一些实施例中,电子设备A1可以识别并提取关键帧图像的多个特征点,得到特征点 的描述数据。特征点的描述数据也可以称为特征点数据。特征点和特征点数据可以参考上文 介绍,在此不再赘述。
电子设备A1可以将关键帧图像的特征点数据作为关键帧图像的扩展信息(例如SEI), 和关键帧图像的图像数据一并存储,得到携带有特征点数据的视频V1。
接下来,在不同实施例中,示例介绍确定关键帧图像的方案。
在一些实施例中,可以参阅图3A,在视频V1录制过程中,电子设备A1可以显示其摄像头捕获的图像310。当检测到作用在图像310上的触摸操作时,可以将图像310确定为关键帧图像。
在一些实施例中,可以参阅图3B,在视频V1录制过程中,摄像头可以捕获图像320,当图像320包括物体321的影像时,可以确定图像320为关键帧图像。具体而言,可以预设 一种或多种物体类型,例如古典建筑、山水名胜等。电子设备A1可以确定物体321属于古 典建筑,进而将图像320确定为关键帧图像。示例性的,电子设备A1可以采用区域卷积神 经网络(region convolution neural network,RCNN)算法、深度卷积神经网络(deepconvolution neural network,DCNN)算法等图像识别算法识别物体321,进而可确定其所属的物体类型。
在一些实施例中,可以参阅图3C,在视频V1录制过程中,摄像头可以捕捉包括人物影 像的图像330,当图像330中的人物影像具有预设表情或预设动作时,可以确定图像330为 关键帧图像。示例性的,如图3C所示,可以设定预设表情为微笑表情。电子设备A1可以通过确定人物的嘴角上扬动作331,确定图像330包括的人物影像具有微笑表情。
需要说明的是,由于在视频录制过程中,电子设备A1显示的图像更新的很快,或者由 于视频录制技术的演进、替换,此处的图像310或图像320或图像330可以是指某一帧图像, 也可以是指视频录制过程中的多帧图像。
在一些实施例中,在视频V1录制过程中,可以每间隔预设时长,确定一个关键帧图像。 换言之,关键帧图像和视频V1录制的启动时刻之间的时间间隔为预设时长的整数倍。示例 性的,预设时长可以为视频V1的N个帧长。该视频V1的帧长可以由1秒除以该视频V1的帧率得到。
在一些实施例中,在视频V1录制过程中,当检测到电子设备A1发生大幅度抖动时,可 以将此时最近捕获的图像确定为关键帧图像,以方便后续从关键帧图像开始续录视频。示例 性的,电子设备A1发生大幅度抖动可以是指在预设时长内,电子设备A1的位置和/或姿态 的改变大于阈值,例如电子设备A1的发生大于预设距离的位移。再例如,电子设备在三维 坐标中X轴(或Y轴或Z轴)方向上的角度变化大于预设角度阈值。示例性的,该预设时长 可以小于或等于当前录制的视频V1的帧长。
通过本申请实施例提供的视频录制方法,可以得到包括携带有位姿数据的视频。视频携 带的位姿数据可以用于在后续录制视频时调整设备的位姿,使得前后两次录制的拍摄角度相 同或相似,提高前后两次录制视频间的衔接自然性。
电子设备A1在完成图像D1或视频V1拍摄后,可以将图像D1或视频V1存在电子设备A1的硬盘中。电子设备A1也可以将图像D1或视频V1发送给其他电子设备,例如云服务器 或其他终端设备。
容易理解,很多用户具有在不同时间,在同一地点,面对同一场景或者包括了特定物体 的场景进行照片拍摄的需求,以制备相册或动图。例如,在每一年中的特定的一天,拍摄一 古迹(例如大雁塔),以观测该古迹逐年变化。再例如,每年在同一地方,拍摄家人的照片, 以制备纪念相册。在例如,在一月中的每一天拍摄月亮的照片,以制备动图。再等等,此次 不再一一列举。其中,对于包括了特定物体的场景,在不同时间,该特定物体可以处于不同 状态,例如处于朔月、上弦月、满月、下弦月为月亮的不同状态,再例如,孩子的不同年纪, 可以也为孩子的不同状态。
容易理解,很多用户具有在不同时间,在同一地点,面对同一场景或者包括了特定物体 的场景进行视频拍摄的需求,以将在不同时间拍摄的视频拼接起来,进行连续播放,以带来 视觉上的某种感受,或强化对某些含义或情感的表达。例如,在一年的中每一天,在面对火 车站的出站口(或进站口)拍摄一段视频,然后将该年的各天拍摄的视频拼接起来,进行连 续播放,以在视觉上感受该火车站的人流变化。再例如,每年在同一地方,拍摄孩子的视频, 将各年拍摄的视频拼接起来,进行连续播放,以在视觉上感受孩子的成长。再例如,在一个 月的不同天中,拍摄月亮的视频,并拼接起来,进行连续播放,以感受月亮的盈亏变化。再 等等,此次不再一一列举。其中,对于包括了特定物体的场景,在不同时间,该特定物体可 以处于不同状态,例如处于朔月、上弦月、满月、下弦月为月亮的不同状态,再例如,孩子 的不同年纪,可以也为孩子的不同状态。
本申请实施例提供了一种用于拍摄的设备位姿调整方法,可以应用于配置有摄像头E3 的电子设备A2。在开启拍摄之前,电子设备A2可以确定待续拍图像。待续拍图像携带有位 姿数据。该位姿数据用于表示待续拍图像被捕获时电子设备A1的位姿。电子设备A1为捕获 待续拍图像的设备。位姿可以是指位置、姿态、摄像头面对的方向中的任一种或多种的组合。 电子设备A2可以根据该位姿数据,提供提示信息,以便用户根据提示信息,调整电子设备 A2的位姿,从而实现电子设备A2可以在与待续拍图像被捕获时电子设备A1的位姿相同或 相近位姿的情况下,进行拍摄。拍摄可以为照片拍摄,也可以为视频拍摄。视频拍摄也可以 称为视频录制。电子设备A2和电子设备A1可以为同一电子设备,也可以为不同电子设备。
接下来,在不同实施例中,对设备位姿调整方法进行举例介绍。
首先介绍,照片拍摄的情况下,确定待续拍图像的方案,该待续拍图像可以为已拍摄的 照片。
在一些实施例中,参阅图4A和图4B,电子设备A2可以响应于用户起始的作用于相机 图标的操作,启动摄像头E3,并显示取景界面,以及进入拍照的预览状态。在拍照的预览状 态下,可以确定待续拍图像。
确定待续拍图像的方案可以包括如下方案。
在一个说明性示例中,如图4B所示,取景界面包括物体401的影像。电子设备A2可以 根据图像识别算法,识别物体401的影像。图像识别算法可以为RCNN算法或DCNN算法等。示例性的,电子设备A2可以根据识别出的物体401的影像,在本地存储的图像中,匹配含 有物体401对应物体的影像的图像。当匹配到含有物体401对应物体的影像的图像时,可以 将含有物体401对应物体的影像的图像确定为待续拍图像。物体401和物体401对应物体可 以是指同一物体,也可以是指同一物体的不同状态。例如,物体401可以为上弦月,物体401 对应物体可以为满月。
示例性的,电子设备A2可以将识别出的物体401的影像发送到网络存储设备(例如云 服务器),以在网络存储设备存储的图像中,匹配含有物体401对应物体的影像的图像。当匹 配到含有物体401对应物体的影像的图像时,网络存储设备可以将含有物体401对应物体的 影像的图像发送给电子设备A2,以便电子设备A2将该图像确定为待续拍图像。
在一个说明性示例中,在启动摄像头E3时或之后,电子设备A2可以获取其地理位置信 息G1。地理位置信息G1的获取具体可以参考上文所述,在此不再赘述。示例性的,电子设 备A2可以根据地理位置信息G1,在本地存储的图像中,匹配携带有地理位置信息G2的图像。当匹配到携带有地理位置信息G2的图像时,将该图像确定为待续拍图像。地理位置信息G1表示的位置与地理位置信息G2表示的位置之间的距离小于距离阈值。距离阈值可以预先设定,例如,可以为10米、50米等。示例性的,地理位置信息G1表示的位置与地理位置 信息G2表示的位置均可以通过三维坐标系中的坐标点来表示,可以通过计算两个坐标点之间的距离,来确定地理位置信息G1表示的位置与地理位置信息G2表示的位置之间的距离。示例性的,电子设备A2可以将地理位置信息G1发送到网络存储设备,以在网络存储设备存储的图像中,匹配携带有地理位置信息G2的图像。当匹配到携带有地理位置信息G2的图像时,网络存储设备可以将携带有地理位置信息G2的图像发送给电子设备A2,以便电子设备A2将该图像确定为待续拍图像。
在一个说明性示例中,在启动摄像头E3时或之后,电子设备A2可以获取其所在网络的 网络信息H1。网络信息可以包括Wi-Fi路由器的标识,也可以包括小区的标识,也可以包括 基站的标识。等等,此处不再一一列举。示例性的,电子设备A2可以根据网络信息H1,在 本地存储的图像中,匹配携带有网络信息H2的图像。当匹配到携带有网络信息H2的图像时, 将该图像确定为待续拍图像。网络信息H2和网络信息H1相对应,例如,网络信息H2可以和网络信息H1相同。示例性的,电子设备A2可以将网络信息H1发送到网络存储设备,以 在网络存储设备存储的图像中,匹配携带有网络信息H2的图像。当匹配到携带有网络信息 H2的图像时,网络存储设备可以将携带有网络信息H2的图像发送给电子设备A2,以便电 子设备A2将该图像确定为待续拍图像。
在一个说明性示例中,在启动摄像头E3时或之后,电子设备A2可以获取其检测到的其 他设备的近场通信标签J1。在一个例子中,近场通信标签可以为蓝牙标签等。示例性的,电 子设备A2可以根据近场通信标签J1,在本地存储的图像中,匹配携带有近场通信标签J2的 图像。当匹配到携带有近场通信标签J2的图像时,将该图像确定为待续拍图像。近场通信标 签J2和近场通信标签J1相对应,例如,近场通信标签J2可以和近场通信标签J1相同。示例 性的,电子设备A2可以将近场通信标签J1发送到网络存储设备,以在网络存储设备存储的 图像中,匹配携带有近场通信标签J2的图像。当匹配到携带有近场通信标签J2的图像时, 网络存储设备可以将携带有近场通信标签J2的图像发送给电子设备A2,以便电子设备A2 将该图像确定为待续拍图像。
在一些实施例中,电子设备A2可以设定确定出的待续拍图像为图像410,电子设备A2 可以推送图像410,例如显示图像410,或者显示图像410的缩略图,或者显示图像410的预 览图,或者显示图像410的指示信息。示例性,电子设备A2还可以显示拍摄模式选择信息, 以提示用户检测到与当前拍摄场景匹配的图像(即待续拍图像),是否进行模仿拍摄。
接下来,结合附图进行示例介绍。
在一个说明性示例中,参阅图4C,电子设备A2可以在取景界面显示图像410,以及显 示拍摄模式选择信息。拍摄模式选择信息可以如图4C所示“发现待续拍图像,是否进行模仿 拍摄”。电子设备A2可以显示“是”图标、“否”图标,并且,可以响应于用户起始的针对“是” 图标的操作,进入模仿拍摄模式。进入模仿拍摄模式后,可以根据待续拍图像410所携带的 位姿数据,调整电子设备A2的位姿。将在下文进行具体说明,此处不再赘述。
在一个说明性示例中,参阅图4D,电子设备A2可以在取景界面显示图像410的缩略图 (或预览图),以及显示拍摄模式选择信息。拍摄模式选择信息可以如图4D所示“发现待续 拍图像,是否进行模仿拍摄”。电子设备A2可以显示“是”图标、“否”图标,并且,可以响应于用户起始的针对“是”图标的操作,进入模仿拍摄模式。进入模仿拍摄模式后,可以根据待续拍图像410所携带的位姿数据,调整电子设备A2的位姿。将在下文进行具体说明,此处 不再赘述。
在一个说明性示例中,参阅图4E,电子设备A2可以在取景界面显示图像410的指示信 息,以及显示拍摄模式选择信息。示例性的,图像410的指示信息可以是图像410拍摄相关 信息,例如拍摄地点、时间。在一个例子中,图像410的指示信息可以为“XX寺,2015.12.02”, 其中“XX寺”表示拍摄地点,“2015.12.02”表示拍摄时间。图像410的指示信息还可以是其他 信息,例如用户对图像410的命名等,此次不再一一列举。拍摄模式选择信息可以如图4E 所示“发现待续拍图像,是否进行模仿拍摄”。电子设备A2可以显示“是”图标、“否”图标,并 且,可以响应于用户起始的针对“是”图标的操作,进入模仿拍摄模式。进入模仿拍摄模式后, 可以根据待续拍图像410所携带的位姿数据,调整电子设备A2的位姿。将在下文进行具体 说明,此处不再赘述。
在一些实施例中,用户可以通过人工方式确定待续拍图像。可以参阅图4F,电子设备 A2可以响应于用户起始的作用于取景界面中“更多”图标的操作,显示如图4G所示多个功能 图标,其中包括“模仿”图标。电子设备A2可以响应于用户起始的作用于“模仿”图标的操作, 显示多个图像。该多个图像可以电子设备A2的本地存储的图像,也可以为网络存储设备(例 如云存储)中存储的图像。如图4H所示,电子设备A2可以响应于用户起始的作用在图像 410上的操作,确定图像410为待续拍图像。
示例性的,如图4H所示,图像410、图像430、图像440等可以带有位姿标识。位姿标识用于表示对应图像携带有位姿数据,以便用户可以将其选择为待续拍图像。
示例性的,确定图像410为待续拍图像后,可以根据待续拍图像410所携带的位姿数据, 调整电子设备A2的位姿。将在下文进行具体说明,此处不再赘述。
接下来,在不同实施例中,介绍根据待续拍图像410所携带的位姿数据,调整电子设备 A2位姿的方案。
可以设定图像410为电子设备A1捕获的图像,图像410所携带的位姿数据包括位置K1 的位置数据。位置K1为图像410被捕获时,电子设备A1的位置。具体可以参考上文介绍,在此不再赘述。电子设备A2可以确定电子设备A2的当前位置,得到位置K2。确定位置的 方案可以参考上文介绍,在此不再赘述。电子设备A2可以至少根据位置K2和位置K1,提 供提示信息。该提示信息可以提示用户调整电子设备A2的位置。
在一些实施例中,位置K2和位置K1可以为通过地理位置信息表征或描述的位置。参阅 图5,当位置K1和位置K2之间的距离大于阈值L1时,电子设备A2可以显示导航路线。该导航路线可以称为或属于提示信息。阈值L1可以为预设值,例如可以为100米或50米等。 示例性的,电子设备A2可以安装有地图应用,例如
Figure BDA0002451873770000221
Figure BDA0002451873770000222
电子设备A2 可以将位置K2作为导航的出发地,位置K1作为导航的目的地,从而可以得到导航路线,并 显示导航路线。
在一些实施例中,当位置K1和位置K2之间的距离小于阈值L2时,电子设备A2可以显示指示信息。该指示信息可以称为或属于提示信息。指示信息可以用于指示调整电子设备 A2的位置调整方向。
需要说明的是,在下文涉及到的“左”或“右”,是指用户在使用电子设备A2时,用户视角下的左或右。在下文涉及到的“前”或“后”,是指用户在使用电子设备A2时,用户视 角下的前或后。
在一个说明性示例中,位置K1和位置K2可以为三维空间坐标系中的两个坐标点,可以 对这两个坐标点进行适量运算,从而可以得到两个坐标点之间的距离以及相对方位,进而可 根据相对方位,显示指示信息。
在一个说明性示例中,位置K1和位置K2可以SLAM地图坐标系中两个坐标点,可以对这两个坐标点进行适量运算,从而可以得到两个坐标点之间的距离以及相对方位,进而可 根据相对方位,显示指示信息。
在一些实施例中,参阅图6A,电子设备A2可以显示取景界面。当物体501落入到电子 设备A2的取景范围时,取景界面可以显示物体601的影像。电子设备A2可以利用图像识别 算法,确定取景界面中物体601的影像的尺寸。图6B示出了图像410。电子设备A2可以利用图像识别算法,确定图像410中物体411的影像的尺寸。物体411为物体501对应的物体,具体而言,物体601和物体411可以为同一物体,也可以为一个物体的不同状态。例如物体601可以为上弦月,物体411为下弦月。可以理解,若实际体积相同或相似的物体,当距离 拍摄设备较远时,物体的影像在图像中的尺寸较小。当距离拍摄设备较近时,物体的影像在图像中的尺寸较大。因此可以通过比较取景界面中物体601的影像的尺寸和图像410中物体411的影像的尺寸,来确定指示信息。示例性的,如图6A和图6B所示,取景界面中物体601 的影像的尺寸小于图像410中物体411的影像的尺寸,说明位置K2相对物体501的距离, 大于,位置K1相对物体411的距离。电子设备A2显示的指示信息可以用于指示向靠近物体 601的方向调整电子设备A2的位置。在一个例子中,如图6A所示,电子设备A2可以显示 指示箭头602,以指示用户向靠近物体601的方向调整电子设备A2的位置。同理,若取景界 面中物体601的影像的尺寸大于图像410中物体411的影像的尺寸时,说明位置K2相对物 体601的距离,小于,位置K1相对物体411的距离。电子设备A2显示的指示信息可以用于 指示向远离物体601的方向调整电子设备A2的位置。
在一些实施例中,参阅图6C,电子设备A2可以显示取景界面。当物体501落入到电子 设备A2的取景范围时,取景界面可以显示物体601的影像。电子设备A2可以利用图像识别 算法,根据物体601的影像在取景界面中的位置,确定物体601相对电子设备A2的方位。例如,如图6C所示,物体601的影像位于取景界面中的左侧区域,说明物体601相对于电 子设备A2的摄像头E3光轴的偏左。图6D示出了图像410,如图6D所示,物体411的影像 位于图像410的右侧区域,可说明电子设备A1在拍摄图像410时,物体411相对于电子设 备A1的摄像头光轴偏右。由此,电子设备A2显示的指示信息可以为用于指示向左调整电子 设备A2的位置。在一个例子中,如图6C所示,电子设备A2可以显示指示箭头603,以指 示用户向左调整电子设备A2的位置。同理,若物体601的影像位于取景界面的右侧区域, 而物体411的影像位于图像410的左侧区域,电子设备A2显示的指示信息可以为用于指示 向右调整电子设备A2的位置。若物体601的影像位于取景界面的右侧偏上区域,而物体411 的影像位于图像410的左侧偏下区域,电子设备A2显示的指示信息可以为用于指示向右上 方向调整电子设备A2的位置。等等,此处不再一一列举。
在具体实现时,电子设备A2可以利用图像识别算法,确定物体601的影像在取景界面 中的位置,从而确定物体601相对电子设备A2的方位;以及确定物体411的影像在图像410 中的位置,从而确定图像411被电子设备A1拍摄时,物体411相对电子设备A1的方位。由此,可以确定指示信息。
在一些实施例中,参阅图6A和图6C,在物体601落入到电子设备A2的取景范围时,电子设备A2可以在取景界面显示指示信息。换言之,用户在欲拍摄包括物体601的影像时,可以先通过人工查找调整方式或其他调整方式(例如根据电子设备A2提供的用于调整电子设备A2摄像头面对方向的提示信息,调整电子设备A2摄像头面对方向。该方案将在下文进行介绍。),使物体601落入到电子设备A2的取景范围,使得用户在取景界面看到物体601 的影像时,可以显示指示信息,以使得用户可以在根据指示信息调整电子设备A2的位置的 同时,可以看到取景界面中的物体601,改善用户操作体验。
可以理解,在用户在欲拍摄包括物体601的影像时,若物体601落入到电子设备A2的 取景范围,可以通过在垂直于电子设备A2摄像头的光轴的平面上平移电子设备A2,以及沿 着电子设备A2摄像头的光轴向前或向后移动电子设备A2,可以将电子设备A2的位置调整 到与图像410被拍摄时电子设备A1的位置相同或相似位置。其中,沿着电子设备A2摄像头 的光轴向前移动电子设备A2,是指向靠近物体601的方向移动电子设备A2。沿着电子设备 A2摄像头的光轴向后移动电子设备A2,是指向远离物体601的方向移动电子设备A2。
在物体601的影像落入到电子设备A2的取景范围的情况下,电子设备A2可以确定其摄 像头光轴方向,以及垂直于摄像头光轴的平面。进而可以借助于其摄像头光轴方向或垂直于 摄像头光轴的平面,确定指示信息的指示方向。在一个例子中,当电子设备A2确定物体601 的影像位于取景界面的左侧区域,而物体411的影像位于图像410的右侧区域时,将指示方 向与垂直于摄像头光轴的平面平行,并且指向摄像头光轴的左侧的信息,确定为指示信息。 在一个例子中,当电子设备A2确定取景界面中物体601的影像的尺寸小于图像410中物体 411的影像的尺寸时,将指示方向为沿摄像头光轴靠近物体601(沿着光轴向前)的方向的信 息,确定为指示信息。
通过上述方式,电子设备A2可以提供用于指示电子设备A2的位置调整方向的提示信息, 从而便于用户将电子设备A2的位置调整到待续拍图像被电子设备A1捕获时电子设备A1的 位置。
在一些实施例中,待续拍图像携带的位姿数据包括姿态P1的姿态数据。可以设定待续拍 图像为电子设备A1捕获的图像,则姿态P1为电子设备A1捕获该待续拍图像时电子设备A1 的姿态。具体可以参考上文对姿态数据的介绍,在此不再赘述。电子设备A2可以确定其当 前姿态P2,具体确定过程可以参考上文介绍,在此不再赘述。电子设备A2可以根据姿态P1 的姿态数据和姿态P2的姿态数据,提供提示信息,该提示信息用于提示调整电子设备A2的 姿态。
在这些实施例的一个说明性示例中,姿态P1的姿态数据可以为四元数,用于描述电子设 备A1在三维空间中的旋转。换言之,姿态P1可以由四元数描述。姿态P2的姿态数据可以 为四元数,用于描述电子设备A2在三维空间中的旋转。换言之,姿态P2可以由四元数描述。 电子设备A2可以将用于描述姿态P1的四元数转换为欧拉角,以及将用于描述姿态P2的四 元数转换为欧拉角,由此,可以确定姿态P1对应的三维空间中的旋转角度以及姿态P2对应 的三维空间中的旋转角度。通过姿态P1对应的三维空间中的旋转角度和姿态P2对应的三维 空间中的旋转角度,可以得到姿态P1和姿态P2之间的相对旋转角度。根据姿态P1和姿态 P2之间的相对旋转角度,可以提供提示信息,以提示用户旋转电子设备A2,以将电子设备 A2调整到与姿态P1相同或相似的姿态。
在一个例子中,参阅图7,可以设定通过上述方案,确定姿态P2相对姿态P1在y轴方向上偏转了角度θ1。电子设备A2可以显示指示箭头701,以指示用户旋转电子设备A2。
在这些实施例的一个说明性示例中,参阅图7,可以设定用户欲通过模仿图像410(即图 像410为待续拍图像),拍摄包括物体601的影像的图像。可以理解,在物体601落入到电子 设备A2的取值范围的情况下,用户可以通过在垂直于电子设备A2的摄像头光轴的平面上旋 转电子设备A2,以及围绕电子设备A2的中心轴702和/或中心轴703偏转电子设备A2,可 以将电子设备A2调整到与姿态P1相同或相似的姿态。其中,中心轴702和中心轴703互相 垂直,且垂直于电子设备A2的摄像头光轴。电子设备A2在检测到物体601落入到电子设备A2的取景范围(例如在取景界面检测到物体601的影像)的情况下。电子设备A2可以确定 垂直于摄像头光轴的平面,以及中心轴702和/或中心轴703。然后,根据姿态P1和姿态P2之间的相对旋转角度,提供用于提示用户在垂直于摄像头光轴的平面旋转电子设备A2的提示信息,或者提供用于提示用户围绕中心轴702和/或中心轴703偏转电子设备A2的提示信息。示例性的,提示信息可以为电子设备A2显示的指示信息,例如指示箭头,以指示电子 设备A2旋转或偏转的方向。
在一些实施例中,待续拍图像携带的位姿数据包括用于描述摄像头面对的方向的方向数 据。可以设定待续拍图像为电子设备A1捕获的图像,则该摄像头面对的方向为电子设备A1 在捕获该待续拍图像时,电子设备A1的摄像头面对的方向。该摄像头面对的方向可以由电 子设备A1的电子罗盘检测得到。电子设备A2可以通过其电子罗盘检测其摄像头面对的方向。 当电子设备A2的摄像头面对的方向和待续拍图像携带的方向数据描述的摄像头面对的方向 不一致时,可以提供用于调整电子设备A2的摄像头的面对方向。例如,当电子设备A2的摄 像头面对的方向和待续拍图像携带的方向数据描述的摄像头面对的方向相反时,电子设备A2 可以显示180℃调转电子设备A2的指示信息。再例如,当电子设备A2的摄像头面对的方向 和待续拍图像携带的方向数据描述的摄像头面对的方向垂直时,电子设备A2可以显示90℃ 调转电子设备A2的指示信息。等等,此处不再一一列举。
在一些实施例中,待续拍图像携带有用于描述多个图像特征点的特征点数据,具体可以 参考上文介绍。或者电子设备A2可以从待续拍图像中的提取多个图像特征点,得到用于描 述多个图像特征点的特征数据,具体可以参考上文介绍。电子设备A2可以在取景界面显示 该多个图像特征点,以便于用户通过比较取景界面中的物体影像和该多个图像特征点,对电 子设备A2的位置或姿态进行调整。
在这些实施例的一个说明性示例中,待续拍图像携带的特征点数据描述的多个图像特征 点或者电子设备A2从待续拍图像中提取的多个图像特征点,可以是待续拍图像中一个或多 个物体的影像的特征点,该多个图像特征点可以构成该一个或多个物体的影像的轮廓。电子 设备A2可以在取景界面显示该多个图像特征点,从而在对应于该一个或多个物体的物体落 入到电子设备A2的取景范围内时,用户可以从视觉上比较该一个或多个物体的轮廓和对应 于该一个或多个物体的影像,对电子设备A2的位置或姿态进行调整。
参阅图8A,可以设定待续拍图像为图像810,其中包括物体811的影像。参阅图8B,物 体821落入到电子设备A2的取景范围,电子设备A2的取景界面可以包括物体821的影像。物体821为物体811对应的物体,例如,物体821和物体811可以为同一物体,或者为一个 物体的不同状态。电子设备A2可以显示由多个图像特征点构成的轮廓811’,轮廓811’为图 像810中物体811的影像的轮廓。参阅图8C,用户可以在视角上比较取景界面物体821的影 像和轮廓811’,对电子设备A2的位置和/或姿态进行调整,以使物体821的影像和轮廓811’ 能够重合或部分重合,由此,可以将电子设备A2调整到与待续拍图像被电子设备A1捕获时 电子设备A1的位置(和/或姿态)相同的位置(和/或姿态)。
通过上述设备位姿调整方案,对电子设备A2的位置(姿态或摄像头面对方向)进行调 整,可以电子设备A2在与待续拍图像被电子设备A1捕获时电子设备A1的位置(和/或姿态) 相同的位置(和/或姿态)下进行当前图像拍摄,从而可提高当前拍摄图像和待续拍图像之间 的衔接自然性。
接下来,以每年拍摄奶奶和孙子的合影为例,对本申请提供的用于拍摄的设备位姿调整 方法的技术效果进行举例介绍。
可以在孙子2岁时,在一地点拍摄奶奶和孙子的合影,得到照片D2。
可以在孙子3岁时,在同一地点拍摄奶奶和孙子的合影,得到照片D3。其中,在本次拍 摄时,以照片D2为待续拍图像,调整本次拍摄时的电子设备位置和姿态,使得照片D2和照 片D3的拍摄角度一致。
可以在孙子4岁时,在同一地点拍摄奶奶和孙子的合影,得到照片D4。其中,在本次拍 摄时,以照片D2或照片D3为待续拍图像,调整本次拍摄时的电子设备的位置和姿态,使得 照片D2、照片D3、D4的拍摄角度一致。
可以逐年按照上述方式,拍摄奶奶和孙子的合影,此次不再逐一描述。
可以每天拍摄的奶奶和孙子的合影制备成的相册。其中,该相册中的一页可以如图9所 示。可看出每年拍摄的照片的拍摄角度一致,减少了照片之间的跳跃感,使得用户更好地关 注各照片展示的人物的变化,比如照片中的孙子渐渐长大,进而使得用户更好地沉浸在相册 中各个照片带来或承载的回忆中,具有较佳的观赏体验和纪念意义。
上文以照片拍摄为例,介绍了本申请实施例提供的用于拍摄的设备位姿调整方法。接下 来,以视频录制为例,介绍本申请实施例提供的用于拍摄的设备位姿调整方法。
如上所述,携带有位姿数据的视频包括一个或多个关键帧图像,该一个或多个关键帧图 像中任一关键帧图像携带有位姿数据,该位姿数据用于表示该关键帧图像被捕获时电子设备 A1的位姿。电子设备A1为捕获该关键帧图像的电子设备。电子设备A2可以从视频中的关 键帧图像中确定待续录图像,并根据待续录图像携带的位姿数据,提供提示信息,以便用户 根据提示信息,调整电子设备A2的位姿,从而实现电子设备A2可以在与待续录图像被捕获 时电子设备A1的位姿相同或相近位姿的情况下,进行视频录制。
在一些实施例中,电子设备A2可以响应于用户起始的作用于相机图标的操作,启动摄 像头,并显示取景界面,以及进入录像(录制视频)的预览状态。示例性的,电子设备A2在启动摄像头后,默认进入拍照的预览状态。电子设备A2可以响应于用户起始的作用于“录像”图标的操作,进入录像的预览状态。在录像的预览状态下,可以确定待续录图像。
在一个说明性示例中,电子设备A2可以根据取景界面包括的物体的影像,从本地存储 或网络存储的视频中确定待续录图像。具体可以参考上文对确定待续拍图像的方案的介绍, 在此不再赘述。
在一个说明性示例中,电子设备A2可以根据其地理位置信息,从本地存储或网络存储 的视频中确定确定待续录图像。具体可以参考上文对确定待续拍图像的方案的介绍,在此不 再赘述。
在一个说明性示例中,电子设备A2可以根据其所在网络的网络信息,从本地存储或网 络存储的视频中确定待续录图像。具体可以参考上文对确定待续拍图像的方案的介绍,在此 不再赘述。
在一个说明性示例中,电子设备A2可以根据其检测到的其他设备的近场通信标签,从 本地存储或网络存储的视频中确定待续录图像。具体可以参考上文对确定待续拍图像的方案 的介绍,在此不再赘述。
在一些实施例中,当电子设备A2确定出的待续录图像时,电子设备A2可以推送待续录 图像,例如显示待续录图像,或者显示待续录图像的缩略图,或者显示待续录图像的预览图, 或者待续录图像的指示信息。示例性,电子设备A2还可以显示录像模式选择信息,以提醒 用户检测到与当前录像场景匹配的图像(即待续录图像),是否进行模仿拍摄或续录拍摄。具 体可以参考上文对显示待续拍图像的信息,以及提示用户进行模仿拍摄的方案的介绍,在此 不再赘述。
在一些实施例中,用户可以通过人工方式确定待续录图像。具体如下。
参阅图10A,在取景界面可以显示“录像”、“专业”、“更多”等功能选项。电子设备A2可 以响应针对“更多”的操作,显示如图10B所示的功能菜单,其中包括“智能续拍”这一功能选 项。电子设备A2可以响应于针对“智能续拍”这一功能选项的操作,进入智能续拍模式。其中 物体1001A落入到电子设备A2的取景范围内容,取景界面可以显示物体1001A的影像。
在这些实施例的一个说明性示例中,参阅图11A,响应于针对“智能续拍”的操作,电子 设备A2可以显示图像列表。
在一个例子中,该图像列表可以为相册界面。相册界面可以包括本地视频和本地照片的 缩略图和/或名称等。该图像列表也可以仅为本地视频列表,其中,可以包括本地视频的缩略 图和/或名称等。
在一个例子中,该图像列表可以为保存在网络存储设备中的视频和照片的缩略图和/或名 称等。该图像列表也可以仅为视频列表,其中,可以包括视频的缩略图和/或名称等。
示例性的,如图11A所示,图像列表包括视频V1的缩略图。电子设备A2可以响应针对 视频V1的缩略图的操作,电子设备A2可以显示显示视频V1中的关键帧图像。在一个例子中,携带有位姿数据的视频的缩略图可以带有位姿标识,以表示该视频携带有位姿数据(该视频包括关键帧图像)。如图11A所示,视频V1的缩略图带有位姿标识。
在一个例子中,视频V1中的关键帧图像包括多帧图像,且该多帧图像为连续帧时,可 以如图11B所示,电子设备响应于针对视频V1的缩略图的操作,电子设备A2可以采用类似 胶片的形式,在显示屏的第一区域显示该多帧图像中的第i帧图像、第i+1帧图像、第i+2帧 图像、第i+3帧图像。第一区域可以为显示屏的一侧区域,例如,顶部区域或底部区域。电子设备A2可以按照预设滚动速度,滚动显示该多帧图像中的图像。电子设备A2可以响应针对第一区域的左划(或右划)操作,显示第i帧图像的前续图像(或第i帧图像的后续图像)。
在一个例子中,视频V1中的关键帧图像包括多帧图像,且该多帧图像为非连续帧时, 在显示屏的第一区域显示的多帧图像可以为连续帧图像,例如可以为视频V1中的第i帧图像、 第i+m帧图像、第i+k帧图像等。其中,第i帧图像、第i+m帧图像、第i+k帧图像属于关 键帧图像。
示例性的,电子设备可以响应针对第一区域的任意帧图像的第一操作(例如点击操作等), 在第二区域显示该任意帧图像。其中,第二区域的面积大于第一区域,相应地,在第二区域 显示的图像大于在第一区域显示的图像,从而方便用户确定待续录图像。在一个例子中,如 图11B所示,响应于针对第一区域显示的第i+1帧图像的操作,电子设备A2在第二区域显 示第1+1帧图像。可以设定第+1帧图像包括物体1001B的影像。其中,物体1001B为物体 100A对应物体。例如,物体1001B和物体1001A可以为同一物体,或者为一个物体的不同 状态。
示例性的,电子设备可以响应针对第一区域或第二区域显示的图像中任一图像的第二操 作(例如双击操作或长按操作等),将该任一图像作为待续录图像。
接下来,介绍根据待续录图像所携带的位姿数据,调整电子设备A2位姿的方案。
在一些实施例中,待续录图像所携带的位姿数据包括位置数据,该位置数据用于描述待 续录图像被电子设备A1捕获时电子设备A1的位置。电子设备A2可以根据该位置数据描述 的位置,提供提示信息,以提示用户调整电子设备A2的位置。具体可以参考上文介绍,在 此不再赘述。
在一些实施例中,当电子设备A2的当前位置和待续录图像被电子设备A1捕获时电子设 备A1的位置之间的距离大于阈值L1时,电子设备A2可以显示导航路线。具体可以参阅上 述介绍,在此不再赘述。
在一些实施例中,当电子设备A2的当前位置和待续录图像被电子设备A1捕获时电子设 备A1的位置之间的距离小于阈值L2时,电子设备A2可以显示指示信息。该指示信息可以 用于调整电子设备A2的位置调整方向。具体可以参阅上述介绍,在此不再赘述。
在一些实施例中,电子设备A2可以根据取景界面中物体的影像的尺寸和待续录图像中 相应物体的尺寸,确定指示信息。具体可以参考上文介绍,在此不再赘述。
在一些实施例中,电子设备A2可以根据取景界面中的物体的影像在取景界面中的位置, 以及待续录图像中相应物体在待续录图像中的位置,确定指示信息。具体可以参考上文所述, 在此不再赘述。
在一些实施例中,电子设备A2可以在取景界面上显示指示信息。该指示信息可以指示 在垂直于电子设备A2摄像头的光轴的平面上平移电子设备A2,或者,沿着沿着电子设备 A2摄像头的光轴向前或向后移动电子设备A2。具体可以参考上文所述,在此不再赘述。
在一些实施例中,待续录图像携带的位姿数据包括用于描述姿态的姿态数据。电子设备 A2可以根据该姿态数据以及电子设备A2当前的姿态,提供提示信息,以提示调整电子设备 A2的姿态。具体可以参考上文介绍,在此不再赘述。
在一些实施例中,待续录图像携带的位姿数据包括用于描述摄像头面对的方向的方向数 据。电子设备A2可以根据该方向数据以及电子设备A2摄像头面对的方向,提供提示信息, 以提示调整电子设备A2摄像头的面对方向。具体可以参考上文介绍,在此不再赘述。
在一些实施例中,待续录图像携带有用于描述多个图像特征点的特征点数据。或者电子 设备A2可以从待续录图像中的提取多个图像特征点,得到用于描述多个图像特征点的特征 数据。电子设备A2可以在取景界面显示该多个图像特征电子,以便于用户通过比较取景界 面中的物体影像和该多个图像特征点,对电子设备A2的位置或姿态进行调整。具体可以参 考上文介绍,在此不再赘述。
在一些实施例中,结合图12A-图12D,以电子设备A2为手机为例,对电子设备A2位姿(位置和姿态)的调整过程进行举例说明。
示例性的,可以先指示手机的位置调整方向。例如,当手机的当前位置相对待续录图像 携带的位置数据描述的位置偏左时,可以指示向右调整手机的位置。在一个例子中,如图12A 所示,可以在手机的显示屏上显示调整方向指示箭头和/或显示提示信息,例如,“请向右移 动手机”,以指示用户向右移动手机。在一个例子中,可以语音播报提示信息,以指示用户向 右移动手机。通过前述方式,可以指示用户调整手机位置,使得手机的位置和待续录图像携 带的位置数据描述的位置重合或之间的距离小于距离阈值。距离阈值可以为预设值,例如可 以为0.05米、0.1米、0.5米,也可以为1米,也可以为2米等等。不同的场景可以对应有不 同的距离阈值。容易理解,对于室内场景(例如居住场所),可以采用视觉SLAM模块(或 者,视觉SLAM模块和IMU)获取电子设备的位置,其相对于通过卫星定位数据获取的位置 更为精确。因此,当电子设备A2面对的场景为室内,该距离阈值较小,例如可以为0.05米。 当电子设备A2面对的场景为室外场景时,该距离阈值较大,例如可以为1米、2米等。
参阅图12B和图12C,手机可以通过比较手机当前姿态和待续录图像携带的姿态数据描 述的姿态,指示手机姿态调整方向,以便用户旋转手机,使手机当前姿态趋近于待续录图像 携带的姿态数据描述的姿态。示例性的,待续录图像携带的姿态数据可以为四元数,用于描 述手机当前姿态的姿态数据也可以为四元数。可以将四元数转换为欧拉角。通过比较待续录 图像携带的姿态数据对应的欧拉角和手机当前姿态对应的欧拉角,可以得到手机当前姿态和 待续录图像携带的姿态数据对应姿态之间的相对旋转角度。根据相对旋转角度,可以指示手 机姿态调整方向。
示例性的,如图12D所示,当手机检测到其当前位姿和待续录图像携带的位姿数据描述 的位姿一致时或之后,可以显示提示信息,以提示用户位姿已调整完毕。
位姿一致可以是指位姿完全相同,也可以是指之间的差异小于阈值。该阈值可以包括距 离阈值和角度阈值。位姿之间的差异小于阈值可以包括位置之间的差异小于距离阈值和姿态 之间的差异小于角度阈值。位置之间的差异小于距离阈值如上所述,在此不再赘述。姿态之 间的差异小于角度阈值可以是指两个姿态在三维空间坐标系一个或多个坐标轴方向上的角度 小于角度阈值。角度阈值可以为预设值,例如可以为1°,也可以为2°,也可以为5°,等等, 此次不再一一列举。
在一些实施例中,结合图13A-图13D,以电子设备A2为手机为例,对电子设备A2位姿(位置和姿态)的调整过程进行举例说明。参阅图13A-图13D在取景界面可以显示物体1001B的轮廓1001B’,该轮廓1001B’由待续录图像中物体1001B的影像的多个图像特征点构成。在调整手机位姿的过程中,可以根据待续录图像携带的位姿数据和手机当前位姿,指示用户对手机的位姿进行粗调。然后,用户可以以轮廓1001B’为视觉上得到参考,通过使取景图像中的1001A的影像趋近于或叠合该轮廓1001B’的操作,进一步细调手机的位姿,使得手机的位姿更接近待续录图像对应的位姿,并且使得位姿调整具有视觉上的直观体验。
示例性的,构成轮廓1001B’的多个图像特征点可以为电子设备A1在捕获待续录图像时, 从待续录图像中提取得到,该多个图像特征点的描述数据可以作为待续录图像的扩增信息进 行存储。即待续录图像携带该多个图像特征点的描述数据。
示例性的,构成轮廓1001B’的多个图像特征点可以为电子设备A2从待续录图像中提取 得到。
示例性的,如图13E所示,当手机检测到其当前位姿和待续录图像对应的位姿一致时或 之后,可以显示提示信息,以提示用户位姿已调整完毕。
参阅图14,当电子设备A2的当前位姿和待续录图像携带的位姿数据描述的位姿一致时 或之后,电子设备A2可以自动或响应于用户起始的操作,开始录制视频,即开始录像。在 一个例子中,当电子设备A2检测到其当前位姿和待续录图像携带的位姿数据描述的位姿一 致时,电子设备A2可以进行倒计时,倒计时结束时,可以自动开始录制视频。在一个例子 中,当电子设备A2的当前位姿和待续录图像携带的位姿数据描述的位姿一致时或之后,电 子设备A2可以响应于用户起始的针对录像功能选项的操作,开始录制视频。
需要说明的是,在电子设备A2录制视频的过程中,可以确定关键帧图像,以及检测电 子设备A2的位姿,将用于描述电子设备A2捕获关键帧图像时的位姿的位姿数据作为关键帧 图像的扩展信息进行存储。具体可以参考上文对视频V1的录制过程的介绍,在此不再赘述。
电子设备A2可以录制得到视频V2。可以将视频V2可以和视频V1拼接,得到合成视频 V3,其中,将视频V2续接到视频V1中待续录图像之后,以得到该合成视频。示例性的, 可以根据待续录图像,将视频V1分成片段v1和片段v2,其中,片段v1包括待续录图像和 待续录图像的前续帧图像,片段v2包括待续录图像的后续帧图像。可以将片段v1和视频V2 拼接,以得到合成视频V3。
容易理解,电子设备A2或者其他电子设备可以以合成的视频D3中的任意关键帧图像为 待续录图像,调整电子设备A2或者其他电子设备的位姿,再次进行视频录制,并且可将再 次录制的视频和合成视频D3进行拼接。具体可以参考对视频V1和视频V2的介绍,在此不 再赘述。
接下来,以跟踪拍摄月亮盈亏变化为例,对本申请提供的用于拍摄的设备位姿调整方法 的技术效果进行举例介绍。
用户可以在拍摄朔月,得到视频V10。视频V10的时长可以为5秒。
用户可以拍摄上弦月,得到视频V11。视频V11的时长可以为5秒。其中,在视频V11开始录制拍摄时电子设备的位姿和捕获待续录图像W1时的位姿一致,捕获待续录图像W1可以为视频V10中第4秒的图像。可以将视频V10和视频V11合成时长为9秒的视频V12。 具体可以参考上文所述方式实现。
用户可以拍摄满月,得到视频V13。视频V13的时长可以为5秒。其中,在视频V13开始录制时电子设备的位姿和捕获待续录图像W2时的位姿一致,待续录图像W2可以为视频V12中第8秒的图像。可以将视频V12和视频V13合成时长为13秒的视频V14。
用户可以拍摄下弦月,得到视频V15。视频V15的时长可以为5秒。其中,在视频V15开始拍摄时电子设备的位姿和捕获待续录图像W3时的位姿一致,参考待续录图像W3可以为视频V14中第12秒的图像。可以将视频V15和视频V14合成时长为17秒的视频V16。
用户可以拍摄下弦月之后新的朔月,得到视频V17。视频V17的时长可以为5秒。其中, 在视频V17开始拍摄时电子设备的位姿和捕获待续录图像W4时的位姿一致,待续录图像 W4可以为视频V16中第16秒的图像。可以将视频V17和视频V16合成时长为21秒视频V18。
如上所述,视频V18中由属于视频V10的片段、属于视频V11的片段、属于视频V13的片段、属于视频V15的片段和视频V17依次相连拼接而成。
视频V18的播放画面可以包括图15A、图15B、图15C、图15D所示画面。
具体的,如图15A所示,在视频播放进度指示1501位于视频播放进度条1502的第0-第 4秒的位置之间时,视频V18的播放画面为拍摄的朔月图像。
如图15B所示,在视频播放进度指示1501达到视频播放进度条1502的第4秒的位置时, 播放画面切换为拍摄的上弦月图像。由于电子设备在拍摄第4秒显示的上弦月图像时的位姿 和在拍摄该上弦月图像前一帧图像时的位姿一致,因此,播放画面从朔月图像切换到上弦月 图像的过程自然、连贯。
如图15C所示,在视频播放进度指示1501达到视频播放进度条1502的第8秒的位置时, 播放画面切换为拍摄的满月图像。由于电子设备在拍摄第8秒显示的满月图像时的位姿和在 拍摄该满月图像前一帧图像时的位姿一致,因此,播放画面从上弦月图像切换到满月图像的 过程自然、连贯。
如图15D所示,在视频播放进度指示1501达到视频播放进度条1502的第12秒的位置 时,播放画面切换为拍摄的下弦月图像。由于电子设备在拍摄第12秒显示的下弦月图像时的 位姿和在拍摄该下弦月图像前一帧图像时的位姿一致,因此,播放画面从满月图像切换到下 弦月图像的过程自然、连贯。
在视频播放进度指示1501达到视频播放进度条1502的第16秒的位置时,播放画面切换 为再次拍摄的朔月图像(未示出)。由于电子设备在拍摄第16秒显示的朔月图像时的位姿和 在拍摄该朔月图像前一帧图像时的位姿一致,因此,播放画面从下弦月图像切换到朔月图像 的过程自然、连贯。
由此可知,虽然视频V18是由多次不同拍摄得到的多个视频片段拼接而成,在播放时, 各个视频片段之间衔接自然、连贯,减少了因视频拼接而带来的画面跳跃感,使得用户更好 地关注画面中月亮的变化,进而使得用户更好地感受月亮的盈亏变化中。
传统的电影、电视剧拍摄后,需要专业摄影师进行手动剪辑、拼接,以蒙太奇效果。该 方案耗费较大的人力。本申请实施例提供了一种用户级的智能断点续录方法。该方法可以包 括如下步骤。
a)当录像启动时,拍摄设备可以同时启动AR引擎(engine)中的运动跟踪(SLAM)特性,录像的每一帧同时记录相关的ORB相关特征作为扩展字段与录像同时保存,录像停止时通知停止AR引擎;
b)在下一次录像时,拍摄设备可以启动断点续录功能,同时启动AR引擎,确定待续录 图像(例如,可以默认取录像最后一帧为待续录图像,再例如可以将用户指定帧图像确定待 续录图像,再例如,可以通过智能匹配模式确定待续录图像)。可以将待续录图像的ORB信 息与当前的ORB信息进行对比,如位置及角度等信息不匹配,给出用户提示指引用户调整位 置及角度等,指导达到匹配位置;
c)当ORB信息匹配或者,位置及角度等信息匹配时,可以启动续录,到用户自动终止 本次录像(续录),同时停止AREngine。
在本申请实施例提供的智能断点续录方法中,进行续录的操作序列可以为:录像->停止 ->“续录->停止”×N;每次停止之后,释放系统资源,前后两次录像在时间维度上要求较弱。 在本申请实施例提供的智能断点续录方法中,可以根据不同的模式选择待续录图像。例如可 以将视频中最后一帧图像作为待续录图像。可以理解,视频最后一帧图像未必是用户最期望 的。因此,在本申请实施例中,可以提供用户指定选择模块(常见类似模式为连拍优选等), 在该模式中,用户可以指定待续录图像。在本申请实施例中,还可以基于当前拍摄的预览图 像的特征来从已有录像中,反向匹配待续录图像。
在一些实施例中,本申请实施例提供的智能断点续录方法可以图16A所示。
在一些实施例中,参阅图16B,以录制花开放视频为例。可以在录制三段视频,这三段 视频的录制时间不同。在拍摄后两段视频中,可以根据本申请实施例提供的方案,用户可以 从已录制的视频中确定待续录图像,并根据待续录图像录制当前视频。其中,第一段视频(①) 是拍摄的花骨朵视频,拍摄时间为T10-T15,时长为5秒。第一段视频(②)是拍摄的含苞 欲放视频,拍摄时间为T20-T26,时长为6秒。第三段视频(③)是拍摄的花绽放视频,拍 摄时间为T30-T33,时长为3秒。这三段视频的总时间为Tn0-Tnm。这三段视频合并的最终视频的时长可以小于或等于(5+6+3)秒。在一个例子中,还可以根据场景识别(也称为智能推荐模式或智能匹配模式),确定待续录图像进行续录,则最终视频的时长可以小于(5+6+3) 秒,从而可以保持更好的视频延续性,操作简单。若在续录时,无法识别到有效吻合场景, 则最终视频的时长可以等于(5+6+3)秒。
本申请实施例提供的智能断点续录方法,在固定场景下拍摄效果更佳,例如采样固定位 置及角度(例如通过三角架等固定设备)。
在本申请实施例提供的智能断点续录方法中,视频录制最大长度可以基于用户需求及设 备能力设定。
申请实施例的图像拍摄方法(或视频录制方法或设备位姿调整方法)可以应用于电子设 备100。电子设备100可以为手机、平板电脑、数码相机、个人数字助理(personaldigitalassistant, PDA)、可穿戴设备、膝上型计算机(laptop)等便携式电子设备。便携式电子设备的示例性实施 例包括但不限于搭载iOS、android、microsoft或者其他操作系统的便携式电子设备。上述便 携式电子设备也可以是其他便携式电子设备,诸如具有触敏表面(例如触控面板)的膝上型计 算机(laptop)等。还应当理解的是,在本申请其他一些实施例中,电子设备也可以不是便携式 电子设备,而是具有触敏表面(例如触控面板)的台式计算机。本申请实施例对电子设备的类 型不做具体限定。
图17示出了电子设备100的结构示意图。
电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总 线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天 线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器 170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192, 摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195 等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C, 磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器 180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申 请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件, 或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组 合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU), 图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit, NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的 控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110 中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数 据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复 存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口, 脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface, MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串 行时钟线(derail clock line,SCL)。在一些实施例中,处理器110可以包含多组I2C总线。处 理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K,充电器,闪光灯,摄像头 193等。例如:处理器110可以通过I2C接口耦合触摸传感器180K,使处理器110与触摸传 感器180K通过I2C总线接口通信,实现电子设备100的触摸功能。
I2S接口可以用于音频通信。在一些实施例中,处理器110可以包含多组I2S总线。处理 器110可以通过I2S总线与音频模块170耦合,实现处理器110与音频模块170之间的通信。 在一些实施例中,音频模块170可以通过I2S接口向无线通信模块160传递音频信号,实现 通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频 模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中,音频模块170也可以通过PCM接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。 所述I2S接口和所述PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它 将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,UART接口通常被用于 连接处理器110与无线通信模块160。例如:处理器110通过UART接口与无线通信模块160中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块170可以通过UART接口向 无线通信模块160传递音频信号,实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器110与显示屏194,摄像头193等外围器件。MIPI接口 包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(displayserial interface, DSI)等。在一些实施例中,处理器110和摄像头193通过CSI接口通信,实现电子设备100 的拍摄功能。处理器110和显示屏194通过DSI接口通信,实现电子设备100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信 号。在一些实施例中,GPIO接口可以用于连接处理器110与摄像头193,显示屏194,无线 通信模块160,音频模块170,传感器模块180等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电,也可以用 于电子设备100与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接 口还可以用于连接其他电子设备,例如AR设备等。
可以理解的是,本发明实施例示意的各模块间的接口连接关系,只是示意性说明,并不 构成对电子设备100的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述 实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可 以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接 收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设 备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可 以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块 141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模 块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单 个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复 用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解 决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进 行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制 解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信 模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块 150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号 调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解 调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递 给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信 号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器 件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其 他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导 航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距 离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决 方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模 块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处 理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大, 经天线2转为电磁波辐射出去。
在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信 模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无 线通信技术可以包括全球移动通讯系统(global system for mobilecommunications,GSM),通 用分组无线服务(general packet radio service,GPRS),码分多址接入(code division multiple access,CDMA),宽带码分多址(wideband codedivision multiple access,WCDMA),时分码分 多址(time-division code divisionmultiple access,TD-SCDMA),长期演进(long term evolution, LTE),第五代,新空口(new radio,NR),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。 所述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统 (global navigationsatellite system,GLONASS),北斗卫星导航系统(beidou navigation satellitesystem,BDS),准天顶卫星系统(quasi-zenith satellite system,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶 显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有 源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed, 量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备 100可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递 到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理, 转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对 拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感 光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体 (complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电 信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工 处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中, 电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字 信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变 换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编 解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组 (moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如 借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以 实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备 100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功 能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。 内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至 少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电 子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121 可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件, 闪存器件,通用闪存存储器(universal flash storage,UFS)等。处理器110通过运行存储在内部 存储器121的指令,和/或存储在设置于处理器中的存储器的指令,执行电子设备100的各种 功能应用以及数据处理。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转 换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音 频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110 中。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备100可以通过 扬声器170A收听音乐,或收听免提通话。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备100接听电 话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发 送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。 电子设备100可以设置至少一个麦克风170C。在另一些实施例中,电子设备100可以设置两 个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备 100还可以设置三个,四个或更多麦克风170C,实现采集声音信号,降噪,还可以识别声音 来源,实现定向录音功能等。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm 的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工 业协会(cellular telecommunications industry association of theUSA,CTIA)标准接口。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中, 压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多,如电阻式压力传感 器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有 导电材料的平行板。当有力作用于压力传感器180A,电极之间的电容改变。电子设备100根 据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,电子设备100根据压力传 感器180A检测所述触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号计 算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作, 可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短 消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触 摸操作作用于短消息应用图标时,执行新建短消息的指令。在一些实施例中,压力传感器180A 可以检测到用户的手指接触显示屏194的检测信号而确定手指接触显示屏194的接触面积和 接触区域,进而可以确定手指是否夹在折叠形态下的电子设备100之间。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中,可以通 过陀螺仪传感器180B确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感 器180B可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180B检测电子设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备 100的抖动,实现防抖。陀螺仪传感器180B还可以用于导航,体感游戏场景。
加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电 子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖 屏切换,计步器等应用。
在一些实施例中,电子设备100可以包括多个陀螺仪传感器180B和多个加速度传感器 180E,其中,一个或更多个陀螺仪传感器180B和一个或更多个加速度传感器180E可组成可 惯性矢量单元(inertial measurement unit,IMU)。如上所述,陀螺仪传感器180B确定电子设 备100围绕三个轴的角速度,加速度传感器180E可检测电子设备100在三个轴上的加速度的 大小,由此,可测量电子设备100在三维空间中的角速度和加速度,并以此解算出电子设备 100的姿态。
气压传感器180C用于测量气压。在一些实施例中,电子设备100通过气压传感器180C 测得的气压值计算海拔高度,辅助定位和导航。
磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的 开合。在一些实施例中,当电子设备100是翻盖机时,电子设备100可以根据磁传感器180D 检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁 等特性。
磁传感器180D可以测量电子设备100在三个轴方向上的磁场,由此,可以解算电子设 备100的位置。
距离传感器180F,用于测量距离。电子设备100可以通过红外或激光测量距离。在一些 实施例中,拍摄场景,电子设备100可以利用距离传感器180F测距以实现快速对焦。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光 二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100 使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定电子 设备100附近有物体。当检测到不充分的反射光时,电子设备100可以确定电子设备100附 近没有物体。电子设备100可以利用接近光传感器180G检测用户手持电子设备100贴近耳 朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式,口袋 模式自动解锁与锁屏。
环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适 应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器 180L还可以与接近光传感器180G配合,检测电子设备100是否在口袋里,以防误触。
指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁, 访问应用锁,指纹拍照,指纹接听来电等。
温度传感器180J用于检测温度。在一些实施例中,电子设备100利用温度传感器180J 检测的温度,执行温度处理策略。例如,当温度传感器180J上报的温度超过阈值,电子设备 100执行降低位于温度传感器180J附近的处理器的性能,以便降低功耗实施热保护。在另一 些实施例中,当温度低于另一阈值时,电子设备100对电池142加热,以避免低温导致电子 设备100异常关机。在其他一些实施例中,当温度低于又一阈值时,电子设备100对电池142 的输出电压执行升压,以避免低温导致的异常关机。
触摸传感器180K,也称“触控器件”。触摸传感器180K可以设置于显示屏194,由触摸 传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其 上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸 事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸 传感器180K也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
骨传导传感器180M可以获取振动信号。在一些实施例中,骨传导传感器180M可以获 取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏,接收血压跳动 信号。在一些实施例中,骨传导传感器180M也可以设置于耳机中,结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号,解析出语音信号,实现语音功能。应用处理器可以基于所述骨传导传感器180M获取的血压跳动信号解析心率信息,实现心率检测功能。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电 子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号 输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反 馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈 效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不 同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。 触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息, 未接来电,通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡 接口,N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡,Micro SIM卡,SIM卡 等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同,也可以不同。 SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电 子设备100通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,电子 设备100采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在电子设备100中,不能和电子设 备100分离。
电子设备100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构, 或云架构。本发明实施例以分层架构的Android系统为例,示例性说明电子设备100的软件 结构。
图18是本发明实施例的电子设备100的软件结构框图。
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接 口通信。在一些实施例中,将Android系统分为四层,从上至下分别为应用程序层,应用程 序框架层,系统库、硬件抽象层以及内核层。
应用程序层可以包括一系列应用程序包。
如图18所示,应用程序包可以包括通话、增强现实(augmented reality,AR)、地图、即 时通讯、相机等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图18所示,应用程序框架层可以包括内容提供器(content providers)、视图系统(view system)以及管理器(managers),其中,管理器包括活动管理器(activitymanager)、位置管 理器(location manager)、包管理器(package manager)、通知管理器(notification manager)、 资源管理器(resoure manager)、电话管理器(telephonymanager)、窗口管理器(window manager) 等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包 括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构 建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面, 可以包括显示文字的视图以及显示图片的视图。
活动管理器用于管理应用程序的生命周期,及Activity栈管理等。
位置管理器用于地理位置及地位功能服务。
包管理器用于提供和管理安装的应用程序信息。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息, 可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒 等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后 台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提 示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视 频文件等等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏, 锁定屏幕,截取屏幕等。
电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通,挂断等)。
系统运行库层包括安卓运行时(Android runtime,ART)库和原生C/C++库。安卓运行时库 负责安卓系统的调度和管理,其包括ART运行环境和核心库。
原生C/C++库可以包括多个功能模块。例如:浏览器引擎(Webkit)、多媒体框架标准(例 如,OpenMAX AL)、Libc库、多媒体框架(media framework)、三维图形处理库(例如:OpenGL ES)等,在一些实施例中,原生C/C++库还可以包括AR引擎(AREngine)和/或ARcore。
浏览器引擎用于提供浏览器内核的支持。
多媒体框架标准可作为音频、视频及图像的解码器,与多媒体解码器交互,并以统一的 行为支持组件。
Libc库为标准的C系统函数库,为基于嵌入式的Linux设备定制。
多媒体框架为安卓多媒体框架的核心,用于实现音频、视频的采集和播放。
三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
其中,AR引擎为一种可搭建AR应用的软件平台,具有位置跟踪等功能,可通过电子设 备100的传感器和摄像头进行同步定位与地图构建(simultaneous localization andmapping, SLAM),感知电子设备100相对于其周围环境的位置和姿态。
ARCore为另一种可搭建增强现实应用程序的软件平台,具有动作捕捉功能,可通过电子 设备100的传感器和摄像头,感知电子设备100相对于其周围环境的位置和姿态。
硬件抽象层可以包括音频、蓝牙、摄像头、传感器、GPS等器件的抽象模块。
内核层是硬件和软件之间的层。内核层可以包含音频驱动,进程间通信(inter-process communication,IPC)通讯驱动,显示驱动,键映射驱动,蓝牙驱动,摄像头驱动,闪存驱 动,USB驱动,Wi-Fi驱动,GPS驱动,传感器驱动等。
硬件层可以包括各类传感器,例如本申请实施例涉及的角度传感器、压力传感器等。
下面结合捕获拍照场景,示例性说明电子设备100软件以及硬件的工作流程。
当触摸传感器180K接收到触摸操作,相应的硬件中断被发给内核层。内核层将触摸操 作加工成原始输入事件(包括触摸坐标,触摸操作的时间戳等信息)。原始输入事件被存储在 内核层。应用程序框架层从内核层获取原始输入事件,识别该输入事件所对应的控件。以该 触摸操作是触摸单击操作,该单击操作所对应的控件为相机应用图标的控件为例,相机应用 调用应用框架层的接口,启动相机应用,进而通过调用内核层启动摄像头驱动,通过摄像头 193捕获静态图像或视频。
参阅图19,本申请实施例提供了一种图像拍摄装置1900,可以配置于具有摄像头的电子 设备。装置1900可以包括:
第一获取单元1910,用于获取第一图像,第一图像为摄像头捕获的图像;
第二获取单元1920,用于获取第一位姿数据,第一位姿数据包括第一位置的位置数据, 第一位置为第一图像被捕获时电子设备的位置;
存储单元1930,用于将第一位姿数据存储为第一图像的扩展信息,以得到携带有位姿数 据的第一图像。
本申请实施例提供的装置1900的各个功能单元的功能,可参照上文所述各方法实施例中 电子设备A1的操作实现,此处不再赘述。
参阅图20,本申请实施例提供了一种视频录制装置2000,可以配置于具有摄像头的电子 设备。装置2000可以包括:
显示单元2010,用于在视频录制过程中,显示摄像头捕获的第一图像;确定单元,用于 当检测到第一信息时,确定第一图像为第一关键帧;
获取单元2020,用于获取第一位姿数据,第一位姿数据包括第一位置的位置数据,第一 位置为关键帧被捕获时电子设备的位置;
存储单元2030,用于将第一位姿数据存储为第一关键帧的扩展信息,以得到携带有位姿 数据的视频。
本申请实施例提供的装置2000的各个功能单元的功能,可参照上文所述各方法实施例中 电子设备A1的操作实现,此处不再赘述。
参阅图21,本申请实施例提供了一种用于拍摄的设备位姿调整装置2100,可以配置于具 有摄像头的电子设备。装置2100可以包括:
显示单元2110,用于显示第一界面,第一界面包括携带有第一位姿数据的第一图像的信 息,第一位姿数据包括第一位置的位置数据,第一位置为第一图像被捕获时第二电子设备的 位置,第二电子设备为捕获第一图像的设备;其中,第一图像的信息包括第一图像本身、第 一图像的缩略图、第一图像的预览图、第一图像的指示信息中的至少一种;
提供单元2120,用于响应于第一操作,提供第一提示信息,第一提示信息用于提示调整 第一电子设备的位置,第一提示信息由第一位置的位置数据和第二位置的位置数据确定,第 二位置为第一电子设备的当前位置。
本申请实施例提供的装置2100的各个功能单元的功能,可参照上文所述各方法实施例中 电子设备A2的操作实现,此处不再赘述。
上文主要从方法流程的角度对本申请实施例提供的装置进行了介绍。可以理解的是,各 个电子设备为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领 域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤, 本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机 软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可 以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申 请的范围。
参阅图21,本申请实施例提供了一种电子设备2200,电子设备2200可以执行上文所述 各方法实施例中电子设备A1或电子设备A2执行的操作。其中,电子设备2200可以包括处 理器2210、存储器2220、摄像头2230、显示屏2240。存储器2220中存储有指令,该指令可被处理器2210执行。当该指令在被处理器2210执行时,电子设备2200可以执行上文所述各方法实施例中电子设备A1或电子设备A2执行的操作。具体而言,处理器2210可以进行数 据处理操作,摄像头2230可以进行图像捕获操作,显示屏2240可以进行数据显示。
可以理解的是,本申请的实施例中的处理器可以是中央处理单元(centralprocessing unit, CPU),还可以是其他通用处理器、数字信号处理器(digital signalprocessor,DSP)、专用集 成电路(application specific integrated circuit,ASIC)、现场可编程门阵列(field programmable gate array,FPGA)或者其他可编程逻辑器件、晶体管逻辑器件,硬件部件或者其任意组合。 通用处理器可以是微处理器,也可以是任何常规的处理器。
本申请的实施例中的方法步骤可以通过硬件的方式来实现,也可以由处理器执行软件指 令的方式来实现。软件指令可以由相应的软件模块组成,软件模块可以被存放于随机存取存 储器(random access memory,RAM)、闪存、只读存储器(read-only memory,ROM)、可编 程只读存储器(programmable rom,PROM)、可擦除可编程只读存储器(erasablePROM, EPROM)、电可擦除可编程只读存储器(electrically EPROM,EEPROM)、寄存器、硬盘、移 动硬盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦 合至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息。当然, 存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当 使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包 括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产 生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算 机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者通 过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务 器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无 线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可 读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服 务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、 光介质(例如,DVD)、或者半导体介质(例如固态硬盘(solid statedisk,SSD))等。
可以理解的是,在本申请的实施例中涉及的各种数字编号仅为描述方便进行的区分,并 不用来限制本申请的实施例的范围。

Claims (31)

1.一种用于拍摄的设备位姿调整方法,其特征在于,应用于配置有第一摄像头的第一电子设备,所述方法包括:
显示第一界面,所述第一界面包括携带有第一位姿数据的第一图像的信息,所述第一位姿数据包括第一位置的位置数据,所述第一位置为所述第一图像被捕获时第二电子设备的位置,所述第二电子设备为捕获所述第一图像的设备;其中,所述第一图像的信息包括所述第一图像本身、所述第一图像的缩略图、所述第一图像的预览图、所述第一图像的指示信息中的至少一种;
响应于第一操作,提供第一提示信息,所述第一提示信息用于提示调整所述第一电子设备的位置,所述第一提示信息由所述第一位置的位置数据和第二位置的位置数据确定,所述第二位置为所述第一电子设备的当前位置。
2.根据权利要求1所述的方法,其特征在于,在所述显示第一界面之前,所述方法还包括:
启动所述第一摄像头,以显示取景界面;
当所述取景界面包括含有第一物体的影像时,根据所述第一物体的影像,确定本地存储或网络存储的含有第二物体的影像的图像为所述第一图像,所述第二物体为所述第一物体的对应物体;
所述显示所述第一界面包括:
在所述取景界面显示所述第一图像的信息。
3.根据权利要求1所述的方法,其特征在于,在所述显示第一界面之前,所述方法还包括:
启动所述第一摄像头,以显示取景界面;
确定所述第一电子设备的第一地理位置;
根据所述第一地理位置,在本地存储或网络存储的图像中确定所述第一图像,其中,所述第一地理位置和所述第一位置之间的距离小于第一阈值,所述第一位置为所述第二电子设备的地理位置;
所述显示所述第一界面包括:
在所述取景界面显示所述第一图像的信息。
4.根据权利要求1所述的方法,其特征在于,在所述显示第一界面之前,所述方法还包括:
启动所述第一摄像头,以显示取景界面;
确定所述第一电子设备的第一网络信息;
根据所述第一网络信息,确定本地存储或网络存储的携带有第二网络信息的图像为所述第一图像,其中,所述第一网络信息和所述第二网络信息相对应;
所述显示所述第一界面包括:
在所述取景界面显示所述第一图像的信息。
5.根据权利要求1所述的方法,其特征在于,在所述显示第一界面之前,所述方法还包括:
启动所述第一摄像头,以显示取景界面;
确定所述第一电子设备的第一近场通信标签;
根据所述第一近场通信标签,确定本地存储或网络存储的携带有第二近场通信标签的图像为所述第一图像,其中,所述第一近场通信标签和所述第二近场通信标签相相对应;
所述显示所述第一界面包括:
在所述取景界面显示所述第一图像的信息。
6.根据权利要求2-5任一项所述的方法,其特征在于,所述显示所述第一界面还包括:显示拍摄模式选择信息,所述选择信息用于提示用户是否选择进入模仿拍摄模式或续拍模式;
所述第一操作为用户起始的选择进入模仿拍摄模式或续拍模式的操作。
7.根据权利要求1所述的方法,其特征在于,在所述显示第一界面之前,所述方法还包括:
显示第二界面,所述第二界面包括一个或多个图像;
响应于用户起始的操作,将所述一个或多个图像中的至少一个图像确定为所述第一图像;所述一个或多个图像中的部分或全部图像携带有第一标识,所述第一标识用于表示图像携带有位姿数据。
8.根据权利要求1所述的方法,其特征在于,所述提供第一提示信息包括:
当所述第二位置和所述第一位置之间的距离大于第二阈值时,显示导航路线,所述导航路线的终点为所述第一位置。
9.根据权利要求1所述的方法,其特征在于,所述提供第一提示信息包括:
当所述第二位置和所述第一位置之间的距离小于第三阈值时,显示第一指示信息;其中,所述第一指示信息用于指示所述第一电子设备的位置调整方向。
10.根据权利要求9所述的方法,其特征在于,
所述显示第一指示信息包括:
显示取景界面;
当第一物体落入所述第一摄像头的取景范围,且所述第一图像包括第二物体的影像时,确定所述第一物体的影像在所述取景界面中的第一尺寸,以及确定所述第二物体的影像在所述第一图像中的第二尺寸;
根据所述第一尺寸和所述第二尺寸,确定所述第一指示信息;
或者,
所述显示第一指示信息包括:
显示取景界面;
当第一物体落入所述第一摄像头的取景范围,且所述第一图像包括第二物体的影像时,确定所述第一物体相对所述第一电子设备的方位,以及确定所述第一图像被拍摄时所述第二物体相对所述第二电子设备的方位;所述第二物体为所述第一物体对应的物体;
根据所述第一物体相对所述第一电子设备的方位和所述第一图像被拍摄时所述第二物体相对所述第二电子设备的方位,确定所述第一指示信息;
或者,
所述显示第一指示信息包括:
显示取景界面;
当第一物体落入所述第一摄像头的取景范围时,在所述取景界面,显示所述第一指示信息;所述第一指示信息用于指示在第一平面上任一方向平移所述第二电子设备,所述第一平面垂直于所述第一摄像头的光轴;或者,所述第一指示信息用于指示沿所述第一摄像头的光轴向前或向后平移所述第一电子设备。
11.根据权利要求1所述的方法,其特征在于,所述第一位姿数据还包括第一姿态的姿态数据,所述第一姿态为所述第一图像被捕获时所述第二电子设备在三维空间中的旋转;
所述方法还包括:
提供第二提示信息,所述第二提示信息用于提示调整所述第一电子设备的姿态,所述第二提示信息由所述第一姿态的姿态数据和第二姿态的姿态数据确定,所述第二姿态为当前所述第一电子设备在三维空间中的旋转。
12.根据权利要求11所述的方法,其特征在于,所述提供第二提示信息包括:
显示第二指示信息;其中,
所述第二指示信息用于指示在第一平面上旋转所述第一电子设备,所述第一平面垂直于所述第一摄像头的光轴;或者,
所述第二指示信息用于指示根据第一中心轴或第二中心轴偏转所述第一电子设备,以偏转所述第一摄像头的光轴,其中,所述第一中心轴和所述第二中心轴为所述第一电子设备的中心轴,所述第一中心轴、所述第二中心轴相互垂直,且均垂直于所述第一摄像头的光轴。
13.根据权利要求1所述的方法,其特征在于,所述方法还包括:
显示预览界面,所述预览界面包括第一物体的影像;
在所述预览界面,显示所述第一图像中第二物体的影像的特征点;
所述第二物体的影像的特征点包括在所述第一图像的扩展信息中,或者,所述第二物体的影像的特征点是由所述第一电子设备从所述第一图像中提取的;
所述第二物体的影像的特征点构成所述第二物体的轮廓。
14.根据权利要求1所述的方法,其特征在于,所述第一位姿数据还包括第一方向的方向数据,所述第一方向为所述第一图像被捕获时所述第二电子设备的摄像头面对的方向;
所述方法还包括:
提供第三提示信息,所述第三提示信息用于提示调整所述第一摄像头的面对方向,所述第三提示信息由所述第一摄像头的当前面对方向和所述第一方向确定。
15.根据权利要求1所述的方法,其特征在于,所述第一电子设备和所述第二电子设备为不同的电子设备;或者,
所述第一电子设备和所述第二电子设备为同一电子设备,所述第一图像为所述第一电子设备在显示所述第一界面之前拍摄的图像。
16.一种图像拍摄方法,其特征在于,应用于配置有摄像头的电子设备;所述方法包括:
获取第一图像,所述第一图像为所述摄像头捕获的图像;
获取第一位姿数据,所述第一位姿数据包括第一位置的位置数据,所述第一位置为所述第一图像被捕获时所述电子设备的位置;
将所述第一位姿数据存储为所述第一图像的扩展信息,以得到携带有位姿数据的第一图像。
17.根据权利要求16所述的方法,其特征在于,所述第一位置的位置数据为地理位置信息;或者,所述第一位置的位置数据为所述第一图像被捕获时的所述电子设备在三维空间中的坐标;
所述第一位置的位置数据通过卫星定位、同步定位与地图构建SLAM、Wi-Fi定位、惯性测量单元IMU中的至少一种得到。
18.根据权利要求16所述的方法,其特征在于,所述第一位姿数据还包括第一姿态的姿态数据,所述第一姿态为所述第一图像被捕获时所述电子设备在三维空间中的旋转;所述第一姿态的姿态数据通过SLAM和/或IMU得到。
19.根据权利要求16所述的方法,其特征在于,所述第一位姿数据还包括第一方向的方向数据,所述第一方向为所述第一图像被捕获时所述摄像头面对的方向;所述第一方向的方向数据通过电子罗盘得到。
20.根据权利要求16所述的方法,其特征在于,
所述方法还包括:
确定所述第一图像的中第一物体的影像的特征点;
将所述第一物体的影像的特征点作为所述第一图像的扩展信息进行存储;
所述第一物体影像的特征点为ORB特征点;
或者,
所述扩展信息为可交换图像文件EXIF信息。
21.一种视频录制方法,其特征在于,应用于配置有摄像头的电子设备,所述方法包括:
在视频录制过程中,显示所述摄像头捕获的第一图像;
当检测到第一信息时,确定所述第一图像为第一关键帧;
获取第一位姿数据,所述第一位姿数据包括第一位置的位置数据,所述第一位置为所述关键帧被捕获时所述电子设备的位置;
将所述第一位姿数据存储为所述第一关键帧的扩展信息,以得到携带有位姿数据的视频。
22.根据权利要求21所述的方法,其特征在于,
所述第一信息为:针对所述第一图像的操作;
或者,
所述第一信息为:所述第一图像的捕获时刻和所述视频录制的启动时刻之间的时长为预设时长的整数倍;
或者,
所述第一信息为:在所述摄像头捕获所述第一图像之后的第一时间段内,所述电子设备的位姿改变大于阈值;其中,所述第一时间段的时长≤所述第一图像的帧长;
或者,
所述第一信息为:在所述摄像头捕获所述第一图像之后的第一时间段内,所述电子设备的位姿改变大于阈值;其中,所述第一时间段的时长≤所述第一图像的帧长;
或者,
所述第一信息为:所述第一图像包括第一物体的影像或第一特征信息;所述确定所述第一图像为第一关键帧包括:当检测到所述第一图像包括所述第一物体的影像或所述第一特征信息时,确定所述第一图像为第一关键帧。
23.根据权利要求21所述的方法,其特征在于,
所述第一位置的位置数据为地理位置信息;或者,所述第一位置的位置数据为所述第一图像被捕获时的所述电子设备在三维空间中的坐标;所述第一位置的位置数据通过卫星定位、同步定位与地图构建SLAM、Wi-Fi定位、惯性测量单元IMU中的至少一种得到;
或者,
所述第一位姿数据还包括第一姿态的姿态数据,所述第一姿态为所述第一图像被捕获时所述电子设备在三维空间中的旋转;所述第一姿态的姿态数据通过SLAM和/或IMU得到;
或者,
所述第一位姿数据还包括第一方向的方向数据,所述第一方向为所述第一图像被捕获时所述摄像头面对的方向;所述第一方向的方向数据通过电子罗盘得到;
或者,
所述方法还包括:
确定所述第一图像的中第一物体的影像的特征点;
将所述第一物体的影像的特征点作为所述第一图像的扩展信息进行存储;
或者,
所述扩展信息为所述第一图像的补充增强消息SEI。
24.一种电子设备,其特征在于,包括:处理器、存储器、摄像头、显示屏;
所述存储器用于存储计算机指令;
当所述电子设备运行时,所述处理器执行所述计算机指令,使得所述电子设备执行权利要求1-15任一项所述的方法。
25.一种电子设备,其特征在于,包括:处理器、存储器、摄像头、显示屏;
所述存储器用于存储计算机指令;
当所述电子设备运行时,所述处理器执行所述计算机指令,使得所述电子设备执行权利要求16-20任一项所述的方法。
26.一种电子设备,其特征在于,包括:处理器、存储器、摄像头、显示屏;
所述存储器用于存储计算机指令;
当所述电子设备运行时,所述处理器执行所述计算机指令,使得所述电子设备执行权利要求21-23任一项所述的方法。
27.一种数据结构,其特征在于,包括:第一图像的图像数据和所述第一图像的扩展信息,其中,所述第一图像的扩展信息包括第一位姿数据,所述第一位姿数据包括第一位置的位置数据,所述第一位置为所述第一图像被电子设备捕获时所述电子设备的位置。
28.一种数据结构,其特征在于,包括:视频数据,所述视频数据包括第一图像数据和所述第一图像的扩展信息,其中,所述第一图像的扩展信息包括第一位姿数据,所述第一位姿数据包括第一位置的位置数据,所述第一位置为所述第一图像被电子设备捕获时,所述电子设备的位置。
29.一种计算机存储介质,其特征在于,包括:第一图像的图像数据和所述第一图像的扩展信息,其中,所述第一图像的扩展信息包括第一位姿数据,所述第一位姿数据包括第一位置的位置数据,所述第一位置为所述第一图像被电子设备捕获时,所述电子设备的位置。
30.一种计算机存储介质,其特征在于,包括:视频数据,所述视频数据包括第一图像数据和所述第一图像的扩展信息,其中,所述第一图像的扩展信息包括第一位姿数据,所述第一位姿数据包括第一位置的位置数据,所述第一位置为所述第一图像被电子设备捕获时,所述电子设备的位置。
31.一种计算机存储介质,其特征在于,包括计算机存储介质包括计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备执行权利要求1-15任一项所述的方法或权利要求16-20任一项所述的方法或权利要求21-23任一项所述的方法。
CN202010295055.5A 2020-04-15 2020-04-15 设备位姿调整方法和图像拍摄方法及电子设备 Pending CN113542575A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010295055.5A CN113542575A (zh) 2020-04-15 2020-04-15 设备位姿调整方法和图像拍摄方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010295055.5A CN113542575A (zh) 2020-04-15 2020-04-15 设备位姿调整方法和图像拍摄方法及电子设备

Publications (1)

Publication Number Publication Date
CN113542575A true CN113542575A (zh) 2021-10-22

Family

ID=78120136

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010295055.5A Pending CN113542575A (zh) 2020-04-15 2020-04-15 设备位姿调整方法和图像拍摄方法及电子设备

Country Status (1)

Country Link
CN (1) CN113542575A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115937321A (zh) * 2022-09-27 2023-04-07 荣耀终端有限公司 一种电子设备的姿态检测方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130176474A1 (en) * 2012-01-09 2013-07-11 Samsung Electronics Co., Ltd. Apparatus and method of displaying camera view area in portable terminal
US20170272623A1 (en) * 2014-12-03 2017-09-21 Nec Corporation Direction control device, direction control method and recording medium
US20190320113A1 (en) * 2018-04-13 2019-10-17 Adobe Inc. Image Composition Instruction Based On Reference Image Perspective
US20200059596A1 (en) * 2018-08-17 2020-02-20 Samsung Electronics Co., Ltd. Electronic device and control method thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130176474A1 (en) * 2012-01-09 2013-07-11 Samsung Electronics Co., Ltd. Apparatus and method of displaying camera view area in portable terminal
US20170272623A1 (en) * 2014-12-03 2017-09-21 Nec Corporation Direction control device, direction control method and recording medium
US20190320113A1 (en) * 2018-04-13 2019-10-17 Adobe Inc. Image Composition Instruction Based On Reference Image Perspective
US20200059596A1 (en) * 2018-08-17 2020-02-20 Samsung Electronics Co., Ltd. Electronic device and control method thereof

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115937321A (zh) * 2022-09-27 2023-04-07 荣耀终端有限公司 一种电子设备的姿态检测方法和装置
CN115937321B (zh) * 2022-09-27 2023-09-22 荣耀终端有限公司 一种电子设备的姿态检测方法和装置

Similar Documents

Publication Publication Date Title
CN111263005B (zh) 一种折叠屏的显示方法及相关装置
WO2021093793A1 (zh) 一种拍摄方法及电子设备
CN112532869B (zh) 一种拍摄场景下的图像显示方法及电子设备
WO2021104485A1 (zh) 一种拍摄方法及电子设备
CN111476911A (zh) 虚拟影像实现方法、装置、存储介质与终端设备
CN112130742A (zh) 一种移动终端的全屏显示方法及设备
WO2020029306A1 (zh) 一种图像拍摄方法及电子设备
WO2022017261A1 (zh) 图像合成方法和电子设备
WO2022095788A1 (zh) 目标用户追焦拍摄方法、电子设备及存储介质
WO2021258814A1 (zh) 视频合成方法、装置、电子设备及存储介质
CN110138999B (zh) 一种用于移动终端的证件扫描方法及装置
CN113727017A (zh) 拍摄方法、图形界面及相关装置
CN112351156A (zh) 一种镜头切换方法及装置
CN113170037A (zh) 一种拍摄长曝光图像的方法和电子设备
CN112840635A (zh) 智能拍照方法、系统及相关装置
CN112150499A (zh) 图像处理方法及相关装置
CN112529645A (zh) 一种图片的布局方法及电子设备
WO2022156473A1 (zh) 一种播放视频的方法及电子设备
CN113489895B (zh) 确定推荐场景的方法及电子设备
WO2022037479A1 (zh) 一种拍摄方法和拍摄系统
CN112637477A (zh) 一种图像处理方法及电子设备
CN114979457B (zh) 一种图像处理方法及相关装置
CN114842069A (zh) 一种位姿确定方法以及相关设备
CN113542574A (zh) 变焦下的拍摄预览方法、终端、存储介质及电子设备
CN113723397A (zh) 一种截屏方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination