CN115190240A - 终端拍摄方法、装置、计算机设备及计算机可读存储介质 - Google Patents

终端拍摄方法、装置、计算机设备及计算机可读存储介质 Download PDF

Info

Publication number
CN115190240A
CN115190240A CN202210755332.5A CN202210755332A CN115190240A CN 115190240 A CN115190240 A CN 115190240A CN 202210755332 A CN202210755332 A CN 202210755332A CN 115190240 A CN115190240 A CN 115190240A
Authority
CN
China
Prior art keywords
coordinate
transformation
image frame
target position
shooting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210755332.5A
Other languages
English (en)
Inventor
沈纪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Genius Technology Co Ltd
Original Assignee
Guangdong Genius Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Genius Technology Co Ltd filed Critical Guangdong Genius Technology Co Ltd
Priority to CN202210755332.5A priority Critical patent/CN115190240A/zh
Publication of CN115190240A publication Critical patent/CN115190240A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请提出一种终端拍摄方法，所述方法包括：通过终端摄像头获取初始图像帧；对所述初始图像帧进行特征提取，从所述初始图像帧中确定出待拍摄的目标位置以及待拍摄的有效区域的顶点位置；对所述初始图像帧进行坐标变换，得到与所述目标位置对应的目标位置变换坐标及与所述顶点位置对应的顶点位置变换坐标；根据所述目标位置变换坐标与所述顶点位置变换坐标的位置关系调整所述终端摄像头的拍摄角度后完成拍摄。本申能够根据目标位置实时调整拍摄角度，避免因视角不佳导致书本底部模糊不清，提升照片的清晰度，进而提升搜题、翻译的准确度。

Description

终端拍摄方法、装置、计算机设备及计算机可读存储介质
技术领域
本申请涉及电子设备技术领域，尤其涉及终端拍摄方法、装置、计算机设备及计算机可读存储介质。
背景技术
当前很多电子设备的相机都是固定的，只能以固定视角进行拍摄，造成拍摄视角差、拍摄场景限制大的问题，特别是在教育、学习等相关的电子设备中该问题尤其突出。
例如，当前家教机搜题、查词、翻译等方案均为相机固定位置视角进行拍照，经图片处理生成所需照片后，再进行书本校正，美化处理展示给用户，最后利用同步搜题方案将结果呈现给用户。这样的方式会存在拍摄视角较差，书本底部模糊不清晰，用户难以识别的问题。同时因为相机角度固定，可拍摄场景限制高，导致整个搜题、翻译等学习过程体验较差。
发明内容
本申请提供一种终端拍摄方法、装置、计算机设备及计算机可读存储介质，以解决现有终端拍摄方法拍摄视角较差、拍摄场景限制高的技术问题。
第一方面，提供一种终端拍摄方法，所述方法包括：
通过终端摄像头获取初始图像帧；
对所述初始图像帧进行特征提取，从所述初始图像帧中确定出待拍摄的目标位置以及待拍摄的有效区域的顶点位置；
对所述初始图像帧进行坐标变换，得到与所述目标位置对应的目标位置变换坐标及与所述顶点位置对应的顶点位置变换坐标；
根据所述目标位置变换坐标与所述顶点位置变换坐标的位置关系调整所述终端摄像头的拍摄角度后完成拍摄。
结合第一方面，在一种可能的实现方式中，所述根据所述目标位置变换坐标与所述顶点位置变换坐标的位置关系调整所述终端摄像头的拍摄角度后完成拍摄，之前还包括:根据所述目标位置变换坐标与所述顶点位置变换坐标判断所述目标位置是否位于所述有效区域内；若所述目标位置位于所述有效区域内，则执行所述根据所述目标位置变换坐标与所述顶点位置变换坐标的位置关系调整所述终端摄像头的拍摄角度后完成拍摄的步骤。
结合第一方面，在一种可能的实现方式中，所述根据所述目标位置变换坐标与所述顶点位置变换坐标的位置关系调整所述终端摄像头的拍摄角度后完成拍摄，包括：根据所述顶点位置变换坐标确定所述有效区域的上边缘；根据所述目标位置变换坐标计算所述目标位置到所述上边缘的第一距离；若所述第一距离小于第一距离阈值，则将所述终端摄像头调整到第一预设角度后完成拍摄。
结合第一方面，在一种可能的实现方式中，所述根据所述目标位置变换坐标与所述顶点位置变换坐标的位置关系调整所述终端摄像头的拍摄角度后完成拍摄，包括：根据所述顶点位置变换坐标确定所述有效区域的下边缘；根据所述目标位置变换坐标计算所述目标位置到所述下边缘的第二距离；若所述第二距离小于第二距离阈值，则将所述终端摄像头调整到第二预设角度后完成拍摄。
结合第一方面，在一种可能的实现方式中，所述对所述初始图像帧进行坐标变换，得到与所述目标位置对应的目标位置变换坐标及与所述顶点位置对应的顶点位置变换坐标，包括：根据预设的标准图像帧对所述初始图像进行图像校正，得到预览图像帧；对所述预览图像帧进行坐标变换，得到与所述目标位置对应的目标位置变换坐标及与所述顶点位置对应的顶点位置变换坐标。
结合第一方面，在一种可能的实现方式中，所述根据预设的标准图像帧对所述初始图像进行图像校正，得到预览图像帧，包括：根据所述顶点位置计算透视变换矩阵；根据所述标准图像帧和所述透视变换矩阵对所述初始图像进行图像校正，得到预览图像帧。
结合第一方面，在一种可能的实现方式中，所述对所述预览图像帧进行坐标变换，得到与所述目标位置对应的目标位置变换坐标及与所述顶点位置对应的顶点位置变换坐标，包括：根据透视变换矩阵对所述预览图像帧进行坐标变换，得到与所述目标位置对应的目标位置变换坐标及与所述顶点位置对应的顶点位置变换坐标。
第二方面，提供一种终端拍摄装置，所述装置包括：
第一拍摄模块，用于通过终端摄像头获取初始图像帧；
第一处理模块，用于对所述初始图像帧进行特征提取，从所述初始图像帧中确定出待拍摄的目标位置以及待拍摄的有效区域的顶点位置；
第二处理模块，用于对所述初始图像帧进行坐标变换，得到与所述目标位置对应的目标位置变换坐标及与所述顶点位置对应的顶点位置变换坐标；
第二拍摄模块，用于根据所述目标位置变换坐标与所述顶点位置变换坐标的位置关系调整所述终端摄像头的拍摄角度后完成拍摄。
结合第二方面，在一种可能的实现方式中，所述第二拍摄模块还用于根据所述目标位置变换坐标与所述顶点位置变换坐标判断所述目标位置是否位于所述有效区域内；若所述目标位置位于所述有效区域内，则执行所述根据所述目标位置变换坐标与所述顶点位置变换坐标的位置关系调整所述终端摄像头的拍摄角度后完成拍摄的步骤。
结合第二方面，在一种可能的实现方式中，所述第二拍摄模块还用于根据所述顶点位置变换坐标确定所述有效区域的上边缘；根据所述目标位置变换坐标计算所述目标位置到所述上边缘的第一距离；若所述第一距离小于第一距离阈值，则将所述终端摄像头调整到第一预设角度后完成拍摄。
结合第二方面，在一种可能的实现方式中，所述第二拍摄模块还用于根据所述顶点位置变换坐标确定所述有效区域的下边缘；根据所述目标位置变换坐标计算所述目标位置到所述下边缘的第二距离；若所述第二距离小于第二距离阈值，则将所述终端摄像头调整到第二预设角度后完成拍摄。
结合第二方面，在一种可能的实现方式中，所述第二处理模块还用于根据预设的标准图像帧对所述初始图像进行图像校正，得到预览图像帧；对所述预览图像帧进行坐标变换，得到与所述目标位置对应的目标位置变换坐标及与所述顶点位置对应的顶点位置变换坐标。
结合第二方面，在一种可能的实现方式中，所述第一拍摄模块还用于根据所述顶点位置计算透视变换矩阵；根据所述标准图像帧和所述透视变换矩阵对所述初始图像进行图像校正，得到预览图像帧。
结合第二方面，在一种可能的实现方式中，所述第二处理模块还用于根据透视变换矩阵对所述预览图像帧进行坐标变换，得到与所述目标位置对应的目标位置变换坐标及与所述顶点位置对应的顶点位置变换坐标。
本申请可以实现如下有益效果：本申请提供一种终端拍摄方法，所述方法包括：通过终端摄像头获取初始图像帧；对所述初始图像帧进行特征提取，从所述初始图像帧中确定出待拍摄的目标位置以及待拍摄的有效区域的顶点位置；对所述初始图像帧进行坐标变换，得到与所述目标位置对应的目标位置变换坐标及与所述顶点位置对应的顶点位置变换坐标；根据所述目标位置变换坐标与所述顶点位置变换坐标的位置关系调整所述终端摄像头的拍摄角度后完成拍摄。本申请通过识别待拍摄的目标位置以及待拍摄的有效区域，并通过目标位置变换坐标与顶点位置变换坐标的位置关系调整终端摄像头的拍摄角度后进行拍照，能够根据目标位置实时调整拍摄角度，避免因视角不佳导致书本底部模糊不清，提升照片的清晰度，进而提升搜题、翻译的准确度。
附图说明
图1为本申请实施例提供的一种摄像头角度可调的点读设备的结构示意；
图2为本申请实施例提供的一种终端拍摄方法的流程示意图；
图3为本申请实施例提供的一种触控屏坐标系中有效区域的示意图；
图4为本申请实施例提供的一种桌面距离点读设备25mm处的点的示意图；
图5为本申请实施例提供的一种终端拍摄装置的结构示意图；
图6为本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
本申请的技术方案适用于终端拍摄的各种场景，具体的，本申请的技术方案适用于在终端拍摄场景中通过控制终端摄像头调整拍摄角度来完成拍摄，以解决现有技术中由于拍摄角度固定导致的拍摄视角较差、拍摄场景限制高的技术问题。在实际应用中，终端可以是带有控制装置且摄像角度可调的拍摄设备，也可以是与方向调节装置连接的拍摄设备，当然也可以是其它具有拍摄功能、且摄像角度可调的电子设备。例如，终端可以是一种摄像头角度可调的点读设备。
为便于理解本方案，本申请说明书以一种摄像头角度可调的点读设备对本方案加以说明。
在一个实施例中，本申请适用于一种摄像头角度可调的点读设备，如图1所示，图1为摄像头角度可调的点读设备的结构示意图，所述摄像头角度可调的点读设备包括设备本体以及与所述设备本体配套的支架10。使用该点读设备时，先将支架10水平放置于桌面上，然后将设备本体放置于支架10上，将书本(待拍摄内容)放置于支架10前(以水平向右为前，水平向左为后示例)的桌面后便能够进行点读学习。设备本体包括点读装置20以及设置于点读装置20顶端的拍摄装置30，拍摄装置30上设置有至少一个摄像头40；点读装置20设置有触控屏50、控制模块以及播报模块，控制模块用于控制点读设备对待拍摄内容进行拍摄并进行识别，还用于控制播报模块对识别出的内容进行播报；触控屏50用于显示已经拍摄完成的内容以及识别后的内容；拍摄装置30用于在控制模块的控制下拍摄书本上的待识别(待拍摄)内容，以供控制模块对待识别(待拍摄)内容进行识别。
在实际应用中，拍摄装置30还包括有至少一个马达，拍摄装置30中一个摄像头40至少连接有一个马达，通过马达实现摄像头40拍摄角度的调节。通过设置马达来调节摄像头40的拍摄角度，能有效避免因视角不佳导致书本底部模糊不清，提升照片的清晰度，进而提升搜题、翻译的准确度。
在实际应用中，点读装置20还设置有充电接口以及储能模块，储能模块用于为点读设备供电；充电接口用于连接市电，以为点读设备供电。通过设置储能模块，不仅能够摆脱连接线对点读设备的限制，还能在没有市电的情况在使用点读设备，大大提升点读设备的便捷性。
在实际应用中，点读装置20上还设置有照明装置，照明装置可以在曝光不足时为摄像头40提供亮度。
在一个实施例中，本申请提出一种终端拍摄方法，如图2所示，图2为终端拍摄方法的流程示意图。所述方法包括：
步骤201，通过终端摄像头获取初始图像帧。
其中，所述终端摄像头可以是如图1所示的摄像头角度可调的点读设备的拍摄装置30所包含的摄像头40。终端摄像头设置于能够拍摄到待识别(待拍摄)内容的位置，在用户进行点读操作的初始时刻，终端摄像头会先对拍摄区域进行预览，得到初始图像帧。其中，初始图像帧中包含有待拍摄的书本区域以及待拍摄的用户点读位置。
步骤202，对所述初始图像帧进行特征提取，从所述初始图像帧中确定出待拍摄的目标位置以及待拍摄的有效区域的顶点位置。
其中，待拍摄的目标位置是指待拍摄的用户点读位置。具体的，可以是用户的手指位置或点读笔的笔尖位置，当然也可以是其他点读工具指示的位置。
其中，待拍摄的有效区域是指待拍摄的书本区域；有效区域的顶点位置是指书本区域的顶点位置。具体的，初始图像帧中有效区域顶点位置有四个，分别为第一顶点位置、第二顶点位置、第三顶点位置以及第四顶点位置；第一顶点位置与第二顶点位置的连接线为有效区域的上边缘，第三顶点位置与第四顶点位置的连接线为有效区域的下边缘，第一顶点位置与第三顶点位置的连接线为有效区域的左边缘，第二顶点位置与第四顶点位置的连接线为有效区域的右边缘。
在一个实施例中，对所述初始图像帧进行特征提取也即对所述初始图像帧进行角点提取，包括：
首先，对所述初始图像帧灰度化后，进行高斯平滑滤波，以减少噪声对角点提取的精度的影响。
然后，使用横向Prewitt差分模板计算图像I(x,y)在X和Y两个方向的梯度Ix和Iy；并计算出梯度方向的乘积
Figure BDA0003720979140000061
以及X和Y两个方向的梯度乘积Ixy＝Ix·Iy。
接着，使用高斯核函数为ω(x,y)＝exp(-(x2+y2)/σ2)的高斯窗口对
Figure BDA0003720979140000062
以及Ixy进行滤波，并构造自相关矩阵M。
最后，构造角点响应函数R＝detM-k(traceM)^2，k为常数系数，定为0.1。对初始图像帧中的每一点，计算出其R值。选出其中的最大值R_max。设定阈值为Q*R_max，Q为常数系数，定为0.1。当一个点的R值大于第一阈值时，该点是待拍摄的目标位置；当一个点的R值大于第二阈值时，该点是待拍摄的有效区域的顶点位置。
具体的，通过高斯函数能够准确的计算出初始图像帧中每一点的R值，并通过设定的第一阈值与第二阈值准确的确定出图像中的目标位置与顶点位置。
步骤203，对所述初始图像帧进行坐标变换，得到与所述目标位置对应的目标位置变换坐标及与所述顶点位置对应的顶点位置变换坐标。
其中，对初始图像帧进行坐标变换是指模拟相对应的OpenGL(Open GraphicsLibrary，开放图形库)渲染管线流程，将初始图像帧的坐标进行映射变换，以对初始图像帧上各个点的坐标进行修正，使得各个点的坐标与触控屏50的坐标系相匹配。
其中，由于终端摄像头在拍摄时与待拍摄的书本会有一定的角度，因此，终端摄像头获取到的初始图像帧并不是标准的矩形，而是一个等腰梯形；但是用于显示图像内容的触控屏是矩形，梯形的图像并不能与矩形的触控屏完美契合，这会使得坐标变换更加复杂。基于此，为了使得图像内容更好的在触控屏显示，并使得坐标变换更加简单、变换结果更加准确，在对初始图像帧进行坐标变换之前，需要先进行图像校正，将初始图像帧从梯形校正为标准矩形。其中，触控屏可以是如图1所示的摄像头角度可调的点读设备的触控屏50。
具体的，所述对所述初始图像帧进行坐标变换，得到与所述目标位置对应的目标位置变换坐标及与所述顶点位置对应的顶点位置变换坐标，包括：根据预设的标准图像帧对所述初始图像进行图像校正，得到预览图像帧；对所述预览图像帧进行坐标变换，得到与所述目标位置对应的目标位置变换坐标及与所述顶点位置对应的顶点位置变换坐标。
其中，对初始图像帧进行图像校正是指以标准图像帧作为参考，通过OpenGL模型对初始图像帧进行平移、缩放，完成对透视投影的角度的修改，从而使得图像内容(书本内容)更好的在触控屏上呈现。因此，在对初始图像帧进行图像校正之前，需要先确定标准图像帧作为图像校正的参考。具体的，标准图像帧可以是预设的矩形，例如可以使用标准A4纸的图形作为预设的标准图像帧。
其中，在确定标准图像帧之后，便可以将标准图像帧作为参考，建立标准图像帧与初始图像帧之间的透视变换矩阵，根据透视变换矩阵对初始图像帧进行图像校正，将梯形的初始图像帧校正为矩形。
在实际应用中，所述根据预设的标准图像帧对所述初始图像进行图像校正，得到预览图像帧，包括：根据所述顶点位置计算透视变换矩阵；根据所述标准图像帧和所述透视变换矩阵对所述初始图像进行图像校正，得到预览图像帧。
具体的，先根据顶点位置确定梯形图像(初始图像帧)的腰以及底角，然后根据梯形图像的腰以及底角计算出一个刚好能将梯形变换成矩形的透视变换矩阵，接着以标准图像帧作为参考，通过透视变换矩阵对初始图像帧进行进行平移和缩放，以使得图像内容(书本内容)更好的在触控屏上呈现。
在实际应用中，通过透视变换矩阵完成对初始图像帧的图像校正后，将校正后的图像记为一个预览图像帧。在预览图像帧的基础上便能够进行坐标变换，完成对初始图像帧上各个点的坐标修正。
具体的，所述对所述预览图像帧进行坐标变换，得到与所述目标位置对应的目标位置变换坐标及与所述顶点位置对应的顶点位置变换坐标，包括：根据透视变换矩阵对所述预览图像帧进行坐标变换，得到与所述目标位置对应的目标位置变换坐标及与所述顶点位置对应的顶点位置变换坐标。
其中，在进行坐标变换时，先获取触控屏的横竖长度，确定归一化坐标尺寸；然后进行归一化操作，映射预览图像帧坐标到opengl坐标系；接着执行图像校正使用的透视变换矩阵，并执行透视除法，使得坐标符合真实3D环境映射2D图像；最后执行窗口映射，将预览图像帧坐标从opengl坐标映射到触控屏坐标。
其中，在进行坐标变换时的坐标变换公式如下：
rV＝E*rotateMzDegree*flip*(p.x-screenSizeX/2,screenSizeY/2-p.y,0,1)；
rV0＝rV0+screenSizeX/2；
rV1＝screenSizeY/2-rV1；
ndcV＝ndc(rM)；
rV＝mvpM*ndcV；
rX＝rV0/rV3；
rY＝rV1/rV3；
resultX＝(rX+1)/2*screenSizeX；
resultY＝(1-rY)/2*screenSizeY；
对坐标变换公式的解释如下：
E:档位矩阵；rV为校正向量；rotateMzDegree为绕z轴旋转degree度；flip为是否镜像翻转；p.x为p点的x坐标；p.y为p点的y坐标；screenSizeX为触控屏的x坐标；screenSizeY为触控屏的y坐标；(p.x-screenSizeX/2,screenSizeY/2-p.y,0,1)为四维向量；ndc(rM)为归一化坐标；mvpM为透视变换矩阵；ndcV为归一化向量；resultX为预览图像帧坐标在触控屏坐标的X坐标；resultY为预览图像帧坐标在触控屏坐标的Y坐标；rV0为第一维度上的校正分向量；rV1为第二维度上的校正分向量，rV3为第四维度上的校正分向量；rX为执行透视除法后的x坐标，rY为执行透视除法后的y坐标。
本实施例中，根据上述坐标变换关系便能够将初始图像帧上的各个点映射到触控屏坐标系内，从而得到与目标位置对应的目标位置变换坐标及与顶点位置对应的顶点位置变换坐标。本实施例先对初始图像帧进行图像校正，然后再对校正后的图像进行坐标变换，能够准确的将初始图像帧的坐标映射到触控屏坐标系，从而使得图像内容(书本内容)能够更好的在触控屏上呈现。
具体的，在对初始图像帧执行完图像校正以及坐标变换后，便能够将初始图像帧的内容映射到触控屏坐标系内，然后便能够根据目标位置变换坐标与顶点位置变换坐标的位置关系确定摄像头拍摄角度是否合理，进而完成对摄像头拍摄角度的调整。
在一个实施例中，所述根据所述目标位置变换坐标与所述顶点位置变换坐标的位置关系调整所述终端摄像头的拍摄角度后完成拍摄，之前还包括:根据所述目标位置变换坐标与所述顶点位置变换坐标判断所述目标位置是否位于所述有效区域内；若所述目标位置位于所述有效区域内，则执行所述根据所述目标位置变换坐标与所述顶点位置变换坐标的位置关系调整所述终端摄像头的拍摄角度后完成拍摄的步骤。
其中，若目标位置位于有效区域内，即用户手指的位置位于书本区域内，则执行步骤204；若目标位置不位于有效区域内，即用户手指的位置不位于书本区域内，则执行步骤201，重新获取初始图像帧。
步骤204，根据所述目标位置变换坐标与所述顶点位置变换坐标的位置关系调整所述终端摄像头的拍摄角度后完成拍摄。
其中，在判断若目标位置位于有效区域内后，便能够根据根据目标位置变换坐标与顶点位置变换坐标的位置关系调整终端摄像头的拍摄角度后完成拍摄。具体的，可以先根据顶点位置变换坐标确定有效区域的四条边，然后再根据目标位置变换坐标与有效区域的四条边的位置关系调整终端摄像头。
在一个实施例中，所述根据所述目标位置变换坐标与所述顶点位置变换坐标的位置关系调整所述终端摄像头的拍摄角度后完成拍摄，包括：根据所述顶点位置变换坐标确定所述有效区域的上边缘；根据所述目标位置变换坐标计算所述目标位置到所述上边缘的第一距离；若所述第一距离小于第一距离阈值，则将所述终端摄像头调整到第一预设角度后完成拍摄。
其中，如图3所示，在触控屏坐标系中有效区域顶点位置有四个，分别为第一顶点位置变换坐标、第二顶点位置变换坐标、第三顶点位置变换坐标以及第四顶点位置变换坐标；第一顶点位置变换坐标与第二顶点位置变换坐标的连接线为有效区域的上边缘，第三顶点位置变换坐标与第四顶点位置变换坐标的连接线为有效区域的下边缘，第一顶点位置变换坐标与第三顶点位置变换坐标的连接线为有效区域的左边缘，第二顶点位置变换坐标与第四顶点位置变换坐标的连接线为有效区域的右边缘。
其中，目标位置变换坐标在触控屏坐标的y值与第一顶点位置变换坐标在触控屏坐标的y值之间的差值为第一距离；或，目标位置变换坐标在触控屏坐标的y值与第二顶点位置变换坐标在触控屏坐标的y值之间的差值为第一距离。
具体的，若第一距离大于有效区域的左边缘的45％，则将摄像头角度切换到中间角度，从而使得摄像头拍的更远，书本底部对焦更清晰。
其中，如图4所示，中间角度是指在原角度的基础上，使桌面距离点读设备(支架)25mm处的点，出现在屏幕可见范围的最上边界。
在一个实施例中，所述根据所述目标位置变换坐标与所述顶点位置变换坐标的位置关系调整所述终端摄像头的拍摄角度后完成拍摄，包括：根据所述顶点位置变换坐标确定所述有效区域的下边缘；根据所述目标位置变换坐标计算所述目标位置到所述下边缘的第二距离；若所述第二距离小于第二距离阈值，则将所述终端摄像头调整到第二预设角度后完成拍摄。
其中，如图3所示，在触控屏坐标系中有效区域顶点位置有四个，分别为第一顶点位置变换坐标、第二顶点位置变换坐标、第三顶点位置变换坐标以及第四顶点位置变换坐标；第一顶点位置变换坐标与第二顶点位置变换坐标的连接线为有效区域的上边缘，第三顶点位置变换坐标与第四顶点位置变换坐标的连接线为有效区域的下边缘，第一顶点位置变换坐标与第三顶点位置变换坐标的连接线为有效区域的左边缘，第二顶点位置变换坐标与第四顶点位置变换坐标的连接线为有效区域的右边缘。
其中，目标位置变换坐标在触控屏坐标的y值与第三顶点位置变换坐标在触控屏坐标的y值之间的差值为第二距离；或，目标位置变换坐标在触控屏坐标的y值与第四顶点位置变换坐标在触控屏坐标的y值之间的差值为第二距离。
具体的，若第二距离小于有效区域的左边缘的65％，则将摄像头角度切换到原角度。
其中，原角度是指使该角度恰巧能拍照书本顶部。
在实际应用中，若目标位置处于第一距离与第二距离之间的区域，则说明摄像头角度不需要调节。
本申请可以实现如下有益效果：本申请提供一种终端拍摄方法，所述方法包括：通过终端摄像头获取初始图像帧；对所述初始图像帧进行特征提取，从所述初始图像帧中确定出待拍摄的目标位置以及待拍摄的有效区域的顶点位置；对所述初始图像帧进行坐标变换，得到与所述目标位置对应的目标位置变换坐标及与所述顶点位置对应的顶点位置变换坐标；根据所述目标位置变换坐标与所述顶点位置变换坐标的位置关系调整所述终端摄像头的拍摄角度后完成拍摄。本申请通过识别待拍摄的目标位置以及待拍摄的有效区域，并通过目标位置变换坐标与顶点位置变换坐标的位置关系调整终端摄像头的拍摄角度后进行拍照，能够根据目标位置实时调整拍摄角度，避免因视角不佳导致书本底部模糊不清，提升照片的清晰度，进而提升搜题、翻译的准确度。
如图5所示，在一个实施例中，本发明提供了一种终端拍摄装置，所述装置包括：
第一拍摄模块501，用于通过终端摄像头获取初始图像帧。
第一处理模块502，用于对所述初始图像帧进行特征提取，从所述初始图像帧中确定出待拍摄的目标位置以及待拍摄的有效区域的顶点位置。
第二处理模块503，用于对所述初始图像帧进行坐标变换，得到与所述目标位置对应的目标位置变换坐标及与所述顶点位置对应的顶点位置变换坐标。
第二拍摄模块504，用于根据所述目标位置变换坐标与所述顶点位置变换坐标的位置关系调整所述终端摄像头的拍摄角度后完成拍摄。
如图6所示，在一个实施例中，为一种计算机设备的内部结构图。该计算机设备可以是一种终端拍摄装置、或与一种终端拍摄装置连接的终端或服务器。如图6所示，该计算机设备包括通过系统总线连接的处理器、存储器、和网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现一种终端拍摄方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行一种终端拍摄方法。网络接口用于与外接进行通信。本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的一种终端拍摄方法可以实现为一种计算机程序的形式，计算机程序可在如图6所示的计算机设备上运行。计算机设备的存储器中可存储组成该终端拍摄装置的各个程序模板。比如，第一拍摄模块501，第一处理模块502，第二处理模块503，第二拍摄模块504。
一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该计算机程序被该处理器执行时，使得该处理器执行如下步骤：通过终端摄像头获取初始图像帧；对所述初始图像帧进行特征提取，从所述初始图像帧中确定出待拍摄的目标位置以及待拍摄的有效区域的顶点位置；对所述初始图像帧进行坐标变换，得到与所述目标位置对应的目标位置变换坐标及与所述顶点位置对应的顶点位置变换坐标；根据所述目标位置变换坐标与所述顶点位置变换坐标的位置关系调整所述终端摄像头的拍摄角度后完成拍摄。
在一个实施例中，所述根据所述目标位置变换坐标与所述顶点位置变换坐标的位置关系调整所述终端摄像头的拍摄角度后完成拍摄，之前还包括:根据所述目标位置变换坐标与所述顶点位置变换坐标判断所述目标位置是否位于所述有效区域内；若所述目标位置位于所述有效区域内，则执行所述根据所述目标位置变换坐标与所述顶点位置变换坐标的位置关系调整所述终端摄像头的拍摄角度后完成拍摄的步骤。
在一个实施例中，所述根据所述目标位置变换坐标与所述顶点位置变换坐标的位置关系调整所述终端摄像头的拍摄角度后完成拍摄，包括：根据所述顶点位置变换坐标确定所述有效区域的上边缘；根据所述目标位置变换坐标计算所述目标位置到所述上边缘的第一距离；若所述第一距离小于第一距离阈值，则将所述终端摄像头调整到第一预设角度后完成拍摄。
在一个实施例中，所述根据所述目标位置变换坐标与所述顶点位置变换坐标的位置关系调整所述终端摄像头的拍摄角度后完成拍摄，包括：根据所述顶点位置变换坐标确定所述有效区域的下边缘；根据所述目标位置变换坐标计算所述目标位置到所述下边缘的第二距离；若所述第二距离小于第二距离阈值，则将所述终端摄像头调整到第二预设角度后完成拍摄。
在一个实施例中，所述对所述初始图像帧进行坐标变换，得到与所述目标位置对应的目标位置变换坐标及与所述顶点位置对应的顶点位置变换坐标，包括：根据预设的标准图像帧对所述初始图像进行图像校正，得到预览图像帧；对所述预览图像帧进行坐标变换，得到与所述目标位置对应的目标位置变换坐标及与所述顶点位置对应的顶点位置变换坐标。
在一个实施例中，所述根据预设的标准图像帧对所述初始图像进行图像校正，得到预览图像帧，包括：根据所述顶点位置计算透视变换矩阵；根据所述标准图像帧和所述透视变换矩阵对所述初始图像进行图像校正，得到预览图像帧。
在一个实施例中，所述对所述预览图像帧进行坐标变换，得到与所述目标位置对应的目标位置变换坐标及与所述顶点位置对应的顶点位置变换坐标，包括：根据透视变换矩阵对所述预览图像帧进行坐标变换，得到与所述目标位置对应的目标位置变换坐标及与所述顶点位置对应的顶点位置变换坐标。
一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时，使得该处理器执行如下步骤：通过终端摄像头获取初始图像帧；对所述初始图像帧进行特征提取，从所述初始图像帧中确定出待拍摄的目标位置以及待拍摄的有效区域的顶点位置；对所述初始图像帧进行坐标变换，得到与所述目标位置对应的目标位置变换坐标及与所述顶点位置对应的顶点位置变换坐标；根据所述目标位置变换坐标与所述顶点位置变换坐标的位置关系调整所述终端摄像头的拍摄角度后完成拍摄。
在一个实施例中，所述根据所述目标位置变换坐标与所述顶点位置变换坐标的位置关系调整所述终端摄像头的拍摄角度后完成拍摄，之前还包括:根据所述目标位置变换坐标与所述顶点位置变换坐标判断所述目标位置是否位于所述有效区域内；若所述目标位置位于所述有效区域内，则执行所述根据所述目标位置变换坐标与所述顶点位置变换坐标的位置关系调整所述终端摄像头的拍摄角度后完成拍摄的步骤。
在一个实施例中，所述根据所述目标位置变换坐标与所述顶点位置变换坐标的位置关系调整所述终端摄像头的拍摄角度后完成拍摄，包括：根据所述顶点位置变换坐标确定所述有效区域的上边缘；根据所述目标位置变换坐标计算所述目标位置到所述上边缘的第一距离；若所述第一距离小于第一距离阈值，则将所述终端摄像头调整到第一预设角度后完成拍摄。
在一个实施例中，所述根据所述目标位置变换坐标与所述顶点位置变换坐标的位置关系调整所述终端摄像头的拍摄角度后完成拍摄，包括：根据所述顶点位置变换坐标确定所述有效区域的下边缘；根据所述目标位置变换坐标计算所述目标位置到所述下边缘的第二距离；若所述第二距离小于第二距离阈值，则将所述终端摄像头调整到第二预设角度后完成拍摄。
在一个实施例中，所述对所述初始图像帧进行坐标变换，得到与所述目标位置对应的目标位置变换坐标及与所述顶点位置对应的顶点位置变换坐标，包括：根据预设的标准图像帧对所述初始图像进行图像校正，得到预览图像帧；对所述预览图像帧进行坐标变换，得到与所述目标位置对应的目标位置变换坐标及与所述顶点位置对应的顶点位置变换坐标。
在一个实施例中，所述根据预设的标准图像帧对所述初始图像进行图像校正，得到预览图像帧，包括：根据所述顶点位置计算透视变换矩阵；根据所述标准图像帧和所述透视变换矩阵对所述初始图像进行图像校正，得到预览图像帧。
在一个实施例中，所述对所述预览图像帧进行坐标变换，得到与所述目标位置对应的目标位置变换坐标及与所述顶点位置对应的顶点位置变换坐标，包括：根据透视变换矩阵对所述预览图像帧进行坐标变换，得到与所述目标位置对应的目标位置变换坐标及与所述顶点位置对应的顶点位置变换坐标。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only memory，ROM)或随机存储记忆体(Random Accessmemory，RAM)等。
以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。

Claims (10)

1.终端拍摄方法，其特征在于，所述方法包括：
通过终端摄像头获取初始图像帧；
对所述初始图像帧进行特征提取，从所述初始图像帧中确定出待拍摄的目标位置以及待拍摄的有效区域的顶点位置；
对所述初始图像帧进行坐标变换，得到与所述目标位置对应的目标位置变换坐标及与所述顶点位置对应的顶点位置变换坐标；
根据所述目标位置变换坐标与所述顶点位置变换坐标的位置关系调整所述终端摄像头的拍摄角度后完成拍摄。
2.根据权利要求1所述的方法，其特征在于，所述根据所述目标位置变换坐标与所述顶点位置变换坐标的位置关系调整所述终端摄像头的拍摄角度后完成拍摄，之前还包括:
根据所述目标位置变换坐标与所述顶点位置变换坐标判断所述目标位置是否位于所述有效区域内；
若所述目标位置位于所述有效区域内，则执行所述根据所述目标位置变换坐标与所述顶点位置变换坐标的位置关系调整所述终端摄像头的拍摄角度后完成拍摄的步骤。
3.根据权利要求1所述的方法，其特征在于，所述根据所述目标位置变换坐标与所述顶点位置变换坐标的位置关系调整所述终端摄像头的拍摄角度后完成拍摄，包括：
根据所述顶点位置变换坐标确定所述有效区域的上边缘；
根据所述目标位置变换坐标计算所述目标位置到所述上边缘的第一距离；
若所述第一距离小于第一距离阈值，则将所述终端摄像头调整到第一预设角度后完成拍摄。
4.根据权利要求1所述的法，其特征在于，所述根据所述目标位置变换坐标与所述顶点位置变换坐标的位置关系调整所述终端摄像头的拍摄角度后完成拍摄，包括：
根据所述顶点位置变换坐标确定所述有效区域的下边缘；
根据所述目标位置变换坐标计算所述目标位置到所述下边缘的第二距离；
若所述第二距离小于第二距离阈值，则将所述终端摄像头调整到第二预设角度后完成拍摄。
5.根据权利要求1所述的方法，其特征在于，所述对所述初始图像帧进行坐标变换，得到与所述目标位置对应的目标位置变换坐标及与所述顶点位置对应的顶点位置变换坐标，包括：
根据预设的标准图像帧对所述初始图像进行图像校正，得到预览图像帧；
对所述预览图像帧进行坐标变换，得到与所述目标位置对应的目标位置变换坐标及与所述顶点位置对应的顶点位置变换坐标。
6.根据权利要求5所述的方法，其特征在于，所述根据预设的标准图像帧对所述初始图像进行图像校正，得到预览图像帧，包括：
根据所述顶点位置计算透视变换矩阵；
根据所述标准图像帧和所述透视变换矩阵对所述初始图像进行图像校正，得到预览图像帧。
7.根据权利要求5所述的方法，其特征在于，所述对所述预览图像帧进行坐标变换，得到与所述目标位置对应的目标位置变换坐标及与所述顶点位置对应的顶点位置变换坐标，包括：
根据透视变换矩阵对所述预览图像帧进行坐标变换，得到与所述目标位置对应的目标位置变换坐标及与所述顶点位置对应的顶点位置变换坐标。
8.终端拍摄装置，其特征在于，所述装置包括：
第一拍摄模块，用于通过终端摄像头获取初始图像帧；
第一处理模块，用于对所述初始图像帧进行特征提取，从所述初始图像帧中确定出待拍摄的目标位置以及待拍摄的有效区域的顶点位置；
第二处理模块，用于对所述初始图像帧进行坐标变换，得到与所述目标位置对应的目标位置变换坐标及与所述顶点位置对应的顶点位置变换坐标；
第二拍摄模块，用于根据所述目标位置变换坐标与所述顶点位置变换坐标的位置关系调整所述终端摄像头的拍摄角度后完成拍摄。
9.一种计算机设备，其特征在于，包括存储器以及一个或多个处理器，所述一个或多个处理器用于执行存储在所述存储器中的一个或多个计算机程序，所述一个或多个处理器在执行所述一个或多个计算机程序时，使得所述计算机设备实现如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-7任一项所述的方法。
CN202210755332.5A 2022-06-29 2022-06-29 终端拍摄方法、装置、计算机设备及计算机可读存储介质 Pending CN115190240A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210755332.5A CN115190240A (zh) 2022-06-29 2022-06-29 终端拍摄方法、装置、计算机设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210755332.5A CN115190240A (zh) 2022-06-29 2022-06-29 终端拍摄方法、装置、计算机设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN115190240A true CN115190240A (zh) 2022-10-14

Family

ID=83514926

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210755332.5A Pending CN115190240A (zh) 2022-06-29 2022-06-29 终端拍摄方法、装置、计算机设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN115190240A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012173032A (ja) * 2011-02-18 2012-09-10 Ricoh Co Ltd 画像処理装置、方法、プログラムおよび記録媒体
CN108596981A (zh) * 2018-04-02 2018-09-28 深圳开阳电子股份有限公司 一种图像的鸟瞰视角重投影方法、装置及便携式终端
CN212231576U (zh) * 2020-06-17 2020-12-25 广东小天才科技有限公司 拍摄角度可调的电子设备
CN112839171A (zh) * 2020-12-31 2021-05-25 上海米哈游天命科技有限公司 一种画面拍摄方法、装置、存储介质及电子设备
CN113420581A (zh) * 2020-10-19 2021-09-21 杨宏伟 书面文档图像的校正方法、装置、电子设备及可读介质
CN113627428A (zh) * 2021-08-11 2021-11-09 Oppo广东移动通信有限公司 文档图像矫正方法、装置、存储介质及智能终端设备
CN114466143A (zh) * 2022-03-18 2022-05-10 广东小天才科技有限公司 一种拍摄角度校准方法、装置、终端设备以及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012173032A (ja) * 2011-02-18 2012-09-10 Ricoh Co Ltd 画像処理装置、方法、プログラムおよび記録媒体
CN108596981A (zh) * 2018-04-02 2018-09-28 深圳开阳电子股份有限公司 一种图像的鸟瞰视角重投影方法、装置及便携式终端
CN212231576U (zh) * 2020-06-17 2020-12-25 广东小天才科技有限公司 拍摄角度可调的电子设备
CN113420581A (zh) * 2020-10-19 2021-09-21 杨宏伟 书面文档图像的校正方法、装置、电子设备及可读介质
CN112839171A (zh) * 2020-12-31 2021-05-25 上海米哈游天命科技有限公司 一种画面拍摄方法、装置、存储介质及电子设备
CN113627428A (zh) * 2021-08-11 2021-11-09 Oppo广东移动通信有限公司 文档图像矫正方法、装置、存储介质及智能终端设备
CN114466143A (zh) * 2022-03-18 2022-05-10 广东小天才科技有限公司 一种拍摄角度校准方法、装置、终端设备以及存储介质

Similar Documents

Publication Publication Date Title
US11632537B2 (en) Method and apparatus for obtaining binocular panoramic image, and storage medium
US20190080457A1 (en) Electronic device and method for automatic human segmentation in image
CN105474263B (zh) 用于产生三维人脸模型的系统和方法
US10970821B2 (en) Image blurring methods and apparatuses, storage media, and electronic devices
CN104994367B (zh) 一种图像矫正方法以及摄像头
US10169891B2 (en) Producing three-dimensional representation based on images of a person
JPWO2018235163A1 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
CN111325798B (zh) 相机模型纠正方法、装置、ar实现设备及可读存储介质
WO2022141324A1 (zh) 摄像头的硬件在环标定、靶点设置方法、系统及相关设备
CN109271123B (zh) 一种画面显示方法及画面显示装置
CN113947768A (zh) 一种基于单目3d目标检测的数据增强方法和装置
CN108648141A (zh) 一种图像拼接方法及装置
CN104994280A (zh) 一种预览图像处理方法及用户终端
CN114004935A (zh) 通过三维建模系统进行三维建模的方法和装置
CN111597963B (zh) 用于图像中人脸的补光方法、系统、介质以及电子设备
CN110750094A (zh) 确定可移动设备的位姿变化信息的方法、装置和系统
CN115049738A (zh) 人与相机之间距离的估计方法及系统
CN108133469A (zh) 基于epi的光场拼接装置及方法
CN115190240A (zh) 终端拍摄方法、装置、计算机设备及计算机可读存储介质
CN111275610A (zh) 一种人脸变老图像处理方法及系统
CN116152121A (zh) 基于畸变参数的曲面屏生成方法、矫正方法
CN116017129A (zh) 一种补光灯角度调整方法、装置、系统、设备和介质
CN113592753B (zh) 基于工业相机拍摄的图像的处理方法、装置和计算机设备
CN113223137B (zh) 透视投影人脸点云图的生成方法、装置及电子设备
CN113763233A (zh) 一种图像处理方法、服务器及拍照设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination