CN112689136A - 投影图像调整方法、装置、存储介质及电子设备 - Google Patents
投影图像调整方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN112689136A CN112689136A CN202110297271.8A CN202110297271A CN112689136A CN 112689136 A CN112689136 A CN 112689136A CN 202110297271 A CN202110297271 A CN 202110297271A CN 112689136 A CN112689136 A CN 112689136A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- projection
- imaging
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
本公开涉及一种投影图像调整方法、装置、存储介质及电子设备，所述方法包括：获取相机对投影区域进行拍摄得到的目标图像；在目标图像的成像坐标系中确定第一成像图像和第二成像图像；计算第一成像图像与投影坐标系中的源图像之间的第一映射关系；计算所述第二成像图像与预设的用户视角图像之间的第二映射关系；基于所述第一映射关系以及所述第二映射关系，将所述源图像映射至所述用户视角坐标系中；确定所述源图像和第二成像图像在用户视角坐标系中的交集区域，并从所述交集区域中确定目标区域；将所述目标区域映射至所述投影坐标系中，得到所述投影屏幕上的目标投影区域，并根据所述目标投影区域对所述投影图像进行调整。
Description
技术领域
本公开涉及投影技术领域，具体地，涉及一种投影图像调整方法、装置、存储介质及电子设备。
背景技术
投影机是一种可以将图像或视频投射到幕布上的设备，其可以通过不同的接口与计算机、游戏机、存储器等设备相连接，从而播放相应的视频信号。
一般来说，投影画面的大小与投影仪距墙面的距离正相关。而对于超短焦投影仪而言，其在距墙面50厘米的位置就可以投影出对角线达到250厘米的画面，即能够在有限的空间下投射出更大的投影画面。然而，超短焦投影仪在安装使用过程中即便发生1°的角度变化，也会导致投影画面出现巨大的偏移，影响了用户的使用体验。
发明内容
本公开的目的是提供一种投影图像调整方法、装置、存储介质及电子设备，以解决上述相关技术问题。
为了实现上述目的，根据本公开实施例的第一方面，提供一种投影图像调整方法，包括：
获取相机对投影区域进行拍摄得到的目标图像，其中，所述投影区域包括投影屏幕，所述投影区域显示有投影图像，所述投影图像是投影装置将源图像投射到所述投影区域形成的图像；
在所述目标图像的成像坐标系中确定第一成像图像和第二成像图像，所述第一成像图像是所述投影图像在所述目标图像中的成像图像，所述第二成像图像是所述投影屏幕在所述目标图像中的成像图像；
计算所述第一成像图像与投影坐标系中的所述源图像之间的第一映射关系；
计算所述第二成像图像与预设的用户视角图像之间的第二映射关系，所述用户视角图像是在预设的用户视角坐标系中的屏幕图像；
基于所述第一映射关系以及所述第二映射关系，将所述源图像映射至所述用户视角坐标系中；
确定所述源图像和所述用户视角图像在所述用户视角坐标系中的交集区域，并从所述交集区域中确定目标区域；
将所述目标区域映射至所述投影坐标系中，得到所述投影屏幕上的目标投影区域，并根据所述目标投影区域对所述投影图像进行调整。
可选地，所述在所述目标图像的成像坐标系中确定第一成像图像，包括：
获取所述目标图像中的线段信息；
对所述目标图像中的线段进行聚类；
基于聚类结果从所述目标图像中的线段中确定用于表征所述第一成像图像的边界的边缘线段；
将对应所述第一成像图像的各边缘线段之间的交点作为所述第一成像图像的顶点。
可选地，所述从所述目标图像中的线段中确定用于表征所述第一成像图像的边界的边缘线段，包括：
获取各所述线段的两侧的亮度值信息；
将两侧亮度值的差值大于第一阈值的线段作为表征所述第一成像图像的边界的边缘线段。
可选地，所述获取所述目标图像中的线段信息，包括：
获取所述目标图像中的第一预设区域范围内的线段信息；
所述对所述目标图像中的线段进行聚类，包括：
基于预设的标定参数对所述第一预设区域范围内的线段进行聚类；
其中，所述标定参数包括表征对应所述投影图像的各边缘线段之间的距离的参数。
可选地，在所述目标图像的成像坐标系中确定第一成像图像，包括：
获取所述投影区域所在墙面的法向量；
基于所述法向量、所述投影装置的投射比、所述投影装置与所述墙面的截距以及所述投影装置的投影画面比例确定所述第一成像图像的顶点；
基于所述顶点确定所述第一成像图像。
可选地，在所述目标图像的成像坐标系中确定第二成像图像，包括：
获取所述目标图像中的线段信息；
对所述目标图像中的线段进行聚类；
基于聚类结果从所述目标图像中的线段中确定用于表征所述第二成像图像的边界的边缘线段；
将对应所述第二成像图像的各边缘线段之间的交点作为所述第二成像图像的顶点。
可选地，所述获取所述目标图像中的线段信息，包括：
获取对应于所述第一成像图像的边缘线段；
获取所述第一成像图像的边缘线段的第二预设区域范围内的线段信息；
所述对所述目标图像中的线段进行聚类之前，所述方法还包括：
筛除在所述第二预设区域范围内且亮度值小于亮度阈值的线段；
对筛除后的所述第二预设区域范围内的线段进行聚类。
可选地，所述从所述目标图像中的线段中确定用于表征所述第二成像图像的边界的边缘线段，包括：
获取各所述线段的两侧的亮度值信息；
将两侧亮度值的差值小于第二阈值的线段作为表征所述第二成像图像的边界的边缘线段。
可选地，所述计算所述第二成像图像与预设的用户视角图像之间的第二映射关系，包括：
通过如下公式计算所述第二映射关系：
其中，H为描述所述第二映射关系的矩阵，K为所述相机的参数、R为所述用户视角图像与所述第二成像图像之间的旋转矩阵，t为所述用户视角图像与所述第二成像图像之间的平移向量，n为所述投影区域所在墙面的法向量，d为所述投影装置与所述墙面的截距。
可选地，所述从所述交集区域中确定目标区域，包括：
针对所述交集区域的具有交点的两条目标边，对每一所述目标边执行如下步骤：
基于该条目标边的中点将该条目标边分为第一搜索边以及第二搜索边；
针对所述第一搜索边，将该第一搜索边上的每一点作为矩形的第一顶点，生成在所述交集区域中的候选矩形；
针对所述第二搜索边，将该第二搜索边上的每一点作为矩形的第二顶点，生成在所述交集区域中的候选矩形；其中，所述第一顶点与所述第二顶点为所述矩形的相邻顶点；
从每一所述候选矩形中确定面积最大的目标矩形作为所述目标区域。
可选地，所述获取相机对投影区域进行拍摄得到的目标图像，包括：
通过广角相机获取所述投影区域的多个候选目标图像，每一所述候选目标图像对应于不同的曝光程度；
对所述多个候选目标图像进行曝光融合，得到融合目标图像；
对所述融合目标图像进行直方图均衡化和/或畸变校正，得到所述目标图像。
根据本公开实施例的第二方面，提供一种投影图像调整装置，包括：
第一获取模块，用于获取相机对投影区域进行拍摄得到的目标图像，其中，所述投影区域包括投影屏幕，所述投影区域显示有投影图像，所述投影图像是投影装置将源图像投射到所述投影区域形成的图像；
第一确定模块，用于在所述目标图像的成像坐标系中确定第一成像图像和第二成像图像，所述第一成像图像是所述投影图像在所述目标图像中的成像图像，所述第二成像图像是所述投影屏幕在所述目标图像中的成像图像；
第一计算模块，用于计算所述第一成像图像与投影坐标系中的所述源图像之间的第一映射关系；
第二计算模块，用于计算所述第二成像图像与预设的用户视角图像之间的第二映射关系，所述用户视角图像是在预设的用户视角坐标系中的屏幕图像；
视角转换模块，用于基于所述第一映射关系以及所述第二映射关系，将所述源图像映射至所述用户视角坐标系中；
第二确定模块，用于确定所述源图像和所述用户视角图像在所述用户视角坐标系中的交集区域，并从所述交集区域中确定目标区域；
映射模块，用于将所述目标区域映射至所述投影坐标系中，得到所述投影屏幕上的目标投影区域，并根据所述目标投影区域对所述投影图像进行调整。
可选地，所述第一确定模块，包括：
第一获取子模块，用于获取所述目标图像中的线段信息；
第一聚类子模块，用于对所述目标图像中的线段进行聚类；
第一确定子模块，用于基于聚类结果从所述目标图像中的线段中确定用于表征所述第一成像图像的边界的边缘线段；
第一执行子模块，用于将对应所述第一成像图像的各边缘线段之间的交点作为所述第一成像图像的顶点。
可选地，所述第一确定子模块，包括：
第一亮度值获取子单元，用于获取各所述线段的两侧的亮度值信息；
第一执行子单元，用于将两侧亮度值的差值大于第一阈值的线段作为表征所述第一成像图像的边界的边缘线段。
可选地，所述第一获取子模块，包括：
第一获取子单元，用于获取所述目标图像中的第一预设区域范围内的线段信息；
所述第一聚类子模块，用于基于预设的标定参数对所述第一预设区域范围内的线段进行聚类；其中，所述标定参数包括表征对应所述投影图像的各边缘线段之间的距离的参数。
可选地，所述第一确定模块，包括：
第二获取子模块，用于获取所述投影区域所在墙面的法向量；
第二确定子模块，用于基于所述法向量、所述投影装置的投射比、所述投影装置与所述墙面的截距以及所述投影装置的投影画面比例确定所述第一成像图像的顶点；
第三确定子模块，用于基于所述顶点确定所述第一成像图像。
可选地，所述第一确定模块，包括：
第三获取子模块，用于获取所述目标图像中的线段信息；
第二聚类子模块，用于对所述目标图像中的线段进行聚类；
第四确定子模块，用于基于聚类结果从所述目标图像中的线段中确定用于表征所述第二成像图像的边界的边缘线段；
第二执行子模块，用于将对应所述第二成像图像的各边缘线段之间的交点作为所述第二成像图像的顶点。
可选地，所述第三获取子模块，包括：
第二获取子单元，用于获取对应于所述第一成像图像的边缘线段；
第三获取子单元，用于获取所述第一成像图像的边缘线段的第二预设区域范围内的线段信息；
所述装置还包括：
筛选模块，用于在所述第二聚类子模块对所述目标图像中的线段进行聚类之前，筛除在所述第二预设区域范围内且亮度值小于亮度阈值的线段；
所述第二聚类子模块用于，对筛除后的所述第二预设区域范围内的线段进行聚类。
可选地，所述第四确定子模块，包括：
第二亮度值获取子单元，用于获取各所述线段的两侧的亮度值信息；
第二执行子单元，用于将两侧亮度值的差值小于第二阈值的线段作为表征所述第二成像图像的边界的边缘线段。
可选地，所述第二计算模块，用于：
通过如下公式计算所述第二映射关系：
其中，H为描述所述第二映射关系的矩阵，K为所述相机的参数、R为所述用户视角图像与所述第二成像图像之间的旋转矩阵，t为所述用户视角图像与所述第二成像图像之间的平移向量，n为所述投影区域所在墙面的法向量，d为所述投影装置与所述墙面的截距。
可选地，所述第二确定模块，包括：
第三执行子模块，用于针对所述交集区域的具有交点的两条目标边，对每一所述目标边执行如下步骤：基于该条目标边的中点将该条目标边分为第一搜索边以及第二搜索边；针对所述第一搜索边，将该第一搜索边上的每一点作为矩形的第一顶点，生成在所述交集区域中的候选矩形；针对所述第二搜索边，将该第二搜索边上的每一点作为矩形的第二顶点，生成在所述交集区域中的候选矩形；其中，所述第一顶点与所述第二顶点为所述矩形的相邻顶点；
第四执行子模块，用于从每一所述候选矩形中确定面积最大的目标矩形作为所述目标区域。
可选地，所述第一获取模块，包括：
第四获取子模块，用于通过广角相机获取所述投影区域的多个候选目标图像，每一所述候选目标图像对应于不同的曝光程度；
曝光融合子模块，用于对所述多个候选目标图像进行曝光融合，得到融合目标图像；
第一图像处理子模块，用于对所述融合目标图像进行直方图均衡化，得到所述目标图像；
和/或，第二图像处理子模块，用于对所述融合目标图像进行畸变校正，得到所述目标图像。
根据本公开实施例的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一方面中任一项所述方法的步骤。
根据本公开实施例的第四方面，提供一种电子设备，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现上述第一方面中任一项所述方法的步骤。
上述技术方案，至少可以包括如下有益效果：
通过相机拍摄针对投影区域的目标图像，从而可以计算所述目标图像中的第一成像图像与投影图像的源图像之间的第一映射关系，并计算所述目标图像中的第二成像图像与用户视角图像之间的第二映射关系。这样，可以基于所述第一映射关系以及第二映射关系得到所述第一成像图像与所述用户视角图像之间的映射关系，从而可以将所述源图像映射至用户视角坐标系中，完成视角变换。进一步的，可以从所述源图像和所述用户视角图像在所述用户视角坐标系中的交集区域中确定目标区域，并将所述目标区域映射至所述投影坐标系中，得到所述投影屏幕上的目标投影区域，最终可以根据所述目标投影区域对所述投影图像进行调整。也就是说，上述技术方案能够基于投影屏幕与投影图像的相对位置关系实现对投影图像的自动调整，因而能够降低投影仪的安装使用成本。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1是本公开一示例性实施例所示出的一种投影图像调整方法的流程图。
图2是本公开一示例性实施例所示出的一种目标图像的示意图。
图3是本公开一示例性实施例所示出的一种第一成像图像的确定流程图。
图4是本公开一示例性实施例所示出的一种用户视角坐标系中的源图像以及用户视角图像的示意图。
图5是本公开一示例性实施例所示出的一种第一成像图像的确定流程图。
图6是本公开一示例性实施例所示出的一种投影图像调整装置的框图。
图7是本公开一示例性实施例所示出的一种电子设备的框图。
附图标记说明
201-第二成像图像，202-第一成像图像，401-源图像，402-用户视角图像，403-目标区域。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
在介绍本公开的投影图像调整方法、装置、存储介质及电子设备之前，首先对本公开的应用场景进行介绍，本公开所提供的各实施例可以应用于投影图像的调整场景。其中，所述投影图像例如可以是各类投影仪将源图像投射到投影区域所形成的图像。
以超短焦投影仪为例，其在距墙面50厘米的位置就可以投影出对角线达到250厘米的画面，即能够在有限的空间下投射出更大的投影画面。相应的，超短焦投影仪的投影画面也容易受到位置偏移的影响。例如，在出现1°的角度变化的情况下，其投影画面也可能出现6厘米的偏移，最终导致其安装使用成本较高，影响了用户的使用体验。
为此，本公开提供一种投影图像调整方法，参照图1所示出的一种投影图像调整方法的流程图，所述方法包括：
在步骤S11中，获取相机对投影区域进行拍摄得到的目标图像。
其中，所述相机可以是投影装置中的相机也可以是与所述投影装置相互独立设置的相机（例如用户的移动终端所包括的相机）。当所述相机为投影装置中的相机时，所述相机可以设置在投影装置的某一位置，例如投影装置的光机的下侧、左侧等等，用于对所述投影区域进行拍摄。所述投影区域包括投影屏幕，所述投影区域显示有投影图像。应当理解，投影装置内部可以保存有未经变化的源图像，当所述投影装置将所述源图像投射至所述投影区域时，可以得到所述投影图像，所述投影图像可以显示在至少一部分或全部的所述投影区域中，本公开对此不做限定。
在一种可能的实施方式中，在获取所述目标图像时，还可以对获取到的图像进行处理，从而提升所述目标图像的清晰度。在这种情况下，所述步骤S11具体包括：
通过广角相机（例如鱼眼相机）获取所述投影区域的多个候选目标图像。其中，每一所述候选目标图像对应于不同的曝光程度。举例来讲，可以针对所述投影区域分别拍摄欠曝光、正常曝光以及过曝光的照片，从而得到对应的三张候选目标图像。
在得到所述多个候选目标图像之后，可以对所述多个候选目标图像进行曝光融合，得到融合目标图像，并将所述融合目标图像作为所述目标图像。沿用上述例子，可以通过曝光融合算法将欠曝光、正常曝光以及过曝光的照片中的特征清晰的部分进行合成，从而得到所述融合目标图像。由于所述融合目标图像是基于多重曝光的图像合成得到，因而能够具备较高的动态范围，起到提升图像画质的效果。
此外，在一些可能的实施方式中，还可以对所述融合目标图像进行直方图均衡化，并将处理后的所述融合目标图像作为所述目标图像。通过这样的方式，能够避免所述融合目标图像出现过暗或过亮的情况，起到进一步地提升图像清晰度的效果。
或者，在一些可能的实施方式中，还可以对所述融合目标图像进行畸变校正，并将畸变校正后的所述融合目标图像作为所述目标图像，以便于对图像进行处理。
值得注意的是，上述实施例中，以曝光融合、直方图均衡化以及畸变校正等处理方式对获得所述目标图像的过程进行了示例性说明。但本领域技术人员知晓，在具体实施时，也可以将上述方式进行任意组合，从而将最终的处理结果作为所述目标图像，本公开对此不做限定。
在步骤S12中，在所述目标图像的成像坐标系中确定第一成像图像和第二成像图像。
参照图2所示出的一种目标图像的示意图，所述目标图像可以包括第一成像图像202以及第二成像图像201。其中，所述第一成像图像是所述投影图像在所述目标图像中的成像图像，所述第二成像图像是投影屏幕在所述目标图像中的成像图像。在具体实施时，可以针对所述目标图像建立坐标系，从而以坐标的方式对所述第一成像图像以及第二成像图像进行描述。
参照图3所示出的一种第一成像图像的确定流程图，在一种可能的实施方式中，所述在所述目标图像的成像坐标系中确定第一成像图像，包括：
S121，获取所述目标图像中的线段信息。举例来讲，可以基于LSD、霍夫变换等线段检测算法提取所述目标图像中的线段信息。
S122，对所述目标图像中的线段进行聚类。应当理解，通过对所述目标图像中和的线段进行聚类，可以得到多个线段聚类簇，每一个聚类簇可以对应于一类线段，例如在一些场景中图像的四条边缘可以对应于四个聚类簇。
S123，基于聚类结果从所述目标图像中的线段中确定用于表征所述第一成像图像的边界的边缘线段。
举例来讲，在一些实施场景中可以将各聚类簇进行组合，从而可以将能够组合成四边形、且长宽比例能够满足预设比例要求（例如长宽比为16：9）的聚类簇中的线段作为所述第一成像图像的边缘线段。
进一步的，在S124中，可以将对应所述第一成像图像的各边缘线段之间的交点作为所述第一成像图像的顶点，从而获得所述第一成像图像。
值得说明的是，由于相机和投影装置的光机的位置相对固定，因此在相机对投影区域的拍摄的目标图像中，第一成像图像的边缘线段可能有较高的概率存在相应的目标区域中，且满足相应的距离规则。在这种情况下，所述步骤S121，包括：
获取所述目标图像中的第一预设区域范围内的线段信息。
其中，所述第一预设区域范围例如可以基于测试结果标定得到，用于表征所述目标图像中存在所述第一成像图像的边缘线段的概率较高的区域。
在这种情况下，所述对所述目标图像中的线段进行聚类（即S122），包括：
基于预设的标定参数对所述第一预设区域范围内的线段进行聚类；
其中，所述标定参数例如可以基于测试结果得到，所述标定参数包括表征对应所述投影图像的各边缘线段之间的距离的参数。
也就是说，上述技术方案能够基于对所述第一预设区域范围进行线段搜索和聚类，从而确定第一成像图像，因此能够降低图像搜索范围，提升搜索效率。并且，上述技术方案还可以基于标定参数进行聚类，从而能够进一步的提升第一成像图像的边缘线段的搜索准确度。
此外值得注意的是，由于所述目标图像中可以包括第二成像图像，因此在一些实施场景中，对所述目标图像进行聚类后也可能得到对应于所述第二成像图像的边缘线段（即对应于投影屏幕的边缘线段）。
在这种情况下，所述基于聚类结果从所述目标图像中的线段中确定用于表征所述第一成像图像的边界的边缘线段（即S123）可以包括：
获取各所述线段的两侧的亮度值信息；
将两侧亮度值的差值大于第一阈值的线段作为表征所述第一成像图像的边界的边缘线段。
由于第一成像图像对应于投影图像，因此所述第一成像图像的边缘线段的两端可以分别对应于投影光束照射的区域以及投影光束未照射的区域，即所述第一成像图像的边缘线段的两端的亮度值可以存在着一定的差异。因此，可以将两侧亮度值的差值大于第一阈值的线段作为表征所述第一成像图像的边界的边缘线段。其中，所述第一阈值可以基于应用场景进行设置，本公开对此不做限制。
此外，针对所述第二成像图像，在一种可能的实施方式中，可以通过如下方式在所述目标图像的成像坐标系中确定所述第二成像图像：
获取所述目标图像中的线段信息；
对所述目标图像中的线段进行聚类；
基于聚类结果从所述目标图像中的线段中确定用于表征所述第二成像图像的边界的边缘线段；
将对应所述第二成像图像的各边缘线段之间的交点作为所述第二成像图像的顶点。
其中，确定所述第二成像图像的相关步骤请参照上述关于步骤S121至S124的实施例说明，为了说明书的简洁，本公开对此不做赘述。
沿用上述确定第二成像图像的例子，在一种可能的实施方式中，所述获取所述目标图像中的线段信息，包括：
获取对应于所述第一成像图像的边缘线段；
获取所述第一成像图像的边缘线段的第二预设区域范围内的线段信息。
值得说明的是，由于投影设备通常基于投影屏幕进行投影，因此所述投影屏幕可以处于所述投影图像的区域范围内。在这种情况下，在确定所述第二成像图像的边缘线段时，可以基于第一成像图像的边缘线段确定第二预设区域范围，并在所述第二预设区域范围内搜索所述第二成像图像的边缘线段。其中，所述第一成像图像的边缘线段的获取方式请参照本公开所给出的示例，本公开在此不做赘述。此外，针对所述第二预设区域范围，在具体实施时，所述第二预设区域范围可以基于应用场景进行设置，如对第一成像图像的边缘线段的每一像素点生成一区域范围（例如半径10厘米或其他半径值的圆形范围），并将每一所述像素点的所述区域范围的合集作为所述第二预设区域范围，本公开对此不做限定。采用这样的方式，能够降低图像搜索范围，提升搜索效率。
此外，所述对所述目标图像中的线段进行聚类之前，所述方法还可以包括：
筛除在所述第二预设区域范围内且亮度值小于亮度阈值的线段；
对筛除后的所述第二预设区域范围内的线段进行聚类。
其中，所述亮度阈值例如可以为所述目标图像的各像素点中的最高亮度值的30%、35%等等。当然，在具体实施时，也可以基于对所述目标像素点进行亮度值排序的方式确定所述亮度阈值，本公开对此不做限定。
这样，可以基于所述亮度值对所述第二预设区域范围内线段进行筛选，并对筛除后的所述第二预设区域范围内的线段进行聚类。通过这样的方式，当投影屏幕边缘为黑色时，也能够保证第二成像图像的边缘线段的搜索准确度。
类似的，由于所述目标图像中可以包括第一成像图像，因此在一些实施场景中，对所述目标图像进行聚类后也可能得到对应于所述第一成像图像的边缘线段（即对应于投影图像的边缘线段）。
在这种情况下，所述基于聚类结果从所述目标图像中的线段中确定用于表征所述第二成像图像的边界的边缘线段，可以包括：
获取各所述线段的两侧的亮度值信息；
将两侧亮度值的差值小于第二阈值的线段作为表征所述第二成像图像的边界的边缘线段。
由于第二成像图像对应于投影屏幕，因此不论所述投影屏幕的边缘是否处于投射光束下，该投影屏幕的边缘线段的两侧的亮度值的差异都可以处于一定的范围内。在这种情况下，可以将两侧亮度值的差值小于第二阈值的线段作为表征所述第二成像图像的边界的边缘线段。其中，所述第二阈值可以基于应用场景进行设置，本公开对此不做限制。
在从所述成像坐标系中确定所述第一成像图像以及第二成像图像之后，在步骤S13中，计算所述第一成像图像与投影坐标系中的所述源图像之间的第一映射关系。
举例来讲，所述第一成像图像的四个顶点坐标例如可以是：
所述源图像的四个顶点在所述投影坐标系中的坐标例如可以是：
这样，可以通过如下公式计算所述第一映射关系：
其中，H为描述所述第一映射关系的矩阵。
在步骤S14中，计算所述第二成像图像与预设的用户视角图像之间的第二映射关系，所述用户视角图像是在预设的用户视角坐标系中的屏幕图像。
其中，所述用户视角坐标系可以用于描述用户视角下的各图像的位置信息。在具体实施时，例如可以假定用户位于投影装置预设距离（如1米、2米等等），从而建立所述用户视角坐标系。进一步的，在建立所述用户视角坐标系之后，还可以在所述用户视角坐标系中假定所述用户视角图像。
这样，可以基于所述第二成像图像的四个顶点在所述成像坐标系中的坐标以及所述用户视角图像的四个顶点在所述用户视角坐标系中的坐标，计算所述第二映射关系。具体计算过程请参照上述关于第一映射关系的计算公式，本公开对此不做赘述。
在步骤S15中，基于所述第一映射关系以及所述第二映射关系，将所述源图像映射至所述用户视角坐标系中。
应当理解，由于第一成像图像与第二成像图像处于同一成像坐标系中，因此在已知第一成像图像与源图像的第一映射关系以及第二成像图像与用户视角图像的第二映射关系之后，可以基于所述第一映射关系以及第二映射关系计算所述源图像与所述用户视角图像之间的第三映射关系。并基于所述第三映射关系，将所述源图像映射至所述用户视角坐标系中。例如，可以将所述源图像中的目标顶点的坐标（u1,v1）与表征所述第三映射关系的矩阵相乘，得到该目标顶点在所述用户视角坐标系中的坐标（u2,v2）。
这样，参照图4所示出的一种用户视角坐标系中的源图像以及用户视角图像的示意图。通过所述第三映射矩阵对所述源图像进行坐标变化，可以得到所述用户视角坐标系中的源图像401。
进一步的，在步骤S16中，确定所述源图像和所述用户视角图像在所述用户视角坐标系中的交集区域，并从所述交集区域中确定目标区域。
仍参照图4，用户视角图像402与用户视角坐标系中的源图像401可以存在一交集区域ABCD。因而可以在所述交集区域中确定一目标区域，并基于所述目标区域对所述投影装置的投影图像进行调整。
在一种可能的实施方式中，所述从所述交集区域中确定目标区域，包括：
针对所述交集区域的具有交点的两条目标边，对每一所述目标边执行如下步骤：
基于该条目标边的中点将该条目标边分为第一搜索边以及第二搜索边。
参照图4，交集区域ABCD的边缘AB和BC存在交点B，因此可以将所述边缘AB和边缘BC作为所述目标边。当然，边缘AB与边缘AD也存在交点A，因此也可以将边缘AB和AD作为两条目标边，本公开对此不做限制。
以目标边为AB和BC为例，可以基于所述目标边AB以及所述目标边BC搜索所述目标区域。
例如，针对目标边AB，可以基于所述目标边AB的中点将该目标边AB分为第一搜索边和第二搜索边（例如可以将目标边AB中点靠上的部分作为第一搜索边，将目标边AB中点靠下的部分作为第二搜索边）。
针对所述第一搜索边，可以将该第一搜索边上的每一点作为矩形的第一顶点，并生成在所述交集区域中的候选矩形。下面将以点A以及所述第一顶点为矩形的左下角顶点为例对所述点A所对应的候选矩形的获得方法进行说明。
针对第一搜索边上的点A，可以以点A为起点，沿与第一搜索边垂直的方向延伸，直至得到与交集区域ABCD的边缘CD的第一交点，所述点A和所述第一交点之间的线段可以作为所述候选矩形的第一条候选边。
类似的，由于假设点A为矩形的左下角顶点，因此可以以该点A为起点，沿所述第一搜索边上点A所处位置的右侧方向（即目标边AB上的第二搜索边所处的方向）延伸，直至得到与交集区域ABCD的边缘BC的第二交点B。这样，AB可以作为所述候选矩形的第二条候选边。
此外，还可以基于所需的投影比例（例如16:9）确定一夹角（例如arc tan9/16），并基于与目标边AB呈所述夹角的方向延伸，直至得到与所述交集区域ABCD的一边缘的第三交点。这样，所述点A与所述第三交点之间的线段可以作为所述候选矩形的第三条侯选边。
得到所述三条候选边之后，可以基于所述三条侯选边分别构建矩形。例如，可以将第一条侯选边与第二条候选边作为矩形的两条边构建矩形；将所述第一条候选边作为矩形的对角线，所述第三条侯选边作为矩形的一条边构件矩形；将所述第二条候选边作为矩形的对角线，所述第三条侯选边作为矩形的一条边构件矩形。这样，可以基于三条候选边构建得到三个矩形。在得到所述三个矩形之后，可以将所述三个矩形中的面积最小的矩形作为对应于点A的候选矩形，以保证所述候选矩形处于所述交集区域ABCD内。
类似的，针对所述第二搜索边，将该第二搜索边上的每一点作为矩形的第二顶点，生成在所述交集区域中的候选矩形。其中，所述第一顶点与所述第二顶点为所述矩形的相邻顶点。沿用上述例子，由于第一顶点为矩形的左下角顶点，因此所述第二顶点可以为矩形的右下角顶点或左上角顶点。
下面将以点E以及所述第二顶点为矩形的右下角顶点为例对所述点E所对应的候选矩形的获得方法进行说明。
针对第二搜索边上的点E，可以以点E为起点，沿与第二搜索边垂直的方向延伸，直至得到与交集区域ABCD的边缘BC的第四交点，所述点E和所述第四交点之间的线段可以作为该候选矩形的第一条候选边。
类似的，由于假设点E为矩形的右下角顶点，因此可以以该点E为起点，沿所述第二搜索边上点A所处位置的左侧方向（即目标边AB上的第一搜索边所处的方向）延伸，直至得到与交集区域ABCD的边缘AD的第五交点A。这样，BA可以作为该候选矩形的第二条候选边。
此外，还可以基于所需的投影比例（例如16:9）确定一夹角（例如arc tan9/16），并基于与目标边BA呈所述夹角的方向延伸，直至得到与所述交集区域ABCD的一边缘的第六交点。这样，所述点E与所述第六交点之间的线段可以作为所述候选矩形的第三条侯选边。
得到所述三条候选边之后，可以基于所述三条侯选边分别构建矩形。例如，可以将第一条侯选边与第二条候选边作为矩形的两条边构建矩形；将所述第一条候选边作为矩形的对角线，所述第三条侯选边作为矩形的一条边缘构件矩形；将所述第二条候选边作为矩形的对角线，所述第三条侯选边作为矩形的一条边缘构件矩形。这样，可以基于三条候选边构建得到三个矩形。在得到所述三个矩形之后，可以将所述三个矩形中的面积最小的矩形作为对应于点E的候选矩形，以保证所述候选矩形处于所述交集区域ABCD内。
当然，上述示例中以所述第一顶点为矩形的左下角顶点为例对所述候选矩形的确定方式进行了说明。但本领域技术人员应当知晓，在具体实施时，所述第一顶点也可以是矩形的左上角顶点、右上角顶点以及右下角顶点中的任一者，本公开对此不做限制。
这样，在获得多个候选矩形的情况下，可以从每一所述候选矩形中确定面积最大的目标矩形作为目标区域403。当然，在一些可能的实施场景中，根据应用场景的需求，所述目标区域也可能不为所述多个候选矩形中的面积最大的候选矩形，本公开对此不做限定。
在步骤S17中，将所述目标区域映射至所述投影坐标系中，得到所述投影屏幕上的目标投影区域，并根据所述目标投影区域对所述投影图像进行调整。
应当理解，由于所述目标区域是基于所述源图像以及所述用户视角图像在所述用户视角坐标系中的相对位置关系确定，而所述用户视角图像与所述投影屏幕相对应。因此，所述目标区域可以对应于所述投影屏幕上的一区域。此外，源图像映射至所述用户视角坐标系的过程也可以包括将源图像映射至成像坐标系（即第一成像图像），以及将源图像映射至所述成像坐标系的图像再映射至所述用户视角坐标系的过程。因此，所述用户视角坐标系中的源图像也与所述第一成像图像相对应，即所述目标区域与投影图像中的一部分区域相对应。
进一步的，由于投影图像与投影屏幕的相对位置关系固定，第一成像图像与第二成像图像之间的相对位置固定，因此可以将所述目标区域映射至所述投影坐标系中，得到所述投影屏幕上的目标投影区域，并根据所述目标投影区域对所述投影图像进行调整。例如，可以基于所述源图像的四个顶点在投影坐标系中的坐标以及所述目标区域的四个顶点在所述投影坐标系中的坐标计算所述源图像与所述投影坐标系中的目标区域的映射关系，并将所述源图像映射至该目标区域中，进而将映射至该目标区域中的源图像进行投射。这样，投射形成的投影图像可以位于所述投影屏幕中。
上述技术方案中，通过相机拍摄针对投影区域的目标图像，从而可以计算所述目标图像中的第一成像图像与投影图像的源图像之间的第一映射关系，并计算所述目标图像中的第二成像图像与用户视角图像之间的第二映射关系。这样，可以基于所述第一映射关系以及第二映射关系得到所述第一成像图像与所述用户视角图像之间的映射关系，从而可以将所述源图像映射至所述用户视角坐标系中，完成视角变换。进一步的，可以从所述源图像和所述用户视角图像在所述用户视角坐标系中的交集区域中确定目标区域，并将所述目标区域映射至所述投影坐标系中，得到所述投影屏幕上的目标投影区域，最终可以根据所述目标投影区域对所述投影图像进行调整。也就是说，上述技术方案能够基于投影屏幕与投影图像的相对位置关系实现对投影图像的自动调整，因而能够降低投影仪的安装使用成本。
在一种可能的实施方式中，参照图5所示出的另一种第一成像图像的确定流程图，所述在所述目标图像的成像坐标系中确定第一成像图像，包括：
在步骤S51中，获取所述投影区域所在墙面的法向量。
举例来讲，可以基于TOF（Time Of Flight，飞行时间）传感器来采集所述投影区域所在墙面的墙面信息（例如投影设备与所述墙面之间的截距）。这样，可以基于所述墙面信息，以及投影设备的位置信息计算所述墙面相对于所述投影设备的法向量。
这样，在步骤S52中，可以基于所述法向量、所述投影装置的投射比、所述投影装置与所述墙面的截距以及所述投影装置的投影画面比例确定所述第一成像图像的顶点。
在步骤S53中，基于所述顶点确定所述第一成像图像。例如，可以通过将所述第一成像图像的顶点进行依次连接，从而获得所述第一成像图像的位置信息。
采用上述技术方案，能够降低在第一成像图像的确定过程中的对相机的依赖，增加了第一成像图像的确定方式。
当然，在一些场景中，投影装置的投射组件（例如光机）与相机之间还可以存在相应的位置偏差。在这种情况下，步骤S51至S53中所确定的第一成像图像可能与相机拍摄的目标图像中的第一成像图像存在部分差异。因此，可以基于投射组件和相机之间的位置关联关系（即平移矩阵和旋转矩阵）将所述第一成像图像转化为相机视角下的第一成像图像。其中，所述平移矩阵和旋转矩阵可以基于所述相机和投射组件之间的位置关系预先标定得到，具体请参照相关技术中的说明，本公开在此不做赘述。
此外值得说明的是，上述实施例中基于图3和图5分别对确定所述第一成像图像的方法流程进行了说明。但本领域技术人员应当知晓，在具体实施时，也可以同时采用上述两种方案对所述第一成像图像进行确定，以提升第一成像图像的确定准确度。在一些可能的实施场景中，也可以为所述两种方案设置相应的优先级，例如可以首先通过图3的方式进行第一成像图像的确定，当无法成功确定所述第一成像图像时，则可以基于图5的方式确定所述第一成像图像。
可选地，所述计算所述第二成像图像与预设的用户视角图像之间的第二映射关系，包括：
通过如下公式计算所述第二映射关系：
其中，H为描述所述第二映射关系的矩阵，K为所述相机的参数，如校正系数、焦距等等。n为所述投影区域所在墙面的法向量，d为所述投影装置与所述墙面的截距。R为所述用户视角图像与所述第二成像图像之间的旋转矩阵，t为所述用户视角图像与所述第二成像图像之间的平移向量，在具体实施时可以基于所述法向量和相机的参数计算所述旋转矩阵以及平移向量。通过这样的方式，能够提升所述第二映射关系的计算灵活性。
另外值得说明的是，对于上述方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本公开并不受所描述的动作顺序的限制。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均为示例，所涉及的动作并不一定是本发明所必须的。例如，采用上述公式计算所述第二映射关系时，无需先在所述成像坐标系中确定所述第二成像图像。相应的，可以在确定所述第二映射关系之后，再在所述成像坐标系中确定所述第二成像图像。
举例来讲，在计算得到所述第二映射关系之后，可以基于相机或TOF传感器获取所述第二成像图像中的目标标记点，并进而基于所述目标标记点的位置信息、所述墙面的法向量以及所述投影装置与所述墙面的截距确定所述第二成像图像的边缘线段。其中，所述目标标记点例如可以位于所述投影屏幕的下边缘的中点或是位于所述投影屏幕的其他便于识别的特征点。
应当理解，在墙面法向量已知的情况下，可以确定所述成像坐标系中的所述第二成像图像的相临边之间的夹角。而在屏幕尺寸和长宽比已知的情况下，可以基于所述目标点确定所述第二成像图像的边缘线段以及顶点。
图6是本公开一示例性实施例所示出的一种投影图像调整装置的框图，如图6所示，所述装置600包括：
第一获取模块601，用于获取相机对投影区域进行拍摄得到的目标图像，其中，所述投影区域包括投影屏幕，所述投影区域显示有投影图像，所述投影图像是投影装置将源图像投射到所述投影区域形成的图像；
第一确定模块602，用于在所述目标图像的成像坐标系中确定第一成像图像和第二成像图像，所述第一成像图像是所述投影图像在所述目标图像中的成像图像，所述第二成像图像是所述投影屏幕在所述目标图像中的成像图像；
第一计算模块603，用于计算所述第一成像图像与投影坐标系中的所述源图像之间的第一映射关系；
第二计算模块604，用于计算所述第二成像图像与预设的用户视角图像之间的第二映射关系，所述用户视角图像是在预设的用户视角坐标系中的屏幕图像；
视角转换模块605，用于基于所述第一映射关系以及所述第二映射关系，将所述源图像映射至所述用户视角坐标系中；
第二确定模块606，用于确定所述源图像和所述用户视角图像在所述用户视角坐标系中的交集区域，并从所述交集区域中确定目标区域；
映射模块607，用于将所述目标区域映射至所述投影坐标系中，得到所述投影屏幕上的目标投影区域，并根据所述目标投影区域对所述投影图像进行调整。
上述技术方案中，通过相机拍摄针对投影区域的目标图像，从而可以计算所述目标图像中的第一成像图像与投影图像的源图像之间的第一映射关系，并计算所述目标图像中的第二成像图像与用户视角图像之间的第二映射关系。这样，可以基于所述第一映射关系以及第二映射关系得到所述第一成像图像与所述用户视角图像之间的映射关系，从而可以将所述源图像映射至所述用户视角坐标系中，完成视角变换。进一步的，可以从所述源图像和所述用户视角图像在所述用户视角坐标系中的交集区域中确定目标区域，并将所述目标区域映射至所述投影坐标系中，得到所述投影屏幕上的目标投影区域，最终可以根据所述目标投影区域对所述投影图像进行调整。也就是说，上述技术方案能够基于投影屏幕与投影图像的相对位置关系实现对投影图像的自动调整，即起到自动对屏的效果，因而能够降低投影仪的安装使用成本。
可选地，所述第一确定模块602，包括：
第一获取子模块，用于获取所述目标图像中的线段信息；
第一聚类子模块，用于对所述目标图像中的线段进行聚类；
第一确定子模块，用于基于聚类结果从所述目标图像中的线段中确定用于表征所述第一成像图像的边界的边缘线段；
第一执行子模块，用于将对应所述第一成像图像的各边缘线段之间的交点作为所述第一成像图像的顶点。
可选地，所述第一确定子模块，包括：
第一亮度值获取子单元，用于获取各所述线段的两侧的亮度值信息；
第一执行子单元，用于将两侧亮度值的差值大于第一阈值的线段作为表征所述第一成像图像的边界的边缘线段。
可选地，所述第一获取子模块，包括：
第一获取子单元，用于获取所述目标图像中的第一预设区域范围内的线段信息；
所述第一聚类子模块，用于基于预设的标定参数对所述第一预设区域范围内的线段进行聚类；其中，所述标定参数包括表征对应所述投影图像的各边缘线段之间的距离的参数。
可选地，所述第一确定模块602，包括：
第二获取子模块，用于获取所述投影区域所在墙面的法向量；
第二确定子模块，用于基于所述法向量、所述投影装置的投射比、所述投影装置与所述墙面的截距以及所述投影装置的投影画面比例确定所述第一成像图像的顶点；
第三确定子模块，用于基于所述顶点确定所述第一成像图像。
可选地，所述第一确定模块602，包括：
第三获取子模块，用于获取所述目标图像中的线段信息；
第二聚类子模块，用于对所述目标图像中的线段进行聚类；
第四确定子模块，用于基于聚类结果从所述目标图像中的线段中确定用于表征所述第二成像图像的边界的边缘线段；
第二执行子模块，用于将对应所述第二成像图像的各边缘线段之间的交点作为所述第二成像图像的顶点。
可选地，所述第三获取子模块，包括：
第二获取子单元，用于获取对应于所述第一成像图像的边缘线段；
第三获取子单元，用于获取所述第一成像图像的边缘线段的第二预设区域范围内的线段信息；
所述装置600还包括：
筛选模块，用于在所述第二聚类子模块对所述目标图像中的线段进行聚类之前，筛除在所述第二预设区域范围内且亮度值小于亮度阈值的线段；
所述第二聚类子模块用于，对筛除后的所述第二预设区域范围内的线段进行聚类。
可选地，所述第四确定子模块，包括：
第二亮度值获取子单元，用于获取各所述线段的两侧的亮度值信息；
第二执行子单元，用于将两侧亮度值的差值小于第二阈值的线段作为表征所述第二成像图像的边界的边缘线段。
可选地，所述第二计算模块604，用于：
通过如下公式计算所述第二映射关系：
其中，H为描述所述第二映射关系的矩阵，K为所述相机的参数、R为所述用户视角图像与所述第二成像图像之间的旋转矩阵，t为所述用户视角图像与所述第二成像图像之间的平移向量，n为所述投影区域所在墙面的法向量，d为所述投影装置与所述墙面的截距。
可选地，所述第二确定模块606，包括：
第三执行子模块，用于针对所述交集区域的具有交点的两条目标边，对每一所述目标边执行如下步骤：基于该条目标边的中点将该条目标边分为第一搜索边以及第二搜索边；针对所述第一搜索边，将该第一搜索边上的每一点作为矩形的第一顶点，生成在所述交集区域中的候选矩形；针对所述第二搜索边，将该第二搜索边上的每一点作为矩形的第二顶点，生成在所述交集区域中的候选矩形；其中，所述第一顶点与所述第二顶点为所述矩形的相邻顶点；
第四执行子模块，用于从每一所述候选矩形中确定面积最大、且满足预设的矩形长宽比例的目标矩形作为所述目标区域。
可选地，所述第一获取模块601，包括：
第四获取子模块，用于通过广角相机获取所述投影区域的多个候选目标图像，每一所述候选目标图像对应于不同的曝光程度；
曝光融合子模块，用于对所述多个候选目标图像进行曝光融合，得到融合目标图像；
第一图像处理子模块，用于对所述融合目标图像进行直方图均衡化，得到所述目标图像；
和/或，第二图像处理子模块，用于对所述融合目标图像进行畸变校正，得到所述目标图像。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本公开还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本公开所提供的方法的步骤。
本公开还提供一种电子设备，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现本公开所提供方法的步骤。
图7是根据一示例性实施例示出的一种电子设备700的框图。如图7所示，该电子设备700可以包括：处理器701，存储器702。该电子设备700还可以包括多媒体组件703，输入/输出（I/O）接口704，以及通信组件705中的一者或多者。
其中，处理器701用于控制该电子设备700的整体操作，以完成上述的投影图像调整方法中的全部或部分步骤。存储器702用于存储各种类型的数据以支持在该电子设备700的操作，这些数据例如可以包括用于在该电子设备700上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如图片、音频、视频等等。该存储器702可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器（StaticRandom Access Memory，简称SRAM），电可擦除可编程只读存储器（Electrically ErasableProgrammable Read-Only Memory，简称EEPROM），可擦除可编程只读存储器（ErasableProgrammable Read-Only Memory，简称EPROM），可编程只读存储器（Programmable Read-Only Memory，简称PROM），只读存储器（Read-Only Memory，简称ROM），磁存储器，快闪存储器，磁盘或光盘。多媒体组件703可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括至少一个扬声器，用于输出音频信号。I/O接口704为处理器701和其他接口模块之间提供接口，上述其他接口模块可以是键盘，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件705用于该电子设备700与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信（Near FieldCommunication，简称NFC），2G、3G、4G、NB-IOT、eMTC、或其他5G等等，或它们中的一种或几种的组合，在此不做限定。因此相应的该通信组件705可以包括：Wi-Fi模块，蓝牙模块，NFC模块等等。
在一示例性实施例中，电子设备700可以被一个或多个应用专用集成电路（Application Specific Integrated Circuit，简称ASIC）、数字信号处理器（DigitalSignal Processor，简称DSP）、数字信号处理设备（Digital Signal Processing Device，简称DSPD）、可编程逻辑器件（Programmable Logic Device，简称PLD）、现场可编程门阵列（Field Programmable Gate Array，简称FPGA）、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的投影图像调整方法。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的投影图像调整方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器702，上述程序指令可由电子设备700的处理器701执行以完成上述的投影图像调整方法。
在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的投影图像调整方法的代码部分。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。
Claims (14)
1.一种投影图像调整方法，其特征在于，包括：
获取相机对投影区域进行拍摄得到的目标图像，其中，所述投影区域包括投影屏幕，所述投影区域显示有投影图像，所述投影图像是投影装置将源图像投射到所述投影区域形成的图像；
在所述目标图像的成像坐标系中确定第一成像图像和第二成像图像，所述第一成像图像是所述投影图像在所述目标图像中的成像图像，所述第二成像图像是所述投影屏幕在所述目标图像中的成像图像；
计算所述第一成像图像与投影坐标系中的所述源图像之间的第一映射关系；
计算所述第二成像图像与预设的用户视角图像之间的第二映射关系，所述用户视角图像是在预设的用户视角坐标系中的屏幕图像；
基于所述第一映射关系以及所述第二映射关系，将所述源图像映射至所述用户视角坐标系中；
确定所述源图像和所述用户视角图像在所述用户视角坐标系中的交集区域，并从所述交集区域中确定目标区域；
将所述目标区域映射至所述投影坐标系中，得到所述投影屏幕上的目标投影区域，并根据所述目标投影区域对所述投影图像进行调整。
2.根据权利要求1所述的方法，其特征在于，所述在所述目标图像的成像坐标系中确定第一成像图像，包括：
获取所述目标图像中的线段信息；
对所述目标图像中的线段进行聚类；
基于聚类结果从所述目标图像中的线段中确定用于表征所述第一成像图像的边界的边缘线段；
将对应所述第一成像图像的各边缘线段之间的交点作为所述第一成像图像的顶点。
3.根据权利要求2所述的方法，其特征在于，所述从所述目标图像中的线段中确定用于表征所述第一成像图像的边界的边缘线段，包括：
获取各所述线段的两侧的亮度值信息；
将两侧亮度值的差值大于第一阈值的线段作为表征所述第一成像图像的边界的边缘线段。
4.根据权利要求2所述的方法，其特征在于，所述获取所述目标图像中的线段信息，包括：
获取所述目标图像中的第一预设区域范围内的线段信息；
所述对所述目标图像中的线段进行聚类，包括：
基于预设的标定参数对所述第一预设区域范围内的线段进行聚类；
其中，所述标定参数包括表征对应所述投影图像的各边缘线段之间的距离的参数。
5.根据权利要求1所述的方法，其特征在于，在所述目标图像的成像坐标系中确定第一成像图像，包括：
获取所述投影区域所在墙面的法向量；
基于所述法向量、所述投影装置的投射比、所述投影装置与所述墙面的截距以及所述投影装置的投影画面比例确定所述第一成像图像的顶点；
基于所述顶点确定所述第一成像图像。
6.根据权利要求1所述的方法，其特征在于，在所述目标图像的成像坐标系中确定第二成像图像，包括：
获取所述目标图像中的线段信息；
对所述目标图像中的线段进行聚类；
基于聚类结果从所述目标图像中的线段中确定用于表征所述第二成像图像的边界的边缘线段；
将对应所述第二成像图像的各边缘线段之间的交点作为所述第二成像图像的顶点。
7.根据权利要求6所述的方法，其特征在于，所述获取所述目标图像中的线段信息，包括：
获取对应于所述第一成像图像的边缘线段；
获取所述第一成像图像的边缘线段的第二预设区域范围内的线段信息；
所述对所述目标图像中的线段进行聚类之前，所述方法还包括：
筛除在所述第二预设区域范围内且亮度值小于亮度阈值的线段；
对筛除后的所述第二预设区域范围内的线段进行聚类。
8.根据权利要求6所述的方法，其特征在于，所述从所述目标图像中的线段中确定用于表征所述第二成像图像的边界的边缘线段，包括：
获取各所述线段的两侧的亮度值信息；
将两侧亮度值的差值小于第二阈值的线段作为表征所述第二成像图像的边界的边缘线段。
9.根据权利要求1所述的方法，其特征在于，所述计算所述第二成像图像与预设的用户视角图像之间的第二映射关系，包括：
通过如下公式计算所述第二映射关系：
其中，H为描述所述第二映射关系的矩阵，K为所述相机的参数、R为所述用户视角图像与所述第二成像图像之间的旋转矩阵，t为所述用户视角图像与所述第二成像图像之间的平移向量，n为所述投影区域所在墙面的法向量，d为所述投影装置与所述墙面的截距。
10.根据权利要求1所述的方法，其特征在于，所述从所述交集区域中确定目标区域，包括：
针对所述交集区域的具有交点的两条目标边，对每一所述目标边执行如下步骤：
基于该条目标边的中点将该条目标边分为第一搜索边以及第二搜索边；
针对所述第一搜索边，将该第一搜索边上的每一点作为矩形的第一顶点，生成在所述交集区域中的候选矩形；
针对所述第二搜索边，将该第二搜索边上的每一点作为矩形的第二顶点，生成在所述交集区域中的候选矩形；其中，所述第一顶点与所述第二顶点为所述矩形的相邻顶点；
从每一所述候选矩形中确定面积最大的目标矩形作为所述目标区域。
11.根据权利要求1所述的方法，其特征在于，所述获取相机对投影区域进行拍摄得到的目标图像，包括：
通过广角相机获取所述投影区域的多个候选目标图像，每一所述候选目标图像对应于不同的曝光程度；
对所述多个候选目标图像进行曝光融合，得到融合目标图像；
对所述融合目标图像进行直方图均衡化和/或畸变校正，得到所述目标图像。
12.一种投影图像调整装置，其特征在于，包括：
第一获取模块，用于获取相机对投影区域进行拍摄得到的目标图像，其中，所述投影区域包括投影屏幕，所述投影区域显示有投影图像，所述投影图像是投影装置将源图像投射到所述投影区域形成的图像；
第一确定模块，用于在所述目标图像的成像坐标系中确定第一成像图像和第二成像图像，所述第一成像图像是所述投影图像在所述目标图像中的成像图像，所述第二成像图像是所述投影屏幕在所述目标图像中的成像图像；
第一计算模块，用于计算所述第一成像图像与投影坐标系中的所述源图像之间的第一映射关系；
第二计算模块，用于计算所述第二成像图像与预设的用户视角图像之间的第二映射关系，所述用户视角图像是在预设的用户视角坐标系中的屏幕图像；
视角转换模块，用于基于所述第一映射关系以及所述第二映射关系，将所述源图像映射至所述用户视角坐标系中；
第二确定模块，用于确定所述源图像和所述用户视角图像在所述用户视角坐标系中的交集区域，并从所述交集区域中确定目标区域；
映射模块，用于将所述目标区域映射至所述投影坐标系中，得到所述投影屏幕上的目标投影区域，并根据所述目标投影区域对所述投影图像进行调整。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-11中任一项所述方法的步骤。
14.一种电子设备，其特征在于，包括：
存储器，其上存储有计算机程序；处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-11中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110297271.8A CN112689136B (zh) | 2021-03-19 | 2021-03-19 | 投影图像调整方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110297271.8A CN112689136B (zh) | 2021-03-19 | 2021-03-19 | 投影图像调整方法、装置、存储介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112689136A true CN112689136A (zh) | 2021-04-20 |
| CN112689136B CN112689136B (zh) | 2021-07-02 |
Family
ID=75455680
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110297271.8A Active CN112689136B (zh) | 2021-03-19 | 2021-03-19 | 投影图像调整方法、装置、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112689136B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023088304A1 (zh) * | 2021-11-16 | 2023-05-25 | 海信视像科技股份有限公司 | 一种投影设备和投影区域修正方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150193964A1 (en) * | 2014-01-07 | 2015-07-09 | Electronics And Telecommunications Research Institute | Real-time dynamic non-planar projection apparatus and method |
| CN106303477A (zh) * | 2016-08-11 | 2017-01-04 | Tcl集团股份有限公司 | 一种自适应的投影仪图像校正方法及系统 |
| CN106412540A (zh) * | 2016-11-18 | 2017-02-15 | 四川长虹电器股份有限公司 | 投影显示系统及其自动对位方法 |
| US9601086B1 (en) * | 2009-09-11 | 2017-03-21 | Hewlett-Packard Development Company, L.P. | Defining a projector display region |
| CN106918974A (zh) * | 2015-12-24 | 2017-07-04 | 深圳市光峰光电技术有限公司 | 投影设备、投影系统及其校调方法 |
| CN106937101A (zh) * | 2017-03-22 | 2017-07-07 | 成都市极米科技有限公司 | 投影区域校正方法及系统 |
| CN107547879A (zh) * | 2016-06-24 | 2018-01-05 | 上海顺久电子科技有限公司 | 一种投影成像的校正方法、装置及激光电视 |
| CN109005394A (zh) * | 2018-09-19 | 2018-12-14 | 青岛海信激光显示股份有限公司 | 一种投影图像的校正方法及投影机 |
| CN109698944A (zh) * | 2017-10-23 | 2019-04-30 | 深圳市Tcl高新技术开发有限公司 | 投影区域校正方法、投影设备及计算机可读存储介质 |
-
2021
- 2021-03-19 CN CN202110297271.8A patent/CN112689136B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9601086B1 (en) * | 2009-09-11 | 2017-03-21 | Hewlett-Packard Development Company, L.P. | Defining a projector display region |
| US20150193964A1 (en) * | 2014-01-07 | 2015-07-09 | Electronics And Telecommunications Research Institute | Real-time dynamic non-planar projection apparatus and method |
| CN106918974A (zh) * | 2015-12-24 | 2017-07-04 | 深圳市光峰光电技术有限公司 | 投影设备、投影系统及其校调方法 |
| CN107547879A (zh) * | 2016-06-24 | 2018-01-05 | 上海顺久电子科技有限公司 | 一种投影成像的校正方法、装置及激光电视 |
| CN106303477A (zh) * | 2016-08-11 | 2017-01-04 | Tcl集团股份有限公司 | 一种自适应的投影仪图像校正方法及系统 |
| CN106412540A (zh) * | 2016-11-18 | 2017-02-15 | 四川长虹电器股份有限公司 | 投影显示系统及其自动对位方法 |
| CN106937101A (zh) * | 2017-03-22 | 2017-07-07 | 成都市极米科技有限公司 | 投影区域校正方法及系统 |
| CN109698944A (zh) * | 2017-10-23 | 2019-04-30 | 深圳市Tcl高新技术开发有限公司 | 投影区域校正方法、投影设备及计算机可读存储介质 |
| CN109005394A (zh) * | 2018-09-19 | 2018-12-14 | 青岛海信激光显示股份有限公司 | 一种投影图像的校正方法及投影机 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023088304A1 (zh) * | 2021-11-16 | 2023-05-25 | 海信视像科技股份有限公司 | 一种投影设备和投影区域修正方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112689136B (zh) | 2021-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2018196568A1 (en) | Image sensor, imaging method and electronic device | |
| US10698308B2 (en) | Ranging method, automatic focusing method and device | |
| US9183620B2 (en) | Automated tilt and shift optimization | |
| CN109983401B (zh) | 摄像机辅助自动屏幕拟合 | |
| US20170186222A1 (en) | Image processing apparatus and control method thereof | |
| JP4813517B2 (ja) | 画像処理装置、画像処理プログラム、画像処理方法、および電子機器 | |
| CN112272292B (zh) | 投影校正方法、装置和存储介质 | |
| US20180007329A1 (en) | Projection system, projector apparatus, image capturing apparatus, and projection method | |
| CN113099198B (zh) | 投影图像调整方法、装置、存储介质及电子设备 | |
| JP2016085637A (ja) | データ処理装置、撮像装置、およびデータ処理方法 | |
| US9030553B2 (en) | Projector image correction device and method | |
| CN107493407B (zh) | 拍照装置及拍照方法 | |
| KR20160051473A (ko) | 영상 정합 알고리즘을 설정하는 방법 | |
| US20190320166A1 (en) | Calibration system and method | |
| CN112689136B (zh) | 投影图像调整方法、装置、存储介质及电子设备 | |
| TWI398716B (zh) | Use the flash to assist in detecting focal lengths | |
| CN114125411A (zh) | 投影设备校正方法、装置、存储介质以及投影设备 | |
| JP6381206B2 (ja) | 画像処理装置、その制御方法およびプログラム | |
| TWI764484B (zh) | 雙感測器攝像系統及其校準方法 | |
| US10943328B2 (en) | Image capturing apparatus, method for controlling same, and storage medium | |
| CN109565544B (zh) | 位置指定装置及位置指定方法 | |
| JP2021127998A (ja) | 距離情報取得装置および距離情報取得方法 | |
| JP2016085248A (ja) | 露出演算装置 | |
| CN115629505B (zh) | 基于液晶调控的成像过程过曝光实时抑制方法和系统 | |
| CN114666558B (zh) | 投影画面清晰度的检测方法、装置、存储介质及投影设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |