CN114842464A - 图像方向识别方法、装置、设备、存储介质及程序产品 - Google Patents

Abstract

本公开提供了一种图像方向识别方法、装置、电子设备、计算机可读存储介质及计算机程序产品，涉及深度学习、图像处理、计算机视觉等人工智能技术领域，可应用于光学字符识别等场景。该方法包括：确定包含目标对象的完整图像的整图方向和整图方向置信度；响应于确定整图方向置信度小于或等于预设置信度阈值，从完整图像中扣取仅包含目标对象的图像区域，得到与目标对象的数量一致的子图像；分别确定每个子图像的子图方向和子图方向置信度；根据各子图方向和各子图方向置信度，确定目标子图方向；将目标子图方向确定为完整图像的真实方向。该方法综合了整图级别和子图级别的方向判别，提升了判断出的完整图像的真实方向的准确性。

Description

图像方向识别方法、装置、设备、存储介质及程序产品

技术领域

本公开涉及图像处理技术领域，具体涉及深度学习、图像处理、计算机视觉等人工智能技术领域，可应用于光学字符识别等场景，尤其涉及一种图像方向识别方法、装置、电子设备、计算机可读存储介质及计算机程序产品。

背景技术

随着拍摄设备的普及化，对真实世界拍摄到了海量的图像数据，如何从这些海量的图像数据提取出有用的信息(例如文本、形状、颜色等)，并将其应用在合适的产品或服务商，是当今大数据时代的发展趋势。

以对店铺招牌(也俗称为门脸)所包含文本信息的提取为例，包含了大量复杂的场景，尤其像是因为业务员在前方拍摄时，因拍摄手法、手机设置等原因使得最终拍摄得到的包含店铺招牌的图像呈旋转90度、180度、270度、镜像等各种角度和方向，进而在方向不统一的情况下加大了对店铺招牌所包含信息的提取难度。

发明内容

本公开实施例提出了一种图像方向识别方法、装置、电子设备、计算机可读存储介质及计算机程序产品。

第一方面，本公开实施例提出了一种图像方向识别方法，包括：确定包含目标对象的完整图像的整图方向和整图方向置信度；响应于确定整图方向置信度小于预设置信度阈值，从完整图像中扣取仅包含目标对象的图像区域，得到与目标对象的数量一致的子图像；分别确定每个子图像的子图方向和子图方向置信度；根据各子图方向和各子图方向置信度，确定目标子图方向；将目标子图方向确定为完整图像的真实方向。

第二方面，本公开实施例提出了一种图像方向识别装置，包括：整图级别方向识别单元，被配置成确定包含目标对象的完整图像的整图方向和整图方向置信度；子图像扣取子单元，被配置成响应于确定整图方向置信度小于或等于预设置信度阈值，从完整图像中扣取仅包含目标对象的图像区域，得到与目标对象的数量一致的子图像；子图级别方向识别单元，被配置成分别确定每个子图像的子图方向和子图方向置信度；目标子图方向确定单元，被配置成根据各子图方向和各子图方向置信度，确定目标子图方向；真实方向确定单元，被配置成将目标子图方向确定为完整图像的真实方向。

第三方面，本公开实施例提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器执行时能够实现如第一方面中任一实现方式描述的图像方向识别方法。

第四方面，本公开实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行时能够实现如第一方面中任一实现方式描述的图像方向识别方法。

第五方面，本公开实施例提供了一种包括计算机程序的计算机程序产品，该计算机程序在被处理器执行时能够实现如第一方面中任一实现方式描述的图像方向识别方法的步骤。

本申请所提供的图像方向识别的技术方案，通过先后进行整图级别和子图级别的方向判别，并结合判别出方向的置信度大小，能够从不同的尺度大小和感受野进行独立的方向判断，进而提升判断出的完整图像的真实方向的准确性，以便于在获知准确的图像方向的情况下对图像内容进行准确的提取。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显：

图1是本公开可以应用于其中的示例性系统架构；

图2为本公开实施例提供的一种图像方向识别方法的流程图；

图3-1为本公开实施例提供的一种包含两个店铺招牌的完整图像的示例图；

图3-2为本公开实施例提供的一种对图3-1所示示例图进行店铺招牌所在矩形的顶点标注的示意图；

图4为本公开实施例提供的另一种图像方向识别方法的流程图；

图5为本公开实施例提供的又一种图像方向识别方法的流程图；

图6为本公开实施例提供的一种图像方向识别装置的结构框图；

图7为本公开实施例提供的一种适用于执行图像方向识别方法的电子设备的结构示意图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。

本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

图1示出了可以应用本公开的图像方向识别方法、装置、电子设备及计算机可读存储介质的实施例的示例性系统架构100。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103和服务器105上可以安装有各种用于实现两者之间进行信息通讯的应用，例如图像编辑类应用、图像方向识别类应用、即时通讯类应用等。

终端设备101、102、103和服务器105可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等；当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中，其可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。当服务器105为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器；服务器为软件时，可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。

服务器105通过内置的各种应用可以提供各种服务，以可以提供图像方向识别服务的图像方向识别类应用为例，服务器105在运行该图像方向识别类应用时可实现如下效果：首先，通过网络104接收到终端设备101、102、103传回的包含有目标对象的完整图像；然后，确定该完整图像的整图方向和整图方向置信度；接着，当该整图方向置信度小于或等于预设置信度阈值时，从该完整图像中扣取仅包含目标对象的图像区域，得到与该目标对象的数量一致的子图像；下一步，分别确定每个子图像的子图方向和子图方向置信度；紧接着，根据各子图方向和各子图方向置信度，确定目标子图方向；最后，将目标子图方向确定为完整图像的真实方向。

需要指出的是，包含有目标对象的完整图像除可以从终端设备101、102、103通过网络104实时传入外，也可以通过各种方式预先存储在服务器105本地。因此，当服务器105检测到本地已经存储有这些数据时(例如开始处理之前留存的待处理方向识别任务)，可选择直接从本地获取这些数据，在此种情况下，示例性系统架构100也可以不包括终端设备101、102、103和网络104。

由于对大量的图像进行方向识别需要占用较多的运算资源和较强的运算能力，因此本公开后续各实施例所提供的图像方向识别方法一般由拥有较强运算能力、较多运算资源的服务器105来执行，相应地，图像方向识别装置一般也设置于服务器105中。但同时也需要指出的是，在终端设备101、102、103也具有满足要求的运算能力和运算资源时，终端设备101、102、103也可以通过其上安装的图像方向识别类应用完成上述本交由服务器105做的各项运算，进而输出与服务器105同样的结果。尤其是在同时存在多种具有不同运算能力的终端设备的情况下，但图像方向识别类应用判断所在的终端设备拥有较强的运算能力和剩余较多的运算资源时，可以让终端设备来执行上述运算，从而适当减轻服务器105的运算压力，相应的，图像方向识别装置也可以设置于终端设备101、102、103中。在此种情况下，示例性系统架构100也可以不包括服务器105和网络104。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

请参考图2，图2为本公开实施例提供的一种图像方向识别方法的流程图，其中流程200包括以下步骤：

步骤201：确定包含目标对象的完整图像的整图方向和整图方向置信度；

本步骤旨在由图像方向识别方法的执行主体(例如图1所示的服务器105)以整图级别确定完整图像的图像内容方向和该图像内容方向的置信度。

其中，该完整图像是指包含有目标对象的图像，该目标对象的数量可以是一个或多个，目标对象可以是店铺招牌(俗称门脸)，此时完整图像可以是对着商业街中各店铺拍摄得到的图像；该目标对象也可以是行人，此时完整图像可以是对着路口拍摄得到的图像；该目标对象也可以是广告牌，此时完整图像可以是对着广告集中区拍摄得到的图像。即根据目标对象的不同，该完整图像应对应不同的拍摄场景，以及对应包含非目标对象的其它图像内容。

其中，该整图方向是指确定出的该完整图像中的图像内容的方向信息(例如水平、顺时针旋转90度、顺时针旋转180、顺时针旋转270等)，而该整图方向置信度则是确定出的整图方向被认为是准确的概率，即该置信度通常表现为一个百分数，例如70％、85％等，当然也可以表现为其它可用于表征概率的其它形式，例如基于预设计算方式计算得到的量化数值。

具体的，本步骤对完整图像进行的整图级别的方向判别，可通过预先构建的整图级别判别器来实现(即核心的判别规则是预先编写好的)，也可以通过预设构建的整图级别的方向判别模型来实现(即核心的方向判别方式是从训练样本中学习到的)。

步骤202：响应于确定整图方向置信度小于或等于预设置信度阈值，从完整图像中扣取仅包含目标对象的图像区域，得到与目标对象的数量一致的子图像；

在步骤201的基础上，本步骤旨在由上述执行主体在该整图方向置信度小于或等于(即不大于)预设置信度阈值时，从完整图像中扣取仅包含目标对象的图像区域，得到与目标对象的数量一致的子图像。

该预设置信度阈值是预设的位于高置信度和低置信度之间的临界值，因此在该整图方向置信度不大于该预设置信度阈值时，可认为该整图方向的准确性较低，那么准确性较低的整图方向将不足以将其直接确定为完整图像的真实方向。为了能够确定出足够准确的图像方向，本步骤将目标对象对应的图像区域，从完整图像中扣取下来，得到与目标对象的数量一致的子图像。即一个子图像仅包含一个目标对象的图像内容，以通过此种方式尽可能的去除完整图像中非目标对象的其它图像内容对图像方向判别的干扰。

以目标对象为店铺招牌为例，在扣取得到子图像时，可按照预设对每个店铺招牌对应的矩形框的顶点标注，从完整图像中扣取出仅包含店铺招牌的子图像。扣取前的完整图像可参见图3-1所示的示例图，而预设的顶点标注可以按照顺时针的方向标注得到，例如图3-2所示的1-1、1-2、1-3、1-4，进而通过顺序连结这四个顶点，得到每个店铺招牌的矩形外边框。最终扣取出的子图像就是图3-2中虚线框中的部分。

步骤203：分别确定每个子图像的子图方向和子图方向置信度；

在步骤202的基础上，本步骤旨在由上述执行主体以子图级别分别确定每个子图像的图像内容方向和该图像内容方向的置信度，即子图方向和子图方向置信度。

类似于步骤201进行的整图级别判断，本步骤对子图像进行的子图级别的方向判别，也可通过预先构建的子图级别判别器来实现(即核心的方向判别规则是预先编写好的)，也可以通过预设构建的子图级别的方向判别模型来实现(即核心的方向判别方式是从训练样本中学习到的)。

步骤204：根据各子图方向和各子图方向置信度，确定目标子图方向；

在步骤203的基础上，本步骤旨在由上述执行主体根据各子图方向和各子图方向置信度，确定目标子图方向。

具体的，可将满足以下预设要求中至少一项的子图方向，确定为目标子图方向：

相同数量最多、同方向下的各子图方向置信度的平均值最高、拥有达到置信度上限的子图方向置信度。即例如可以将相同数量最多的子图方向确定为目标子图方向，也可以同时将数量较多、同方向下的各子图方向置信度的平均值较高的子图像方向确定为目标子图像。即核心宗旨为将最可信的子图方向确定为目标子图方向。

步骤205：将目标子图方向确定为完整图像的真实方向。

在步骤204的基础上，本步骤旨在由上述执行主体将目标子图方向确定为完整图像的真实方向。

本公开实施例提供的图像方向识别方法，通过先后进行整图级别和子图级别的方向判别，并结合判别出方向的置信度大小，能够从不同的尺度大小和感受野进行独立的方向判断，进而提升判断出的完整图像的真实方向的准确性，以便于在获知准确的图像方向的情况下对图像内容进行准确的提取。

为了加深对上述实施例的理解，本公开还结合图4所示的另一种图像方向识别方法的流程图，提供了一种方向判别模型来进行整图方向和子图方向判别的具体实现方式，其中流程400包括以下步骤：

步骤401：通过将包含目标对象的完整图像输入预设的整图级别方向判别模型，得到输出的整图方向和整图方向置信度；

其中，整图级别方向判别模型通过包含各个旋转角度的样本完整图像、方向标注和标注方向置信度的训练样本训练得到，即该整图级别方向判别模型在使用该训练样本训练后，将具有为输入的完整图像输出整图方向和整图方向置信度的能力。

步骤402：响应于确定整图方向置信度小于或等于预设置信度阈值，从完整图像中扣取仅包含目标对象的图像区域，得到与目标对象的数量一致的子图像；

步骤403：通过将各子图像输入预设的子图级别方向判别模型，得到输出的与每张子图像对应的子图方向和子图方向置信度；

其中，子图级别方向判别模型通过包含各个旋转角度的样本子图像、方向标注和标注方向置信度的训练样本训练得到，样本子图像扣取自样本完整图像中包含的目标对象部分。即该子图级别方向判别模型在使用该训练样本训练后，将具有为输入的子图像输出子图方向和子图方向置信度的能力。而通过控制两个判别模型在训练时使用的训练样本的关联性，即保证了两个模型独立进行方向判别，又因为样本一致可使其中一个模型的正确学习结果可用于修正另一模型的错误学习结果。

需要说明的是，训练得到整图级别方向判别模型和子图级别方向判别模型的执行主体，可以是区别于当前实施例执行主体的其它执行主体，在此种情况下，只需要当前执行主体具有能够访问或调用该方向判别模型的能力即可。

步骤404：根据各子图方向和各子图方向置信度，确定目标子图方向；

步骤405：将目标子图方向确定为完整图像的真实方向。

本实施例的步骤402与流程200中的步骤202一致，步骤404-步骤405则与流程200中的步骤204-步骤205一致，相同的部分此处不再赘述。

本实施例在流程200所示实施例的基础上，具体提供了一种通过预先构建好的整图级别方向判别模型和子图级别方向判别模型，来分别进行整图方向判别和子图方向判别。相比于直接采用方向判别器的实现方式，基于机器学习思想和训练样本训练得到的方向判别模型，可具有更好的识别准确性和较好的泛化性。

请参考图5，图5为本公开实施例提供的另一种图像方向识别方法的流程图，其中流程500包括以下步骤：

步骤501：通过将包含目标对象的完整图像输入预设的整图级别方向判别模型，得到输出的整图方向和整图方向置信度；

其中，整图级别方向判别模型通过包含各个旋转角度的样本完整图像、方向标注和标注方向置信度的训练样本训练得到。

步骤502：判断整图方向置信度是否大于预设置信度阈值，若是，执行步骤507，否则执行步骤503；

本步骤旨在由上述执行主体判断整图方向置信度是否大于预设置信度阈值，并根据判别结果选择相应的处理分支。

步骤503：从完整图像中扣取仅包含目标对象的图像区域，得到与目标对象的数量一致的子图像；

本步骤建立在步骤502的判断结果为整图方向置信度不大于预设置信度阈值的基础上，旨在由上述执行主体从完整图像中扣取仅包含目标对象的图像区域，得到与目标对象的数量一致的子图像。

其中，子图级别方向判别模型通过包含各个旋转角度的样本子图像、方向标注和标注方向置信度的训练样本训练得到，样本子图像扣取自样本完整图像中包含的目标对象部分。

步骤504：通过将各子图像输入预设的子图级别方向判别模型，得到输出的与每张子图像对应的子图方向和子图方向置信度；

步骤505：根据各子图方向和各子图方向置信度，确定目标子图方向；

步骤506：将目标子图方向确定为完整图像的真实方向；

步骤507：直接将整图方向确定为完整图像的真实方向。

本步骤建立在步骤502的判断结果为整图方向置信度大于预设置信度预设的基础上，旨在由上述执行主体直接将整图方向确定为完整图像的真实方向。

该预设置信度阈值是预设的位于高置信度和低置信度之间的临界值，因此在该整图方向置信度大于该预设置信度阈值时，可认为该整图方向的准确性较高，那么准确性较高的整图方向将足以将其直接确定为完整图像的真实方向。

在流程400所示实施例的基础上，本实施例通过步骤502-步骤507具体提供了一种基于判别步骤的两个处理分支，其中对应步骤507的处理分支，将能够在整图方向置信度较高的情况下，直接得到完整图像的真实方向，无需再调用子图级别方向判别模型进行方向判别，进而提升运算效率、节省运算资源。

进一步的，在图4-5两个实施例的基础上，若发现目标子图方向与整图方向不同，还可以利用目标子图方向调整整图级别方向判别模型的模型参数，以使调整后的整图级别方向判别模型也能够对完整图像输出与目标子图方向一致的整图方向。同理，若采用的不是判别模型，而是判别器，则应对整图级别方向判别器的判别规则进行调整。

在本公开的一些实施例中，为了尽可能的减少特征图的通道数、简化模型结构，还可以在整图级别方向判别模型和子图级别方向判别模型的特征输出层中，设置有多个卷积核为1×1的卷积操作，即通过1×1的卷积操作降低特征图的通道数。

在上述任意实施例的基础上，以目标对象为包含文本信息的店铺招牌为例，后续还可以根据确定出的真实方向，从完整图像的目标对象部分或子图像中，提取出文本形式的文本信息。即在得以确定出正确的图像方向的情况下，可以用该准确的图像方向指导后续的图像相关操作。

为了加深对本公开所提供方案的理解，下述还将以店铺招牌检测为例，提供一种完整的实现方式：

步骤1：使用各种型号手机照相机等拍摄设备，拍摄得到包含各种店铺招牌(俗称门脸)的图像，且所采集的数据需要符合几个要求：图像需要基本将店铺招牌的整体拍入图片，图片需要清晰可分辨等；

步骤2：将图片输入到店铺招牌检测当中，这里的店铺招牌检测用到的是基于ResNet18_vd为base的EAST(Efficient and Accuracy Scene Text)检测模型(是一个高效和准确的场景文本检测模型)。

数据准备阶段：首先需要采集大量的店铺招牌图片，店铺招牌图片可以为任意旋转角度的图片，将所需店铺招牌露出来的点按顺时针标注，标注规则为1-1到1-4，若有多个门牌，则叠加，如图3-2所示：

模型训练：首先，将图像送到FCN(Fully Convolutional Networks，全卷积网络)网络结构中并且生成单通道像素级的文本分数特征图和多通道几何图形特征图。文本区域采用了两种几何形状：旋转框(RBOX)和水平框(QUAD)，并为每个几何形状设计了不同的损失函数；然后，将阈值应用于每个预测区域，其中评分超过预定阈值的几何形状被认为是有效的，并且保存以用于随后的非极大抑制。经非极大抑制之后的结果被认为是模型的最终结果。

因为文本区域的大小差别很大，所以定位大文本将需要更深层的特征(大感受野)，而定位小文本则需要浅层特征(小感受野)。因此，网络必须使用不同级别的特征来满足这些要求，但是在大型特征图上合并大量通道会显着增加后期计算开销。为了弥补这一点，这里采用U-shape思想(是一种经常用在卷积神经网络下实现多尺度特征检测的解决思想)逐步合并特征图，同时保持上采样分支较小。共同建立一个网络，既可以利用不同级别的特征，又可以节省很少的计算成本。

该网络结构可以分解为三个部分：特征提取，特征合并和输出层。

下面分别展开：

特征提取部分：首先，利用在ImageNet数据集(一个开源的图像数据集)上预训练的卷积网络参数初始化；然后，基于Resnet18模型从特征提取阶段中提取四个级别的特征图，其大小分别为输入图像的1/321/16 1/8和1/4。另外，提取了pooling-2到pooling-5后的特征图用于特征合并。

特征合并部分：逐层合并。在每个合并阶段，首先，将来自上一个阶段的特征图首先被输入到一个unpooling(上采样)层来扩大其大小；然后，与当前层特征图进行合并(通道)；最后，通过conv1×1减少通道数量和计算量；conv3×3，将局部信息融合以最终产生该合并阶段的输出。在最后一个合并阶段之后，conv3×3层会生成合并分支的最终特征图并将其送到输出层。

输出层部分：包含若干个conv1×1操作，以将32个通道的特征图投影到1个通道的分数特征图Fs和一个多通道几何图形特征图Fg。几何形状输出是QUAD。

步骤3～4：店铺招牌级别的方向判断模型以及整图级别方向判断模型使用的都是以Resnet18_vd的分类模型，四个方向分类包括正方向、旋转90度、旋转180度、旋转270度。在训练过程中，整图级别的方向判断使用的整张图片的训练数据集合。而店铺招牌级别的方向判断模型，使用的训练数据是对整张图片进行店铺招牌检测之后标注出的四个坐标点所扣取出的店铺招牌图像。

训练阶段：将处理并标注后的整图和店铺招牌的数据，分别训练一个方向判断模型。

预测阶段：将步骤2中的门脸检测的结果处理之后输入到店铺招牌级别方向判断模型中得到的结果a(所有检测到的店铺招牌图片的方向以及该方向的分值)，以及将步骤1中输入的原始RGB图像输入到整图级别的方向判断模型中得到结果b(整图的方向以及该方向的分值)，将结果a和结果b输入到步骤5中。

步骤5：将整图的方向判断得到的结果b(整图的方向以及该方向的分值)，以及整图中所有店铺招牌的结果a(所有店铺招牌图片的方向以及该方向的分值)进行策略上的判断。

首先，如果整图级别的方向判断分值要大于某个阈值，那么就不需要后续的判断，直接将该图片判断为某个方向；否则，就去判断所有检测到的各店铺招牌图片在经过店铺招牌级别方向模型判断，如果这些店铺招牌图片中的某个方向的模型预测标签L最多，那就将这张整图判断为L方向，并对该整图进行方向的矫正。

步骤6：将矫正后的店铺招牌整图再次输入到步骤2的EAST门脸检测当中；

步骤7：对每一个步骤6检测出来的店铺招牌图片进行文字行检测，以及CTC((Connectionist Temporal Classification))文字行识别。该CTC文字行识别模型，使用的是SeNet34作为backbone(网络骨干)，编码部分采用卷积将图片转成特征图，然后使用im2sequence op将特征图转为序列，通过模型学习到序列特征，训练过程选用的损失函数为CTC loss,预测阶段采用的是贪婪策略和CTC解码策略。训练的数据的每张图片包含单行不定长的中文字符串，这些图片都是经过检测算法进行预框选处理的。

进一步参考图6，作为对上述各图所示方法的实现，本公开提供了一种图像方向识别装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图6所示，本实施例的图像方向识别装置600可以包括：整图级别方向识别单元601、子图像扣取子单元602、子图级别方向识别单元603、目标子图方向确定单元604、真实方向确定单元605。其中，整图级别方向识别单元601，被配置成确定包含目标对象的完整图像的整图方向和整图方向置信度；子图像扣取子单元602，被配置成响应于确定整图方向置信度小于或等于预设置信度阈值，从完整图像中扣取仅包含目标对象的图像区域，得到与目标对象的数量一致的子图像；子图级别方向识别单元603，被配置成分别确定每个子图像的子图方向和子图方向置信度；目标子图方向确定单元604，被配置成根据各子图方向和各子图方向置信度，确定目标子图方向；真实方向确定单元605，被配置成将目标子图方向确定为完整图像的真实方向。

在本实施例中，图像方向识别装置600中：整图级别方向识别单元601、子图像扣取子单元602、子图级别方向识别单元603、目标子图方向确定单元604、真实方向确定单元605的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201-205的相关说明，在此不再赘述。

在本实施例的一些可选的实现方式中，目标子图方向确定单元604可以被进一步配置成：

将满足以下预设要求中至少一项的子图方向，确定为目标子图方向：

相同数量最多、同方向下的各子图方向置信度的平均值最高、拥有达到置信度上限的子图方向置信度。

在本实施例的一些可选的实现方式中，子图像扣取子单元602可以被进一步配置成：

响应于目标对象为店铺招牌，按照预设对每个店铺招牌对应的矩形框的顶点标注，从完整图像中扣取出仅包含店铺招牌的子图像。

在本实施例的一些可选的实现方式中，图像方向识别装置600还可以包括：

高整图方向置信度处理单元，被配置成响应于整图方向置信度大于预设置信度阈值，将整图方向直接确定为完整图像的真实方向。

在本实施例的一些可选的实现方式中，图像方向识别装置600还可以包括：

文本信息提取单元，被配置成响应于目标对象为包含文本信息的店铺招牌，根据真实方向从完整图像的目标对象部分或子图像中，提取出文本形式的文本信息。

在本实施例的一些可选的实现方式中，整图级别方向识别单元601可以被进一步配置成：

通过将完整图像输入预设的整图级别方向判别模型，得到输出的整图方向和整图方向置信度；其中，整图级别方向判别模型通过包含各个旋转角度的样本完整图像、方向标注和标注方向置信度的训练样本训练得到；

对应的，子图级别方向识别单元603可以被进一步配置成：

通过将各子图像输入预设的子图级别方向判别模型，得到输出的与每张子图像对应的子图方向和子图方向置信度；其中，子图级别方向判别模型通过包含各个旋转角度的样本子图像、方向标注和标注方向置信度的训练样本训练得到，样本子图像扣取自样本完整图像中包含的目标对象部分。

在本实施例的一些可选的实现方式中，图像方向识别装置600还可以包括：

模型参数调整单元，被配置成响应于目标子图方向与整图方向不同，利用目标子图方向，调整整图级别方向判别模型的模型参数。

在本实施例的一些可选的实现方式中，整图级别方向判别模型和子图级别方向判别模型的特征输出层，设置有多个卷积核为1×1的卷积操作。

本实施例作为对应于上述方法实施例的装置实施例存在，本实施例提供的图像方向识别装置，通过先后进行整图级别和子图级别的方向判别，并结合判别出方向的置信度大小，能够从不同的尺度大小和感受野进行独立的方向判断，进而提升判断出的完整图像的真实方向的准确性，以便于在获知准确的图像方向的情况下对图像内容进行准确的提取。

根据本公开的实施例，本公开还提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器执行时能够实现上述任意实施例所描述的图像方向识别方法。

根据本公开的实施例，本公开还提供了一种可读存储介质，该可读存储介质存储有计算机指令，该计算机指令用于使计算机执行时能够实现上述任意实施例所描述的图像方向识别方法。

根据本公开的实施例，本公开还提供了一种计算机程序产品，该计算机程序在被处理器执行时能够实现上述任意实施例所描述的图像方向识别方法。

图7示出了可以用来实施本公开的实施例的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图7所示，设备700包括计算单元701，其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序，来执行各种适当的动作和处理。在RAM 703中，还可存储设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。

设备700中的多个部件连接至I/O接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如图像方向识别方法。例如，在一些实施例中，图像方向识别方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到RAM 703并由计算单元701执行时，可以执行上文描述的图像方向识别方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像方向识别方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决传统物理主机与虚拟专用服务器(VPS，Virtual Private Server)服务中存在的管理难度大，业务扩展性弱的缺陷。

根据本公开实施例的技术方案，通过先后进行整图级别和子图级别的方向判别，并结合判别出方向的置信度大小，能够从不同的尺度大小和感受野进行独立的方向判断，进而提升判断出的完整图像的真实方向的准确性，以便于在获知准确的图像方向的情况下对图像内容进行准确的提取。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (19)

1.一种图像方向识别方法，包括：

确定包含目标对象的完整图像的整图方向和整图方向置信度；

响应于确定所述整图方向置信度小于或等于预设置信度阈值，从所述完整图像中扣取仅包含所述目标对象的图像区域，得到与所述目标对象的数量一致的子图像；

分别确定每个所述子图像的子图方向和所述子图方向置信度；

根据各所述子图方向和各所述子图方向置信度，确定目标子图方向；

将所述目标子图方向确定为所述完整图像的真实方向。

2.根据权利要求1所述的方法，其中，所述根据各所述子图方向和各所述子图方向置信度，确定目标子图方向，包括：

将满足以下预设要求中至少一项的子图方向，确定为所述目标子图方向：

相同数量最多、同方向下的各子图方向置信度的平均值最高、拥有达到置信度上限的子图方向置信度。

3.根据权利要求1所述的方法，其中，所述从所述完整图像中扣取仅包含所述目标对象的图像区域，得到与所述目标对象的数量一致的子图像，包括：

响应于所述目标对象为店铺招牌，按照预设对每个所述店铺招牌对应的矩形框的顶点标注，从所述完整图像中扣取出仅包含所述店铺招牌的子图像。

4.根据权利要求1所述的方法，还包括：

响应于所述整图方向置信度大于所述预设置信度阈值，将所述整图方向直接确定为所述完整图像的真实方向。

5.根据权利要求1所述的方法，还包括：

响应于所述目标对象为包含文本信息的店铺招牌，根据所述真实方向从所述完整图像的目标对象部分或所述子图像中，提取出文本形式的文本信息。

6.根据权利要求1-5任一项所述的方法，其中，所述确定包含目标对象的完整图像的整图方向和整图方向置信度，包括：

通过将所述完整图像输入预设的整图级别方向判别模型，得到输出的整图方向和整图方向置信度；其中，所述整图级别方向判别模型通过包含各个旋转角度的样本完整图像、方向标注和标注方向置信度的训练样本训练得到；

对应的，所述分别确定每个所述子图像的子图方向和所述子图方向置信度，包括：

通过将各所述子图像输入预设的子图级别方向判别模型，得到输出的与每张所述子图像对应的子图方向和子图方向置信度；其中，所述子图级别方向判别模型通过包含各个旋转角度的样本子图像、方向标注和标注方向置信度的训练样本训练得到，所述样本子图像扣取自所述样本完整图像中包含的目标对象部分。

7.根据权利要求6所述的方法，还包括：

响应于所述目标子图方向与所述整图方向不同，利用所述目标子图方向，调整所述整图级别方向判别模型的模型参数。

8.根据权利要求6所述的方法，其中，所述整图级别方向判别模型和所述子图级别方向判别模型的特征输出层，设置有多个卷积核为1×1的卷积操作。

9.一种图像方向识别装置，包括：

整图级别方向识别单元，被配置成确定包含目标对象的完整图像的整图方向和整图方向置信度；

子图像扣取子单元，被配置成响应于确定所述整图方向置信度小于或等于预设置信度阈值，从所述完整图像中扣取仅包含所述目标对象的图像区域，得到与所述目标对象的数量一致的子图像；

子图级别方向识别单元，被配置成分别确定每个所述子图像的子图方向和所述子图方向置信度；

目标子图方向确定单元，被配置成根据各所述子图方向和各所述子图方向置信度，确定目标子图方向；

真实方向确定单元，被配置成将所述目标子图方向确定为所述完整图像的真实方向。

10.根据权利要求9所述的装置，其中，所述目标子图方向确定单元被进一步配置成：

将满足以下预设要求中至少一项的子图方向，确定为所述目标子图方向：

相同数量最多、同方向下的各子图方向置信度的平均值最高、拥有达到置信度上限的子图方向置信度。

11.根据权利要求9所述的装置，其中，所述子图像扣取子单元被进一步配置成：

响应于所述目标对象为店铺招牌，按照预设对每个所述店铺招牌对应的矩形框的顶点标注，从所述完整图像中扣取出仅包含所述店铺招牌的子图像。

12.根据权利要求9所述的装置，还包括：

高整图方向置信度处理单元，被配置成响应于所述整图方向置信度大于所述预设置信度阈值，将所述整图方向直接确定为所述完整图像的真实方向。

13.根据权利要求9所述的装置，还包括：

文本信息提取单元，被配置成响应于所述目标对象为包含文本信息的店铺招牌，根据所述真实方向从所述完整图像的目标对象部分或所述子图像中，提取出文本形式的文本信息。

14.根据权利要求9-13任一项所述的装置，其中，所述整图级别方向识别单元被进一步配置成：

通过将所述完整图像输入预设的整图级别方向判别模型，得到输出的整图方向和整图方向置信度；其中，所述整图级别方向判别模型通过包含各个旋转角度的样本完整图像、方向标注和标注方向置信度的训练样本训练得到；

对应的，所述子图级别方向识别单元被进一步配置成：

通过将各所述子图像输入预设的子图级别方向判别模型，得到输出的与每张所述子图像对应的子图方向和子图方向置信度；其中，所述子图级别方向判别模型通过包含各个旋转角度的样本子图像、方向标注和标注方向置信度的训练样本训练得到，所述样本子图像扣取自所述样本完整图像中包含的目标对象部分。

15.根据权利要求14所述的装置，还包括：

模型参数调整单元，被配置成响应于所述目标子图方向与所述整图方向不同，利用所述目标子图方向，调整所述整图级别方向判别模型的模型参数。

16.根据权利要求14所述的装置，其中，所述整图级别方向判别模型和所述子图级别方向判别模型的特征输出层，设置有多个卷积核为1×1的卷积操作。

17.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的图像方向识别方法。

18.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-8中任一项所述的图像方向识别方法。

19.一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现根据权利要求1-8中任一项所述图像方向识别方法的步骤。

Images