一种图像显示方法、图像识别方法及设备
技术领域
本申请涉及图像处理技术领域,尤其涉及一种图像显示方法、图像识别方法及设备。
背景技术
图像识别技术是指通过对图像进行处理、分析和理解,以识别图像中的目标的技术。目前,图像识别技术广泛地应用于识别诸如二维码、条形码图像、书籍、海报以及人脸等目标的场景中。
在实际应用中的图像识别,往往涉及到两种设备,一种是用于显示图像(也称原始图像)的“图像显示设备”,一种是用于识别图像显示设备显示的原始图像的“图像识别设备”。具体地,图像显示设备在显示原始图像后,图像识别设备通过拍摄或扫描图像显示设备显示的原始图像得到待识别图像,并对待识别图像进行识别。
按照现有技术,在上述场景中,图像显示设备往往会将原始图像显示在界面的预定位置处,如显示在界面的中心位置处。对于图像识别设备而言,若要对原始图像进行拍摄或扫描,需要图像识别设备的操作者对图像识别设备的位置进行调整,以使得图像识别设备的摄像头对准显示有所述原始图像的所述预定位置,以便拍摄或扫描到原始图像。若操作者调整图像识别设备的能力较差,则为了使图像识别设备拍摄或扫描到原始图像,会耗费较长时间。
类似地,针对采用拍摄或扫描原始图像的方式来获取相应的图像的其他任何设备(后统称图像获取设备,如图像识别设备就是一种图像获取设备)而言,按照上述现有技术中的图像显示方式,均可能存在上述问题。
发明内容
本申请实施例提供一种图像显示方法,用于解决采用现有技术中的图像显示方式,可能导致图像获取设备的操作者需要手动调整图像获取设备的位置,从而造成操作繁琐、效率较低的问题。
本申请实施例还提供一种图像显示设备,用于解决采用现有技术中的图像显示方式,可能导致图像获取设备的操作者需要手动调整图像获取设备的位置,从而造成操作繁琐、效率较低的问题。
本申请实施例还提供一种智能设备,用于解决采用现有技术中的图像显示方式,可能导致图像获取设备的操作者需要手动调整图像获取设备的位置,从而造成操作繁琐、效率较低的问题。
本申请实施例还提供一种图像识别方法、图像识别设备和一种智能设备。
具体地,本申请实施例采用下述技术方案:
一种图像显示方法,包括:
第一设备接收第二设备发送的第一图像;所述第一图像是所述第二设备对所述第一设备的界面进行拍摄或者扫描而获得的;
根据所述第一图像与基准图像的匹配结果,确定待显示第二图像的显示位置;
在确定出的显示位置,显示所述第二图像。
一种图像识别方法,包括:
第一设备通过对第二设备的界面进行拍摄或者扫描,得到第一图像;
向所述第二设备发送所述第一图像;
识别所述第二设备显示的第二图像对应的待识别图像,其中,所述第二图像的显示位置根据所述第一图像与基准图像的匹配结果确定。
一种图像显示设备,包括:
图像接收单元,用于接收其他设备发送的第一图像;所述第一图像,是所述其他设备对所述图像显示设备的界面进行拍摄或者扫描而获得的;
位置确定单元,用于根据所述第一图像与基准图像的匹配结果,确定待显示第二图像的显示位置;
显示单元,用于在确定出的显示位置,显示所述第二图像。
一种图像识别设备,包括:
图像获取单元,用于通过对其他设备的界面进行拍摄或者扫描,得到第一图像;
图像发送单元,用于向所述其他设备发送所述第一图像;
图像识别单元,用于识别所述其他设备显示的第二图像对应的待识别图像;其中,所述第二图像的显示位置根据所述第一图像与基准图像的匹配结果确定。
一种智能设备,包括:
存储器,用于存储计算机程序指令;
接收器,用于接收其他设备发送的第一图像;所述第一图像,是所述其他设备对所述智能设备的界面进行拍摄或者扫描而获得的;
处理器,耦合到所述存储器,用于读取所述存储器存储的计算机程序指令,并作为响应,执行如下操作:
根据所述第一图像与基准图像的匹配结果,确定待显示第二图像的显示位置;在确定出的显示位置,显示所述第二图像。
一种智能设备,包括:
摄像头,用于对其他设备的界面进行拍摄或者扫描,以得到第一图像;
存储器,用于保存所述第一图像,以及用于存储计算机程序指令;
发射器,用于向所述其他设备发送所述第一图像;
处理器,耦合到所述存储器,用于读取所述存储器存储的计算机程序指令,并作为响应,执行如下操作:
识别所述其他设备显示的第二图像对应的待识别图像,其中,所述第二图像的显示位置根据所述第一图像与基准图像的匹配结果确定。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果:
由于通过第二设备发送对第一设备的界面进行拍摄或者扫描而获得的第一图像,使得第一设备根据所述第一图像和基准图像的匹配结果,确定待显示第二图像的显示位置,并在所述显示位置显示所述第二图像,因此,可以实现在第二设备所能够拍摄或者扫描的位置进行图像的显示,无需调整第二设备的位置,从而避免了由操作者手动调整第二设备的位置导致的操作繁琐、效率较低的问题。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种图像显示方法的具体实现流程图;
图2为实施本申请实施例提供的图像显示方法的一种实际场景的示意图;
图3为图像获取设备22向图像显示设备21发送第一图像的一种实现方式的示意图;
图4为图像获取设备22向图像显示设备21发送第一图像的另一种实现方式的示意图;
图5为图像显示设备21显示的一种界面的示意图;
图6为图像显示设备21显示的另一种界面的示意图;
图7为第一图像与基准图像匹配一致的示意图;
图8为第一图像与基准图像的局部匹配一致的示意图;
图9为相关技术中的支付类应用所显示的、对应于不同类型图像的选项的示意图;
图10为本申请实施例提供的一种图像显示设备的具体结构示意图;
图11为本申请实施例提供的一种智能设备的具体结构示意图;
图12为本申请实施例提供的一种图像识别方法的实现流程图;
图13为本申请实施例提供的一种图像识别设备的具体结构示意图;
图14为本申请实施例提供的另一种智能设备的具体结构示意图;
图15为本申请实施例1和2提供的方案在实际中的一种应用场景的示意图;
图16为本申请实施例1和2提供的方案在一种应用场景中的实现流程示意图;
图17为本申请实施例1和2提供的方案在另一种应用场景中的实现流程示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
以下结合附图,详细说明本申请各实施例提供的技术方案。
实施例1
为了解决采用现有技术中的图像显示方式,可能导致图像获取设备的操作者需要手动调整图像获取设备的位置,从而造成操作繁琐、效率较低的问题,本申请实施例1提供了一种图像显示方法。该方法的执行主体,可以但不限于为手机、平板电脑或个人电脑(Personal Computer,PC)等等任何具备图像显示功能的计算设备,或者,该方法的执行主体,也可以是计算设备上安装的应用软件,比如安装在手机上的应用(Application,APP)等。
请参见图1,为本申请实施例提供的一种图像显示方法的具体实现流程图,该流程包括下述步骤:
步骤11,第一设备接收第二设备发送的第一图像;
以下结合图2,说明步骤11的具体实现过程。
图2为实施该方法的一种实际场景的示意图。该实际场景中,包含两种设备,分别为图像显示设备21和图像获取设备22。其中,图像显示设备21,相当于步骤11中所述的第一设备;图像获取设备22,则相当于步骤11中所述的第二设备。
其中,图像显示设备21显示的界面如图2所示,是一张图像23,图像获取设备22,通过对图像显示设备21当前的界面进行拍摄或者扫描,可以获取到与该图像23对应的图像24,即所述的第一图像。
视图像获取设备22的摄像头与图像显示设备21的显示屏的相对位置的不同,图像24的图像内容、特征、结构、纹理及灰度,可能与图像23的图像内容、特征、结构、纹理及灰度完全对应相同,或者,图像24的图像内容、特征、结构、纹理及灰度也可能只是与图像23局部的图像内容、特征、结构、纹理及灰度对应相同。
需要说明的是,图像获取设备22在对所述当前的界面进行拍摄或者扫描时,无需刻意对准基准图像的某个位置,或者必须要拍摄到基准图像的全部内容。这是由于就作为第一图像的图像24而言,它的作用,是用于后续与基准图像进行匹配,从而确定图像获取设备22的摄像头对准的是图像显示设备21界面的哪个位置,因此并不要求图像24要与图像23的图像内容、特征、结构、纹理及灰度,可能与图像23的图像内容、特征、结构、纹理及灰度完全对应相同。
如何根据第一图像,确定出图像获取设备22的摄像头对准的是图像显示设备21界面的哪个位置,将在后文进行详细介绍,此处不再赘述。
图像获取设备22在获取到所述的第一图像后,就可以将该第一图像发送给图像显示设备21。
就图像获取设备22发送第一图像的方式而言,本申请实施例中,图像获取设备22可以通过图像显示设备21与图像获取设备22间直接建立的连接,向图像显示设备21发送的第一图像,如图3所示。其中,图像显示设备21与图像获取设备22间直接建立的连接,比如可以是无线保真(Wireless-Fidelity,Wi-Fi)连接等能够支持在不同设备间发送图像的连接。或者,图像获取设备22可以通过服务器41,向图像显示设备21发送第一图像,如图4所示。图4中,图像显示设备21和图像获取设备22,分别与服务器41建立连接。
步骤12,第一设备根据所述第一图像与基准图像的匹配结果,确定待显示第二图像的显示位置;
具体地,第一设备,可以对第一图像和基准图像进行图像匹配(image matching),从而得到匹配结果。
这里所说的基准图像,是第二设备所拍摄的第一图像对应的图像。就如图2所示的场景而言,图像23可以作为这里所说的基准图像。而当第一设备显示的界面如图5所示时,第一设备通过全屏截取的方式所获取到的与界面对应的图像,可以作为这里所说的基准图像。当第一设备显示的界面如图6所示时,图中包含星星的图像61,可以作为这里所说的基准图像。需要说明的是,图6所示界面中的数字和横线,代表非图像类型的信息,比如文本信息等。
仍然以图2所示的场景为例,图像显示设备21可以固定以图像23作为基准图像,从而后续无论是哪个图像获取设备22向图像显示设备21发送第一图像,图像显示设备21均可以以图像23作为基准图像,并对图像23和第一图像进行图像匹配。
一般地,第一设备在接收到第二设备发送的第一图像时,第一设备当前的界面中还显示着所述第一图像对应的原始图像(即,第一图像是对原始图像进行拍摄或扫描得到的),从而第一设备可以将当前的界面中显示的图像,作为基准图像。
本申请实施例中,第一设备可以根据所述第一图像与基准图像,采用图像匹配的方式,确定所述第一图像与基准图像的匹配结果。
其中,图像匹配,包含两种主流的技术,一种是以灰度为基础的匹配技术,另一种则是以特征为基础的匹配技术。以灰度为基础的匹配技术,通过利用某种相似性度量,如相关函数、协方差函数、差平方和、差绝对值和等测度极值,判定两张图像中的对应关系;而以特征为基础的匹配技术,则通过分别提取待匹配的各图像的特征(点、线、面等特征),对特征进行参数描述,然后运用所描述的参数来进行匹配的一种算法。以特征为基础的匹配技术,通常要进行参数描述的特征,包括颜色特征、纹理特征、形状特征、空间位置特征等。
以采用特征为基础的匹配技术为例,本申请实施例中采用图像匹配的方式,确定出的第一图像与基准图像的匹配结果,一般可能包括:
第一图像与基准图像匹配一致,或者,第一图像与基准图像的局部匹配一致。
其中,第一图像与基准图像匹配一致,一般是指第一图像与基准图像的各指定特征(如颜色特征、纹理特征、形状特征和空间位置特征)之间的相似度,均超过预设的相似度阈值(如99%),如图7所示。
当第一图像与基准图像匹配一致时,第一设备可以将基准图像在界面中所处位置,确定为待显示第二图像的显示位置。比如,第一设备可以将基准图像的中心点坐标,确定为待显示第二图像的显示位置;或者,可以将整个基准图像在所述界面中所占据的显示区域,确定为待显示第二图像的显示位置。
第一图像与基准图像的局部匹配一致,一般是指第一图像与基准图像的局部的各指定特征之间的相似度,均超过预设的相似度阈值(如99%),如图8所示。图8所示的基准图像中,存在与第一图像匹配一致的局部。
当第一图像与基准图像的局部匹配一致时,第一设备可以将基准图像的与第一图像相匹配的局部所处位置,确定为待显示第二图像的显示位置。比如,第一设备可以将所述局部在所述界面中所处位置的中心点坐标,确定为待显示第二图像的显示位置;或者,可以将所述局部在所述界面中占据的显示区域,确定为待显示第二图像的显示位置。
步骤13,第一设备在确定出的显示位置,显示第二图像。
其中,这里所说的第二图像,一般是第二设备期望获取的图像,比如可以为二维码、人脸图像或指纹图像,等等。第二图像,可以是在执行步骤13前就预先保存的,也可以是在确定出显示位置后,由第一设备生成的。就保存第二图像的具体过程而言,第一设备可以接收用户输入的第二图像并保存,或者可以接收服务器发送的第二图像并保存,或者可以通过拍摄或者扫描其他图像的方式,得到相应的第二图像并保存。
本申请实施例中,当确定出的显示位置为一个显示区域时,第一设备可以将第二图像的显示尺寸进行调整,使得第二图像能够完整地显示在所述显示位置后,再将调整后的第二图像,显示在所述显示位置。
需要说明的是,针对步骤11而言,第一设备可以是在显示第二图像前,先接收第二设备发送的第一图像,那么,针对步骤13的具体实现方式而言,第一设备可以直接在确定出的显示位置显示第二图像。
或者,针对步骤11而言,第一设备可以是先在界面的某个位置显示了第二图像后,再接收第二设备发送的第一图像。那么,针对步骤13的具体实现方式而言,第一设备可以判断已显示的第二图像当前的显示位置,是否与通过执行步骤12确定出的显示位置相同;若不同,则第一设备可以将第二图像,调整到所述确定出的显示位置进行显示。
需要说明的是,针对第一设备先在界面的某个位置显示第二图像的情况而言,在接收第一图像前所显示的包含该第二图像的界面,与前文所述的显示有基准图像的界面可以是同一个界面;或者,在接收第一图像前所显示的包含该第二图像的界面,与显示有基准图像的界面可以不是同一个界面。
当第一设备在接收第一图像前所显示的包含该第二图像的界面,与显示有基准图像的界面不是同一个界面时,第一设备可以是在对基准图像进行显示,使得第二设备可以对基准图像进行拍摄或扫描后,再切换为显示包含第二图像的界面。本申请实施例中,第二设备在对基准图像进行拍摄或扫描后,可以通知第一设备进行图像切换,从而触发第一设备在接收第一图像前,切换为显示包含第二图像的界面。或者,第一设备可以在显示基准图像后进行计时,并在接收第一图像前,在计时时长达到预定时长阈值后,切换为显示包含第二图像的界面。
本申请实施例中,在执行步骤13后,第二设备就可以对显示的第二图像进行拍摄或者扫描,从而得到相应的图像。
在一些场景下,第二设备若没有及时对显示的第二图像进行拍摄或者扫描,可能会导致第二设备还没有获取到与第二图像相对应的图像,第二图像就已经失效。
在这样的情况下,为了使得第二设备能够对有效的第二图像进行拍摄或者扫描,第一设备在通过执行步骤12确定出待显示第二图像的显示位置后,可以对该显示位置的信息进行保存。第一设备后续在图像刷新条件产生后,便可以根据保存的该显示位置的信息,在该显示位置,显示第三图像。该第三图像,是替代失效的第二图像进行显示的有效图像。第二图像和第三图像,比如可以都是二维码。这里所说的图像刷新条件,比如可以包括第一设备接收到图像刷新指令,或者,第一设备在执行步骤13后的指定时间长度内,没有接收到第二设备发送的成功扫描第二图像的通知消息,等等。
第一设备通过对该显示位置的信息的保存,可以很方便地根据该显示位置信息进行图像显示,这在第二设备与第一设备的相对位置关系在较长时间内不发生变化的情况下,可以提升第一设备切换显示图像,以及第二设备获取第一设备切换显示的图像所对应的图像的整体效率。第一设备切换显示的图像所对应的图像,是指对第一设备切换显示的图像进行拍摄或者扫描而得到的图像。
在一些实施场景下,第二设备扫描或者拍摄第一设备通过执行步骤13显示的第二图像的目的,是为了对扫描或者拍摄第二图像得到的相应图像进行图像识别。
比如,在第一设备为商家的收银设备(该收银设备比如具备生成和显示二维码的功能),第二设备为安装在上的支付类应用的情况下,支付类应用对于收银设备显示的包含有商品属性信息(包括商品名称和商品价格)的二维码进行扫描,目的就是为了对二维码进行识别,从而获取二维码中包含的商品属性信息。
在这样的场景下,当支付类应用可以识别不同类型的图像(如二维码、条形码图像、人脸图像等)时,针对不同类型的图像,支付类应用会采用不同的图像识别算法。在相关技术中,如图9所示,用户可以根据收银设备显示的图像的类型,从图9所示的对应于不同类型图像的选项中,选取与收银设备显示的图像的类型相匹配的选项,从而触发支付类应用调用与选取的选项对应的图像识别算法。比如,用户可以根据收银设备显示的图像的类型“二维码”,从图9所示的选项中,选取“二维码”这一选项,从而触发支付类应用调用用于识别二维码的图像识别算法,以便后续对扫描到的图像进行识别。
经统计发现,采用人工选取触发支付类应用调用图像识别算法的方式,存在效率较低、容易出现误操作等问题。为避免该些问题,本申请实施例中,第一设备可以向第二设备发送用以表征通过执行步骤13显示的第二图像的图像类型的信息,以使得第二设备执行:根据第一设备发送来的图像类型的信息,调用与该图像类型相匹配的图像识别算法,识别与第二图像对应的待识别图像。
这里所说的与第二图像对应的待识别图像,是对第二图像拍摄或者扫描而得到的图像;这里所说的用以表征图像类型的信息,可以是图像类型标识,也可以是图像识别算法的标识,等。第二设备中,可以预先保存用以表征图像类型的信息与图像识别算法的映射关系,以便根据接收到的用以表征图像类型的信息,以及保存的该映射关系,调用与接收到的用以表征图像类型的信息相映射的图像识别算法。
第一设备,可以通过第一设备与第二设备之间直接建立起的连接,向第二设备发送所述用以表征图像类型的信息;或者,第一设备,可以向服务器发送所述用以表征图像类型的信息,后续由服务器将该信息转发给第二设备。
采用本申请实施例提供的上述方法,由于第二设备可以通过发送对第一设备的界面进行拍摄或者扫描而获得的第一图像,使得第一设备根据所述第一图像和基准图像的匹配结果,确定待显示第二图像的显示位置,并在所述显示位置显示所述第二图像,因此,可以实现第一设备在第二设备所能够拍摄或者扫描的位置进行第二图像的显示,而无需调整第二设备的位置来拍摄或者扫描第二图像,从而避免了由操作者手动调整第二设备的位置导致的操作繁琐、效率较低的问题。
出于与上述方法相同的发明构思,本申请实施例还提供一种图像显示设备,用以解决采用现有技术中的图像显示方式,可能导致图像获取设备的操作者需要手动调整图像获取设备的位置,从而造成操作繁琐、效率较低的问题。
以下对该图像显示设备进行详细介绍。
该图像显示设备的具体结构示意图如图10所示,包括下述功能单元:
图像接收单元101,用于接收其他设备发送的第一图像;
第一图像,是所述其他设备对图像显示设备的界面进行拍摄或者扫描而获得的。所述界面,为包含基准图像的界面。
这里所说的所述其他设备,比如可以是图像获取设备。
位置确定单元102,用于根据基准图像与图像接收单元101接收到的所述第一图像的匹配结果,确定待显示第二图像的显示位置;
显示单元103,用于在位置确定单元102确定出的显示位置,显示所述第二图像。
具体地,图像接收单元101可以接收所述其他设备通过图像显示设备与所述其他设备间直接建立的连接,发送的所述第一图像;或者,接收所述其他设备通过服务器发送的所述第一图像。
位置确定单元102,具体可以用于:在所述第一图像与所述基准图像匹配一致时,将所述基准图像在所述界面中所处位置,确定为待显示第二图像的显示位置;或者,在所述第一图像与所述基准图像的局部匹配一致时,将所述局部在所述界面中所处位置,确定为待显示第二图像的显示位置。
图像接收单元101,具体用于在显示所述第二图像前,接收所述其他设备发送的所述第一图像;或者,用于在显示第二图像后,接收所述其他设备发送的第一图像。
当图像接收单元101用于在显示第二图像后,接收所述其他设备发送的第一图像时,显示单元103,具体可以用于在第二图像当前的显示位置不同于所述确定出的显示位置时,将所述第二图像调整到所述确定出的显示位置进行显示。
当所述显示位置为显示区域时,显示单元103具体可以用于:根据所述显示位置,将所述第二图像的显示尺寸调整为与所述显示区域相匹配;在所述显示区域,显示调整后的所述第二图像。
若所述其他设备在对所述第二图像进行拍摄或者扫描后,会对拍摄或扫描得到的相应图像进行识别,那么,在这样的场景下,为了使得所述其他设备能够高效地进行图像识别,本申请实施例提供的该图像显示设备,还可以包括发送单元104。该发送单元104,具体可以用于向所述其他设备发送用以表征所述第二图像的图像类型的信息,以使得所述其他设备执行:根据所述图像类型的信息,调用与所述图像类型相匹配的图像识别算法;并根据所述图像识别算法,识别与所述第二图像对应的待识别图像。
在显示单元103显示第二图像后,为了便于图像显示设备后续能够高效地在所述显示位置显示其他图像,本申请实施例提供的该图像显示设备还可以包括:存储单元,用于保存位置确定单元102确定出的显示位置的信息。
当存储单元保存有位置确定单元102确定出的显示位置的信息时,显示单元103,还可以用于在位置确定单元102在确定出的显示位置显示所述第二图像后,在图像刷新条件产生后,根据存储单元保存的所述确定出的显示位置的信息,在所述确定出的显示位置,显示第三图像。所述图像刷新条件的具体内容,可以参见前文的相关描述,此处不再赘述。
采用本申请实施例提供的图像显示设备,由于通过其他设备向图像显示设备发送对图像显示设备的界面进行拍摄或者扫描而获得的第一图像,使得图像显示设备根据所述第一图像和基准图像的匹配结果,确定待显示第二图像的显示位置,并在所述显示位置显示所述第二图像,因此,可以实现图像显示设备在所述其他设备所能够拍摄或者扫描的位置进行第二图像的显示,而无需调整所述其他设备的位置来适应第二图像所在位置,从而避免了由操作者手动调整所述其他设备的位置导致的操作繁琐、效率较低的问题。
出于与上述方法相同的发明构思,本申请实施例还提供一种智能设备,用以解决采用现有技术中的图像显示方式,可能导致图像获取设备的操作者需要手动调整图像获取设备的位置,从而造成操作繁琐、效率较低的问题。
以下对该智能设备进行详细介绍。
请参照图11,为本申请实施例提供的一种智能设备的具体结构示意图。该智能设备主要包括存储器111、接收器112和处理器113。其中:
存储器111,用于存储计算机程序指令;
接收器112,用于接收其他设备发送的第一图像;所述第一图像,是所述其他设备对所述智能设备的界面进行拍摄或者扫描而获得的。
所述其他设备,比如可以是图像获取设备。
处理器113,耦合到所述存储器111,用于读取所述存储器111存储的计算机程序指令,并作为响应,执行如下操作:
根据所述第一图像与基准图像的匹配结果,确定待显示第二图像的显示位置;在确定出的显示位置,显示所述第二图像。
可选的,接收器112具体可以用于接收所述其他设备通过所述智能设备与所述其他设备间直接建立的连接,发送的所述第一图像;或接收所述其他设备通过服务器发送的所述第一图像。
可选的,所述界面,为包含所述基准图像的界面。
可选的,处理器113根据所述第一图像与基准图像的匹配结果,确定待显示第二图像的显示位置,具体可以包括:
在所述第一图像与所述基准图像匹配一致时,将所述基准图像在所述界面中所处位置,确定为待显示第二图像的显示位置;或者,
在所述第一图像与所述基准图像的局部匹配一致时,将所述局部在所述界面中所处位置,确定为待显示第二图像的显示位置。
可选的,接收器112具体可以用于在显示所述第二图像前,接收所述其他设备发送的所述第一图像,或在显示第二图像后,接收所述其他设备发送的第一图像。针对后一种情况而言,处理器113在确定出的显示位置,显示所述第二图像,具体可以包括:在第二图像当前的显示位置不同于所述确定出的显示位置时,将所述第二图像调整到所述确定出的显示位置进行显示。
在一种实施方式中,当所述显示位置为显示区域时,处理器113在确定出的显示位置,显示所述第二图像,具体可以包括:处理器113根据所述显示位置,将所述第二图像的显示尺寸调整为与所述显示区域相匹配;在所述显示区域,显示调整后的所述第二图像。
若所述其他设备在对所述第二图像进行拍摄或者扫描后,会对拍摄或扫描得到的相应图像进行识别,那么,在这样的场景下,为了使得所述其他设备能够高效地进行图像识别,本申请实施例提供的该智能设备还可以包括发射器。该发射器,具体用于向所述其他设备发送用以表征所述第二图像的图像类型的信息,以使得所述其他设备执行:根据所述图像类型的信息,调用与所述图像类型相匹配的图像识别算法;并根据所述图像识别算法,识别与所述第二图像对应的待识别图像。
在处理器113显示第二图像后,为了便于所述智能设备后续能够高效地在所述显示位置显示其他图像,本申请实施例提供的该智能设备包括的存储器111,还可以用于保存处理器112确定出的显示位置的信息。
在存储器111还保存有处理器112确定出的显示位置的信息的情况下,处理器112还可以用于在图像刷新条件产生后,根据存储器111保存的所述确定出的显示位置的信息,在所述确定出的显示位置,显示第三图像。
采用本申请实施例提供的智能设备,由于通过其他设备向该智能设备发送对该智能设备的界面进行拍摄或者扫描而获得的第一图像,使得该智能设备根据所述第一图像和基准图像的匹配结果,确定待显示第二图像的显示位置,并在所述显示位置显示所述第二图像,因此,可以实现在所述其他设备所能够拍摄或者扫描的位置进行第二图像的显示,无需调整所述其他设备的位置来适应第二图像所在位置,从而避免了由操作者手动调整所述其他设备的位置导致的操作繁琐、效率较低的问题。
出于与上述方案相同的发明构思,本申请实施例还提供一种图像识别方法和图像识别设备,用以解决基于现有技术中的图像显示方式进行图像识别,可能导致图像获取设备的操作者需要手动调整图像获取设备的位置,从而造成操作繁琐、效率较低的问题。
以下通过介绍实施例2,对本申请实施例提供的图像识别方案进行详细说明。
实施例2
首先对本申请实施例提供的一种图像识别方法进行介绍。
请参见图12,为本申请实施例提供的该图像识别方法的实现流程图,主要包括如下步骤:
步骤121,第一设备通过对第二设备的界面进行拍摄或者扫描,得到第一图像;
其中,这里所说的第一设备,比如可以是图像获取设备;这里所说的第二设备,比如可以是图像显示设备。
本申请实施例2中所述的第一设备,相当于本申请实施例1中所述的第二设备;而本申请实施例2中所述的第二设备,则相当于本申请实施例1中所述的第一设备。
继续以如图2所示的实际场景为例,图像显示设备21,可以显示包含基准图像(图像23)的界面。图像获取设备22通过对该界面进行拍摄或扫描,可以得到相应的图像,该图像即为此处所说的第一图像。
步骤122,第一设备向第二设备发送第一图像。
由于在实施例1中,已经详细介绍了如何根据第一图像确定第二图像的显示位置,因此在实施例2中,对于此部分内容不再赘述。未详尽内容,请参见实施例1中的相关介绍。
本申请实施例中,步骤122具体可以采用下述两种方式之一来实现:
第一种方式:第一设备通过第一设备与第二设备间直接建立的连接,向第二设备发送第一图像;
第二种方式:第一设备通过服务器,向第二设备发送第一图像。
这两种实现方式,可以参考实施例1中详细介绍的内容,此处不再展开进行说明。
步骤123,第一设备识别第二设备显示的第二图像对应的待识别图像。
其中,所述第二图像的显示位置,是根据第一图像与基准图像的匹配结果确定的。所述第二图像对应的待识别图像,是第一设备通过对第二图像进行拍摄或者扫描而获得的。
如何根据第一图像与基准图像的匹配结果,确定第二图像的显示位置,可以参见实施例1中的相关描述,此处不再赘述。
如实施例1中所述,为了使得第一设备能够高效地调用图像识别算法,以及为了避免用户手动选取图像识别算法而可能造成误操作的问题,第二设备还可以向第一设备发送用以表征所述第二图像的图像类型的信息。就第一设备而言,在接收到该表征所述第二图像的图像类型的信息后,可以根据所述图像类型的信息,调用与所述图像类型相匹配的图像识别算法,识别与第二图像对应的待识别图像。
采用本申请实施例提供的上述图像识别方法,由于可以向第二设备发送第一图像,从而使得第二设备能够根据第一图像,确定出待显示第二图像的显示位置,并在该显示位置显示第二图像,从而,采用该方法,可以实现第二设备在第一设备所能够拍摄或者扫描的位置进行第二图像的显示,无需调整第一设备的位置来适应第二图像的显示位置,避免了由操作者手动调整第一设备的位置导致的操作繁琐、效率较低的问题。
出于与上述方法相同的发明构思,本申请实施例还提供一种图像识别设备,用以解决采用现有技术中的图像显示方式,可能导致需要手动调整图像识别设备的位置,从而造成操作繁琐、效率较低的问题。
以下对该图像识别设备进行详细介绍。
该图像识别设备的具体结构示意图如图13所示,包括下述功能单元:
图像获取单元131,用于通过对其他设备的界面进行拍摄或者扫描,得到第一图像。这里所说的其他设备,比如可以是图像显示设备。
图像发送单元132,用于向其他设备发送所述第一图像。
图像识别单元133,用于识别所述其他设备显示的第二图像对应的待识别图像,其中,所述第二图像的显示位置根据所述第一图像与基准图像的匹配结果确定。
可选的,图像发送单元132具体可以用于:
通过图像识别设备与所述其他设备间直接建立的连接,向所述其他设备发送第一图像;或
通过服务器向所述其他设备发送第一图像。
可选的,所述图像识别设备还可以包括:
接收单元,用于接收所述其他设备发送的用以表征所述第二图像的图像类型的信息;则,上述图像识别单元133,具体可以用于根据所述图像类型的信息,调用与所述图像类型相匹配的图像识别算法,识别所述第二图像对应的待识别图像。
采用本申请实施例提供的上述图像识别设备,由于可以向其他设备发送第一图像,从而使得其他设备能够根据第一图像确定出待显示第二图像的显示位置,并在该显示位置显示第二图像,从而,采用该方法,可以实现在所述图像识别设备所能够拍摄或者扫描的位置进行图像的显示,无需调整图像识别设备的位置,避免了由操作者手动调整图像识别设备的位置导致的操作繁琐、效率较低的问题。
出于与上述图像识别方法相同的发明构思,本申请实施例还提供一种智能设备,用以解决采用现有技术中的图像显示方式,可能导致操作者需要手动调整图像识别设备的位置,从而造成操作繁琐、效率较低的问题。
具体地,该智能设备的结构示意图请参见说明书附图14。
如图14所示,该智能设备包括:
摄像头141,用于对其他设备(如图像显示设备)的界面进行拍摄(或者扫描);
存储器142,用于保存摄像头141拍摄(或者扫描)得到的第一图像,以及用于存储计算机程序指令;
发射器143,用于向所述其他设备发送存储器142保存的所述第一图像;
处理器144,耦合到所述存储器142,用于读取所述存储器142存储的计算机程序指令,并作为响应,执行如下操作:
识别所述其他设备显示的第二图像对应的待识别图像,其中,所述第二图像的显示位置根据所述第一图像与基准图像的匹配结果确定。
所述待识别图像,一般是摄像头141对所述其他设备显示的第二图像进行拍摄或者扫描,而获得的。
可选的,发射器143可以通过该智能设备与所述其他设备间直接建立的连接,向所述其他设备发送第一图像;或,通过服务器向所述其他设备发送第一图像。
可选的,为了使得该智能设备能够高效地调用图像识别算法,以及为了避免用户手动选取图像识别算法而可能造成误操作的问题,该智能设备还可以包括接收器145。该接收器145,具体用于接收所述其他设备发送的用以表征所述第二图像的图像类型的信息。若接收器145接收到用以表征所述第二图像的图像类型的信息,则处理器144具体可以用于:根据所述图像类型的信息,调用与所述图像类型相匹配的图像识别算法,识别所述待识别图像。
采用本申请实施例提供的上述智能设备,由于可以向所述其他设备发送第一图像,从而使得所述其他设备能够根据该第一图像,确定出待显示第二图像的显示位置,并在该显示位置显示第二图像,从而,采用该方法,可以实现在该智能设备所能够拍摄或者扫描的位置进行第二图像的显示,无需调整该智能设备的位置来适应第二图像,避免了由操作者手动调整该智能设备的位置导致的操作繁琐、效率较低的问题。
实施例3
以下结合一种实际应用场景,详细说明本申请实施例1和2提供的方案在实际中的应用流程。
该实际应用场景,假设是如图15所示的场景。在该场景下,存在两个设备,分别是用户所使用的安装有支付类应用151的手机,以及具备图像显示功能的自动售货机152。其中,自动售货机152,是一种可自动出售货品的计算设备,并且,该自动售货机152具备显示屏153。
假设用户期望利用支付类应用151,采用扫描自动售货机152显示的包含商品属性信息的二维码的方式,进行商品购买。那么,这个过程的实现流程图如图16所示,包括下述步骤:
步骤161,用户在步行到自动售货机152附近后,用户的手机与该自动售货机152的Wi-Fi模块自动建立Wi-Fi连接,也即支付类应用151与该自动售货机152自动建立Wi-Fi连接;
步骤162,用户按下自动售货机152显示的商品选取按钮,以选定欲购买的商品;
一般地,用户通过按下商品选取按钮,可以触发商品选定指令,该指令中可以包含商品标识。
步骤163,自动售货机152在接收到商品选定指令后,显示基准图像;
或者,自动售货机152可以在接收到第一图像前,即便没有接收到商品选定指令,也可以显示基准图像。该基准图像,可以是具备一定广告效果的图像,如包含商品详情的图像,或者某正在上映的电影的海报,等等。
步骤164,用户手持手机,触发支付类应用151调用手机的摄像头对基准图像进行拍摄,得到相应的图像,即得到第一图像;
需要说明的是,在支付类应用151得到第一图像后,由于下述步骤165~步骤169可以在较短时间内完成,因此,用户仅需要保持拍摄基准图像的动作很短的时间,即可通过步骤1610,扫描到包含商品属性的二维码,而对执行步骤165~步骤169所耗费的时长不会有所感知,从而不会影响用户体验。
以下对步骤165~步骤1610进行介绍。
步骤165,支付类应用151通过与自动售货机152之间建立的Wi-Fi连接,向自动售货机152发送第一图像;
步骤166,自动售货机152对第一图像和基准对象进行图像匹配,得到图像匹配结果;
假设得到的图像匹配结果为:第一图像和基准对象的某个局部的图像的各指定特征之间的相似度,均超过预设的相似度阈值(如99%),那么,执行步骤167。
步骤167,自动售货机152将所述局部在基准图像的显示界面中所处区域,确定为待显示第二图像的显示位置;
步骤168,自动售货机152根据用户选定的商品的属性信息,生成包含商品的属性信息的二维码(相当于第二图像);
这里所说的属性信息,一般包括商品的名称和商品的价格。
步骤169,自动售货机152根据确定出的显示位置,将生成的二维码显示在界面的所述显示位置处;
步骤1610,支付类应用151扫描自动售货机152显示的二维码;
步骤1611,支付类应用151根据扫描到的二维码中包含的商品的价格,完成付款,并将成功付款的通知消息,发送给自动售货机152;
步骤1612,自动售货机152将用户成功购买的商品提供给用户,流程结束。
由上述流程可知,采用本申请实施例提供的方案,由于支付类应用151可以向自动售货机152,发送作为确定待显示的第二图像的显示位置的依据的第一图像,从而使得自动售货机152能够根据该依据,确定出待显示第二图像的显示位置,并在该显示位置显示第二图像,从而,采用该方法,可以实现在支付类应用151所在的手机所能够拍摄或者扫描的位置进行第二图像的显示,无需调整手机的位置来适应第二图像,避免了由用户手动调整手机的位置导致的操作繁琐、效率较低的问题,大大提升了用户的操作体验。
实施例4
本实施例4将以测试场景为例,综合说明上述实施例1与实施例2提供的方案在实际中的另一种应用流程。
具体的,该测试场景的示意图如图4所示,包括作为图像获取设备22的手机22,以及作为图像显示设备21的计算机21,除此之外,假设该场景中还存在作为服务器41的另一台计算机。其中,服务器41和手机22、计算机21分别建立连接。
该场景下的测试目标,假设是测试手机22对于不同类型的图像的识别算法是否能够正常运行。
基于上述假设,在该测试场景下,具体的测试流程可以包括如图17所示的下述步骤:
步骤171,测试人员将手机22,固定放置在计算机21的显示屏前方,使得手机22的摄像头能够对显示屏的界面进行拍摄,然后,手机22向服务器41发送测试开始指令;
具体的,测试人员操控手机22,进入手机22中安装的自动化测试框架提供的测试界面,手机22在进入测试界面后,向服务器41发送测试开始指令。
步骤172,服务器41在接收到手机发送的测试开始指令后,将该测试开始指令,发送给计算机21;
步骤173,计算机21在接收到测试开始指令后,在计算机21的显示屏上显示预览图像;
该预览图像,即基准图像。
步骤174,测试人员控制手机22拍摄计算机21的显示屏上的预览图像,从而得到第一图像;
步骤175,手机22将第一图像发送给服务器41;
步骤176,服务器41将第一图像,发送给计算机21;
步骤177,计算机21对基准图像和接收到的第一图像进行图像匹配,得到匹配结果;
若假设得到的匹配结果,是基准图像的局部与第一图像的各指定特征之间的相似度,均超过预设的相似度阈值(如99%),那么,执行步骤178。
步骤178,计算机21将所述局部在显示有预览图像的界面中所处显示区域,确定为待显示第二图像的区域;
步骤179,计算机21获取一张用作测试的图像(也即第二图像),并获取该第二图像的图像类型标识;
针对步骤179而言,可以有以下两种实现方式。
第一种方式,假设计算机21中依次存储有二维码、条形码图像和人脸的这三种类型的测试图像,并且,还存储有测试图像对应的图像类型标识,以及根据测试图像中包含的目标对象的信息生成的电子信息卡片。那么,计算机21可以从存储的测试图像中,获取一张用作测试的图像作为第二图像,并获取该第二图像的图像类型标识。
第二种实现方式,计算机21调用图像生成器根据计算机21保存的用于生成图像的数据,生成第二图像,比如生成作为第二图像的二维码图像或者条形码图像。在生成第二图像后,计算机21可以按照与手机22约定的图像类型标识生成方式,生成与第二图像对应的图像类型标识。其中,图像生成器,可以是指用于生成图像的一种程序。
本申请实施例中,假设通过执行步骤179,计算机21获取到(或生成了)二维码图像,以及获取到(或生成了)二维码图像的图像类型标识,那么后续执行步骤1710。
步骤1710,计算机21根据通过执行步骤178确定出的待显示第二图像的区域,将通过执行步骤179获取到的二维码图像,显示在界面的该区域中;
步骤1711,计算机21将获取到的二维码图像的图像类型标识,发送给服务器41;
步骤1712,服务器41将接收到的二维码图像的图像类型标识,发送给手机22;
步骤1713,手机22接收服务器41发送的二维码图像的图像类型标识,显示与二维码对应的图像扫描窗口(该窗口可以参见说明书附图9),并启动摄像头对计算机21显示的二维码图像进行扫描,此外,手机22根据二维码图像的图像类型标识,调用二维码图像识别算法对扫描得到的图像(待识别图像),进行识别;
步骤1714,手机22根据识别出的二维码图像中包含的信息,生成电子信息卡片;
比如,若二维码图像中包含的是电影名称和上映时间,则手机22在识别出这两个信息后,根据这两个信息,生成包含这两个信息的电子信息卡片。
步骤1715,手机22将生成的电子信息卡片发送给服务器41;
步骤1716,服务器41将手机22发送来的电子信息卡片发送给计算机21;
步骤1717,计算机21比较计算机21保存的与显示的二维码图像对应的电子信息卡片是否与服务器41发送来的电子信息卡片相同,并根据比较结果,得出测试结果。
具体地,比如,若两张信息卡片相同,则得出的测试结果可以为“二维码扫描与识别功能正常”;否则,则得出的测试结果可以为“二维码扫描与识别功能不正常”。
在步骤1717执行完毕后,可以流程结束;或者,计算机21也可以判断存储的测试图像中,是否还有未进行过显示的测试图像,若有,则计算机21可以执行与步骤1710类似的步骤,即:根据通过执行步骤178确定出的待显示第二图像的区域,将未进行过显示的测试图像,显示在界面的该区域中。进而再执行与步骤1711~步骤1717类似的步骤,得到基于该张未进行过显示的测试图像的测试结果。
针对本申请实施例4介绍的上述流程而言,由于通过手机22发送对计算机21的界面进行拍摄或者扫描而获得的第一图像,使得计算机21根据所述第一图像和基准图像的匹配结果,确定待显示第二图像的显示位置,并在所述显示位置显示测试图像,因此,可以实现在手机22所能够拍摄或者扫描的位置进行测试图像的显示,无需调整手机22的位置来拍摄测试图像,从而避免了由测试人员手动调整手机22的位置导致的操作繁琐、效率较低的问题。此外,由于计算机21可以将测试图像对应的图像类型的标识发送给手机,使得手机可以根据该标识,调用与图像类型匹配的图像识别算法进行图像识别,因此,测试人员无需手动调用图像识别算法,提高了测试效率,同时避免了手动调用图像识别算法可能存在的误操作的问题。此种测试方案,在需要对大量测试图像一一进行图像识别的场景下,可以大大提升测试效率。
本领域的技术人员应明白,本申请的实施例可提供为方法、设备(设备)、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的设备。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令设备的制造品,该指令设备实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。