CN112261295B - 图像的处理方法、设备以及存储介质 - Google Patents

图像的处理方法、设备以及存储介质 Download PDF

Info

Publication number
CN112261295B
CN112261295B CN202011137508.8A CN202011137508A CN112261295B CN 112261295 B CN112261295 B CN 112261295B CN 202011137508 A CN202011137508 A CN 202011137508A CN 112261295 B CN112261295 B CN 112261295B
Authority
CN
China
Prior art keywords
image
pose information
image acquisition
preset condition
reference images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011137508.8A
Other languages
English (en)
Other versions
CN112261295A (zh
Inventor
彭翊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202011137508.8A priority Critical patent/CN112261295B/zh
Publication of CN112261295A publication Critical patent/CN112261295A/zh
Application granted granted Critical
Publication of CN112261295B publication Critical patent/CN112261295B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Abstract

本申请实施例提供了一种图像的处理方法、设备以及存储介质。该方法包括:终端设备获取其位姿信息,该位姿信息用于表征终端设备对目标对象进行图像获取时的位置和姿态,并基于位姿信息,获取目标对象的第一图像,第一图像为基于n个参考图像得到的,参考图像为通过第一图像采集装置采集的图像,该终端设备不包含第一图像采集装置。实现了使用图像采集能力较差、甚至不具备图像采集能力的终端设备获得高质量的图像。

Description

图像的处理方法、设备以及存储介质
技术领域
本申请实施例涉及图像处理技术领域,并且更具体地,涉及图像的处理方法、设备以及存储介质。
背景技术
目前,终端设备中常部署有多个摄像头,多个摄像头协同工作,分别对目标对象进行图像采集,并将采集得到的图像信息进行融合,得到最终的拍摄图像,使拍摄的图像具有更多的光谱信息,以及更好的图像质量。
随着摄像头数量的不断增多,终端设备的成像质量越来越好,但是过多的摄像头对终端设备的外观以及用户握持终端设备的舒适度带来较大的影响。
发明内容
本申请实施例提供了一种图像的处理方法、设备以及存储介质。
第一方面,提供了一种图像的处理方法,包括:
终端设备获取其位姿信息,位姿信息用于表征终端设备对目标对象进行图像获取时的位置和姿态;
基于位姿信息,获取目标对象的第一图像;
其中,第一图像为基于n个参考图像得到的,n为大于等于1的正整数;参考图像为通过第一图像采集装置采集的图像,终端设备不包含第一图像采集装置。
第二方面,提供了一种图像的处理方法,包括:
接收终端设备发送的第一图像获取指令,第一图像获取指令包括终端设备的位姿信息,位姿信息用于表征终端设备对目标对象进行图像获取时的位置和姿态;
基于位姿信息,确定第一图像;第一图像为基于n个参考图像得到的,n为大于等于1的正整数;参考图像为通过第一图像采集装置采集的图像,终端设备不包含第一图像采集装置;
将第一图像发送至终端设备。
第三方面,提供了一种图像的处理方法,包括:
接收终端设备发送的第三图像获取指令,第三图像获取指令包括终端设备的相机参数和位姿信息,位姿信息用于表征终端设备对目标对象进行图像获取时的位置和姿态;
基于相机参数和位姿信息,确定第一图像;第一图像为基于n个参考图像得到的,n为大于等于1的正整数;参考图像为通过第一图像采集装置采集的图像,终端设备不包含第一图像采集装置;
将第一图像发送至终端设备。
第四方面,提供了一种终端设备,包括:
获取单元,用于获取终端设备位姿信息,位姿信息用于表征终端设备对目标对象进行图像获取时的位置和姿态;
获取单元还用于基于位姿信息,获取目标对象的第一图像;
其中,第一图像为基于n个参考图像得到的,n为大于等于1的正整数;参考图像为通过第一图像采集装置采集的图像,终端设备不包含第一图像采集装置。
第五方面,提供了一种服务器,包括:
接收单元,用于接收终端设备发送的第一图像获取指令,第一图像获取指令包括终端设备的位姿信息,位姿信息用于表征终端设备对目标对象进行图像获取时的位置和姿态;
处理单元,用于基于位姿信息,确定第一图像;第一图像为基于n个参考图像得到的,n为大于等于1的正整数;参考图像为通过第一图像采集装置采集的图像,终端设备不包含第一图像采集装置;
发送单元,用于将第一图像发送至终端设备。
第六方面,提供了一种服务器,包括:
接收单元,用于接收终端设备发送的第三图像获取指令,第三图像获取指令包括终端设备的相机参数和位姿信息,位姿信息用于表征终端设备对目标对象进行图像获取时的位置和姿态;
处理单元,用于基于相机参数和位姿信息,确定第一图像;第一图像为基于n个参考图像得到的,n为大于等于1的正整数;参考图像为通过第一图像采集装置采集的图像,终端设备不包含第一图像采集装置;
发送单元,用于将第一图像发送至终端设备。
第七方面,提供了一种终端设备,包括:处理器和存储器,该存储器用于存储计算机程序,处理器用于调用并运行存储器中存储的计算机程序,执行如第一方面或其各实现方式中的方法。
第八方面,提供了一种服务器,包括:处理器和存储器,该存储器用于存储计算机程序,处理器用于调用并运行存储器中存储的计算机程序,执行如第二方面或其各实现方式中的方法。
第九方面,提供了一种服务器,包括:处理器和存储器,该存储器用于存储计算机程序,处理器用于调用并运行存储器中存储的计算机程序,执行如第三方面或其各实现方式中的方法。
第十方面,提供一种计算机可读存储介质,用于存储计算机程序,计算机程序使得计算机执行如第一方面、第二方面、第三方面或其各实现方式中的方法。
第十一方面,提供一种计算机程序产品,包括计算机程序指令,该计算机程序指令使得计算机执行如第一方面、第二方面、第三方面或其各实现方式中的方法。
第十二方面,提供一种计算机程序,计算机程序使得计算机执行如第一方面、第二方面、第三方面或其各实现方式中的方法。
通过上述第一方面的技术方案,根据终端设备的位姿信息,能够获取基于n个参考图像确定的目标对象的第一图像,而n个参考图像均由至少一个第一图像采集装置采集,该第一图像采集装置不属于终端设备,实现了使用图像采集能力较差、甚至不具备图像采集能力的终端设备对目标对象进行图像获取,获得高质量的成像效果。
附图说明
图1a或图1b为本申请实施例提供的一种图像处理系统100的结构示意图;
图2为本申请实施例提供的一种图像的处理方法200的流程示意图;
图3为本申请实施例提供的一种图像的处理方法300的流程示意图;
图4为本申请实施例提供的一种图像的处理方法400的流程示意图;
图5为本申请实施例提供的一种图像的处理方法500的流程示意图;
图6为本申请实施例提供的一种图像的处理方法600的流程示意图;
图7示出了根据本申请实施例的终端设备700的示意性框图;
图8示出了根据本申请实施例的服务器800的示意性框图;
图9示出了根据本申请实施例的服务器900的示意性框图;
图10是本申请实施例提供的一种终端设备1000示意性结构图;
图11是本申请实施例提供的一种服务器1100示意性结构图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。针对本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例的技术方案的执行主体为终端设备。该终端设备包括手机(MobilePhone)、平板电脑(Pad)、电脑、虚拟现实(Virtual Reality,VR)终端设备、增强现实(Augmented Reality,AR)终端设备、工业控制(industrial control)中的终端设备、无人驾驶(self driving)中的终端设备、远程医疗(remote medical)中的终端设备、智慧城市(smart city)中的终端设备或智慧家庭(smart home)中的终端设备等。本申请实施例中的终端设备还可以是可穿戴设备,可穿戴设备也可以称为穿戴式智能设备,是应用穿戴式技术对日常穿戴进行智能化设计、开发出可以穿戴的设备的总称,如眼镜、手套、手表、服饰及鞋等。可穿戴设备即直接穿在身上,或是整合到用户的衣服或配件的一种便携式设备。终端设备可以是固定的或者移动的。
示例性的,本申请实施例的技术方案的执行主体可以为终端设备和服务器,通过终端设备与服务器之间的交互,实现本申请实施例所要保护的技术方案。
往往在终端设备中设置有多个摄像头,以满足用户对终端设备成像质量的高要求,然而设置的摄像头越来越多,影响了终端设备的美观度以及用户的握持感受,并且,多摄像头模组在终端设备中占据了较大的体积,不便于合理设计终端设备中的其他器件。
为了解决上述技术问题,本申请的发明构思是:通过本终端设备之外的一个或多个电子设备(即设置有下文中的第一图像采集装置的设备),对所要拍摄的目标对象进行图像采集,得到至少一个参考图像,并根据至少一个参考图像,得到目标对象的拍摄图像(下文称作第一图像),使本终端设备能够借助其他电子设备的图像采集装置获取参考图像,以丰富拍摄图像的图像信息,电子设备的数量越多或者电子设备的第一图像采集装置越多或者第一图像采集装置的采集能力越强,则参考图像的图像信息越丰富,所得到的拍摄图像的质量越高,在不增加本终端设备的摄像头的情况下,获得高质量的拍摄图像。示例性的,电子设备除了上文列举的多种终端设备外,还可以是监控摄像头、行车记录仪、天文望远镜或卫星等。
本申请实施例的技术方案可适用于如下场景,但不限于此:
场景一:室外场景拍摄,例如用户在使用终端设备进行拍照时,无论终端设备是否设置有图像采集装置,均可通过调用周边任何允许共享成像的电子设备(监控摄像头、行车记录仪、其他启动拍照功能的终端设备等),获取电子设备采集的参考图像,并基于参考图像生成最终的目标对象的图像(同下文中的第一图像)。
场景二:极端场景拍摄,例如在南极拍极光、在沙漠拍银河,主编没有可用的电子设备。这时,终端设备通常对焦在无穷远处,根据终端设备的焦距,可调用天文望远镜、卫星或空间站上的相机,来获取参考图像,进而得到第一图像。
场景三:室内场景拍摄,用户在室内使用终端设备进行拍照时,可调用室内安装的安防摄像头获取参考图像,进而得到第一图像。
图1a或图1a为本申请实施例提供的一种图像处理系统100的结构示意图。
该图像处理系统100至少包括如图1a或图1b中所示的终端设备110。
终端设备110可以包括第二图像采集装置,第二图像采集装置为任一具有图像采集功能的图像采集装置,示例性的,第二图像采集装置可以包括一至多个摄像头;或者终端设备110可以不包括任何图像采集装置,当终端设备110不包括任何图像采集装置时,可理解为终端设备110中设置有虚拟相机,示例性的,虚拟相机可通过软件编程实现,用户可通过虚拟相机进行相机参数的设置,虚拟相机无法直接采集图像,但可通过用户的设置或者终端设备中设置的其他传感器获取图像信息。
示例性的,当用户握持或者摆放终端设备110,使终端设备110对准目标对象后,终端设备110获取自身的位姿信息,并根据位姿信息获取目标对象的第一图像。
示例性的,在终端设备110获取第一图像的过程中,若终端设备110上设置有第二图像采集装置,则通过第二图像采集装置采集目标对象的第二图像,并基于第二图像获取第一图像。
若终端设备110未设置任何图像采集装置,则通过虚拟相机模块确定目标对象,并通过虚拟相机获取目标对象的第二图像,此处第二图像为虚拟图像,该第二图像至少包括以下几种信息:预设的视场、焦距、光圈等,以及传感器获取的光照信息、温度信息,可选的,虚拟相机还可以根据用户的操作(例如点击虚拟快门的操作),获取曝光时间。
结合图1b所示,示例性的,该图像处理系统100还包括至少一个第一图像采集装置130,该第一图像采集装置130不设置于终端设备110上,第一图像采集装置130可与终端设备110通过有线或者无线的方式连接,或者可设置于任一电子设备中,通过电子设备与终端设备110连接,实现终端设备110与第一图像采集装置130的连接,例如图中所示的监控摄像头、手机,以及图中未示出的行车记录仪、天文望远镜、卫星、电脑、平板或可穿戴设备等等,其中,第一图像采集装置为任一具有图像采集功能的图像采集装置,可选的,第一图像采集装置包括一至多个摄像头。
在终端设备110获取第一图像的过程中,可根据获取的自身的位姿信息中的位置信息,确定与终端设备110的距离处于预设范围内的至少一个第一图像采集装置130,并根据位姿信息生成图像采集指令,向至少一个第一图像采集装置130发送该图像采集指令,控制该至少一个第一图像采集装置进行图像采集,得到n个参考图像。进而,终端设备根据n个参考图像确定第一图像,或者根据n个参考图像和第二图像确定第一图像。
结合图1a所示,示例性的,该图像处理系统100还包括服务器120,服务器120可以是云端服务器,服务器120与终端设备110和至少一个图像采集装置130分别通过有线或者无线的方式链接。
服务器120可接收至少一个图像采集装置130发送的图像,并对图像进行存储。
服务器120可接收终端设备110发送的任一图像获取指令,包括下文中的第一图像获取指令至第四图像获取指令,并根据对应的图像获取指令,执行对应的操作。
终端设备110确定自身的位姿信息后,向服务器120发送用于获取第一图像的图像获取指令(包括下文中的第一图像获取指令或第三图像获取指令),服务器120基于第一图像获取指令中的位姿信息,或者基于第三图像获取指令中的相机参数和位姿信息,获取对应的第一图像,并将第一图像发送至终端设备110。
或者终端设备110确定自身的位姿信息后,向服务器120发送用于获取n个参考图像的图像获取指令(包括下文中的第二图像获取指令或第四图像获取指令)。服务器120基于第二图像获取指令中的位姿信息,获取n个参考图像,并将n个参考图像发送给终端设备110,使终端设备110根据n个参考图像确定第一图像;或者服务器120基于第四图像获取指令中的相机参数和位姿信息,获取n个参考图像,并将n个参考图像发送给终端设备110。进而,终端设备110根据n个参考图像确定第一图像,或者根据n个参考图像和第二图像确定第一图像。
可选的,服务器120接收终端设备110发送的图像采集指令后,根据图像采集指令控制至少一个第一图像采集装置130进行图像采集,得到n个参考图像。进而,将n个参考图像发送至终端设备110,或者基于n个参考图像,确定第一图像,并将第一图像发送至终端设备110。
下面通过几个实施例对本申请进行具体说明。
图2为本申请实施例提供的一种图像的处理方法200的流程示意图。
为了提高终端设备的成像质量,并减少终端设备上图像采集装置的摄像头的数量,甚至不在终端设备上设图像采集装置,本申请实施例基于终端设备对准目标对象时的位姿信息,获取基于n个参考图像确定的第一图像,n个参考图像为从至少一个不设置于终端设备上的第一图像采集装置采集的。
如图2所示,该方法包括:
S201:终端设备获取其位姿信息。
其中,位姿信息用于表征该终端设备对目标对象进行图像获取时的位姿和姿态。
在用户需要使用终端设备进行图像获取时,用户可通过握持或者摆放终端设备使终端设备对准目标对象,示例性的,终端设备在检测到用户启动拍摄功能后,获取终端设备的位姿信息。可选的,该拍摄功能包括拍照和摄像。若用户启动摄像,则动态获取终端设备的位姿信息;若用户启动拍照,则在触发快门后获取终端设备的位姿信息,或者,在启动拍照后至触发快门的过程中动态获取终端设备的位姿信息。
示例性的,位姿信息包括位置信息和姿态信息。可通过任一定位技术,例如全球定位系统(Global Positioning System,GPS),获取终端设备的位置信息;可通过终端设备中设置的加速度传感器获取该终端设备的姿态信息,该姿态信息包括但不限于偏转角和倾斜角,或者偏转角和倾斜角中的一种。
S202:基于位姿信息,获取目标对象的第一图像。
应理解,第一图像为基于n个参考图像得到的,n为大于等于1的正整数,参考图像为通过第一图像采集装置采集的图像,且终端设备不包含任一第一图像采集装置。
可能的实现方式一,终端设备基于获取的位姿信息,获取n个参考图像,并基于n个参考图像,得到第一图像,例如将n个参考图像进行图像融合,得到第一图像。
上述基于获取的位姿信息,获取n个参考图像,包括以下三种可能的实现方式:
一、基于位姿信息,在数据库中匹配得到n个参考图像。
该数据库为终端设备对应的本地数据库,数据库可接收任一第一图像采集装置采集的图像,并将接收到的图像进行存储,示例性的,数据库中存储的全部图像均可作为待匹配图像,或者可从存储的图像中筛选得到待匹配图像,例如选择清晰度高于预设值的图像作为待匹配图像。
示例性的,每个待匹配图像都携带有位姿信息,针对每个待匹配图像,若第一位姿差值小于第一预设位姿差值,则确定待匹配图像为参考图像,第一位姿差值为终端设备的位姿信息和待匹配图像的位姿信息的差值,应理解,该第一位姿差值可以是终端设备的位姿信息和待匹配图像的位姿信息的差值的绝对值。
进一步地,在与全部待匹配图像匹配后即可得到n个参考图像,终端设备将得到的n个参考图像进行图像融合,得到第一图像。
二、相比于一,为了使参考图像更加接近终端设备所要拍摄的目标对象的图像,可控制邻近的至少一个第一图像采集装置基于位姿信息,进行图像采集,得到n个参考图像。
示例性的,针对每个第一图像采集装置,若第一位置差值小于第一预设位置差值,则控制第一图像采集装置基于位姿信息进行图像采集,得到n个参考图像,第一位置差值为终端设备的位置信息和第一图像采集装置的位置信息的差值,一般来说,该差值为差值的绝对值。
结合图1b所示,在确定第一位置差值小于第一预设位置差值后,终端设备向对应的第一图像采集装置发送图像采集指令,该图像采集指令携带有终端设备的位姿信息,第一图像采集装置响应于图像采集指令,根据终端设备的位姿信息计算得到自身的姿态信息,并基于自身的姿态信息,调整偏转角和/或倾斜角,以采集参考图像。
或者在确定第一位置差值小于第一预设位置差值后,终端设备根据自身的位姿信息和对应的第一图像采集装置的位置信息,计算得到第一图像采集装置的姿态信息,向该第一图像采集装置发送携带有第一图像采集装置的姿态信息的图像采集指令,第一图像采集装置按照该图像采集指令中的姿态信息,调整偏转角和/或倾斜角,以采集参考图像。
可选的,每个第一图像采集装置可采集一至多个参考图像,本申请对此不做限制。
三、终端设备还可以基于位姿信息,生成第二图像获取指令,并将第二图像获取指令发送至服务器,使服务器基于第二图像获取指令中的位姿信息,确定n个参考图像。
示例性的,服务器中设置有数据库,该数据库用于存储每个第一图像采集装置采集的图像,将接收到的全部图像作为待匹配图像,或者通过筛选得到待匹配图像,例如将清晰度高于预设值的图像作为待匹配图像,并基于接收到的位姿信息,与待匹配图像进行匹配得到n个参考图像。
示例性的,服务器接收到第二图像获取指令后,确定与终端设备的位置信息的差值小于第一预设位置差值的位置信息对应的第一图像采集装置,并生成图像采集指令,通过图像采集指令控制对应的第一图像采集装置采集参考图像。
示例性的,该图像采集指令携带有终端设备的位姿信息,第一图像采集装置响应于图像采集指令,根据终端设备的位姿信息计算得到自身的姿态信息,并基于自身的姿态信息,调整偏转角和/或倾斜角,以采集参考图像。
或者服务器根据终端设备的位姿信息和对应的第一图像采集装置的位置信息,计算得到第一图像采集装置的姿态信息,向该第一图像采集装置发送携带有第一图像采集装置的姿态信息的图像采集指令,第一图像采集装置按照该图像采集指令中的姿态信息,调整偏转角和/或倾斜角,以采集参考图像。
服务器将获取的n个参考图像发送至终端设备。
可能的实现方式二,相比于可能的实现方式一,为了减少终端设备的运算消耗,基于位姿信息获取第一图像的过程可由服务器执行。
终端设备基于位姿信息,生成第一图像获取指令,并向服务器发送第一图像获取指令,服务器接收该第一图像获取指令,并基于第一图像获取指令中携带的位姿信息,确定第一图像,进而服务器向终端设备发送的该第一图像。
图3为本申请实施例提供的一种图像的处理方法300的流程示意图。
图3所示为可能的实现方式二的一种示例,该方法包括:
S301:终端设备获取其位姿信息。
本步骤与步骤S201具有相同或类似的实现过程,此处不再赘述。
S302:终端设备基于位姿信息,生成第一图像获取指令。
该第一图像获取指令携带有终端设备的位姿信息,用于获取第一图像。
S303:终端设备向服务器发送第一图像获取指令。
服务器接收终端设备发送的第一图像获取指令后,可选择如步骤S304-1所示的过程,或者可选择如步骤S304-2、S305至S307所示的过程,来获取n个参考图像。
S304-1:服务器基于位姿信息,在数据库中匹配得到n个参考图像。
S304-2:服务器基于位姿信息,生成图像采集指令。
S305:服务器向至少一个第一图像采集装置发送图像采集指令。
S306:至少一个第一图像采集装置中的每个第一图像采集装置均基于图像采集指令进行图像采集,最终得到n个参考图像。
S307:至少一个第一图像采集装置向服务器发送n个参考图像,应理解,每个第一图像采集装置分别向服务器发送采集到的参考图像。
上述步骤S304-1、S304-2、S305至S307与上述可能的实现方式一中的三类似,此处不再赘述。
S308:服务器基于n个参考图像,得到第一图像。
在本步骤中,服务器可将n个参考图像进行图像融合,得到第一图像。
S309:服务器向终端设备发送第一图像。
进一步地,终端设备将获取的第一图像保存并显示。可选的,基于动态获取的终端设备的位姿信息,将与每个位姿信息对应的第一图像进行动态呈现,例如,摄像时动态呈现第一图像以对拍摄的内容进行预览,或者拍照时触发快门前动态呈现第一图像以预览将要拍摄的画面。
综上所述,根据终端设备的位姿信息,能够获取基于n个参考图像确定的目标对象的第一图像,而n个参考图像均由至少一个第一图像采集装置采集,该第一图像采集装置不属于终端设备,实现了使用图像采集能力较差、甚至不具备图像采集能力的终端设备对目标对象进行图像获取,获得高质量的成像效果。
为了使参考图像更接近用户使用终端设备对准目标对象时所能够获取的图像,提高成像质量,本申请实施例依据第一预设条件对获取的n个参考图像进行筛选。
示例性的,针对n个参考图像中的每个参考图像,确定参考图像是否满足第一预设条件,从而确定满足第一预设条件的m个参考图像,应理解,m为大于等于1的正整数,且m小于等于n,并基于满足第一预设条件的m个参考图像,得到第一图像,例如将m个参考图像进行图像融合得到第一图像。
作为一种可能的实现方式,确定参考图像是否满足第一预设条件,包括:确定该参考图像的采集时间是否晚于第一预设时间,若参考图像的采集时间晚于第一预设时间,则确定该参考图像满足第一预设条件,否则,该参考图像不满足第一预设条件。
图4为本申请实施例提供的一种图像的处理方法400的流程示意图。
为了进一步提高成像质量,使最终的第一图像更加贴合用户使用终端设备期待得到的目标对象的图像。本申请实施例在终端设备上设置有第二图像采集装置,或者设置有虚拟相机。
S401:终端设备获取其相机参数和位姿信息。
终端设备可直接读取其相机参数,该相机参数可以是默认的相机参数或者根据用户的设置生成的相机参数,本申请对此不做限制,相机参数包括焦距和光圈或者二者中的任一个。
终端设备获取其位姿信息的的过程与步骤S201类似,此处不再赘述。
S402:基于相机参数和位姿信息,获取目标对象的第一图像。
本实施例中,获取位姿信息的过程与步骤S201类似,此处不再赘述。
实现方式一,基于相机参数和位姿信息,获取n个参考图像,基于n个参考图像和第二图像,得到第一图像,第二图像为通过终端设备对目标对象进行图像采集得到的,示例性的,若终端设备未设置第二图像采集装置,则通过虚拟相机进行虚拟的图像采集过程,以得到第二图像,该第二图像为一种虚拟图像,至少包括预设的视场、焦距、光圈等信息中的至少一种。
上述基于相机参数和位姿信息,获取n个参考图像的过程,包括以下三种可能的实现方式:
一、基于相机参数和位姿信息,在数据库中匹配得到n个参考图像。
该数据库为终端设备对应的本地数据库,数据库可接收任一第一图像采集装置采集的图像,并将接收到的图像进行存储,示例性的,数据库中存储的全部图像均可作为待匹配图像,或者可从存储的图像中筛选得到待匹配图像,例如选择清晰度高于预设值的图像作为待匹配图像。
示例性的,每个待匹配图像都携带有位姿信息和相机参数,针对每个待匹配图像,若第二位姿差值小于第二预设位姿差值,且相机参数差值小于预设相机参数差值,则确定该待匹配图像为参考图像,第二位姿差值为终端设备的位姿信息和待匹配图像的位置信息的差值,相机参数差值为终端设备的相机参数和待匹配图像的相机参数的差值,应理解,第二位姿差值和相机参数差值均为差值的绝对值。在与全部待匹配图像匹配后即可得到n个参考图像。
可选的,第二位姿差值与第一位姿差值可以相同也可以不同。
二、为了使参考图像更贴近于第二图像,可控制邻近的至少一个第一图像采集装置基于位姿信息和相机参数进行图像采集,得到n个参考图像。
示例性的,针对每个第一图像采集装置,若第二位置差值小于第二预设位置差值,则控制第一图像采集装置基于位姿信息进行图像采集,得到n个参考图像,第二位置差值为终端设备的位置信息和第一图像采集装置的位置信息的差值,一般来说,该差值为差值的绝对值。
结合图1b所示,在确定第二位置差值小于第二预设位置差值后,终端设备向对应的第一图像采集装置发送图像采集指令,该图像采集指令携带有终端设备的位姿信息和相机参数,第一图像采集装置响应于图像采集指令,根据终端设备的位姿信息和自身的位置信息计算得到自身的姿态信息,并基于自身的姿态信息,调整偏转角和/或倾斜角,基于相机参数进行设置,以采集参考图像。
或者在确定第二位置差值小于第二预设位置差值后,终端设备根据自身的位姿信息和对应的第一图像采集装置的位置信息,计算得到第一图像采集装置的姿态信息,向该第一图像采集装置发送携带有相机参数和第一图像采集装置的姿态信息的图像采集指令,第一图像采集装置按照该图像采集指令中的姿态信息和相机参数,调整偏转角和/或倾斜角,并进行对应的参数设置,以采集参考图像。
可选的,每个第一图像采集装置可采集一至多个参考图像,本申请对此不做限制。
可选的,第二预设位置差值与第一预设位置差值可以相同也可以不同。
三、终端设备还可以基于相机参数和位姿信息,生成第四图像获取指令,并将第四图像获取指令发送至服务器,使服务器基于第四图像获取指令中的位姿信息,确定n个参考图像。
示例性的,服务器接收到第四图像获取指令后,确定与终端设备的位置信息的差值小于第一预设位置差值的位置信息对应的第一图像采集装置,并生成图像采集指令,通过图像采集指令控制对应的第一图像采集装置采集参考图像。
示例性的,该图像采集指令携带有终端设备的位姿信息和相机参数,第一图像采集装置响应于图像采集指令,根据终端设备的位姿信息计算得到自身的姿态信息,并基于自身的姿态信息,调整偏转角和/或倾斜角,以及基于相机参数设置对应的参数,以采集参考图像。
或者服务器根据终端设备的位姿信息和对应的第一图像采集装置的位置信息,计算得到第一图像采集装置的姿态信息,向该第一图像采集装置发送携带有相机参数和第一图像采集装置的姿态信息的图像采集指令,第一图像采集装置按照该图像采集指令中的姿态信息,调整偏转角和/或倾斜角,并进行对应的参数设置,以采集参考图像。
服务器将获取的n个参考图像发送至终端设备。
进一步地,终端设备将得到的n个参考图像进行图像融合,得到第一图像。
或者,终端设备基于得到的n个参考图像和第二图像,确定第一图像。
图5为本申请实施例提供的一种图像的处理方法500的流程示意图。
示例性的,针对n个参考图像中的每个参考图像,确定参考图像是否满足第二预设条件,将满足第二预设条件的p个参考图像与第二图像进行图像融合,并且,对不满足第二预设条件的q个参考图像中的每个参考图像进行图像信息的提取,将提取的图像信息添加至第二图像,实现对第二图像的细节进行补充,最终得到第一图像。其中,p为大于等于1的正整数,且p小于等于n;q为大于等于1的正整数,且q小于等于n。
可选的,确定参考图像是否满足第二预设条件至少包括:
确定时间差值是否小于预设时间差值,时间差值为第二图像采集时间和参考图像的采集时间的差值,若时间差值小于预设时间差值,则参考图像满足第二预设条件,否则,参考图像不满足第二预设条件。
或者,确定第二图像的视场与参考图像的视场重合的面积是否大于第二预设面积,应理解,视场的大小取决于图像采集装置的视野范围,若第二图像的视场与参考图像的视场重合面积大于第二预设面积,则表明参考图像更接近第二图像,即参考图像满足第二预设条件,否则,参考图像不满足第二预设条件,仅能通过参考图像与第二图像的视场重合部分的图像信息对第二图像进行细节补充。
实现方式二,相比于实现方式一,为了减少终端设备的运算消耗,基于位姿信息获取第一图像的过程可由服务器执行。
终端设备基于位姿信息和相机参数,生成第三图像获取指令,并向服务器发送第三图像获取指令,服务器接收该第三图像获取指令,并基于第三图像获取指令中携带的位姿信息和相机参数,确定第一图像,进而服务器向终端设备发送该第一图像。
图6为本申请实施例提供的一种图像的处理方法600的流程示意图。
基于所述相机参数和所述位姿信息,生成第三图像获取指令;向服务器发送所述第三图像获取指令;接收所述服务器发送的所述第一图像。
图6所示为可能的实现方式二的一种示例,该方法包括:
S601:终端设备获取其位姿信息和相机参数。
本步骤中分别获取终端设备的位姿信息和相机参数的过程可同时进行,或者分先后顺序进行,本实施例对二者的先后顺序不做要求。
可基于步骤S201和步骤S401实现,此处不再赘述。
S602:终端设备基于位姿信息和相机参数,生成第三图像获取指令。
该第三图像获取指令携带有终端设备的位姿信息和相机参数,用于获取第一图像。
S603:终端设备向服务器发送第三图像获取指令。
服务器接收终端设备发送的第三图像获取指令后,可选择如步骤S604-1所示的过程,或者可选择如步骤S604-2、S605至S607所示的过程,来获取n个参考图像。
S604-1:服务器基于位姿信息和相机参数,在数据库中匹配得到n个参考图像。
S604-2:服务器基于位姿信息和相机参数,生成图像采集指令。
S605:服务器向至少一个第一图像采集装置发送图像采集指令。
S606:至少一个第一图像采集装置中的每个第一图像采集装置均基于图像采集指令进行图像采集,最终得到n个参考图像。
S607:至少一个第一图像采集装置向服务器发送n个参考图像,应理解,每个第一图像采集装置分别向服务器发送采集到的参考图像。
上述步骤S604-1、S604-2、S605至S607与上述实现方式一中的三类似,此处不再赘述。
S608:服务器基于n个参考图像和第二图像,得到第一图像。
服务器可将n个参考图像进行图像融合,得到第一图像,或者可基于n个参考图像和第二图像,得到第一图像。
本步骤与上述实施例中的基于n个参考图像和第二图像,得到第一图像的实现过程类似,此处不再赘述。
S609:服务器向终端设备发送第一图像。
进一步地,终端设备将获取的第一图像保存并显示。可选的,基于动态获取的终端设备的位姿信息,将与每个位姿信息对应的第一图像进行动态呈现,例如,摄像时动态呈现第一图像以对拍摄的内容进行预览,或者拍照时触发快门前动态呈现第一图像以预览将要拍摄的画面。
本申请实施例中,根据终端设备的位姿信息和相机参数,确定n个参考图像,并基于n个参考图像和第二图像,确定第一图像,相比于基于终端设备的位姿信息确定n个参考图像,并基于n个参考图像确定第一图像,本申请实施例获取的第一图像更接近用户的期望,提高了用户体验。
在上述实施例的基础上,为了使参考图像更接近用户使用终端设备对准目标对象时所能够获取的图像,提高成像质量,本申请实施例依据第一预设条件对获取的n个参考图像进行筛选。
示例性的,针对n个参考图像中的每个参考图像,确定参考图像是否满足第一预设条件,从而确定满足第一预设条件的m个参考图像,应理解,m为大于等于1的正整数,且m小于等于n,并基于满足第一预设条件的m个参考图像和第二图像,得到第一图像。例如将m个参考图像和第二图像进行图像融合得到第一图像;或者确定m个参考图像中的m1个参考图像作为与第二图像进行图像融合的参考图像,确定m个参考图像中的m2个参考图像作为对第二图像进行细节补充的参考图像,进而通过图像融合以及图像信息的添加,得到第一图像。
作为一种可能的实现方式,确定参考图像是否满足第一预设条件,包括:确定该参考图像的采集时间是否晚于第一预设时间,若参考图像的采集时间晚于第一预设时间,则确定该参考图像满足第一预设条件,否则,该参考图像不满足第一预设条件。
作为另一种可能的实现方式,确定参考图像是否满足第一预设条件,包括:确定参考图像的视场与第二图像的视场重合的面积是否大于第一预设面积,第二图像为通过终端设备对目标对象进行图像采集得到的,若参考图像的视场与第二图像的视场重合的面积大于第一预设面积,则参考图像满足第一预设条件,否则,参考图像不满足第一预设条件。
在上述实施例的基础上,为了使获取的参考图像更加准确,以便于提高最终第一图像的图像质量,本申请实施例通过相机参数,动态调整参考图像的获取范围。
示例性的,根据相机参数,确定第二预设位姿差值、第二预设位置差值中的至少一种。
应理解,相机参数能够代表第二图像的部分信息,基于相机参数确定第二预设位姿差值、预设相机参数差值或第二预设位置差值,能够使获取的参考图像更贴合于第二图像。
例如,相机参数中的焦距越大,表示能够对焦到越远的目标对象,因此,提供参考图像的第一图像采集装置距离终端设备的距离可以更远,即第二预设位姿差值越大,类似的,第二预设位置差值也越大。
在上述任一实施例中,服务器在完成图像处理过程后,删除终端设备发送的位姿信息、相机参数、第二图像等,保护用户的信息安全。
上文结合图1至图6,详细描述了本申请的方法实施例,下文结合图7至图9,详细描述本申请的装置实施例,应理解,装置实施例与方法实施例相互对应,类似的描述可以参照方法实施例。
图7示出了根据本申请实施例的终端设备700的示意性框图。如图7所示,该设备700包括:
获取单元710,用于获取终端设备位姿信息,位姿信息用于表征终端设备对目标对象进行图像获取时的位置和姿态;
获取单元710还用于基于位姿信息,获取目标对象的第一图像;
其中,第一图像为基于n个参考图像得到的,n为大于等于1的正整数;参考图像为通过第一图像采集装置采集的图像,终端设备不包含第一图像采集装置。
本申请实施例中的终端设备700包括获取单元710,根据终端设备的位姿信息,能够获取基于n个参考图像确定的目标对象的第一图像,而n个参考图像均由至少一个第一图像采集装置采集,该第一图像采集装置不属于终端设备,实现了使用图像采集能力较差、甚至不具备图像采集能力的终端设备对目标对象进行图像获取,获得高质量的成像效果。
可选的,获取单元710具体用于:
基于位姿信息,获取n个参考图像;基于n个参考图像,得到第一图像;
或者,
基于位姿信息,生成第一图像获取指令;向服务器发送第一图像获取指令;接收服务器发送的第一图像。
可选的,获取单元710具体用于:
基于位姿信息,在数据库中匹配得到n个参考图像,数据库中存储有多个待匹配图像;
或者,
基于位姿信息,控制至少一个第一图像采集装置进行图像采集,得到n个参考图像;
或者,
基于位姿信息,生成第二图像获取指令;将第二图像获取指令发送至服务器;接收服务器发送的n个参考图像。
可选的,获取单元710具体用于:
针对每个待匹配图像,若第一位姿差值小于第一预设位姿差值,则确定待匹配图像为参考图像;第一位姿差值为位姿信息和待匹配图像的位姿信息的差值。
可选的,获取单元710具体用于:
针对每个第一图像采集装置,若第一位置差值小于第一预设位置差值,则控制第一图像采集装置基于位姿信息进行图像采集,得到n个参考图像,第一位置差值为位置信息和第一图像采集装置的位置信息的差值。
可选的,位姿信息还包括姿态信息,姿态信息包括偏转角和/或倾斜角。
可选的,获取单元710还用于:
获取终端设备的相机参数,相机参数包括焦距和/或光圈;
获取单元710具体用于:基于相机参数和位姿信息,获取目标对象的第一图像。
可选的,获取单元710具体用于:
基于相机参数和位姿信息,获取n个参考图像;基于n个参考图像和第二图像,得到第一图像,第二图像为通过终端设备对目标对象进行图像采集得到的;
或者,
基于相机参数和位姿信息,生成第三图像获取指令;向服务器发送第三图像获取指令;接收服务器发送的第一图像。
可选的,获取单元710具体用于:
基于相机参数和位姿信息,在数据库中匹配得到n个参考图像,数据库中存储有多个待匹配图像;
或者,
基于相机参数和位姿信息,控制至少一个第一图像采集装置进行图像采集,得到n个参考图像;
或者,
基于相机参数和位姿信息,生成第四图像获取指令;将第四图像获取指令发送至服务器;接收服务器发送的n个参考图像。
可选的,获取单元710具体用于:
针对每个待匹配图像,若第二位姿差值小于第二预设位姿差值,且相机参数差值小于预设相机参数差值,则确定待匹配图像为参考图像;第二位姿差值为位姿信息和待匹配图像的位姿信息的差值,相机参数差值为相机参数和待匹配图像的相机参数的差值。
可选的,获取单元710具体用于:
针对每个第一图像采集装置,若第二位置差值小于第二预设位置差值,则控制第一图像采集装置基于位姿信息进行图像采集,得到n个参考图像,第二位置差值为位置信息和第一图像采集装置的位置信息的差值。
可选的,位姿信息还包括姿态信息,姿态信息包括偏转角和/或倾斜角。
可选的,获取单元710还用于:
针对n个参考图像中的每个参考图像,确定参考图像是否满足第一预设条件;
基于满足第一预设条件的m个参考图像,得到第一图像,m为大于等于1的正整数,且m小于等于n。
可选的,获取单元710具体用于:
确定参考图像的采集时间是否晚于第一预设时间;
若是,则参考图像满足第一预设条件;
否则,参考图像不满足第一预设条件。
可选的,获取单元710具体用于:
确定参考图像的视场与第二图像的视场重合的面积是否大于第一预设面积,第二图像为通过终端设备对目标对象进行图像采集得到的;
若是,则参考图像满足第一预设条件;
否则,参考图像不满足第一预设条件。
可选的,获取单元710具体用于:
针对n个参考图像中的每个参考图像,确定参考图像是否满足第二预设条件;
将满足第二预设条件的p个参考图像与第二图像进行图像融合,得到融合后的第二图像,p为大于等于1的正整数,且p小于等于n;
针对不满足第二预设条件的q个参考图像中的每个参考图像,从参考图像中提取图像信息,并将图像信息添加至第二图像,得到第一图像,q为大于等于1的正整数,且q小于等于n。
可选的,获取单元710具体用于:
确定时间差值是否小于预设时间差值,时间差值为第二图像采集时间和参考图像的采集时间的差值;
若是,则参考图像满足第二预设条件;
否则,参考图像不满足第二预设条件。
可选的,获取单元710具体用于:
确定第二图像的视场与参考图像的视场重合的面积是否大于第二预设面积;
若是,则参考图像满足第二预设条件;
否则,参考图像不满足第二预设条件。
可选的,获取单元710具体用于:
根据相机参数,确定第二预设位姿差值和/或第二预设位置差值。
上述实施例提供的终端设备,可以执行上述方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
图8示出了根据本申请实施例的服务器800的示意性框图。如图8所示,该服务器800包括:
接收单元810,用于接收终端设备发送的第一图像获取指令,第一图像获取指令包括终端设备的位姿信息,位姿信息用于表征终端设备对目标对象进行图像获取时的位置和姿态;
处理单元820,用于基于位姿信息,确定第一图像;第一图像为基于n个参考图像得到的,n为大于等于1的正整数;参考图像为通过第一图像采集装置采集的图像,终端设备不包含第一图像采集装置;
发送单元830,用于将第一图像发送至终端设备。
可选的,处理单元820具体用于:
基于位姿信息,获取n个参考图像;
基于n个参考图像,得到第一图像。
可选的,处理单元820具体用于:
基于位姿信息,在数据库中匹配得到n个参考图像,数据库中存储有多个待匹配图像;
或者,
基于位姿信息,控制至少一个第一图像采集装置进行图像采集,得到n个参考图像。
上述实施例提供的服务器,可以执行上述方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
图9示出了根据本申请实施例的服务器900的示意性框图。如图9所示,该服务器900包括:
接收单元910,用于接收终端设备发送的第三图像获取指令,所述第三图像获取指令包括所述终端设备的相机参数和位姿信息,所述位姿信息用于表征所述终端设备对目标对象进行图像获取时的位置和姿态;
处理单元920,用于基于所述相机参数和所述位姿信息,确定第一图像;所述第一图像为基于n个参考图像得到的,n为大于等于1的正整数;所述参考图像为通过第一图像采集装置采集的图像,所述终端设备不包含所述第一图像采集装置;
发送单元930,用于将所述第一图像发送至所述终端设备。
可选的,处理单元920具体用于:
基于所述相机参数和所述位姿信息,获取n个参考图像;
基于所述n个参考图像和第二图像,得到所述第一图像,所述第二图像为通过所述终端设备对所述目标对象进行图像采集得到的。
可选的,处理单元920具体用于:
基于所述相机参数和所述位姿信息,在数据库中匹配得到所述n个参考图像,所述数据库中存储有多个待匹配图像;
或者,
基于所述相机参数和所述位姿信息,控制至少一个第一图像采集装置进行图像采集,得到所述n个参考图像。
上述实施例提供的服务器,可以执行上述方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
图10是本申请实施例提供的一种终端设备1000示意性结构图。图10所示的终端设备包括处理器1010,处理器1010可以从存储器中调用并运行计算机程序,以实现本申请实施例中的方法。
可选地,如图10所示,终端设备1000还可以包括存储器1020。其中,处理器1010可以从存储器1020中调用并运行计算机程序,以实现本申请实施例中终端设备侧的方法。
其中,存储器1020可以是独立于处理器1010的一个单独的器件,也可以集成在处理器1010中。
可选地,如图10所示,终端设备1000还可以包括收发器1030,处理器1010可以控制该收发器1030与其他设备进行通信,具体地,可以向其他设备发送信息或数据,或接收其他设备发送的信息或数据。
其中,收发器1030可以包括发射机和接收机。收发器1030还可以进一步包括天线,天线的数量可以为一个或多个。
可选地,该终端设备1000可以实现本申请实施例终端设备侧的各个方法中的相应流程,为了简洁,在此不再赘述。
图11是本申请实施例提供的一种服务器1100示意性结构图。图11所示的终端设备包括处理器1110,处理器1110可以从存储器中调用并运行计算机程序,以实现本申请实施例中服务器侧的方法。
可选地,如图11所示,服务器1100还可以包括存储器1120。其中,处理器1110可以从存储器1120中调用并运行计算机程序,以实现本申请实施例中服务器侧的方法。
其中,存储器1120可以是独立于处理器1110的一个单独的器件,也可以集成在处理器1110中。
可选地,如图11所示,服务器1100还可以包括收发器1130,处理器1110可以控制该收发器1130与其他设备进行通信,具体地,可以向其他设备发送信息或数据,或接收其他设备发送的信息或数据。
其中,收发器1130可以包括发射机和接收机。收发器1130还可以进一步包括天线,天线的数量可以为一个或多个。
可选地,该服务器1100可以实现本申请实施例的服务器侧各个方法中的相应流程,为了简洁,在此不再赘述。
应理解,本申请实施例的处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
可以理解,本申请实施例中的存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM,DR RAM)。应注意,本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
应理解,上述存储器为示例性但不是限制性说明,例如,本申请实施例中的存储器还可以是静态随机存取存储器(static RAM,SRAM)、动态随机存取存储器(dynamic RAM,DRAM)、同步动态随机存取存储器(synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synch link DRAM,SLDRAM)以及直接内存总线随机存取存储器(Direct Rambus RAM,DR RAM)等等。也就是说,本申请实施例中的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
本申请实施例还提供了一种计算机可读存储介质,用于存储计算机程序。
可选的,该计算机可读存储介质可应用于本申请实施例中的终端设备或服务器,并且该计算机程序使得计算机执行本申请实施例的各个方法中由终端设备或服务器实现的相应流程,为了简洁,在此不再赘述。
本申请实施例还提供了一种计算机程序产品,包括计算机程序指令。
可选的,该计算机程序产品可应用于本申请实施例中的终端设备或服务器,并且该计算机程序指令使得计算机执行本申请实施例的各个方法中由终端设备侧或服务器侧实现的相应流程,为了简洁,在此不再赘述。
本申请实施例还提供了一种计算机程序。
可选的,该计算机程序可应用于本申请实施例中的终端设备或服务器,当该计算机程序在计算机上运行时,使得计算机执行本申请实施例的各个方法中由终端设备或服务器实现的相应流程,为了简洁,在此不再赘述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的设备、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。针对这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应所述以权利要求的保护范围为准。

Claims (31)

1.一种图像的处理方法,其特征在于,包括:
终端设备获取其位姿信息,所述位姿信息用于表征所述终端设备对目标对象进行图像获取时的位置和姿态;
基于所述位姿信息,获取所述目标对象的第一图像;
其中,所述第一图像为基于n个参考图像得到的,n为大于等于1的正整数;所述参考图像为通过第一图像采集装置采集的图像,所述终端设备不包含所述第一图像采集装置;
所述方法还包括:
针对所述n个参考图像中的每个参考图像,确定所述参考图像是否满足第一预设条件;
基于满足第一预设条件的m个参考图像,得到所述第一图像,m为大于等于1的正整数,且m小于等于n;
所述确定所述参考图像是否满足第一预设条件,包括:
确定所述参考图像的采集时间是否晚于第一预设时间;
若是,则所述参考图像满足所述第一预设条件;
否则,所述参考图像不满足所述第一预设条件。
2.根据权利要求1所述的方法,其特征在于,所述基于所述位姿信息,获取所述目标对象的第一图像,包括:
基于所述位姿信息,获取所述n个参考图像;基于所述n个参考图像,得到所述第一图像;
或者,
基于所述位姿信息,生成第一图像获取指令;向服务器发送所述第一图像获取指令;接收所述服务器发送的所述第一图像。
3.根据权利要求2所述的方法,其特征在于,所述基于所述位姿信息,获取n个参考图像,包括:
基于所述位姿信息,在数据库中匹配得到所述n个参考图像,所述数据库中存储有多个待匹配图像;
或者,
基于所述位姿信息,控制至少一个第一图像采集装置进行图像采集,得到所述n个参考图像;
或者,
基于所述位姿信息,生成第二图像获取指令;将所述第二图像获取指令发送至服务器;接收所述服务器发送的所述n个参考图像。
4.根据权利要求3所述的方法,其特征在于,所述基于所述位姿信息,在数据库中匹配得到所述n个参考图像,包括:
针对每个待匹配图像,若第一位姿差值小于第一预设位姿差值,则确定所述待匹配图像为参考图像;所述第一位姿差值为所述位姿信息和所述待匹配图像的位姿信息的差值。
5.根据权利要求3所述的方法,其特征在于,所述位姿信息包括位置信息,所述基于所述位姿信息,控制至少一个第一图像采集装置进行图像采集,得到所述n个参考图像,包括:
针对每个第一图像采集装置,若第一位置差值小于第一预设位置差值,则控制所述第一图像采集装置基于所述位姿信息进行图像采集,得到所述n个参考图像,所述第一位置差值为所述位置信息和所述第一图像采集装置的位置信息的差值。
6.根据权利要求5所述的方法,其特征在于,所述位姿信息还包括姿态信息,所述姿态信息包括偏转角和/或倾斜角。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
所述终端设备获取其相机参数,所述相机参数包括焦距和/或光圈;
则所述基于所述位姿信息,获取所述目标对象的第一图像,包括:
基于所述相机参数和所述位姿信息,获取所述目标对象的第一图像。
8.根据权利要求7所述的方法,其特征在于,所述基于所述相机参数和所述位姿信息,获取所述目标对象的第一图像,包括:
基于所述相机参数和所述位姿信息,获取n个参考图像;基于所述n个参考图像和第二图像,得到所述第一图像,所述第二图像为通过所述终端设备对所述目标对象进行图像采集得到的;
或者,
基于所述相机参数和所述位姿信息,生成第三图像获取指令;向服务器发送所述第三图像获取指令;接收所述服务器发送的所述第一图像。
9.根据权利要求8所述的方法,其特征在于,所述基于所述相机参数和所述位姿信息,获取n个参考图像,包括:
基于所述相机参数和所述位姿信息,在数据库中匹配得到所述n个参考图像,所述数据库中存储有多个待匹配图像;
或者,
基于所述相机参数和所述位姿信息,控制至少一个第一图像采集装置进行图像采集,得到所述n个参考图像;
或者,
基于所述相机参数和所述位姿信息,生成第四图像获取指令;将所述第四图像获取指令发送至服务器;接收所述服务器发送的所述n个参考图像。
10.根据权利要求9所述的方法,其特征在于,所述基于所述相机参数和所述位姿信息,在数据库中匹配得到所述n个参考图像,包括:
针对每个待匹配图像,若第二位姿差值小于第二预设位姿差值,且相机参数差值小于预设相机参数差值,则确定所述待匹配图像为参考图像;所述第二位姿差值为所述位姿信息和所述待匹配图像的位姿信息的差值,所述相机参数差值为所述相机参数和所述待匹配图像的相机参数的差值。
11.根据权利要求9所述的方法,其特征在于,所述位姿信息包括位置信息,所述基于所述相机参数和所述位姿信息,控制至少一个第一图像采集装置进行图像采集,得到所述n个参考图像,包括:
针对每个第一图像采集装置,若第二位置差值小于第二预设位置差值,则控制所述第一图像采集装置基于所述位姿信息进行图像采集,得到所述n个参考图像,所述第二位置差值为所述位置信息和所述第一图像采集装置的位置信息的差值。
12.根据权利要求11所述的方法,其特征在于,所述位姿信息还包括姿态信息,所述姿态信息包括偏转角和/或倾斜角。
13.根据权利要求1所述的方法,其特征在于,所述确定所述参考图像是否满足第一预设条件,包括:
确定所述参考图像的视场与第二图像的视场重合的面积是否大于第一预设面积,所述第二图像为通过所述终端设备对所述目标对象进行图像采集得到的;
若是,则所述参考图像满足所述第一预设条件;
否则,所述参考图像不满足所述第一预设条件。
14.根据权利要求8至12任一项所述的方法,其特征在于,所述基于所述n个参考图像和第二图像,得到所述第一图像,包括:
针对所述n个参考图像中的每个参考图像,确定所述参考图像是否满足第二预设条件;
将满足所述第二预设条件的p个参考图像与所述第二图像进行图像融合,得到融合后的第二图像,p为大于等于1的正整数,且p小于等于n;
针对不满足所述第二预设条件的q个参考图像中的每个参考图像,从所述参考图像中提取图像信息,并将所述图像信息添加至所述第二图像,得到所述第一图像,q为大于等于1的正整数,且q小于等于n。
15.根据权利要求14所述的方法,其特征在于,所述确定所述参考图像是否满足第二预设条件,包括:
确定时间差值是否小于预设时间差值,所述时间差值为所述第二图像采集时间和所述参考图像的采集时间的差值;
若是,则所述参考图像满足所述第二预设条件;
否则,所述参考图像不满足所述第二预设条件。
16.根据权利要求14所述的方法,其特征在于,所述确定所述参考图像是否满足第二预设条件,包括:
确定所述第二图像的视场与所述参考图像的视场重合的面积是否大于第二预设面积;
若是,则所述参考图像满足所述第二预设条件;
否则,所述参考图像不满足所述第二预设条件。
17.根据权利要求10所述的方法,其特征在于,所述方法还包括:
根据所述相机参数,确定所述第二预设位姿差值。
18.根据权利要求11所述的方法,其特征在于,所述方法还包括:
根据所述相机参数,确定所述第二预设位置差值。
19.一种图像的处理方法,其特征在于,包括:
接收终端设备发送的第一图像获取指令,所述第一图像获取指令包括所述终端设备的位姿信息,所述位姿信息用于表征所述终端设备对目标对象进行图像获取时的位置和姿态;
基于所述位姿信息,确定第一图像;所述第一图像为基于n个参考图像得到的,n为大于等于1的正整数;所述参考图像为通过第一图像采集装置采集的图像,所述终端设备不包含所述第一图像采集装置;
将所述第一图像发送至所述终端设备;
所述方法还包括:
针对所述n个参考图像中的每个参考图像,确定所述参考图像是否满足第一预设条件;
基于满足第一预设条件的m个参考图像,得到所述第一图像,m为大于等于1的正整数,且m小于等于n;
所述确定所述参考图像是否满足第一预设条件,包括:
确定所述参考图像的采集时间是否晚于第一预设时间;
若是,则所述参考图像满足所述第一预设条件;
否则,所述参考图像不满足所述第一预设条件。
20.根据权利要求19所述的方法,其特征在于,所述基于所述位姿信息,确定第一图像,包括:
基于所述位姿信息,获取所述n个参考图像;
基于所述n个参考图像,得到所述第一图像。
21.根据权利要求20所述的方法,其特征在于,所述基于所述位姿信息,获取所述n个参考图像,包括:
基于所述位姿信息,在数据库中匹配得到所述n个参考图像,所述数据库中存储有多个待匹配图像;
或者,
基于所述位姿信息,控制至少一个第一图像采集装置进行图像采集,得到所述n个参考图像。
22.一种图像的处理方法,其特征在于,包括:
接收终端设备发送的第三图像获取指令,所述第三图像获取指令包括所述终端设备的相机参数和位姿信息,所述位姿信息用于表征所述终端设备对目标对象进行图像获取时的位置和姿态;
基于所述相机参数和所述位姿信息,确定第一图像;所述第一图像为基于n个参考图像得到的,n为大于等于1的正整数;所述参考图像为通过第一图像采集装置采集的图像,所述终端设备不包含所述第一图像采集装置;
将所述第一图像发送至所述终端设备;
所述方法还包括:
针对所述n个参考图像中的每个参考图像,确定所述参考图像是否满足第一预设条件;
基于满足第一预设条件的m个参考图像,得到所述第一图像,m为大于等于1的正整数,且m小于等于n;
所述确定所述参考图像是否满足第一预设条件,包括:
确定所述参考图像的采集时间是否晚于第一预设时间;
若是,则所述参考图像满足所述第一预设条件;
否则,所述参考图像不满足所述第一预设条件。
23.根据权利要求22所述的方法,其特征在于,所述基于所述相机参数和所述位姿信息,确定第一图像,包括:
基于所述相机参数和所述位姿信息,获取n个参考图像;
基于所述n个参考图像和第二图像,得到所述第一图像,所述第二图像为通过所述终端设备对所述目标对象进行图像采集得到的。
24.根据权利要求23所述的方法,其特征在于,所述基于所述相机参数和所述位姿信息,获取n个参考图像,包括:
基于所述相机参数和所述位姿信息,在数据库中匹配得到所述n个参考图像,所述数据库中存储有多个待匹配图像;
或者,
基于所述相机参数和所述位姿信息,控制至少一个第一图像采集装置进行图像采集,得到所述n个参考图像。
25.一种终端设备,其特征在于,包括:
获取单元,用于获取所述终端设备位姿信息,所述位姿信息用于表征所述终端设备对目标对象进行图像获取时的位置和姿态;
所述获取单元还用于基于所述位姿信息,获取所述目标对象的第一图像;
其中,所述第一图像为基于n个参考图像得到的,n为大于等于1的正整数;所述参考图像为通过第一图像采集装置采集的图像,所述终端设备不包含所述第一图像采集装置;
所述获取单元还用于:
针对所述n个参考图像中的每个参考图像,确定所述参考图像是否满足第一预设条件;
基于满足第一预设条件的m个参考图像,得到所述第一图像,m为大于等于1的正整数,且m小于等于n;
所述获取单元具体用于:
确定所述参考图像的采集时间是否晚于第一预设时间;
若是,则所述参考图像满足所述第一预设条件;
否则,所述参考图像不满足所述第一预设条件。
26.一种服务器,其特征在于,包括:
接收单元,用于接收终端设备发送的第一图像获取指令,所述第一图像获取指令包括所述终端设备的位姿信息,所述位姿信息用于表征所述终端设备对目标对象进行图像获取时的位置和姿态;
处理单元,用于基于所述位姿信息,确定第一图像;所述第一图像为基于n个参考图像得到的,n为大于等于1的正整数;所述参考图像为通过第一图像采集装置采集的图像,所述终端设备不包含所述第一图像采集装置;
发送单元,用于将所述第一图像发送至所述终端设备;
所述处理单元还用于:
针对所述n个参考图像中的每个参考图像,确定所述参考图像是否满足第一预设条件;
基于满足第一预设条件的m个参考图像,得到所述第一图像,m为大于等于1的正整数,且m小于等于n;
所述处理单元具体用于:
确定所述参考图像的采集时间是否晚于第一预设时间;
若是,则所述参考图像满足所述第一预设条件;
否则,所述参考图像不满足所述第一预设条件。
27.一种服务器,其特征在于,包括:
接收单元,用于接收终端设备发送的第三图像获取指令,所述第三图像获取指令包括所述终端设备的相机参数和位姿信息,所述位姿信息用于表征所述终端设备对目标对象进行图像获取时的位置和姿态;
处理单元,用于基于所述相机参数和所述位姿信息,确定第一图像;所述第一图像为基于n个参考图像得到的,n为大于等于1的正整数;所述参考图像为通过第一图像采集装置采集的图像,所述终端设备不包含所述第一图像采集装置;
发送单元,用于将所述第一图像发送至所述终端设备;
所述处理单元还用于:
针对所述n个参考图像中的每个参考图像,确定所述参考图像是否满足第一预设条件;
基于满足第一预设条件的m个参考图像,得到所述第一图像,m为大于等于1的正整数,且m小于等于n;
所述处理单元具体用于:
确定所述参考图像的采集时间是否晚于第一预设时间;
若是,则所述参考图像满足所述第一预设条件;
否则,所述参考图像不满足所述第一预设条件。
28.一种终端设备,其特征在于,包括:处理器和存储器,该存储器用于存储计算机程序,所述处理器用于调用并运行所述存储器中存储的计算机程序,执行如权利要求1至18中任一项所述的方法。
29.一种服务器,其特征在于,包括:处理器和存储器,该存储器用于存储计算机程序,所述处理器用于调用并运行所述存储器中存储的计算机程序,执行如权利要求19至21中任一项所述的方法。
30.一种服务器,其特征在于,包括:处理器和存储器,该存储器用于存储计算机程序,所述处理器用于调用并运行所述存储器中存储的计算机程序,执行如权利要求22至24中任一项所述的方法。
31.一种计算机可读存储介质,其特征在于,用于存储计算机程序,所述计算机程序使得计算机执行如权利要求1至24中任一项所述的方法。
CN202011137508.8A 2020-10-22 2020-10-22 图像的处理方法、设备以及存储介质 Active CN112261295B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011137508.8A CN112261295B (zh) 2020-10-22 2020-10-22 图像的处理方法、设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011137508.8A CN112261295B (zh) 2020-10-22 2020-10-22 图像的处理方法、设备以及存储介质

Publications (2)

Publication Number Publication Date
CN112261295A CN112261295A (zh) 2021-01-22
CN112261295B true CN112261295B (zh) 2022-05-20

Family

ID=74265070

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011137508.8A Active CN112261295B (zh) 2020-10-22 2020-10-22 图像的处理方法、设备以及存储介质

Country Status (1)

Country Link
CN (1) CN112261295B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104092946A (zh) * 2014-07-24 2014-10-08 北京智谷睿拓技术服务有限公司 图像采集方法及图像采集装置
CN109040597A (zh) * 2018-08-28 2018-12-18 Oppo广东移动通信有限公司 一种基于多摄像头的图像处理方法、移动终端及存储介质
CN109547753A (zh) * 2014-08-27 2019-03-29 苹果公司 提供由车辆的场景相机捕获的至少一个图像的方法和系统
CN110825333A (zh) * 2018-08-14 2020-02-21 广东虚拟现实科技有限公司 显示方法、装置、终端设备及存储介质
CN111294552A (zh) * 2018-12-07 2020-06-16 浙江宇视科技有限公司 图像采集设备确定方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8125512B2 (en) * 2007-11-16 2012-02-28 Samsung Electronics Co., Ltd. System and method for moving object selection in a handheld image capture device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104092946A (zh) * 2014-07-24 2014-10-08 北京智谷睿拓技术服务有限公司 图像采集方法及图像采集装置
CN109547753A (zh) * 2014-08-27 2019-03-29 苹果公司 提供由车辆的场景相机捕获的至少一个图像的方法和系统
CN110825333A (zh) * 2018-08-14 2020-02-21 广东虚拟现实科技有限公司 显示方法、装置、终端设备及存储介质
CN109040597A (zh) * 2018-08-28 2018-12-18 Oppo广东移动通信有限公司 一种基于多摄像头的图像处理方法、移动终端及存储介质
CN111294552A (zh) * 2018-12-07 2020-06-16 浙江宇视科技有限公司 图像采集设备确定方法及装置

Also Published As

Publication number Publication date
CN112261295A (zh) 2021-01-22

Similar Documents

Publication Publication Date Title
US11671712B2 (en) Apparatus and methods for image encoding using spatially weighted encoding quality parameters
US20190246104A1 (en) Panoramic video processing method, device and system
EP3062148B1 (en) Device with an adaptive camera array
US20210099669A1 (en) Image capturing apparatus, communication system, data distribution method, and non-transitory recording medium
US11284014B2 (en) Image processing apparatus, image capturing system, image processing method, and recording medium
KR20190012465A (ko) 복수의 카메라를 이용하여 영상을 획득하기 위한 전자 장치 및 이를 이용한 영상 처리 방법
US9277201B2 (en) Image processing device and method, and imaging device
US9596455B2 (en) Image processing device and method, and imaging device
CN108292075A (zh) 拍摄设备及其操作方法
US20150054926A1 (en) Image processing device and method, and image capturing device
CN105025208A (zh) 摄像装置、照相机组件、显示组件、摄影方法以及显示方法
JP2018056889A (ja) 表示端末、表示方法、及びプログラム
JP2019117330A (ja) 撮影装置、及び撮影システム
CN112261295B (zh) 图像的处理方法、设备以及存储介质
CN111263037B (zh) 图像处理装置、拍摄装置、视频播放系统、方法以及程序
CN114073069A (zh) 成像系统、图像处理设备、成像装置和记录介质
CN112738399B (zh) 图像处理方法、装置和电子设备
EP3829159A1 (en) Image capturing device, image communication system, and method for display control, and carrier means
JP2017162014A (ja) 通信端末、画像通信システム、表示方法、及びプログラム
CN104994294B (zh) 一种多广角镜头的拍摄方法及移动终端
US11122202B2 (en) Imaging device, image processing system, and image processing method
CN112653830B (zh) 合影拍摄实现方法、可穿戴设备、计算机设备和存储介质
KR101254683B1 (ko) 3d 영상 촬영용 거치대 및 3d 영상의 촬영 제어 방법
JP6695063B2 (ja) 建物画像生成装置および建物画像表示システム
US20200412928A1 (en) Imaging device, imaging system, and imaging method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant