CN110245552B - 车损图像拍摄的交互处理方法、装置、设备及客户端 - Google Patents

车损图像拍摄的交互处理方法、装置、设备及客户端 Download PDF

Info

Publication number
CN110245552B
CN110245552B CN201910353156.0A CN201910353156A CN110245552B CN 110245552 B CN110245552 B CN 110245552B CN 201910353156 A CN201910353156 A CN 201910353156A CN 110245552 B CN110245552 B CN 110245552B
Authority
CN
China
Prior art keywords
shooting
tracking
target vehicle
image
damage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910353156.0A
Other languages
English (en)
Other versions
CN110245552A (zh
Inventor
周凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced New Technologies Co Ltd
Advantageous New Technologies Co Ltd
Original Assignee
Advanced New Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Advanced New Technologies Co Ltd filed Critical Advanced New Technologies Co Ltd
Priority to CN201910353156.0A priority Critical patent/CN110245552B/zh
Publication of CN110245552A publication Critical patent/CN110245552A/zh
Application granted granted Critical
Publication of CN110245552B publication Critical patent/CN110245552B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Abstract

本说明书实施例公开了一种车损图像拍摄的交互处理方法、装置、设备及客户端。利用提供的实施方案,用户打开终端定损应用,启动结合AR的拍摄视窗对车辆进行取景,根据实际的车辆位置、角度等信息对用户进行拍摄引导和反馈,用户可以无需其他拍照录像等复杂操作,按照拍摄引导信息进行拍摄即可完成损伤识别,进而快速实现定损、理赔。本说明书提供的实施例方案中,用户可以无需专业的定损图像拍摄技能和复杂的拍摄操作步骤,定损处理成本更低,结合AR的引导拍摄可以进一步提高用户定损服务的服务体验。

Description

车损图像拍摄的交互处理方法、装置、设备及客户端
技术领域
本说明书实施例方案属于计算机数据处理的技术领域,尤其涉及一种车损图像拍摄的交互处理方法、装置、设备及客户端。
背景技术
机动车辆保险即汽车保险(或简称车险),是指对机动车辆由于自然灾害或意外事故所造成的人身伤亡或财产损失负赔偿责任的一种商业保险。随着经济的发展,机动车辆的数量不断增加,当前,车险已成为中国财产保险业务中最大的险种之一。
当被保险的车辆发生交通事故时,保险公司通常首先是现场查勘,拍照获取定损图像后再进行定损。或者通过车主人工拍摄照片,利用微信等工具发给定损员。定损员如果发现照片不符合要求,再通过电话或即时通讯工具,告诉用户要怎样重新拍摄。但由于普通车主没有车损拍照经验,往往难以拍出能正确反映车损实际情况的照片。即使通过电话或语言交流指导用户拍摄,由于指导人员不在现场,往往缺乏精准的引导,用户对于损伤面拍摄的距离、角度难以把握;而且用户对于车辆部件的专业术语不能全部理解,例如很多用户无法理解什么是“左前翼子板”,因此这个解释沟通的过程可能要反复多次,依然会耗费较多的时间精力,而且也难以保证最终拍摄出来的照片符合要求。
因此,业内亟需一种可以更加便捷、高效、快速的与用户进行交互的解决方案。
发明内容
本说明书实施例目的在于提供一种车损图像拍摄的交互处理方法、装置、处理设备及客户端,可以根据实时识别所拍摄到的图像并结合AR(Augmented Reality,增强现实)进行拍摄交互引导,使用户快速、便捷的完成图像拍摄,提高车损图像获取效率和拍摄的图像质量,能对用户进行更加明确的引导,便于用户操作,提高用户使用体验。
本说明书实施例提供的一种车损图像拍摄的交互处理方法、装置、处理设备及客户端是包括以下方式实现的:
一种车损图像拍摄的交互处理方法,所述方法包括:
基于目标车辆的拍摄图像判断拍摄端与所述目标车辆之间的初始相对方位是否符合跟踪要求;
若符合跟踪要求,则启动目标跟踪,所述目标跟踪包括持续记录所述拍摄端相对于目标车辆的相对位置;
在所述目标跟踪中,若监测所述相对位置符合预设拍摄范围要求,则在所述拍摄端的拍摄取景窗口内显示使用增强现实AR方式显示的引导框,所述引导框用于引导用户将拍摄取景框与所述引导框重合;
在检测到所述拍摄取景窗口与所述引导框的重合度满足拍摄条件时,展示可进行损伤拍摄的提示信息。
一种车损图像拍摄的交互处理装置,所述装置包括:
初始位置识别模块,基于目标车辆的拍摄图像判断拍摄端与所述目标车辆之间的初始相对方位是否符合跟踪要求;
目标跟踪模块,用于在符合所述跟踪要求时,启动目标跟踪,所述目标跟踪包括持续记录所述拍摄端相对于目标车辆的相对位置;
引导提示模块,用于在所述目标跟踪中,若监测所述相对位置符合预设拍摄范围要求,则在所述拍摄端的拍摄取景窗口内显示使用增强现实AR方式显示的引导框,所述引导框用于引导用户将拍摄取景框与所述引导框重合;
拍摄提示模块,用于在检测到所述拍摄取景窗口与所述引导框的重合度满足拍摄条件时,展示可进行损伤拍摄的提示信息。
一种车损图像拍摄的交互处理设备,包括处理器以及用于存储处理器可执行指令的存储器,所述处理器执行所述指令时实现:
基于目标车辆的拍摄图像判断拍摄端与所述目标车辆之间的初始相对方位是否符合跟踪要求;
若符合跟踪要求,则启动目标跟踪,所述目标跟踪包括持续记录所述拍摄端相对于目标车辆的相对位置;
在所述目标跟踪中,若监测所述相对位置符合预设拍摄范围要求,则在所述拍摄端的拍摄取景窗口内显示使用增强现实AR方式显示的引导框,所述引导框用于引导用户将拍摄取景框与所述引导框重合;
在检测到所述拍摄取景窗口与所述引导框的重合度满足拍摄条件时,展示可进行损伤拍摄的提示信息。
一种客户端,包括处理器以及用于存储处理器可执行指令的存储器,所述处理器执行所述指令时实现:
基于目标车辆的拍摄图像判断拍摄端与所述目标车辆之间的初始相对方位是否符合跟踪要求;
若符合跟踪要求,则启动目标跟踪,所述目标跟踪包括持续记录所述拍摄端相对于目标车辆的相对位置;
在所述目标跟踪中,若监测所述相对位置符合预设拍摄范围要求,则在所述拍摄端的拍摄取景窗口内显示使用增强现实AR方式显示的引导框,所述引导框用于引导用户将拍摄取景框与所述引导框重合;
在检测到所述拍摄取景窗口与所述引导框的重合度满足拍摄条件时,展示可进行损伤拍摄的提示信息。
一种电子设备,包括摄像装置、显示屏、处理器以及存储处理器可执行指令的存储器,所述摄像装置用于对目标车辆进行拍摄;所述显示屏用于显示摄像装置的拍摄画面以及相应的提示信息,所述处理器执行所述指令时实现本说明书中任意一个方法实施例所述的步骤。
本说明书实施例提供的一种车损图像拍摄的交互处理方法、装置、处理设备及客户端,可以利用AR技术,能够实时识别用户移动设备摄像头所拍摄到的画面,结合移动设备的各类传感器和视觉信息,能判断出摄像头相对被拍摄对象的准确距离、方位,从而能对用户需要调整的方向、距离进行精准估算。进而在用户移动设备拍摄窗口的画面中叠加显示AR的引导框,能对用户进行更加明确的引导。本说明书提供的实施例方案中,用户可以无需专业的定损图像拍摄技能和复杂的拍摄操作步骤,使用时结合AR的引导拍摄即可以获取质量更好的拍摄图像,不仅便于用户操作,提升用户的服务体验,还可以有效提高车损图像的拍摄质量。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本说明书所述方法的一个实施场景的处理流程示意图;
图2是本说明书所述方法实施例的一个处理流程示意图;
图3是本说明书所述方法中一个判断是否符合跟踪要求的实施场景示意图;
图4是本说明书所述方法中另一个判断是否符合跟踪要求的实施场景示意图;
图5是本说明书提供的所述方法的一个实施例中识别出的车辆特征点的示意图;
图6是本说明书所述方法的一个实施例中客户端展示的交互场景示意图;
图7是本说明书所述方法的一个预设拍摄方位的实施场景示意图;
图8是应用本发明方法或装置实施例一种车损图像拍摄的交互处理的客户端的硬件结构框图;
图9是本说明书提供的一种车损图像拍摄的交互处理装置实施例的模块结构示意图;
图10是本说明书提供的另一种车损图像拍摄的交互处理装置实施例的模块结构示意图;
图11是本说明书提供的另一种车损图像拍摄的交互处理装置实施例的模块结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案,下面将结合本说明书实施例中的附图,对本说明书实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本说明书中的一部分实施例,而不是全部的实施例。基于本说明书中的一个或多个实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本说明书实施例保护的范围。
本说明书提供的一种实施方案可以应用到客户端中。所述的客户端可以包括用户使用的具有拍摄功能的终端设备,如智能手机、平板电脑、智能穿戴设备、专用定损终端、车载设备等。所述的客户端可以具有通信模块,可以与远程的服务器进行通信连接,实现与所述服务器的数据传输。所述的服务器可以包括保险公司理赔系统,也可以包括中间平台服务器,如某支付应用的服务器。所述的服务器具体的架构上可以包括单台计算机设备,也可以包括多个服务器组成的服务器集群,或者分布式系统的服务器,或者是结合了区块链的服务器。
本说明书实施中所述的增强现实AR通常指可以在显示屏幕上实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术实现方案,这种方案可以在屏幕上把虚拟世界套在(叠加到)现实世界并可以进行互动。本说明书实施例结合增强现实技术,不仅展现了真实世界的信息,而且将虚拟的信息同时显示出来,两种信息相互补充、叠加,可以有效引导用户按照保险公司的拍摄要求进行图像拍摄,提高拍摄获取的图像质量,降低用户操作复杂度。具体的在本说明书的方案实施过程中,可以引导用户找到最合适或者符合拍摄要求的拍摄位置/拍摄点,使得拍摄距离、拍摄方位、拍摄角度等参数达到最好或较好水平,拍摄得到质量更高的、符合车辆定损要求的图像。一个总体的操作流程示意过程如图1所示,用户进行车损图像拍摄时可以打开移动终端上相应的应用,对准需要拍摄的车辆,启动拍摄流程。移动终端的应用判断用户(用户所持的终端设备,例如手机)当前所在车辆的方位,并可以建立坐标系统,实时跟踪用户相对于车辆的位置变化,计算找出合适拍摄的区域。再找到合适的拍摄位置点时,可以利用AR方式再拍摄取景区域显示引导标识,指示用户可以进行拍摄。此时用户可以按下拍摄按钮即可获取符合保险公司定损、理赔等要求的图像。用户完成拍摄后,根据需要继续进行下一组拍摄。当车辆的损伤区域拍摄完毕后,可以通过应用将图像上传到保险公司理赔系统或指定的服务器,完成后续定损理赔流程。这样,通过拍摄位置的精确引导,再结合AR显示,给用户明显、明确的可进行拍摄的提示信息,不仅可以展示友好、新颖、可靠的拍摄引导交互界面,还可以获得符合定损理赔要求的更高质量的图像。
下面以一个具体的手机客户端应用场景为例对本说明书的部分实施方案进行说明。具体的,图2是本说明书提供的所述一种车损图像拍摄的交互处理方法实施例的流程示意图。虽然本说明书提供了如下述实施例或附图所示的方法操作步骤或装置结构,但基于常规或者无需创造性的劳动在所述方法或装置中可以包括更多或者部分合并后更少的操作步骤或模块单元。在逻辑性上不存在必要因果关系的步骤或结构中,这些步骤的执行顺序或装置的模块结构不限于本说明书实施例或附图所示的执行顺序或模块结构。所述的方法或模块结构的在实际中的装置、服务器或终端产品应用时,可以按照实施例或者附图所示的方法或模块结构进行顺序执行或者并行执行(例如并行处理器或者多线程处理的环境、甚至包括分布式处理、服务器集群的实施环境)。当然,下述实施例的描述并不对基于本说明书的其他可扩展到的技术方案构成限制。例如其他的实施场景中。具体的一种实施例如图2所示,本说明书提供的一种车损图像拍摄的交互处理方法的一种实施例中,所述方法可以包括:
S0:基于目标车辆的拍摄图像判断拍摄端与所述目标车辆之间的初始相对方位是否符合跟踪要求。
本实施例中所述的拍摄端可以为用户一侧的客户端,例如智能手机,所述的智能手机可以具有拍摄功能。用户可以在车辆事故现场打开实施了本说明书实施方案的手机应用对车辆事故现场进行取景拍摄。客户端打开应用后,可以在客户端显示屏上展示拍摄视取景框口,通过拍摄取景框对车辆进行拍摄,获取目标车辆的拍摄图像。所述的拍摄取景窗口可以为视频拍摄窗口,通过客户端集成的拍摄装置获取的图像信息可以展示在拍摄端的显示屏上。
需要说明是的,所述的图像拍摄可以为单独的图像或连续的图像,也可以为实时捕捉的视频或录制的视频。本说明书实施例中,视频可以视为时间连续的图像集合。
本说明书提供的一些实施例中,应用启动拍摄时,可以通过一个预训练的判别模型(例如卷积神经网络),持续识别拍摄到的画面中。根据拍摄得到图像判断拍摄端与所述目标车辆之间的初始相对方位是否符合跟踪要求。所述的跟踪要求可以包括拍摄画面中是否有车辆、与车辆的距离是否合适(预设的距离要求)、拍摄方位是否合适(得到拍摄方位要求)等一个或多个要求。如果发现用户与目标车辆之间处于一个合适的距离,则可以进入下一步处理。
所述的跟踪要求具体的可以根据需求进行设定。本说明书提供的一个实施例中给出了一种跟踪要求的实施方案,具体的,所述方法的另一个实施例中,所述判断拍摄端与所述目标车辆之间的初始相对方位是否符合跟踪要求包括:
S02:基于拍摄端获取的拍摄图像判断所述拍摄端的拍摄取景窗口内是否显示目标车辆的一个视觉角度的全貌图像。
所述的视觉角度通常指从拍摄端的取景窗口中可以看到目标车辆的某一个角度的平面全貌图像,不存在遮挡或缺失部位。例如图3所示,图3是本说明书所述方法中一个判断是否符合跟踪要求的实施场景示意图。
另一个实施例中,目标车辆初始位置识别过程中,距离目标车辆的距离也要符合一定的要求,太近或太远可能会对图像拍摄造成影响。例如图4中所示,在图4的场景中,若当前拍图像中与目标车辆的距离过近,则无法拍摄到车辆的全貌,给车辆身份的识别或损伤全貌的识别造成干扰。因此,本说明书提供的所述方法的一个实施例中,所述跟踪要求还可以包括:
S04:根据目标车辆的拍摄图像确定的拍摄端与所述目标车辆的距离符合预设距离范围内。
当然,本说明书的另一些实施例中,若当前位置不合适,则可以提示用户走到能够看清车辆全貌的位置,或者向前/退后一些距离。至于位移或向前或向后移动的距离和方向,一些实施例中,可以以拍摄画面中能够看清目标车辆的全貌为准来制定提示信息。具体的,所述方法的另一个实施例中,所述方法还可以包括:
S1:若不符合所述跟踪距离要求,则通过文字、语音、动画、符号、震动中的至少一种方式展示位置引导信息,所述位置引导信息至少包括指示当前拍摄位置不符合拍摄位置要求的信息、引导用户位移至符合拍摄位置要求的信息中的一种。
如图4所示,可以在客户端显示“当前与车的距离太近,请退后到可以看清全貌的位置”的位置引导信息。利用本实施例方案,可以将用户引导至合适的初始拍摄位置,可以从所述合适的初始拍摄位置跟踪记录用户拍摄端中的画面信息。
S2:若符合跟踪要求,则启动目标跟踪,所述目标跟踪包括持续记录所述拍摄端相对于目标车辆的相对位置。
一旦识别到用户和车辆之间的位置合适,应用可以启动目标跟踪,持续记录用户与目标车辆的相对位置。本实施例中所述的持续记录通常指实时的记录跟踪,例如当用户相对于目标车辆的位置发生变化,则应用会再次计算和记录用户位置变化后所处的当前位置与目标车辆的相对位置关系。
在所述目标跟踪记录过程中,可以包括同时记录视频数据,即用户在目标跟踪的同时录制视频。当用户发现某次存在损伤时可以再对损伤部位重点拍摄或单独拍下照片或图片。单独排序的照片可以是用户通过专门的操作确定,例如按下拍照虚拟或实体按键。另一些实施例,所述的目标跟踪记录过程中,在用户没有确定拍照或录制视频时,可以无需记录拍摄取景窗口中显示的当前拍摄图像。
跟踪记录的所述相对位置可以采用多种算法或模型实现。本说明书实施例提供的一种方案中,可以建立三维坐标,基于三维坐标实现用户与车辆相对位置的跟踪记录。具体的,所述方法的另一个实施例中,所述跟踪记录所述拍摄端相对于所述目标车辆的位置信息包括:
S20:从当前拍摄的图像中识别反应所述目标车辆在三维空间的特征点数据;
S22:基于所述特征点数据以及拍摄端与目标车辆的初始相对方位计算得到所述拍摄端所在的位置相对于所述目标车辆的中心点的三维坐标;
S24:基于所述三维坐标以及获取的传感器信息持续记录所述拍摄端相对于所述目标车辆的坐标位置信息。
客户端的应用将从当前所拍摄的图像中识别能反应车辆三维信息的特征点(例如,车顶的三个角),并以此计算出用户当前所在位置相对于车辆中心点的三维坐标,启动目标跟踪。所述的目标跟踪具体的实施过程中可以是车辆上的特征点的跟踪。例如图5所示,根据当前拍摄的图像可以识别出车辆的A、B、C、D四个特征点,可以根据这四个特征构建三维空间坐标系统,然后利用拍摄端相对于目标车辆的距离和方位确定出拍摄端在三维坐标中的坐标,因此可以锁定用户相对于目标车辆的位置变化。当用户移动时,其对应的三维坐标数据也会跟着变化。
当然,在位置跟踪时,还可以结合客户端的传感器共同完成位置跟踪。例如以摄像头拍摄的实时图像中的特征点位置,及移动设备所能提供的传感器信息(如惯性传感器,运动传感器,红外景深传感器等)作为输入特征,使用深度神经网络等机器学习算法,能够实时计算移动设备相对车辆的位置信息。这样在用户手持移动设备围绕车辆移动时,能够持续跟踪移动设备相对车辆的坐标。
本说明书的另一个实施例中,随着全球定位系统的发展和计算机数据处理精度的提高,还可以利用卫星定位信息还跟踪记录用户与车辆的相对位置及相对位置变化。因此,所述方法的另一个实施例中,在所述目标跟踪中:
S26:还利用所述卫星定位信息来跟踪记录所述拍摄端与目标车辆的相对位置变化。
所述的卫星定位信息可以包括GPS(Global Positioning System,GPS,全球定位系统)信息、北斗卫星导航系统、GLONASS系统、伽利略卫星导航系统中的任意一种或其组合。
一般的,所述的特征数据可以包括识别出的车辆的各个部件的数据信息,可以构建3D坐标信息,建立车辆的增强现实空间模型(AR空间模型,一种数据表征方式,主体的轮廓图形)。当然,所述的特征数据还可以包括其他车辆部件的信息。
使用卫星定位信息时,可以使用客户端的定位信息,也可以使用目标车辆的定位信息,或者两者结合。
本实施例结合卫星定位系统,可以辅助跟踪用户相对于目标车辆的位置变化,提供跟踪精度。
S4:在所述目标跟踪中,若监测所述相对位置符合预设拍摄范围要求,则在所述拍摄端的拍摄取景窗口内显示使用增强现实AR方式显示的引导框,所述引导框用于引导用户将拍摄取景框与所述引导框重合。
用户拿着手机对车辆进行拍摄,并围绕车辆移动,或靠近车辆,或远离车辆等。在拍摄的过程中可以实时监测当前拍摄画面和用户与车辆的相对位置。若监测所述相对位置符合预设拍摄范围要求,则在所述拍摄端的拍摄取景窗口内显示使用增强现实AR方式显示的引导框。
例如图6所示,根据移动设备当前相对车辆的坐标,能够找到距离最近的适合拍摄点。通过3D渲染技术,在当前拍摄取景窗口内,显示引导框,用来引导用户将拍摄取景框与引导框尽可能重合。引导框可以是方框形状,也可以是其他形状。本说明书提供的一种实施例中,显示的所述的引导框的形状基于识别出的损伤所在的部件确定。例如,可以设置默认的引导框的形状为方形。若当前拍摄位置为轮毂,并且识别出轮毂有损伤,需要拍摄轮毂损伤的定损图像,则此时可以采用AR显示圆形的引导框,来引导用户调整拍摄位置来对准损伤的轮毂。当然,AR引导框可以随着角度的变化和距离的变化相应的发生形变,通过不断的调整,可以找到拍摄取景窗口与引导框重合的较佳拍摄位置。
所述预设的拍摄范围要求通常可以预先根据保险公司车辆定损、理赔等要求制定相应的拍摄规范。一般的,对于车辆来说,合适拍摄的方向是可以事先穷举的,如下图7所示,通常包括环绕车辆的8~12个方位,拍摄距离可以为0.5米-2米,或根据损伤来确定拍摄距离等。一些实施情况下,可以根据保险公司的拍摄规范要求,可在应用程序中预置所有适合拍摄的点,以及能够容忍的偏离范围。此时获取的拍摄图像包括车辆损伤部位的图像,也可以包含无损伤的图像,例如即使没有某部位没有损伤,但根据拍摄要求仍然需要在指定拍摄方位和距离范围内拍摄图像。本说明书的一个实施例中,在损伤细节拍摄过中,所述预设的拍摄范围要求可以包括:
S40:识别出当前拍摄图像中含有车辆损伤,且,符合预设的对所述车辆损伤的拍摄方位要求、拍摄距离要求。
S6:在检测到所述拍摄取景窗口与所述引导框的重合度满足拍摄条件时,展示可进行损伤拍摄的提示信息。
需要说明的是,本实施例中所述的展示可进行损伤拍摄的提示信息通常的是指提示用户可以对当前客户端对准的车辆部件进行拍照或录制视频,或连续拍摄等。此时用户可以按下实体或虚拟的拍照或视频录制按钮/开关。当前拍摄的车辆图像中可以不包含车辆的损伤部位,如上述仅是根据拍摄要求拍摄指定方位的图像,此时可以还未拍摄到车辆的实际损伤位置。
所述的重合度满足拍摄条件,具体的可以根据拍摄要求和拍摄端设备等进行设定。例如可以一些实施例中可以设置引导框的边界与拍摄端显示屏中的拍摄取景框窗口重合时展示提示信息,也可以设置重合度达到一定的要求,例如重合度为95%以上。需要说明的是,本说明书实施例中所述的拍摄取景窗口可以与拍摄的显示屏大小相同,也可以位于所述显示屏可显示的区域内,可以为单独的显示窗口。
所述损伤提示信息可以包括文字、动画等多种信息类型。本说明书提供的一个实施例中,所述展示可进行损伤拍摄的提示信息包括:
S60:通过改变所述引导框的外观属性信息实现。
所述的外观属性信息可以包括线条粗细、线条颜色、填充颜色、大小变化等。
当确定拍摄位置合适,此时可以改变引导框的外观(例如变成绿色),以提示用户已经位于可拍摄位置。此时用户可按下快门,对损伤部位进行拍摄。重复上述步骤,让用户拍摄所有损伤部位。由于引导框的存在和处理较佳拍摄位置时的外观显著变化,用户能够很直观地看到需要怎样移动才符合拍摄角度、距离的要求,可以不再需要人工引导,更加快速便捷的获取高质量的车辆定损图像。本实施例中通过外观属性,尤其是颜色变化,可以给用户更为强烈的视觉冲击,让用户明显的感知可进行损伤拍摄的提示信息,提醒用户注意拍摄,提高用户体验和引导效果。
当然,另一个实施例中,除引导框外观属性变化外,还可以进一步结合其他类型的提示信息来提醒用户。具体的,本说明书提供的所述方法的另一个实施例中,所述满足拍摄条件时,展示可进行损伤拍摄的提示信息包括:
S62:满足拍摄条件时,所述引导框的外观更换为指定颜色,并至少结合外观框闪烁、拍摄端振动、文字提醒、语言提醒中的一项来提示用户进行拍摄。
例如在一些实施场景中,可能存在用户色盲或其他视力障碍,或者拍摄端显示屏幕较小,应用本实施例方案,可以结合手机振动、语音、文字或者动画效果等来提示用户当前可以进行拍摄,使得提示信息更加显著化,更加引起用户的注意,有效的满足部分用户的需要,提示用户体验。
进一步的,所述方法的另一个实施例中,还可以包括:
获取基于增强现实AR显示的引导框拍摄得到的定损图像,将所述定损图像上传至服务器,以使所述服务器基于所述定损图像进行理赔处理。
上述利用AR技术,实现对移动设备的实时定位,判断当前最合适的拍摄点,在拍摄画面叠加显示引导物,在车损拍摄场景中达到精准引导的效果。这样获得的定损图像相比用户自行拍摄或保险人员电话等远程指导获取的图像质量更高,为后续定损、理赔等提供了更好的图像数据基础。
本说明书实施例提供的一种车损图像拍摄的交互处理方法,可以利用AR技术,能够实时识别用户移动设备摄像头所拍摄到的画面,结合移动设备的各类传感器和视觉信息,能判断出摄像头相对被拍摄对象的准确距离、方位,从而能对用户需要调整的方向、距离进行精准估算。进而在用户移动设备拍摄窗口的画面中叠加显示AR的引导框,能对用户进行更加明确的引导。本说明书提供的实施例方案中,用户可以无需专业的定损图像拍摄技能和复杂的拍摄操作步骤,使用时结合AR的引导拍摄即可以获取质量更好的拍摄图像,不仅便于用户操作,提升用户的服务体验,还可以有效提高车损图像的拍摄质量。
需要说明的,上述实施例中所描述的实时可以包括在获取或确定某些数据信息后即刻发送、接收、记录或展示,本领域技术人员可以理解的是,经过缓存或预期的计算、等待时间后的发送、接收、记录或展示仍然可以属于所述实时的定义范围。本说明书实施例所述的图像可以包括视频,视频可以视为连续的图像集合。
上述实施例中,服务器一侧可以利用预先或实时构建的损伤识别算法来识别客户端拍摄获取的图像。所述的损伤识别算法可以包括采用多种训练模型训练构建的损伤识别算法,如深度神经网络Faster R-CNN,可以通过事先标注好损伤区域的大量图片,训练出一个深度神经网络,对于车辆各个方位及光照条件的图片,给出损伤区域的范围。
本说明书中上述方法的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。相关之处参见方法实施例的部分说明即可。
本说明书实施例所提供的方法实施例可以在移动终端、PC终端、专用定损终端、服务器或者类似的运算装置中执行。以运行在移动终端上为例,图8是应用本发明方法或装置实施例一种车损图像拍摄的交互处理的客户端的硬件结构框图。如图8所示,客户端10可以包括一个或多个(图中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输模块106。本领域普通技术人员可以理解,图8所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,客户端10还可包括比图8中所示更多或者更少的组件,例如还可以包括其他的处理硬件,如GPU(Graphics Processing Unit,图像处理器),或者具有与图8所示不同的配置。
存储器104可用于存储应用软件的软件程序以及模块,如本说明书实施例中的搜索方法对应的程序指令/模块,处理器102通过运行存储在存储器104内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述导航交互界面内容展示的处理方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至客户端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输模块106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中,传输模块106包括一个网络适配器(Network Interface Controller,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输模块106可以为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
基于上述所述的一种车损图像拍摄的交互处理方法的多个实施例,本说明书还提供一种车损图像拍摄的交互处理装置。所述的装置可以包括使用了本说明书实施例所述方法的系统(包括分布式系统)、软件(应用)、模块、组件、服务器、客户端等并结合必要的实施硬件的设备装置。基于同一创新构思,本说明书提供的一种实施例中的处理装置如下面的实施例所述。由于装置解决问题的实现方案与方法相似,因此本说明书实施例具体的处理装置的实施可以参见前述方法的实施,重复之处不再赘述。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。具体的,如图9所示,图9是本说明书提供的一种车损图像拍摄的交互处理装置实施例的模块结构示意图,具体的可以包括:
初始位置识别模块201,可以基于目标车辆的拍摄图像判断拍摄端与所述目标车辆之间的初始相对方位是否符合跟踪要求;
目标跟踪模块202,可以用于在符合所述跟踪要求时,启动目标跟踪,所述目标跟踪包括持续记录所述拍摄端相对于目标车辆的相对位置;
引导提示模块203,可以用于在所述目标跟踪中,若监测所述相对位置符合预设拍摄范围要求,则在所述拍摄端的拍摄取景窗口内显示使用增强现实AR方式显示的引导框,所述引导框用于引导用户将拍摄取景框与所述引导框重合;
拍摄提示模块203,可以用于在检测到所述拍摄取景窗口与所述引导框的重合度满足拍摄条件时,展示可进行损伤拍摄的提示信息。
需要说明的是,上述实施例所述的装置,根据相关方法实施例的描述还可以包括其他的实施方式,展示处理进度的模块。具体的实现方式可以参照方法实施例的描述,在此不作一一赘述。
根据前述方法实施例的描述,本说明书提供的所述装置的另一个实施例中,所述拍摄提示模块203展示可进行损伤拍摄的提示信息可以包括:
通过改变所述引导框的外观属性信息实现。
根据前述方法实施例的描述,本说明书提供的所述装置的另一个实施例中,所述满足拍摄条件时,所述拍摄提示模块203展示可进行损伤拍摄的提示信息可以包括:
满足拍摄条件时,所述引导框的外观更换为指定颜色,并至少结合外观框闪烁、拍摄端振动、文字提醒、语言提醒中的一项来提示用户进行拍摄。
根据前述方法实施例的描述,本说明书提供的所述装置的另一个实施例中,所述引导提示模块203显示的所述的引导框的形状基于识别出的损伤所在的部件确定。
根据前述方法实施例的描述,本说明书提供的所述装置的另一个实施例中,所述目标跟踪模块202跟踪记录所述拍摄端相对于所述目标车辆的位置信息可以包括:
从当前拍摄的图像中识别反应所述目标车辆在三维空间的特征点数据;
基于所述特征点数据以及拍摄端与目标车辆的初始相对方位计算得到所述拍摄端所在的位置相对于所述目标车辆的中心点的三维坐标;
基于所述三维坐标以及获取的传感器信息持续记录所述拍摄端相对于所述目标车辆的坐标位置信息。
根据前述方法实施例的描述,本说明书提供的所述装置的另一个实施例中,所述目标跟踪模块202在所述目标跟踪中还利用所述卫星定位信息来跟踪记录所述拍摄端与目标车辆的相对位置变化。
根据前述方法实施例的描述,本说明书提供的所述装置的另一个实施例中,所述初始位置识别模块201判断拍摄端与所述目标车辆之间的初始相对方位是否符合跟踪要求可以包括:
基于拍摄端获取的拍摄图像判断所述拍摄端的拍摄取景窗口内是否显示目标车辆的一个视觉角度的全貌图像。
根据前述方法实施例的描述,本说明书提供的所述装置的另一个实施例中,所述跟踪要求还可以包括:根据目标车辆的拍摄图像确定的拍摄端与所述目标车辆的距离符合预设距离范围内。
根据前述方法实施例的描述,本说明书提供的所述装置的另一个实施例中,所述预设的拍摄范围要求可以包括:
识别出当前拍摄图像中含有车辆损伤,且,符合预设的对所述车辆损伤的拍摄方位要求、拍摄距离要求。
图10是本说明书提供的另一种车损图像拍摄的交互处理装置实施例的模块结构示意图。根据前述方法实施例的描述,本说明书提供的所述装置的另一个实施例中,所述装置还可以包括:
移动提示模块205,可以用于在不符合所述跟踪距离要求时,通过文字、语音、动画、符号、震动中的至少一种方式展示位置引导信息,所述位置引导信息至少包括指示当前拍摄位置不符合拍摄位置要求的信息、引导用户位移至符合拍摄位置要求的信息中的一种。
图11是本说明书提供的一种车损图像拍摄的交互处理装置实施例的模块结构示意图。根据前述方法实施例的描述,本说明书提供的所述装置的另一个实施例中,所述装置还包括:
图像上传模块206,可以用于获取基于增强现实AR显示的引导框拍摄得到的定损图像,将所述定损图像上传至服务器,以使所述服务器基于所述定损图像进行理赔处理。
本说明书实施例提供的一种车损图像拍摄的交互处理方法或装置可以在计算机中由处理器执行相应的程序指令来实现,如使用windows/Linux操作系统的c++/java语言在PC端/服务器端实现,或其他例如android、iOS系统相对应的应用设计语言集合必要的硬件实现,或者基于量子计算机的处理逻辑实现等。本说明书提供的上述实施例所述的方法或装置或系统可以通过计算机程序实现业务逻辑并记录在存储介质上,所述的存储介质可以计算机读取并执行,实现本说明书实施例所描述方案的效果。具体的,本说明书提供的一种车损图像拍摄的交互处理设备实现上述方法的实施例中,所述处理设备可以包括处理器以及用于存储处理器可执行指令的存储器,所述处理器执行所述指令时实现:
基于目标车辆的拍摄图像判断拍摄端与所述目标车辆之间的初始相对方位是否符合跟踪要求;
若符合跟踪要求,则启动目标跟踪,所述目标跟踪包括持续记录所述拍摄端相对于目标车辆的相对位置;
在所述目标跟踪中,若监测所述相对位置符合预设拍摄范围要求,则在所述拍摄端的拍摄取景窗口内显示使用增强现实AR方式显示的引导框,所述引导框用于引导用户将拍摄取景框与所述引导框重合;
在检测到所述拍摄取景窗口与所述引导框的重合度满足拍摄条件时,展示可进行损伤拍摄的提示信息。
需要说明的是,上述实施例所述的装置,根据相关方法实施例的描述还可以包括其他的可扩展实施方式。具体的实现方式可以参照方法实施例的描述,在此不作一一赘述。
本说明书实施例提供的一种车损图像拍摄的交互处理装置,可以利用AR技术,能够实时识别用户移动设备摄像头所拍摄到的画面,结合移动设备的各类传感器和视觉信息,能判断出摄像头相对被拍摄对象的准确距离、方位,从而能对用户需要调整的方向、距离进行精准估算。进而在用户移动设备拍摄窗口的画面中叠加显示AR的引导框,能对用户进行更加明确的引导。本说明书提供的实施例方案中,用户可以无需专业的定损图像拍摄技能和复杂的拍摄操作步骤,使用时结合AR的引导拍摄即可以获取质量更好的拍摄图像,不仅便于用户操作,提升用户的服务体验,还可以有效提高车损图像的拍摄质量。
上述的指令可以存储在多种计算机可读存储介质中。所述计算机可读存储介质可以包括用于存储信息的物理装置,可以将信息数字化后再以利用电、磁或者光学等方式的媒体加以存储。本实施例所述的计算机可读存储介质有可以包括:利用电能方式存储信息的装置如,各式存储器,如RAM、ROM等;利用磁能方式存储信息的装置如,硬盘、软盘、磁带、磁芯存储器、磁泡存储器、U盘;利用光学方式存储信息的装置如,CD或DVD。当然,还有其他方式的可读存储介质,例如量子存储器、石墨烯存储器等等。本说明书实施例中所述的装置或服务器或客户端或系统中的指令同上描述。
上述方法或装置实施例可以用于用户一侧的客户端,如智能手机。因此,本说明书提供一种客户端,包括处理器以及用于存储处理器可执行指令的存储器,所述处理器执行所述指令时实现:
基于目标车辆的拍摄图像判断拍摄端与所述目标车辆之间的初始相对方位是否符合跟踪要求;
若符合跟踪要求,则启动目标跟踪,所述目标跟踪包括持续记录所述拍摄端相对于目标车辆的相对位置;
在所述目标跟踪中,若监测所述相对位置符合预设拍摄范围要求,则在所述拍摄端的拍摄取景窗口内显示使用增强现实AR方式显示的引导框,所述引导框用于引导用户将拍摄取景框与所述引导框重合;
在检测到所述拍摄取景窗口与所述引导框的重合度满足拍摄条件时,展示可进行损伤拍摄的提示信息。
基于前述所述,本说明书实施例还提供一种电子设备,包括摄像装置、显示屏、处理器以及存储处理器可执行指令的存储器。所述摄像装置用于对目标车辆进行拍摄;所述显示屏用于显示摄像装置的拍摄画面以及相应的提示信息;所述处理器执行所述指令时可以实现本说明书任意一个实施例所述的方法步骤。
如前所述,客户端、电子设备实施例根据相关方法实施例的描述还可以包括其他的实施方式,具体的实现方式可以参照对应方法实施例的描述,在此不作一一赘述。
本说明书中的方法、装置、客户端、电子设备等的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于硬件+程序类实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
虽然本申请提供了如实施例或流程图所述的方法操作步骤,但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的装置或客户端产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。
尽管本说明书实施例内容中提到AR技术、基于特征点数据构建三维坐标、与用户交互的拍摄引导、利用GPS进行目标和用户定位跟踪等之类的数据获取、存储、交互、计算、判断等操作和数据描述,但是,本说明书实施例并不局限于必须是符合行业通信标准、标准图像数据处理协议、通信协议和标准数据模型/模板或本说明书实施例所描述的情况。某些行业标准或者使用自定义方式或实施例描述的实施基础上略加修改后的实施方案也可以实现上述实施例相同、等同或相近、或变形后可预料的实施效果。应用这些修改或变形后的数据获取、存储、判断、处理方式等获取的实施例,仍然可以属于本说明书的可选实施方案范围之内。
在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等,目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、车载人机交互设备、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
虽然本说明书实施例提供了如实施例或流程图所述的方法操作步骤,但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的装置或终端产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境,甚至为分布式数据处理环境)。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下,并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。
为了描述的方便,描述以上装置时以功能分为各种模块分别描述。当然,在实施本说明书实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现,也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
本领域技术人员应明白,本说明书的实施例可提供为方法、系统或计算机程序产品。因此,本说明书实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本说明书实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书实施例,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书实施例的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
以上所述仅为本说明书实施例的实施例而已,并不用于限制本说明书实施例。对于本领域技术人员来说,本说明书实施例可以有各种更改和变化。凡在本说明书实施例的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本说明书实施例的权利要求范围之内。

Claims (23)

1.一种车损图像拍摄的交互处理方法,所述方法包括:
基于目标车辆的拍摄图像判断拍摄端与所述目标车辆之间的初始相对方位是否符合跟踪要求;
若符合跟踪要求,则启动目标跟踪,所述目标跟踪包括持续记录所述拍摄端相对于目标车辆的相对位置;
在所述目标跟踪中,若监测所述相对位置符合预设拍摄范围要求,则在所述拍摄端的拍摄取景窗口内显示使用增强现实AR方式显示的引导框,所述引导框用于引导用户将拍摄取景框与所述引导框重合;显示的所述的引导框的形状基于识别出的损伤所在的部件确定;所述引导框随着拍摄角度的变化和拍摄距离的变化相应地发生形变;
在检测到所述拍摄取景窗口与所述引导框的重合度满足拍摄条件时,展示可进行损伤拍摄的提示信息。
2.如权利要求1所述的方法,所述展示可进行损伤拍摄的提示信息包括:
通过改变所述引导框的外观属性信息实现。
3.如权利要求2所述的方法,所述满足拍摄条件时,展示可进行损伤拍摄的提示信息包括:
满足拍摄条件时,所述引导框的外观更换为指定颜色,并至少结合外观框闪烁、拍摄端振动、文字提醒、语言提醒中的一项来提示用户进行拍摄。
4.如权利要求1所述的方法,所述跟踪记录所述拍摄端相对于所述目标车辆的位置信息包括:
从当前拍摄的图像中识别反应所述目标车辆在三维空间的特征点数据;
基于所述特征点数据以及拍摄端与目标车辆的初始相对方位计算得到所述拍摄端所在的位置相对于所述目标车辆的中心点的三维坐标;
基于所述三维坐标以及获取的传感器信息持续记录所述拍摄端相对于所述目标车辆的坐标位置信息。
5.如权利要求4所述的方法,在所述目标跟踪中还利用卫星定位信息来跟踪记录所述拍摄端与目标车辆的相对位置变化。
6.如权利要求1所述的方法,所述判断拍摄端与所述目标车辆之间的初始相对方位是否符合跟踪要求包括:
基于拍摄端获取的拍摄图像判断所述拍摄端的拍摄取景窗口内是否显示目标车辆的一个视觉角度的全貌图像。
7.如权利要求6所述的方法,所述跟踪要求还包括:根据目标车辆的拍摄图像确定的拍摄端与所述目标车辆的距离符合预设距离范围内。
8.如权利要求1所述的方法,所述预设的拍摄范围要求包括:
识别出当前拍摄图像中含有车辆损伤,且,符合预设的对所述车辆损伤的拍摄方位要求、拍摄距离要求。
9.如权利要求1所述的方法,所述方法还包括:
若不符合所述跟踪距离要求,则通过文字、语音、动画、符号、震动中的至少一种方式展示位置引导信息,所述位置引导信息至少包括指示当前拍摄位置不符合拍摄位置要求的信息、引导用户位移至符合拍摄位置要求的信息中的一种。
10.如权利要求1所述的方法,所述方法还包括:
获取基于增强现实AR显示的引导框拍摄得到的定损图像,将所述定损图像上传至服务器,以使所述服务器基于所述定损图像进行理赔处理。
11.一种车损图像拍摄的交互处理装置,所述装置包括:
初始位置识别模块,基于目标车辆的拍摄图像判断拍摄端与所述目标车辆之间的初始相对方位是否符合跟踪要求;
目标跟踪模块,用于在符合所述跟踪要求时,启动目标跟踪,所述目标跟踪包括持续记录所述拍摄端相对于目标车辆的相对位置;
引导提示模块,用于在所述目标跟踪中,若监测所述相对位置符合预设拍摄范围要求,则在所述拍摄端的拍摄取景窗口内显示使用增强现实AR方式显示的引导框,所述引导框用于引导用户将拍摄取景框与所述引导框重合;显示的所述的引导框的形状基于识别出的损伤所在的部件确定;所述引导框随着拍摄角度的变化和拍摄距离的变化相应地发生形变;
拍摄提示模块,用于在检测到所述拍摄取景窗口与所述引导框的重合度满足拍摄条件时,展示可进行损伤拍摄的提示信息。
12.如权利要求11所述的装置,所述拍摄提示模块展示可进行损伤拍摄的提示信息包括:
通过改变所述引导框的外观属性信息实现。
13.如权利要求12所述的装置,所述满足拍摄条件时,所述拍摄提示模块展示可进行损伤拍摄的提示信息包括:
满足拍摄条件时,所述引导框的外观更换为指定颜色,并至少结合外观框闪烁、拍摄端振动、文字提醒、语言提醒中的一项来提示用户进行拍摄。
14.如权利要求11所述的装置,所述目标跟踪模块跟踪记录所述拍摄端相对于所述目标车辆的位置信息包括:
从当前拍摄的图像中识别反应所述目标车辆在三维空间的特征点数据;
基于所述特征点数据以及拍摄端与目标车辆的初始相对方位计算得到所述拍摄端所在的位置相对于所述目标车辆的中心点的三维坐标;
基于所述三维坐标以及获取的传感器信息持续记录所述拍摄端相对于所述目标车辆的坐标位置信息。
15.如权利要求14所述的装置,所述目标跟踪模块在所述目标跟踪中还利用卫星定位信息来跟踪记录所述拍摄端与目标车辆的相对位置变化。
16.如权利要求11所述的装置,所述初始位置识别模块判断拍摄端与所述目标车辆之间的初始相对方位是否符合跟踪要求包括:
基于拍摄端获取的拍摄图像判断所述拍摄端的拍摄取景窗口内是否显示目标车辆的一个视觉角度的全貌图像。
17.如权利要求16所述的装置,所述跟踪要求还包括:根据目标车辆的拍摄图像确定的拍摄端与所述目标车辆的距离符合预设距离范围内。
18.如权利要求11所述的装置,所述预设的拍摄范围要求包括:
识别出当前拍摄图像中含有车辆损伤,且,符合预设的对所述车辆损伤的拍摄方位要求、拍摄距离要求。
19.如权利要求11所述的装置,所述装置还包括:
移动提示模块,用于在不符合所述跟踪距离要求时,通过文字、语音、动画、符号、震动中的至少一种方式展示位置引导信息,所述位置引导信息至少包括指示当前拍摄位置不符合拍摄位置要求的信息、引导用户位移至符合拍摄位置要求的信息中的一种。
20.如权利要求11所述的装置,所述装置还包括:
图像上传模块,用于获取基于增强现实AR显示的引导框拍摄得到的定损图像,将所述定损图像上传至服务器,以使所述服务器基于所述定损图像进行理赔处理。
21.一种车损图像拍摄的交互处理设备,包括处理器以及用于存储处理器可执行指令的存储器,所述处理器执行所述指令时实现:
基于目标车辆的拍摄图像判断拍摄端与所述目标车辆之间的初始相对方位是否符合跟踪要求;
若符合跟踪要求,则启动目标跟踪,所述目标跟踪包括持续记录所述拍摄端相对于目标车辆的相对位置;
在所述目标跟踪中,若监测所述相对位置符合预设拍摄范围要求,则在所述拍摄端的拍摄取景窗口内显示使用增强现实AR方式显示的引导框,所述引导框用于引导用户将拍摄取景框与所述引导框重合;显示的所述的引导框的形状基于识别出的损伤所在的部件确定;所述引导框随着拍摄角度的变化和拍摄距离的变化相应地发生形变;
在检测到所述拍摄取景窗口与所述引导框的重合度满足拍摄条件时,展示可进行损伤拍摄的提示信息。
22.一种客户端,包括处理器以及用于存储处理器可执行指令的存储器,所述处理器执行所述指令时实现:
基于目标车辆的拍摄图像判断拍摄端与所述目标车辆之间的初始相对方位是否符合跟踪要求;
若符合跟踪要求,则启动目标跟踪,所述目标跟踪包括持续记录所述拍摄端相对于目标车辆的相对位置;
在所述目标跟踪中,若监测所述相对位置符合预设拍摄范围要求,则在所述拍摄端的拍摄取景窗口内显示使用增强现实AR方式显示的引导框,所述引导框用于引导用户将拍摄取景框与所述引导框重合;显示的所述的引导框的形状基于识别出的损伤所在的部件确定;所述引导框随着拍摄角度的变化和拍摄距离的变化相应地发生形变;
在检测到所述拍摄取景窗口与所述引导框的重合度满足拍摄条件时,展示可进行损伤拍摄的提示信息。
23.一种电子设备,包括摄像装置、显示屏、处理器以及存储处理器可执行指令的存储器,所述摄像装置用于对目标车辆进行拍摄;所述显示屏用于显示摄像装置的拍摄画面以及相应的提示信息,所述处理器执行所述指令时实现权利要求1-10中任意一项所述的方法步骤。
CN201910353156.0A 2019-04-29 2019-04-29 车损图像拍摄的交互处理方法、装置、设备及客户端 Active CN110245552B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910353156.0A CN110245552B (zh) 2019-04-29 2019-04-29 车损图像拍摄的交互处理方法、装置、设备及客户端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910353156.0A CN110245552B (zh) 2019-04-29 2019-04-29 车损图像拍摄的交互处理方法、装置、设备及客户端

Publications (2)

Publication Number Publication Date
CN110245552A CN110245552A (zh) 2019-09-17
CN110245552B true CN110245552B (zh) 2023-07-18

Family

ID=67883436

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910353156.0A Active CN110245552B (zh) 2019-04-29 2019-04-29 车损图像拍摄的交互处理方法、装置、设备及客户端

Country Status (1)

Country Link
CN (1) CN110245552B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110717435B (zh) * 2019-09-30 2023-04-14 成都市喜爱科技有限公司 拍摄设备管理方法、装置、电子设备及存储介质
CN113038018B (zh) * 2019-10-30 2022-06-28 支付宝(杭州)信息技术有限公司 辅助用户拍摄车辆视频的方法及装置
CN110910628B (zh) * 2019-12-02 2021-02-12 支付宝(杭州)信息技术有限公司 车损图像拍摄的交互处理方法、装置、电子设备
CN111080614A (zh) * 2019-12-12 2020-04-28 哈尔滨市科佳通用机电股份有限公司 铁路货车轮轮辋及踏面的破损识别方法
US11263742B2 (en) * 2020-02-05 2022-03-01 Fulpruf Technology Corporation Vehicle supply chain damage tracking system
CN112434368A (zh) * 2020-10-20 2021-03-02 联保(北京)科技有限公司 一种图像采集方法、装置及存储介质
CN112509152A (zh) * 2020-12-17 2021-03-16 重庆实唯信息技术有限公司 一种基于ar技术的看车方法、系统、设备及可读介质
CN112712498A (zh) * 2020-12-25 2021-04-27 北京百度网讯科技有限公司 移动终端执行的车辆定损方法、装置、移动终端、介质
CN113792580B (zh) * 2021-08-02 2023-11-03 日立楼宇技术(广州)有限公司 一种自动扶梯的辅助拍摄系统、方法、装置及存储介质
CN113949811A (zh) * 2021-10-14 2022-01-18 广州威拓电子科技有限公司 一种拍摄车辆的方法和装置
CN114241180A (zh) * 2021-12-15 2022-03-25 平安科技(深圳)有限公司 车损理赔的图片检测方法、装置、计算机设备及存储介质
CN114637438A (zh) * 2022-03-23 2022-06-17 支付宝(杭州)信息技术有限公司 基于ar的车辆事故处理方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014191664A (ja) * 2013-03-27 2014-10-06 Fujitsu Ltd 車両追跡プログラム、画像送信プログラム、サーバ装置、情報処理装置および車両追跡方法
CN108632530A (zh) * 2018-05-08 2018-10-09 阿里巴巴集团控股有限公司 一种车辆定损的数据处理方法、装置、处理设备及客户端
CN108647712A (zh) * 2018-05-08 2018-10-12 阿里巴巴集团控股有限公司 车辆损伤识别的处理方法、处理设备、客户端及服务器
CN109325488A (zh) * 2018-08-31 2019-02-12 阿里巴巴集团控股有限公司 用于辅助车辆定损图像拍摄的方法、装置及设备
US10210664B1 (en) * 2017-05-03 2019-02-19 A9.Com, Inc. Capture and apply light information for augmented reality

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108665373B (zh) * 2018-05-08 2020-09-18 阿里巴巴集团控股有限公司 一种车辆定损的交互处理方法、装置、处理设备及客户端
CN108875648A (zh) * 2018-06-22 2018-11-23 深源恒际科技有限公司 一种基于手机视频流的实时车辆损伤和部件检测的方法
CN108921068B (zh) * 2018-06-22 2020-10-20 深源恒际科技有限公司 一种基于深度神经网络的汽车外观自动定损方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014191664A (ja) * 2013-03-27 2014-10-06 Fujitsu Ltd 車両追跡プログラム、画像送信プログラム、サーバ装置、情報処理装置および車両追跡方法
US10210664B1 (en) * 2017-05-03 2019-02-19 A9.Com, Inc. Capture and apply light information for augmented reality
CN108632530A (zh) * 2018-05-08 2018-10-09 阿里巴巴集团控股有限公司 一种车辆定损的数据处理方法、装置、处理设备及客户端
CN108647712A (zh) * 2018-05-08 2018-10-12 阿里巴巴集团控股有限公司 车辆损伤识别的处理方法、处理设备、客户端及服务器
CN109325488A (zh) * 2018-08-31 2019-02-12 阿里巴巴集团控股有限公司 用于辅助车辆定损图像拍摄的方法、装置及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于图像匹配的智能拍照引导方法研究;李庆年;《科技通报》;210-213 *

Also Published As

Publication number Publication date
CN110245552A (zh) 2019-09-17

Similar Documents

Publication Publication Date Title
CN110245552B (zh) 车损图像拍摄的交互处理方法、装置、设备及客户端
CN113179368B (zh) 一种车辆定损的数据处理方法、装置、处理设备及客户端
CN108665373B (zh) 一种车辆定损的交互处理方法、装置、处理设备及客户端
US10740975B2 (en) Mobile augmented reality system
US9576183B2 (en) Fast initialization for monocular visual SLAM
CN111126182B (zh) 车道线检测方法、装置、电子设备及存储介质
US9071827B1 (en) Method and system for automatic 3-D image creation
EP3926441B1 (en) Output of virtual content
CN111344644B (zh) 用于基于运动的自动图像捕获的技术
US10051180B1 (en) Method and system for removing an obstructing object in a panoramic image
US20220058407A1 (en) Neural Network For Head Pose And Gaze Estimation Using Photorealistic Synthetic Data
CN107197153B (zh) 一种照片的拍摄方法及拍摄装置
CN112287928A (zh) 一种提示方法、装置、电子设备及存储介质
CN111062981A (zh) 图像处理方法、装置及存储介质
CN107084740B (zh) 一种导航方法和装置
CN110910628B (zh) 车损图像拍摄的交互处理方法、装置、电子设备
CN110858414A (zh) 图像处理方法、装置、可读存储介质与增强现实系统
CN110263615A (zh) 车辆拍摄中的交互处理方法、装置、设备及客户端
US20220084249A1 (en) Method for information processing, electronic equipment, and storage medium
CN114267041B (zh) 场景中对象的识别方法及装置
EP3651144A1 (en) Method and apparatus for information display, and display device
CN116012445A (zh) 一种基于深度相机的导览机器人感知行人三维空间信息的方法和系统
CN113747044A (zh) 一种全景拍摄方法及设备
EP4040268A1 (en) Object sharing method and apparatus
CN112330721B (zh) 三维坐标的恢复方法及装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40014380

Country of ref document: HK

TA01 Transfer of patent application right

Effective date of registration: 20200924

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Advanced innovation technology Co.,Ltd.

Address before: Greater Cayman, British Cayman Islands

Applicant before: Alibaba Group Holding Ltd.

Effective date of registration: 20200924

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Innovative advanced technology Co.,Ltd.

Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant before: Advanced innovation technology Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant