CN110567728B - 用户拍摄意图的识别方法、装置及设备 - Google Patents

用户拍摄意图的识别方法、装置及设备 Download PDF

Info

Publication number
CN110567728B
CN110567728B CN201811023190.3A CN201811023190A CN110567728B CN 110567728 B CN110567728 B CN 110567728B CN 201811023190 A CN201811023190 A CN 201811023190A CN 110567728 B CN110567728 B CN 110567728B
Authority
CN
China
Prior art keywords
images
shot
shooting
position information
shot images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811023190.3A
Other languages
English (en)
Other versions
CN110567728A (zh
Inventor
王萌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced New Technologies Co Ltd
Advantageous New Technologies Co Ltd
Original Assignee
Advanced New Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Advanced New Technologies Co Ltd filed Critical Advanced New Technologies Co Ltd
Priority to CN202110845857.3A priority Critical patent/CN113567149A/zh
Priority to CN201811023190.3A priority patent/CN110567728B/zh
Publication of CN110567728A publication Critical patent/CN110567728A/zh
Application granted granted Critical
Publication of CN110567728B publication Critical patent/CN110567728B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01MTESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M17/00Testing of vehicles
    • G01M17/007Wheeled or endless-tracked vehicles

Abstract

本说明书实施例提供一种用户拍摄意图的识别方法、装置及设备,在用户拍摄意图的识别方法中,获取一组车辆的拍摄图像,该一组拍摄图像中包括至少两幅拍摄图像。确定拍摄设备在拍摄该一组拍摄图像中的各幅拍摄图像时的位置信息以及姿态信息。对各幅拍摄图像中的车辆的部件进行检测,从而得到各幅拍摄图像的部件检测结果。将位置信息、姿态信息以及部件检测结果输入用户拍摄意图识别模型,以识别各幅拍摄图像的拍摄意图。

Description

用户拍摄意图的识别方法、装置及设备
技术领域
本说明书一个或多个实施例涉及计算机技术领域,尤其涉及一种用户拍摄意图的识别方法、装置及设备。
背景技术
传统技术中,车辆的定损过程可以为:获取用户针对待定损车辆所拍摄的一系列的拍摄图像。将该一系列的拍摄图像输入损伤检测模型,从而得到车辆的损伤检测结果。然而,在拍摄上述一系列的拍摄图像时,用户可能会移动相机的位置或者改变相机的姿态,而在用户移动位置或者改变姿态的过程中,拍摄的图像可能不包含损伤。
因此,需要提供一种用户拍摄意图的识别方案,以便于基于用户的拍摄意图对车辆的损伤进行检测时,可以提高损伤检测结果的准确性。
发明内容
本说明书一个或多个实施例描述了一种用户拍摄意图的识别方法、装置及设备,能够识别用户拍摄意图,以便于基于用户的拍摄意图对车辆的损伤进行检测时,可以提高损伤检测结果的准确性。
第一方面,提供了一种用户拍摄意图的识别方法,包括:
获取一组车辆的拍摄图像;所述一组拍摄图像中包括至少两幅拍摄图像;
确定拍摄设备在拍摄所述一组拍摄图像中的各幅拍摄图像时的位置信息以及姿态信息;
对所述各幅拍摄图像中的车辆的部件进行检测,从而得到所述各幅拍摄图像的部件检测结果;
将所述位置信息、所述姿态信息以及所述部件检测结果输入用户拍摄意图识别模型,以识别所述各幅拍摄图像的拍摄意图。
第二方面,提供了一种用户拍摄意图的识别装置,包括:
获取单元,用于获取一组车辆的拍摄图像;所述一组拍摄图像中包括至少两幅拍摄图像;
确定单元,用于确定拍摄设备在拍摄所述获取单元获取的所述一组拍摄图像中的各幅拍摄图像时的位置信息以及姿态信息;
检测单元,用于对所述获取单元获取的所述各幅拍摄图像中的车辆的部件进行检测,从而得到所述各幅拍摄图像的部件检测结果;
识别单元,用于将所述确定单元确定的所述位置信息、所述姿态信息以及所述检测单元检测到的所述部件检测结果输入用户拍摄意图识别模型,以识别所述各幅拍摄图像的拍摄意图。
第三方面,提供了一种用户拍摄意图的识别设备,包括:
存储器;
一个或多个处理器;以及
一个或多个程序,其中所述一个或多个程序存储在所述存储器中,并且被配置成由所述一个或多个处理器执行,所述程序被所述处理器执行时实现以下步骤:
获取一组车辆的拍摄图像;所述一组拍摄图像中包括至少两幅拍摄图像;
确定拍摄设备在拍摄所述一组拍摄图像中的各幅拍摄图像时的位置信息以及姿态信息;
对所述各幅拍摄图像中的车辆的部件进行检测,从而得到所述各幅拍摄图像的部件检测结果;
将所述位置信息、所述姿态信息以及所述部件检测结果输入用户拍摄意图识别模型,以识别所述各幅拍摄图像的拍摄意图。
本说明书一个或多个实施例提供的用户拍摄意图的识别方法、装置及设备,获取一组车辆的拍摄图像,该一组拍摄图像中包括至少两幅拍摄图像。确定拍摄设备在拍摄该一组拍摄图像中的各幅拍摄图像时的位置信息以及姿态信息。对各幅拍摄图像中的车辆的部件进行检测,从而得到各幅拍摄图像的部件检测结果。将位置信息、姿态信息以及部件检测结果输入用户拍摄意图识别模型,以识别各幅拍摄图像的拍摄意图。由此,实现了对用户拍摄意图的识别。此外,在识别到用户的拍摄意图后,可以基于用户的拍摄意图对车辆的损伤进行检测,从而可以提高损伤检测结果的准确性。
附图说明
为了更清楚地说明本说明书实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为本说明书提供的车辆定损系统示意图;
图2为本说明书一个实施例提供的用户拍摄意图的识别方法流程图;
图3为本说明书提供的拍摄设备的位置与姿态信息的确定方法流程图;
图4为本说明书提供的一种车辆的损伤检测方法流程图;
图5为本说明书提供的另一种车辆的损伤检测方法流程图;
图6为本说明书一个实施例提供的用户拍摄意图的识别装置示意图;
图7为本说明书一个实施例提供的用户拍摄意图的识别设备示意图。
具体实施方式
下面结合附图,对本说明书提供的方案进行描述。
本说明书一个或多个实施例提供的用户拍摄意图的识别方法可以应用于如图1所示的车辆定损系统10中,图1中,车辆定损系统10可以包括:用户拍摄意图识别模块102和车辆损伤检测模块104。
用户拍摄意图识别模块102用于获取数据采集者(包括C端用户以及保险公司的定损人员等)通过拍摄设备所拍摄的一系列的车辆的拍摄图像。在本说明书中,上述一系列的拍摄图像也可以称为一组拍摄图像。该一组拍摄图像可以与一个案件相对应。需要说明的是,上述一组拍摄图像通常具有连续性,具有连续性的拍摄图像之间可以具有重合(overlap)区域。在获取到上述一组拍摄图像之后,可以确定拍摄设备在拍摄该一组拍摄图像中的各幅拍摄图像时的位置信息以及姿态信息。对各幅拍摄图像中的车辆的部件进行检测,得到各幅拍摄图像的部件检测结果。最后,根据拍摄设备在拍摄各幅拍摄图像时的位置信息、姿态信息以及部件检测结果,识别各幅拍摄图像的拍摄意图。
车辆损伤检测模块104用于根据各幅拍摄图像以及各幅拍摄图像的拍摄意图,确定车辆的损伤检测结果。在一种实现方式中,可以将各幅拍摄图像的拍摄意图显示的作为权重,来调整基于各幅拍摄图像所确定的车辆的初始损伤检测结果。在另一种实现方式中,也可以将各幅拍摄图像以及各幅拍摄图像的拍摄意图输入损伤检测模型,以确定车辆的损伤检测结果。在再一种实现方式中,也可以基于各幅拍摄图像的拍摄意图等信息,筛选关键拍摄图像。之后基于关键拍摄图像,确定车辆的损伤检测结果。
本说明书提供的车辆损伤检测模块104基于拍摄图像的拍摄意图,来对车辆的损伤进行检测时,可以提高损伤检测结果的准确性。此外,车辆损伤检测模块104在基于关键拍摄图像,对车辆的损伤进行检测时,可以节省计算资源,提升车辆定损系统10的定损效率。
应理解,图1所示的车辆定损系统10只是示意性地,根据本说明书实施例的系统不限于图1所示的结构。例如,图1中还可以包括分流模块等,本说明书对此不作限定。
图2为本说明书一个实施例提供的用户拍摄意图的识别方法流程图。所述方法的执行主体可以为具有处理能力的设备:服务器或者系统或者模块,如,可以为图1中的用户拍摄意图识别模块102。如图2所示,所述方法具体可以包括:
步骤202,获取一组车辆的拍摄图像。
该一组拍摄图像可以是由数据采集者(包括C端用户以及保险公司的定损人员等)通过拍摄设备在拍摄车辆的损伤部位时所获得的。由于车辆的损伤部位可能有多处,因此数据采集者在拍摄过程中,可能会移动拍摄设备的位置或者改变拍摄设备的姿态,从而上述一组拍摄图像中的各幅拍摄图像具有连续性。需要说明的是,具有连续性的拍摄图像之间可以具有重合(overlap)区域。在本说明书中,一组拍摄图像可以包括至少两幅拍摄图像。
步骤204,确定拍摄设备在拍摄该一组拍摄图像中的各幅拍摄图像时的位置信息以及姿态信息。
在本说明书中,拍摄设备的位置信息可以是指拍摄设备在三维空间的三维坐标,而拍摄设备的姿态信息可以是指拍摄设备的旋转角度等信息。
在一种实现方式中,可以按照两两组合的方式,确定上述位置信息和姿态信息。此处的一个组合的拍摄图像之间可以具有重合区域。在一个例子中,上述位置信息以及姿态信息的确定方法可以如图3所示。图3中,该确定方法可以包括如下步骤:
步骤302,从一组拍摄图像中选取两幅具有重合区域的拍摄图像。
此处的两幅拍摄图像可以构成上述一个组合。需要说明的是,该两幅拍摄图像可以相邻,如,第1幅图像和第2幅图像;也可以不相邻,如,第1幅图像和第3幅图像,只要该两幅拍摄图像之间具有重合区域即可。
步骤304,分别在该两幅拍摄图像上提取关键点。
此处的关键点在拍摄图像中可以具有对应的位置信息,如,二维坐标:(x,y)。此外,上述关键点可以与某个实物(如,车轮)相对应,从而其可以具有视觉特征信息,如,颜色、纹理以及角度等。
步骤306,将两幅拍摄图像上的关键点进行特征匹配,从而得到多组匹配成功的目标关键点。
上述特征匹配可以是指将分别位于两幅拍摄图像上的两个关键点的视觉特征信息进行比对。可以理解的是,匹配成功的一组目标关键点可以是指所对应的实物相同的两个关键点。
当有两两匹配成功的目标关键点为多组时,可以形成多组目标关键点。
步骤308,根据该多组目标关键点在两幅拍摄图像中的位置信息,确定两幅拍摄图像之间的变换关系。
此处的变换关系例如可以为:“从左向右移动”、“向左旋转××度”以及“向右旋转××度”等等。在一个例子中,可以通过将各个组中的两个目标关键点分别在两幅拍摄图像上的二维坐标进行比较,来确定所对应实物的位置变化情况。如果所对应实物从一幅图像的中间位置移动到另一幅图像的左边位置,则两幅拍摄图像之间的变换关系可以是:“从左向右移动”。
步骤310,根据位置信息以及变换关系,预估该多组目标关键点在三维空间中的位置信息。
此处,可以是结合双目定位算法或者三维重建算法,来预估该多组目标关键点在三维空间中的位置信息。需要说明的是,目标关键点在三维空间的位置信息即为其所对应实物的位置信息。由于一个组中的两个目标关键点所对应的实物相同,从而该两个目标关键点在三维空间中的位置信息相同。在一个例子中,一组目标关键点在三维空间中的位置信息可以表示为:三维坐标:(x,y,z)。
步骤312,对该多组目标关键点在每幅拍摄图像中的位置信息以及在三维空间中的位置信息进行重投影计算,以确定拍摄设备在拍摄该两幅拍摄图像时的位置信息以及姿态信息。
如,可以先对多组目标关键点在一幅拍摄图像中的位置信息以及在三维空间中的位置信息进行重投影计算,以确定拍摄设备在拍摄该一幅拍摄图像时的位置信息以及姿态信息;之后,再依据上述方法,确定拍摄设备在拍摄另一幅拍摄图像时的位置信息以及姿态信息。
重复执行上述步骤302-步骤312,直至确定拍摄设备在拍摄各幅拍摄图像时的位置信息以及姿态信息。
回到图2中,图2还可以包括如下步骤:
步骤206,对各幅拍摄图像中的车辆的部件进行检测,从而得到各幅拍摄图像的部件检测结果。
具体地,可以是根据目标检测算法,来对各幅拍摄图像中的车辆的部件进行检测。此处的目标检测算法可以包括但不限于快速的(Faster)-基于区域的卷积神经网络(Region-based Convolutional Neural Network,RCNN),基于区域的全卷积网络(Region-based Fully Convolutional Network,RFCN),单次多边界框检测器(Single ShotMultiBox Detector,SSD)以及YOLO等。
步骤208,将位置信息、姿态信息以及部件检测结果输入用户拍摄意图识别模型,以识别各幅拍摄图像的拍摄意图。
此处的用户拍摄意图识别模型可以是根据拍摄设备在拍摄多组拍摄图像时的运动轨迹以及多组拍摄图像的部件检测结果,对机器学习算法进行训练后得到的。其中,拍摄设备拍摄一组拍摄图像时的运动轨迹可以是指该拍摄设备在拍摄该一组拍摄图像中的各幅拍摄图像时的位置信息以及姿态信息所组合成的一个序列。
需要说明的是,用户拍摄意图识别模型识别用户拍摄意图的原理可以解释如下:首先基于拍摄设备的运动轨迹,可以确定拍摄设备的运动情况,如,向后移动1米等。之后,结合拍摄图像中的部件检测结果,就可以得到如下的拍摄意图:“靠近车门”、“远离右后轮胎”以及“在车头保持稳定”等等。
当然,在实际应用中,在识别到用户的拍摄意图之后,还可以进一步结合拍摄设备的运动轨迹,对其进行扩展。如,扩展后的用户的拍摄意图可以为:“先拍摄整车图,再拍摄部件图,最后拍摄损伤细节图”等。可以理解的是,扩展后的用户的拍摄意图通常是相对于多幅拍摄图像而言的。
综上,本说明书上述实施例通过预先构建的用户拍摄意图识别模型,可以快速而准确地对用户的拍摄意图进行识别。
需要说明的是,在识别到各幅拍摄图像的拍摄意图之后,可以基于上述拍摄意图,对车辆的损伤进行检测,从而可以提高损伤检测结果的准确性。
图4为本说明书提供的一种车辆的损伤检测方法流程图。如图4所示,该方法可以包括如下步骤:
步骤402至步骤408与步骤202-步骤208相同。
步骤410,根据各幅拍摄图像以及各幅拍摄图像的拍摄意图,确定车辆的损伤检测结果。
在一种实现方式中,车辆的损伤检测结果的确定过程可以为:将各幅拍摄图像输入损伤检测模型,以获取与各幅拍摄图像所对应的初始损伤检测结果。根据各幅拍摄图像的拍摄意图,确定对应的初始损伤检测结果的权重。根据初始损伤检测结果以及对应的权重,确定车辆的损伤检测结果。
举例来说,当识别到用户的拍摄意图为:针对某一特定部件反复从不同位置和角度近距离拍摄时,该部件上具有损伤的概率往往较大,因此可以对该部件上的损伤检测结果赋予较大的权重。反之,当识别到用户的拍摄意图为:从某一位置移动到相对较远的另一位置,然后停留下来进行细节图像拍摄时,通常是在拍摄一处新的损伤,也可以对此时得到的损伤检测结果赋予较大权重。而在运动过程中拍摄的图像则可能不包含损伤,如果从这些拍摄图像上检测到了损伤,很有可能属于误检,可以降低对应的权重。
总之,通过结合上述权重,可以得到更精确的损伤检测结果。
在另一种实现方式中,车辆的损伤检测结果的确定过程可以为:将各幅拍摄图像以及各幅拍摄图像的拍摄意图输入损伤检测模型,以确定车辆的损伤检测结果。需要说明的是,此处的拍摄图像以及拍摄意图是作为特征输入到损伤检测模型的。
需要说明的是,本说明书中的损伤检测模型可基于输入的拍摄图像,输出对应的车辆的损伤检测结果。其可通过使用大量经标定的包括损伤的拍摄图像训练获得。此外,本说明书确定的损伤检测结果可以包括以下至少一项信息:损伤部件、损伤位置、损伤类型、以及损伤程度等。
本说明书上述实施例通过将用户的拍摄意图显示的作为权重或者作为特征输入到损伤检测模型的方式,可以提高损伤检测结果的准确性。
图5为本说明书提供的另一种车辆的损伤检测方法流程图。如图5所示,该方法可以包括如下步骤:
步骤502至步骤508与步骤202-步骤208相同。
步骤510,根据预定义的筛选规则以及各幅拍摄图像的拍摄意图,对各幅拍摄图像进行筛选,从而得到关键拍摄图像。
此处,预定义的筛选规则可以为:“反复从多个不同距离和角度拍摄同一部件的图像”或者“经过一段移动后,稳定相机拍摄细节的图像”等。具体地,可以判断各幅拍摄图像的拍摄意图是否满足上述规则,若满足,则可以筛选为关键拍摄图像;若不满足,则可以忽略该拍摄图像。如,可以筛选被判别为“拍摄者正在拍摄损伤”的概率较大的拍摄图像为关键拍摄图像,而忽略被判别为“拍摄者正在拍摄损伤”的概率较小的拍摄图像。
可以理解的是,通常满足上述规则的拍摄图像有很大可能是数据采集者在拍摄车辆的损伤。
在其它实施方式,也可以将各幅拍摄图像和/或各幅拍摄图像的拍摄意图和/或视觉特征和/或部件检测结果输入机器学习模型,以筛选关键拍摄图像。
步骤512,将关键拍摄图像输入损伤检测模型,以确定车辆的损伤检测结果。
本说明书上述实施例通过筛选关键拍摄图像,并将关键拍摄图像输入损伤识别模型的方式,可以避免处理大量无效数据,从而可以节省计算资源,还可以提升车辆的损伤检测效率。
与上述用户拍摄意图的识别方法对应地,本说明书一个实施例还提供的一种用户拍摄意图的识别装置,如图6所示,该装置可以包括:
获取单元602,用于获取一组车辆的拍摄图像。该一组拍摄图像中包括至少两幅拍摄图像。
确定单元604,用于确定拍摄设备在拍摄获取单元602获取的一组拍摄图像中的各幅拍摄图像时的位置信息以及姿态信息。
检测单元606,用于对获取单元602获取的各幅拍摄图像中的车辆的部件进行检测,从而得到各幅拍摄图像的部件检测结果。
识别单元608,用于将确定单元604确定的位置信息、姿态信息以及检测单元606检测到的部件检测结果输入用户拍摄意图识别模型,以识别各幅拍摄图像的拍摄意图。
上述用户拍摄意图识别模型是根据拍摄设备在拍摄多组拍摄图像时的运动轨迹以及多组拍摄图像的部件检测结果,对机器学习算法进行训练后得到的。其中,拍摄设备拍摄一组拍摄图像时的运动轨迹是根据该拍摄设备在拍摄该一组拍摄图像中的各幅拍摄图像时的位置信息以及姿态信息确定的。
确定单元604具体可以用于:
从一组拍摄图像中选取两幅具有重合区域的拍摄图像。
分别在该两幅拍摄图像上提取关键点。
将两幅拍摄图像上的关键点进行特征匹配,从而得到多组匹配成功的目标关键点。
根据该多组目标关键点在两幅拍摄图像中的位置信息,确定拍摄设备在拍摄两幅拍摄图像时的位置信息以及姿态信息。
重复执行上述各步骤,直至确定拍摄设备在拍摄各幅拍摄图像时的位置信息以及姿态信息。
确定单元604还具体可以用于:
根据该多组目标关键点在两幅拍摄图像中的位置信息,确定两幅拍摄图像之间的变换关系。
根据位置信息以及变换关系,预估该多组目标关键点在三维空间中的位置信息。
对该多组目标关键点在每幅拍摄图像中的位置信息以及在三维空间中的位置信息进行重投影计算,以确定拍摄设备在拍摄两幅拍摄图像时的位置信息以及姿态信息。
可选地,确定单元604,还用于根据各幅拍摄图像以及各幅拍摄图像的拍摄意图,确定车辆的损伤检测结果。
确定单元604具体可以用于:
将各幅拍摄图像输入损伤检测模型,以获取与各幅拍摄图像所对应的初始损伤检测结果。
根据各幅拍摄图像的拍摄意图,确定对应的初始损伤检测结果的权重。
根据初始损伤检测结果以及对应的权重,确定车辆的损伤检测结果。
可选地,确定单元604还具体可以用于:
将各幅拍摄图像以及各幅拍摄图像的拍摄意图输入损伤检测模型,以确定车辆的损伤检测结果。
可选地,该装置还可以包括:
第一筛选单元610,用于根据预定义的筛选规则以及各幅拍摄图像的拍摄意图,对各幅拍摄图像进行筛选,从而得到关键拍摄图像。
确定单元604,还用于将第一筛选单元610筛选的关键拍摄图像输入损伤检测模型,以确定车辆的损伤检测结果。
可选地,该装置还可以包括:
第二筛选单元612,用于将各幅拍摄图像和/或各幅拍摄图像的拍摄意图和/或视觉特征和/或部件检测结果输入机器学习模型,以筛选关键拍摄图像。
确定单元604,还用于将第二筛选单元612筛选的关键拍摄图像输入损伤检测模型,以确定车辆的损伤检测结果。
本说明书上述实施例装置的各功能模块的功能,可以通过上述方法实施例的各步骤来实现,因此,本说明书一个实施例提供的装置的具体工作过程,在此不复赘述。
本说明书一个实施例提供的用户拍摄意图的识别装置,获取单元602获取一组车辆的拍摄图像。确定单元604确定拍摄设备在拍摄该一组拍摄图像中的各幅拍摄图像时的位置信息以及姿态信息。检测单元606对各幅拍摄图像中的车辆的部件进行检测,从而得到各幅拍摄图像的部件检测结果。识别单元608将位置信息、姿态信息以及部件检测结果输入用户拍摄意图识别模型,以识别各幅拍摄图像的拍摄意图。由此,可以实现对用户拍摄意图的识别。
本说明书一个实施例提供的用户拍摄意图的识别装置可以为图1中用户拍摄意图识别模块102的一个子模块或者子单元。
与上述用户拍摄意图的识别方法对应地,本说明书一个实施例还提供的一种用户拍摄意图的识别设备,如图7所示,该设备可以包括:存储器702、一个或多个处理器704以及一个或多个程序。其中,该一个或多个程序存储在存储器702中,并且被配置成由一个或多个处理器704执行,该程序被处理器704执行时实现以下步骤:
获取一组车辆的拍摄图像。该一组拍摄图像中包括至少两幅拍摄图像。
确定拍摄设备在拍摄该一组拍摄图像中的各幅拍摄图像时的位置信息以及姿态信息。
对各幅拍摄图像中的车辆的部件进行检测,从而得到各幅拍摄图像的部件检测结果。
将位置信息、姿态信息以及部件检测结果输入用户拍摄意图识别模型,以识别各幅拍摄图像的拍摄意图。
本说明书一个实施例提供的用户拍摄意图的识别设备,可以实现对用户拍摄意图的识别。
需要说明的是,图7示出的是本说明书实施例提供的用户拍摄意图的识别设备为服务器的例子。在实际应用中,该设备也可以为终端,本说明书对此不作限定。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于设备实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
结合本说明书公开内容所描述的方法或者算法的步骤可以硬件的方式来实现,也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成,软件模块可以被存放于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动硬盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外,该ASIC可以位于服务器中。当然,处理器和存储介质也可以作为分立组件存在于服务器中。
本领域技术人员应该可以意识到,在上述一个或多个示例中,本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时,可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质,其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
以上所述的具体实施方式,对本说明书的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本说明书的具体实施方式而已,并不用于限定本说明书的保护范围,凡在本说明书的技术方案的基础之上,所做的任何修改、等同替换、改进等,均应包括在本说明书的保护范围之内。

Claims (17)

1.一种用户拍摄意图的识别方法,包括:
获取一组车辆的拍摄图像;所述一组车辆的拍摄图像中包括至少两幅拍摄图像;
确定拍摄设备在拍摄所述一组车辆的拍摄图像中的各幅拍摄图像时的位置信息以及姿态信息;
对所述各幅拍摄图像中的车辆的部件进行检测,从而得到所述各幅拍摄图像的部件检测结果;
将所述位置信息、所述姿态信息以及所述部件检测结果输入用户拍摄意图识别模型,以识别所述各幅拍摄图像的拍摄意图;
根据所述各幅拍摄图像以及所述各幅拍摄图像的拍摄意图,确定所述车辆的损伤检测结果。
2.根据权利要求1所述的方法,所述确定拍摄设备在拍摄所述一组车辆的拍摄图像中的各幅拍摄图像时的位置信息以及姿态信息,包括:
从所述一组车辆的拍摄图像中选取两幅具有重合区域的拍摄图像;
分别在该两幅拍摄图像上提取关键点;
将所述两幅拍摄图像上的关键点进行特征匹配,从而得到多组匹配成功的目标关键点;
根据该多组匹配成功的目标关键点在所述两幅拍摄图像中的位置信息,确定拍摄设备在拍摄所述两幅拍摄图像时的位置信息以及姿态信息;
重复执行上述各步骤,直至确定拍摄设备在拍摄各幅拍摄图像时的位置信息以及姿态信息。
3.根据权利要求2所述的方法,所述根据该多组匹配成功的目标关键点在所述两幅拍摄图像中的位置信息,确定拍摄设备在拍摄所述两幅拍摄图像时的位置信息以及姿态信息,包括:
根据该多组匹配成功的目标关键点在所述两幅拍摄图像中的位置信息,确定所述两幅拍摄图像之间的变换关系;
根据所述位置信息以及所述变换关系,预估该多组匹配成功的目标关键点在三维空间中的位置信息;
对该多组匹配成功的目标关键点在每幅拍摄图像中的位置信息以及在三维空间中的位置信息进行重投影计算,以确定拍摄设备在拍摄所述两幅拍摄图像时的位置信息以及姿态信息。
4.根据权利要求1所述的方法,所述用户拍摄意图识别模型是根据拍摄设备在拍摄多组拍摄图像时的运动轨迹以及所述多组拍摄图像的部件检测结果,对机器学习算法进行训练后得到的;其中,拍摄设备拍摄一组拍摄图像时的运动轨迹是根据该拍摄设备在拍摄该一组拍摄图像中的各幅拍摄图像时的位置信息以及姿态信息确定的。
5.根据权利要求1所述的方法,所述根据所述各幅拍摄图像以及所述各幅拍摄图像的拍摄意图,确定所述车辆的损伤检测结果,包括:
将所述各幅拍摄图像输入损伤检测模型,以获取与所述各幅拍摄图像所对应的初始损伤检测结果;
根据所述各幅拍摄图像的拍摄意图,确定对应的初始损伤检测结果的权重;
根据所述初始损伤检测结果以及对应的权重,确定所述车辆的损伤检测结果。
6.根据权利要求1所述的方法,所述根据所述各幅拍摄图像以及所述各幅拍摄图像的拍摄意图,确定所述车辆的损伤检测结果,包括:
将所述各幅拍摄图像以及所述各幅拍摄图像的拍摄意图输入损伤检测模型,以确定所述车辆的损伤检测结果。
7.根据权利要求1所述的方法,所述根据所述各幅拍摄图像以及所述各幅拍摄图像的拍摄意图,确定所述车辆的损伤检测结果,包括:
根据预定义的筛选规则以及所述各幅拍摄图像的拍摄意图,对所述各幅拍摄图像进行筛选,从而得到关键拍摄图像;
将所述关键拍摄图像输入损伤检测模型,以确定所述车辆的损伤检测结果。
8.根据权利要求1所述的方法,所述根据所述各幅拍摄图像以及所述各幅拍摄图像的拍摄意图,确定所述车辆的损伤检测结果,包括:
将所述各幅拍摄图像和/或所述各幅拍摄图像的拍摄意图和/或视觉特征和/或部件检测结果输入机器学习模型,以筛选关键拍摄图像;
将所述关键拍摄图像输入损伤检测模型,以确定所述车辆的损伤检测结果。
9.一种用户拍摄意图的识别装置,包括:
获取单元,用于获取一组车辆的拍摄图像;所述一组车辆的拍摄图像中包括至少两幅拍摄图像;
确定单元,用于确定拍摄设备在拍摄所述获取单元获取的所述一组车辆的拍摄图像中的各幅拍摄图像时的位置信息以及姿态信息;
检测单元,用于对所述获取单元获取的所述各幅拍摄图像中的车辆的部件进行检测,从而得到所述各幅拍摄图像的部件检测结果;
识别单元,用于将所述确定单元确定的所述位置信息、所述姿态信息以及所述检测单元检测到的所述部件检测结果输入用户拍摄意图识别模型,以识别所述各幅拍摄图像的拍摄意图;
所述确定单元,还用于根据所述各幅拍摄图像以及所述各幅拍摄图像的拍摄意图,确定所述车辆的损伤检测结果。
10.根据权利要求9所述的装置,所述确定单元具体用于:
从所述一组车辆的拍摄图像中选取两幅具有重合区域的拍摄图像;
分别在该两幅拍摄图像上提取关键点;
将所述两幅拍摄图像上的关键点进行特征匹配,从而得到多组匹配成功的目标关键点;
根据该多组匹配成功的目标关键点在所述两幅拍摄图像中的位置信息,确定拍摄设备在拍摄所述两幅拍摄图像时的位置信息以及姿态信息;
重复执行上述各步骤,直至确定拍摄设备在拍摄各幅拍摄图像时的位置信息以及姿态信息。
11.根据权利要求10所述的装置,所述确定单元还具体用于:
根据该多组匹配成功的目标关键点在所述两幅拍摄图像中的位置信息,确定所述两幅拍摄图像之间的变换关系;
根据所述位置信息以及所述变换关系,预估该多组匹配成功的目标关键点在三维空间中的位置信息;
对该多组匹配成功的目标关键点在每幅拍摄图像中的位置信息以及在三维空间中的位置信息进行重投影计算,以确定拍摄设备在拍摄所述两幅拍摄图像时的位置信息以及姿态信息。
12.根据权利要求9所述的装置,所述用户拍摄意图识别模型是根据拍摄设备在拍摄多组拍摄图像时的运动轨迹以及所述多组拍摄图像的部件检测结果,对机器学习算法进行训练后得到的;其中,拍摄设备拍摄一组拍摄图像时的运动轨迹是根据该拍摄设备在拍摄该一组拍摄图像中的各幅拍摄图像时的位置信息以及姿态信息确定的。
13.根据权利要求9所述的装置,所述确定单元具体用于:
将所述各幅拍摄图像输入损伤检测模型,以获取与所述各幅拍摄图像所对应的初始损伤检测结果;
根据所述各幅拍摄图像的拍摄意图,确定对应的初始损伤检测结果的权重;
根据所述初始损伤检测结果以及对应的权重,确定所述车辆的损伤检测结果。
14.根据权利要求9所述的装置,所述确定单元还具体用于:
将所述各幅拍摄图像以及所述各幅拍摄图像的拍摄意图输入损伤检测模型,以确定所述车辆的损伤检测结果。
15.根据权利要求9所述的装置,还包括:
第一筛选单元,用于根据预定义的筛选规则以及所述各幅拍摄图像的拍摄意图,对所述各幅拍摄图像进行筛选,从而得到关键拍摄图像;
所述确定单元,还用于将所述第一筛选单元筛选的所述关键拍摄图像输入损伤检测模型,以确定所述车辆的损伤检测结果。
16.根据权利要求9所述的装置,还包括:
第二筛选单元,用于将所述各幅拍摄图像和/或所述各幅拍摄图像的拍摄意图和/或视觉特征和/或部件检测结果输入机器学习模型,以筛选关键拍摄图像;
所述确定单元,还用于将所述第二筛选单元筛选的所述关键拍摄图像输入损伤检测模型,以确定所述车辆的损伤检测结果。
17.一种用户拍摄意图的识别设备,包括:
存储器;
一个或多个处理器;以及
一个或多个程序,其中所述一个或多个程序存储在所述存储器中,并且被配置成由所述一个或多个处理器执行,所述程序被所述处理器执行时实现以下步骤:
获取一组车辆的拍摄图像;所述一组车辆的拍摄图像中包括至少两幅拍摄图像;
确定拍摄设备在拍摄所述一组车辆的拍摄图像中的各幅拍摄图像时的位置信息以及姿态信息;
对所述各幅拍摄图像中的车辆的部件进行检测,从而得到所述各幅拍摄图像的部件检测结果;
将所述位置信息、所述姿态信息以及所述部件检测结果输入用户拍摄意图识别模型,以识别所述各幅拍摄图像的拍摄意图;
根据所述各幅拍摄图像以及所述各幅拍摄图像的拍摄意图,确定所述车辆的损伤检测结果。
CN201811023190.3A 2018-09-03 2018-09-03 用户拍摄意图的识别方法、装置及设备 Active CN110567728B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110845857.3A CN113567149A (zh) 2018-09-03 2018-09-03 用户拍摄意图的识别方法、装置及设备
CN201811023190.3A CN110567728B (zh) 2018-09-03 2018-09-03 用户拍摄意图的识别方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811023190.3A CN110567728B (zh) 2018-09-03 2018-09-03 用户拍摄意图的识别方法、装置及设备

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110845857.3A Division CN113567149A (zh) 2018-09-03 2018-09-03 用户拍摄意图的识别方法、装置及设备

Publications (2)

Publication Number Publication Date
CN110567728A CN110567728A (zh) 2019-12-13
CN110567728B true CN110567728B (zh) 2021-08-20

Family

ID=68772359

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201811023190.3A Active CN110567728B (zh) 2018-09-03 2018-09-03 用户拍摄意图的识别方法、装置及设备
CN202110845857.3A Pending CN113567149A (zh) 2018-09-03 2018-09-03 用户拍摄意图的识别方法、装置及设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202110845857.3A Pending CN113567149A (zh) 2018-09-03 2018-09-03 用户拍摄意图的识别方法、装置及设备

Country Status (1)

Country Link
CN (2) CN110567728B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1975323A (zh) * 2006-12-19 2007-06-06 南京航空航天大学 利用单数码相机自由拍摄进行物体三维测量的方法
CN102221358A (zh) * 2011-03-23 2011-10-19 中国人民解放军国防科学技术大学 基于逆透视投影变换的单目视觉定位方法
CN103175512A (zh) * 2013-03-08 2013-06-26 中国人民解放军国防科学技术大学 一种混凝土泵车臂架末端位置姿态的摄像测量方法
KR101354157B1 (ko) * 2012-08-17 2014-01-23 영남대학교 산학협력단 차량 충돌체 감지 제어장치 및 그의 제어방법
CN103759716A (zh) * 2014-01-14 2014-04-30 清华大学 基于机械臂末端单目视觉的动态目标位置和姿态测量方法
CN107167139A (zh) * 2017-05-24 2017-09-15 广东工业大学 一种变电站巡检机器人视觉定位导航方法及系统
CN107358596A (zh) * 2017-04-11 2017-11-17 阿里巴巴集团控股有限公司 一种基于图像的车辆定损方法、装置、电子设备及系统
CN107392218A (zh) * 2017-04-11 2017-11-24 阿里巴巴集团控股有限公司 一种基于图像的车辆定损方法、装置及电子设备
CN107403424A (zh) * 2017-04-11 2017-11-28 阿里巴巴集团控股有限公司 一种基于图像的车辆定损方法、装置及电子设备
CN108090838A (zh) * 2017-11-21 2018-05-29 阿里巴巴集团控股有限公司 识别车辆受损部件的方法、装置、服务器、客户端及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8239220B2 (en) * 2006-06-08 2012-08-07 Injury Sciences Llc Method and apparatus for obtaining photogrammetric data to estimate impact severity
US10319035B2 (en) * 2013-10-11 2019-06-11 Ccc Information Services Image capturing and automatic labeling system
CN104567725A (zh) * 2014-12-17 2015-04-29 苏州华兴致远电子科技有限公司 车辆运行故障检测系统及方法
CN107194323B (zh) * 2017-04-28 2020-07-03 阿里巴巴集团控股有限公司 车辆定损图像获取方法、装置、服务器和终端设备
CN107368776B (zh) * 2017-04-28 2020-07-03 阿里巴巴集团控股有限公司 车辆定损图像获取方法、装置、服务器和终端设备
KR101798988B1 (ko) * 2017-07-12 2017-11-17 (주)잼시큐리티시스템 차량 하부 모니터링 시스템
CN107884419B (zh) * 2017-11-08 2020-06-09 安吉汽车物流股份有限公司 汽车底盘自动检测设备、汽车智能检测系统
CN108237992B (zh) * 2017-12-18 2020-02-21 北京车和家信息技术有限公司 一种车身检测方法、车辆

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1975323A (zh) * 2006-12-19 2007-06-06 南京航空航天大学 利用单数码相机自由拍摄进行物体三维测量的方法
CN102221358A (zh) * 2011-03-23 2011-10-19 中国人民解放军国防科学技术大学 基于逆透视投影变换的单目视觉定位方法
KR101354157B1 (ko) * 2012-08-17 2014-01-23 영남대학교 산학협력단 차량 충돌체 감지 제어장치 및 그의 제어방법
CN103175512A (zh) * 2013-03-08 2013-06-26 中国人民解放军国防科学技术大学 一种混凝土泵车臂架末端位置姿态的摄像测量方法
CN103759716A (zh) * 2014-01-14 2014-04-30 清华大学 基于机械臂末端单目视觉的动态目标位置和姿态测量方法
CN107358596A (zh) * 2017-04-11 2017-11-17 阿里巴巴集团控股有限公司 一种基于图像的车辆定损方法、装置、电子设备及系统
CN107392218A (zh) * 2017-04-11 2017-11-24 阿里巴巴集团控股有限公司 一种基于图像的车辆定损方法、装置及电子设备
CN107403424A (zh) * 2017-04-11 2017-11-28 阿里巴巴集团控股有限公司 一种基于图像的车辆定损方法、装置及电子设备
CN107167139A (zh) * 2017-05-24 2017-09-15 广东工业大学 一种变电站巡检机器人视觉定位导航方法及系统
CN108090838A (zh) * 2017-11-21 2018-05-29 阿里巴巴集团控股有限公司 识别车辆受损部件的方法、装置、服务器、客户端及系统

Also Published As

Publication number Publication date
CN113567149A (zh) 2021-10-29
CN110567728A (zh) 2019-12-13

Similar Documents

Publication Publication Date Title
CN109711243B (zh) 一种基于深度学习的静态三维人脸活体检测方法
CN108960211B (zh) 一种多目标人体姿态检测方法以及系统
JP5940453B2 (ja) 画像のシーケンス内のオブジェクトのリアルタイム表現のハイブリッド型追跡のための方法、コンピュータプログラム、および装置
US11205276B2 (en) Object tracking method, object tracking device, electronic device and storage medium
Klippenstein et al. Quantitative evaluation of feature extractors for visual slam
US9767383B2 (en) Method and apparatus for detecting incorrect associations between keypoints of a first image and keypoints of a second image
KR20120048370A (ko) 물체 자세 인식장치 및 이를 이용한 물체 자세 인식방법
JP4709668B2 (ja) 3次元物体認識システム
CN111862296A (zh) 三维重建方法及装置、系统、模型训练方法、存储介质
JP2010267232A (ja) 位置姿勢推定方法および装置
CN113132717A (zh) 数据处理方法、终端和服务器
US20180191951A1 (en) Imaging apparatus and imaging condition setting method and program
JP3863014B2 (ja) 物体検出装置及びその方法
CN113610967B (zh) 三维点检测的方法、装置、电子设备及存储介质
CN110567728B (zh) 用户拍摄意图的识别方法、装置及设备
KR20090115738A (ko) 정보 추출 방법, 등록 장치, 대조 장치 및 프로그램
CN112802112B (zh) 视觉定位方法、装置、服务器及存储介质
Noury et al. How to overcome perceptual aliasing in ASIFT?
CN111723610B (zh) 图像识别方法、装置及设备
WO2017042852A1 (en) Object recognition appratus, object recognition method and storage medium
CN112927291B (zh) 三维物体的位姿确定方法、装置及电子设备和存储介质
CN114155281B (zh) 一种无人机目标跟踪自动初始化方法
EP4273795A1 (en) Template generation device, collation system, collation device, template generation method, collation method, and program
JP6534411B2 (ja) 相対角度推定装置、相対角度推定方法、及び相対角度推定プログラム
Butt et al. Multi-task Learning for Camera Calibration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20201009

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Innovative advanced technology Co.,Ltd.

Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant before: Advanced innovation technology Co.,Ltd.

Effective date of registration: 20201009

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Advanced innovation technology Co.,Ltd.

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Applicant before: Alibaba Group Holding Ltd.

GR01 Patent grant
GR01 Patent grant