CN109215119B - 受损车辆的三维模型建立方法及装置 - Google Patents

受损车辆的三维模型建立方法及装置 Download PDF

Info

Publication number
CN109215119B
CN109215119B CN201811088882.6A CN201811088882A CN109215119B CN 109215119 B CN109215119 B CN 109215119B CN 201811088882 A CN201811088882 A CN 201811088882A CN 109215119 B CN109215119 B CN 109215119B
Authority
CN
China
Prior art keywords
region
dimensional model
model
damaged vehicle
field information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811088882.6A
Other languages
English (en)
Other versions
CN109215119A (zh
Inventor
王萌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced New Technologies Co Ltd
Advantageous New Technologies Co Ltd
Original Assignee
Advanced New Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Advanced New Technologies Co Ltd filed Critical Advanced New Technologies Co Ltd
Priority to CN201811088882.6A priority Critical patent/CN109215119B/zh
Publication of CN109215119A publication Critical patent/CN109215119A/zh
Application granted granted Critical
Publication of CN109215119B publication Critical patent/CN109215119B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/08Insurance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • Technology Law (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本说明书实施例提供一种受损车辆的三维模型建立的方法和装置,根据该方法的一个实施方式,首先获取受损车辆的现场信息,然后根据现场信息确定受损车辆所对应的参考三维模型,接着基于现场信息和参考三维模型的对比,确定受损车辆的无损区域,并基于参考三维模型建立无损区域的三维模型,以及根据现场信息将受损车辆的有损区域映射到无损区域的三维模型所在的坐标空间中,以完成受损车辆的三维模型的建立。该实施方式可以提高受损车辆的三维模型建立的准确性。

Description

受损车辆的三维模型建立方法及装置
技术领域
本说明书一个或多个实施例涉及计算机技术领域,尤其涉及通过计算机建立受损车辆的三维模型的方法和装置。
背景技术
在传统车险理赔场景中,保险公司需要派出专业的查勘定损人员到事故现场进行现场查勘定损,给出车辆的维修方案和赔偿金额,并拍摄现场照片,定损照片留档以供后台核查人员核损核价。由于需要人工查勘定损,保险公司需要投入大量的人力成本,和专业知识的培训成本。从普通用户的体验来说,理赔流程由于等待人工查勘员现场拍照、定损员在维修地点定损、核损人员在后台核损,理赔周期长达1-3天,用户的等待时间较长,体验较差。
针对需求背景中提到的这一人工成本巨大的行业痛点,开始设想将人工智能和机器学习应用到车辆定损的场景中,希望能够利用人工智能领域计算机视觉图像识别技术,根据普通用户拍摄的现场图片,自动识别图片中反映的车损状况,并自动给出维修方案。如此,无需人工查勘定损核损,大大减少了保险公司的成本,提升了普通用户的车险理赔体验。
不过,目前的智能定损方案,损伤识别的准确度还有待进一步提高。因此,希望能有改进的方案,利用更多的现场信息,以供更准确地识别车辆损伤状况。
发明内容
本说明书一个或多个实施例描述了一种受损车辆的三维模型建立方法和装置,可以利用受损车辆的现场信息,分别对受损车辆的无损区域和有损区域进行建模,从而更精确地生成受损车辆的完整三维模型,以提高车辆损伤状况识别的准确度。
根据第一方面,提供了一种受损车辆的三维模型建立的方法,包括:获取所述受损车辆的现场信息,所述现场信息至少包括多个图片;根据所述现场信息确定所述受损车辆所对应的参考三维模型;基于所述现场信息和所述参考三维模型的对比,确定受损车辆的无损区域,并从所述参考三维模型获取所述无损区域对应的模型数据,以建立所述无损区域的三维模型;根据所述现场信息将所述受损车辆的有损区域映射到所述无损区域的三维模型所在的坐标空间中,以完成所述受损车辆的三维模型的建立。
根据一个实施方式,根据所述现场信息确定所述受损车辆的参考三维模型包括:根据现场信息确定所述受损车辆的车型类别;将与所述车型类别相对应的三维模型作为所述受损车辆所对应的参考三维模型。
在一个实施例中,所述根据现场信息确定所述受损车辆的车型类别包括:将所述多个图片输入分类模型,根据所述分类模型的输出确定车型类别。
在一个可能的设计中,所述基于所述现场信息和所述参考三维模型的对比,确定受损车辆的无损区域包括:按照特征点提取规则,从所述现场信息中提取所述受损车辆的多个特征点;将所述多个特征点与所述参考三维模型进行匹配,以确定所述受损车辆的无损区域。
在进一步的实施例中,将所述多个特征点与所述参考三维模型进行匹配,以确定所述受损车辆的无损区域包括:将所述多个特征点和所述参考三维模型输入判断模型,根据判断模型的输出结果确定所述特征点对应的区域是否为无损区域。
在一个实施例中,按照特征点提取规则,从所述现场信息中提取所述受损车辆的多个特征点包括:对于所述受损车辆的第一区域,从所述现场信息提取所述第一区域的多个第一特征点;以及,所述将所述多个特征点与所述参考三维模型进行匹配,以确定所述受损车辆的无损区域包括:获取所述参考三维模型中与所述第一区域对应区域的模型特征点,其中,所述模型特征点按照所述特征点提取规则提取;确定所述第一特征点与所述模型特征点之间的匹配参数;在所述匹配参数满足预定条件的情况下,确定所述第一区域为无损区域。
其中,所述确定所述第一特征点与所述模型特征点之间的匹配参数包括:获取所述受损车辆的第一基准点,并检测各个第一特征点与所述第一基准点的各个第一距离;获取所述参考三维模型的第二基准点,并检测各个模型特征点与所述第二基准点之间的各个第二距离,其中,所述第二基准点是与所述第一基准点在空间位置上相对应的点;基于所述第一距离和所述第二距离的一致性确定所述第一特征点和所述模型特征点的匹配参数。
根据一个可能的设计,根据所述现场信息将所述受损车辆的有损区域映射到所述无损区域的三维模型上包括:针对有损区域中的第二区域,从所述现场信息的图片中提取与所述第二区域对应的多个第二特征点;确定各个第二特征点与基准点的各个相对坐标,其中,所述基准点是与所述受损车辆相关的、各个第二特征点之外的点;基于所述基准点和各个相对坐标,确定各个第二特征点在所述无损区域的三维模型所在坐标空间中的各个三维坐标,并按照各个三维坐标将所述受损车辆的有损区域映射到所述无损区域的三维模型所在坐标空间中。
根据第二方面,提供一种受损车辆的三维模型建立的装置,包括:获取单元,配置为获取所述受损车辆的现场信息,所述现场信息至少包括多个图片;确定单元,配置为根据所述现场信息确定所述受损车辆所对应的参考三维模型;无损区域建模单元,配置为基于所述现场信息和所述参考三维模型的对比,确定受损车辆的无损区域,并从所述参考三维模型获取所述无损区域对应的模型数据,以建立所述无损区域的三维模型;有损区域建模单元,配置为根据所述现场信息将所述受损车辆的有损区域映射到所述无损区域的三维模型所在的坐标空间中,以完成所述受损车辆的三维模型的建立。
根据第三方面,提供了一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令计算机执行第一方面的方法。
根据第四方面,提供了一种计算设备,包括存储器和处理器,其特征在于,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现第一方面的方法。
通过本说明书实施例提供的方法和装置,首先获取受损车辆的现场信息,然后根据现场信息确定受损车辆所对应的参考三维模型,接着基于现场信息和参考三维模型的对比,确定受损车辆的无损区域,并基于参考三维模型建立无损区域的三维模型,以及根据现场信息将受损车辆的有损区域映射到无损区域的三维模型所在的坐标空间中,以完成受损车辆的三维模型的建立。由于将有损区域和无损区域分开建模,从而可以提高受损车辆的三维模型的准确性。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1示出本说明书披露的一个实施例的实施场景示意图;
图2示出根据一个实施例的受损车辆的三维模型建立的方法流程图;
图3示出受损车辆的特征点和第一距离的一个具体例子;
图4示出进行三维建模时不同角度图片根据同一基准点进行映射的一个具体例子;
图5示出根据一个实施例的受损车辆的三维模型建立的装置的示意性框图。
具体实施方式
下面结合附图,对本说明书提供的方案进行描述。
图1为本说明书披露的一个实施例的实施场景示意图。在该实施场景中,假设车辆受损,可以通过可采集现场信息的终端,例如智能手机、照相机、传感器等,向计算平台发送受损车辆的现场信息,计算平台可以根据用户发送的现场信息建立受损车辆的三维模型,为识别车辆损伤结果提供依据。
具体地,计算平台在获取受损车辆的现场信息之后,可以先根据现场信息确定受损车辆所对应的参考三维模型。其中,参考三维模型用于对受损车辆参考建模。然后,计算平台可以将现场信息与参考三维模型进行对比。然后,计算平台可以通过对比确定出受损车辆的无损区域,并基于参考三维模型建立无损区域的三维模型。接着,计算平台还可以根据现场信息将受损车辆的有损区域映射到无损区域的三维模型所在坐标空间,形成有损区域的三维模型,从而完成对受损车辆的三维建模。
如此,一方面,计算平台可以通过参考三维模型容易地建立起受损车辆无损区域的三维模型,减少了无损区域的三维建模的数据处理量;另一方面,对于与参考三维模型不同的有损区域,计算平台还可以根据现场信息将有损区域的各个点映射到三维模型所在坐标空间中,从而得到更精确的三维模型。通过对无损区域和有损区域进行不同方式的三维建模,避免了直接在参考三维模型上进行迭代建模造成的拟合错误、算法不收敛等问题,可以大大提高最终的三维模型的准确性。
下面描述上述场景的具体执行过程。
图2示出根据一个实施例的受损车辆的三维模型建立的方法流程图。该方法的执行主体可以是任何具有计算、处理能力的系统、设备、装置、平台或服务器,例如图1所示的计算平台等。更具体而言,例如是定损终端,或者为车辆定损类应用提供支持的定损服务器。在上述执行主体是定损终端的情况下,以图1为例,定损终端可以是采集现场信息的终端,而计算平台可以是定损终端的一部分。
如图2示,该方法包括以下步骤:步骤21,获取受损车辆的现场信息;步骤22,根据现场信息确定受损车辆所对应的参考三维模型;步骤23,基于现场信息和参考三维模型的对比,确定受损车辆的无损区域,并基于参考三维模型建立无损区域的三维模型;步骤24,根据现场信息将受损车辆的有损区域映射到无损区域的三维模型所在的坐标空间中,以完成受损车辆的三维模型的建立。
首先,在步骤21,获取受损车辆的现场信息。可以理解,现场信息可以是受损车辆所在地点采集的、用于描述受损车辆的状态的各种信息。例如,通过智能手机、相机等采集设备采集的图片、视频等信息。
在一些实施例中,除了图片或视频等信息,还可以通过深度传感器等采集受损车辆各个点相对采集基准点的距离等信息;通过现场采集终端的字符识别或收集用户输入的车辆标识,例如:车型识别码(如某品牌轿车7180AE车型)、车牌号、发动机号、车架号(Vehicle Identification Number,VIN)等中的至少一项信息。
然后,在步骤22,根据现场信息确定受损车辆所对应的参考三维模型。参考三维模型,是预先存储的、与受损车辆相近的车辆模型,可以用于作为受损车辆建模的参考。参考三维模型可以看作是一个标准模型,至少在外形、轮廓等方面与受损车辆受损前的状态一致。
根据一种实施方式,参考三维模型可以按照车辆标识进行存储。可以理解,对于机动车辆,车牌号、发动机号、车架号、车主身份证号等这些信息,具有唯一性。按照车辆标识进行存储时,对于一个确定的车辆标识(例如车牌号),可以唯一对应一个参考三维模型。在这种情况下,如果车辆经过了非事故性的外观改变,例如车主对车辆进行了改装,还可以预先按照车主上传的图片、视频等,利用与本说明书实施例类似的三维模型建立方法,对原有的参考三维模型进行更新后存储为该车对应的参考三维模型。使用时,只需从现场信息中得到受损车辆的车辆标识,就可以获取其对应的参考三维模型。
根据另一种实施方式,参考三维模型还可以按照车型类别进行存储,每个车型类别对应一个参考三维模型。车型类别可以按照车辆类型来划分,例如,小汽车、面包车、卡车、三轮车等。车型类别还可以按照品牌和车辆类型来划分,例如A品牌三轮、B品牌小汽车等等。车型类别还可以按照品牌和型号来划分,例如A品牌7180AE、A品牌6088CB等等。
在一些实现中,车型类别还可以包括多个层级,例如:第一个层级将车辆分为小汽车、卡车、货车、工程车等等;第二个层级中,将小汽车分为小轿车、SUV(运动型实用汽车)、越野车等等……以此类推。每个层级的每个车型类别都可以对应存储一个参考三维模型,上个层级的参考三维模型是下个层级的参考三维模型的共有模型。
此时,可以根据现场信息确定受损车辆的车型类别,就可以得到相应的参考三维模型。在一些实现中,可以通过人工输入的现场信息确定车型类别。在另一些实现中,还可以将现场信息所包含的图片输入预先训练好的分类模型,根据分类模型的输出确定受损车辆的车型类别。分类模型可以通过以下方法训练:将一定数量具有车型类别标签的车辆图片输入选定的模型(如决策树Decision Tree、卷积神经网络CNN等),按照图片的车型类别标签调整模型参数,以训练分类模型。其中,选定的模型可以具有初始模型参数。训练好的分类模型的输出结果可以是车型类别,也可以是与车型类别对应的数值或符号,还可以是受损车辆对应于每个车型类别的概率,等等。在分类模型的输出结果是对应于每个车型类别的概率的情况下,可以取最大概率值对应的车型类别作为受损车辆的车型类别。
在一些实施例中,车型类别还可以根据车型标识和图片相结合确定。例如一个车主用身份证号登记的车型信息“BM”,可以对应到车型类别“BM”。也可以进一步根据“BM”类别的下一层级各个类别的车辆特征确定受损车辆的具体车型类别。这样,即使车型比较相似,也可以精确确定车型类别,从而精确查找到对应的参考三维模型。
如此,可以根据预先存储的参考三维模型为受损车辆的三维模型建立提供参考和依据。
步骤23,基于现场信息和参考三维模型的对比,确定受损车辆的无损区域,并基于参考三维模型建立无损区域的三维模型。顾名思义,无损区域就是受损车辆上没有损伤的区域。例如在前向追尾事故中,车门、后保险杠、后备箱都可能属于无损区域。这里的区域可以按照部件划分,也可以按照三维模型中的独立形状划分,例如一个尖角等。
根据一个实施方式,现场信息与参考三维模型的对比,可以通过区域形状的对比实现。例如,从现场图片中获取某个区域的轮廓,与参考三维模型中相应区域的轮廓进行匹配。如果轮廓形状一致,则该相应区域为无损区域。如果轮廓形状不一致,可以将该相应区域中与参考三维模型一致的部分选择为无损区域,其余不做选择或确定为有损区域,也可以将整个该相应区域不做选择或确定为有损区域。其中,有损区域是包含损伤的区域。可选地,轮廓匹配时,可以仅限于形状的匹配,而不考虑尺寸。
根据另一个实施方式,可以将从现场信息中提取的受损车辆的多个特征点和参考三维模型一起输入判断模型,由判断模型的输出结果确定这多个特征点对应的区域是否为受损车辆的无损区域。其中,判断模型的训练样本是一定数量的数据组合,每个数据组合包括从车辆某个区域提取的多个特征点和车辆相应区域对应的参考三维模型的组合,每个数据组合具有人工标定的匹配和不匹配的标签。具有匹配标签的是正样本,具有不匹配标签的是负样本。根据人工标定的标签调整模型参数可以训练得到判断模型,在此不再赘述。
根据再一个实施方式,还可以按照特征点提取规则从现场信息中提取受损车辆的多个特征点,并将这多个特征点与参考三维模型进行匹配。其中,特征点提取规则可以是预先规定的,例如:对于圆形,可以提取圆心和圆形边界上的预定个数的点为特征点;对于尖角,可以提取尖角的顶点和边上的若干个点作为特征点;对于边界,提取若干体现边界轮廓的点作为特征点,如起伏边界上的峰点、谷点,平缓边界具有预定间隔的点;等等。
一方面,通过从现场信息中提取的特征点,可以描绘出线条和区域轮廓等,与三维模型相应区域的线条或区域轮廓进行匹配。
另一方面,也可以从参考三维模型的相应区域,提取模型上的特征点,与从现场信息中提取的受损车辆的特征点进行匹配。举例而言,对于受损车辆的第一区域,可以从现场信息提取该第一区域的多个第一特征点(这里的“第一”表示任一个,不对顺序和数量进行限定),并获取参考三维模型中与第一区域对应区域的模型特征点。其中,模型特征点可以是预先按照特征点提取规则提取并存储好的,在该步骤中按照区域获取即可,也可以是在该步骤中按照特征点提取规则提取,本说明书实施例对此不作限定。
进一步地,可以确定这多个第一特征点和多个模型特征点之间的匹配参数。匹配参数用于描述第一特征点和模型特征点之间的匹配程度或一致性。如果匹配参数满足预定条件,则可以确定该第一区域为无损区域。预定条件可以对上述匹配程度进行限定,匹配程度越大,第一区域为无损区域的可能性会越大。
在一个实现中,上述匹配参数可以通过以下方式确定:获取受损车辆的第一基准点,并检测各个第一特征点与第一基准点的各个第一距离;获取参考三维模型的第二基准点,并检测各个模型特征点与第二基准点之间的各个第二距离;基于第一距离和第二距离的一致性确定第一特征点和模型特征点的匹配参数。其中,第二基准点是与第一基准点在空间位置上相对应的点,例如都是左前大灯的中心点等。第一距离和第二距离可以是在同样的坐标系下的距离。
如图3所示,是一个车辆的现场图片,在该图片中,第一基准点301用黑色表示,第一特征点302用深灰色表示,第一特征点302和第一基准点301之间的连线表示第一距离303。其中,当现场图片是平面图片时,第一距离303可以是平面距离,当现场信息还包括深度图像时,第一距离303也可以是三维距离,即通过三维空间中的坐标确定的距离。可以理解,当受损车辆的某个区域受损时,该区域可能出现变形、缺失等变化。因此,如果第一区域为受损区域,则部分或全部第一特征点对应的第一距离与相应第二距离会出现偏差。距离发生偏差的特征点越多,距离偏差越大,第一区域为受损区域的可能性越大。
在一个实施例中,可以将第一区域对应的距离发生偏差的第一特征点数量与总第一特征点数量的比值作为匹配参数。在另一个实施例中,也可以将第一距离与第二距离的偏差距离总和与第一特征点对应的总距离的比值作为匹配参数。这两种情况下,预定条件都可以是匹配参数小于预设阈值(如0.7)。在更多的实施例中,匹配参数还可以有更多合理的定义方式,在此不再赘述。可以理解的是,根据匹配参数的不同定义,预定条件也有所不同,本说明书实施例对此不作限定。
在确定受损车辆的无损区域后,可以直接从参考三维模型的无损区域对应的模型数据,对无损区域进行三维重建。如此,由于只需要特征点的对比确定无损区域,同时,无需重新生成无损区域三维建模所需的建模数据,例如车辆表面的三维曲面、截断符号距离描述函数(truncated signed distance function,TSDF)等等数据,从而可以减少建模过程中的数据处理量、节约受损车辆无损区域的建模时间。
步骤24,根据现场信息将受损车辆的有损区域映射到无损区域的三维模型所在的坐标空间中,以完成受损车辆的三维模型的建立。可以理解,对于有损区域,由于与参考三维模型相差较大,参考三维模型中的模型数据已经不再适应。因此,可以对这部分区域采用各种三维建模方式进行建模。
在一个实施例中,可以从现场信息包含的图片中,提取有损区域的各个可识别特征点的相对位置,映射到已重建无损区域三维模型的坐标空间内。举例而言,针对有损区域中的第二区域,可以从现场信息的图片中提取与第二区域对应的多个第二特征点。然后,以一个与受损车辆相关的、各个第二特征点之外的点作为基准点,从图片中确定出各个第二特征点与基准点的各个相对坐标。接着,由于基准点可以在三维模型上对应有三维空间的点,因此,基于基准点和各个相对坐标,可以将各个第二特征点映射为无损区域的三维模型所在的坐标空间中的各个三维坐标。每个三维坐标可以对应无损区域的三维模型所在的坐标空间中的一个点。如此,可以将受损车辆二维图片上的各个点转化为经过重建的三维模型上的各个点。从而,按照各个三维坐标可以将受损车辆的有损区域映射到无损区域的三维模型所在坐标空间中。
当图片有多张时,还可以根据不同图片之间的联系,进行角度变换,从而确定各个特征点之间的相对位置,并向三维空间进行映射。作为示例,请参考图4。图4中左侧的图片和右侧图片的角度不同,特征点401和特征点402是对应一致的点,或者说是同一个点。则对于左侧和右侧的图片,可以分别以特征点401,或者说特征点402为参考点确定各个特征点与该参考点的位置关系,并进行二维和三维坐标系的坐标变换,从而将车辆的车头和左侧区域映射到三维坐标系,以进行三维建模。
在另一个实施例中,现场信息中还可以包括深度传感器等采集的深度信息。本领域技术人员可以理解,深度信息包括图片中各个特征点与深度相机的距离,因此,可以根据该距离对各个特征点映射到三维坐标空间,从而完成三维建模。
在针对有损区域的三维模型重建过程中,还可以用到更多几何结构信息,例如车辆表面的三维曲面、TSDF等。通过更多信息的利用,可以使得到的三维模型更加准确。如此,在更多实施例中,可以通过更多方法通过二维图片进行三维建模,在此不再赘述。
回顾以上过程,本说明书实施例的重点在于,在对用户进行受损车辆的三维模型建立过程中,可以将有损区域和无损区域分开建模。一方面,通过现场信息和参考三维模型的对比确定无损区域,针对无损区域可以直接获取参考三维模型中的模型数据,减少对受损车辆进行建模时的计算复杂度,节约数据处理资源。另一方面,针对有损区域,根据现场信息重新建立三维模型,和无损区域的三维模型相结合构成受损车辆的完整三维模型,真实还原出受损车辆的现场形态。同时,没有采用在参考三维模型迭代更新的方式重建三维模型,可以有效避免建模过程中的拟合错误、算法不收敛等问题。本说明书实施例可以大大提高受损车辆的三维模型的准确性。
根据另一方面的实施例,还提供一种受损车辆的三维模型建立的装置。图5示出根据一个实施例的用于受损车辆的三维模型建立的装置的示意性框图。如图5所示,用于受损车辆的三维模型建立的装置500包括:获取单元51,配置为获取受损车辆的现场信息,现场信息至少包括多个图片;确定单元52,配置为根据现场信息确定受损车辆所对应的参考三维模型;无损区域建模单元53,配置为基于现场信息和参考三维模型的对比,确定受损车辆的无损区域,并从参考三维模型获取无损区域对应的模型数据,以建立无损区域的三维模型;有损区域建模单元54,配置为根据现场信息将受损车辆的有损区域映射到无损区域的三维模型所在的坐标空间中,以完成受损车辆的三维模型的建立。
根据一个实施方式,确定单元52可以进一步配置为:根据现场信息确定所述受损车辆的车型类别;将与所述车型类别相对应的三维模型作为所述受损车辆所对应的参考三维模型。
在进一步的实施例中,确定单元52根据现场信息确定所述受损车辆的车型类别时,可以将多个图片输入分类模型,根据分类模型的输出确定车型类别。
根据一个可能的设计,无损区域建模单元53还配置为:按照特征点提取规则,从现场信息中提取受损车辆的多个特征点;将多个特征点与参考三维模型进行匹配,以确定受损车辆的无损区域。
在一个进一步的实施例中,无损区域建模单元53将多个特征点与参考三维模型进行匹配,以确定受损车辆的无损区域包括:将多个特征点和参考三维模型输入判断模型,根据判断模型的输出结果确定所述特征点对应的区域是否为无损区域。
在另一个进一步的实施例中,无损区域建模单元53将多个特征点与参考三维模型进行匹配,以确定受损车辆的无损区域包括:
对于受损车辆的第一区域,从现场信息提取第一区域的多个第一特征点;以及
获取参考三维模型中与第一区域对应区域的模型特征点,其中,模型特征点按照上述特征点提取规则提取;
确定第一特征点与模型特征点之间的匹配参数;
在匹配参数满足预定条件的情况下,确定第一区域为无损区域。
在一种实现中,无损区域建模单元53确定第一特征点与模型特征点之间的匹配参数包括:
获取受损车辆的第一基准点,并检测各个第一特征点与第一基准点的各个第一距离;
获取参考三维模型的第二基准点,并检测各个模型特征点与第二基准点之间的各个第二距离,其中,第二基准点是与第一基准点在空间位置上相对应的点;
基于第一距离和第二距离的一致性确定第一特征点和模型特征点的匹配参数。
根据一种实施方式,有损区域建模单元54进一步可以配置为:
针对有损区域中的第二区域,从现场信息的图片中提取与第二区域对应的多个第二特征点;
确定各个第二特征点与基准点的各个相对坐标,其中,基准点是与受损车辆相关的、各个第二特征点之外的点;
基于基准点和各个相对坐标,确定各个第二特征点在无损区域的三维模型所在坐标空间中的各个三维坐标,并按照各个三维坐标将所述受损车辆的有损区域映射到所述无损区域的三维模型所在坐标空间中。
值得说明的是,图5所示的装置500是与图2示出的方法实施例相对应的装置实施例,图2示出的方法实施例中的相应描述同样适用于装置200,在此不再赘述。
通过以上装置,通过现场信息和参考三维模型的对比确定无损区域,一方面,针对无损区域可以直接获取参考三维模型中的模型数据,另一方面,针对有损区域,根据现场信息建立三维模型,从而可以提高受损车辆的三维模型建立的准确性。
根据另一方面的实施例,还提供一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令计算机执行结合图2所描述的方法。
根据再一方面的实施例,还提供一种计算设备,包括存储器和处理器,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现结合图2所述的方法。
本领域技术人员应该可以意识到,在上述一个或多个示例中,本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时,可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的技术方案的基础之上,所做的任何修改、等同替换、改进等,均应包括在本发明的保护范围之内。

Claims (18)

1.一种受损车辆的三维模型建立方法,所述方法包括:
获取所述受损车辆的现场信息,所述现场信息至少包括多个图片;
根据所述现场信息确定所述受损车辆所对应的参考三维模型;
基于所述现场信息和所述参考三维模型的区域轮廓形状的一致性对比,确定受损车辆的无损区域,并从所述参考三维模型获取所述无损区域对应的模型数据,以建立所述无损区域的三维模型;
根据所述现场信息将所述受损车辆的有损区域映射到所述无损区域的三维模型所在的坐标空间中,以完成所述受损车辆的三维模型的建立。
2.根据权利要求1所述的方法,其中,根据所述现场信息确定所述受损车辆的参考三维模型包括:
根据现场信息确定所述受损车辆的车型类别;
将与所述车型类别相对应的三维模型作为所述受损车辆所对应的参考三维模型。
3.根据权利要求2所述的方法,其中,所述根据现场信息确定所述受损车辆的车型类别包括:
将所述多个图片输入分类模型,根据所述分类模型的输出确定车型类别。
4.根据权利要求1所述的方法,其中,所述基于所述现场信息和所述参考三维模型的对比,确定受损车辆的无损区域包括:
按照特征点提取规则,从所述现场信息中提取所述受损车辆的多个特征点;
将所述多个特征点与所述参考三维模型进行匹配,以确定所述受损车辆的无损区域。
5.根据权利要求4所述的方法,其中,将所述多个特征点与所述参考三维模型进行匹配,以确定所述受损车辆的无损区域包括:
将所述多个特征点和所述参考三维模型输入判断模型,根据判断模型的输出结果确定所述特征点对应的区域是否为无损区域。
6.根据权利要求4所述的方法,其中,
所述按照特征点提取规则,从所述现场信息中提取所述受损车辆的多个特征点包括:
对于所述受损车辆的第一区域,从所述现场信息提取所述第一区域的多个第一特征点;以及
将所述多个特征点与所述参考三维模型进行匹配,以确定所述受损车辆的无损区域包括:
获取所述参考三维模型中与所述第一区域对应区域的模型特征点,其中,所述模型特征点按照所述特征点提取规则提取;
确定所述第一特征点与所述模型特征点之间的匹配参数;
在所述匹配参数满足预定条件的情况下,确定所述第一区域为无损区域。
7.根据权利要求6所述的方法,其中,所述确定所述第一特征点与所述模型特征点之间的匹配参数包括:
获取所述受损车辆的第一基准点,并检测各个第一特征点与所述第一基准点的各个第一距离;
获取所述参考三维模型的第二基准点,并检测各个模型特征点与所述第二基准点之间的各个第二距离,其中,所述第二基准点是与所述第一基准点在空间位置上相对应的点;
基于所述第一距离和所述第二距离的一致性确定所述第一特征点和所述模型特征点的匹配参数。
8.根据权利要求1所述的方法,其中,根据所述现场信息将所述受损车辆的有损区域映射到所述无损区域的三维模型所在的坐标空间中包括:
针对有损区域中的第二区域,从所述现场信息的图片中提取与所述第二区域对应的多个第二特征点;
确定各个第二特征点与基准点的各个相对坐标,其中,所述基准点是与所述受损车辆相关的、各个第二特征点之外的点;
基于所述基准点和各个相对坐标,确定各个第二特征点在所述无损区域的三维图像所在坐标空间中的各个三维坐标,并按照各个三维坐标将所述受损车辆的有损区域映射到所述无损区域的三维模型所在坐标空间中。
9.一种受损车辆的三维模型建立的装置,所述装置包括:
获取单元,配置为获取所述受损车辆的现场信息,所述现场信息至少包括多个图片;
确定单元,配置为根据所述现场信息确定所述受损车辆所对应的参考三维模型;
无损区域建模单元,配置为基于所述现场信息和所述参考三维模型区域轮廓形状的一致性对比,确定受损车辆的无损区域,并从所述参考三维模型获取所述无损区域对应的模型数据,以建立所述无损区域的三维模型;
有损区域建模单元,配置为根据所述现场信息将所述受损车辆的有损区域映射到所述无损区域的三维模型所在的坐标空间中,以完成所述受损车辆的三维模型的建立。
10.根据权利要求9所述的装置,其中,所述确定单元进一步配置为:
根据现场信息确定所述受损车辆的车型类别;
将与所述车型类别相对应的三维模型作为所述受损车辆所对应的参考三维模型。
11.根据权利要求10所述的装置,其中,所述确定单元还配置为:
将所述多个图片输入分类模型,根据所述分类模型的输出确定车型类别。
12.根据权利要求9所述的装置,其中,所述无损区域建模单元还配置为:
按照特征点提取规则,从所述现场信息中提取所述受损车辆的多个特征点;
将所述多个特征点与所述参考三维模型进行匹配,以确定所述受损车辆的无损区域。
13.根据权利要求12所述的装置,其中,所述无损区域建模单元进一步配置为:
将所述多个特征点和所述参考三维模型输入判断模型,根据判断模型的输出结果确定所述特征点对应的区域是否为无损区域。
14.根据权利要求12所述的装置,其中,所述无损区域建模单元还进一步配置为:
对于所述受损车辆的第一区域,从所述现场信息提取所述第一区域的多个第一特征点;以及
获取所述参考三维模型中与所述第一区域对应区域的模型特征点,其中,所述模型特征点按照所述特征点提取规则提取;
确定所述第一特征点与所述模型特征点之间的匹配参数;
在所述匹配参数满足预定条件的情况下,确定所述第一区域为无损区域。
15.根据权利要求14所述的装置,其中,所述无损区域建模单元更进一步配置为:
获取所述受损车辆的第一基准点,并检测各个第一特征点与所述第一基准点的各个第一距离;
获取所述参考三维模型的第二基准点,并检测各个模型特征点与所述第二基准点之间的各个第二距离,其中,所述第二基准点是与所述第一基准点在空间位置上相对应的点;
基于所述第一距离和所述第二距离的一致性确定所述第一特征点和所述模型特征点的匹配参数。
16.根据权利要求9所述的装置,其中,所述有损区域建模单元进一步配置为:
针对有损区域中的第二区域,从所述现场信息的图片中提取与所述第二区域对应的多个第二特征点;
确定各个第二特征点与基准点的各个相对坐标,其中,所述基准点是与所述受损车辆相关的、各个第二特征点之外的点;
基于所述基准点和各个相对坐标,确定各个第二特征点在所述无损区域的三维模型所在坐标空间中的各个三维坐标,并按照各个三维坐标将所述受损车辆的有损区域映射到所述无损区域的三维模型所在坐标空间中。
17.一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令计算机执行权利要求1-8中任一项的所述的方法。
18.一种计算设备,包括存储器和处理器,其特征在于,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现权利要求1-8中任一项所述的方法。
CN201811088882.6A 2018-09-18 2018-09-18 受损车辆的三维模型建立方法及装置 Active CN109215119B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811088882.6A CN109215119B (zh) 2018-09-18 2018-09-18 受损车辆的三维模型建立方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811088882.6A CN109215119B (zh) 2018-09-18 2018-09-18 受损车辆的三维模型建立方法及装置

Publications (2)

Publication Number Publication Date
CN109215119A CN109215119A (zh) 2019-01-15
CN109215119B true CN109215119B (zh) 2023-06-20

Family

ID=64984254

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811088882.6A Active CN109215119B (zh) 2018-09-18 2018-09-18 受损车辆的三维模型建立方法及装置

Country Status (1)

Country Link
CN (1) CN109215119B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111724216B (zh) * 2019-03-18 2023-09-08 天津五八到家科技有限公司 车辆选择方法、终端设备及存储介质
CN111045413A (zh) * 2019-11-19 2020-04-21 上海移远通信技术股份有限公司 车辆的安全监控方法、安全监控系统以及可读存储介质
CN111489433B (zh) * 2020-02-13 2023-04-25 北京百度网讯科技有限公司 车辆损伤定位的方法、装置、电子设备以及可读存储介质
CN111598270A (zh) * 2020-05-27 2020-08-28 杭州以诺行汽车科技股份有限公司 一种汽车维修钣面的勾选方法及其勾选系统
CN115187732B (zh) * 2022-09-05 2022-12-23 江西省云眼大视界科技有限公司 一种图像数据采集与传输装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016148960A (ja) * 2015-02-12 2016-08-18 コニカミノルタ株式会社 事故車両捜索支援システム及び事故車両捜索支援プログラム
CN107403424A (zh) * 2017-04-11 2017-11-28 阿里巴巴集团控股有限公司 一种基于图像的车辆定损方法、装置及电子设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1261912C (zh) * 2001-11-27 2006-06-28 三星电子株式会社 基于深度图像表示三维物体的装置和方法
DE102006048578B4 (de) * 2006-10-13 2010-06-17 Gerhard Witte Verfahren und Vorrichtung zum Bestimmen der Veränderung der Form eines dreidimensionalen Objektes
US11144889B2 (en) * 2016-04-06 2021-10-12 American International Group, Inc. Automatic assessment of damage and repair costs in vehicles
CN108171708B (zh) * 2018-01-24 2021-04-30 北京威远图易数字科技有限公司 车辆定损方法与系统
CN108364253B (zh) * 2018-03-15 2022-04-15 北京威远图易数字科技有限公司 车辆定损方法、系统以及电子设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016148960A (ja) * 2015-02-12 2016-08-18 コニカミノルタ株式会社 事故車両捜索支援システム及び事故車両捜索支援プログラム
CN107403424A (zh) * 2017-04-11 2017-11-28 阿里巴巴集团控股有限公司 一种基于图像的车辆定损方法、装置及电子设备

Also Published As

Publication number Publication date
CN109215119A (zh) 2019-01-15

Similar Documents

Publication Publication Date Title
CN109215119B (zh) 受损车辆的三维模型建立方法及装置
CN108364253B (zh) 车辆定损方法、系统以及电子设备
CN108537197B (zh) 一种基于深度学习的车道线检测预警装置及预警方法
CN108985343B (zh) 基于深度神经网络的汽车损伤检测方法和系统
CN111160302A (zh) 基于自动驾驶环境的障碍物信息识别方法和装置
CN109447069A (zh) 面向智能终端的车辆信息采集识别方法及系统
CN108428248B (zh) 车窗定位方法、系统、设备及存储介质
KR20190137669A (ko) 자동으로 사고 차량의 파손 정도를 산출하는 장치, 방법 및 컴퓨터 프로그램
CN111179152A (zh) 一种道路标识识别方法及装置、介质、终端
KR102125999B1 (ko) Ai 자동 견적 장치, 방법 및 컴퓨터 프로그램
KR20210101313A (ko) 얼굴 인식 방법, 신경망 훈련방법, 장치 및 전자 디바이스
CN109271908B (zh) 车损检测方法、装置及设备
CN112967283A (zh) 基于双目摄像头的目标识别方法、系统、设备及存储介质
CN110569856A (zh) 样本标注方法及装置、损伤类别的识别方法及装置
CN111126393A (zh) 车辆外观改装判断方法、装置、计算机设备及存储介质
CN112598922A (zh) 车位检测方法、装置、设备及存储介质
CN111627001A (zh) 图像检测方法及装置
CN109784171A (zh) 车辆定损图像筛选方法、装置、可读存储介质及服务器
CN110291527B (zh) 信息处理方法、系统、云处理设备以及计算机程序产品
CN108038423B (zh) 基于图像识别的汽车车型的识别方法及装置
US11120308B2 (en) Vehicle damage detection method based on image analysis, electronic device and storage medium
CN112085721A (zh) 基于人工智能的水淹车定损方法、装置、设备及存储介质
CN115810134A (zh) 一种车险反欺诈的图像采集质检方法、系统和装置
IL293594A (en) Systems, methods and software for producing a damage pattern in a car
CN117315224A (zh) 一种改进边界框回归损失的目标检测方法、系统及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40003191

Country of ref document: HK

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20201010

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Advanced innovation technology Co.,Ltd.

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Applicant before: Alibaba Group Holding Ltd.

Effective date of registration: 20201010

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Innovative advanced technology Co.,Ltd.

Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant before: Advanced innovation technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant