CN117935127B - 一种全景视频查勘智能定损方法及系统 - Google Patents

一种全景视频查勘智能定损方法及系统 Download PDF

Info

Publication number
CN117935127B
CN117935127B CN202410335212.9A CN202410335212A CN117935127B CN 117935127 B CN117935127 B CN 117935127B CN 202410335212 A CN202410335212 A CN 202410335212A CN 117935127 B CN117935127 B CN 117935127B
Authority
CN
China
Prior art keywords
damage
panoramic video
vehicle
panoramic
spherecnn
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410335212.9A
Other languages
English (en)
Other versions
CN117935127A (zh
Inventor
何华伟
高云
肖振峰
姚磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guoren Property Insurance Co ltd
Original Assignee
Guoren Property Insurance Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guoren Property Insurance Co ltd filed Critical Guoren Property Insurance Co ltd
Priority to CN202410335212.9A priority Critical patent/CN117935127B/zh
Publication of CN117935127A publication Critical patent/CN117935127A/zh
Application granted granted Critical
Publication of CN117935127B publication Critical patent/CN117935127B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/08—Insurance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Finance (AREA)
  • Mathematical Physics (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种全景视频查勘智能定损方法及系统，包括步骤：S1：使用全景相机在车辆事故现场采集360度的全景视频，将采集到的全景视频上传到云端服务器或数据处理中心；S2：对全景视频进行预处理;S3：采用训练好的SphereCNN模型来对预处理后的全景视频进行车辆损害位置和损害程度识别；S4：云端服务器或数据处理中心将车辆损害位置及损害程度信息发送至手机终端或LCD进行显示。本申请将SphereCNN模型用于保险查勘领域，通过对事故现场全景视频的自动化处理，大大提升了事故车辆损害程度的准确性和效率，极大增加用户体验。

Description

一种全景视频查勘智能定损方法及系统
技术领域
本发明涉及人工智能技术领域，具体涉及一种全景视频查勘智能定损方法及系统。
背景技术
随着汽车保有量的持续增长，交通事故频发成为了不可忽视的社会问题，其中车辆保险理赔成为了处理事故损害的重要环节。传统的车辆损害查勘和定损流程主要依赖于保险公司的查勘员现场勘查，通过拍照、记录等手段获取事故车辆的损害信息，再结合查勘员的经验进行损害程度的评估和定损。然而，这一过程存在以下几个显著问题：效率低下：查勘员需要前往事故现场进行勘查，受地理位置、交通状况等多种因素影响，处理时间较长。主观性强：定损结果很大程度上依赖于查勘员的经验和主观判断，导致理赔结果的不一致性和争议。信息有限：传统的照片和文字记录方式难以全面、细致地捕捉事故车辆的损害情况，特别是对于某些难以通过直接观察发现的内部损害。
近年来，随着信息技术的发展，尤其是计算机视觉和人工智能技术的进步，提供了新的解决方案，但现有的事故现场一般采用拍照或者拍摄普通视频上传至保险公司进行处理，尽管人工智能在图像识别领域已取得显著成就，但对于普通视频或者照片不能给出事故车辆的全貌，导致车辆事故的责任判断不准确以及车辆损害程度、车辆损害位置判断不准确不全面，导致车辆损害识别和定损仍面临挑战。随着全景视频的普及，越来越多的应用到车险领域，一方面全景视频包含的信息量大，另一方面全景视频能够聚焦图像关键点，因此如何高效地处理和分析这些数据成为关键；以及如何通过采集车辆的全景视频并结合深度学习模型，可以自动化地进行车辆损害的识别和定损，从而提高处理效率，减少人为因素的影响，实现更加公正、客观的理赔结果。
尽管卷积神经网络模型在许多领域取得了成功应用，但如何将这些先进的技术应用于交通事故保险处理领域，特别是如何有效结合全景视频图像数据进行综合分析，以及如何设计合理的算法框架以提高损害评估的准确性和效率，仍然是目前亟需解决的技术挑战。且现有的卷积神经网络模型判断过程中球面卷积核进行计算时没有考虑到球面距离因素的影响，导致车辆损害程度判断不准确，因此迫切需要一种新的解决方案，以提高处理的效率、判断准确度和客户满意度。
发明内容
针对现有技术中提到的上述问题，本发明提供了一种全景视频查勘智能定损方法及系统，该方法使用全景相机在车辆事故现场采集360度的全景视频，采用训练好的SphereCNN模型来对预处理后的全景视频进行车辆损害位置和损害程度识别，并通过云端服务器或数据处理中心将车辆损害位置及损害程度信息发送至手机终端或LCD进行显示；本申请将SphereCNN模型用于保险查勘领域，通过对事故现场全景视频的自动化处理，球面卷积核卷积操作过程中将采用点和点/>之间的球面距离作为考虑因素，大大提升了事故车辆损害程度的准确性和效率，极大增加用户体验。
本申请提供一种全景视频查勘智能定损方法，包括步骤：
S1：使用全景相机在车辆事故现场采集360度的全景视频，将采集到的全景视频上传到云端服务器或数据处理中心；
S2：对全景视频进行预处理;
S3：采用训练好的SphereCNN模型来对预处理后的全景视频进行车辆损害位置和损害程度识别；
S31：将预处理后的全景视频的每一帧映射到球面上，映射后每一帧为球面上的一个图像；
S32：对球面上的每一点进行球面卷积操作，通过球面卷积核对所有与点p的球面距离小于设定阈值的点/>进行处理，得到点/>的卷积输出结果/>；
其中，表示在点/>处的灰度图像像素值；/>为卷积核宽度系数；/>为距离权重衰减速率系数；/>表示对球面上的点/>执行旋转变换，将其转移到点/>所在的位置；表示点/>和点/>之间的球面距离；/>为全景视频图像映射后的球面，/>分别为全景图像映射后的球面上的两个不同的点；
S33：根据卷积结果，SphereCNN模型识别出车辆损害位置和损害程度；
S4：云端服务器或数据处理中心将车辆损害位置及损害程度信息发送至手机终端或LCD进行显示。
优选地，所述S2：对全景视频进行预处理，包括采用直方图均衡化对全景视频进行去噪处理。
优选地，所述S3：采用训练好的SphereCNN模型来对预处理后的全景视频进行车辆损害位置和损害程度识别，其中SphereCNN模型进行训练时采用带有车辆损害位置及损害程度标注的车辆全景视频图像作为训练数据集，SphereCNN模型包括球面卷积层、池化层、全连接层。
优选地，所述S33：根据卷积结果，SphereCNN模型识别出车辆损害位置和损害程度，车辆损害位置包括前保险杠、后保险杠、车顶、前挡风玻璃、后挡风玻璃、右前侧门、左前侧面、右侧后门、左侧后门、左侧玻璃、右侧玻璃；车辆损害程度包括轻微、中等、重大。
优选地，所述将采集到的全景视频上传到云端服务器或数据处理中心，将全景视频上传之前还包括对全景视频进行压缩。
本申请还提供一种全景视频查勘智能定损系统，包括：
全景相机采集模块，使用全景相机在车辆事故现场采集360度的全景视频，将采集到的全景视频上传到云端服务器或数据处理中心；
全景视频预处理模块，对全景视频进行预处理;
SphereCNN模型识别模块，采用训练好的SphereCNN模型来对预处理后的全景视频进行车辆损害位置和损害程度识别；
映射模块，将预处理后的全景视频的每一帧映射到球面上，映射后每一帧为球面上的一个图像；
卷积模块，对球面上的每一点进行球面卷积操作，通过球面卷积核对所有与点p的球面距离小于设定阈值的点/>进行处理，得到点/>的卷积输出结果/>；
其中，表示在点/>处的灰度图像像素值；/>为卷积核宽度系数；/>为距离权重衰减速率系数；/>表示对球面上的点/>执行旋转变换，将其转移到点/>所在的位置；表示点/>和点/>之间的球面距离；/>为全景视频图像映射后的球面，/>分别为全景图像映射后的球面上的两个不同的点；
结果判断输出模块，根据卷积结果，SphereCNN模型识别出车辆损害位置和损害程度；
通信模块，云端服务器或数据处理中心将车辆损害位置及损害程度信息发送至手机终端或LCD进行显示。
优选地，所述全景视频预处理模块，对全景视频进行预处理包括采用直方图均衡化对全景视频进行去噪处理。
优选地，所述SphereCNN模型识别模块：采用训练好的SphereCNN模型来对预处理后的全景视频进行车辆损害位置和损害程度识别，其中SphereCNN模型进行训练时采用带有车辆损害位置及损害程度标注的车辆全景视频图像作为训练数据集，SphereCNN模型包括球面卷积层、池化层、全连接层。
优选地，所述结果判断输出模块，根据卷积结果，SphereCNN模型识别出车辆损害位置和损害程度，车辆损害位置包括前保险杠、后保险杠、车顶、前挡风玻璃、后挡风玻璃、右前侧门、左前侧面、右侧后门、左侧后门、左侧玻璃、右侧玻璃；车辆损害程度包括轻微、中等、重大。
优选地，所述将采集到的全景视频上传到云端服务器或数据处理中心，将全景视频上传之前还包括对全景视频进行压缩。
本发明提供了一种全景视频查勘智能定损方法及系统，所能实现的有益技术效果如下：
1、本发明计算过程中将SphereCNN模型用于保险查勘领域，通过对事故现场全景视频的自动化处理，采用训练好的SphereCNN模型来对预处理后的全景视频进行车辆损害位置和损害程度识别，并通过云端服务器或数据处理中心将车辆损害位置及损害程度信息发送至手机终端或LCD进行显示，大大提升了事故车辆保险处理自动化程度以及损害程度、位置判断准确性和效率，极大优化了用户体验。
2、本发明对球面上的每一点进行球面卷积操作，通过球面卷积核对所有与点p的球面距离小于设定阈值的点/>进行处理，得到点/>的卷积输出结果/>，球面卷积核卷积操作过程中将采用点/>和点/>之间的球面距离作为考虑因素，/>表示点/>和点/>之间的球面距离加入到卷积的计算考虑因素之内，大大提升了车辆损害位置和损害程度特征的提取，提升了保险损害程度和位置判断准确度。
3、本发明SphereCNN模型识别模块采用训练好的SphereCNN模型来对预处理后的全景视频进行车辆损害位置和损害程度识别，其中SphereCNN模型进行训练时采用带有车辆损害位置及损害程度标注的车辆全景视频图像作为训练数据集，SphereCNN模型包括球面卷积层、池化层、全连接层，将球面卷积层引入到保险全景视频识别中，大大提高了车辆损害程度识别的准确性，且能够对对车辆保险解决方案给出准确性的意见建议。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明的一种全景视频查勘智能定损方法步骤示意图；
图2是本发明的一种全景视频查勘智能定损系统示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例1：
针对现有技术中提到的上述问题，为解决上述技术问题，如附图1所示：提供本申请提供本申请提供一种全景视频查勘智能定损方法，包括步骤：
S1：使用全景相机在车辆事故现场采集360度的全景视频，将采集到的全景视频上传到云端服务器或数据处理中心；
在一个实施例中，在一个繁忙的交叉路口发生一起车辆碰撞事故，事故涉及两辆车，一辆车的侧面受到了损害，另一辆车的前保险杠有明显的损伤。使用一台配备有四个镜头的全景相机，每个镜头覆盖90度视角，共同覆盖360度全方位视场，将全景相机固定在三脚架上，调整至事故现场中心，确保可以捕捉到事故现场及周围环境的完整视图。全景相机启动后，开始录制全景视频，操作人员绕事故现场行走，确保从不同角度和距离捕捉到两辆受损车辆的详细情况。录制时长约为5至10分钟，以确保全方位且详细地记录事故现场的情况，包括车辆损害的具体位置、道路状况、交通标志以及周边环境等。录制完成后，通过全景相机内置的无线网络功能，将采集到的全景视频实时上传到云端服务器或数据处理中心进行存储和后续处理。在上传过程中，视频数据通过压缩算法进行压缩，以减少所需的传输时间和云存储空间。云端服务器接收到上传的全景视频文件后，进行初步的文件检查，确认视频格式和数据完整性。视频文件存储在云端数据中心的高可用存储系统中，为后续的视频预处理和分析作准备，通过上述步骤，全景视频查勘智能定损方法的第一步采集并上传全景视频得以完成。
S2：对全景视频进行预处理;全景视频的预处理旨在改善视频质量，确保后续的车辆损害识别和定损步骤能够高效准确地进行。在一些实施例中，预处理步骤包括但不限于去噪声、图像增强、格式转换和视频压缩。由于全景视频在采集过程中会受到环境光线变化、相机震动等因素的影响，导致图像出现噪声。应用数字图像处理技术，如高斯模糊滤波、中值滤波等去噪算法，减少视频中的随机噪声，提高图像清晰度。为了更清楚地识别车辆损害细节，采用图像增强技术调整视频帧的对比度和亮度。使用直方图均衡化处理，优化图像的对比度，使车辆损害区域的细节更加突出和清晰。全景视频需要转换成特定格式以适应后续处理流程，例如从原始相机格式转换为通用的视频格式如MP4。这一步骤确保视频数据能够被后续的SphereCNN模型等处理算法兼容和高效处理。考虑到全景视频数据量巨大，直接处理和存储原始视频会导致计算和存储资源的巨大消耗。采用高效的视频压缩算法（如H.264/AVC或H.265/HEVC）减少视频文件的大小，同时保留重要的视觉信息。这样不仅减少了对带宽和存储的需求，也加快了数据传输和处理速度。预处理操作在云端服务器或数据处理中心执行，经过预处理后的全景视频在视觉质量上得到显著改善，噪声减少，图像更清晰，损害细节更易于识别，为下一步的损害识别和定损分析奠定了坚实的基础。
S3：采用训练好的SphereCNN模型来对预处理后的全景视频进行车辆损害位置和损害程度识别；SphereCNN是一个专门设计来处理球面数据（如全景图像）的深度学习模型，与传统的卷积神经网络(CNN)相比，SphereCNN通过使用球面卷积层来适应全景图像的球面结构，从而有效减少由于投影变换引起的畸变，提高损害识别的准确性。在一些实施例中，训练时收集大量包含各种车辆损害情况（如划痕、凹陷、破裂等）的全景视频作为训练数据，每个视频中的损害位置和程度进行标注，对训练数据进行必要的预处理，包括视频压缩、图像增强等，以提高模型训练的效率和效果。SphereCNN模型架构包括球面卷积层、池化层和全连接层等，通过训练调整模型参数如学习率、批处理大小等，使用预处理和标注好的训练数据集对SphereCNN模型进行训练，通过反向传播算法优化模型参数，直到模型在验证集上的性能达到预定标准。将预处理后的全景视频的每一帧映射到球面上，生成球面图像，通过训练好的SphereCNN模型对每一球面图像进行特征提取，模型会自动识别和分析图像中的损害特征，SphereCNN模型根据提取的特征识别出车辆损害的位置和程度，模型可以识别多种损害类型，并根据损害的严重程度进行分类（如轻微、中等、严重等），识别结果包括损害位置的具体坐标、损害类型及程度等信息，这些信息被整合并输出，用于后续的定损报告生成和理赔处理。通过应用SphereCNN模型，该全景视频查勘智能定损方法能够自动、快速地识别车辆事故现场全景视频中的损害信息，大幅提高了查勘和定损的效率与准确性，此外，该方法的自动化程度高，减少了人为因素干扰，提升了理赔流程的客观性和公正性。
S31：将预处理后的全景视频的每一帧映射到球面上，映射后每一帧为球面上的一个图像；全景视频通常通过特定的相机系统捕获，这些系统能够在单一时刻从多个方向捕获图像，进而生成一个360度的视图。为了有效处理这些视频，需要将它们转换为球面上的表示，这样可以更自然地处理全景图像中的畸变，并适配SphereCNN模型的输入需求。在一些实施例中，选择等距圆柱投影作为全景视频到球面映射的方法，等距圆柱投影能够将360度全景图像映射到一个矩形图像上，该图像随后可以被解释为覆盖整个球面的图像，对预处理后的全景视频中的每一帧，应用等距圆柱投影算法将其转换为球面图像。这涉及到将全景视频帧的像素按照一定的数学规则重新分配，以匹配球面上的位置。对映射结果进行验证，确保全景图像中的重要视觉信息（如车辆损害区域）在球面图像上得到正确的表示和位置准确性。在一些实施例中，使用具有图像处理功能的软件（如OpenCV、MATLAB等），配合自定义或第三方提供的等距圆柱投影算法，来执行视频帧的映射操作，需要具备足够计算能力的计算机系统来处理高分辨率的全景视频数据。通过将预处理后的全景视频映射到球面上，每一帧全景图像都被转换为球面图像，这使得后续的SphereCNN模型能够有效地处理这些数据，利用其球面卷积层来准确识别车辆损害的位置和程度。映射后的球面图像保留了全景视频中的全方位视角，同时减少了投影畸变，为车辆损害识别提供了更加准确和自然的数据表示方式。
S32：对球面上的每一点进行球面卷积操作，通过球面卷积核对所有与点p的球面距离小于设定阈值的点/>进行处理，得到点/>的卷积输出结果/>；
其中，表示在点/>处的灰度图像像素值；/>为卷积核宽度系数；/>为距离权重衰减速率系数；/>表示对球面上的点/>执行旋转变换，将其转移到点/>所在的位置；表示点/>和点/>之间的球面距离；/>为全景视频图像映射后的球面，/>分别为全景图像映射后的球面上的两个不同的点；
在一些实施例中， 球面卷积操作的目的是在考虑到全景视频图像的球面几何特性的前提下，有效地提取图像特征。通过球面卷积，可以更自然地处理全景图像的畸变，提高车辆损害识别的准确性。在一些实施例中，已通过步骤S31将预处理后的全景视频每一帧映射到球面上，现在每一帧都可以被视为球面上的一个图像。设计球面卷积核，该核具有特定的宽度系数σ，用于控制核的覆盖范围。同时，定义距离权重衰减速率系数α，用于调整不同距离上点的影响权重。执行球面卷积操作：对球面上的每一点p，确定其周围球面距离小于设定阈值的所有点q集合。对于每个点q，计算其在点p处的灰度图像像素值I(q)，并根据距离||p−q||调整其影响权重。通过球面卷积核在这些点上进行加权求和，得到点p的卷积输出结果f(p)。球面旋转变换：在处理每个点q时，执行旋转变换，将点q转移到点p所在的位置，以保证卷积核可以统一地应用于球面上的任意位置。执行球面卷积操作后，得到的卷积输出结果f(p)反映了车辆事故现场全景视频中每个位置的特征，包括损害区域的特征。这些特征被后续的SphereCNN模型用于识别车辆损害的位置和程度。该方法通过考虑全景图像的球面几何特性，有效地减少了由于投影造成的畸变，提高了损害识别的准确性。
S33：根据卷积结果，SphereCNN模型识别出车辆损害位置和损害程度；输入数据准备：经过球面卷积操作处理的全景视频图像，为SphereCNN模型提供了一系列经过特征提取的球面图像数据。SphereCNN模型架构：SphereCNN模型包含多个球面卷积层、池化层、和全连接层。球面卷积层用于进一步提取球面图像中的空间特征，池化层用于降低特征维度并增强模型的泛化能力，全连接层用于将深层特征映射到损害识别的输出。损害位置和程度的识别：训练SphereCNN模型时，利用标注好的车辆损害位置和程度的全景视频数据作为训练集，使模型学习如何根据图像特征识别损害信息。在模型识别阶段，SphereCNN模型分析经过球面卷积处理的图像，根据学习到的特征模式识别出车辆损害的具体位置（如前保险杠、车门、后保险杠等）以及损害程度（如轻微、中等、严重）。
在一些实施例中，一辆车在停车场被另一辆车侧面撞击，造成明显的划痕和凹陷损害。SphereCNN模型应用：使用SphereCNN模型处理映射到球面上的全景视频帧，模型识别出车辆侧面的损害位置。模型进一步分析损害区域的特征强度、范围和深度，将损害程度分类为“中等”。SphereCNN模型输出包含损害位置（车辆侧面）和损害程度（中等）的详细信息。这些信息随后用于生成损害评估报告，为理赔决策提供依据。
S4：云端服务器或数据处理中心将车辆损害位置及损害程度信息发送至手机终端或LCD进行显示。在一些实施例中，云端服务器或数据处理中心在接收到SphereCNN模型识别模块的输出后，首先整合识别出的车辆损害位置和程度信息，包括损害的具体位置（如车辆的前保险杠、侧门等）、损害类型（如划痕、凹陷）以及损害程度（如轻微、中等、重大），结构化的损害程度信息通过云端服务器内置的通信模块，使用无线网络（Wi-Fi或蜂窝网络）发送至指定的手机终端或LCD显示屏，在手机终端上，损害报告通过专门的查勘应用(APP)展示，为查勘员或车主提供直观的损害信息查看界面。在LCD显示屏上，损害报告可以通过图文结合的方式展示，便于现场查勘员、车主或维修人员直接查看和分析损害信息。查勘员在完成车辆事故现场的全景视频采集和上传后，等待云端服务器处理并反馈损害识别结果。查勘员通过其携带的智能手机，打开预装的查勘应用(APP)。损害报告通过推送通知发送至其手机。查勘员打开损害报告，详细查看车辆损害的位置、类型和程度信息，并通过APP中的功能对损害区域进行标注和备注，以备后续理赔处理。
在一些实施例中，所述S2：对全景视频进行预处理，包括采用直方图均衡化对全景视频进行去噪处理。直方图均衡化是一种常用的图像增强技术，其目的是通过调整图像的对比度，使得整个图像的亮度分布更加均匀。在全景视频查勘智能定损的背景下，直方图均衡化可以改善因光照不均或相机性能限制导致的图像质量问题，从而提高损害识别的准确性和效率。在一些实施例中，查勘员已经使用全景相机在车辆事故现场采集了360度的全景视频，并上传到了云端服务器或数据处理中心。执行直方图均衡化，对上传的全景视频的每一帧图像进行直方图均衡化处理。首先，计算图像的直方图，即图像中每个像素亮度值的分布。然后，根据直方图，计算累积分布函数（CDF），用于映射原始图像的亮度值到新的亮度值，以增加图像的全局对比度。最后，应用这一映射到原始图像的每个像素，得到直方图均衡化后的图像。对比处理前后的图像，验证直方图均衡化对于增强图像对比度、改善图像清晰度和降低噪声水平的效果。在一些实施例中，一起车辆事故发生在一个树木繁多的道路上，导致现场图像整体偏暗，细节不易辨认，云端服务器接收到全景视频文件后，自动对视频的每一帧执行直方图均衡化处理，处理后，原本偏暗且细节不清晰的图像变得更加明亮，损害区域的划痕和凹陷更加容易识别，查勘员和损害评估专家可以通过对比处理前后的视频帧，明显感受到图像质量的提升。直方图均衡化使得事故现场的损害细节更为清晰，有助于提高后续损害识别和评估的准确性。
在一些实施例中，所述S3：采用训练好的SphereCNN模型来对预处理后的全景视频进行车辆损害位置和损害程度识别，其中SphereCNN模型进行训练时采用带有车辆损害位置及损害程度标注的车辆全景视频图像作为训练数据集，SphereCNN模型包括球面卷积层、池化层、全连接层。在一个实施例中，收集一个包含多种车辆损害情况（如划痕、凹陷、碎裂等）的全景视频数据集，每个视频中的损害位置和程度由专业人员进行精确标注，标注信息包括损害的具体位置坐标、损害类型和损害程度，对数据集中的每个视频进行必要的预处理步骤，如去噪、图像增强、格式转换和映射到球面上，以适配SphereCNN模型的输入要求，SphereCNN模型包括球面卷积层，用于在球面数据上提取特征，考虑全景图像的球面结构，减少投影畸变的影响；池化层用于降低特征维度，提高模型的泛化能力；全连接层将提取的高维特征映射到损害识别的输出，如损害位置和程度。使用准备好的训练数据集对SphereCNN模型进行训练；通过反向传播和梯度下降等算法优化模型的权重和偏置参数，直到模型在验证集上达到良好的性能；在一个实施例中，一辆车在停车场被另一辆车撞击，导致右侧门有明显的凹陷和划痕损害，使用全景相机从多个角度捕捉事故车辆，随后对采集的视频进行预处理和映射到球面上；预处理后的球面视频数据输入到训练好的SphereCNN模型中，模型通过其球面卷积层和池化层逐步提取损害相关特征，并在全连接层输出损害位置和程度的识别结果；模型成功识别出车辆右侧门的凹陷和划痕损害，判断损害程度为“中等”。识别结果被用于生成详细的损害评估报告，报告包括损害部位的图像、损害类型和程度评估，为后续的理赔流程提供依据。通过本实施例，SphereCNN模型显示出在全景视频查勘智能定损方法中的强大能力，尤其是在处理全景图像的球面数据时，能够有效识别出车辆损害的位置和程度。此外，模型的训练过程和架构设计确保了高准确性和适应性，提高了车辆事故损害查勘的效率和准确性，为保险公司提供了一个可靠的技术工具。
在一些实施例中，所述S33：根据卷积结果，SphereCNN模型识别出车辆损害位置和损害程度，车辆损害位置包括前保险杠、后保险杠、车顶、前挡风玻璃、后挡风玻璃、右前侧门、左前侧面、右侧后门、左侧后门、左侧玻璃、右侧玻璃；车辆损害程度包括轻微、中等、重大。在一些实施例中，一辆车遭受了多处损害，包括前保险杠的撞击损伤、车顶由于落物造成的凹陷、以及右侧后门的划痕，事故发生后，使用全景相机在现场采集了360度的全景视频，并通过步骤S1至S32进行了预处理和特征提取，经过预处理的球面视频数据被输入到训练好的SphereCNN模型中，SphereCNN模型分析视频数据，准确地识别出以下损害情况：前保险杠：因直接碰撞而造成的损伤，识别为“重大”损害；车顶：由于落物引起的凹陷，识别为“中等”损害；右侧后门：表面出现划痕，识别为“轻微”损害；根据SphereCNN模型的识别结果，系统自动生成一份详细的损害评估报告；报告中列出了每个损害部位的位置、描述和损害程度；此损害评估报告随后被用于指导理赔过程，包括估算维修成本和理赔金额，查勘员或车主可以通过手机APP或网页查看这份报告，并与保险公司进行交流确认；本实施例展示了SphereCNN模型在全景视频查勘智能定损系统中的有效应用；通过精确识别车辆不同部位的损害及其程度，该系统不仅加快了理赔流程，也提高了理赔的准确性和透明度，大大提升了客户满意度。
在一些实施例中，所述将采集到的全景视频上传到云端服务器或数据处理中心，将全景视频上传之前还包括对全景视频进行压缩，全景视频文件由于其360度的全方位视角，通常具有很大的文件大小，直接上传这些大文件到云端服务器将消耗大量的网络带宽和存储空间，同时也会增加上传时间，通过对全景视频进行压缩，可以有效减少文件大小，加快上传速度，同时节省云存储资源。在一个实施例中，在一个交通事故现场，使用全景相机从多个角度捕捉了事故现场的360度视频，视频采集完成后查勘员将全景相机连接到携带的笔记本电脑上，准备进行视频压缩处理，选择一个高效的视频压缩算法，如H.264或H.265，这些算法能够在保证视频质量的前提下，显著减少视频文件的大小，使用视频编辑软件或专门的视频压缩工具应用所选的压缩算法，这些工具通常允许用户选择压缩比率或目标文件大小，以及调整其他压缩参数，对采集到的全景视频进行压缩处理，查勘员选择将原始视频文件压缩至原大小的50%，以平衡视频质量和文件大小，压缩过程完成后，查勘员检查压缩后的视频文件，确认视频内容完整，且质量满足后续处理的需求。通过笔记本电脑的无线网络连接，将压缩后的全景视频上传到云端服务器或数据处理中心，由于文件大小得到了有效控制，上传过程迅速完成。通过对全景视频进行压缩处理，查勘员能够快速将事故现场的视频数据上传到云端，无需担心网络带宽或存储空间的限制，云端服务器接收到的压缩视频文件，即便在压缩状态下，也保留了足够的信息量，以供后续的视频预处理和损害识别分析使用。
实施例2：
本申请还提供一种全景视频查勘智能定损系统，包括全景相机具备至少两个宽角镜头，能够覆盖360度的视场，全景相机应具备无线传输功能，如Wi-Fi或4G/5G模块，以便将视频数据直接上传，全景相机通过无线网络连接到云端服务器或数据处理中心进行数据传输，云端服务器或数据处理中心包括高性能服务器群，配备足够的存储空间和计算能力（CPU/GPU），用于处理和分析大量的全景视频数据，服务器通过高速网络连接到各个模块，确保数据的高效传输和处理。智能手机或带有显示功能的LCD屏幕，用于显示车辆损害位置和程度信息，通过无线网络（如Wi-Fi、4G/5G）与云端服务器或数据处理中心连接，接收并显示损害识别结果，在车辆事故现场，查勘员使用全景相机从事故现场的多个角度进行拍摄，确保全方位无死角地记录事故现场，录制完成后，查勘员通过全景相机的无线传输功能，将视频数据上传到云端服务器进行进一步处理。云端服务器接收到全景视频数据后，首先对视频进行预处理，包括去噪声、图像增强等操作。预处理后的视频数据通过映射模块转换成球面图像，然后利用卷积模块进行球面卷积处理提取特征，SphereCNN模型识别模块分析卷积结果，识别出车辆损害的具体位置和程度，识别结果通过通信模块发送到查勘员或客户的手机终端或现场的LCD显示屏，查勘员或客户可以直接在手机或LCD屏幕上查看车辆损害位置和程度的详细信息。
全景相机采集模块，使用全景相机在车辆事故现场采集360度的全景视频，将采集到的全景视频上传到云端服务器或数据处理中心；在一个实施例中，拍摄视频图像车主使用普通智能手机从事故现场的不同角度分别拍摄视频，这包括车辆的前、后、左、右四个方向以及车辆的顶部，为确保覆盖360度的视野，车主需要围绕车辆行走，同时保持手机相对车辆的中心位置，确保每个方向的视频有足够的重叠区域，以便于后续的视频拼接。使用专门的视频拼接软件或应用，如PTGui、AutoPano或一些手机应用程序，车主可以将从不同角度拍摄的视频图像合成为一个连续的全景视频，在拼接过程中，软件将自动识别并匹配视频图像之间的重叠区域，生成无缝拼接的全景视频。拼接后的全景视频需要进一步的编辑和调整，包括去除不必要的边缘、调整曝光和色彩平衡，以提高视频质量。一辆车在停车场因另一辆车的不当操作而造成侧面损伤。车主使用其个人智能手机，从车辆的前、后、左、右及顶部角度拍摄视频。为确保足够的重叠区域，车主在每个方向上拍摄约30秒的视频，下载手机视频拼接应用程序，并将拍摄的视频导入，应用自动分析并拼接视频，生成一个连续的360度全景视频。车主通过应用对全景视频进行必要的编辑调整后，直接从应用中上传视频到保险公司的理赔系统。保险公司接收到全景视频后，用于评估车辆损害并加速理赔流程。通过车主使用个人智能手机和视频拼接应用程序自行生成全景视频，该方法大大简化了车辆损害查勘和理赔过程，使得车主能够快速且方便地提供事故现场的全面视图给保险公司。
全景视频预处理模块，对全景视频进行预处理;在一个实施例中，去噪算法采用波形阈值去噪（Wavelet Thresholding）波形阈值去噪，该算法通过对视频帧进行小波变换，将其分解为不同频率的子带，然后对这些子带应用阈值处理以去除噪声，最后通过小波逆变换恢复图像。对视频的每一帧进行小波变换，分解成多个尺度的小波系数，根据噪声特性选择适当的阈值，并对小波系数进行阈值处理，使用处理过的小波系数通过小波逆变换重构图像，波形阈值去噪特别适用于处理全景视频中的噪声问题，根据视频内容的不同频率特性灵活去除噪声，同时保持重要的图像细节。
在一个实施例中，视频压缩采用高效视频编码（H.265/HEVC），相比于H.264，H.265在相同的视频质量下可以实现更高的数据压缩率，大大减少视频文件的大小，H.265利用了高效的编码技术，如改进的块分割、并行处理和更高效的熵编码，以提高压缩效率，在全景视频的预处理中，采用H.265压缩算法可以显著减小视频文件的大小，便于视频的存储和传输，同时保持良好的图像质量，为后续的视频分析和处理提供便利；一个全景视频查勘智能定损系统需要处理一个在傍晚拍摄的全景视频，视频中存在由于低光照条件和压缩造成的噪声，系统首先对视频的每一帧应用波形阈值去噪算法，使用小波变换分解图像，并根据视频的噪声水平设置适当的阈值进行去噪，之后通过小波逆变换重构图像。这一步骤有效地去除了视频中的噪声，提高了图像的清晰度和质量。去噪后的视频通过H.265/HEVC编码进行压缩。选择合适的编码参数，如码率和GOP结构，以确保在最大程度上减少文件大小的同时，保持视频内容的完整性和清晰度，压缩后的视频文件大小显著减小，便于上传到云端服务器进行进一步的分析处理。
SphereCNN模型识别模块，采用训练好的SphereCNN模型来对预处理后的全景视频进行车辆损害位置和损害程度识别；
映射模块，将预处理后的全景视频的每一帧映射到球面上，映射后每一帧为球面上的一个图像；在一个实施例中，采用等距圆柱投影法，该方法是一种将球面图像投影到一个矩形平面上的方法，在全景视频处理中，这种投影方法允许将360度的全景图像映射成一个2D矩形图像，其中图像的横轴代表了水平角度（0到360度），而纵轴代表了垂直角度（-90到90度）。这种投影保持了水平和垂直方向的等距性质，使得原始全景图像的每个点都能被唯一地映射到2D图像上，虽然在极点附近会产生一定的扭曲。首先对全景视频的每一帧进行必要的预处理，如去噪、色彩校正等，以确保图像质量。执行等距圆柱投影，对于预处理后的每一帧图像，应用等距圆柱投影算法将其映射到球面上。具体来说，对于图像中的每个像素点，根据其在全景图像中的位置，计算其对应的球面坐标（经度λ和纬度ϕ）：经度λ=x−Width/2，其中x是像素点在图像中的横坐标，Width是图像的宽度。纬度ϕ=Height/2−y，其中y是像素点在图像中的纵坐标，Height是图像的高度。接着，使用上述经纬度将像素点映射到球面坐标系中的相应位置。经过投影的图像将呈现为一个矩形平面图，可被视为球面的展开图，其中图像的中心线对应地平线，图像的顶部和底部边缘分别对应北极和南极。在一个实施例中，有一段事故现场全景视频，使用全景相机捕捉的视频首先经过色彩校正和去噪处理，接着，每一帧视频都通过等距圆柱投影法映射到球面上。这一过程可以使用专门的软件工具或编程库（如OpenCV）来执行，最终得到的每一帧图像都能够代表原始场景的360度视角，适合进行后续的分析处理，如使用SphereCNN模型进行损害检测等。
卷积模块对球面上的每一点进行球面卷积操作，通过球面卷积核对所有与点p的球面距离小于设定阈值的点/>进行处理，得到点/>的卷积输出结果/>；
其中，表示在点/>处的灰度图像像素值；/>为卷积核宽度系数；/>为距离权重衰减速率系数；/>表示对球面上的点/>执行旋转变换，将其转移到点/>所在的位置；表示点/>和点/>之间的球面距离；/>为全景视频图像映射后的球面，/>分别为全景图像映射后的球面上的两个不同的点；
在一个实施例中，当视频图像通过等距圆柱投影映射到球面上后，SphereCNN模型首先执行球面卷积操作，这是为了适应球面图像的几何结构并有效提取特征。以下是SphereCNN模型在处理映射到球面的视频图像后，每一层的流程详细说明，以及如何通过全连接层进行计算，最终得出损害识别结果的过程。输入层功能接收映射到球面的视频图像，图像经预处理（如去噪、色彩校正）后被输入到模型中，输入是一帧经过等距圆柱投影的360度全景图像，球面卷积层（SphereConv）功能在球面上执行卷积操作，适应球面图像的几何结构，提取特征使用球面卷积核在球面图像上滑动，对每一点p及其邻域内的点进行处理，计算卷积输出结果；这一步会重复多次形成多个卷积层以提取不同层级的特征。球面池化层（SpherePooling）功能降低特征维度增强模型的泛化能力，在球面卷积层之后执行球面池化操作，减少数据量并保留重要的特征信息。全连接层（Fully Connected Layer）功能：将提取的高维特征映射到损害识别的输出，如损害位置和程度，在经过一系列卷积和池化层处理后，模型将得到的特征向量输入到全连接层。全连接层负责整合这些特征，并输出最终的识别结果。输出层功能输出车辆损害的位置和程度，最终的输出层根据全连接层的计算结果，给出损害的具体位置（如前保险杠、右侧后门）以及损害程度（如轻微、中等、重大）。在一个实施例中，有一段全景视频显示一辆车在停车场被撞击，右侧门受损，首先，将该段全景视频的每一帧映射到球面上，映射后的视频帧被输入到SphereCNN模型，在模型的球面卷积层，通过执行球面卷积，提取出损害相关的特征，经过球面池化层后，特征维度降低，重要信息被保留，在全连接层，这些特征被进一步整合，并映射到损害识别的输出，输出层根据全连接层的结果，准确地识别出车辆右侧门受到的损害，并评估为“中等”程度。
结果判断输出模块，根据卷积结果，SphereCNN模型识别出车辆损害位置和损害程度；在一些实施例中，卷积结果指的是经过球面卷积层（SphereConv）处理后的特征图（feature maps），这些特征图携带了输入全景图像中的空间信息和纹理信息。通过应用多个不同的卷积核，模型能够从不同角度提取图像特征，如边缘、纹理、颜色变化等，这些特征对于理解图像内容（例如识别车辆损害）至关重要。经过一系列卷积层和池化层（SpherePooling）后，模型将高维的特征图转化为更加紧凑的特征表示。这一步骤通过池化层实现，目的是降低特征的维度，同时保留重要的信息。紧凑的特征向量接下来被输入到全连接层（Fully Connected Layers）。全连接层的任务是将这些特征整合并映射到预测任务的输出空间，如车辆损害的位置和程度。在全连接层中，每个神经元都与前一层的所有神经元相连接，权重和偏置参数在训练过程中学习，以最佳方式代表输入数据和目标输出之间的关系。输出层的决策，模型的输出层（通常采用softmax函数）根据全连接层的输出，给出每个预测类别（如不同损害位置和程度）的概率。根据输出层的概率分布，选择概率最高的类别作为最终的判断结果。在一些实施例中，全景视频显示一辆车的右侧门有明显的划痕和凹陷，SphereCNN模型通过球面卷积层处理视频图像，提取出损害相关的特征，如划痕的方向、凹陷的深度等，经过池化层后，这些特征被整合成一个特征向量，降低了数据的维度，同时保留了损害识别所需的关键信息，特征向量输入到全连接层，模型根据训练过程中学习到的权重和偏置，将特征向量映射到损害位置和程度的概率分布上，输出层根据全连接层的结果，计算每个损害类别的概率，最终识别出右侧门的损害位置，并将损害程度判断为“中等”。
通信模块，云端服务器或数据处理中心将车辆损害位置及损害程度信息发送至手机终端或LCD进行显示。
在一些实施例中，所述全景视频预处理模块，对全景视频进行预处理包括采用直方图均衡化对全景视频进行去噪处理。
在一些实施例中，所述SphereCNN模型识别模块：采用训练好的SphereCNN模型来对预处理后的全景视频进行车辆损害位置和损害程度识别，其中SphereCNN模型进行训练时采用带有车辆损害位置及损害程度标注的车辆全景视频图像作为训练数据集，SphereCNN模型包括球面卷积层、池化层、全连接层。在一些实施例中，球面卷积层（SphereConv）的主要作用是在保留球面几何特性的前提下，对输入的球面图像进行特征提取，这一层通过在球面上执行卷积操作，可以捕捉图像中的空间模式，如边缘、纹理等，这对于后续识别车辆损害至关重要，有一帧全景视频图像经过预处理和球面映射，现在需要通过球面卷积层提取损害特征，在一个全景图像中，右侧车门有一道明显的划痕，球面卷积层通过在整个图像上滑动卷积核，专门捕捉类似划痕的模式，在处理右侧车门区域时，该层能够识别出与划痕相匹配的特征，例如划痕的方向和形态；池化层（SpherePooling）的作用是降低球面卷积层输出的特征维度，同时保留最重要的信息，这通过池化操作实现，例如最大值池化，它将每个小区域内的最强信号传递到下一层；全连接层（Fully Connected Layer）功能将池化后的特征向量映射到最终的识别任务上，在车辆损害识别的场景中，全连接层负责整合所有特征，并通过权重计算输出损害位置和程度的预测。继续上述划痕的例子，经过球面卷积层和池化层后，模型提取到关于划痕的特征向量，全连接层接收来自池化层的特征向量，通过训练好的网络参数，识别这些特征对应的是车门区域的“中等程度”损害，损害识别：模型最终输出指明损害位置为“右侧车门”，损害程度为“中等”。在SphereCNN模型中，球面卷积层首先对输入的球面图像进行空间特征提取，关注损害的视觉模式；随后，池化层降低特征维度并保留关键信息；最后，全连接层根据提取和池化的特征进行综合判断，输出损害位置和程度。通过这种分层的处理方式，SphereCNN能够有效地从全景视频中识别车辆的损害情况。
在一些实施例中，所述结果判断输出模块，根据卷积结果，SphereCNN模型识别出车辆损害位置和损害程度，车辆损害位置包括前保险杠、后保险杠、车顶、前挡风玻璃、后挡风玻璃、右前侧门、左前侧面、右侧后门、左侧后门、左侧玻璃、右侧玻璃；车辆损害程度包括轻微、中等、重大。
在一些实施例中，所述将采集到的全景视频上传到云端服务器或数据处理中心，将全景视频上传之前还包括对全景视频进行压缩。
在一些实施例中，在SphereCNN模型中，将点p和点q之间的球面距离纳入卷积计算的考虑因素，这一做法能显著提升车辆损害位置和损害程度特征的提取精度，通过考虑球面上点之间的实际距离，模型能更精确地理解和捕捉图像中的空间关系，特别是在处理全景图像中因投影导致的空间畸变时。这种空间关系的准确捕捉对于识别损害的形状、大小和位置至关重要。当损害特征（如划痕、凹陷）在球面图像上分布时，考虑点之间距离能够帮助模型更好地区分损害特征与背景噪声，从而提升识别损害特征的准确性。损害程度（如轻微、中等、重大）往往与损害区域的面积和特征强度相关。距离的考虑使得模型能够基于损害特征的空间分布做出更细致的判断。不同视角和尺度的适应性：全景图像中同一损害特征因视角和距离不同而在图像上呈现不同的尺度和形态。通过距离的考虑，模型能够更好地理解这些变化，提升对不同视角和尺度损害的识别能力。在一段全景视频中，一辆车的车门有一条显著的划痕。模型通过球面卷积层处理视频，其中球面距离的考虑使得模型特别关注与划痕形状和大小相匹配的区域，即使这些区域在全景图像中因视角原因出现了扭曲。考虑到划痕周围区域的球面距离信息，模型能够更准确地区分划痕与周围环境，减少了错误识别和噪声干扰，成功地将该损害识别为车门的“轻微”损伤。
本发明提供了一种全景视频查勘智能定损方法及系统，所能实现的有益技术效果如下：
1、本发明计算过程中将SphereCNN模型用于保险查勘领域，通过对事故现场全景视频的自动化处理，采用训练好的SphereCNN模型来对预处理后的全景视频进行车辆损害位置和损害程度识别，并通过云端服务器或数据处理中心将车辆损害位置及损害程度信息发送至手机终端或LCD进行显示，大大提升了事故车辆保险处理自动化程度以及损害程度、位置判断准确性和效率，极大优化了用户体验。
2、本发明对球面上的每一点进行球面卷积操作，通过球面卷积核对所有与点p的球面距离小于设定阈值的点/>进行处理，得到点/>的卷积输出结果/>，球面卷积核卷积操作过程中将采用点/>和点/>之间的球面距离作为考虑因素，/>表示点/>和点/>之间的球面距离加入到卷积的计算考虑因素之内，大大提升了车辆损害位置和损害程度特征的提取，提升了保险损害程度和位置判断准确度。
3、本发明SphereCNN模型识别模块采用训练好的SphereCNN模型来对预处理后的全景视频进行车辆损害位置和损害程度识别，其中SphereCNN模型进行训练时采用带有车辆损害位置及损害程度标注的车辆全景视频图像作为训练数据集，SphereCNN模型包括球面卷积层、池化层、全连接层，将球面卷积层引入到保险全景视频识别中，大大提高了车辆损害程度识别的准确性，且能够对对车辆保险解决方案给出准确性的意见建议。
以上对一种全景视频查勘智能定损方法及系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的核心思想；同时，对于本领域的一般技术人员，依据本发明的思想和方法，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种全景视频查勘智能定损方法，其特征在于，包括步骤：
S1：使用全景相机在车辆事故现场采集360度的全景视频，将采集到的全景视频上传到云端服务器或数据处理中心；
S2：对全景视频进行预处理;
S3：采用训练好的SphereCNN模型来对预处理后的全景视频进行车辆损害位置和损害程度识别；
S31：将预处理后的全景视频的每一帧映射到球面上，映射后每一帧为球面上的一个图像；
S32：对球面上的每一点进行球面卷积操作，通过球面卷积核对所有与点p的球面距离小于设定阈值的点/>进行处理，得到点/>的卷积输出结果/>；
其中，表示在点/>处的灰度图像像素值；/>为卷积核宽度系数；/>为距离权重衰减速率系数；/>表示对球面上的点/>执行旋转变换，将其转移到点/>所在的位置；表示点/>和点/>之间的球面距离；/>为全景视频图像映射后的球面，/>分别为全景图像映射后的球面上的两个不同的点；
S33：根据卷积结果，SphereCNN模型识别出车辆损害位置和损害程度；
S4：云端服务器或数据处理中心将车辆损害位置及损害程度信息发送至手机终端或LCD进行显示；
所述S3：采用训练好的SphereCNN模型来对预处理后的全景视频进行车辆损害位置和损害程度识别，其中SphereCNN模型进行训练时采用带有车辆损害位置及损害程度标注的车辆全景视频图像作为训练数据集，SphereCNN模型包括球面卷积层、池化层、全连接层。
2.如权利要求1所述的一种全景视频查勘智能定损方法，其特征在于，所述S2：对全景视频进行预处理，包括采用直方图均衡化对全景视频进行去噪处理。
3.如权利要求1所述的一种全景视频查勘智能定损方法，其特征在于，所述S33：根据卷积结果，SphereCNN模型识别出车辆损害位置和损害程度，车辆损害位置包括前保险杠、后保险杠、车顶、前挡风玻璃、后挡风玻璃、右前侧门、左前侧面、右侧后门、左侧后门、左侧玻璃、右侧玻璃；车辆损害程度包括轻微、中等、重大。
4.如权利要求1所述的一种全景视频查勘智能定损方法，其特征在于，所述将采集到的全景视频上传到云端服务器或数据处理中心，将全景视频上传之前还包括对全景视频进行压缩。
5.一种全景视频查勘智能定损系统，其特征在于，包括：
全景相机采集模块，使用全景相机在车辆事故现场采集360度的全景视频，将采集到的全景视频上传到云端服务器或数据处理中心；
全景视频预处理模块，对全景视频进行预处理;
SphereCNN模型识别模块，采用训练好的SphereCNN模型来对预处理后的全景视频进行车辆损害位置和损害程度识别；
映射模块，将预处理后的全景视频的每一帧映射到球面上，映射后每一帧为球面上的一个图像；
卷积模块，对球面上的每一点进行球面卷积操作，通过球面卷积核对所有与点p的球面距离小于设定阈值的点/>进行处理，得到点/>的卷积输出结果/>；
其中，表示在点/>处的灰度图像像素值；/>为卷积核宽度系数；/>为距离权重衰减速率系数；/>表示对球面上的点/>执行旋转变换，将其转移到点/>所在的位置；表示点/>和点/>之间的球面距离；/>为全景视频图像映射后的球面，/>分别为全景图像映射后的球面上的两个不同的点；
结果判断输出模块，根据卷积结果，SphereCNN模型识别出车辆损害位置和损害程度；
通信模块，云端服务器或数据处理中心将车辆损害位置及损害程度信息发送至手机终端或LCD进行显示；
所述SphereCNN模型识别模块：采用训练好的SphereCNN模型来对预处理后的全景视频进行车辆损害位置和损害程度识别，其中SphereCNN模型进行训练时采用带有车辆损害位置及损害程度标注的车辆全景视频图像作为训练数据集，SphereCNN模型包括球面卷积层、池化层、全连接层。
6.如权利要求5所述的一种全景视频查勘智能定损系统，其特征在于，所述全景视频预处理模块，对全景视频进行预处理包括采用直方图均衡化对全景视频进行去噪处理。
7.如权利要求5所述的一种全景视频查勘智能定损系统，其特征在于，所述结果判断输出模块，根据卷积结果，SphereCNN模型识别出车辆损害位置和损害程度，车辆损害位置包括前保险杠、后保险杠、车顶、前挡风玻璃、后挡风玻璃、右前侧门、左前侧面、右侧后门、左侧后门、左侧玻璃、右侧玻璃；车辆损害程度包括轻微、中等、重大。
8.如权利要求5所述的一种全景视频查勘智能定损系统，其特征在于，所述将采集到的全景视频上传到云端服务器或数据处理中心，将全景视频上传之前还包括对全景视频进行压缩。
CN202410335212.9A 2024-03-22 2024-03-22 一种全景视频查勘智能定损方法及系统 Active CN117935127B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410335212.9A CN117935127B (zh) 2024-03-22 2024-03-22 一种全景视频查勘智能定损方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410335212.9A CN117935127B (zh) 2024-03-22 2024-03-22 一种全景视频查勘智能定损方法及系统

Publications (2)

Publication Number Publication Date
CN117935127A CN117935127A (zh) 2024-04-26
CN117935127B true CN117935127B (zh) 2024-06-04

Family

ID=90752467

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410335212.9A Active CN117935127B (zh) 2024-03-22 2024-03-22 一种全景视频查勘智能定损方法及系统

Country Status (1)

Country Link
CN (1) CN117935127B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163271A (zh) * 2019-05-13 2019-08-23 武汉大学 一种基于球面投影网格和球面卷积的全景影像目标检测方法
CA3043686A1 (en) * 2018-07-31 2020-01-31 Middle Chart, LLC Method and apparatus for augmented virtual models and orienteering
KR20210130439A (ko) * 2020-04-22 2021-11-01 한국과학기술원 전방향 영상의 딥러닝을 이용한 물체 감지 방법 및 장치, 그리고 이를 이용한 차량 자율 주행 방법 및 드론 자율 주행 방법
CN114640801A (zh) * 2022-02-10 2022-06-17 浙江工业大学 一种基于图像融合的车端全景视角辅助驾驶系统
CN117135325A (zh) * 2023-09-12 2023-11-28 重庆邮电大学 基于增强现实的汽车全景监控系统及方法
CN117372917A (zh) * 2023-09-11 2024-01-09 中国刑事警察学院 一种基于多维特征融合的安防异常行为识别方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1995032021A1 (en) * 1994-05-20 1995-11-30 Mills Randell L Apparatus and method for providing an antigravitational force
US7576767B2 (en) * 2004-07-26 2009-08-18 Geo Semiconductors Inc. Panoramic vision system and method
US11934478B2 (en) * 2018-06-21 2024-03-19 The University Of Chicago Fully fourier space spherical convolutional neural network based on Clebsch-Gordan transforms
US11207035B2 (en) * 2019-04-10 2021-12-28 Siemens Healthcare Gmbh Sensor-based patient treatment support
US20210089862A1 (en) * 2019-09-23 2021-03-25 Samsung Electronics Co., Ltd. Method and apparatus with neural network data processing and/or training
US20230186590A1 (en) * 2021-12-13 2023-06-15 Robert Bosch Gmbh Method for omnidirectional dense regression for machine perception tasks via distortion-free cnn and spherical self-attention

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3043686A1 (en) * 2018-07-31 2020-01-31 Middle Chart, LLC Method and apparatus for augmented virtual models and orienteering
CN110163271A (zh) * 2019-05-13 2019-08-23 武汉大学 一种基于球面投影网格和球面卷积的全景影像目标检测方法
KR20210130439A (ko) * 2020-04-22 2021-11-01 한국과학기술원 전방향 영상의 딥러닝을 이용한 물체 감지 방법 및 장치, 그리고 이를 이용한 차량 자율 주행 방법 및 드론 자율 주행 방법
CN114640801A (zh) * 2022-02-10 2022-06-17 浙江工业大学 一种基于图像融合的车端全景视角辅助驾驶系统
CN117372917A (zh) * 2023-09-11 2024-01-09 中国刑事警察学院 一种基于多维特征融合的安防异常行为识别方法
CN117135325A (zh) * 2023-09-12 2023-11-28 重庆邮电大学 基于增强现实的汽车全景监控系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"面向识别未知旋转的3维网格模型的矢量型球面卷积网络";张强 等;《中国图象图形学报》;20230430(第第04期期);全文 *

Also Published As

Publication number Publication date
CN117935127A (zh) 2024-04-26

Similar Documents

Publication Publication Date Title
Zhu et al. A novel fast single image dehazing algorithm based on artificial multiexposure image fusion
US11361428B1 (en) Technology for analyzing images depicting vehicles according to base image models
Dudhane et al. Cdnet: Single image de-hazing using unpaired adversarial training
CN108109385B (zh) 一种输电线防外破的车辆识别与危险行为判别系统与方法
CN108615226B (zh) 一种基于生成式对抗网络的图像去雾方法
US10319094B1 (en) Technology for capturing, transmitting, and analyzing images of objects
CN113870263B (zh) 一种路面缺陷损伤实时监测方法及系统
CN108491821A (zh) 基于图像处理和深度学习的车险事故鉴别方法、系统及存储介质
CN111539246B (zh) 一种跨光谱人脸识别方法、装置、电子设备及其存储介质
CN114943893B (zh) 一种土地覆盖分类的特征增强方法
CN116052090A (zh) 图像质量评估方法、模型训练方法、装置、设备及介质
CN114708532A (zh) 一种监控视频质量评估方法、系统及存储介质
CN117789153B (zh) 基于计算机视觉的汽车油箱外盖定位系统及方法
CN114663352A (zh) 一种输电线路缺陷高精度检测方法、系统及存储介质
Yeh et al. Single image dehazing via deep learning-based image restoration
Li et al. An end-to-end system for unmanned aerial vehicle high-resolution remote sensing image haze removal algorithm using convolution neural network
Babu et al. An efficient image dahazing using Googlenet based convolution neural networks
WO2022104798A1 (zh) 基于5g的无人驾驶电子交警执勤系统
CN117935127B (zh) 一种全景视频查勘智能定损方法及系统
CN116664421A (zh) 一种基于多光照角度图像融合的航天器图像去阴影的方法
CN114648467B (zh) 图像的去雾方法、装置、终端设备及计算机可读存储介质
CN115294486A (zh) 一种基于无人机和人工智能的违章建筑数据识别方法
Nair et al. Benchmarking single image dehazing methods
Qiu et al. Perception-oriented UAV Image Dehazing Based on Super-Pixel Scene Prior
CN112465736A (zh) 一种用于港口船舶监控的红外视频图像增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant