CN109766740A - 监控机动车辆损坏的方法 - Google Patents

监控机动车辆损坏的方法 Download PDF

Info

Publication number
CN109766740A
CN109766740A CN201811312064.XA CN201811312064A CN109766740A CN 109766740 A CN109766740 A CN 109766740A CN 201811312064 A CN201811312064 A CN 201811312064A CN 109766740 A CN109766740 A CN 109766740A
Authority
CN
China
Prior art keywords
motor vehicles
damage
user
vehicle
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811312064.XA
Other languages
English (en)
Inventor
弗雷德里克·斯蒂芬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN109766740A publication Critical patent/CN109766740A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Finance (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种用于监控机动车辆(1)的损坏的方法，其中，借助于包含摄像机(4)的移动智能装置(3)记录机动车辆的图像，从该图像中获得机动车辆的当前三维形状，然后将当前三维形状与存储的机动车辆的参考形状进行比较，以识别机动车辆的损坏。依据本发明，所述机动车辆(1)是由用户(2)租用一段时间的机动车辆，并且在移动装置(3)上安装应用软件(5)，所述应用软件(5)就所述用户必须如何在机动车辆周围走动以及必须在显示机动车辆各个侧面的特定位置用所述移动装置记录图像而引导用户。

Description

监控机动车辆损坏的方法
技术领域
本发明涉及一种用于监控机动车辆损坏的方法，其中，通过包含摄像机的移动智能装置，记录机动车辆的图像，从该图像中获得机动车辆的当前三维形状，随后将该三维形状与存储的机动车辆的参考形状进行比较，以识别机动车辆的损坏。
背景技术
特别是在城市中，越来越多的人正在使用汽车共享服务，以提供短途和/或短时间可用的机动车辆。汽车共享车辆可以快速且容易地通过计算机或诸如智能手机这样的移动装置来预订。通常，车辆租赁者被引导至处于期望的或最近的位置的合适车辆。
在行程开始之前，租赁者应该检查车辆的状况是否有损坏，特别是在车辆周围行走时可见的车辆表面和车辆内部，并且租赁者应该将可能的损坏与车辆记录表中记录的损坏进行比较，并且——如果有必要——与汽车共享供应商的客服通信。为了更方便，有时使用贴纸来标记记录表中记录的外部损坏，但这会有损车辆的外观。无论如何，损坏监控对于租赁者来说是耗时的并且不总是可靠的。未记录的损坏往往被忽视，这可能迟早会给相关人员带来不便。
DE 10 2006 048 578 B4公开了一种方法，该方法具有权利要求1的前序部分的特征，并且提出用移动电话记录车辆的图像并将其发送到中心位置，在该中心位置将它们与该车辆类型三维模型进行比较，以获取和评估车辆的损坏。然而，有必要很好地了解评估软件的能力，以便能够为此记录合适的图像，并且外行人通常会因此而捉襟见肘。
发明内容
本发明的目的在于更容易更可靠地对汽车共享车辆等车辆的损坏——特别是例如对油漆表面的划痕或对车轮轮辋、车轮、保险杠、照明装置等的损坏这样的在机动车辆结构上的损坏——进行监控和识别，并且对于汽车共享车辆的用户尤其可行。
根据本发明，该目的通过具有权利要求1的特征的方法来实现。
在从属权利要求中给出了本发明的有利改进。
根据本发明，机动车辆是由用户租用一段时间的机动车辆，并且应用软件安装在移动装置上，该应用软件就必须如何在车辆周围走动和必须使用移动装置在显示机动车辆所有侧面——即至少其前表面、后表面和侧表面——的特定位置记录图像而自动引导用户或帮助他。
在硬件方面，执行该方法的唯一要求是具有摄像机的移动智能装置——例如汽车共享参与者在任何情况下都可以随意使用的智能手机或平板电脑。汽车共享参与者可以安装由汽车共享供应商提供的供下载的用于移动装置的专用应用软件——称为app。
车辆租赁者可以在开始每次行程之前、完成车辆的使用时、车辆中的碰撞传感器检测到事故时或者车辆租赁者因怀疑有新的损坏而希望时，由应用程序引导绕过车辆，并且站在从各个方向显示车辆的特定的位置并使用移动装置或其摄像机记录图像图像。当时还可以就应该如何定向移动装置或其摄像机而对车辆租赁者进行引导。
然后从这些图像中合成车辆当前的高分辨率三维形状。然后将车辆的当前三维形状与车辆存储的参考形状进行比较以识别损坏，并且随后将识别的损坏与车辆记录的损坏进行比较。
特别地，图像处理算法识别车辆的外部损坏，并将其与先前损坏分析记录和存储在云服务器上的损坏进行比较。
车辆的当前三维形状可以是从各种摄像机位置可见的车辆表面，但另外也可以以类似的方式拍摄车辆内部，以便——例如对座椅——记录或评估其完整性或任何损坏。
车辆的三维形状的合成、与参考形状的比较以及损坏识别可以由应用程序本身来执行，或者由汽车共享供应商的计算机(图像上载到该计算机)来执行，或者通过应用程序和汽车共享供应商的计算机之间的在线合作来执行。
本发明提供了一种方法，该方法使系统地且大量地自动地识别对汽车共享车辆的损坏并——在必要的时候——自动记录它成为可能。该方法尤其可以在每次使用车辆之前和之后进行，但是如果车辆共享车辆涉及事故，也适用于现场的损坏记录。
根据本发明的方法特别适用于通常租用相对较短的旅程或时间的汽车共享车辆，但也可用于传统汽车租赁。
在优选实施例中，从不同位置记录五个或更多个图像——优选地彼此重叠，以便无缝地拍摄车辆表面。例如，五个图像可以从前面、后面、左面、右面和从上面倾斜地拍摄，但是为了实现特别好的全方位覆盖，它们也可以例如从围绕车辆彼此大致相等间隔的五个角度位置基本水平地记录。
优选地，首先在该方法的构架内执行损坏检查程序，并且在识别出损坏的情况下还执行损坏报告程序。每次识别出损坏时，可以存储机动车辆的当前三维形状以建立损坏历史，该损坏历史也可以被存储。
附图说明
图1显示了用于监控汽车共享车辆损坏的系统组件的概述。
具体实施方式
下面基于附图描述示例性实施例。该图显示了用于监控汽车共享车辆损坏的系统组件的概述。
如图1所示，损坏监控系统包括汽车共享车辆1、汽车共享车辆1的用户2和驾驶员，移动智能装置——例如用户2的智能手机3、安装在智能手机3中的摄像机4以及安装在智能手机3中并在其上运行的应用程序5。
app 5连接到控制服务器9，并被配置为引导用户2完成损坏监控程序，该程序提供两种操作模式A和B。
操作模式A是在用户2已经预订并且取得车辆1之后使用汽车共享车辆1的每次行程开始时开启的损坏检查程序，或者在预定期间每当用户2已经停放并离开车辆1之后用户2返回时开启的损坏检查程序。特别地，损坏检查程序或app 5执行以下步骤：
A.1.它警告用户2开启检查。
A.2.它激活智能手机3的摄像机4。
A.3.它要求用户2依次采用车辆1周围的四个位置，并且在每种情况下将摄像机4对准车辆1。四个位置可以在紧挨着车辆1的前面、后面、左侧和右侧。
A.4.app 5本身识别出用户2在每种情况下都到达了正确的位置，例如利用车辆1的传感器、图像处理、借助于蓝牙的相对位置、智能手机-车辆通信、车辆钥匙位置等。
A.5.每当用户2已经到达相应位置时，app 5使用例如使用智能手机3的振动或声音来通知用户2，并在必要时要求他来校正智能手机3的位置，使得摄像机4获得车辆1的合适视图。
A.6.当用户2和摄像机4的位置正确时，app 5在每一种情况下自动拍照。
A.7.图像被发送到图像处理算法6以进行损坏检查，这将在下面进一步解释。
A.8.还可以要求车顶的图像，或者可以从前四个图像重建车顶的图像。
操作模式B是通常在车辆1直接参与事故时，或者当用户2想要立即报告新的损坏时由用户2启动并且直接报告车辆1的损坏的损坏报告程序。此外，可以在车辆1停放时监控是否受到任何冲击，并且如果合适的话，可以提醒用户开始损坏报告程序。特别地，损坏报告程序或应用程序5执行以下步骤：
B.1.用户2向app 5示出了车辆的哪个区域受到影响。
B.2.应用程序5针对受影响区域执行上述步骤A.3至A.5。
B.3.应用程序5自动拍摄场景的图像。
B.4.可选地，应用程序5要求用户2在已记录的图像上标记损坏的位置，例如，通过在适当的位置触摸图像和/或将图像发送到图像处理算法6。
图像处理算法6可以是智能手机3上的app 5的一部分，或者可以在云服务器8上实现。图像处理算法6接收车辆1的记录图像，重建车辆1的3D图像，并基于该3D图像合成当前车辆1表面的多边形网格，该多边形网格表示其三维表面形状。多边形网格应该很细小，以便能够检测划痕。
损坏确定算法7将由图像处理算法6处理的当前多边形网格与参考多边形网格进行比较。参考多边形网格可以是车辆1离开装配线时的初始多边形网格，或者它可以是通过先前损坏确定记录的最新多边形网格。参考多边形网格通常存储在云服务器8上。
损坏确定算法7通过3-D形状比较确定当前多边形网格和参考多边形网格之间的差异，然后分析差异的位置，将其与存储在云服务器8上的已知损坏及其位置的列表进行比较。然后，将未在车辆1的历史数据中识别的任何损坏识别为新的损坏，并将其存储在云服务器8上。
可以通知用户2，并要求用户2确认损坏。还可以询问用户2他是否参与了这种损坏，特别是在用户2在预订期间停放并离开车辆1并且在一段时间后返回车辆之后执行损坏检查程序时。
云服务器8是汽车共享供应商的服务器，并且通常记录以下内容：车辆1的初始多边形网格、在一段时间内新创建的所有多边形网格的历史、以及所有损坏以及它们在多边形网格中的形状和位置的列表。如果修复了损坏的位置，则列表被适当地更新，例如，通过相应的记录被移除或者参考多边形网格被重置为较早的版本而没有修复的损坏。
控制服务器9协调整个系统。

Claims (9)

1.一种用于监控机动车辆(1)的损坏的方法，其中，借助于包含摄像机(4)的移动智能装置(3)记录所述机动车辆的图像，从所述图像中获得所述机动车辆的当前三维形状，然后将所述当前三维形状与存储的所述机动车辆的参考形状进行比较，以识别所述机动车辆的损坏，
其特征在于，
所述机动车辆(1)是由用户(2)租用一段时间的机动车辆，并且其中在所述移动装置(3)上安装应用软件(5)，所述应用软件(5)就所述用户必须如何在所述机动车辆周围走动以及必须在显示所述机动车辆的各个侧面的特定位置用所述移动装置记录图像而引导所述用户。
2.如权利要求1所述的方法，
其特征在于，
所述方法在汽车共享车辆(1)上进行。
3.如权利要求1或2所述的方法，
其特征在于，
所述方法至少在租赁期开始和结束时和/或此外至少在租赁期间每次所述用户(2)离开之后返回所述机动车辆(1)时执行。
4.如前述权利要求之一所述的方法，
其特征在于，
从不同位置记录所述机动车辆(1)彼此重叠的四个、五个或更多个图像。
5.如前述权利要求之一所述的方法，
其特征在于，
所述应用软件(5)还向所述用户(2)提供获取所述用户(2)在所述机动车辆(1)上确定的区域的一个或多个图像的机会，并且其中所述应用软件将由此导出的三维形状和参考形状进行比较，以便识别所述用户所承担的新产生的损坏。
6.如前述权利要求之一所述的方法，
其特征在于，
所述应用软件(5)还引导所述用户(2)记录显示所述机动车辆的车顶的图像。
7.如前述权利要求之一所述的方法，
其特征在于，
所述应用软件(5)还引导所述用户(2)记录所述机动车辆(1)的内部的至少一个图像。
8.如前述权利要求之一所述的方法，
其特征在于，
所述应用软件(5)配置为执行损坏检查程序，并在识别出损坏的情况下执行损坏报告程序。
9.如前述权利要求之一所述的方法，
其特征在于，
在每次识别出损坏时，存储所述机动车辆(1)的当前三维形状以建立损坏历史，所述损坏历史也被存储。
CN201811312064.XA 2017-11-10 2018-11-06 监控机动车辆损坏的方法 Pending CN109766740A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017220027.8A DE102017220027A1 (de) 2017-11-10 2017-11-10 Verfahren zur Schadenkontrolle bei Kraftfahrzeugen
DE102017220027.8 2017-11-10

Publications (1)

Publication Number Publication Date
CN109766740A true CN109766740A (zh) 2019-05-17

Family

ID=63878338

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811312064.XA Pending CN109766740A (zh) 2017-11-10 2018-11-06 监控机动车辆损坏的方法

Country Status (4)

Country Link
US (1) US11062437B2 (zh)
EP (1) EP3483818A1 (zh)
CN (1) CN109766740A (zh)
DE (1) DE102017220027A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022073377A1 (zh) * 2020-10-09 2022-04-14 深圳壹账通智能科技有限公司 一种车损判定方法、装置、计算机设备及可读存储介质

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921811B (zh) * 2018-04-03 2020-06-30 阿里巴巴集团控股有限公司 检测物品损伤的方法和装置、物品损伤检测器
US20230230166A1 (en) * 2018-06-15 2023-07-20 State Farm Mutual Automobile Insurance Company Methods and systems for automatic classification of a level of vehicle damage
EP3693312A1 (en) * 2018-09-27 2020-08-12 Otis Elevator Company Elevator system component analysis
US11176704B2 (en) 2019-01-22 2021-11-16 Fyusion, Inc. Object pose estimation in visual data
US10887582B2 (en) * 2019-01-22 2021-01-05 Fyusion, Inc. Object damage aggregation
US11783443B2 (en) 2019-01-22 2023-10-10 Fyusion, Inc. Extraction of standardized images from a single view or multi-view capture
GB2585004A (en) * 2019-06-24 2020-12-30 Belron Int Ltd Analysis of damage to vehicle glazing panels
GB201909578D0 (en) * 2019-07-03 2019-08-14 Ocado Innovation Ltd A damage detection apparatus and method
CN110428403B (zh) * 2019-07-22 2023-01-20 宝能汽车集团有限公司 验车方法及电子装置
US11562474B2 (en) 2020-01-16 2023-01-24 Fyusion, Inc. Mobile multi-camera multi-view capture
US11776142B2 (en) 2020-01-16 2023-10-03 Fyusion, Inc. Structuring visual data
US11461890B2 (en) * 2020-02-05 2022-10-04 Fulpruf Technology Corporation Vehicle supply chain damage tracking system
CN111666995B (zh) * 2020-05-29 2024-04-09 平安科技（深圳）有限公司 基于深度学习模型的车辆定损方法、装置、设备及介质
CN111862593B (zh) * 2020-06-03 2022-04-01 阿波罗智联(北京)科技有限公司 交通类事件的上报方法、装置、电子设备及存储介质
US20220028187A1 (en) * 2020-07-23 2022-01-27 Denso International America, Inc. Method and system of managing a vehicle abnormality of a fleet vehicle
US11605151B2 (en) 2021-03-02 2023-03-14 Fyusion, Inc. Vehicle undercarriage imaging

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020055861A1 (en) * 2000-11-08 2002-05-09 King Daniel A. Claiming system and method
US20080183535A1 (en) 2001-06-20 2008-07-31 Mordechai Kahana Method and system for inspecting rental vehicles
DE102006048578B4 (de) 2006-10-13 2010-06-17 Gerhard Witte Verfahren und Vorrichtung zum Bestimmen der Veränderung der Form eines dreidimensionalen Objektes
US10387960B2 (en) * 2012-05-24 2019-08-20 State Farm Mutual Automobile Insurance Company System and method for real-time accident documentation and claim submission
DE102012017497B3 (de) 2012-08-17 2013-12-05 Audi Ag Verkehrsanlage zum autonomen Befahren und Verfahren zum Ermitteln einer Kraftfahrzeugbeschädigung
US10748216B2 (en) * 2013-10-15 2020-08-18 Audatex North America, Inc. Mobile system for generating a damaged vehicle insurance estimate
US9361650B2 (en) * 2013-10-18 2016-06-07 State Farm Mutual Automobile Insurance Company Synchronization of vehicle sensor information
US10089396B2 (en) * 2014-07-30 2018-10-02 NthGen Software Inc. System and method of a dynamic interface for capturing vehicle data
US20170147990A1 (en) * 2015-11-23 2017-05-25 CSI Holdings I LLC Vehicle transactions using objective vehicle data
US10692050B2 (en) * 2016-04-06 2020-06-23 American International Group, Inc. Automatic assessment of damage and repair costs in vehicles
US10319094B1 (en) * 2016-05-20 2019-06-11 Ccc Information Services Inc. Technology for capturing, transmitting, and analyzing images of objects
DE202016105450U1 (de) 2016-08-24 2016-11-07 INSISTO GmbH Vorrichtung zur Inspektion von zumindest der Außenseiten von Kraftfahrzeugen

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022073377A1 (zh) * 2020-10-09 2022-04-14 深圳壹账通智能科技有限公司 一种车损判定方法、装置、计算机设备及可读存储介质

Also Published As

Publication number Publication date
US20190147583A1 (en) 2019-05-16
US11062437B2 (en) 2021-07-13
EP3483818A1 (de) 2019-05-15
DE102017220027A1 (de) 2019-05-16

Similar Documents

Publication Publication Date Title
CN109766740A (zh) 监控机动车辆损坏的方法
CN105761541B (zh) 一种自动化停车场预约取车系统与方法
EP3193320B1 (en) Method for collecting evidence of vehicle parking violation, and apparatus therefor
CA2967638C (en) System and method for detecting a vehicle event and generating review criteria
CN108128245A (zh) 车辆环境成像系统及方法
CN105580359B (zh) 预测前进道路提示装置以及预测前进道路提示方法
KR20190102665A (ko) 실세계 물체 정보를 이용한 카메라 공차 보정 시스템 및 방법
CN111976717A (zh) 一种智能泊车方法和装置
US20150302742A1 (en) Method for identifying a vehicle detected by a sensor device
CN110217187B (zh) 车辆碰撞处理方法及装置、hud设备和存储介质
JP7183950B2 (ja) 車両の撮影方法、車両の点検支援方法、車両の貸出方法、車両撮影プログラムおよび車両管理サーバ
CN112261357A (zh) 远程移车方法、装置、车辆及存储介质
CN103119932A (zh) 车载用图像处理装置
CN110816522B (zh) 车辆姿态的控制方法、设备及计算机可读存储介质
CN112339771B (zh) 一种泊车过程展示方法、装置及车辆
CA3113494A1 (en) Parking lot management system based on real-time computer vision processing
JP5720400B2 (ja) 画像処理装置及び画像処理方法
CN112363947A (zh) 车辆场景模型构建方法、设备、存储介质及装置
CN116100547A (zh) 车道机器人系统及其控制方法
CN110126830A (zh) 一种车辆启动控制方法、装置、设备及存储介质
CN108986249A (zh) 基于全景环视图像的车辆远程定损方法和系统
US11915278B2 (en) System and method for automatically detecting damages in vehicles
KR20190138497A (ko) 서비스 센터 차량 통합관리 시스템
CN113135179A (zh) 泊车检测方法、装置、设备、系统及存储介质
CN114648572A (zh) 虚拟定位方法及装置、虚拟定位系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190517