CN110574039A - 用于处理可操作工具的方法和计算机视觉系统 - Google Patents

用于处理可操作工具的方法和计算机视觉系统 Download PDF

Info

Publication number
CN110574039A
CN110574039A CN201880025316.2A CN201880025316A CN110574039A CN 110574039 A CN110574039 A CN 110574039A CN 201880025316 A CN201880025316 A CN 201880025316A CN 110574039 A CN110574039 A CN 110574039A
Authority
CN
China
Prior art keywords
electrical connector
electronic device
type
comprised
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880025316.2A
Other languages
English (en)
Other versions
CN110574039B (zh
Inventor
索兰·卡尔森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Waldronik Corp (sweden)
Original Assignee
Waldronik Corp (sweden)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Waldronik Corp (sweden) filed Critical Waldronik Corp (sweden)
Publication of CN110574039A publication Critical patent/CN110574039A/zh
Application granted granted Critical
Publication of CN110574039B publication Critical patent/CN110574039B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/432—Query formulation
    • G06F16/434—Query formulation using image data, e.g. images, photos, pictures taken by a user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/003—Repetitive work cycles; Sequence of movements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/24—Use of tools
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Details Of Connecting Devices For Male And Female Coupling (AREA)
  • Vehicle Cleaning, Maintenance, Repair, Refitting, And Outriggers (AREA)

Abstract

本发明涉及一种选择合适工具的新方法，用于处理例如与电动车接触器有关的可操作工具。本发明还涉及相应的系统和计算机程序产品。

Description

用于处理可操作工具的方法和计算机视觉系统
技术领域
本发明涉及一种选择合适工具的新方法，用于处理例如与电动车接触器有关的可操作工具。本发明还涉及相应的系统和计算机程序产品。
背景技术
在许多工业领域，例如汽车、飞机和电器，使用大量可拆卸连接的电连接器已变得非常普遍。通常，其断开功能采用一对连接端子的形式，其中公、母端子触点的排列方式使得它们可以伸缩接合和断开。
连接端子通常包括电介质或绝缘材料的支撑体，以支撑和承载多个端子引脚或连接柱。支撑体设有与引脚或连接柱相接的通孔。用于将引脚或连接柱保持在支撑体的相关开口中的最实用和广泛使用的方法包括在支撑体中的开口中设置止动凸缘、将引脚或连接柱上的配合止挡肩与止动凸缘的一侧接合和将引脚上的可膨胀元件与止动凸缘的另一侧接合。
由于部件之间的这种关系，将这些引脚或连接柱从它们的载体上移除通常不可能不损坏其载体，或不可能不借助于特别构造的可插入通常在引脚和与其接合的开口的壁之间的环隙中，并折叠或压缩可膨胀元件，从而使引脚可以被移除的移除工具。
随着汽车工业的不断发展和对小型化的日益增长的兴趣，新的甚至更先进的电连接器被不断开发出来，例如，适用于不同的车型和不同的制造商的电连接器。
因此，即使对于有经验的维修工程师来说，也几乎不可能知道要选择和使用哪些拆卸工具以确保电触点不被损坏。
因此，在协助例如维修工程师选择和使用正确的工具以拆卸上述电连接器所含端子的引脚或连接柱的过程中似乎具有提升空间。
发明内容
根据本发明的一个方面，因此提供了一种处理适于移除汽车电连接器包括的端子引脚或连接柱的可操作工具的方法；该方法包括以下步骤：使用第一电子设备包括的照相机获取电连接器的图像或视频，应用适用于确定电连接器类型的计算机执行的机器视觉识别过程，其中电连接器的类型从多个预定类型的电连接器中选择；使用第一电子设备所包括的显示屏显示与机器视觉识别过程的结果有关的关于所识别的电连接器类型的信息，从而形成用于所述被识别类型的电连接器的图形指令；并使用第一电子设备所包括的显示屏为用户显示用于操纵用于移除所述电连接器所包括的端子引脚或连接柱的适当工具的图形指令。
本发明基于以下是有益的之认识：使用包括照相机和计算机执行的机器视觉识别过程的电子设备，以帮助例如维修工程师识别其所需要处理的电连接器的类型，并且在同一时间为维修工程师提供一个包括与要使用哪种工具以及如何使用该工具去除所述电连接器中的引脚或连接柱有关的信息的图形指令。因此，本发明将以自动化的方式提供用户/维修工程师完成引脚或连接柱移除任务所需的足够信息，从而使具有不同类型的电连接器的“丰富的先验知识”成为非必要条件。
在本发明的一个可能的实施例中，图形指令的形成包括选择多个预定图形指令中的一个。因此，在一些实施例中，第一电子设备可能包括先前存储的图形指令，该过程是基于计算机执行的机器视觉识别过程的结果来选择的。然而，图形指令也可以，作为替代方案，从另一信息源请求，例如从远程数据库请求。
优选地，图形指令包括指示用户处理可操作工具图像和视频序列中的至少一个。图形指令可能包括例如，用于说明选择什么移除工具以及如何使用该特定工具移除与电连接器连接的引脚或连接柱的图像和图解的组合。
在本发明的一个实施例中，计算机视觉系统还适于从所拍摄的连接器的图像或视频中确定可识别的电连接器特征，并将所确定的可识别特征与预先存储在数据库中的电连接器特征进行比较。在一些实施例中，确定和比较过程可以包括机器学习组件，例如专门针对汽车工业的电连接器进行训练的组件；在下面对本发明的详细描述中将进一步阐述所述确定和比较过程。
在本发明的一个可能实施例中，第二电子设备是云服务器，通常使用网络连接，例如因特网，连接到第一电子设备；所述措辞“云服务器”应该被广义地解释和理解为包括使用网络连接连接到第一电子设备的任何类型的远程(例如“异地”)服务器。在一些实施例中，与第一电子设备相比，这样的服务器可以被配置有更大的计算能力，由此，与由第一电子设备执行的处理相比，其可以更快地执行对用于确定电连接器类型的可识别的电连接器特征的处理。
然而，应当理解，在一些实施例中，可能需要使用例如第一电子设备所包括的控制单元来执行可识别的电连接器特征的处理；如本领域技术人员将容易理解的那样，这种实现在某些情况下可能是有利的，因为这将消除将第一电子设备连接到例如因特网的直接必要性；因此，第一电子设备可以作为独立设备工作，且在缺少因特网连接的情况下仍然可以工作。
根据本发明的一个方面，还提供一种适于协助处理适于移除汽车电连接器所包括的端子引脚或连接柱的可操作工具的计算机视觉系统，其中计算机视觉系统包括第一电子设备，且第一电子设备包括照相机、显示屏和控制单元；其中计算机视觉系统被设置为适于使用第一电子设备所包括的照相机来获取电连接器的图像或视频，应用适于确定电连接器的类型的计算机执行的机器视觉识别过程；其中所述电连接器的类型从多个预定类型的电连接器中被选择；使用第一电子设备所包括的显示屏显示与机器视觉识别过程关于c型电连接器的被识别类型的结果有关的信息；形成用于所识别的电连接器类型的图形指令；并使用第一电子设备所包括的显示屏来为用户显示用于处理用于移除所述电连接器包括的端子引脚或连接柱的可操作工具的图形指令。本发明的这一方面提供了与如上文所讨论的本发明的前几个方面类似的优点。
有利地是，第一电子设备是手持电子设备，例如移动电话或平板电脑；因此，维修工程师可以使用例如他的移动电话或平板电脑通常包括的照相机来获取电连接器的图像或视频。
相应地，在本发明的一些实施例中，移动电话或平板电脑通常包括用于显示机器视觉识别过程的结果(即识别出的电连接器类型)以及用于移除电连接器包括的端子引脚或连接柱的图形指令的显示屏。
根据本发明的另一方面，提供了一种计算机程序产品，其包括存储有用于控制计算机视觉系统的计算机程序的非暂时性计算机可读介质，且所述计算机视觉系统被设置为适于协助处理适于用于移除汽车电连接器包括的端子引脚或连接柱的可操作工具；其中计算机视觉系统包括第一电子设备，且第一电子设备包括照相机、显示屏和控制单元；其中计算机程序产品包括用于通过使用第一电子设备包括的照相机，从而获取电连接器的图像或视频的代码，以及用于应用适于确定电连接器类型的计算机执行的机器视觉识别过程的代码，其中所述电连接器类型从多个预定类型的电连接器中选择，以及用于使用第一电子设备包括的显示屏显示与机器视觉识别过程关于c型电连接器的被识别类型的结果有关的信息的代码，以及用于形成所识别的电连接器类型的图形指令的代码；以及用于使用第一电子设备包括的显示屏为用户显示用于处理用于移除所述电连接器包括的端子引脚或连接柱的可操作工具的图形指令的代码。此外，本发明的这一方面提供了与上文所讨论的本发明的先前方面类似的优点。
由服务器执行以根据本发明进行操作的软件可以存储在计算机可读介质上，该计算机可读介质可以是任何类型的存储设备，包括可移动非易失性随机存取存储器、硬盘驱动器、软盘、CD-ROM、DVD-ROM、USB存储器、SD存储卡中的一个，或本领域已知的类似计算机可读介质。
综上所述，本发明通常涉及一种选择用于操纵与例如电动车接触器有关的适当工具的合适工具的新方法；本发明还涉及相应的系统和计算机程序产品。
在研究所附权利要求和以下描述时，本发明的进一步特征和优点将变得显而易见；本领域技术人员认识到，在不脱离本发明的范围的情况下，可以结合本发明的不同特征来创建不同于以下描述的实施例。
附图说明
通过以下详细描述和附图，将容易地理解本发明的各个方面，包括其特定特征和优点，其中：
图1从概念上示出了根据本发明的当前优选实施例的计算机视觉系统的操作过程；
图2A–2D举例说明了为用户提供的使用手持电子设备移除引脚或连接柱的一组图形说明的示例；以及
图3为示出根据本发明的方法的执行步骤的流程图。
具体实施方式
下面将参照附图更全面地描述本发明，附图中示出了本发明的当前优选实施例。然而，本发明可以以许多不同的形式体现，并且不应被解释为仅限于本文所述的实施例；相反，这些实施例是为了彻底性和完整性而提供的，并且将本发明的范围完全传达给技术人员。全文中，相同的参考字符表示相同的含义。
现在转向附图，如图1所示的计算机视觉系统100的概念性图示，其被设置为适于协助处理适于移除汽车电气连接器所包括的端子引脚或连接柱的适当工具。示例性计算机视觉系统100包括例如诸如移动电话或平板电脑的手持电子设备的第一电子设备102。第一电子设备102依次包括控制单元104、照相机106和显示屏106。所述照相机106和显示屏106被布置为与控制单元104通信。
优选地并且对于本领域技术人员来说显而易见的是，如图1所示的第一电子设备102还包括用于WLAN/Wi-Fi通信和/或用于电信通信的装置。当然，进一步的硬件元件可能包含在第一电子设备中。还应注意，本发明可适用于任何其他类型的第一电子设备，例如智能手表、笔记本电脑或任何其他类型的当前或未来类似配置的设备。
此外，所述控制单元104可以包括微处理器、微控制器、可编程数字信号处理器或另一可编程设备。每个控制单元104也可以，或替代地，包括专用集成电路、可编程门阵列或可编程阵列逻辑、可编程逻辑设备或数字信号处理器。如果控制单元104包括例如上述微处理器、微控制器或可编程数字信号处理器的可编程设备，则所述处理器还可以包括用于控制可编程设备的运算的计算机可执行代码。
除上述之外，在一些实施例中(如图1所示)，计算机视觉系统100还可以包括例如使用诸如因特网112的网络连接到第一电子设备102的第二电子设备110，并允许第一电子设备102与例如远程定位的第二电子设备110通信和交换信息。在一些实施例中，第二电子设备110可以包括连接有远程数据库116的服务器114。所述服务器/数据库114/116可以例如被实现为所谓的云服务器。然而，应当注意，对于本发明，第二电子设备110的设置是选择性的，因此计算机视觉系统100可以仅包括第一电子设备102及其包含的组件(作为例如独立单元工作)。备选地，第二电子设备110可以布置在系统内，例如，布置在与第一电子设备102所在/使用的位置相同的位置。
现在转向图2A–2D，其示出了操作计算机视觉系统100的示例。具体地，在图2A中，示出了用户/维修工程师使用平板200(定义为第一电子设备102)。例如，在平板200处执行包括图形用户界面(GUI)的应用(App)，且该图形用户界面被设置为适于指示用户/维修工程师使用平板200包括的照相机拍摄汽车电气连接器202的图像或视频。
如上所述，所述电连接器202包括电介质或绝缘材料的支撑体，并且被设置为适于支撑/携带多个端子引脚或连接柱204。所述多个端子引脚或连接柱204可拆卸地装配在主体内，并且可以使用专门设计的拆卸工具206从主体中取出或移除(如图2C所示)。
一旦获取了电连接器202的图像/影像，就对电连接器202的图像/影像进行处理，以确定可在识别过程中使用的电连接器特定特征。这些特征可以是电连接器208的宽度和高度之间的尺寸关系、电连接器202包括的端子引脚或连接柱204的关系和/或数量等。电连接器的特定特征可以在一个实施例中使用平板200来确定，或者可以替代地在另一实施例中，使用服务器114来确定。当然，可以允许在平板200处进行部分测定，并在服务器114处进行另一部分测定。
在如图2B所示出的实施例中，所述服务器114将机器视觉识别过程应用于电连接器的特定特征，以确定用户已经拍摄了何种类型的电连接器202的图像/影像。在本发明的一些实施例中，机器视觉识别过程可以至少部分地包括用于确定电连接器202的类型的机器学习过程。应当理解，机器学习过程可以是无监督的机器学习过程，也可以是有监督的机器学习过程。所述机器学习过程通常可以使用先前存储的与多个不同电连接器相关的训练数据的集合来比较和确定电连接器的类型。此外，还可以选择地使用卷积神经网络(CNN)和递归神经网络(RNN)中的至少一个(例如长短期记忆(LSTM)神经网络)来确定电连接器的类型。训练数据通常是先前通过获取多种类型电连接器的图像/影像的先前过程而获得的。
一旦如上文所讨论的由服务器114，或者替换地使用由所述应用程序(或它们的组合)实现的机器视觉识别过程确定了电连接器的类型，它的结果如图2C所示显示在平板200处提供的GUI内。所述结果可以包括例如用于电连接器202的识别码208。此外，基于所确定的电连接器202的类型形成图形指令210，其包括向用户/维修工程师提供的关于选择何种类型的移除工具206以及如何使用所选择的移除工具206成功移除电连接器202包括的引脚或连接柱204的信息。在一个实施例中，该指令基于先前存储在数据库116中的信息形成，并随后被传输到平板200。
所述指令210显示在平板200的显示器内提供的GUI内，包括例如用于指示用户/维修工程师如何使用所选择的移除工具206的文本和视频序列。在图2D中，示出了如何从电连接器202成功地移除电连接器202包括的引脚或连接柱204。
综上所述，并参考图3，本发明涉及一种处理适于移除汽车电气连接器202包括的端子引脚或连接柱204的适当工具206的方法，包括步骤S1，使用第一电子设备102包括的照相机106获取电连接器202的图像/视频；步骤S2，适于确定电连接器202的类型的计算机执行的机器视觉识别过程，其中电连接器202的类型从多个预定类型的电连接器中选择；步骤S3，使用第一电子设备102包括的显示屏108显示与机器视觉识别过程的结果有关的、涉及被识别出的电连接器202类型的信息；步骤S4，形成被识别类型的电连接器208的图形指令210；步骤S5，以及使用第一电子设备102包括的显示屏108为用户显示用于处理用于移除电连接器202包括的引脚或连接柱204适当工具206的图形指令210。
通过本发明，可以迅速向例如维修工程师提供关于选择何种拆卸工具以及如何使用所选择的拆卸工具成功拆卸电连接器包括的引脚或连接柱的明确指示。具体而言，本发明将以自动化方式为维修工程师提供完成引脚/连接柱移除工作所需的充足信息。
本发明的控制功能可以使用现有的计算机处理器来实现，或者由用于该系统或另一目的的适当系统的专用计算机处理器来实现，或由硬线系统实现。本发明范围内的实施例包括程序产品，其包括用于承载或具有存储机器可执行指令或数据结构功能的机器可读介质。这种机器可读介质可以是可由通用或专用计算机或具有处理器的其他机器访问的任何可用介质。举例来说，这种机器可读介质可以包括RAM、ROM、EPROM、EEPROM、CD-ROM或其他光盘存储器、磁盘存储器或其他磁存储设备，或任何可用于以机器可执行指令或数据结构的形式携带或存储所需的程序代码，并且可被通用或专用计算机或其他带有处理器的机器访问的其他介质。当信息通过网络或其他通信连接(硬接线、无线或硬接线或无线的组合)传输或提供给机器时，所述机器将该连接正确地视为机器可读介质。因此，任何这样的连接都可以被称为机器可读介质。上述介质的组合也包括在机器可读介质的范围内。机器可执行指令包括例如使通用计算机、专用计算机或专用处理机器执行某一功能或一组功能的指令和数据。
尽管图中可能示出了顺序，但步骤的顺序可能与所描绘的不同。两个或多个步骤也可以同时或部分并发地执行。这种变化将取决于软件和硬件系统的选择和设计师的选择。所有这些变化都在本发明的范围内。同样，软件实现可以用基于规则的逻辑和其他逻辑的标准编程技术来完成，以完成各种连接步骤、处理步骤、比较步骤和决策步骤。另外，即使已经参考其具体的示例性实施例来描述本公开，对于本领域技术人员来说，许多不同的改变、修改等将变得显而易见。
此外，在实践本发明的权利要求时，通过对附图、发明内容和所附权利要求的研究，本领域技术人员可以理解和影响对所公开的实施例的变化。此外，在权利要求中，“包括”一词不排除其他元素或步骤，未加定冠词“a”或“an”的名词不排除它们指代个体的复数形式。

Claims (17)

1.一种处理适于移除汽车电连接器包括的端子引脚或连接柱的可操作工具的方法；其特征在于该方法包括以下步骤：
-使用第一电子设备包括的照相机获取电连接器的图像或视频；
-应用适于确定电连接器类型的计算机执行的机器视觉识别过程，其中电连接器的类型从多个预定类型的电连接器中选择；
-使用第一电子设备所包括的显示屏显示与机器视觉识别过程的结果有关的关于所识别的电连接器类型的信息，
-形成用于所述被识别类型的电连接器的图形指令；以及
-使用第一电子设备所包括的显示屏为用户显示用于处理用于移除所述电连接器所包括的端子引脚或连接柱的可操作工具的图形指令。
2.根据权利要求1所述的方法，其特征在于形成图形指令的步骤包括选择多个预定图形指令中的一个。
3.根据权利要求1和2任一所述的方法，其特征在于图形指令包括指示用户处理可操作工具的图像和视频序列中的至少一个。
4.根据前述任一权利要求所述的方法，其特征在于应用机器视觉识别过程的步骤包括步骤：
-从所拍摄的连接器的图像或视频中确定可识别的电连接器特征；
-将所确定的可识别特征与预先存储在数据库中的电连接器特征进行比较。
5.根据前述任一权利要求所述的方法，其特征在于机器视觉识别过程包括机器学习组件。
6.根据前述任一权利要求所述的方法，其特征在于机器视觉识别过程包括确定电连接器类别。
7.根据权利要求4所述的方法，其特征在于可识别的电连接器特征的确定采用第一电子设备所包括的控制单元来执行。
8.根据权利要求4-7任一所述的方法，其特征在于进一步包括步骤：
-采用第二电子设备为确定电连接器的类型处理可识别的电连接特征，其中，第一电子设备和第二电子设备采用网络连接。
9.根据权利要求8所述的方法，其特征在于第二电子设备是云服务器。
10.根据权利要求8和9任一所述的方法，其特征在于进一步包括步骤：
-在第二电子设备接收可设备的电连接器特征，以及
-从第二电子设备到第一电子设备传输与识别的电连接器类型有关的信息。
11.根据权利要求4-7任一所述的方法，其特征在于采用第一电子设备所包括的控制单元为确定电连接器的类型处理可识别的电连接特征。
12.一种适于协助处理适于移除汽车电连接器所包括的端子引脚或连接柱的可操作工具的计算机视觉系统，其特征在于所述计算机视觉系统包括第一电子设备，第一电子设备包括被布置为可相互通信的照相机、显示屏和控制单元；其中计算机视觉系统被设置为适于：
-使用第一电子设备所包括的照相机来获取电连接器的图像或视频，
-应用适于确定电连接器的类型的计算机执行的机器视觉识别过程，其中所述电连接器的类型从多个预定类型的电连接器中被选择；
-使用第一电子设备所包括的显示屏显示与机器视觉识别过程关于c型电连接器的被识别类型的结果有关的信息；
-形成用于所识别的电连接器类型的图形指令；并且
-使用第一电子设备所包括的显示屏来为用户显示用于处理用于移除所述电连接器包括的端子引脚或连接柱的可操作工具的图形指令。
13.根据权利要求12所述的计算机视觉系统，其特征在于第一电子设备是手持电子设备。
14.根据权利要求12和13任一所述的计算机视觉系统，其特征在于所述计算机视觉系统进一步被设置为适于：
-从所拍摄的连接器的图像或视频中确定可识别的电连接器特征；
-将所确定的可识别特征与预先存储在数据库中的电连接器特征进行比较。
15.根据权利要求14所述的计算机视觉系统，其特征在于所述计算机视觉系统进一步被设置为适于：
-采用第二电子设备为确定电连接器的类型处理可识别的电连接特征，其中，第一电子设备和第二电子设备采用网络连接。
16.根据权利要求15所述的计算机视觉系统，其特征在于第二电子设备是云服务器。
17.一种计算机程序产品，其特征在于包括存储有用于控制计算机视觉系统的计算机程序的非暂时性计算机可读介质，且所述计算机视觉系统被设置为适于协助处理适于用于移除汽车电连接器包括的端子引脚或连接柱的可操作工具；其中计算机视觉系统包括第一电子设备，且第一电子设备包括被布置为互相通信的照相机、显示屏和控制单元；其中计算机程序产品包括：
-用于通过使用第一电子设备包括的照相机，从而获取电连接器的图像或视频的代码；
-用于应用适于确定电连接器类型的计算机执行的机器视觉识别过程的代码，其中所述电连接器类型从多个预定类型的电连接器中选择；
-用于使用第一电子设备包括的显示屏显示与机器视觉识别过程关于c型电连接器的被识别类型的结果有关的信息的代码；
-用于形成所识别的电连接器类型的图形指令的代码；以及
-用于使用第一电子设备包括的显示屏为用户显示用于处理用于移除所述电连接器包括的端子引脚或连接柱的可操作工具的图形指令的代码。
CN201880025316.2A 2017-04-20 2018-04-19 用于处理可操作工具的方法和计算机视觉系统 Active CN110574039B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
SE1750463-0 2017-04-20
SE1750463A SE1750463A1 (en) 2017-04-20 2017-04-20 Method and computer vision system for handling of an operable tool
PCT/SE2018/050395 WO2018194508A1 (en) 2017-04-20 2018-04-19 Method and computer vision system for handling of an operable tool

Publications (2)

Publication Number Publication Date
CN110574039A true CN110574039A (zh) 2019-12-13
CN110574039B CN110574039B (zh) 2023-06-23

Family

ID=63856730

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880025316.2A Active CN110574039B (zh) 2017-04-20 2018-04-19 用于处理可操作工具的方法和计算机视觉系统

Country Status (5)

Country Link
US (1) US10964052B2 (zh)
EP (1) EP3612983B1 (zh)
CN (1) CN110574039B (zh)
SE (1) SE1750463A1 (zh)
WO (1) WO2018194508A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11295135B2 (en) * 2020-05-29 2022-04-05 Corning Research & Development Corporation Asset tracking of communication equipment via mixed reality based labeling
US11374808B2 (en) 2020-05-29 2022-06-28 Corning Research & Development Corporation Automated logging of patching operations via mixed reality based labeling

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030120714A1 (en) * 2001-12-26 2003-06-26 Wolff Robert A. Human/machine interface for a machine vision sensor and method for installing and operating the same
US20030163219A1 (en) * 2001-12-21 2003-08-28 Flesher Robert W. Method and system for interactive manufacturing, assembly and testing
US20030188424A1 (en) * 2002-04-04 2003-10-09 International Business Machines Corporation Back side pin removal tool
US20060240862A1 (en) * 2004-02-20 2006-10-26 Hartmut Neven Mobile image-based information retrieval system
WO2014186840A1 (en) * 2013-05-21 2014-11-27 Fmp Group (Australia) Pty Limited Image recognition of vehicle parts

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4351692A (en) * 1981-01-07 1982-09-28 Ouellette Machinery Systems Apparatus and method for automatically filling and heat weld sealing lengths of plastic tubing
JP4231651B2 (ja) * 2002-03-05 2009-03-04 第一電子工業株式会社 電気コネクタ
US6568070B1 (en) * 2002-04-04 2003-05-27 International Business Machines Corporation Front side single pin extraction tool
US7249875B1 (en) * 2005-04-15 2007-07-31 Baja Designs, Inc. Off-road accessory light rack
EP1739572A1 (en) 2005-07-01 2007-01-03 Bayerische Motoren Werke Aktiengesellschaft A method of generating a graphical manual
US8860760B2 (en) 2010-09-25 2014-10-14 Teledyne Scientific & Imaging, Llc Augmented reality (AR) system and method for tracking parts and visually cueing a user to identify and locate parts in a scene
CN102541414A (zh) * 2010-12-28 2012-07-04 英华达（上海）科技有限公司 一种能自动切换操作模式的移动终端装置
US9267969B2 (en) * 2013-11-13 2016-02-23 Hamilton Sundstrand Corporation Electrical connector pin cover
US10887127B2 (en) * 2015-10-30 2021-01-05 Faraday & Future Inc. CAN listen only configuration for safety critical systems

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030163219A1 (en) * 2001-12-21 2003-08-28 Flesher Robert W. Method and system for interactive manufacturing, assembly and testing
US20030120714A1 (en) * 2001-12-26 2003-06-26 Wolff Robert A. Human/machine interface for a machine vision sensor and method for installing and operating the same
US20030188424A1 (en) * 2002-04-04 2003-10-09 International Business Machines Corporation Back side pin removal tool
US20060240862A1 (en) * 2004-02-20 2006-10-26 Hartmut Neven Mobile image-based information retrieval system
WO2014186840A1 (en) * 2013-05-21 2014-11-27 Fmp Group (Australia) Pty Limited Image recognition of vehicle parts

Also Published As

Publication number Publication date
EP3612983A1 (en) 2020-02-26
US10964052B2 (en) 2021-03-30
US20200051275A1 (en) 2020-02-13
SE1750463A1 (en) 2018-10-21
EP3612983B1 (en) 2024-06-05
CN110574039B (zh) 2023-06-23
EP3612983A4 (en) 2021-01-13
WO2018194508A1 (en) 2018-10-25

Similar Documents

Publication Publication Date Title
EP3506200B1 (en) Image segmentation method, apparatus, and fully convolutional network system
CN109002820B (zh) 一种车牌识别方法、装置及相关设备
CN110574039B (zh) 用于处理可操作工具的方法和计算机视觉系统
EP3723000A1 (en) Object recognition system and object regognition method
CN112766045A (zh) 场景变化检测方法、系统、电子装置及存储介质
JP7306933B2 (ja) 画像判定装置、画像検査装置、および画像判定方法
US20180061153A1 (en) Information providing system of vehicle
CN106202359B (zh) 拍照搜题的方法及装置
CN113486739B (zh) 螺钉检测方法、装置、电子设备和存储介质
CN114170543A (zh) 数据处理方法、装置、计算机设备及计算机可读存储介质
CN114511696A (zh) 控件定位方法、装置、电子设备及可读存储介质
CN113313666A (zh) 使用增强现实帮助设备安装
US11551379B2 (en) Learning template representation libraries
CN107077270B (zh) 控制方法、控制装置及智能眼镜
CN115526859A (zh) 生产缺陷识别的方法、分布式处理平台、设备及存储介质
CN104318251A (zh) 一种相片实时处理方法和装置
CN111709404B (zh) 一种机房遗留物识别方法、系统以及设备
CN114936637A (zh) 神经网络训练方法及装置
JP6760187B2 (ja) Ｈｍｉ画面試験装置
US20210111528A1 (en) Method and system for forming an adapter for an electrical connector for a vehicle using a 3d printer
WO2016204945A1 (en) Probabilistic color classification
CN108802512B (zh) 一种配电系统测试方法及装置
CN112529829A (zh) 一种毛刺定位、毛刺检测模型的训练方法及装置
CN110622498B (zh) 拍照构图方法、装置及电子设备
EP4170600A1 (en) Information processing apparatus, method of controlling information processing apparatus, and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Soran Carlson

Inventor after: Christoph Weber

Inventor before: Soran Carlson

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant