CN104488023B - 具有服务信息的增强现实虚拟汽车x射线 - Google Patents

具有服务信息的增强现实虚拟汽车x射线 Download PDF

Info

Publication number
CN104488023B
CN104488023B CN201380036623.8A CN201380036623A CN104488023B CN 104488023 B CN104488023 B CN 104488023B CN 201380036623 A CN201380036623 A CN 201380036623A CN 104488023 B CN104488023 B CN 104488023B
Authority
CN
China
Prior art keywords
instrument
information
image
orientation
described image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380036623.8A
Other languages
English (en)
Other versions
CN104488023A (zh
Inventor
D·舒马克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bosch Automotive Service Solutions Inc
Original Assignee
Bosch Automotive Service Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bosch Automotive Service Solutions Inc filed Critical Bosch Automotive Service Solutions Inc
Publication of CN104488023A publication Critical patent/CN104488023A/zh
Application granted granted Critical
Publication of CN104488023B publication Critical patent/CN104488023B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Vehicle Cleaning, Maintenance, Repair, Refitting, And Outriggers (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明描述了用于为用户提供关于与工具相对于特定的物体的位置和取向相关的所述物体的信息的工具，所述工具包括图像采集装置，所述图像采集装置被配置为采集所述物体的图像。所述工具还包括：位置和取向传感器，其被配置为确定所述工具相对于所述物体的位置；处理器，其被配置为根据所述图像确定所述物体的类型；显示器，其被配置为显示所述物体的所述图像，所述显示器还被配置为响应于对所述物体的类型的确定而显示除了所述物体的所述图像之外的额外信息；并且所述处理器还被配置为确定所述传感器和所述工具的所述位置和所述取向的其中之一的变化，并且所述处理器还被配置为修改所述显示。

Description

具有服务信息的增强现实虚拟汽车X射线
相关申请的交叉引用
本申请要求享有于2012年5月29日提交的美国临时申请No.61/645941和2013年3月15日提交的美国专利申请No.13/840850的优先权的权益，由此出于所有目的而通过引用的方式将这两个申请的全部内容并入本文中，如同在本文中进行完整阐述一样。
技术领域
本发明涉及为服务技术人员提供增强现实服务信息的过程、系统和装置，并且具体而言，本发明涉及提供车辆等的部件的内部和外部配置、原理图和细节的增强现实服务信息。
背景技术
当前，出于维修的目的，服务技术人员必须使用硬拷贝示意图或基于计算机的示意图来示意性地查看车辆的各个内部方面。当前，不存在为服务技术人员提供如下能力的解决方案：相对于车辆来移动计算机并且结合计算机相对于车辆的位置来改变原理图和示意图。此外，不存在为服务技术人员提供如下能力的解决方案：相对于车辆来移动计算机并且结合计算机相对于车辆的位置来改变原理图和示意图以使它们叠加在计算机中所示的车辆图像之上。
因此，需要可以响应于计算机相对于车辆的移动来提供原理图和示意图以改进维修过程的计算机。
发明内容
前述需求在很大程度上由本发明来满足，本发明具有用于实施计算机系统以响应于计算机的移动来提供原理图和示意图的方法和系统。
在一个方面中，用于为用户提供关于与工具相对于特定的物体的位置和取向相关的物体的信息的工具包括：图像采集装置，其被配置为采集物体的图像；位置和取向传感器，其被配置为确定工具相对于物体的位置；处理器，其被配置为根据图像确定物体类型；显示器，其被配置为显示物体的图像，显示器还被配置为响应于对物体类型的确定而显示除了物体的图像之外的额外信息，并且处理器还被配置为确定传感器与工具的位置和取向的其中之一的变化，并且处理器还被配置为响应于对位置和取向的其中之一的变化的确定来修改显示，以显示除了物体的图像之外的额外信息。
在另一个方面中，用于操作为用户提供关于与工具相对于特定的物体的位置和取向相关的物体的信息的工具的方法包括：采集物体的图像；感测位置和取向，以确定工具相对于物体的位置；根据图像确定物体的类型；显示物体的图像；响应于对物体类型的确定而显示除了物体图像之外的额外信息；以及确定工具的位置和取向的其中之一的变化，并且进一步响应于对位置和取向的其中之一的变化的确定而显示除了物体图像之外的额外信息。
在又一个方面中，存储用于为用户提供关于与工具相对于特定的物体的位置和取向相关的物体的信息的工具的计算机可执行指令的有形存储介质装置包括：用于采集物体图像的指令；用于感测位置和取向以确定工具相对于物体的位置的指令；用于根据图像确定物体的类型的指令；用于显示物体图像的指令；用于响应于对物体类型的确定而显示除了物体图像之外的额外信息的指令；以及用于确定工具的位置和取向的其中之一的变化并且进一步响应于对位置和取向的其中之一的变化的确定而显示除了物体图像之外的额外信息的指令。
因此相当宽泛地概述了本发明的特定方面，以便可以更好地理解本文中的本发明的具体实施方式，并且以便可以更好地领会本发明对现有技术的贡献。当然，下文将描述本发明的附加的方面，这将形成所附权利要求的主题内容。
就此而言，在详细解释本发明的至少一个方面之前，要理解本发明在其应用方面并不限于以下描述中阐述或在以下附图中示出的构造的细节和部件的布置。本发明能够具有所描述的那些方面之外的方面并且能够通过各种方式来实践或执行。同样，要理解本文中所采用的措辞和术语以及摘要是出于描述的目的并且不应被视为进行限制。
像这样，本领域的技术人员将认识到，本公开内容所基于的概念可以容易被用作设计用于执行本发明的一些目的的其它结构、方法和系统的基础。因此，重要的是将权利要求视为包括这种等价构造，只要它们不脱离本发明的精神和范围。
附图说明
图1示出了根据本发明构造的工具的前侧。
图2示出了根据本发明构造的工具的后侧。
图3是根据本发明的一方面的工具的部件的方框图。
图4示出了如本发明的一方面所显示的车辆的内部部件的示例性显示。
图5示出了根据本发明的一方面的显示与车辆相关的数据图像的过程的流程图。
图6示出了根据本发明的一方面的用于使车辆的选择自动化的过程的流程图。
具体实施方式
在本说明书中提及“一个方面”、“一方面”、“其它方面”、“一个或多个方面”等表示结合该方面描述的特定特征、结构或特性包括在本公开内容的至少一个方面中。例如在说明书的各处出现的术语“在一个方面中”不一定全部指定同一方面，也不一定指代与其它方面互斥的独立或替代的方面。此外，描述了可以由一些方面呈现而不由其它方面呈现的各种特征。类似地，描述了可能是一些方面的要求而非其它方面的要求的各种要求。
图1示出了根据本发明构造的工具的前侧；并且图2示出了根据本发明构造的工具的后侧。具体而言，根据本发明的一方面的工具100包括外壳101和显示器102。显示器102可以是任何类型的显示器，包括LCD、LED、VGA、OLED、SVGA和可以包括触摸感应屏幕显示器的其它类型的显示器。显示器102可以是彩色的、非彩色的(例如灰度)或二者的组合。显示器102可以显示信息，例如工具100可以诊断的车辆的制造、型号、年份、工具100可以运行的各种诊断测试、工具100接收的诊断数据、车辆中的各种部件的基线数据、零件图像、零件信息和来自远程服务器(因特网、数据库信息等)的信息。另外，显示器102可以为技术人员显示视频以进行查看，并且可以经由内置扬声器114来听到伴随的音频。扬声器114可以是单个扬声器或用于立体声的多个扬声器。功能按钮118可以被布置在外壳101上并且提供不同的输入功能。另外，电源按钮108可以被布置在外壳上并且可以操作用于打开或关闭工具100。在一个实施例中，显示器102允许技术人员通过触摸屏输入选择以进行交互式导航和选择，其中技术人员可以通过触摸屏幕上的选择来选择菜单项。可以在如图1中所示的工具100中实施系统。具体而言，工具100可以是个人计算机、平板计算机、膝上计算机、智能电话、iPad、上网本等。
根据本发明的一个方面，可以将照相机401并入或耦合到图1和2的工具100。具体而言，照相机401记录静止图像或视频。照相机401包括镜头或需要数量的镜头、以及闪光灯116。镜头缩放和聚焦特征也可以包括在工具100中并且可以通过工具100或照相机401上的软件来进行数字增强。
在一个方面中，技术人员可以使用照相机401来采集车辆的图片。诊断工具上存储的或远程存储的图像数据库412可以用于通过使用图像识别软件来识别车辆。图像数据库可以包含车辆的图像。车辆的特定部分(识别点和测量值)或整个轮廓可以用于将车辆与图像数据库中存储的车辆图像进行比较。图像识别软件可以使用车辆的各种特性进行搜索。这些特性包括车辆的测量值、车辆的表面特性等。一旦搜索识别出车辆，就可以在工具100的显示器102上显示与车辆相关的信息，用于由技术人员来验证。
在另一个方面中，技术人员可以使用照相机401来获得故障零件的图片。诊断工具上存储的或远程存储的图像数据库412可以用于使用图像识别软件来识别零件。图像数据库可以包含零件的图像或诸如条形码信息等的其它信息。零件的特定部分(识别点和测量值)或整个轮廓可以用于将零件与零件图像数据库中存储的车辆或装置的零件的图像进行比较。图像识别软件可以使用零件的各种特性进行搜索。这些特性包括零件、线路、(多个)颜色、对比度(零件与车辆的背景对比)的测量值、零件的表面特性等。
一旦搜索识别出零件和/或车辆，就可以在工具100的显示器102上显示与零件和/或车辆相关的信息，用于由技术人员来验证。信息可以包括零件号码、关于如何移除和置换零件的示意图、关于零件位于车辆上何处的示意图、零件手册、关于零件的说明书、保修信息、OEM(原始设备制造商)等效零件等。一旦正确识别，就可以检索诸如零件可用性、价格、位置等的额外信息。信息还可以包括关于车辆的示意图、用于车辆的手册、关于车辆的说明书、保修信息等。
图3是根据本发明的一方面的工具400的部件的方框图。在图3中，根据本发明的一方面的工具400包括照相机401、处理器402、显示器102、触摸屏和/或小键盘形式的输入装置404、存储器子系统408、具有车辆和零件图像数据库412的内部非易失性存储器(NVM)418和无线通信电路438。
工具400可以包括现场可编程门阵列(FPGA)414、第一系统总线424、复杂可编程逻辑器件(CPLD)406、读卡机420、第二系统总线422、连接器接口411、可选择信号转换器410、GPS天线432、GPS接收机434和高度计436。
被测车辆的车辆通信接口430可以经由外部电缆(未示出)而通过连接器接口211与工具400通信。
可选择信号转换器410可以通过连接器接口411与车辆通信接口430通信。信号转换器410可以将通过车辆通信接口430从ECU单元接收的信号约束为与工具400兼容的条件信号。信号转换器410可以利用例如以下通信协议进行通信：J1850(VPM和PWM)、ISO 9141-2信号、通信冲突检测(CCD)(例如，Chrysler冲突检测)、数据通信链路(DCL)、串行通信接口(SCI)、控制器区域网(CAN)、关键字2000(ISO 14230-4)、OBD II或在车辆中实施的其它通信协议。
替代地，工具400可以利用符合下述专利的无线技术与车辆通信：2011年6月8日提交的题为“Cellular Phone Configured with Off-Board Device Capabilities andStarter/Charger and Battery Testing Capabilities”的美国专利申请No.13/155961，该美国专利申请现在为2012年5月15日分布的美国专利No.8180515，通过引用的方式将该美国专利的描述的全部内容并入本文中。
可以通过FPGA 414(例如，通过三态未用收发器)或通过提供键控装置来选择在特定通信协议中转换和发送的电路，所述键控装置插入由工具400提供的连接器接口411中，以将工具400连接到车辆通信接口430。信号转换器410也可以经由第一系统总线424耦合到FPGA 414和读卡机420。FPGA 414通过信号转换器410向ECU单元发送信号(即，消息)以及从ECU单元接收信号。
FPGA 414可以由第二系统总线422通过各种地址、数据和控制线耦合到处理器402。FPGA 414也可以通过第一系统总线424耦合到读卡机420。处理器402也可以耦合到显示器102，以向技术人员输出所需信息。处理器402可以通过第二系统总线422与CPLD 406通信。另外，处理器402可以被编程为经由CPLD 406通过用户接口404接收来自技术人员的输入。CPLD 406提供用于对来自工具400的用户的各种输入进行解码的逻辑，并且还提供用于各种其它接口任务的胶合逻辑。
存储器子系统408和内部非易失性存储器418可以耦合到允许与处理器402和FPGA414通信的第二系统总线422。存储器子系统408可以包括取决于应用的量的动态随机存取存储器(DRAM)、硬盘驱动器和/或只读存储器(ROM)。运行工具400的软件可以存储在包括任何其它数据库的存储器408或418中。数据库可以包括诊断信息和与车辆相关的其它信息。
在一个方面中，车辆和零件图像数据库可以位于远程计算设备上而不是位于诊断工具本地。可以经由无线或有线连接访问远程零件图像数据库。远程车辆和零件图像数据库也可以存储在诸如紧凑型闪存卡或其它存储器之类的外部存储器上并且由诊断工具进行本地访问。
内部非易失性存储器418可以是电可擦除可编程只读存储器(EEPROM)、闪速ROM或其它相似的存储器。例如，内部非易失性存储器418可以为引导代码、自我诊断、各种驱动程序提供存储器并且为FPGA图像提供空间，如果需要的话。如果在FPGA 414中实施少于全部模块，则存储器418可以包含可下载的图像，从而可以针对不同组的通信协议对FPGA 414进行重新配置。
GPS天线432和GPS接收机434可以安装在外壳101或其任意组合中或上。GPS天线432电子耦合到GPS接收机434并且允许GPS接收机与沿地球轨道运行的各种卫星进行通信(检测和解码信号)。在一个方面中，GPS天线和GPS接收机可以是一个装置而非两个。GPS接收机434和GPS天线432可以电子耦合到处理器402，处理器402耦合到存储器408、NVM 418或读卡机420中的存储器卡。存储器可以用于存储制图数据，例如电子地图。诊断工具可以包括美国(或使用的国家)、北美洲的所有地图，或者可以具有诊断工具所在的地区或州。
GPS接收机与特定数量的卫星通信并“锁定在”其上，以便具有其“固定”的全球位置。一旦固定了位置，GPS接收机在处理器的帮助下就可以确定准确位置，包括工具400的经度、纬度、海拔高度、运动速度和其它导航数据。
如果GPS接收机不能锁定到最小数量的卫星上来确定海拔高度或由于任何原因而不能确定海拔高度，则可以使用高度计436来确定工具400的海拔高度。高度计436电子耦合到处理器402并且可以提供工具400的海拔高度或海拔。高度计436可以耦合到大气压力传感器(未示出)，以校准由高度计确定的海拔测量值。传感器可以位于工具400的外壳101内部或外部。较小的大气压变化可以影响高度计的精确度，因此，诊断工具可以通过使用传感器结合高度计、连同现有技术中公知的校正因子来对这些变化进行校正。
通信电路438可以经由第二总线系统422与处理器402通信。无线通信电路可以被配置为经由RF(射频)、卫星、蜂窝电话(模拟或数字)、Wi-Fi、红外、Zigby、局域网(LAN)、WLAN(无线局域网)、其它无线通信信道、配置和标准或其组合来进行通信。无线通信电路438允许诊断工具与其它装置进行无线通信，例如与具有远程数据库的远程计算装置进行无线通信。在一个实施例中，数据库包括车辆和零件图像数据库。无线通信电路438可以包括构建于其中并且容纳于外壳101内或者可以位于外壳101外部的天线。
数据库412可以包含关于各种车辆的详细信息。信息可以包括原理图、线路系统、内部和外部图像、燃料系统、电子模块等。信息可以通过车辆年份、车辆型号、车辆标识号码或任何其它识别信息来识别车辆。数据库412可以存储在工具400内、部分存储在工具400内、和/或存储在工具400外部的可以经由如上所述的因特网等访问的独立数据库中。
处理器402可以执行指令和其它计算机程序以操作本文中所描述的系统。另外，处理器402可以执行操作外围装置和不一定与本文中的发明相关联的其它方面所需的任何其它功能。
工具400还可以包括取向电路440。取向电路440可以包括惯性传感器，例如各种应变计和负载变换器，以确定工具400的取向。这允许工具400确定并向处理器402提供取向、移动方向或二者的变化。
在操作中，工具400可以允许服务技术人员选择要获得信息的车辆，如关于图6所描述的。另外或替代地，工具400可能能够基于如上所述的车辆图像来识别车辆。就此而言，照相机401可以采集车辆的图像并且处理器402可以将图像与数据库412中所存储的其它图像进行比较。基于该比较，处理器402可以基于该比较过程来选择数据库中的车辆类型并且为服务技术人员提供来自数据库412的详细原理图等。
一旦经由本文中所描述的任何过程建立了车辆，就能够在技术人员围绕车辆移动工具400和照相机401时通过识别工具400的视场来详细定位车辆型号内的图像数据。换言之，由工具400在显示器102上显示的由诸如CCD之类的照相机401采集的图像可以随着工具400的移动而移动和改变。移动图像可以基于由照相机401采集的车辆图像轮廓位置的变化、可以基于取向电路440的输出、可以基于由GPS系统确定的位置变化或者可以基于其它类型的数据。原理图数据等可以叠加在显示器102上的车辆图像上并且可以随着车辆图像移动而在显示器102上移动。
更具体地，然后可以将车辆的“虚拟x射线”覆盖在由工具400的照相机401光学采集并显示在显示器102上的车辆之上。例如，可以基于工具400内采集的车辆几何形状和服务信息来在显示器102上显示线路子系统、燃料系统、电子模块等。如果工具400指向车辆的后顶盖侧板处，则技术人员可以选择(多个)系统或(多个)子系统以查看与车辆的该区域相关联的显示器102。
仅出于解释的目的，该技术的一个可能的实施例会在指向车辆时显示诸如图4中所示的信息。该信息会在工具400的操作员在车辆周围、上方、下方或内部移动照相机401时动态变化、改变上述照相机401的视图和相关联的已识别视图、并且增强相关联的信息类型。
技术人员因此可以通过使用显示器102的触摸屏幕输入104(或其它输入方法)来识别各种部件或系统，以识别特定子系统、放大或缩小，使图片静止等。可以使用不同的导航方式来限制或导航信息，例如，显示器102可以在不同层或视图中显示分类的信息类型，例如线束路由信息、电气部件位置、机械部件位置和/或特殊操作、液体贮藏器的位置、系统和子系统的其它实际组合等。可以将电气、文本、机械和诊断信息的组合设计为基于诸如诊断、维护或检查之类的功能终端用户的需求而作为组出现。
然后可以基于技术人员所需的信息来在工具400的显示器102上显示与该所选部件或子系统相关的信息、零件信息等。用于在显示器102上显示的可能的信息可以包括但不限于：零件信息、服务时间小时数、零件成本、相关DTC、线路示意图、可用的特殊工具、技术服务公告、关于如何维修的视频等。
系统还可以包含如下方法：通过该方法，可以经由直接输入、从菜单选择、自然语言标准输入数据或其它方式来请求部件或信息类型，并且系统会经由诸如闪烁的指向箭头之类的明确指示来提供应当将工具400移动到何位置来“发现”部件或系统的位置提示，或提供至具有增强位置箭头或描述性信息的完整车辆的3D表示的转移。一旦重新定位，就会通过技术人员在适当位置的输入来重新显示并进一步改善正常增强的功能。此外，不仅静态的数据库信息可以用于增强车辆视图，而且动态车辆内容(活动诊断代码、RPM、传感器参数)也可以用于经由与板上或板下诊断系统的交互来增强视图。
注意，然后可以将零件信息链接到零件订货或销售。可以选择并增强被定位的单独的部件以显示备件系统的可服务、可订购部件，并通过拖放动作、刷动或其它选择标准来将单独的部件移动到工具400的显示器102上的订货篮中。
在优选实施例中，诸如诊断问题代码或里程表信息之类的来自车辆的诊断信息可以用于自动突出显示需要注意/维护的部件/系统，这提供了增强的流程信息，用以执行维护过程或向详细流程或传统的基于手册的服务内容提供链接。
图5示出了根据本发明的一方面的显示与车辆相关的数据的过程的流程图。作为特定示例，工具400可以执行以下过程500：
接收输入以确定车辆类型502。如果输入是基于手工的，则从技术人员接收车辆年份、车辆型号、车辆通知号和其它识别信息。如果输入是车辆图像，则利用照相机401来采集图像并将图像与数据库412中的图像进行比较，以确定车辆或为服务技术人员提供车辆选择或可能车辆的清单。如果输入是经由车辆连接器接口，则查询车辆计算机系统以确定车辆类型并向服务技术人员提供选择。如果所产生的输入限制于单个车辆，则在显示器102上显示车辆图像和数据信息。如果所产生的输入针对多个车辆，则在显示器102上提供多个车辆的清单，用于由服务技术人员进行选择。
确定工具400的当前位置和取向，并且在显示器102上显示叠加于车辆图像之上的车辆信息504。信息可以包括原理图、线路系统、内部和外部图像、燃料系统、电子模块等。
确定工具400是否移动或改变取向506，如上所述。具体而言，工具400可以使用照相机401、GPS系统432、434和/或惯性传感器440来确定工具400的移动或取向变化。
改变与工具400的取向或位置变化相关联的车辆信息508。就此而言，信息与工具400的位置或取向的变化相关联地改变位置、改变取向和/或移动。
图6示出了根据本发明的一方面的用于使车辆的选择自动化的过程的流程图。在图6中，示出了用于使由技术人员服务的车辆和ECU的选择自动化的过程的流程图。注意，车辆的选择包括诸如车辆的制造、型号和年份之类的信息的选择以及诸如发动机类型、传动类型、气囊、防抱死制动系统等的车辆特定设备的选择。在起动工具400之后200，并且如果是如此配置的，则工具400可以自动启动车辆识别过程(AutoID过程)202。替代地，可以在诸如将工具400连接到OBDII连接器之类的一些预定事件发生时启动AutoID过程。如果工具400未被配置为在诸如打开工具400或将工具400连接到OBDII之类的一些事件发生时自动开始AutoID过程，则技术人员可以通过使用用户界面在车辆选择菜单中滚动到AutoID过程选项来手动发起AutoID过程204。
无论是自动发起202还是由技术人员选择，AutoID过程的第一步206是使工具400的事件处理程序发起存储在ECU上的车辆标识号码(VIN)的读取。例如，可以使用全局OBDII模式9功能来完成VIN号码的这种读取。替代地，对于不包括全局OBDII模式9功能的车辆，技术人员可以手动输入VIN号码208。
在自动206或手动208输入VIN号码之后，AutoID过程的子例程210在与数据库412相关联的VIN到车辆配置映射数据库212中查找车辆。除了VIN号码之外，可以由该子例程210使用全局OBDII模式9功能获得的信息包括校准标识信息以及车辆使用中性能信息。这种信息的示例包括发动机型号、传动类型、发动机调整说明书等。本领域的技术人员应当容易理解，诸如与数据库412相关联的VIN到车辆配置映射数据库212之类的访问数据库可以由工具400经由因特网通过至数据端口或连接器接口的有线连接或替代地通过无线装置来访问。
可能无法从AutoID过程的子例程210所采集的信息来确定全套的所需车辆选择信息，并且因此可能需要技术人员手动输入额外的信息214。替代地，也可以执行用于车辆标识信息的系统的额外自动化搜索作为AutoID过程的一部分。可以通过系统对与数据库412相关联的内部或外部车辆数据库216的参考来促进额外信息214的手动输入或替代的额外自动化搜索。
因此，本发明提供了为服务技术人员提供增强现实服务信息的过程、系统和装置，具体而言，所述增强现实服务信息是提供车辆的部件的内部和外部配置、原理图和细节等的增强现实服务信息。此外，注意，如上所述，针对车辆来实施本发明。然而，本发明同样适用于医疗领域并且向医生提供关于患者护理的信息。另外，本发明同样适用于可能需要技术人员诊断和/或维修的包括电动工具、家用电器等的其它装置的其它类型的装置。
进一步根据本发明的各种实施例，本文中所描述的方法旨在利用专用硬件实施来操作，所述专用硬件实施包括但不限于PC、PDA、半导体、专用集成电路(ASIC)、可编程逻辑阵列、云计算装置和被构造为实施本文中所描述的方法的其它硬件装置。
本发明可以包括通信信道，其可以是任何类型的有线或无线电子通信网络，例如使用诸如全球移动通信系统(GSM)、CDMA(码分多址)、W-CDMA(宽带码分多址)、无线保真(Wi-Fi)、蓝牙和/或类似物和/或其中的两种或多种的组合之类的已知协议的有线/无线局域网(LAN)、有线/无线个人区域网(PAN)、有线/无线家庭区域网(HAN)、有线/无线广域网(WAN)、校园网、城域网、企业专用网络、虚拟专用网络(VPN)、互连网络、中枢网络(BBN)、全球区域网(GAN)、因特网、内联网、外联网、重叠网、蜂窝电话网、个人通信服务(PCS)。
在实施例中，可以在由任何类型的先进移动数据处理和通信操作系统操作的任何类型的移动智能电话中实施本发明，所述系统例如是AppleTM iOSTM操作系统、GoogleTMAndroidTM操作系统、RIMTM BlackberryTM操作系统、NokiaTM SymbianTM操作系统、MicrosoftTM Windows MobileTM操作系统、MicrosoftTM Windows PhoneTM操作系统、LinuxTM操作系统等。
进一步根据本发明的各种实施例，本文中所描述的方法旨在利用专用硬件实施来操作，所述专用硬件实施包括但不限于PC、PDA、半导体、专用集成电路(ASIC)、可编程逻辑阵列、云计算装置和被构造为实施本文中所描述的方法的其它硬件装置。
还应当注意，本文中所描述的本发明的软件实施任选地存储在有形存储介质上，所述有形存储介质例如：磁介质，例如磁盘或磁带；磁光或光学介质，例如光盘；或固态介质，例如存储器卡或容纳一个或多个只读(非易失性)存储器、随机存取存储器或其它可重写(易失性)存储器的其它封装。电子邮件的数字文件附件或其它独立信息归档或档案组被视为与有形存储介质等价的分布式介质。因此，本发明被认为包括有形存储介质或分布式介质，如本文中所列出的，并且本发明包括其中存储了本文中的软件实施的技术认可的等同物和接替的介质。
尽管已经以现今认为是特定方面的内容描述了系统和方法，但本公开内容不限于所公开的方面。本发明旨在覆盖包括在权利要求的精神和范围内的各种修改和相似布置，权利要求的范围应当符合广义解释，以便涵盖所有这种修改和相似结构。本公开内容包括以下权利要求的任何方面以及所有方面。

Claims (20)

1.一种用于为用户提供关于物体的信息的工具，所述信息与所述工具相对于所述物体的位置和取向相关，所述工具包括：
图像采集装置，其被配置为采集所述物体的图像；
位置和取向传感器，其被配置为确定所述工具相对于所述物体的所述位置；
处理器，其被配置为根据所述图像来确定所述物体的类型；
显示器，其被配置为显示所述物体的所述图像；
所述显示器还被配置为响应于对所述物体的类型的确定而显示除了所述物体的所述图像之外的额外信息；以及
所述处理器还被配置为确定所述工具的所述位置和所述取向的其中之一的变化，并且所述处理器还被配置为响应于对所述位置和所述取向的其中之一的变化的确定而显示除了所述物体的所述图像之外的额外信息。
2.根据权利要求1所述的工具，其中，所述图像采集装置包括照相机。
3.根据权利要求1所述的工具，其中，所述处理器还被配置为执行如下操作的至少其中之一：从所述物体接收诊断信息和在所述物体上执行诊断测试。
4.根据权利要求1所述的工具，其中，所述处理器还被配置为基于所述物体的所述图像、从所述物体接收的信息和从所述用户接收的关于所述物体的信息的至少其中之一来确定所述物体的类型。
5.根据权利要求1所述的工具，其中，所述位置和取向传感器包括照相机、GPS装置和惯性传感器的其中之一。
6.根据权利要求1所述的工具，其中，所述物体包括车辆，并且其中，所述额外信息包括原理图、线路系统示意图、内部图像和外部图像的至少其中之一。
7.根据权利要求1所述的工具，其中，所述物体包括患者、电动工具和家用电器的其中之一。
8.一种用于操作用于为用户提供关于物体的信息的工具的方法，所述信息与所述工具相对于所述物体的位置和取向相关，所述方法包括：
采集所述物体的图像；
感测所述位置和所述取向，以确定所述工具相对于所述物体的位置；
根据所述图像来确定所述物体的类型；
显示所述物体的所述图像；
响应于对所述物体的类型的确定而显示除了所述物体的所述图像之外的额外信息；以及
确定所述工具的所述位置和所述取向的其中之一的变化，并且响应于对所述位置和所述取向的其中之一的变化的确定而显示除了所述物体的所述图像之外的额外信息。
9.根据权利要求8所述的方法，其中，采集所述图像包括利用照相机采集所述图像。
10.根据权利要求8所述的方法，还包括从所述物体接收诊断信息和在所述物体上执行诊断测试的至少其中之一。
11.根据权利要求8所述的方法，还包括基于所述物体的所述图像、从所述物体接收的信息和从所述用户接收的关于所述物体的信息的至少其中之一来确定所述物体的类型。
12.根据权利要求8所述的方法，其中，确定所述工具的所述位置和所述取向包括利用位置和取向传感器来确定所述工具的所述取向和所述位置，所述位置和取向传感器包括照相机、GPS装置和惯性传感器的其中之一。
13.根据权利要求8所述的方法，其中，所述物体包括车辆，并且其中，所述额外信息包括原理图、线路系统示意图、内部图像和外部图像的至少其中之一。
14.根据权利要求8所述的方法，其中，所述物体包括患者、电动工具和家用电器的其中之一。
15.一种用于操作用于为用户提供关于物体的信息的工具的装置，所述信息与所述工具相对于所述物体的位置和取向相关，所述装置包括：
用于采集所述物体的图像的模块；
用于感测所述位置和所述取向以确定所述工具相对于所述物体的位置的模块；
用于根据所述图像来确定所示物体的类型的模块；
用于显示所述物体的所述图像的模块；
用于响应于对所述物体的类型的确定而显示除了所述物体的所述图像之外的额外信息的模块；以及
用于确定所述工具的所述位置和所述取向的其中之一的变化并且响应于对所述位置和所述取向的其中之一的变化的确定而显示除了所述物体的所述图像之外的额外信息的模块。
16.根据权利要求15所述的装置，其中，用于采集所述图像的所述模块包括用于利用照相机来采集所述图像的模块。
17.根据权利要求15所述的装置，还包括用于从所述物体接收诊断信息的模块和用于在所述物体上执行诊断测试的模块的至少其中之一。
18.根据权利要求15所述的装置，还包括用于基于所述物体的所述图像、从所述物体接收的信息和从所述用户接收的关于所述物体的信息的至少其中之一来确定所述物体的类型的模块。
19.根据权利要求15所述的装置，其中，用于确定所述工具的所述位置和所述取向的模块包括用于利用位置和取向传感器来确定所述工具的所述取向和所述位置的模块，所述位置和取向传感器包括照相机、GPS装置和惯性传感器的其中之一。
20.根据权利要求15所述的装置，其中，所述物体包括车辆，并且其中，所述额外信息包括原理图、线路系统示意图、内部图像和外部图像中的至少其中之一。
CN201380036623.8A 2012-05-11 2013-05-09 具有服务信息的增强现实虚拟汽车x射线 Active CN104488023B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261645941P 2012-05-11 2012-05-11
US61/645,941 2012-05-11
US13/840,850 US8948456B2 (en) 2012-05-11 2013-03-15 Augmented reality virtual automotive X-ray having service information
US13/840,850 2013-03-15
PCT/US2013/040231 WO2013169962A1 (en) 2012-05-11 2013-05-09 Augmented reality virtual automotive x-ray having service information

Publications (2)

Publication Number Publication Date
CN104488023A CN104488023A (zh) 2015-04-01
CN104488023B true CN104488023B (zh) 2017-05-03

Family

ID=49548644

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380036623.8A Active CN104488023B (zh) 2012-05-11 2013-05-09 具有服务信息的增强现实虚拟汽车x射线

Country Status (4)

Country Link
US (2) US8948456B2 (zh)
EP (1) EP2847753A4 (zh)
CN (1) CN104488023B (zh)
WO (1) WO2013169962A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10131042B2 (en) 2013-10-21 2018-11-20 Milwaukee Electric Tool Corporation Adapter for power tool devices
CN103699392A (zh) * 2014-01-03 2014-04-02 深圳市道通科技有限公司 一种快速定位汽车诊断功能的方法和系统
US9472028B2 (en) 2014-06-23 2016-10-18 GM Global Technology Operations LLC Augmented reality based interactive troubleshooting and diagnostics for a vehicle
US9928544B1 (en) * 2015-03-10 2018-03-27 Amazon Technologies, Inc. Vehicle component installation preview image generation
US20170177757A1 (en) * 2015-12-22 2017-06-22 Bosch Automotive Service Solutions Inc. System and Method for Providing Interactive Wiring Diagram
US10650621B1 (en) 2016-09-13 2020-05-12 Iocurrents, Inc. Interfacing with a vehicular controller area network
US10430021B2 (en) * 2016-10-05 2019-10-01 Snap-On Incorporated System and method for providing an interactive vehicle diagnostic display
US10430026B2 (en) 2016-10-05 2019-10-01 Snap-On Incorporated System and method for providing an interactive vehicle diagnostic display
US10885712B2 (en) 2017-07-12 2021-01-05 Nio Usa, Inc. Camera pose estimation method for augmented reality manual for cars
US11062517B2 (en) * 2017-09-27 2021-07-13 Fisher-Rosemount Systems, Inc. Virtual access to a limited-access object
CN108010131A (zh) * 2017-12-14 2018-05-08 北京长城华冠汽车技术开发有限公司 一种基于图像全息处理的车辆操作说明成像方法及系统
US10657721B2 (en) 2018-02-09 2020-05-19 Paccar Inc Systems and methods for providing augmented reality support for vehicle service operations
US10140553B1 (en) * 2018-03-08 2018-11-27 Capital One Services, Llc Machine learning artificial intelligence system for identifying vehicles
US11244509B2 (en) 2018-08-20 2022-02-08 Fisher-Rosemount Systems, Inc. Drift correction for industrial augmented reality applications
US10679420B2 (en) * 2018-11-02 2020-06-09 General Motors Llc Augmented reality (AR) remote vehicle assistance
WO2020242047A1 (en) * 2019-05-30 2020-12-03 Samsung Electronics Co., Ltd. Method and apparatus for acquiring virtual object data in augmented reality
CN110244691B (zh) * 2019-06-19 2021-04-09 深圳市道通科技股份有限公司 一种汽车诊断方法、装置及系统
CN112440882B (zh) * 2019-09-04 2024-03-08 梅赛德斯-奔驰集团股份公司 汽车行李厢物品摆放系统和方法及包括该系统的汽车
US11816887B2 (en) 2020-08-04 2023-11-14 Fisher-Rosemount Systems, Inc. Quick activation techniques for industrial augmented reality applications
US20230376025A1 (en) * 2022-05-17 2023-11-23 Honeywell International Inc. Augmented reality system for diagnosing system operation

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101553752A (zh) * 2005-04-22 2009-10-07 Ydreams信息有限公司 对叠加在真实图像之上的信息进行可视化的系统
CN101833896A (zh) * 2010-04-23 2010-09-15 西安电子科技大学 基于增强现实的地理信息指引方法与系统
WO2011151422A1 (en) * 2010-06-02 2011-12-08 Layar B.V. Acquiring, ranking and displaying points of interest for use in an augmented reality service provisioning system and graphical user interface for displaying such ranked points of interest

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3780697B2 (ja) * 1998-05-13 2006-05-31 株式会社デンソー 車両診断システム
US7107129B2 (en) * 2002-02-28 2006-09-12 Oshkosh Truck Corporation Turret positioning system and method for a fire fighting vehicle
US7451028B2 (en) * 2001-12-21 2008-11-11 Oshkosh Corporation Turret control system based on stored position for a fire fighting vehicle
US7171283B2 (en) * 2002-08-07 2007-01-30 Kimberly-Clark Worldwide, Inc. Web guiding system and method
US20060176242A1 (en) * 2005-02-08 2006-08-10 Blue Belt Technologies, Inc. Augmented reality device and method
WO2007066166A1 (en) * 2005-12-08 2007-06-14 Abb Research Ltd Method and system for processing and displaying maintenance or control instructions
US9323055B2 (en) 2006-05-26 2016-04-26 Exelis, Inc. System and method to display maintenance and operational instructions of an apparatus using augmented reality
JP4258548B2 (ja) * 2006-12-19 2009-04-30 トヨタ自動車株式会社 車両およびその制御方法
US20090237546A1 (en) 2008-03-24 2009-09-24 Sony Ericsson Mobile Communications Ab Mobile Device with Image Recognition Processing Capability
US20100023203A1 (en) * 2008-07-23 2010-01-28 Oren Shibi Diagnosis system and method for assisting a user
DE112009005233B4 (de) * 2009-10-19 2020-12-17 Toyota Jidosha Kabushiki Kaisha Antriebsregelung für Standby-Vierradantrieb-Fahrzeug
US8600610B2 (en) * 2010-03-31 2013-12-03 Service Solutions U.S. Llc Method and apparatus for identifying related fix information and parts number
KR101303948B1 (ko) * 2010-08-13 2013-09-05 주식회사 팬택 비가시 객체에 대한 증강 현실 정보 제공 장치 및 방법
JP5096552B2 (ja) * 2010-12-28 2012-12-12 アイシン・エーアイ株式会社 車両の動力伝達制御装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101553752A (zh) * 2005-04-22 2009-10-07 Ydreams信息有限公司 对叠加在真实图像之上的信息进行可视化的系统
CN101833896A (zh) * 2010-04-23 2010-09-15 西安电子科技大学 基于增强现实的地理信息指引方法与系统
WO2011151422A1 (en) * 2010-06-02 2011-12-08 Layar B.V. Acquiring, ranking and displaying points of interest for use in an augmented reality service provisioning system and graphical user interface for displaying such ranked points of interest

Also Published As

Publication number Publication date
US9330465B2 (en) 2016-05-03
CN104488023A (zh) 2015-04-01
EP2847753A1 (en) 2015-03-18
EP2847753A4 (en) 2015-12-16
WO2013169962A1 (en) 2013-11-14
US8948456B2 (en) 2015-02-03
US20130301875A1 (en) 2013-11-14
US20150193924A1 (en) 2015-07-09

Similar Documents

Publication Publication Date Title
CN104488023B (zh) 具有服务信息的增强现实虚拟汽车x射线
US9361738B2 (en) Diagnostic tool with smart camera
US9292977B2 (en) Method and apparatus for identifying related fix information and parts number
US9317977B2 (en) Mobile communication interface, system having a mobile communication interface, and method for identifying, diagnosing, maintaining, and repairing a vehicle
US20140075356A1 (en) Diagnostic Hub
CN105210109A (zh) 收益分享系统及其方法
US20170177757A1 (en) System and Method for Providing Interactive Wiring Diagram
US9665993B2 (en) Mobile communication interface, system having a mobile communication interface, and method for identifying, diagnosing, maintaining, and repairing a vehicle
WO2014039470A2 (en) Data display with continuous buffer
US20180190043A1 (en) Mileage Tracking Provisioning
CN106911756A (zh) 一种车辆与移动终端通信方法和装置
US11821728B2 (en) Devices, systems and methods for evaluating objects subject to repair or other alteration
US20140365335A1 (en) Inspection system and method
CN104838362A (zh) 具有能配置的快捷方式的扫描工具
KR20130030582A (ko) 조회차량용 운행정보 확인장치 및 영상 저장장치의 통합 모니터링 시스템
US20180082498A1 (en) VAR Diagnostics
US20230161582A1 (en) Devices, systems and methods for securely storing and maintaining scanner devices
BR122023022143A2 (pt) Método e sistema para realizar o test drive em uma máquina móvel
CN114582154A (zh) 图像显示装置及方法、非临时性的计算机可读取的介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20170309

Address after: American Michigan

Applicant after: Bosch automobile services solution company

Address before: American Michigan

Applicant before: BOSCH AUTOMOTIVE SERVICE SOLUTIONS LLC

GR01 Patent grant
GR01 Patent grant