CN109816986A - 提供车辆部件的用户指引信息的移动通信装置及方法 - Google Patents

提供车辆部件的用户指引信息的移动通信装置及方法 Download PDF

Info

Publication number
CN109816986A
CN109816986A CN201711171742.0A CN201711171742A CN109816986A CN 109816986 A CN109816986 A CN 109816986A CN 201711171742 A CN201711171742 A CN 201711171742A CN 109816986 A CN109816986 A CN 109816986A
Authority
CN
China
Prior art keywords
image
component
user
vehicle
mobile communications
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711171742.0A
Other languages
English (en)
Inventor
张吉
尹晓凤
刘力颖
朱元豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Priority to CN201711171742.0A priority Critical patent/CN109816986A/zh
Publication of CN109816986A publication Critical patent/CN109816986A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本申请提供了一种移动通信装置。移动通信装置包括成像模块、控制模块和显示模块。成像模块配置为捕捉车辆的部件的至少部分图像。控制模块包括存储单元、处理单元和识别单元,存储单元中存储多个车辆部件的参考图像以及车辆的多个部件的用户指引信息,处理单元配置为调节参考图像的视角取向,识别单元配置为基于调节的参考图像确定被捕捉的图像中的部件。显示模块配置为响应于控制模块的指示,显示确定的部件的用户指引信息。本申请还提供一种输出车辆部件的用户指引信息的方法。

Description

提供车辆部件的用户指引信息的移动通信装置及方法
【技术领域】
本申请涉及提供车辆部件的用户指引信息的移动通信装置及方法,特别是一种能够根据成像模块捕捉的图像识别车辆部件且输出车辆部件的用户指引信息的移动通信装置以及方法。
【背景技术】
一部车辆中包括各种各样的部件,有一些部件(例如,操作按钮)在外形上相似却具有不同的功能。用户可以利用汽车生产商提供的纸制用户指南来寻找部件的用户指引信息。对于一些用户来说,准确找到该部件的用户指引信息会很费时。现在存在利用便携式通信设备通过摄像机摄取的图像来识别部件并提供用户指引信息的应用。然而,部件的摄取角度和摄取环境(例如光线等)可能影响通信设备对部件的识别。因此,需要一种能够能简单快速的识别出车辆的部件且输出与其相关的用户指引信息的装置。
【发明内容】
本申请针对至少一种上述问题提供了一种能够简单快速的识别出车辆部件且输出用户指引信息的移动装置,其无须处理或存储海量的参考图片,能够推荐可能的部件用于显示,且可指导用户获取容易识别的图片以实现准确识别。
根据本申请的一个方面,提供一种移动通信装置。移动通信装置包括成像模块、控制模块和显示模块。成像模块配置为捕捉车辆的部件的至少部分图像。控制模块包括存储单元、处理单元和识别单元,存储单元中存储多个车辆部件的参考图像以及车辆的多个部件的用户指引信息,处理单元配置为调节参考图像的视角取向,识别单元配置为基于调节的参考图像确定被捕捉的图像中的部件。显示模块配置为响应于控制模块的指示,显示确定的部件的用户指引信息。
在一些实施例中,存储单元中的参考图像由存储单元中存储的虚拟车辆三维立体模型提供。
在一些实施例中,处理单元配置为:基于成像模块相对于被捕捉的部件的取向,调节三维立体模型的取向使其提供与被捕捉的图像基本一致的参考图像。
在一些实施例中,成像模块相对于被捕捉的部件的取向基于:成像模块与被捕捉的部件的连线与车辆的X轴、Y轴、或Z轴的夹角。
在一些实施例中,处理单元配置为:随机调节三维立体模型的取向,直到三维立体模型提供与被捕捉的图像基本一致的参考图像。
在一些实施例中,控制模块进一步配置为:指示显示模块显示与确定的部件关联的部件的用户指引信息。
在一些实施例中,关联的部件为与确定的部件位置相关的部件。
在一些实施例中,关联的部件为与确定的部件功能相关的部件。
在一些实施例中,控制模块进一步配置为:指示显示模块显示与捕捉的图像中的部件相似度高的多个部件的用户指引信息。
在一些实施例中,移动通信装置进一步包括图像检测模块,配置为检测捕捉的图像的对比度和/或清晰度。
在一些实施例中,控制模块进一步配置为:当图像检测模块判断捕捉的图像的对比度不在阈值范围内时,指示显示模块输出调节环境亮度以再次捕捉图像的提示。
在一些实施例中,控制模块进一步配置为:图像检测模块判断捕捉的图像的清晰度不在阈值范围内时,指示显示模块输出重新对焦以捕捉图像的提示。
根据本申请的另一方面,提供一种输出车辆部件的用户指引信息的方法。该方法包括:接收捕捉的车辆部件的图像;调节存储的多个车辆部件的参考图像的视角取向;基于调节的多个车辆部件的参考图像,识别被捕捉的图像中的车辆部件;和输出识别的车辆部件的用户指引信息。
在一些实施例中,方法还包括:通过车辆的虚拟三维立体模型提供参考图像;确定捕捉动作相对于车辆部件的取向;基于捕捉使用的成像装置相对于车辆部件的取向,调节三维立体模型的取向使其提供与被捕捉的图像基本一致的参考图像。
在一些实施例中,成像装置相对于车辆部件的取向基于:成像装置与车辆部件的连线与车辆的X轴、Y轴、或Z轴的夹角。
在一些实施例中,方法还包括:输出与识别的部件关联的多个车辆部件、或与被捕捉的图像的部件相似度高的多个车辆部件的用户指引信息。
在一些实施例中,方法还包括:检测捕捉的图像的对比度和/或清晰度。
在一些实施例中,方法还包括:当捕捉的图像的对比度不在阈值范围内时,指示用户调节环境亮度且重新捕捉车辆部件的图像。
在一些实施例中,方法还包括:当捕捉的图像的清晰度不在阈值范围内时,指示用户重新对焦且再次捕捉车辆部件的图像。
在一些实施例中,输出包括:将识别的车辆部件的图像以及与其相关的用户指引信息一起显示。
应该理解提供上述简要说明用于以简化的形式引入将在详细描述中进一步描述的一系列选择的概念,其不意味着确认所保护的本发明主题的关键的或基本的特征,本发明的范围将由本发明的权利要求唯一地界定。此外,所保护的主题不限于克服上文或本说明书中任何部分所描述的任何缺点的实施方式。
【附图说明】
结合附图根据下面详细描述的一个或多个实施例,本发明的一个或多个特征和或优点会显而易见。
图1是根据本申请的实施例的移动通信装置的框图,示出了移动通信装置的各个子单元。
图2A和图2B是图1中的移动通信装置的示意图,分别示出了成像模块捕捉的图像、和显示装置输出的信息。
图3A和3B是图1中移动通信装置的示意图,分别示出了与识别出的部件相关联的部件信息、和与被识别的部件相似度高的部件信息。
图4A示出了根据本申请的另一实施例的移动通信装置捕捉的另一车辆部件的示意图,图4B示出了图4A中移动通信装置识别时控制模块中虚拟的车辆三维立体模型的两种状态,图4C和图4D分别是图4B中三维立体模型处于原始状态的调节状态的放大示意图。
图5为根据本申请的一个实施例的输出车辆部件的用户指引信息的方法的流程图。
【具体实施方式】
根据需要,本申请说明书中公开了本发明的具体实施例;然而,应当理解在此公开的实施例仅为可通过多种、可替代形式实施的本发明的示例。附图无需按照比例绘制;可以扩大或缩小一些特征以显示特定部件的细节。相同或类似的附图标记可指示相同参数和部件或者与之类似的修改和替代物。在下文的描述中,在构想的多个实施例中描述了多个操作参数和部件。这些具体的参数和部件在本说明书中仅作为示例而并不意味着限定。因此,本说明书中公开的具体结构和功能细节不应该理解为限制,而仅仅是用于教导本领域内技术人员以多种形式实施本发明的代表性基础。
图1示出了根据本申请的实施例的提供用户指引信息的移动通信装置100的框图,示出了其中的各个子单元。提供用户指引信息的移动通信装置100可包括带有摄像头的移动装置和控制模块。例如,移动通信装置100可为智能手机、平板电脑、个人数字助理等等。在一些实施例中,控制模块可为移动通信装置100的处理器或可为加载在移动通信装置100的用户指引信息应用软件。在一些实施例中,控制模块可为车载人机交互装置的一个子控制模块。移动通信装置100经输入模块160与子控制模块无线或有线通信。在一些实施例中,控制模块可设置在云服务器中。参考图1,移动通信装置100可包括成像模块110、控制模块120、显示模块130、和输入模块160。
成像模块110可为智能手机或平板电脑的摄像机,其集成在移动通信装置100用于拍摄或捕捉图像,例如可用于捕捉车辆部件的图像。控制模块120包括存储单元122、识别单元124、和处理单元126。存储单元122中存储车辆用户使用手册数据库。数据库包括车辆部件的参考图像、和部件的用户指引信息。车辆部件可包括辆制造商提供的用户指南或用户手册中的部件。例如相关部件可包括用户可操作的部件、需维修更换的部件等。数据库可更新。更新的信息可包括新加载的应用软件的使用信息、部件不同视角的图像。在一些实施例中,相关部件数据库还包括部件的虚拟的三维立体模型。应当理解,本说明书中提到的“用户指引信息”可指与该部件有关的任何信息,通常可包括车辆制造商提供的用户指南或用户手册中的介绍信息及图片,例如部件的位置、操作方法、功能、维修方式、注意事项等。本申请不限于此,用户指引信息还可包括用户自己编辑或网上下载的与该部件相关的介绍等,这些都应认为包含在本申请的保护范围内。
控制模块120的处理单元126可处理位置信息和图像信息。在一些实施例中,处理单元126可根据成像模块110的位置和捕捉的部件的位置确定成像模块110的视角取向。进一步地,处理单元126根据视角取向将相关部件数据库的三维立体模型调节到与成像模块110捕捉部件的视角一致,即提供与捕捉的图像基本一致的参考图像。然后将调节过的三维立体模型或参考图像传输到识别单元124。
控制模块120的识别单元124可将成像模块110捕捉的图像与存储单元122中存储的参考图像对比,由此确定捕捉的图像中的部件。在一些实施例中,识别单元124可从处理单元126接收调节的三维立体模型作为参考图像以更准确地识别捕捉的图像中的部件。识别单元124可使用任何合适的图像识别技术识别图像。
在一些实施例中,处理单元124随机地调节三维立体模型,直到提供在成像模块110的视觉取向上与捕捉的图像基本一致的参考图像。
显示模块130可为触摸显示屏,其集成在移动通信装置100外表面以显示输出信息和/或图像,例如,识别单元124确定的部件的用户指引信息。在一些实施例中,显示模块130与控制模块120通信,一旦识别单元124确定了捕捉图像中的部件,控制模块120发送信号至显示模块130,使得显示模块130输出捕捉的图像和/或其用户指引信息。
在一些实施例中,移动通信装置100可通过例如控制模块120与车载的人机交互装置180通信。用户可选择用车载人机交互装置180的显示器来显示部件图像和/或用户指引信息。例如,当用户通过输入模块160输入指令后,控制模块120指示人机交互装置180输出图像和/或用户指引信息。例如,输出可显示于人机交互装置180的显示屏。可替代地,图像和/或用户指引信息可显示在车内的抬头显示器,或利用投影技术投射在平坦的车身装饰部件或车窗上。这样,可更方便用户读取用户指引信息。应当理解,在一些实施例中,移动通信装置100的输入模块160和显示模块130可为一体的,例如手机的触摸显示屏幕,既可显示图像或文字信息,也可生成键盘或链接供用户输入指令。
在一些实施例中,移动通信装置100还包括声音识别模块140,例如手机的麦克风或耳机的麦克风。在识别动作过程中,声音识别模块140还将用户的语音提示传送给控制模块120,例如所识别的部件的关键词。这样,更方便控制单元120的识别单元124准确且快速地确定被捕捉的部件。
在一些实施例中,参考图1,控制模块120进一步包括图像检测模块150,其检测成像模块110捕捉的图像的对比度和/或清晰度。
当识别单元124没有确定(例如无法确定、或推荐的部件的相似度值太低而无法使用户满意)被捕捉的图像中的部件且图像检测模块判断所捕捉的图像的对比度不在阈值范围内时,可推断出捕捉动作时环境亮度太高或太低导致获得的图像的无法识别,则控制模块120可指示显示模块130输出调节环境亮度以再次捕捉图像的提示。然后,识别单元124对再次捕捉的图像进行识别以确定车辆部件和输出对应的用户指引信息。
类似地,当识别单元124没有确定(例如无法确定、或推荐的部件的相似度值太低而无法使用户满意)被捕捉的图像中的部件且图像检测模块判断所捕捉的图像的清晰度不在阈值范围内时,可推断出捕捉动作时用户对焦不准确导致获得的图像的无法识别,则控制模块120可指示显示模块130输出调节重新对焦以捕捉图像的提示。然后,识别单元124对再次捕捉的图像进行识别以确定车辆部件和输出对应的用户指引信息。
这样的实施例中,通过图像检测模块150,移动通信装置100可在无法准确确定车辆部件时,通过输出提示指导用户调节成像装置110,从而获得更新的图像用于确定车辆部件。这进一步改善了移动通信装置100的识别功能。
提供用户指引信息的移动通信装置100进一步可包括通信模块170。通信模块170可为允许移动通信装置100与网络连接的接收器和/或发送器。通信模块170可使用无线通信连接,例如Wi-Fi、蜂窝塔通信、和/或卫星通信。在一些实施例中,与网络的连接能与云服务器的控制模块连接执行提供用户指引信息的功能。这样,用户能够利用网络在线识别车辆部件获得用户指引信息,而无需下载执行本申请方法的程序的应用或软件。
图2A和图2B是提供用户指引信息的移动通信装置100的示意图,示出了成像装置110捕捉的图像、以及显示模块130输出的图像和信息。用户可通过移动通信装置100的输入模块160启动提供用户指引信息的应用软件。输入模块160可为移动通信装置100的用户界面,优选地输入模块160与显示模块130集成为一个部件,例如手机或平板电脑的触摸显示屏。参考图2A和2B,在一些实施例中,移动通信装置100用于识别车辆200仪表板上的一个部件210。图2A示出成像模块110视角下的图像。在一些实施例中,捕捉的图像可输出在显示模块130上。在一些实施例中,显示模块130用于在识别之后显示信息和/或图像,而不在捕捉图像时显示该图像。
参考图2B,识别单元124确定图像中的部件210为双闪灯后,显示模块130显示双闪灯的图像131以及其用户指引信息133。图像131可以为用户自己捕捉的用于识别的图像,也可以为存储单元122中存储的参考图像,这可由用户根据个人喜好自由设置。用户指引信息133可包括多个项目,例如名称、位置、操作方法、功能、维护技巧等。这些项目可如图2B所示的根据类别显示为几行,或由用户根据个人喜好来自由设置,例如显示为多列、以图像为中心分散地显示、随机显示等等。在一些实施例中,显示模块130可以是移动电话的触摸屏,也是一种用户界面用来输入信息。用户可通过在触摸屏上操作来处理显示的信息/图像。例如,用户可存储或替换图像、编辑用户指引信息、修改信息显示形式等。更新后的图像和/或用户指引信息可储存在存储单元122中方便用户下次操作。
图3A和3B是图1中移动通信装置100的示意图,图3A示出了移动通信装置100的显示模块130显示与部件210相关联的部件的信息,图3B示出了移动通信装置100的显示模块130显示与部件210相似度高的三个部件的信息。在一些实施例中,存储单元122中存储的三维立体模型提供了车辆200部件的位置和图像信息,识别单元124确定了捕捉的部件210之后,基于三维立体模型,控制单元120可确定与部件210相关联的部件,从而其用户指引信息也可被输出并显示在显示模块130。在一些实施例中,识别单元124基于三维立体模型提供与确定的部件210位置相关联的部件的信息。参考图3A,显示模块130可显示部件210位置附近的部件,例如上下左右四个方向的箭头指示部件210周围的部件(例如,上方的显示屏212、左边的出风口214、右边的地图插卡槽216、和下方的进出碟口218)。相关的部件链接也可提供在显示模块130上供用户选择来访问相关部件的信息。
移动通信装置100也可提供与识别的部件功能相关联的部件的信息。在一些实施例中,与确定的部件功能关联的部件也可输出在显示模块130上供用户选择(未示出)。例如,如果识别的部件为车辆的空调开关,那么显示装置130还输出风向调节按钮、出风量大小按钮、温度调节按钮等相关按钮的图像和用户指引信息供用户选择和参考。
在一些实施例中,识别单元124可根据数据库中部件的参考图像与实际捕捉的图像的相似度,选择相似度高的多个部件作为检索结果来显示。例如,选择相似度高的四个部件,显示模块130输出相似度高的多个部件的用户指引信息。图3B是图1中通信移动通信装置100的示意图,示出了移动通信装置100的显示模块130输出与部件210相似度高的其它三个部件的信息。在一些实施例中,无论识别单元124是否确定部件210,显示模块130可输出与部件210相似度高的部件的用户指引信息。参考图3B,显示模块130可显示与双闪灯按钮相似度高的其他三个部件的信息,例如碟机播放快捷键220、光盘进出控制快捷键230、和门锁按键240。输出的信息可包括部件名称及其链接、和类似部件的图像等。此外,显示模块130还可显示选择的部件为可能的确定部件和相似度值信息。
图4A和4B分别示出了根据本申请的另一个实施例的提供用户指引信息的移动通信装置300以及其控制模块320。参考图4A和4B,移动通信装置300可实施在便携式装置例如智能手机中。移动通信装置300包括成像模块310(例如,智能手机的摄像头)、控制模块320、和显示模块330(例如,手机的显示屏)。在一些实施例中,控制模块320可为加载在移动通信装置300的用户指引信息应用软件。在一些实施例中,控制模块320可为车载人机交互装置的一个子控制模块。移动通信装置(智能手机)还可包括通信模块(未示出),用于与子控制模块320无线或有线通信。在一些实施例中,控制模块320可设置在云服务器中。控制模块320包括存储单元322和识别单元324。存储单元322存储车辆400用户相关部件的参考图像,识别单元324将成像模块310捕捉的图像与储存单元322中的参考图像对比,确定捕捉的图像中的部件。存储单元322还存储车辆400用户相关部件的用户指引信息,一旦识别单元324确定图像中的部件,控制模块320可指示显示模块330显示与确定的部件对应的用户指引信息,例如部件的名称和功能。识别单元324可用任何合适的图像识别技术来识别摄取的图像。
在一些实施例中,参考图4B,存储单元322中存储至少一组车辆的虚拟三维立体模型323作为提供部件的参考图像的基础。虚拟的三维立体模型323包括车辆的多个部件,且相对一个基准可调节方向和大小,从而在移动通信装置300的视觉上可提供各种方向和大小的车辆图像作为参考图像。控制模块320还包括处理单元326,通过调节三维立体模型323的方向,相对于移动通信装置300而言可获得各种方向或不同视角的车辆部件的图像作为参考图像用于与捕捉的图像对比从而确定捕捉图像中的部件。这样,仅提供一组三维立体模型323,可得到车辆部件的各个方向的参考图像,相对于存储大量不同视角的图像作为参考图像而言更全面,从某个特殊拍摄角度捕捉的图像无法识别的情况可被避免并且节省存储单元322的存储空间。
图4C和4D分别示出了处理单元326可基于移动通信装置300或更具体地基于成像模块310相对于被捕捉的车辆400的部件410的取向来调节车辆的三维立体模型321的方向,使其与捕捉的图像中部件的取向一致,即在视觉上调节后的三维立体模型323’可提供与捕捉的图像基本相同的参考图像(大小可相同或不同)。例如,图4D中虚线框所示的图像324与图4A中捕捉的图像基本一致。本申请中第一部件相对于第二部件的“取向”,可以表示第一部件相对于第二部件在第二部件的某一轴线方向偏移的角度,例如第一部件与第二部件的连线与第二部件的纵轴线之间的夹角。第一部件可为捕捉的部件,第二部件可为成像模块310。成像模块310相对于捕捉的部件410的取向可由任何合适的技术确定,这对本领域普通技术人员而言是已知的,例如可通过全球定位系统、距离、方向和位置传感器等实现。例如,成像模块310的位置可由移动通信装置300上的定位装置(例如GPS)确定,部件410的位置可由移动通信装置300或车辆400上的感应装置(例如,光学传感器、声传感器、或其他距离传感器等)确定。根据成像模块310和部件410的位置,处理单元326可确定成像模块310的取向。
处理单元326可至少基于三个基准轴线方向(例如,车辆的X轴、Y轴、Z轴)调节三维立体模型的取向,使得调节后的三维立体模型可提供与捕获的图像基本上完全一致的参考图像324。
在一个实施例中,参考图4C,在识别动作之前,存储单元322中的三维立体模型323处在初始状态,例如一侧车身正对视线方向,即看起来是车辆的左视图。参考图4A,用户使用移动通信装置300的成像模块310捕捉车辆400的部件410的图像,捕捉的图像显示在显示模块330上。在平行于X轴的方向上,成像模块310相对于部件410向-Y方向偏移(从部件410指向成像模块310的方向)一定角度,即成像模块310与部件410的连线与X轴之间的角度为α。
参考图4D,识别过程中,处理单元326获取角度的信息并将三维立体模型323绕X轴沿-Y方向调节角度α,即使三维立体模型323’中X’轴与调节前的X轴之间的角度为α。在一个实施例中,成像模块310与部件410的连线与X轴具有夹角α,并与Y轴和Z轴分别具有其他夹角(未示出)。三维立体模型323在Y轴和Z轴方向的调节均可参考上述相对于X轴的调节,因此不再描述。处理单元326获取角度的信息并在X轴、Y轴和Z轴方向调节三维立体模型323以使调节后的三维立体模型323’提供与成像模块310的视角一致的参考图像。例如,图4A中成像装置310捕捉的图像与图4D中调节后的三维立体模型323’提供的参考图像324基本相同。这样,三维立体模型323在三个轴线上的取向调节完成,其可呈现与捕捉图片中的部件基本相同的取向和视觉角度,从而方便移动通信装置300的识别单元进行对比而确定需要识别的部件。
在一些实施例中,处理单元326可基于成像模块310与部件410之间的距离A和成像模块310相对于部件410的取向,调节三维立体模型323的大小,使其中参考图像324中对应的部件410’与捕捉的图像中的部件410大小基本相同,进一步方便识别。调节后的三维立体模型中的部件410’与部件410相似度很高,所以显示模块430在输出用户指引信息时可根据用户设置一起输出部件410’与部件410中任意一个的图像,即输出捕捉的图像或参考图像324。
图5是根据本申请的实施例的输出车辆部件的用户指引信息的方法500。在510处,方法500接收捕捉的车辆部件的图像。捕捉图像的动作可使用移动通信装置自带的摄像头来完成,摄像头捕捉图像后可将图像存储或不存储而仅显示在移动通信设备上。
在520处,方法500包括判断捕捉的图像是否满足图像识别的要求。如果答案是肯定的,方法500继续到530。方法500可基于存储的车辆的用户相关部件的参考图像,识别被捕捉的图像中的车辆部件。上述移动通信装置中可存储有车辆多个部件的参考图像和多个部件的用户指引信息。在一些实施例中,移动通信装置的存储单元可存储车辆的虚拟三维立体模型,其提供车辆的多个部件的参考图像。在一些实施例中,移动通信装置的存储单元可包括用户手册数据库,其包括车辆部件的介绍信息和参考图像例如三维图像。用户手册数据库还可包括相由用户、车辆制造商服务器和/或第三方服务器更新加入的部件图像和/或部件的使用说明。
方法500可通过其识别单元将捕捉的图像与参考图像对比,确定捕捉的图像中的车辆部件。
在一些实施例中,方法500可进一步调节参考图像的取向以便于和捕捉图像对比。在530,方法500可接收捕捉的车辆部件的位置信息和成像装置的位置信息。在540,方法500确定捕捉时成像装置相对于捕捉的车辆部件的取向。成像装置相对于捕捉的车辆部件的取向可以是成像装置和捕捉的车辆部件位置之间的连线对于车辆坐标轴的夹角。
在550,方法500调节车辆参考图像的取向。在一些实施例中,参考图像由虚拟的车辆三维立体模型提供,步骤550中调节三维立体模型的取向以提供调节的参考图像。方法500可根据捕捉的车辆部件的取向调节三维立体模型的取向使得在移动通信装置的视觉方向上,调节后的三维立体模型可提供与捕捉图像一致的参考图像,这可很大程度地提高识别单元的识别效率。可替代地,调节参考图像的视角取向包括随机调节所述三维立体模型的取向,直到三维立体模型提供与所述被捕捉的图像基本一致的图像。
在560处,方法500根据调节的参考图像识别至少一个车辆部件。在一些实施例中,方法500识别一个捕捉的车辆部件。在一些实施例中,方法500识别与捕捉的图像中的车辆部件相似度高的几个部件,例如三个或四个部件作为识别的车辆部件。接下来,在570处,方法500输出至少一个识别的部件的用户指引信息。输出至少一个识别的部件的用户指引信息包括通过声频装置或显示装置向用户呈现用户指引信息。在一些实施例中,显示识别的部件的用户指引信息包括显示识别的部件的名称和图像。在一些实施例中,在显示多个部件的信息时,多个部件的参考图像和/或名称的链接排列在移动通信设备的显示屏上,用户可通过点击各自的链接而查询各个推荐部件的其他用户指引信息。显示的图像可以是用户捕捉的图像,或基于三维立体模型提供的参考图像。
在580处,方法500显示与识别的车辆部件关联的车辆部件的信息,例如与该部件位置相关(例如,该部件位置附近)或功能相关(例如,该部件共同作用、或执行类似的功能)的部件的图像和/或用户指引信息。在580后,方法500结束或等待接收另一个捕捉的图像。
回到步骤520,如果方法500判断捕捉的图像没有满足图像识别的要求,方法500进行到590,指示用户重新捕捉图像。在520,判断捕捉的图像没有满足图像识别的要求包括检测所捕捉的图像的对比度和/或清晰度以判断捕捉的图像的质量。例如,步骤520包括判断所捕捉的图像的对比度是否在阈值范围内,如果不是,则在592处指示调节环境亮度且指示重新捕捉车辆部件的图像。步骤520还可包括判断所捕捉的图像的清晰度是否在阈值范围内,如果不是,则在594处指示重新对焦且指示再次捕捉车辆部件的图像。在590后,方法500结束或等待接收另一个捕捉的图像。
在一些实施例中,除了存储虚拟的车辆三维立体模型之外,方法500还包括在510的捕捉动作之后的任意时间存储捕捉的图像作为参考图像,在识别出该图像中的车辆部件之后使该参考图像与识别的部件相关,从而在下一次的识别动作时可将其作为额外的参考图像来辅助识别,进一步提高识别的准确度。
如上所述,根据本申请的移动通信装置和输出车辆部件的用户指引信息的方法,可快速准确地识别车辆部件和输出用户指引信息。
应当指出,本申请的方法可由移动通信设备中的计算机可读介质上存储的程序指令来执行。本文包括的示范性的控制和估算程序可以与各种车辆系统结构一起应用。这里描述的具体的程序可以表示任何数目的处理策略中的一个或更多个,例如事件驱动的、中断驱动的、多任务的、多线程的处理策略等。因此,所示的各种动作、操作或功能可以以所示的顺序进行,并行进行,或在一些情况下可以省略。同样,处理的次序不是实现本文所述的示例性实施例的特征和优点所必须要求的,而是为了容易示出和描述而提供。一个或多个所示的动作或功能可以根据所用的特定策略而重复地进行。而且,所述的动作可以被图示地表示为被编程到车辆控制系统中的计算机可读储存介质中的代码。
应当理解,本申请说明书中公开的结构和程序本身是示例性的,且具体实施例不应理解为限制的意思,因为可能存在多种变型。以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (20)

1.一种移动通信装置,包括:
成像模块,配置为捕捉车辆的部件的至少部分图像;
控制模块,包括存储单元、处理单元和识别单元,所述存储单元中存储多个车辆部件的参考图像以及所述车辆的多个部件的用户指引信息,所述处理单元配置为调节参考图像的视角取向,所述识别单元配置为基于所述调节的参考图像确定被捕捉的图像中的部件;和
显示模块,配置为响应于所述控制模块的指示,显示所述确定的部件的用户指引信息。
2.根据权利要求1所述的移动通信装置,其中所述存储单元中的参考图像由存储单元中存储的虚拟车辆三维立体模型提供。
3.根据权利要求2所述的移动通信装置,其中所述处理单元配置为:基于所述成像模块相对于所述被捕捉的部件的取向,调节所述三维立体模型的取向使其提供与所述被捕捉的图像基本一致的参考图像。
4.根据权利要求3所述的移动通信装置,其中所述成像模块相对于所述被捕捉的部件的取向基于:所述成像模块与所述被捕捉的部件的连线与所述车辆的X轴、Y轴、或Z轴的夹角。
5.根据权利要求2所述的移动通信装置,其中所述处理单元配置为:随机调节所述三维立体模型的取向,直到所述三维立体模型提供与所述被捕捉的图像基本一致的参考图像。
6.根据权利要求2所述的移动通信装置,其中所述控制模块进一步配置为:指示所述显示模块显示与所述确定的部件关联的部件的用户指引信息。
7.根据权利要求6所述的移动通信装置,所述关联的部件为与所述确定的部件位置相关的部件。
8.根据权利要求6所述的移动通信装置,所述关联的部件为与所述确定的部件功能相关的部件。
9.根据权利要求1所述的移动通信装置,其中所述控制模块进一步配置为:指示所述显示模块显示与捕捉的图像中的部件相似度高的多个部件的用户指引信息。
10.根据权利要求1所述的移动通信装置,进一步包括图像检测模块,配置为检测所述捕捉的图像的对比度和/或清晰度。
11.根据权利要求10所述的移动通信装置,其中所述控制模块进一步配置为:当所述图像检测模块判断所述捕捉的图像的对比度不在阈值范围内时,指示所述显示模块输出调节环境亮度以再次捕捉图像的提示。
12.根据权利要求10所述的移动通信装置,其中所述控制模块进一步配置为:所述图像检测模块判断所述捕捉的图像的清晰度不在阈值范围内时,指示所述显示模块输出重新对焦以捕捉图像的提示。
13.一种输出车辆部件的用户指引信息的方法,包括:
接收捕捉的所述车辆部件的图像;
调节存储的多个车辆部件的参考图像的视角取向;
基于调节的多个所述车辆部件的参考图像,识别所述被捕捉的图像中的车辆部件;和
输出识别的车辆部件的用户指引信息。
14.根据权利要求13所述的方法,进一步包括:通过车辆的虚拟三维立体模型提供参考图像;确定捕捉使用的成像装置相对于所述车辆部件的取向;基于所述成像装置相对于所述车辆部件的取向,调节三维立体模型的取向使其提供与所述被捕捉的图像基本一致的参考图像。
15.根据权利要求14所述的方法,其中所述成像装置相对于所述车辆部件的取向基于:所述成像装置与所述车辆部件的连线与所述车辆的X轴、Y轴、或Z轴的夹角。
16.根据权利要求13所述的方法,进一步包括:输出与所述识别的部件关联的多个车辆部件、或与所述被捕捉的图像的部件相似度高的多个车辆部件的用户指引信息。
17.根据权利要求13所述的方法,进一步包括:检测所述捕捉的图像的对比度和/或清晰度。
18.根据权利要求17所述的方法,进一步包括:当所述捕捉的图像的对比度不在阈值范围内时,指示用户调节环境亮度且重新捕捉车辆部件的图像。
19.根据权利要求17所述的方法,进一步包括:当所述捕捉的图像的清晰度不在阈值范围内时,指示用户重新对焦且再次捕捉车辆部件的图像。
20.根据权利要求13所述的方法,其中所述输出包括:将所述识别的车辆部件的图像以及与其相关的用户指引信息一起显示。
CN201711171742.0A 2017-11-22 2017-11-22 提供车辆部件的用户指引信息的移动通信装置及方法 Pending CN109816986A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711171742.0A CN109816986A (zh) 2017-11-22 2017-11-22 提供车辆部件的用户指引信息的移动通信装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711171742.0A CN109816986A (zh) 2017-11-22 2017-11-22 提供车辆部件的用户指引信息的移动通信装置及方法

Publications (1)

Publication Number Publication Date
CN109816986A true CN109816986A (zh) 2019-05-28

Family

ID=66601212

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711171742.0A Pending CN109816986A (zh) 2017-11-22 2017-11-22 提供车辆部件的用户指引信息的移动通信装置及方法

Country Status (1)

Country Link
CN (1) CN109816986A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112000829A (zh) * 2020-09-03 2020-11-27 科大讯飞股份有限公司 一种咨询响应方法、装置、设备及存储介质
CN112395668A (zh) * 2020-11-15 2021-02-23 深圳千里马装饰集团有限公司 在线建模的家装方案生成方法及系统、以及存储介质
WO2023092746A1 (zh) * 2021-11-29 2023-06-01 博泰车联网科技(上海)股份有限公司 基于移动终端控制车辆的方法、设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112000829A (zh) * 2020-09-03 2020-11-27 科大讯飞股份有限公司 一种咨询响应方法、装置、设备及存储介质
CN112395668A (zh) * 2020-11-15 2021-02-23 深圳千里马装饰集团有限公司 在线建模的家装方案生成方法及系统、以及存储介质
CN112395668B (zh) * 2020-11-15 2024-05-17 深圳千里马装饰集团有限公司 在线建模的家装方案生成方法及系统、以及存储介质
WO2023092746A1 (zh) * 2021-11-29 2023-06-01 博泰车联网科技(上海)股份有限公司 基于移动终端控制车辆的方法、设备及存储介质

Similar Documents

Publication Publication Date Title
US20130077831A1 (en) Motion recognition apparatus, motion recognition method, operation apparatus, electronic apparatus, and program
CN110263213B (zh) 视频推送方法、装置、计算机设备及存储介质
US20190156558A1 (en) Virtual reality system
CN103179330B (zh) 照相机、图像显示装置和图像显示方法
WO2013145654A1 (en) Information processing method to calculate a similarity between a posture model and posture data
CN107194323A (zh) 车辆定损图像获取方法、装置、服务器和终端设备
JP5685390B2 (ja) 物体認識装置、物体認識システムおよび物体認識方法
CN111182453A (zh) 定位方法、装置、电子设备及存储介质
US11295101B2 (en) Product verification in a messaging system
CN105027553B (zh) 图像处理装置、图像处理方法以及存储图像处理程序的存储介质
US10769437B2 (en) Adaptive sampling of training views
US9092894B2 (en) Display control device and display control program for grouping related items based upon location
CN102906671A (zh) 手势输入装置及手势输入方法
CN109816986A (zh) 提供车辆部件的用户指引信息的移动通信装置及方法
CN105829938A (zh) 用于制作场景图像的设备
CN103809741B (zh) 决定3d物件影像在3d环境影像中深度的电子装置及其方法
US20140152549A1 (en) System and method for providing user interface using hand shape trace recognition in vehicle
CN105930072A (zh) 电子设备和电子设备的控制方法
CN106548201A (zh) 卷积神经网络的训练方法、图像识别方法及装置
US11164000B2 (en) Method and mobile terminal for providing information based on image
US20210233529A1 (en) Imaging control method and apparatus, control device, and imaging device
US20130321404A1 (en) Operating area determination method and system
CN110910628A (zh) 车损图像拍摄的交互处理方法、装置、电子设备
KR20160096966A (ko) 주변 상황 정보를 통지하기 위한 방법, 전자 장치 및 저장 매체
CN106777071B (zh) 一种图像识别获取参考信息的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination