CN110959167A - 物体识别系统 - Google Patents

物体识别系统 Download PDF

Info

Publication number
CN110959167A
CN110959167A CN201880021896.8A CN201880021896A CN110959167A CN 110959167 A CN110959167 A CN 110959167A CN 201880021896 A CN201880021896 A CN 201880021896A CN 110959167 A CN110959167 A CN 110959167A
Authority
CN
China
Prior art keywords
information
recognition
terminal
recognized
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880021896.8A
Other languages
English (en)
Other versions
CN110959167B (zh
Inventor
中村圭志
新熊章浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanmar Co Ltd
Original Assignee
Yanmar Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yanmar Co Ltd filed Critical Yanmar Co Ltd
Priority to CN202311317938.1A priority Critical patent/CN117372952A/zh
Publication of CN110959167A publication Critical patent/CN110959167A/zh
Application granted granted Critical
Publication of CN110959167B publication Critical patent/CN110959167B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

终端装置包括终端侧识别控制部，该终端侧识别控制部提取由拍摄部拍摄的拍摄图像中包含的识别对象的特征信息，并将包含所提取出的特征信息和终端位置信息在内的识别判定用信息发送给服务器。服务器包括：存储部，其针对每个被识别物体存储有该被识别物体的特征信息和位置信息；以及服务器侧识别控制部，其基于从终端装置接收到的识别判定用信息内的终端位置信息而设定搜索区域，并搜索满足“存在于所设定的搜索区域内且具有与识别判定用信息内的特征信息相同的特征信息”这一条件的规定的被识别物体，当搜索到满足该条件的规定的被识别物体时，将该规定的被识别物体确定为识别对象。

Description

物体识别系统
技术领域
本发明涉及物体识别系统。
背景技术
专利文献1公开了一种物体识别系统，其包括具有相机的终端装置和能够与终端装置进行通信的服务器。具体而言，终端装置将相机拍摄的图像(输入图像)发送给服务器。服务器提取从终端装置接收到的图像的特征量，将提取出的特征量与第1特征量辞典进行对照，从而识别映在接收图像中的物体。然后，服务器根据识别结果获取应向终端装置提供的第2特征量辞典和附加信息数据库，并将它们发送给终端装置。第2特征量辞典的数据量小于第1特征量辞典的数据量。
终端装置提取输入图像的特征量，并与从服务器获取到的第2特征量辞典进行对照，从而识别映在输入图像中的物体。接着，终端装置从由服务器获取到的附加信息数据库获取与识别出的物体相关的附加信息，再将获取到的附加信息叠加在输入图像上，从而生成输出图像。然后，终端装置将输出图像显示于显示部。
专利文献
专利文献1：日本特开第2015－212967号公报
发明内容
在上述专利文献1所记载的物体识别系统中，终端装置通过将输入图像的特征量与从服务器获取到的第2特征量辞典进行对照来识别映在输入图像中的物体。然而，在例如像作业车辆那样存在多辆型号相同的作业车辆时，难以根据映在输入图像中的作业车辆的特征量而具体到个体地识别该作业车辆。
本发明目的在于提供一种物体识别系统，即使在多个被识别物体中存在多个具有相同特征信息的被识别物体时，也能通过用终端装置拍摄识别对象而具体到个体地识别该识别对象。
本发明的物体识别系统包括终端装置和能够与所述终端装置进行通信的服务器，所述终端装置能够拍摄多个被识别物体中的要识别的被识别物体即识别对象，该多个被识别物体具有能够从外部拍摄的特征信息，所述终端装置包括：检测部，其检测包含该终端装置的位置和方位在内的终端位置信息；拍摄部，其用于拍摄所述识别对象；以及终端侧识别控制部，其提取由所述拍摄部拍摄的拍摄图像中包含的所述识别对象的特征信息，并将包含提取出的特征信息和所述终端位置信息在内的识别判定用信息发送给所述服务器，所述服务器包括：存储部，其针对每个所述被识别物体存储有该被识别物体的特征信息和位置信息；以及服务器侧识别控制部，其基于从所述终端装置接收到的所述识别判定用信息内的终端位置信息设定搜索区域，并搜索满足“存在于所设定的搜索区域内且具有与所述识别判定用信息内的特征信息相同的特征信息”这一条件的规定的被识别物体，当搜索到满足所述条件的规定的被识别物体时，将该规定的被识别物体确定为所述识别对象。
被识别物体是指能够作为要通过本发明的物体识别系统来识别的对象的物体。识别对象是指多个被识别物体中的要识别的对象。
在该方案下，利用终端装置的拍摄部拍摄识别对象，并提取该识别对象的特征信息。然后，将包含识别对象的特征信息和终端位置信息在内的识别判定用信息发送给服务器。在服务器侧，基于终端位置信息设定搜索区域，并搜索满足“存在于所设定的搜索区域内且具有与识别判定用信息内的特征信息(识别对象的特征信息)相同的特征信息”这一条件的被识别物体。然后，当发现满足所述条件的被识别物体时，将该被识别物体确定为识别对象。因此，即使在多个被识别物体的中存在具有相同特征信息的多个被识别物体时，也能通过利用终端装置拍摄识别对象来具体到个体地识别出该识别对象。
在本发明的一实施方式中，所述服务器侧识别控制部构成为：当满足所述条件的规定的被识别物体存在多个时，将这多个规定的被识别物体中的存在于离所述终端装置最近的位置的规定的被识别物体确定为所述识别对象。
在该方案下，即使在拍摄图像中存在多个具有与识别对象相同的特征信息的被识别物体时，也能确定识别对象。
在本发明的一实施方式中，所述存储部针对每个所述被识别物体存储有该被识别物体的特征信息、位置信息和个体信息，所述服务器侧识别控制部构成为：在将所述规定的被识别物体确定为所述识别对象时，将所述存储部中存储的该规定的被识别物体的个体信息发送给所述终端装置。
在该方案下，能够将被确定为识别对象的被识别物体的个体信息从服务器发送给终端装置。
在本发明的一实施方式中，所述终端装置还包括用于显示利用所述拍摄部拍摄的拍摄图像的显示部，所述终端侧识别控制部构成为：将由所述服务器侧识别控制部发送来的所述个体信息叠加于所述显示部所显示的拍摄图像而显示。
在该方案下，能够使终端装置的使用者掌握识别对象的个体信息。
在本发明的一实施方式中，所述个体信息包含用于识别对应的被识别物体的识别信息、对应的被识别物体的运转信息和对应的被识别物体的维护信息中的至少一项信息。
在该方案下，能够使终端装置的使用者掌握识别对象的识别信息、运转信息和维护信息中的至少一项信息。
在本发明的一实施方式中，所述个体信息包含表示对应的被识别物体的故障部件的故障部件识别信息，所述终端侧识别控制部构成为：基于由所述服务器侧识别控制部发送来的所述个体信息中包含的故障部件识别信息，在所述显示部所显示的拍摄图像上叠加显示所述故障部件识别信息所对应的故障部件的图像。
在该方案下，能够使终端装置的使用者直观地掌握故障部位。
在本发明的一实施方式中，所述特征信息是对应的被识别物体的型号信息。
本发明的上述或其他目的、特征和效果通过以下参照附图而陈述的实施方式的说明来进一步明确。
附图说明
图1是表示应用了本发明一实施方式的物体识别系统的作业车辆识别系统的结构的示意图。
图2是表示作业车辆的主要电气结构的框图。
图3是表示远程监视服务器的电气结构的框图。
图4A是表示基本表格的内容例的示意图。
图4B是表示更换部件表的内容例的示意图。
图4C是表示部件更换过程表的内容例的示意图。
图5A是表示错误监视表的内容例的示意图。
图5B是表示维护历史管理表的内容例的示意图。
图6是表示便携终端的电气结构的框图。
图7是表示部件图像表的内容例的示意图。
图8是表示终端侧识别控制部所执行的终端侧识别控制处理的过程的一个例子的流程图。
图9是表示服务器侧识别控制部所执行的服务器侧识别控制处理的过程的一个例子的流程图。
图10是用于说明搜索区域设定方法的示意图。
图11是表示在拍摄图像上叠加有个体信息和部件图像的例子的示意图。
图12是表示在拍摄图像上叠加有个体信息和部件图像的另一例子的示意图。
具体实施方式
图1是表示应用了本发明一实施方式的物体识别系统的作业车辆识别系统的结构的示意图。
作业车辆识别系统1是用于具体到个体地识别作为被识别物体的作业车辆2的系统。作业车辆识别系统1包括便携型的终端装置(下称“便携终端3”)和远程监视服务器4。
作业车辆2能够通过通信网络6与远程监视服务器4进行通信。作业车辆2具备利用定位卫星7而定位自身位置的功能。作业车辆2的侧面记载有表示其型号的型号信息9。图1所示的作业车辆2的型号信息9为“YH448”。型号信息9是被识别物体的特征信息的一个例子。
便携终端3包括智能手机、平板型个人计算机(平板型PC)等便携终端。在本实施方式中，便携终端3为智能手机。便携终端3具备CCD相机等拍摄部53(参照图6)。此外，便携终端3具备利用定位卫星7而定位自身位置的功能。便携终端3中安装有为了实施本实施方式而开发出的车辆识别·信息附加程序。车辆识别·信息附加程序是：用于与远程监视服务器4协作而进行作业车辆2的识别，并且利用AR对拍摄图像进行信息附加的应用程序。这里，AR被称为增强现实(Augmented Reality)，是一种在现实空间中显示附加信息，增强现实世界的技术。便携终端3能够借助通信网络6而与远程监视服务器4进行通信。在本实施方式中，例如在对作业车辆2进行维护时，便携终端3由进行维护的服务人员所携带。
远程监视服务器4是用于对多个作业车辆2进行远程监视的服务器，设于远程监视中心5内。远程监视服务器4能够借助通信网络6而与作业车辆2及便携终端3进行通信。
说明作业车辆识别系统1的整体动作的概要。
作业车辆2将作业车辆2的识别信息、位置信息、运转信息、错误检出信息(异常信息)等发送给远程监视服务器4。在本实施方式中，如后所述，从作业车辆2向远程监视服务器4发送的作业车辆2的识别信息是设于作业车辆2的远程监视终端12(参照图2)的电话号码。该识别信息也可以是分配给作业车辆2的具有唯一性的识别信息即机号。
远程监视服务器4从作业车辆2接收到识别信息、位置信息、运转信息、错误检出信息等时，将这些信息与该作业车辆2的识别信息、型号信息及机号相关联地储存起来。远程监视服务器4在接收到来自作业车辆2的错误检出信息时，经由操作人员向服务人员发出相应通知，或者直接向服务人员发出相应通知。服务人员携带便携终端3前往发生错误的作业车辆2的所在之处。以下有时将所述发生错误的作业车辆2称为“出错车辆”。
当服务人员到达出错车辆的所在之处时，服务人员操作便携终端3而启动车辆识别·信息附加程序。车辆识别·信息附加程序启动后，拍摄部53就会进入工作状态，因此服务人员要将便携终端3的拍摄方向对准出错车辆(识别对象)的侧面。更具体而言，服务人员要使便携终端3以能够拍摄出错车辆的记载着型号信息9的侧面的方式朝向出错车辆。由此，进入由拍摄部53向便携终端3输入包括出错车辆在内的图像的状态。
便携终端3从输入图像提取型号信息9。然后，便携终端3将包括提取出的型号信息9以及便携终端3的位置信息(也可以包括便携终端3的姿势和方位信息)在内的识别判定用信息发送给远程监视服务器4。
远程监视服务器4接收到来自便携终端3的识别判定用信息时，基于识别判定用信息内的位置信息，在便携终端3的附近设定搜索区域。接着，远程监视服务器4基于多个作业车辆2的最新位置信息，搜索满足“存在于搜索区域内且与识别判定用信息内的型号信息9型号相同”这一条件的作业车辆2。然后，当找到满足所述条件的作业车辆2时，远程监视服务器4将该作业车辆2确定为出错车辆(识别对象)，将该作业车辆2的相关信息(下称“个体信息”)发送给便携终端3。便携终端3接收到个体信息时，在输入图像上叠加显示个体信息内的规定信息，或在输入图像上叠加显示个体信息内的规定信息所对应的图像(例如，部件图像)。
以下，说明作业车辆2、远程监视服务器4和便携终端3的电气结构。
图2是表示作业车辆2的主要电气结构的框图。
作业车辆2包括作业车辆控制装置11和远程监视终端12。作业车辆控制装置11控制作业车辆2的各部分的电气设备。在作业车辆2例如为联合收割机时，作业车辆控制装置11对联合收割机的行驶装置、收割装置、输送装置、脱粒装置等各部分的电气设备进行控制。作业车辆控制装置11向远程监视终端12提供作业车辆2的运转信息、错误检出信息等。作为运转信息，可举出运转时间、发动机转速、排气温度、加速器的操作状态、制动器的操作状态等。在本实施方式中，错误检出信息包含表示错误种类的错误代码。
远程监视终端12将作业车辆2的位置信息、由作业车辆控制装置11提供的运转信息和错误检出信息等发送给远程监视服务器4。在本实施方式中，远程监视终端12设定有通信用的电话号码。
远程监视终端12包括控制部20。控制部20与位置检测部21、通信部22、操作显示部23、操作部24、存储部25等连接。位置检测部21基于卫星定位系统而计算远程监视终端12的位置信息。在本实施方式中，卫星定位系统为GNSS(Global Navigation SatelliteSystem：全球导航卫星系统)。具体而言，位置检测部21接收来自多个定位卫星7(参照图1)的卫星信号而计算远程监视终端12(作业车辆2)的位置信息。位置信息例如包含纬度、经度和高度信息。
通信部22是用于供控制部20借助通信网络6而与远程监视服务器4进行通信的通信接口。操作显示部23例如包括触摸面板式的显示器。操作部24例如包括1个或多个操作按钮。存储部25由非易失性存储器等存储设备构成。
控制部20包括具备CPU和储存器(ROM、RAM等)的微型计算机。控制部20每隔规定时间获取由位置检测部21算出的位置信息，并将其存储到存储部25中。而且，控制部20每隔规定时间就将存储部25中存储的最新位置信息发送给远程监视服务器4。
此外，控制部20将作业车辆控制装置11所提供的运转信息不断储存到存储部25中。然后，控制部20在规定时刻(例如，进行电源切断操作的时刻)将不断储存在存储部25中的运转信息一次性发送给远程监视服务器4。此外，在作业车辆控制装置11提供了错误检出信息时，控制部20将该错误检出信息存储在存储部25中，并将该错误检出信息发送给远程监视服务器4。
图3是表示远程监视服务器4的电气结构的框图。
远程监视服务器4包括控制部30。控制部30与通信部31、操作显示部32、操作部33及存储部34等连接。通信部31是用于供控制部30借助通信网络6而与远程监视终端12(作业车辆2)及便携终端3进行通信的通信接口。操作显示部32例如包括触摸面板式显示器。操作部33例如包括键盘、鼠标等。存储部34由硬盘、非易失性存储器等存储设备构成。
存储部34中设有基本表35、更换部件表36、部件更换过程表37、错误监视表38、维护历史管理表39等。
如图4A所示，基本表35针对每个设于作业车辆2的远程监视终端12的电话号码而存储有该作业车辆2的型号、机号、最新位置信息、运转时间、其他运转信息(图示省略)等。最新位置信息和运转时间分别在每次从对应的作业车辆2接收到位置信息和运转信息时由控制部30进行更新。
如图4B所示，更换部件表36针对每个错误代码而存储有为了消除该错误代码所代表的错误而需要更换的部件的代码(更换部件代码)和部件名称。更换部件代码是故障部件识别信息的一个例子。在针对1个错误代码需要更换多个部件时，与该错误代码对应地存储所述多个部件各自对应的更换部件代码和部件名称。
如图4C所示，部件更换过程表37针对每个部件代码(更换部件代码)而存储有该部件的更换过程信息。部件更换过程信息例如以PDF文件的格式来存储。
错误监视表38是在接收到来自作业车辆2的错误检出信息时存储错误代码等信息的表。具体而言，在接收到来自作业车辆2的错误检出信息时，控制部30如图5A所示那样将包含作业车辆2的电话号码、错误发生时间、错误代码等在内的错误信息存储到错误监视表38中。
维护历史管理表39是用于管理维护历史信息的表。如图5B所示，维护历史信息包含进行维护的作业车辆2的电话号码、进行维护的日期和时间(维护日期和时间)、维护内容等。维护历史信息例如在维护结束后由操作人员等进行输入。
回到图3，控制部30包括具备CPU和存储器(ROM、RAM等)的微型计算机。控制部30包括远程监视部41和服务器侧识别控制部42。远程监视部41在接收到来自作业车辆2的运转信息时更新基本表35内的运转信息，或向基本表35内追加运转信息。此外，远程监视部41在接收到来自作业车辆2的错误检出信息时向错误监视表38中存储错误信息，并将这些内容通过操作人员通知服务人员，或者直接通知服务人员。
例如，远程监视部41在接收到错误检出信息时，通过进行表示接收到错误检出信息的警告显示或输出警告声，来告知操作人员接收到错误检出信息。操作人员意识到接收到错误检出信息时，将错误信息通知服务人员。或者，远程监视部41在接收到错误检出信息时生成包含错误信息在内的出错通知邮件，向预先设定的服务人员联络地址发送出错通知邮件。
服务器侧识别控制部42进行服务器侧识别控制处理，即确定便携终端3所拍摄的作业车辆(识别对象)，并将确定出的作业车辆的相关个体信息发送给便携终端3。服务器侧识别控制处理的详细内容将在后面进行说明。
图6是表示便携终端3的电气结构的框图。
便携终端3具备控制部50。控制部50与位置检测部51、姿势·方位检测部52、拍摄部53、通信部54、操作显示部55、操作部56、存储部57等连接。位置检测部51基于卫星定位系统而计算便携终端3的位置信息。在本实施方式中，卫星定位系统为GNSS(GlobalNavigation Satellite System：全球导航卫星系统)。具体而言，位置检测部51接收来自多个定位卫星7(参照图1)的卫星信号，计算便携终端3的位置信息。位置信息例如包含纬度、经度和高度信息。
姿势·方位检测部52检测便携终端3的姿势和方位。便携终端3的姿势表示便携终端3的三维方向的倾角，便携终端3的方位表示拍摄部53的拍摄方向。姿势·方位检测部52例如使用陀螺仪传感器、加速度传感器、地磁传感器等来检测便携终端3的姿势和方位。
在下文中，将包含由位置检测部51检测出的位置以及由姿势·方位检测部52检测出的姿势和方位中的至少位置在内的信息称为终端位置信息。其中，在本实施方式中，终端位置信息包含位置、姿势和方位所有信息。
拍摄部53例如使用CCD(Charge Coupled Device：电荷耦合器件)、CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)等拍摄设备对被识别对象即作业车辆2进行拍摄。
通信部54是供控制部50借助通信网络6而与远程监视服务器4进行通信的通信接口。操作显示部55例如包括触摸面板式显示器。操作部56例如包括1个或多个操作按钮。存储部57由非易失性存储器等存储设备构成。
存储部57针对每个作业车辆2的型号而设有部件图像表58、58、…。如图7所示，各部件图像表58针对每个构成该型号的作业车辆2的部件的部件代码而存储有表示该部件的位置的信息(部件位置信息)和该部件的图像(部件图像)。在本实施方式中，部件图像为三维CG图像。需要说明的是，部件图像也可以是照片图像，还可以是二维CG图像。如后所述，部件图像例如叠加显示在拍摄图像上，以便将要更换的部件明确地显示在拍摄图像上。
部件位置信息是表示以作业车辆2的侧面所记载的型号信息的位置为基准的部件位置的信息。例如，当观察者从作业车辆2的外侧方观察作业车辆2的记载有型号信息9的侧面时，可以使用以型号信息9的位置为原点的XYZ坐标系的xyz坐标值来作为部件位置信息。此时，例如，可以设X轴方向为车辆的前后方向(所述侧面的横向)，设Y轴方向为车辆的高度方向(所述侧面的纵向)，设Z轴方向为车辆的左右方向(所述侧面的进深方向)。
将部件图像表58中存储的部件图像的基准显示尺寸设定为实际部件大小的规定倍的大小。同样，作为部件位置信息的坐标值也设定为对实际的作业车辆2的坐标值例如放大所述规定倍而得到的值。换言之，当以对实际作业车辆放大规定倍的大小的作业车辆为基准作业车辆时，部件位置信息(坐标值)的绝对值和部件图像的基准显示尺寸设定为与基准作业车辆对应的大小。
拍摄部53拍摄的图像内的作业车辆2的大小会根据便携终端3和作业车辆2之间的距离、变焦量等拍摄条件而有所变化。因此，为了将部件图像叠加显示在拍摄图像内的作业车辆所对应位置，需要将部件位置信息的绝对值和部件图像的显示尺寸变更为与拍摄图像内的作业车辆的大小相对应的大小。该变更例如可以如下这样进行。即，根据图像内的作业车辆的型号信息9的大小，求出图像内的作业车辆的大小与基准作业车辆的大小的比值。然后，基于该比值，将部件位置信息的绝对值和部件图像的显示尺寸调整为与图像内的作业车辆的大小相对应的大小。
控制部50包括具备CPU和存储器(ROM、RAM、非易失性存储器等)60的微型计算机。存储器(具体为非易失性存储器)60中存储有上述车辆识别·信息附加程序。控制部50包括终端侧识别控制部61，该终端侧识别控制部61在车辆识别·信息附加程序启动后按照识别·信息附加程序来执行终端侧识别控制处理。
图8是表示终端侧识别控制部61所执行的终端侧识别控制处理的过程的一个例子的流程图。图9是表示服务器侧识别控制部42所执行的服务器侧识别控制处理的过程的一个例子的流程图。
例如在服务人员到达发生错误的作业车辆(出错车辆)的所在之处后，由服务人员操作便携终端3，启动车辆识别·信息附加程序，从而开始图8所示的终端侧识别控制处理。
当终端侧识别控制处理开始时，终端侧识别控制部61使拍摄部53进入工作状态(步骤S1)。由此，利用拍摄部53拍摄图像，拍摄图像在控制部50的作用下显示于操作显示部55。该拍摄图像也被输入终端侧识别控制部61。服务人员使便携终端3朝向出错车辆的侧面，以拍摄出错车辆的记载有型号信息9的侧面。
终端侧识别控制部61进行用于从输入图像提取型号信息的型号信息提取处理(步骤S2)。该型号信息提取处理可以使用公知的图像识别技术来进行。
从输入图像提取型号信息后，终端侧识别控制部61将包含提取出的型号信息和终端位置信息在内的识别判定用信息发送给远程监视服务器4(步骤S3)。
参照图9，远程监视服务器4的服务器侧识别控制部42在接收到来自终端侧识别控制部61的识别判定用信息时(步骤S11：是)，基于识别判定用信息内的终端位置信息设定搜索区域(步骤S12：是)。具体而言，如图10所示那样，服务器侧识别控制部42将俯视状态下的从便携终端3朝向拍摄部53的拍摄方向(图10中箭头所示的方向A)扩展的半径为r的扇形区域(影线区域)S设定为搜索区域。扇形区域S的2条半径所成的角为扇型区域S的中心角。扇形区域S的中心角是扇形区域S的一条半径和拍摄方向A所成的角θ、与扇形区域S的另一条半径和拍摄方向A所成的角θ之和，即为2θ。在本实施方式中，半径r设定为30m，θ设定为15度。也就是说，在本实施方式中，扇形区域S的中心角设定为30度。
接下来，服务器侧识别控制部42基于图4A的基本表35中存储的多个作业车辆2的最新位置信息，搜索满足“存在于搜索区域S内且与识别判定用信息内的型号信息型号相同”这一条件的作业车辆2(步骤S13)。
然后，服务器侧识别控制部42在规定的搜索时间后判断满足所述条件的作业车辆2是只发现了一台，还是发现了两台以上，亦或是一台也没发现(步骤S14)。
在满足所述条件的作业车辆2一台也没发现时，服务器侧识别控制部42向便携终端3发送包含识别失败命令在内的识别结果信息，该识别失败命令表示未能确定便携终端3所拍摄的出错车辆(步骤S15)。
当在所述步骤S14中只发现一台满足所述条件的作业车辆2时，服务器侧识别控制部42将该作业车辆2确定为便携终端3所拍摄的出错车辆(识别对象)(步骤S16)。然后，服务器侧识别控制部42进入步骤S18。
当在所述步骤S14中发现两台以上满足所述条件的作业车辆2时，服务器侧识别控制部42将这多个作业车辆2中存在于离便携终端3最近的位置的作业车辆2确定为便携终端3所拍摄的出错车辆(识别对象)(步骤S17)。然后进入步骤S18。
在所述步骤S18中，服务器侧识别控制部42基于表35～38来获取被确定为出错车辆(识别对象)的作业车辆2的相关的个体信息，然后将包含获取到的个体信息和识别成功命令在内的识别结果信息发送给便携终端3。
具体而言，服务器侧识别控制部42从图4A的基本表35中获取被确定为出错车辆的作业车辆2的型号、机号、运转时间等信息。此外，服务器侧识别控制部42从图5A的错误监视表38中获取错误代码，该错误代码表示被确定为出错车辆的作业车辆2本次的错误原因。并且，服务器侧识别控制部42从图4B的更换部件表36中获取与从错误监视表38中获取的错误代码对应的更换部件代码和部件名称。此外，服务器侧识别控制部42从图4C的部件更换过程表37中获取与从更换部件表36中获取的各更换部件代码对应的部件更换过程信息。然后，服务器侧识别控制部42将包含从表35～38中获取的个体信息(型号、机号、运转时间、错误代码、更换部件代码和部件名称、部件更换过程信息等)和识别成功命令在内的识别结果信息发送给便携终端3。
回到图8，便携终端3的终端侧识别控制部61在接收到来自远程监视服务器4的识别结果信息时(步骤S4：是)，判断该识别结果信息中包含的命令是否为识别成功命令(步骤S5)。当识别结果信息中包含的命令为识别失败命令时(步骤S5：否)，终端侧识别控制部61返回步骤S2。
当识别结果信息中包含的命令为识别成功命令时(步骤S5：是)，终端侧识别控制部61进行信息附加处理(步骤S6)。具体而言，如图11所示那样，终端侧识别控制部61将识别结果信息中包含的型号、机号和运转时间叠加显示在拍摄图像上。此外，如图11所示那样，终端侧识别控制部61将识别结果信息中包含的错误代码和更换部件名称以及更换过程按钮71叠加显示在拍摄图像上。在该例子中，更换部件名称为MH传感器。也可以代替更换部件名称而显示更换部件代码，或者同时显示更换部件名称和更换部件代码。当服务人员按下更换过程按钮71时，对识别结果信息中包含的部件更换过程信息进行显示。
然后，终端侧识别控制部61基于识别结果信息中包含的型号和更换部件代码(在该例子中，该代码所对应的部件名称为MH传感器)，从该型号所对应的部件图像表中获取该更换部件代码所对应的部件位置信息和部件图像。接着，如上述那样，终端侧识别控制部61基于从拍摄图像提取出的型号信息9的大小而调整部件位置信息绝对值和部件图像的显示尺寸。然后，如图11中虚线内的部件图像72所示那样，终端侧识别控制部61在调整后的部件位置信息所示的位置上，将部件图像以调整后的显示尺寸叠加显示在拍摄图像上。需要说明的是，图11中虽未图示，但也可以在图像的规定区域(例如1个角部)显示包含作业车辆2的型号信息9在内的小区域的放大图像，以便让利用者了解作为识别判定基准的位置。
之后，终端侧识别控制部61判断服务人员是否进行了用于重新识别出错车辆的操作(步骤S7)。图11中虽未图示，但终端侧识别控制部61例如也可以在显示画面上显示重新识别按钮，并在服务人员操作了该重新识别按钮时，判断为进行了用于重新识别出错车辆的操作。
在未进行用于重新识别出错车辆的操作时(步骤S7：否)，终端侧识别控制部61判断服务人员是否进行了用于结束车辆识别·信息附加程序的操作(步骤S8)。在未进行用于结束车辆识别·信息附加程序的操作时(步骤S8：否)，终端侧识别控制部61返回步骤S7。
当在所述步骤S7中判断为进行了用于重新识别出错车辆的操作时(步骤S7：是)，终端侧识别控制部61返回步骤S2。由此，再次执行步骤S2以后的处理。
当在所述步骤S8中判断为进行了用于结束车辆识别·信息附加程序的操作时(步骤S8：是)，终端侧识别控制部61结束终端侧识别控制处理。
在所述实施方式中，由便携终端3拍摄作为识别对象的作业车辆2，提取该识别对象的型号信息。然后，将包含该识别对象的型号信息和便携终端3的终端位置信息在内的识别判定用信息发送给远程监视服务器4。在远程监视服务器4侧，基于终端位置信息设定搜索区域S，搜索满足“存在于设定的搜索区域S内且与识别对象的型号信息型号相同”这一条件的作业车辆2。然后，当发现满足所述条件的作业车辆2时，将该作业车辆2确定为识别对象。因此，即使多个作业车辆2中存在具有相同型号信息的多个作业车辆2时，也能通过用便携终端3拍摄识别对象而具体到个体地识别出该识别对象。
此外，在所述实施方式中，可以将识别对象的型号、机号、运转时间、错误代码、更换部件名称、部件更换过程信息等个体信息叠加显示在便携终端3的拍摄图像上。由此，能够使得便携终端3的使用者(在所述实施方式的例子中为服务人员)掌握识别对象的型号、机号、运转时间、错误代码、更换部件名称、部件更换过程信息等个体信息。
此外，在所述实施方式中，能够将个体信息中包含的更换部件代码所对应的部件图像叠加显示在便携终端3的拍摄图像的对应位置上。由此，能够使得便携终端3的使用者(在所述实施方式的例子中为服务人员)直观地掌握故障部位。
以上说明了本发明的实施方式，但本发明也可以以其他方式来实施。例如，在图8的步骤S6的信息附加处理中，便携终端3也可以如图12所示那样将与维护相关的信息叠加显示在拍摄图像上。在该例子中，MH传感器(部件图像72)虽未发生故障，但却是更换推荐对象。在图12的例子中，针对MH传感器的部件图像72，在拍摄图像上叠加显示有“由于更换后已过100小时，所以建议更换。”这样的消息和“2016/06/12进行了换油。”这样的消息。这样的消息可以通过：由远程监视服务器4在图9的步骤S18中基于维护历史管理表39(参照图5B)来生成，并作为个体信息而包含在识别结果信息中，从而发送给便携终端3。在图12中，由于更换推荐部件也和上述更换部件同样地进行处理，因此错误代码、更换部件名称和更换过程按钮71也和图11同样地进行显示。
此外，作为个体信息，远程监视服务器4例如也可以生成根据识别对象2的各种检测值而预测出的维护推荐消息等，并使其包含在个体信息中。这样一来，能够将维护推荐消息显示在便携终端3上。维护推荐消息例如可举出“损耗传感器值偏高。建议进行一次检修。”这样的例子。
在上述实施方式中，便携终端3向远程监视服务器4发送的识别判定用信息包含终端位置信息和型号信息，终端位置信息又包含位置、姿势和方位。但是，终端位置信息只要包含位置、姿势和方位中的至少位置信息即可。例如在终端位置信息包含位置信息、但不包含姿势和方位信息时，远程监视服务器4可以将搜索区域S设定为俯视状态下以便携终端3为中心的规定半径的圆形区域。
在上述本实施方式中，作业车辆2的远程监视终端12和便携终端3所使用的定位系统采用了GNSS的单独定位系统，但也可以采用单独定位系统以外的定位系统，如RTK－GNSS(实时动态GNSS)等。
此外，在上述实施方式中，说明了作为识别对象的作业车辆为联合收割机的情况，但作为识别对象的作业车辆也可以是联合收割机以外的作业车辆，如拖拉机、插秧机、土木·工程作业车辆、除雪车、乘坐式作业机、步行式作业机等。
此外，在上述实施方式中，作为被识别物体，以作业车辆为例进行了说明，但被识别物体也可以是作业车辆以外的物体。
除此之外，本发明可以在权利要求书所记载的特征范围内实施各种设计变更。
以上详细说明了本发明的实施方式，但这些实施方式仅是为了阐明本发明的技术内容而使用的具体例子而已，本发明不应被限定解释为这些具体例子，本发明的范围仅由所附的权利要求书限定。
本申请对应2017年7月13日向日本国特许厅提出申请的日本特愿2017－137263号，在此援引加入该申请的全部公开内容。
附图标记说明
1：作业车辆识别系统；2：作业车辆；3：终端装置(便携终端)；4：远程监视服务器；11：作业车辆控制装置；12：远程监视终端；30：控制部；31：通信部；32：操作显示部；33：操作部；34：存储部；35：基本表；36：更换部件表；37：部件更换过程表；38：错误监视表；39：维护历史管理表；41：远程监视部；42：服务器侧识别控制部；50：控制部；51：位置检测部；52：姿势·方位检测部；53：拍摄部；54：通信部；55：操作显示部；57：存储部；58：部件图像表；61：终端侧识别控制部。

Claims (7)

1.一种物体识别系统，其中，
该物体识别系统包括终端装置和能够与所述终端装置进行通信的服务器，所述终端装置能够拍摄多个被识别物体中的要识别的被识别物体即识别对象，所述多个被识别物体具有能够从外部拍摄的特征信息，
所述终端装置包括：
检测部，其检测包含该终端装置的位置和方位在内的终端位置信息；
拍摄部，其用于拍摄所述识别对象；以及
终端侧识别控制部，其提取由所述拍摄部拍摄的拍摄图像中包含的所述识别对象的特征信息，并将包含提取出的特征信息和所述终端位置信息在内的识别判定用信息发送给所述服务器；
所述服务器包括：
存储部，其针对每个所述被识别物体存储有该被识别物体的特征信息和位置信息；以及
服务器侧识别控制部，其基于从所述终端装置接收到的所述识别判定用信息内的终端位置信息而设定搜索区域，并搜索满足“存在于所设定的搜索区域内且具有与所述识别判定用信息内的特征信息相同的特征信息”这一条件的规定的被识别物体，当搜索到满足所述条件的规定的被识别物体时，将该规定的被识别物体确定为所述识别对象。
2.根据权利要求1所述的物体识别系统，其中，
所述服务器侧识别控制部构成为：当满足所述条件的规定的被识别物体存在多个时，将这多个规定的被识别物体中的存在于离所述终端装置最近的位置的规定的被识别物体确定为所述识别对象。
3.根据权利要求1或2所述的物体识别系统，其中，
所述存储部针对每个所述被识别物体存储有该被识别物体的特征信息、位置信息和个体信息，
所述服务器侧识别控制部构成为：在将所述规定的被识别物体确定为所述识别对象时，将所述存储部中存储的该规定的被识别物体的个体信息发送给所述终端装置。
4.根据权利要求3所述的物体识别系统，其中，
所述终端装置还包括用于显示利用所述拍摄部拍摄的拍摄图像的显示部，
所述终端侧识别控制部构成为：将由所述服务器侧识别控制部发送来的所述个体信息叠加于所述显示部所显示的拍摄图像而显示。
5.根据权利要求4所述的物体识别系统，其中，
所述个体信息包含用于识别对应的被识别物体的识别信息、对应的被识别物体的运转信息和对应的被识别物体的维护信息中的至少一项信息。
6.根据权利要求4所述的物体识别系统，其中，
所述个体信息包含表示对应的被识别物体的故障部件的故障部件识别信息，
所述终端侧识别控制部构成为：基于由所述服务器侧识别控制部发送来的所述个体信息中包含的故障部件识别信息，在所述显示部所显示的拍摄图像上叠加显示与所述故障部件识别信息对应的故障部件的图像。
7.根据权利要求1～6中任一项所述的物体识别系统，其中，
所述特征信息是对应的被识别物体的型号信息。
CN201880021896.8A 2017-07-13 2018-05-28 物体识别系统 Active CN110959167B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311317938.1A CN117372952A (zh) 2017-07-13 2018-05-28 物体识别系统

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-137263 2017-07-13
JP2017137263A JP6815290B2 (ja) 2017-07-13 2017-07-13 物体識別システム
PCT/JP2018/020418 WO2019012823A1 (ja) 2017-07-13 2018-05-28 物体識別システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202311317938.1A Division CN117372952A (zh) 2017-07-13 2018-05-28 物体识别系统

Publications (2)

Publication Number Publication Date
CN110959167A true CN110959167A (zh) 2020-04-03
CN110959167B CN110959167B (zh) 2023-11-03

Family

ID=65001897

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202311317938.1A Pending CN117372952A (zh) 2017-07-13 2018-05-28 物体识别系统
CN201880021896.8A Active CN110959167B (zh) 2017-07-13 2018-05-28 物体识别系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202311317938.1A Pending CN117372952A (zh) 2017-07-13 2018-05-28 物体识别系统

Country Status (5)

Country Link
EP (1) EP3654279A4 (zh)
JP (1) JP6815290B2 (zh)
KR (2) KR102363216B1 (zh)
CN (2) CN117372952A (zh)
WO (1) WO2019012823A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4261353A1 (en) 2020-12-10 2023-10-18 Kubota Corporation Diagnosis assistance apparatus for work machine
JP7211443B2 (ja) * 2021-02-25 2023-01-24 井関農機株式会社 走行車両

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1329738A (zh) * 1998-12-09 2002-01-02 富士通株式会社 车载车辆引导设备、通信服务器系统、及代用车辆引导系统
CN102371953A (zh) * 2010-08-13 2012-03-14 现代自动车株式会社 用于使用增强现实管理车辆消耗品的系统和方法
CN102737227A (zh) * 2011-03-25 2012-10-17 索尼公司 终端装置、信息处理装置、对象识别方法、程序以及系统
US20130317694A1 (en) * 2012-05-23 2013-11-28 Snap-On Incorporated Methods and Systems for Providing Vehicle Repair Information
CN103632513A (zh) * 2013-11-21 2014-03-12 深圳市卡讯尔车联网科技开发有限公司 基于云服务器的车辆紧急救援交互方法及系统
CN103940620A (zh) * 2014-04-24 2014-07-23 成都华诚立信科技有限公司 基于图像识别的汽车故障判别与提示的方法及系统
US20150232273A1 (en) * 2014-02-18 2015-08-20 Quanta Computer Inc. Robotic vehicle, datacenter, and method for maintaining datacenter
US20170124776A1 (en) * 2015-11-03 2017-05-04 Cnh Industrial America Llc Vehicle maintenance apparatus and method
CN106851701A (zh) * 2016-12-09 2017-06-13 交控科技股份有限公司 一种车地通信中轨旁无线ap故障处理方法及装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004095374A1 (ja) * 2003-04-21 2004-11-04 Nec Corporation 映像オブジェクト認識装置および認識方法、映像アノテーション付与装置および付与方法ならびにプログラム
JP5685390B2 (ja) 2010-05-14 2015-03-18 株式会社Ｎｔｔドコモ 物体認識装置、物体認識システムおよび物体認識方法
US8625902B2 (en) * 2010-07-30 2014-01-07 Qualcomm Incorporated Object recognition using incremental feature extraction
JP5762892B2 (ja) * 2011-09-06 2015-08-12 ビッグローブ株式会社 情報表示システム、情報表示方法、及び情報表示用プログラム
JP5902930B2 (ja) * 2011-12-02 2016-04-13 ヤンマー株式会社 遠隔監視システムの管理サーバ
KR101867853B1 (ko) * 2012-02-29 2018-06-15 엘지전자 주식회사 휴대 단말기 및 네트워크 시스템
WO2014006884A1 (ja) * 2012-07-03 2014-01-09 東京エレクトロン株式会社 製造設備の監視装置及び監視方法
JP6326996B2 (ja) * 2014-06-13 2018-05-23 富士通株式会社 端末装置、情報処理システム、及び表示制御プログラム
JP5971387B2 (ja) 2015-07-07 2016-08-17 ソニー株式会社 端末装置、物体識別方法、及び情報処理装置
JP6673567B2 (ja) * 2015-12-17 2020-03-25 株式会社デンソーテン 情報表示装置、情報表示システム及び情報表示方法
JP2017137263A (ja) 2016-02-04 2017-08-10 株式会社トクヤマ １，１，１，３−テトラクロロプロパンの製造方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1329738A (zh) * 1998-12-09 2002-01-02 富士通株式会社 车载车辆引导设备、通信服务器系统、及代用车辆引导系统
CN102371953A (zh) * 2010-08-13 2012-03-14 现代自动车株式会社 用于使用增强现实管理车辆消耗品的系统和方法
CN102737227A (zh) * 2011-03-25 2012-10-17 索尼公司 终端装置、信息处理装置、对象识别方法、程序以及系统
US20130317694A1 (en) * 2012-05-23 2013-11-28 Snap-On Incorporated Methods and Systems for Providing Vehicle Repair Information
CN103632513A (zh) * 2013-11-21 2014-03-12 深圳市卡讯尔车联网科技开发有限公司 基于云服务器的车辆紧急救援交互方法及系统
US20150232273A1 (en) * 2014-02-18 2015-08-20 Quanta Computer Inc. Robotic vehicle, datacenter, and method for maintaining datacenter
CN103940620A (zh) * 2014-04-24 2014-07-23 成都华诚立信科技有限公司 基于图像识别的汽车故障判别与提示的方法及系统
US20170124776A1 (en) * 2015-11-03 2017-05-04 Cnh Industrial America Llc Vehicle maintenance apparatus and method
CN106851701A (zh) * 2016-12-09 2017-06-13 交控科技股份有限公司 一种车地通信中轨旁无线ap故障处理方法及装置

Also Published As

Publication number Publication date
JP6815290B2 (ja) 2021-01-20
KR102363216B1 (ko) 2022-02-14
CN117372952A (zh) 2024-01-09
KR20210054024A (ko) 2021-05-12
WO2019012823A1 (ja) 2019-01-17
KR102252245B1 (ko) 2021-05-13
KR20190107076A (ko) 2019-09-18
JP2019020914A (ja) 2019-02-07
EP3654279A4 (en) 2021-04-14
CN110959167B (zh) 2023-11-03
EP3654279A1 (en) 2020-05-20

Similar Documents

Publication Publication Date Title
CN107402000B (zh) 用于将显示装置相对于测量仪器相互关联的方法和系统
JP5255595B2 (ja) 端末位置特定システム、及び端末位置特定方法
US20190260959A1 (en) Video transmission apparatus, video transmission method, and program
JP6364952B2 (ja) 情報処理装置、情報処理システムおよび情報処理方法
CN104007945B (zh) 信息处理终端、信息处理方法和信息处理程序
US11587442B2 (en) System, program, and method for detecting information on a person from a video of an on-vehicle camera
JP6728897B2 (ja) 画像収集装置、画像収集システム、画像収集方法及びプログラム
CN110959167B (zh) 物体识别系统
JP2021166081A (ja) 半導体装置及び位置移動算出システム
KR20140100611A (ko) 길안내 시스템의 동작 방법 및 휴대 기기의 길안내 방법
JP7055186B2 (ja) 物体識別システム
JP7195118B2 (ja) 情報表示システム、情報表示方法及び情報表示プログラム
JP5910729B2 (ja) 位置判定システム、位置判定方法、コンピュータプログラム及び位置判定装置
US11216969B2 (en) System, method, and computer-readable medium for managing position of target
KR20190013176A (ko) 드론을 이용한 구조물의 변화 탐지 방법 및 장치
US11954804B2 (en) Information processing device and information processing method to display a virtual object
JPWO2018134943A1 (ja) 判別装置、判別システム、判別方法及びプログラム
JP6719315B2 (ja) 鉄道の支障範囲可視化システム
JP6689492B2 (ja) 端末装置、データ処理システム及びプログラム
CN111052017A (zh) 作业辅助系统
JP7195117B2 (ja) 情報表示システム、情報表示方法及び情報表示プログラム
JP2012208835A (ja) 災害検出画像処理システム
CN114730209A (zh) 显示装置以及显示方法
CN117677911A (zh) 无人机、控制终端、服务器及其控制方法
JP2020106919A (ja) 飛翔体の地理座標推定装置、地理座標推定システム、地理座標推定方法、及びコンピュータプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Osaka Prefecture, Japan

Applicant after: Yangma Power Technology Co.,Ltd.

Address before: Osaka Prefecture, Japan

Applicant before: YANMAR Co.,Ltd.

GR01 Patent grant
GR01 Patent grant