JP2019020914A - 物体識別システム - Google Patents

Abstract

【課題】複数の被識別物体の中に同じ特徴情報を有する複数の被識別物体が存在する場合でも、端末装置で識別対象を撮像することによって、当該識別対象を個体レベルで識別することができるようになる物体識別システムを提供する。【解決手段】端末装置は、当該端末装置の位置および方位を含む端末位置情報と、撮像画像から抽出した型式情報とを含む識別判定用情報を、遠隔監視サーバに送信する。遠隔監視サーバは、端末装置から受信した識別判定用情報内の端末位置情報に基づいて探索領域を設定し、設定した探索領域内に存在しかつ識別判定用情報内の型式情報と同型式であるという条件を満たす作業車両を探索する。そして、遠隔監視サーバは、前記条件を満たす作業車両が探索できたときには、当該作業車両を識別対象として特定する。【選択図】図９

Description

この発明は、物体識別システムに関する。

特許文献１には、カメラを備えた端末装置と、端末装置と通信可能なサーバとを備えた物体識別システムが開示されている。具体的には、端末装置は、カメラで撮像された画像（入力画像）をサーバに送信する。サーバは、端末装置から受信した画像の特徴量を抽出し、抽出した特徴量を第１特徴量辞書と照合することにより、受信画像に映っている物体を識別する。そして、サーバは、識別結果に応じて、端末装置に提供すべき第２特徴量辞書と付加情報データベースとを取得して、端末装置に送信する。第２特徴量辞書は、第１特徴量辞書よりもデータ量が少ない辞書である。

端末装置は、入力画像の特徴量を抽出し、サーバから取得した第２特徴量辞書と照合することにより、入力画像に映っている物体を識別する。次に、端末装置は、識別された物体に関連する付加情報を、サーバから取得した付加情報データベースから取得し、取得した付加情報を入力画像に重畳することにより、出力画像を生成する。そして、端末装置は、出力画像を表示部に表示する。

特開第２０１５−２１２９６７号公報

上記特許文献１に記載の物体識別システムでは、端末装置は、入力画像の特徴量と、サーバから取得した第２特徴量辞書とを照合することによって、入力画像に映っている物体を識別している。しかしながら、例えば、作業車両のように、同じ型式の作業車両が複数存在している場合には、入力画像に映っている作業車両の特徴量から、当該作業車両を個体レベルで識別することは困難である。

この発明の目的は、複数の被識別物体の中に同じ特徴情報を有する複数の被識別物体が存在する場合でも、端末装置で識別対象を撮像することによって、当該識別対象を個体レベルで識別することができるようになる物体識別システムを提供することである。

この発明による物体識別システムは、外部から撮像可能な特徴情報を有する複数の被識別物体のうち、識別すべき被識別物体である識別対象を撮像可能な端末装置と、前記端末装置と通信可能なサーバとを含み、前記端末装置は、当該端末装置の位置および方位を含む端末位置情報を検出する検出部と、前記識別対象を撮像するための撮像部と、前記撮像画像に含まれる前記識別対象の特徴情報を抽出し、抽出された特徴情報と前記端末位置情報とを含む識別判定用情報を、前記サーバに送信する端末側識別制御部とを含み、前記サーバは、前記被識別物体毎に、当該被識別物体の特徴情報および位置情報が記憶された記憶部と、前記端末装置から受信した前記識別判定用情報内の端末位置情報に基づいて探索領域を設定し、設定した探索領域内に存在しかつ前記識別判定用情報内の特徴情報と同じ特徴情報を有するという条件を満たす所定の被識別物体を探索し、前記条件を満たす所定の被識別物体を探索できたときに、当該所定の被識別物体を前記識別対象として特定するサーバ側識別制御部とを含む。

被識別物体とは、この発明の物体識別システムによって識別されるべき対象となり得る物体を意味する。識別対象とは、複数の被識別物体のうち、識別されるべき対象をいう。
この構成では、端末装置の撮像部によって識別対象が撮像され、当該識別対象の特徴情報が抽出される。そして、識別対象の特徴情報と端末位置情報とを含む識別判定用情報がサーバに送信される。サーバ側では、端末位置情報に基づいて探索領域が設定され、設定された探索領域内に存在しかつ識別判定用情報内の特徴情報（識別対象の特徴情報）と同じ特徴情報を有するという条件を満たす被識別物体が探索される。そして、前記条件を満たす被識別物体が見つけられると、当該被識別物体が識別対象として特定される。したがって、複数の被識別物体の中に同じ特徴情報を有する複数の被識別物体が存在する場合でも、端末装置で識別対象を撮像することによって、当該識別対象を個体レベルで識別することができるようになる。

この発明の一実施形態では、前記サーバ側識別制御部は、前記条件を満たす所定の被識別物体が複数存在するときには、これらの複数の所定の被識別物体のうち前記端末装置に最も近い位置に存在する所定の被識別物体を前記識別対象として特定するように構成されている。
この構成では、撮像画像内に識別対象と同じ特徴情報を有する複数の被識別物体が存在している場合でも、識別対象を特定することが可能となる。

この発明の一実施形態では、前記記憶部には、前記被識別物体毎に、当該被識別物体の特徴情報、位置情報および個別情報が記憶されており、前記サーバ側識別制御部は、前記所定の被識別物体を前記識別対象として特定したときには、前記記憶部に記憶されている当該所定の被識別物体の個別情報を、前記端末装置に送信するように構成されている。
この構成では、識別対象として特定された被識別物体の個別情報を、サーバから端末装置に送信できるようになる。

この発明の一実施形態では、前記端末装置は、前記撮像部で撮像されている撮像画像を表示するための表示部をさらに含み、前記端末側識別制御部は、前記サーバ側識別制御部によって送信された前記個別情報を、前記表示部に表示されている撮像画像に重畳表示するように構成されている。
この構成では、端末装置の使用者は、識別対象の個別情報を認識できるようになる。

この発明の一実施形態では、前記個別情報は、対応する被識別物体を識別する識別情報、対応する被識別物体の稼働情報および対応する被識別物体のメンテンス情報のうちの少なくとも１つを含む。
この構成では、端末装置の使用者は、識別対象の識別情報、稼働情報およびメンテンス情報のうちの少なくとも１つを認識することが可能となる。

この発明の一実施形態では、前記個別情報は、対応する被識別物体の故障部品を表す故障部品識別情報を含んでおり、前記端末側識別制御部は、前記サーバ側識別制御部によって送信された前記個別情報に含まれている故障部品識別情報に基づいて、前記表示部に表示されている撮像画像に、前記故障部品識別情報に対応する故障部品の画像を重畳表示するように構成されている。

この構成では、端末装置の使用者は、故障個所を視覚的に認識することができるようになる。
この発明の一実施形態では、前記特徴情報は、対応する被識別物体の型式情報である。

図１は、この発明の一実施形態に係る物体識別システムが適用された作業車両識別システムの構成を示す模式図である。 図２は、作業車両の主要な電気的構成を示すブロック図である。 図３は、遠隔監視サーバの電気的構成を示すブロック図である。 図４Ａは基本テーブルの内容例を示す模式図であり、図４Ｂは交換部品テーブルの内容例を示す模式図であり、図４Ｃは部品交換手順テーブルの内容例を示す模式図である。 図５Ａはエラー監視テーブルの内容例を示す模式図であり、図５Ｂはメンテナンス履歴管理テーブルの内容例を示す模式図である。 図６は、携帯端末の電気的構成を示すブロック図である。 図７は、部品画像テーブルの内容例を示す模式図である。 図８は、端末側識別制御部によって実行される端末側識別制御処理の手順の一例を示すフローチャートである。 図９は、サーバ側識別制御部によって実行されるサーバ側識別制御処理の手順の一例を示すフローチャートである。 図１０は、探索領域の設定方法を説明するための模式図である。 図１１は、撮像画像に個別情報および部品画像が重畳された例を示す模式図である。 図１２は、撮像画像に個別情報および部品画像が重畳された他の例を示す模式図である。

以下では、この発明の実施形態を、添付図面を参照して詳細に説明する。
図１は、この発明の一実施形態に係る物体識別システムが適用された作業車両識別システムの構成を示す模式図である。
作業車両識別システム１は、被識別物体としての作業車両２を個体レベルで識別するためのシステムである。作業車両識別システム１は、携帯型の端末装置（以下、「携帯端末３」という）と、遠隔監視サーバ４とを含む。

作業車両２は、通信網６を介して遠隔監視サーバ４と通信可能である。作業車両２は、測位衛星７を利用して自己位置を測位する機能を備えている。作業車両２の側面には、型式を表す型式情報９が記載されている。図１に示されている作業車両２の型式情報９は、“ＹＨ４４８”である。型式情報９は、被識物体の特徴情報の一例である。
携帯端末３は、スマートフォン、タブレット型パーソナルコンピュータ（タブレット型ＰＣ）等の携帯端末からなる。この実施形態では、携帯端末３は、スマートフォンである。携帯端末３は、ＣＣＤカメラ等の撮像部５３（図６参照）を備えている。また、携帯端末３は、測位衛星７を利用して自己位置を測位する機能を備えている。携帯端末３には、本実施形態を実施するために開発された車両識別・情報付加プログラムが搭載されている。車両識別・情報付加プログラムは、遠隔監視サーバ４と連携して作業車両２の識別を行うとともに、ＡＲを利用して撮像画像への情報付加を行うためのアプリケーションプログラムである。ここでＡＲは、拡張現実（Augmented Reality）と呼ばれ、現実空間に付加情報を表示させ、現実世界を拡張する技術である。携帯端末３は、通信網６を介して遠隔監視サーバ４と通信可能である。この実施形態では、携帯端末３は、例えば、作業車両２のメンテナンスを行う際に、メンテナンスを行うサービスマンによって携帯される。

遠隔監視サーバ４は、複数の作業車両２を遠隔監視するためのサーバであり、遠隔監視センター５内に設けられている。遠隔監視サーバ４は、通信網６を介して、作業車両２および携帯端末３と通信可能である。
作業車両識別システム１の全体的な動作の概要について説明する。
作業車両２は、作業車両２の識別情報、位置情報、稼働情報、エラー検知情報（異常情報）等を、遠隔監視サーバ４に送信する。作業車両２から遠隔監視サーバ４に送信される作業車両２の識別情報は、この実施形態では、後述するように、作業車両２に設けられた遠隔監視端末１２（図２参照）の電話番号である。この識別情報は、作業車両２に割り当てられたユニークな識別情報である機番であってもよい。

遠隔監視サーバ４は、作業車両２から、識別情報、位置情報、稼働情報、エラー検知情報等を受信すると、これらの情報を当該作業車両２の識別情報、型式情報および機番に関係付けて記憶する。遠隔監視サーバ４は、作業車両２からのエラー検知情報を受信した場合には、オペレータを介してまたは直接に、サービスマンにその旨を通知する。サービスマンは、携帯端末３を携帯して、エラーが発生している作業車両２が存在している場所に出向く。以下において、前記エラーが発生している作業車両２を「エラー車両」という場合がある。

エラー車両が存在している場所にサービスマンが到着すると、サービスマンは、携帯端末３を操作して、車両識別・情報付加プログラムを起動する。車両識別・情報付加プログラムが起動されると、撮像部５３が作動状態となるので、サービスマンは携帯端末３の撮像方向をエラー車両（識別対象）の側面に合わせる。より具体的には、エラー車両における型式情報９が記載されている側面が撮像されるように、サービスマンは携帯端末３をエラー車両に向ける。これにより、撮像部５３からエラー車両を含む画像が携帯端末３に入力される状態となる。

携帯端末３は、入力画像から型式情報９を抽出する。そして、携帯端末３は、抽出した型式情報９ならびに携帯端末３の位置情報（携帯端末３の姿勢および方位の情報を含んでいてもよい）を含む識別判定用情報を遠隔監視サーバ４に送信する。
遠隔監視サーバ４は、携帯端末３からの識別判定用情報を受信すると、識別判定用情報内の位置情報に基づいて、携帯端末３の近傍に探索領域を設定する。次に、遠隔監視サーバ４は、複数の作業車両２の最新の位置情報に基づいて、探索領域内に存在しかつ識別判定用情報内の型式情報９と同型式であるという条件を満たす作業車両２を探索する。そして、前記条件を満たす作業車両２が見つかると、遠隔監視サーバ４は、当該作業車両２をエラー車両（識別対象）として特定し、当該作業車両２に関する情報（以下、「個別情報」という）を、携帯端末３に送信する。携帯端末３は、個別情報を受信すると、個別情報内の所定の情報を入力画像に重畳表示したり、個別情報内の所定の情報に対応する画像（例えば部品画像）を入力画像に重畳表示したりする。

以下、作業車両２、遠隔監視サーバ４および携帯端末３の電気的構成について説明する。
図２は、作業車両２の主要な電気的構成を示すブロック図である。
作業車両２は、作業車両制御装置１１と、遠隔監視端末１２とを含む。作業車両制御装置１１は、作業車両２の各部の電気機器を制御する。作業車両２が例えばコンバインである場合には、作業車両制御装置１１は、走行装置、刈取装置、搬送装置、脱穀装置等のコンバインの各部の電気機器を制御する。作業車両制御装置１１は、作業車両２の稼働情報、エラー検知情報等を遠隔監視端末１２に与える。稼働情報としては、稼働時間、エンジン回転数、排気温度、アクセルの操作状態、ブレーキの操作状態等が挙げられる。この実施形態では、エラー検知情報は、エラーの種類を示すエラーコードを含む。

遠隔監視端末１２は、作業車両２の位置情報、作業車両制御装置１１から与えられた稼働情報およびエラー検知情報等を遠隔監視サーバ４に送信する。この実施形態では、遠隔監視端末１２には、通信用の電話番号が設定されている。
遠隔監視端末１２は、制御部２０を備えている。制御部２０には、位置検出部２１、通信部２２、操作表示部２３、操作部２４、記憶部２５等が接続されている。位置検出部２１は、衛星測位システムに基づいて遠隔監視端末１２の位置情報を算出する。この実施形態では、衛星測位システムは、ＧＮＳＳ（Global Navigation Satellite System）である。具体的には、位置検出部２１は、複数の測位衛星７（図１参照）からの衛星信号を受信して、遠隔監視端末１２（作業車両２）の位置情報を算出する。位置情報は、例えば、緯度、経度および高度情報からなる。

通信部２２は、制御部２０が通信網６を介して遠隔監視サーバ４と通信するための通信インタフェースである。操作表示部２３は、例えば、タッチパネル式ディスプレイからなる。操作部２４は、例えば、１または複数の操作ボタンを含む。記憶部２５は、不揮発性メモリ等の記憶デバイスから構成されている。
制御部２０は、ＣＰＵおよびメモリ（ＲＯＭ、ＲＡＭ等）を備えたマイクロコンピュータを含む。制御部２０は、位置検出部２１によって算出される位置情報を所定時間毎に取得して記憶部２５に記憶する。そして、制御部２０は、所定時間毎に、記憶部２５に記憶されている最新の位置情報を遠隔監視サーバ４に送信する。

また、制御部２０は、作業車両制御装置１１から与えられた稼働情報を記憶部２５に蓄積する。そして、制御部２０は、記憶部２５に蓄積されている稼働情報を、所定のタイミング（例えば、電源オフ操作が行われたタイミング）で、一括して遠隔監視サーバ４に送信する。また、制御部２０は、作業車両制御装置１１からエラー検知情報が与えられたときには、当該エラー検知情報を記憶部２５に記憶するとともに、当該エラー検知情報を遠隔監視サーバ４に送信する。

図３は、遠隔監視サーバ４の電気的構成を示すブロック図である。
遠隔監視サーバ４は、制御部３０を備えている。制御部３０には、通信部３１、操作表示部３２、操作部３３、記憶部３４等が接続されている。通信部３１は、制御部３０が通信網６を介して遠隔監視端末１２（作業車両２）および携帯端末３と通信するための通信インタフェースである。操作表示部３２は、例えば、タッチパネル式ディスプレイからなる。操作部３３は、例えば、キーボード、マウス等を含む。記憶部３４は、ハードディスク、不揮発性メモリ等の記憶デバイスから構成されている。

記憶部３４には、基本テーブル３５、交換部品テーブル３６、部品交換手順テーブル３７、エラー監視テーブル３８、メンテナンス履歴管理テーブル３９等が設けられている。
基本テーブル３５は、図４Ａに示すように、作業車両２に設けられた遠隔監視端末１２の電話番号毎に、当該作業車両２の型式、機番、最新位置情報、稼働時間、その他の稼働情報（図示略）等が記憶される。最新位置情報および稼働時間は、対応する作業車両２から稼働情報を受信する毎に制御部３０によって更新される。

交換部品テーブル３６は、図４Ｂに示すように、エラーコード毎に、当該エラーコードで表されるエラーを解除するために交換が必要な部品のコード（交換部品コード）および部品名称が記憶される。交換部品コードは、故障部品識別情報の一例である。１つのエラーコードに対して複数の部品の交換が必要である場合には、当該エラーコードに対応して、これらの複数の部品それぞれに対する交換部品コードおよび部品名称が記憶される。

部品交換手順テーブル３７は、図４Ｃに示すように、部品コード（交換部品コード）毎に、当該部品の交換手順情報が記憶される。部品交換手順情報は、例えば、ＰＤＦファイルとして記憶される。
エラー監視テーブル３８は、作業車両２からのエラー検知情報を受信したときに、エラーコード等の情報が記憶されるテーブルである。具体的には、作業車両２からのエラー検知情報を受信すると、制御部３０は、図５Ａに示すように、作業車両２の電話番号、エラー発生日時、エラーコード等を含むエラー情報を、エラー監視テーブル３８に記憶する。

メンテナンス履歴管理テーブル３９は、メンテナンス履歴情報を管理するためのテーブルである。メンテナンス履歴情報は、図５Ｂに示すように、メンテナンスが行われた作業車両２の電話番号、メンテナンスが行われた日時（メンテナンス日時）、メンテナンスの内容等からなる。メンテナンス履歴情報は、例えば、メンテナンス終了後において、オペレータ等によって入力される。

図３に戻り、制御部３０は、ＣＰＵおよびメモリ（ＲＯＭ、ＲＡＭ等）を備えたマイクロコンピュータを含む。制御部３０は、遠隔監視部４１と、サーバ側識別制御部４２とを含む。遠隔監視部４１は、作業車両２からの稼働情報を受信したときに、基本テーブル３５内の稼働情報を更新したり、基本テーブル３５内に稼働情報を追加する。また、遠隔監視部４１は、作業車両２からのエラー検知情報を受信したときには、エラー監視テーブル３８にエラー情報を記憶するとともに、これらの内容を、オペレータを介してまたは直接にサービスマンに通知する。

例えば、遠隔監視部４１は、エラー検知情報を受信したときに、エラー検知情報を受信したことを示す警告表示を行ったり、警告音を出力したりすることによって、エラー検知情報を受信したことをオペレータに報知する。オペレータは、エラー検知情報を受信したことを認識すると、エラー情報をサービスマンに通知する。あるいは、遠隔監視部４１は、エラー検知情報を受信したときに、エラー情報を含むエラー通知メールを作成して、予め設定されたサービスマン宛てにエラー通知メールを送信する。

サーバ側識別制御部４２は、携帯端末３によって撮像されている作業車両（識別対象）を特定し、特定した作業車両に関する個別情報を携帯端末３に送信するといったサーバ側識別制御処理を行う。サーバ側識別制御処理の詳細については、後述する。
図６は、携帯端末３の電気的構成を示すブロック図である。
携帯端末３は、制御部５０を備えている。制御部５０には、位置検出部５１、姿勢・方位検出部５２、撮像部５３、通信部５４、操作表示部５５、操作部５６、記憶部５７等が接続されている。位置検出部５１は、衛星測位システムに基づいて携帯端末３の位置情報を算出する。この実施形態では、衛星測位システムは、ＧＮＳＳ（Global Navigation Satellite System）である。具体的には、位置検出部５１は、複数の測位衛星７（図１参照）からの衛星信号を受信して、携帯端末３の位置情報を算出する。位置情報は、例えば、緯度、経度および高度情報からなる。

姿勢・方位検出部５２は、携帯端末３の姿勢および方位を検出する。携帯端末３の姿勢とは、携帯端末３の三次元方向の傾き角を示し、携帯端末３の方位とは、撮像部５３による撮像方向を示す。姿勢・方位検出部５２は、例えば、ジャイロセンサ、加速度センサ、地磁気センサ等を用いて、携帯端末３の姿勢および方位を検出する。
以下において、位置検出部５１によって検出された位置ならびに姿勢・方位検出部５２によって検出された姿勢および方位のうち、少なくとも位置を含む情報を端末位置情報ということにする。ただし、この実施形態では、端末位置情報は、位置、姿勢および方位の全ての情報を含んでいる。

撮像部５３は、例えば、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像デバイスを用いて、被識別対象である作業車両２を撮像する。
通信部５４は、制御部５０が通信網６を介して遠隔監視サーバ４と通信を行うための通信インタフェースである。操作表示部５５は、例えば、タッチパネル式ディスプレイからなる。操作部５６は、例えば、１または複数の操作ボタンを含む。記憶部５７は、不揮発性メモリ等の記憶デバイスから構成される。

記憶部５７には、作業車両２の型式毎に部品画像テーブル５８，５８，…が設けられている。各部品画像テーブル５８には、図７に示すように、当該型式の作業車両２を構成する部品の部品コード毎に、その部品の位置を表す情報（部品位置情報）およびその部品の画像（部品画像）が記憶されている。部品画像は、この実施形態では、三次元のＣＧ画像である。なお、部品画像は、写真画像であってもよいし、二次元のＣＧ画像であってもよい。部品画像は、後述するように、例えば、交換すべき部品を撮像画像上に明示するために、撮像画像に重畳表示される。

部品位置情報は、作業車両２の側面に記された型式情報の位置を基準とした部品の位置を表す情報である。例えば、作業車両２の型式情報９が記載されている側面を、作業車両２の外側方から観察者が見たときに、型式情報９の位置を原点としたＸＹＺ座標系のｘｙｚ座標値を、部品位置情報として用いることができる。この際、例えば、Ｘ軸方向を車両の前後方向（前記側面の横方向）にとり、Ｙ軸方向を車両の高さ方向（前記側面の縦方向）にとり、Ｚ軸方向を車両の左右方向（前記側面からの奥行方向）にとってもよい。

部品画像テーブル５８に記憶される部品画像の基準表示サイズは、実際の部品の大きさの所定倍の大きさに設定されている。同様に、部品位置情報である座標値も、実際の作業車両２に対する座標値を例えば前記所定倍した値に設定されている。言い換えれば、実際の作業車両を所定倍した大きさの作業車両を、基準作業車両とすると、部品位置情報（座標値）の絶対値および部品画像の基準表示サイズは、基準作業車両に対応した大きさに設定されている。

撮像部５３によって撮像される画像内の作業車両２の大きさは、携帯端末３と作業車両２との距離、ズーム量等の撮像条件に応じて変化する。したがって、部品画像を撮像画像内の作業車両の対応する位置に重畳表示するためには、部品位置情報の絶対値および部品画像の表示サイズを、撮像画像内の作業車両の大きさに応じた大きさに変更する必要がある。この変更は、例えば次のように行うことができる。すなわち、画像内の作業車両の型式情報９の大きさから、基準作業車両の大きさに対する画像内の作業車両の大きさの比を求める。そして、この比に基づいて、部品位置情報の絶対値および部品画像の表示サイズを、画像内の作業車両の大きさに応じた大きさに調整する。

制御部５０は、ＣＰＵおよびメモリ（ＲＯＭ、ＲＡＭ、不揮発性メモリ等）６０を備えたマイクロコンピュータを含む。メモリ（詳しくは不揮発性メモリ）６０には、前述した車両識別・情報付加プログラムが記憶されている。制御部５０は、車両識別・情報付加プログラムが起動されたときに、識別・情報付加プログラムに従って端末側識別制御処理を実行する端末側識別制御部６１を含む。

図８は、端末側識別制御部６１によって実行される端末側識別制御処理の手順の一例を示すフローチャートである。図９は、サーバ側識別制御部４２によって実行されるサーバ側識別制御処理の手順の一例を示すフローチャートである。
図８に示される端末側識別制御処理は、例えば、エラーが発生している作業車両（エラー車両）が存在している場所にサービスマンが到着した後、サービスマンが携帯端末３を操作して、車両識別・情報付加プログラムを起動することによって開始される。

端末側識別制御処理が開始されると、端末側識別制御部６１は、撮像部５３を作動状態にする(ステップＳ１)。これにより、撮像部５３によって画像が撮像され、撮像画像は制御部５０を介して、操作表示部５５に表示される。この撮像画像は、端末側識別制御部６１にも入力される。サービスマンは、型式情報９が記載されているエラー車両の側面が撮像されるように、携帯端末３をエラー車両の側面に向ける。

端末側識別制御部６１は、入力画像から型式情報を抽出するための型式情報抽出処理を行う(ステップＳ２)。この型式情報抽出処理は、公知の画像認識技術を用いて行うことができる。
入力画像から型式情報が抽出されると、端末側識別制御部６１は、抽出された型式情報と端末位置情報とを含む識別判定用情報を遠隔監視サーバ４に送信する(ステップＳ３)。

図９を参照して、遠隔監視サーバ４のサーバ側識別制御部４２は、端末側識別制御部６１からの識別判定用情報を受信すると(ステップＳ１１：ＹＥＳ)、識別判定用情報内の端末位置情報に基づいて、探索領域を設定する(ステップＳ１２：ＹＥＳ)。具体的には、サーバ側識別制御部４２は、図１０に示すように、平面視において、携帯端末３から撮像部５３の撮像方向（図１０に矢印で示す方向Ａ）に向かって拡がる半径ｒの扇形領域（ハッチング領域）Ｓを、探索領域として設定する。扇形領域Ｓの２つの半径がなす角が、扇型領域Ｓの中心角である。扇形領域Ｓの中心角は、扇形領域Ｓの一方の半径と撮像方向Ａとのなす角θと、扇形領域Ｓの他方の半径と撮像方向Ａとのなす角θとの和の２θとなる。この実施形態では、半径ｒは３０ｍに設定され、θは１５度に設定されている。つまり、この実施形態では、扇形領域Ｓの中心角は、３０度に設定されている。

次に、サーバ側識別制御部４２は、図４Ａの基本テーブル３５に記憶されている複数の作業車両２の最新位置情報に基づいて、探索領域Ｓ内に存在しかつ識別判定用情報内の型式情報と同型式であるという条件を満たす作業車両２を探索する(ステップＳ１３)。
そして、サーバ側識別制御部４２は、所定の探索時間後に、前記条件を満たす作業車両２が１台のみ見つかったか、２台以上見つかったか、１台もみつからなかったかを判別する(ステップＳ１４)。

前記条件を満たす作業車両２が１台もみつからなかった場合には、サーバ側識別制御部４２は、携帯端末３で撮像されているエラー車両を特定できなかったことを表す識別失敗コマンドを含む識別結果情報を、携帯端末３に送信する（ステップＳ１５）。
前記ステップＳ１４において、前記条件を満たす作業車両２が１台のみ見つかった場合には、サーバ側識別制御部４２は、当該作業車両２を、携帯端末３で撮像されているエラー車両（識別対象）として特定する(ステップＳ１６)。そして、サーバ側識別制御部４２は、ステップＳ１８に移行する。

前記ステップＳ１４において、前記条件を満たす作業車両２が２台以上見つかった場合には、サーバ側識別制御部４２は、これらの複数の作業車両２のうち、携帯端末３に最も近い位置に存在する作業車両２を、携帯端末３で撮像されているエラー車両（識別対象）として特定する(ステップＳ１７)。そして、ステップＳ１８に移行する。
前記ステップＳ１８では、サーバ側識別制御部４２は、テーブル３５〜３８に基づいて、エラー車両（識別対象）として特定された作業車両２に関する個別情報を取得し、取得した個別情報と識別成功コマンドとを含む識別結果情報を、携帯端末３に送信する。

具体的には、サーバ側識別制御部４２は、図４Ａの基本テーブル３５から、エラー車両として特定された作業車両２の型式、機番、稼働時間等の情報を取得する。また、サーバ側識別制御部４２は、図５Ａのエラー監視テーブル３８から、エラー車両として特定された作業車両２の今回のエラー原因であるエラーコードを取得する。そして、サーバ側識別制御部４２は、図４Ｂの交換部品テーブル３６から、エラー監視テーブル３８から取得したエラーコードに対応する交換部品コードおよび部品名称を取得する。さらに、サーバ側識別制御部４２は、図４Ｃの部品交換手順テーブル３７から、交換部品テーブル３６から取得した各交換部品コードに対応する部品交換手順情報を取得する。そして、サーバ側識別制御部４２は、テーブル３５〜３８から取得した個別情報（型式、機番、稼働時間、エラーコード、交換部品コードおよび部品名称、部品交換手順情報等）と、識別成功コマンドとを含む識別結果情報を、携帯端末３に送信する。

図８に戻り、携帯端末３の端末側識別制御部６１は、遠隔監視サーバ４からの識別結果情報を受信すると(ステップＳ４：ＹＥＳ)、それに含まれているコマンドが識別成功コマンドあるか否か以下を判別する(ステップＳ５)。識別結果情報に含まれているコマンドが識別失敗コマンドである場合には(ステップＳ５：ＮＯ)、端末側識別制御部６１は、ステップＳ２に戻る。

識別結果情報に含まれているコマンドが識別成功コマンドである場合には(ステップＳ５：ＹＥＳ)、端末側識別制御部６１は、情報付加処理を行う(ステップＳ６)。具体的には、端末側識別制御部６１は、図１１に示すように、識別結果情報に含まれている型式、機番および稼働時間を撮像画像に重畳表示する。また、端末側識別制御部６１は、図１１に示すように、識別結果情報に含まれているエラーコードおよび交換部品名称と、交換手順ボタン７１とを撮像画像に重畳表示する。この例では、交換部品名称は、ＭＨセンサである。交換部品名称の代わりにまたはそれに加えて交換部品コードが表示されてもよい。サービスマンが交換手順ボタン７１を押すと、識別結果情報に含まれている部品交換手順情報が表示される。

さらに、端末側識別制御部６１は、識別結果情報に含まれている型式および交換部品コード（この例では当該コードに対応する部品名称はＭＨセンサ）に基づいて、当該型式に対応する部品画像テーブルから当該交換部品コードに対応する部品位置情報および部品画像を取得する。次に、端末側識別制御部６１は、前述したように，撮像画像から抽出した型式情報９の大きさに基づいて、部品位置情報絶対値および部品画像の表示サイズを調整する。そして、端末側識別制御部６１は、図１１に破線内の部品画像７２に示すように、調整後の部品位置情報で示される位置に、調整後の表示サイズで、部品画像を撮像画像に重畳表示する。なお、図１１には示されていないが、利用者に対し、識別判定の基準となる位置を知らせるため、作業車両２の型式情報９を含む小領域の拡大画像を、画像の所定の領域（例えば１つの角部）に表示してもよい。

この後、端末側識別制御部６１は、サービスマンによってエラー車両の識別をやり直すための操作が行われたか否かを判別する(ステップＳ７)。図１１には図示されていないが、端末側識別制御部６１は、例えば、表示画面上に識別やり直しボタンを表示し、この識別やり直しボタンがサービスマンによって操作されたときに、エラー車両の識別をやり直すための操作が行われたと判別するようにしてもよい。

エラー車両の識別をやり直すための操作が行われていない場合には(ステップＳ７：ＮＯ)、端末側識別制御部６１は、サービスマンによって、車両識別・情報付加プログラムを終了させるための操作が行われたか否かを判別する(ステップＳ８)。車両識別・情報付加プログラムを終了させるための操作が行われていない場合には(ステップＳ８：ＮＯ)、端末側識別制御部６１は、ステップＳ７に戻る。

前記ステップＳ７において、エラー車両の識別をやり直すための操作が行われたと判別された場合には(ステップＳ７：ＹＥＳ)、端末側識別制御部６１は、ステップＳ２に戻る。これにより、ステップＳ２以降の処理が再度実行される。
前記ステップＳ８において、車両識別・情報付加プログラムを終了させるための操作が行われたと判別された場合には(ステップＳ８：ＹＥＳ)、端末側識別制御部６１は、端末側識別制御処理を終了する。

前記実施形態では、携帯端末３によって識別対象としての作業車両２が撮像され、当該識別対象の型式情報が抽出される。そして、当該識別対象の型式情報と携帯端末３の端末位置情報とを含む識別判定用情報が、遠隔監視サーバ４に送信される。遠隔監視サーバ４側では、端末位置情報に基づいて探索領域Ｓが設定され、設定された探索領域Ｓ内に存在しかつ識別対象の型式情報と同型式であるという条件を満たす作業車両２が探索される。そして、前記条件を満たす作業車両２が見つけられると、当該作業車両２が識別対象として特定される。したがって、複数の作業車両２の中に同じ型式情報を有する複数の作業車両２が存在する場合でも、携帯端末３で識別対象を撮像することによって、当該識別対象を個体レベルで識別することができるようになる。

また、前記実施形態では、識別対象の型式、機番、稼働時間、エラーコード、交換部品名称、部品交換手順情報等の個別情報を、携帯端末３の撮像画像に重畳表示することができる。これにより、携帯端末３の使用者（前記実施形態の例ではサービスマン）は、識別対象の型式、機番、稼働時間、エラーコード、交換部品名称、部品交換手順情報等の個別情報を認識することができるようになる。

また、前記実施形態では、個別情報に含まれている交換部品コードに対応する部品画像を、携帯端末３の撮像画像の対応する位置に重畳表示することができる。これにより、携帯端末３の使用者（前記実施形態の例ではサービスマン）は、故障個所を視覚的に認識できるようになる。
以上、この発明の実施形態について説明したが、この発明はさらに他の形態で実施することもできる。例えば、携帯端末３は、図８のステップＳ６の情報付加処理において、図１２に示すように、メンテナンスに関連する情報を、撮像画像に重畳表示するようにしてもよい。この例では、ＭＨセンサ（部品画像７２）は故障していないが、交換推奨対象とされている。図１２の例では、ＭＨセンサの部品画像７２に関して、「交換から１００時間が経過していますので、交換をお勧めします。」というメッセージと、「オイル交換は２０１６／０６／１２に行いました。」というメッセージとが、撮像画像に重畳表示されている。このようなメッセージは、遠隔監視サーバ４が、図９のステップＳ１８において、メンテナンス履歴管理テーブル３９（図５Ｂ参照）に基づいて作成し、個別情報として識別結果情報に含ませることにより、携帯端末３に送ることができる。図１２では、交換推奨部品も、前述の交換部品と同様に取り扱われているため、エラーコード、交換部品名称および交換手順ボタン７１も、図１１と同様に表示されている。

また、遠隔監視サーバ４は、個別情報として、例えば、識別対象２の各種検出値から予測されるメンテナンス推奨メッセージ等を作成して、個別情報に含めてもよい。このようにすると、メンテナンス推奨メッセージを携帯端末３に表示することができる。メンテナンス推奨メッセージとしては、例えば、「ロスセンサ値が高いです。一度点検をお勧めします。」というような例を挙げることができる。

前述の実施形態では、携帯端末３は、位置、姿勢および方位からなる端末位置情報と、型式情報を含む識別判定用情報を遠隔監視サーバ４に送信している。しかし、端末位置情報は、位置、姿勢および方位のうち、少なくとも位置情報を含んでいればよい。端末位置情報が、例えば、位置の情報を含んでいるが、姿勢および方位の情報を含んでいない場合には、遠隔監視サーバ４は、探索領域Ｓを、平面視において、携帯端末３を中心とする所定半径の円領域に設定してもよい。

前述の本実施形態では、作業車両２の遠隔監視端末１２および携帯端末３に用いられている測位システムとして、ＧＮＳＳの単独測位システムが用いられているが、ＲＴＫ−ＧＮＳＳ（リアルタイム・キネマティクＧＮＳＳ）等のような単独測位システム以外の測位システムを用いてもよい。
また、前述の実施形態では、識別対象である作業車両がコンバインである場合について説明したが、識別対象である作業車両は、トラクタ、田植え機、土木・建設作業車両、除雪車、乗用型作業機、歩行型作業機等のコンバイン以外の作業車両であってもよい。

また、前述の実施形態では、被識別物体として作業車両を例にとって説明したが、被識別物体は作業車両以外の物体であってもよい。
その他、特許請求の範囲に記載された事項の範囲で種々の設計変更を施すことが可能である。

１ 作業車両識別システム
２ 作業車両
３ 端末装置（携帯端末）
４ 遠隔監視サーバ
１１ 作業車両制御装置
１２ 遠隔監視端末
３０ 制御部
３１ 通信部
３２ 操作表示部
３３ 操作部
３４ 記憶部
３５ 基本テーブル
３６ 交換部品テーブル
３７ 部品交換手順テーブル
３８ エラー監視テーブル
３９ メンテナンス履歴管理テーブル
４１ 遠隔監視部
４２ サーバ側識別制御部
５０ 制御部
５１ 位置検出部
５２ 姿勢・方位検出部
５３ 撮像部
５４ 通信部
５５ 操作表示部
５７ 記憶部
５８ 部品画像テーブル
６１ 端末側識別制御部

Claims (7)

1. 外部から撮像可能な特徴情報を有する複数の被識別物体のうち、識別すべき被識別物体である識別対象を撮像可能な端末装置と、前記端末装置と通信可能なサーバとを含み、
   前記端末装置は、
   当該端末装置の位置および方位を含む端末位置情報を検出する検出部と、
   前記識別対象を撮像するための撮像部と、
   前記撮像画像に含まれる前記識別対象の特徴情報を抽出し、抽出された特徴情報と前記端末位置情報とを含む識別判定用情報を、前記サーバに送信する端末側識別制御部とを含み、
   前記サーバは、
   前記被識別物体毎に、当該被識別物体の特徴情報および位置情報が記憶された記憶部と、
   前記端末装置から受信した前記識別判定用情報内の端末位置情報に基づいて探索領域を設定し、設定した探索領域内に存在しかつ前記識別判定用情報内の特徴情報と同じ特徴情報を有するという条件を満たす所定の被識別物体を探索し、前記条件を満たす所定の被識別物体を探索できたときに、当該所定の被識別物体を前記識別対象として特定するサーバ側識別制御部とを含む、物体識別システム。
2. 前記サーバ側識別制御部は、前記条件を満たす所定の被識別物体が複数存在するときには、これらの複数の所定の被識別物体のうち前記端末装置に最も近い位置に存在する所定の被識別物体を前記識別対象として特定するように構成されている、請求項１に記載の物体識別システム。
3. 前記記憶部には、前記被識別物体毎に、当該被識別物体の特徴情報、位置情報および個別情報が記憶されており、
   前記サーバ側識別制御部は、前記所定の被識別物体を前記識別対象として特定したときには、前記記憶部に記憶されている当該所定の被識別物体の個別情報を、前記端末装置に送信するように構成されている、請求項１または２に記載の物体識別システム。
4. 前記端末装置は、前記撮像部で撮像されている撮像画像を表示するための表示部をさらに含み、
   前記端末側識別制御部は、前記サーバ側識別制御部によって送信された前記個別情報を、前記表示部に表示されている撮像画像に重畳表示するように構成されている、請求項３に記載の物体識別システム。
5. 前記個別情報は、対応する被識別物体を識別する識別情報、対応する被識別物体の稼働情報および対応する被識別物体のメンテンス情報のうちの少なくとも１つを含む、請求項４に記載の物体識別システム。
6. 前記個別情報は、対応する被識別物体の故障部品を表す故障部品識別情報を含んでおり、
   前記端末側識別制御部は、前記サーバ側識別制御部によって送信された前記個別情報に含まれている故障部品識別情報に基づいて、前記表示部に表示されている撮像画像に、前記故障部品識別情報に対応する故障部品の画像を重畳表示するように構成されている、請求項４に記載の物体識別システム
7. 前記特徴情報は、対応する被識別物体の型式情報である、請求項１〜６のいずれか一項に記載の物体識別システム。

Images