JP2019185613A - 部品情報提供方法 - Google Patents

Abstract

【課題】車載部品の情報を提供する技術において撮像画像から車載部品を精度良く特定する技術を提供する。【解決手段】車載部品を撮像する端末装置１２から撮像画像を受け取って、車載部品に関する情報を端末装置１２に送信する部品情報提供装置１０において実行される部品情報提供方法であって、端末装置１２に関連付けられた車種情報に対応する部品モデルデータを用いて、端末装置１２から受け取った撮像画像に含まれる車載部品を特定するステップと、特定した車載部品に対応する応答データを取得するステップと、取得した応答データを端末装置１２に送信するステップと、を含む。特定するステップにおいて、部品モデルデータとして異なる視点位置からの複数の部品モデル画像を用いて車載部品を特定する。【選択図】図２

Description

本発明は、車載部品について説明するための情報を提供する部品情報提供方法に関する。

特許文献１には、携帯端末のカメラで撮像された車室内のレバーやボタンなどの対象物を管理サーバで識別する対象物識別システムが開示されている。この携帯端末は、自端末が基準位置にあることを検出する基準位置検出手段と、自端末の基準位置からの変位量を検出する変位検出手段を有し、管理サーバは、撮影画像とのマッチングを行うためのテンプレート画像と、対象物の配置を表す配置情報と、携帯端末の変位量と、カメラが撮像した画像にもとづいて対象物を識別する対象物識別手段を有する。

特開２０１４−１６４４０７号公報

特許文献１に開示される技術において、撮像画像上の対象物は、カメラの撮像位置によって異なる形で示されるため、撮像画像上の対象物とテンプレート画像に示す対象物の形状が大きく異なる場合、対象物を識別する精度が低下し得る。

本発明の目的は、車載部品の情報を提供する技術において撮像画像から車載部品を精度良く特定する技術を提供することにある。

上記課題を解決するために、本発明のある態様は、車載部品を撮像する端末装置から撮像画像を受け取って、車載部品に関する情報を端末装置に送信する部品情報提供装置において実行される部品情報提供方法であって、端末装置に関連付けられた車種情報に対応する部品モデルデータを用いて、端末装置から受け取った撮像画像に含まれる車載部品を特定するステップと、特定した車載部品に対応する応答データを取得するステップと、取得した応答データを端末装置に送信するステップと、を含む。特定するステップにおいて、部品モデルデータとして異なる視点位置からの複数の部品モデル画像を用いて車載部品を特定する。

この態様によると、異なる視点位置からの複数の部品モデル画像を用いて車載部品を特定するため、撮像位置によって撮像画像に含まれる車載部品の形状が異なっても、車載部品を精度良く特定できる。

本発明によれば、車載部品の情報を提供する技術において撮像画像から車載部品を精度良く特定する技術を提供できる。

部品情報提供システムについて説明するための図である。 部品情報提供システムの機能構成を説明するための図である。 車載部品の部品情報を付加した撮像画像について説明するための図である。 車載部品群の部品情報を付加した撮像画像について説明するための図である。

図１は、部品情報提供システム１について説明するための図である。部品情報提供システム１は、部品情報提供装置１０および端末装置１２により構成される。部品情報提供システム１は、ユーザの端末装置１２により撮像された撮像画像を受け取って、撮像画像に含まれる車載部品を説明するための情報をユーザに提供する。

端末装置１２は、ユーザの操作によって車両に設けられた車載部品を撮像し、撮像画像を部品情報提供装置１０に送る。部品情報提供装置１０は、撮像画像を受信して、撮像画像に含まれる車載部品を特定して、車載部品に対応する応答データを端末装置１２に送る。端末装置１２は、応答データを受信して、応答データをもとに車載部品を説明するための部品情報を表示する。

車載部品は、例えば、車室内に設けられたスイッチおよび計器であり、エンジンルーム内の部品である。車載部品は、例えば自動車、船舶、航空機、列車などに搭載された部品である。部品情報は、車載部品の名称や機能説明を含む。

ユーザは、不明な車載部品がある場合に、その車載部品を端末装置１２で撮像させ、撮像画像を部品情報提供装置１０に送信させれば、車載部品の部品情報を見ることが可能になる。

図２は、部品情報提供システム１の機能構成を説明するための図である。図２において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

部品情報提供装置１０は、サーバ側通信部２０、特定部２２、部品モデルデータ保持部２４および応答データ保持部２６を有する。端末装置１２は、端末側通信部３０、撮像画像取得部３２、部品情報保持部３４および表示制御部３６を有する。

端末装置１２は、車載部品の部品情報を提供するためのアプリケーションプログラムを有しており、アプリケーションプログラムには、端末装置１２を所有するユーザが運転する車両の車種が登録されている。部品情報提供装置１０は、そのアプリケーションプログラムを有する端末装置１２の端末ＩＤを保持し、端末装置１２から送信された情報を端末ＩＤにより識別する。

撮像画像取得部３２は、端末装置１２に設けられるカメラにより撮像した撮像画像を取得する。この撮像画像は、車載部品に向かって撮像されたものである。端末側通信部３０は、撮像画像取得部３２により取得した撮像画像を車種情報とともにサーバ側通信部２０に送る。また、端末側通信部３０は、撮像画像の解析結果として、撮像画像に含まれる車載部品に関する情報を受け取る。

部品情報保持部３４は、車載部品について説明する部品情報を保持する。部品情報は、車種毎に各車載部品の説明をテキストで保持される。部品情報は、各車載部品毎の説明に限らず、複数の車載部品をまとめて説明する上位階層の車載部品群の説明を含む。例えば、部品情報は、上位階層の説明として、オーディオのスイッチ群、空調機能のスイッチ群など、車載部品群の説明を含む。上位階層の車載部品群の説明と、下位階層の個別の車載部品の説明は関連付けられている。

表示制御部３６は、撮像画像をもとに画像を生成して、生成画像を端末装置１２のディスプレイに表示させる制御を行う。表示制御部３６は、撮像画像取得部３２から取得した撮像画像に、部品情報保持部３４から取得した車載部品の情報を示す付加画像を重ねて、画像を生成する。撮像画像上に付加される付加画像には、車載部品に関する情報の説明ページに移動させるハイパーリンクが設定されてよい。その場合、表示制御部３６は、部品情報の説明ページと付加画像とを対応付ける情報を保持する。

表示制御部３６は、撮像画像に付加する車載部品の情報を、端末側通信部３０により受信された撮像画像の解析結果にもとづいて部品情報保持部３４から取得する。撮像画像の解析結果には、その撮像画像に含まれる車載部品に対応する応答データが含まれている。応答データは、車載部品と、部品情報保持部３４に保持されるその車載部品の部品情報とを対応付ける。

部品情報提供装置１０のサーバ側通信部２０は、端末側通信部３０から撮像画像および車種情報を受け取る。サーバ側通信部２０は、撮像画像の解析結果として応答データを端末側通信部３０に送る。

特定部２２は、画像解析処理によって撮像画像に含まれる車載部品を特定する。特定部２２は、部品モデルデータ保持部２４に保持される部品モデルデータを用いて、撮像画像に含まれる車載部品を特定する。特定部２２は、特定した車載部品に対応する応答データを応答データ保持部２６から取得し、サーバ側通信部２０を介して端末側通信部３０に送る。

部品モデルデータ保持部２４は、車種情報毎に車載部品の部品モデルデータを保持する。部品モデルデータは、車載部品を撮像した画像データであってよく、車載部品の特徴を示す特徴量であってよい。車載部品の特徴量は、他の車載部品や特徴点との位置関係を示す情報や、車載部品に記されている記号の形状データなどであってよい。

部品モデルデータは、１つの車載部品に対して、異なる視点位置から見た複数の部品モデル画像を含む。例えば、部品モデルデータは、センターコンソールに設けられる車載部品に対して、正面の部品モデル画像と、運転席側から見た部品モデル画像と、助手席側から見た部品モデル画像と、上方から見た部品モデル画像と、下方から見た部品モデル画像とを含む。これにより、取得された撮像画像の撮像位置が異なることで、撮像画像に含まれる車載部品の形状が、正面から見た車載部品と異なっていても、特定部２２は車載部品を精度良く特定できる。

応答データ保持部２６は、車載部品毎に車載部品に関する情報を応答データとして保持する。応答データは、特定部２２により特定された車載部品と、部品情報保持部３４に保持される部品情報とを対応づけるための識別情報である。

特定部２２は、端末装置１２に関連付けられた車種情報に対応する部品モデルデータを用いて、端末装置１２から受け取った撮像画像に含まれる車載部品を特定する。これにより、車種によって車載部品が異なっても、精度良く特定できる。

さらに、特定部２２は、部品モデルデータとして異なる視点位置からの複数の部品モデル画像を用いて車載部品を特定する。これにより、車載部品の撮像位置が異なっても、車載部品を精度良く特定できる。

特定部２２は、特定した車載部品に対応する応答データを取得し、端末側通信部３０は、取得された応答データを撮像画像の解析結果としてサーバ側通信部２０に送る。また、特定部２２は、特定した車載部品の撮像画像上の位置情報を算出し、端末側通信部３０は、車載部品に対応する応答データとともに、車載部品の位置情報をサーバ側通信部２０に送る。

図３は、車載部品の部品情報を付加した撮像画像について説明するための図である。図３（ａ）には生成前の撮像画像４０ａを示し、図３（ｂ）には撮像画像４０ａに部品情報を付加した生成画像４０ｂを示す。

図３（ａ）に示す撮像画像４０ａには、車載部品である第１スイッチ４２の全形が示される。この撮像画像４０ａが部品情報提供装置１０に送信され、特定部２２が第１スイッチ４２を特定して、第１スイッチ４２に対応する応答データを取得する。第１スイッチ４２に対応する応答データが端末装置１２に送信されて、その応答データをもとに表示制御部３６は部品情報を付加した生成画像４０ｂを生成する。

図３（ｂ）に示す生成画像４０ｂには、第１スイッチ４２の部品情報を示す付加画像４４が撮像画像４０ａに重ねて表示されている。図３（ｂ）には、部品情報として名称を示すが、第１スイッチ４２の機能の説明を示してもよい。付加画像４４の位置は、特定部２２により算出された第１スイッチ４２の位置情報にもとづいて設定される。

また、付加画像４４には、第１スイッチ４２の機能を説明するテキストページに移動するハイパーリンクが設定されてよい。ユーザが端末装置１２に表示される付加画像４４をタッチ操作すると、端末装置１２が付加画像４４へのタッチ操作を検出して、第１スイッチ４２の機能を説明するテキストページを表示させる。このようにユーザは、端末装置１２によって第１スイッチ４２を撮像すれば、第１スイッチ４２の情報を知ることができる。

図４は、車載部品群の部品情報を付加した撮像画像について説明するための図である。図４（ａ）には生成前の撮像画像４６ａを示し、図４（ｂ）には撮像画像４６ａに部品情報を付加した生成画像４６ｂを示す。

図４（ａ）に示す撮像画像４６ａには第１スイッチ４２を含む第１スイッチ群５０と、第２スイッチ群５２の全形が示される。第１スイッチ群５０および第２スイッチ群５２は、複数のスイッチをそれぞれ含む。

特定部２２は、第１スイッチ群５０および第２スイッチ群５２の全形が撮像画像４６ａに含まれることを特定して、第１スイッチ群５０に対応する応答データと、第２スイッチ群５２に対応する応答データを取得する。サーバ側通信部２０は、第１スイッチ群５０に対応する応答データおよび第１スイッチ群５０の位置情報と、第２スイッチ群５２に対応する応答データおよび第２スイッチ群５２の位置情報とを端末側通信部３０に送信する。特定部２２は、第１スイッチ群５０の部品モデルデータ、第２スイッチ群５２の部品モデルデータを用いて車載部品を特定してよい。表示制御部３６は、応答データおよび位置情報をもとに部品情報を付加した生成画像４６ｂを生成する。

図４（ｂ）に示す生成画像４６ｂには、第１スイッチ群５０部品情報を示す第１付加画像４８と、第２スイッチ群５２の部品情報を示す第２付加画像５４とが撮像画像４６ａに重ねて表示されている。

第１付加画像４８および第２付加画像５４には、テキストページに移動するハイパーリンクが設定されてよい。例えば、ユーザが端末装置１２に表示される第１付加画像４８をタッチ操作すると、第１スイッチ群５０に含まれる各車載部品の説明するテキストページが表示されてよい。

図４（ｂ）に示す生成画像４６ｂでは、図３（ｂ）に示す生成画像４０ｂと比べて、複数の車載部品をまとめて示す上位階層の第１付加画像４８が表示される。これにより、ユーザが情報を所望する車載部品に焦点をあてて撮像しなくても、撮像画像に所望の車載部品が含まれていれば、所望の車載部品の情報にアクセス可能な情報を提供できる。

なお実施例はあくまでも例示であり、各構成要素の組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

実施例では、端末側通信部３０が撮像画像とともに車種情報をサーバ側通信部２０に送信する態様を示したが、この態様に限られない。例えば、端末側通信部３０は、ユーザの登録時に車種情報をサーバ側通信部２０に予め送信してよく、撮像画像の送信時に車種情報を送信しなくてもよい。この場合は、部品情報提供装置１０に端末装置１２の端末ＩＤに関連付けられた車種情報が予め保持される。また、端末側通信部３０は、撮像画像の送信毎にユーザに選択された車種情報を送信してもよい。いずれにしても、部品情報提供装置１０は、端末装置１２に関連付けられた車種情報を取得できる。

また、実施例では、端末装置１２が部品情報保持部３４を有する態様を示したが、この態様に限られず、部品情報提供装置１０が有してもよい。サーバ側通信部２０は、特定部２２により特定された車載部品の部品情報を端末側通信部３０に送信する。また、部品情報提供装置１０が撮像画像に重ねる付加画像を生成して端末側通信部３０に送信してもよい。この場合、サーバ側通信部２０から送られる応答データが、特定された車載部品の部品情報を含む。

１ 部品情報提供システム、 １０ 部品情報提供装置、 １２ 端末装置、 ２０ サーバ側通信部、 ２２ 特定部、 ２４ 部品モデルデータ保持部、 ２６ 応答データ保持部、 ３０ 端末側通信部、 ３２ 撮像画像取得部、 ３４ 部品情報保持部、 ３６ 表示制御部、 ４０ａ 撮像画像、 ４０ｂ 生成画像。

Claims (1)

1. 車載部品を撮像する端末装置から撮像画像を受け取って、車載部品に関する情報を前記端末装置に送る部品情報提供装置において実行される部品情報提供方法であって、
   前記端末装置に関連付けられた車種情報に対応する部品モデルデータを用いて、前記端末装置から受け取った撮像画像に含まれる車載部品を特定するステップと、
   特定した車載部品に対応する応答データを取得するステップと、
   取得した応答データを前記端末装置に送るステップと、を含み、
   前記特定するステップにおいて、部品モデルデータとして異なる視点位置からの複数の部品モデル画像を用いて車載部品を特定することを特徴とする部品情報提供方法。

Images