JP2023095748A - 物体認識システム、物体認識プログラム及び、物体認識方法 - Google Patents

Abstract

【課題】
似た物体が想定される場合であってもより適切に物体を特定できる、新規な物体認識システムを提供すること。
【解決手段】
ユーザが撮影した物体画像に含まれる対象物体が、データベースに登録された登録物体のうち何れであるかを推定する物体認識システムであって、前記物体画像を取得する取得手段と、１つの物体についてそれぞれ異なる特徴角度から見た場合の外観を表す複数の外観画像を、前記登録物体ごとに前記データベースに登録する登録手段と、前記物体画像及び前記外観画像に基づいて、前記対象物体がいずれの前記登録物体であるかを推定する推定手段と、を備える。
【選択図】図１

Description

本発明は、物体を撮影した画像から、その物体が事前に登録された登録物体のうち何れであるかを認識する、物体認識システム、物体認識プログラム及び、物体認識方法に関する。

例えば工業製品やその部品について、破損や紛失等により再度注文したい場合がある。しかしながら、特に専門的な製品や部品であれば、現物は持っていてもその製品名や型番等はわからない場合も多く、また類似の製品や部品が多数存在することから、必要な製品を需要者が特定できないという問題が生じていた。特に最近ではインターネットを通じた商品の販売も多く行われるが、需要者自身が対象の商品を特定できない場合には、結局、現物をもって店舗に出向き個別に相談したり、画像を添付して複数回のやりとりを行ったりする必要が生じており、十分な利便性が確保できていなかった。

このような課題に関し、物品の外観画像から、予め辞書に登録された商品を特定する技術が知られている。例えば特許文献１には、物品の外観を示す情報を取り込み、その特徴量を複数抽出して、各商品の特徴量と比較することで、商品候補を認識する技術が開示されている。

特開２０１８－１４２３５８号公報

例えば特許文献１のように、対象の取扱商品の中から候補を選択すればよい場合には、物品の外観から比較的容易に商品候補を特定することができ、また複数の候補がある場合にもユーザに選択させることで適切に商品を特定できる。しかしながら、特に類似の形状を有することが多い製品や部品を特定する場合には、１方向から見た外観を登録しておくだけでは類似の物体が多く、特定できない場合があるという課題があった。

そこで本発明は、似た物体が想定される場合であってもより適切に物体を特定できる、新規な物体認識システムを提供することを課題とする。

上記課題を解決するために、本発明は、ユーザが撮影した物体画像に含まれる対象物体が、データベースに登録された登録物体のうち何れであるかを推定する物体認識システムであって、前記物体画像を取得する取得手段と、１つの物体についてそれぞれ異なる特徴角度から見た場合の外観を表す複数の外観画像について、外観画像又はその特徴量を、前記登録物体ごとの外観情報として前記データベースに登録する登録手段と、前記物体画像及び前記外観情報に基づいて、前記対象物体がいずれの前記登録物体であるかを推定する推定手段と、を備える。

このような構成とすることで、物体ごとの多角的な外観画像に基づいてより正確に物体を認識することができる。

本発明の好ましい形態では、前記登録手段は、前記登録物体の３次元形状を示す情報に基づいて、複数の前記外観画像を生成して、生成した外観画像に基づく前記外観情報を前記登録物体ごとに前記データベースに登録する手段を有する。

このような構成とすることで、３次元形状の情報に基づいて外観画像を登録することができるため、各登録物体についてそれぞれ多数の外観画像を撮影する手間を要することなく、登録物体のデータベースを容易に作成することが可能となる。

本発明の好ましい形態では、前記登録手段は、前記登録物体を撮影した画像を取得して、前記登録物体ごとに当該画像を前記外観画像として前記外観情報を前記データベースに登録する手段を有する。

このような構成とすることで、実際に物体を撮影することで得られる画像を外観画像として登録し、ユーザにより取得される物体画像と似た外観画像により照合を行うことが可能となる。

本発明の好ましい形態では、前記登録手段は、外観に付着物を伴う前記登録物体の前記外観画像を生成又は取得して、生成した外観画像に基づく前記外観情報を前記データベースに登録する。

実際にユーザが物体を撮影する際には、物体に汚れや傷、錆等の付着物が伴う物体が被写体となる場合がある。このように、外観に付着物を伴う外観画像をデータベースに登録することにより、付着物がある場合にも適切に物体の認識を行うことを支援する効果が期待できる。

本発明の好ましい形態では、前記登録手段は、前記外観情報を、前記特徴角度を示す情報と対応付けて登録する。

このような構成とすることで、例えばユーザから複数の物体画像とともにその撮影角度に関する情報を取得すれば、角度に応じた外観の変化に基づいて物体を特定することが可能となり、より精度を向上させることができる。

本発明の好ましい形態では、前記登録手段は、前記登録物体を他の物体と区別するための情報を含む特徴画像を、登録物体に対応付けて登録可能に構成され、前記推定手段は、前記対象物体である可能性のある前記登録物体の候補を特定して、当該登録物体の前記特徴画像に基づき、前記対象物体を撮影するようユーザに指示するための撮影指示情報を生成する。

このような構成とすることで、例えば他の登録物体にはない特徴的な形状や、独自の刻印等を有する部分を含む画像を特徴画像として登録することで、その部分が写るようにユーザに撮影指示を行うことが可能となる。これにより、似た物体が複数存在する場合であっても、より正確に対象物体を特定することができる。

本発明の好ましい形態では、前記推定手段は、前記対象物体である可能性のある前記登録物体の候補を特定できない場合に、前記対象物体の付着物を除去するようユーザに指示するための撮影指示情報を生成する。

このような構成とすることで、付着物により外観が登録された外観画像と離れている場合であっても、適切にユーザに指示を出すことで、正確に物体を認識できる物体画像を取得することが可能となる。

本発明の好ましい形態では、前記推定手段は、前記物体画像を入力とし、前記物体画像に含まれる対象物体と同一の登録物体を出力とする教師データにより学習を行った推定モデルを用いて、前記対象物体がいずれの前記登録物体であるかを推定する。

このような構成とすることで、データセットを適切に選択することで、推定精度を向上させることが可能となる。

本発明は、ユーザが撮影した物体画像に含まれる対象物体が、データベースに登録された登録物体のうち何れであるかを推定するための物体認識プログラムであって、前記物体画像を取得する取得手段と、１つの物体についてそれぞれ異なる特徴角度から見た場合の外観を表す複数の外観画像について、外観画像又はその特徴量を、前記登録物体ごとの外観情報として前記データベースに登録する登録手段と、前記物体画像及び前記外観情報に基づいて、前記対象物体がいずれの前記登録物体であるかを推定する推定手段と、としてコンピュータを機能させる。

本発明は、ユーザが撮影した物体画像に含まれる対象物体が、データベースに登録された登録物体のうち何れであるかを推定する物体認識方法であって、前記物体画像を取得する取得ステップと、１つの物体についてそれぞれ異なる特徴角度から見た場合の外観を表す複数の外観画像について、外観画像又はその特徴量を、前記登録物体ごとの外観情報として前記データベースに登録する登録ステップと、前記物体画像及び前記外観情報に基づいて、前記対象物体がいずれの前記登録物体であるかを推定する推定ステップと、をコンピュータに実行させる。

本発明によれば、似た物体が想定される場合であってもより適切に物体を特定できる、新規な物体認識システムを提供することができる。

本発明の実施形態に係る物体認識システムの機能ブロック図である。 本発明の実施形態に係る物体の一例を説明する図である。 本発明の実施形態に係る物体認識システムの外観画像の撮影方向を示す図である。 本発明の実施形態に係る物体認識システムの外観画像の一例を示す図である。 本発明の実施形態に係る物体認識システムにおいてデータベースに格納される物体情報の一例を示す図である。 本発明の実施形態に係る物体認識システムの物体認識に係る処理フローチャートである。 本発明の実施形態に係る物体認識システムの撮影指示の表示例である。

以下、図面を用いて、本発明の物体認識システムについて説明する。なお、以下に示す実施形態は本発明の一例であり、本発明を以下の実施形態に限定するものではなく、様々な構成を採用することもできる。

例えば、本実施形態では物体認識システムの構成、動作等について説明するが、同様の構成の方法、装置、コンピュータプログラム等も、同様の作用効果を奏することができる。また、プログラムは、記録媒体に記憶させてもよい。この記録媒体を用いれば、例えばコンピュータにプログラムをインストールすることができる。ここで、プログラムを記憶した記録媒体は、例えばＣＤ－ＲＯＭ等の非一過性の記録媒体であっても良い。

本発明において「物体」とは、実物として存在する任意の物を指し、対象は限定されない。本実施形態では、工業製品やその製品を構成する部品、複数の部品が組み合わさったサブアセンブリ等を物体として想定する。

本発明では複数の物体をその外観とともに事前に登録し、この登録された物体のことを「登録物体」と呼ぶ。そしてユーザが撮影した対象物体が登録物体のうち何れであるかを、その外観に基づき認識する。

また本発明において登録物体を特定の角度から見た場合の外観を示す画像を外観画像と呼ぶ。この特定の角度を以下では「特徴角度」と呼び、本実施形態では外観画像又は外観画像から得られる特徴量を示す外観情報が、外観画像ごとに特徴角度と対応付けてデータベースに格納される。それぞれ異なる特徴角度と対応付けられた複数の外観画像の外観情報が登録物体ごとに格納されることにより、外観に基づいて物体の認識を行うことが可能となる。

以下、本実施形態では外観情報として外観画像そのものを想定し、外観情報の登録について「外観画像を登録する」と表現して説明を簡略化するが、外観画像に代えて外観画像の特徴量を用いることもできる。ここで特徴量としては、外観画像の画素値に基づき計算することにより得られるベクトル値を用いることができる。特徴量としては、画像の局所特徴と大域的特徴を組み合わせた情報を用いることが好ましい。また、用いる特徴量を機械学習により決定してもよい。例えば、物体の撮影画像から物体の種類を識別するタスクをニューラルネットワークモデルに学習させることで、モデルに特徴量の抽出を行わせ、識別精度が高くなるように、用いる特徴量を決定することが想定される。

なお、同一の登録物体に関し、同じ特徴角度について複数の外観画像を登録可能であってもよい。例えば本実施形態では、同一の登録物体の物体情報に紐づけて、同一の特徴角度に対応付けられた外観画像として、錆や汚れ、傷等の付着物を伴う場合の複数の外観画像と、このような付着物を伴わない外観画像と、を登録する。また、本発明において外観情報は必ずしも特徴角度と対応付けて登録される必要はなく、物体情報と外観画像を紐づけて登録する形態としてもよい。

次に、図１を参照して本実施形態の物体認識システムの機能構成を説明する。本実施形態の物体認識システムは、物体認識装置１と、端末装置２と、がネットワークＮＷを介して通信可能に構成され、物体認識装置１はデータベースＤＢと有線又は無線で接続される。物体認識装置１は、端末装置２からユーザが撮影した物体画像を受信し、認識処理を行うことで、物体画像に含まれる対象物体がデータベースＤＢに登録された登録物体のうち何れであるかを認識する。

物体認識装置１としては、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の演算装置、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の主記憶装置、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、フラッシュメモリ等の補助記憶装置、ネットワークＮＷへの接続手段を含む種々の入出力装置等を備えた、サーバ装置等の一般的なコンピュータ装置を利用することができる。また、複数のコンピュータを用いて物体認識装置１を構成してもよい。

端末装置２としては、カメラ、演算装置、記憶装置、ネットワークＮＷへの接続手段を含む種々の入出力装置等を備えた、スマートフォンやタブレット型端末等の任意のコンピュータ装置を利用することができる。物体認識装置１に物体画像の送信を行うための専用のアプリケーションや、専用のウェブページにアクセスするためのブラウザアプリケーション等が記憶装置に記憶され、演算装置が各種の処理を実行することで、任意のコンピュータ装置が本発明の端末装置２として機能する。

なお本実施形態ではカメラを備えるコンピュータを端末装置２として用いてネットワークＮＷを介して物体認識装置１に物体画像を送信するが、例えばデジタルカメラ等から物体認識装置１に有線又は無線で直接物体画像を送信する構成としてもよい。あるいは、任意のデータベース等に事前に格納された物体画像を、物体認識装置１が取得する構成であってもよい。

物体認識装置１は、登録物体ごとに外観画像を登録する登録手段１１と、端末装置２から送信された物体画像を取得する取得手段１２と、物体画像に含まれる対象物体がいずれの登録物体であるかを推定する推定手段１３と、を備える。なおこれらの手段は複数のコンピュータに分散して備えられていてもよい。

登録手段１１は、登録物体ごとに物体情報を登録し、物体情報に紐づけて複数の外観画像を登録する。外観画像はそれぞれ特定の特徴角度から見た場合の物体の外観を示し、特徴角度と対応付けられて登録される。以下、図２～４を用いて、外観画像の登録例について説明する。

ここで外観画像の登録例を説明するために、物体の一例を図２に示す。前述の通り物体の種類は限定されないが、ここでは例えば図２に示すような差圧発信機を例として想定する。この差圧発信機は、上流側の配管と下流側の配管との間に絞りを設け、上流側の圧力と下流側の圧力の差異を計測して配管内を通過する流体の流量を計測するものである。差圧発信機は図２に示すように複数の部品に分けることができ、この例では、差圧発信機を構成する部品の一つである、導管を登録物体として登録することを想定する。

この例では導管には低圧側と高圧側があり区別されるが、その形状は非常に似通っており、これらを見分けることは難しい。このように、よく似た部品等の物体が想定される場合に、それぞれの物体を見分けることができるように、複数の特徴角度と対応付けて外観画像が登録される。なお複数の特徴角度における複数の外観画像を登録することが好ましいが、特徴角度との対応付けは必須ではなく、単に異なる特徴角度における複数の外観画像をそれぞれ登録する形態としてもよい。

外観画像は、例えば図３のように、物体の上方、水平位置、下方のそれぞれから、鉛直方向の軸回りに観察角度（特徴角度）をずらしながら撮影することで取得することができる。ここで、外観画像の取得においては、特徴角度ごとに実際に物体やカメラを動かして実物を撮影してもよいし、あるいは、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）技術を用いて、３次元形状を示す情報を取得し、それに基づき各特徴角度から見た場合の外観画像を生成してもよい。

このようにして取得した特徴角度ごとの外観画像の例を、図４に示す。本実施形態では特徴角度として、基準とする位置からの水平方向及び鉛直方向の角度に対応付けて、それぞれの外観を示す画像が登録される。なおここでは鉛直方向の角度について、上方、水平、下方の３段階としているが、こちらについても例えば水平を０度として、所定の間隔（例えば３０度）ごとに－９０度から９０度の範囲で変化させてもよい。また特徴角度は、このように必ずしも一定間隔でなくてもよい。

また更に本実施形態の登録手段１１は、外観画像とは別に、又は外観画像の一部を、登録物体を他の物体と区別するための情報を含む特徴画像として、物体情報に紐づけて登録する。例えば図３の導管の例では、低圧側と高圧側で異なる文字が刻印される部分の画像を特徴画像として登録することができる。本実施形態では、登録手段１１が、特徴画像についても外観画像の特徴角度と同様に、その観察角度と対応付けて登録する。ここで特徴画像の観察角度は、登録物体を他の似た物体と区別することが容易な角度である。

取得手段１２は、端末装置２が撮影した物体画像を取得する。物体画像の取得方法は限定されず、例えば事前に撮影された画像を物体画像としてアップロードする形態であってもよいが、本実施形態では、端末装置２が備えるカメラを対象物体に向け、随時物体画像が撮影され、その都度、又は所定の間隔で物体認識装置１に送信され、取得手段１２が取得する形態を想定する。また本実施形態では、取得手段１２が物体画像とともにその撮影角度に関する情報についても併せて取得する。

推定手段１３は、取得手段１２が取得した物体画像及びデータベースＤＢに登録された登録物体の外観画像に基づいて、物体画像に含まれる対象物体がいずれの登録物体であるかを推定する。本実施形態では、物体画像を入力とし、物体画像に含まれる対象物体と同一の登録物体を出力とする教師データにより学習を行った推定モデルを用いて、対象物体がいずれの登録物体であるかを推定する。即ち推定手段１３は、外観画像を入力として、それに対応付けられる登録物体を推定するタスクを学習した推定モデルに、物体画像を入力することで、対象物体がいずれの登録物体であるかを推定する。

データベースＤＢは、登録物体ごとの物体情報や、物体情報に紐づけられた外観画像等の様々な情報を記憶する。図５は、データベースＤＢにおいて登録される登録物体ごとの物体情報の一例を示す図である。物体情報としては、登録物体を一意に識別する物体ＩＤと、型番と、物体名と、メーカー名と、特徴画像ＩＤと、撮影指示と、が格納される。特徴画像ＩＤは、特に登録物体を他の似た登録物体と見分けるために重要な部位の外観を示す特徴画像を指定する情報である。本実施形態ではこのように、登録物体ごとに特徴画像が登録される。

特徴画像は、物体の特徴的な形状や刻印、印字等、他の物体と区別するのに有用な撮影方向からの外観を示す画像である。例えば物体の特徴的な部位を拡大して撮影した画像を特徴画像として用いてもよい。特徴画像と対応付けられた外観画像のうちの何れかを特徴画像として用いることもできるが、外観画像とは別に、例えば物体全体ではなく特定の部位を拡大した画像等を用いてもよい。即ち、特徴画像は、物体の観察角度を示す情報と対応付けられていても、対応付けられていなくてもよい。また撮影指示は、特徴画像が示す部位の撮影をユーザに促すための文言であり、文字列として登録される。なお撮影指示としては、撮影方向を示す矢印のイラスト（画像）等、他の形式であってもよい。

このように、登録物体ごとに特徴角度ごとの外観画像や特徴画像がデータベースＤＢに登録される。そして本発明は、登録された情報と、ユーザにより撮影された物体画像と、に基づいて、物体画像に含まれる対象物体が、登録物体のうち何れであるかを推測する。以下、物体の認識処理の手順についてフローチャートを用いて説明する。

図６は、本実施形態における認識処理のフローチャートである。本実施形態では、端末装置２において撮像手段２１が対象物体を撮像し、物体画像を生成する。物体認識装置１においては、まずステップＳ１で、取得手段１２が端末装置２から送信された物体画像を取得する。ここで本実施形態では、物体画像とともに、端末装置２が備える加速度センサやジャイロセンサ等により得られる撮影角度に関する情報も取得する。

ここで物体画像の撮影においては、１枚１枚撮影指示を受け付けて撮影してもよいが、ユーザがカメラを物体に向け、その間撮像手段２１が随時連続して物体画像を取得して物体認識装置１に送信することが好ましい。これにより、取得手段１２は連続的に複数の物体画像を取得し、それに基づいて後述のように推定処理が行われるため、認識精度の向上効果が期待できる。また、撮影角度についても、物体画像を取得するごとに絶対的な値として取得する必要はなく、ある物体画像の撮影角度を基準に、どの方向にどれだけ動いたかという相対的な変化によって取得してもよい。

次にステップＳ２で推定手段１３が、物体画像及びデータベースＤＢに登録された情報に基づいて、対象物体の候補を特定する。具体的には、例えば、データベースＤＢに登録された外観画像及びその特徴角度をもとに物体を識別するタスクを学習したニューラルネットワークモデルを用いて、物体画像及び撮影角度に関する情報を入力することで対象物体の候補を特定する方法が想定される。

ステップＳ３では、推定手段１３が候補の特定に成功したか否かを判定する。例えば、ステップＳ２で対象物体が各登録物体である確率を登録物体ごとに算出し、所定値以上の確率が算出された登録物体が存在するか否かによって候補の特定の成否を判定することが考えられる。この場合、所定値以上の数値を満たす登録物体が存在しない場合、候補の特定に失敗したと判断してステップＳ４に進む。

候補が特定できない場合、物体画像に問題がある可能性が想定される。例えば汚れや錆、その他の付着物により物体の形状や色等、外観が変わってしまっている場合等である。したがって本実施形態ではステップＳ４において、推定手段１３が対象物体の付着物を除去するようユーザに指示するための撮影指示情報を生成し、端末装置２に送信する。そして端末装置２において撮影指示情報に基づく出力がされることで、ユーザに付着物の除去を指示することができる。またこの他、物体画像の撮影時に大きな動きを検出した場合にはブレによる物体画像の不具合が想定されるため、一定時間動かさないよう「動かさないでください」等と指示する撮影指示情報を生成する等、他の撮影指示情報を生成してもよい。

ステップＳ３で候補の特定に成功した場合、ステップＳ５に進んで更に候補が複数存在するか否かを推定手段１３が確認する。候補が複数存在する場合にはステップＳ６に進んで、推定手段１３が、特定された候補の何れかの登録物体における特徴画像に基づき、対象物体を撮影するようユーザに指示するための撮影指示情報を生成する。推定手段１３は、生成した撮影指示情報を端末装置２に送信し、出力手段２３が撮影指示情報に基づく出力を行う。

図７は、撮影指示情報に基づき表示される指示画面の表示例である。本実施形態では、推定手段１３が特定した何れかの候補の物体情報における特徴画像及び撮影指示に基づいて、撮影指示情報が生成される。ここでは、特徴画像を表示し、撮影指示として「画像のように刻印を撮影してください。」という文言が併せて表示される。この他、例えば特徴画像を撮影画像のプレビューに重畳表示して、「物体をガイドに合わせてください」等と指示する形態であってもよい。候補のうちどの登録物体の特徴画像及び撮影指示を用いるかは、任意に決定してよい。例えば、ステップＳ３で算出した確率が高い方の候補の物体情報を用いる方法等が想定される。

また、ここでは特徴画像及び撮影指示をそのまま表示する例を示したが、この他にも撮影角度等を具体的に指示する撮影指示情報を生成してもよい。例えば、特徴画像と対応付けてその観察角度をデータベースＤＢに登録しておき、それに基づく撮影指示情報を生成することが想定される。

より具体的には、まず取得手段１２が物体画像とともにその撮影角度を取得する。そして推定手段１３が、その撮影角度と特徴画像に対応付けられた観察角度と比較して、移動量及び移動方向、即ち、現在の撮影角度からどの方向にどれだけ動かせばよいのかを具体的に指示する撮影指示情報を生成する。この場合、出力手段２３が出力する撮影指示としては、例えば、「右に３０度移動して撮影してください」等の文言や、カメラを動かす方向を示す矢印等を表示することができる。

なお、このように本実施形態では特定された候補の特徴画像に基づいて撮影指示情報を生成するが、特徴画像やその観察角度を用いずに、例えば「他の方向から撮影してください」「物体を回転させてください」等、単に撮影角度を変更するように指示する撮影指示情報を生成してもよい。

上述の通り、本実施形態では連続して物体画像を取得し続けるため、指示に従ってユーザがカメラを動かすことで、再度認識が行われる。ここではステップＳ３で既に候補が絞られているため、ステップＳ６の指示に従って取得された物体画像及び特徴画像に基づき、推定手段１３がその候補の中からより適切な登録物体を特定して、ステップＳ７で特定した登録物体を候補として端末装置２に出力し、認識結果についての承認をユーザから受け付ける。なお、ここでも選択肢を絞り込まずに全ての登録物体を対象としてステップＳ２～ステップＳ５と同様の処理を行ってもよい。

そしてユーザが表示された候補を承認すると（ステップＳ８でＹｅｓ）、ステップＳ９に進んで物体を特定し、処理を終了する。一方、表示された候補と撮影した対象物体が異なると考えられる場合、ユーザは承認しないことを選択し（ステップＳ８でＮｏ）、ステップＳ１に戻って再度認識処理がやり直される。

以上のように、本実施形態の物体認識システムによれば、ユーザが端末装置２を用いて対象物体を撮影することで、似た物体がある場合にも好適に物体の認識を行うことができる。これにより、例えば、特定された登録物体の販売ページを表示させたり、登録物体に基づく問合せを行ったりすることが可能となり、ユーザ自身が対象物体の型番等を知らない場合であっても、物体の注文、修理、メーカーへの問合せ等の手続を容易に行うことができる。

具体的には、商品の通信販売ページにおいて本発明を適用し、物体を特定した後に、特定された登録物体を買い物かごに追加するための購入ボタンを表示することが想定される。これにより、手元にある物体の型番等が不明な場合にも、ユーザが容易に正確な商品を購入することができる。また例えば、製品のメーカーが提供するウェブサイトにおいて本発明を適用し、物体を特定した後に、特定された登録物体のマニュアル群のリンクを表示するためのマニュアル表示ボタンを表示することが想定される。マニュアル群としては、物体の修理手順書、取扱説明書、据付説明書、仕様書等を含むことができる。

なお上記の応用例において、物体が商品の一部の部品であり単体の購入ができない場合や部品自体のマニュアルが存在しない場合等には、物体情報を当該商品と紐づけておき、紐づけられた商品に対応する商品の購入ボタンやマニュアルボタンを表示してもよい。

１ ：物体認識装置
２ ：端末装置
１１ ：登録手段
１２ ：取得手段
１３ ：推定手段
２１ ：撮像手段
２２ ：入力手段
２３ ：出力手段
ＤＢ ：データベース
ＮＷ ：ネットワーク

Claims (10)

1. ユーザが撮影した物体画像に含まれる対象物体が、データベースに登録された登録物体のうち何れであるかを推定する物体認識システムであって、
   前記物体画像を取得する取得手段と、
   １つの物体についてそれぞれ異なる特徴角度から見た場合の外観を表す複数の外観画像について、外観画像又はその特徴量を、前記登録物体ごとの外観情報として前記データベースに登録する登録手段と、
   前記物体画像及び前記外観情報に基づいて、前記対象物体がいずれの前記登録物体であるかを推定する推定手段と、を備える、物体認識システム。
2. 前記登録手段は、前記登録物体の３次元形状を示す情報に基づいて、複数の前記外観画像を生成して、生成した外観画像に基づく前記外観情報を前記登録物体ごとに前記データベースに登録する手段を有する、請求項１に記載の物体認識システム。
3. 前記登録手段は、前記登録物体を撮影した画像を取得して、前記登録物体ごとに当該画像を前記外観画像として前記外観情報を前記データベースに登録する手段を有する、請求項１又は請求項２に記載の物体認識システム。
4. 前記登録手段は、外観に付着物を伴う前記登録物体の前記外観画像を生成又は取得して、生成した外観画像に基づく前記外観情報を前記データベースに登録する、請求項１から請求項３の何れかに記載の物体認識システム。
5. 前記登録手段は、前記外観情報を、前記特徴角度を示す情報と対応付けて登録する、請求項１から請求項４の何れかに記載の物体認識システム。
6. 前記登録手段は、前記登録物体を他の物体と区別するための情報を含む特徴画像を、登録物体に対応付けて登録可能に構成され、
   前記推定手段は、前記対象物体である可能性のある前記登録物体の候補を特定して、当該登録物体の前記特徴画像に基づき、前記対象物体を撮影するようユーザに指示するための撮影指示情報を生成する、請求項１から請求項５の何れかに記載の物体認識システム。
7. 前記推定手段は、前記対象物体である可能性のある前記登録物体の候補を特定できない場合に、前記対象物体の付着物を除去するようユーザに指示するための撮影指示情報を生成する、請求項１から請求項６の何れかに記載の物体認識システム。
8. 前記推定手段は、前記物体画像を入力とし、前記物体画像に含まれる対象物体と同一の登録物体を出力とする教師データにより学習を行った推定モデルを用いて、前記対象物体がいずれの前記登録物体であるかを推定する、請求項１から請求項７の何れかに記載の物体認識システム。
9. ユーザが撮影した物体画像に含まれる対象物体が、データベースに登録された登録物体のうち何れであるかを推定するための物体認識プログラムであって、
   前記物体画像を取得する取得手段と、
   １つの物体についてそれぞれ異なる特徴角度から見た場合の外観を表す複数の外観画像について、外観画像又はその特徴量を、前記登録物体ごとの外観情報として前記データベースに登録する登録手段と、
   前記物体画像及び前記外観情報に基づいて、前記対象物体がいずれの前記登録物体であるかを推定する推定手段と、としてコンピュータを機能させる、物体認識プログラム。
10. ユーザが撮影した物体画像に含まれる対象物体が、データベースに登録された登録物体のうち何れであるかを推定する物体認識方法であって、
    前記物体画像を取得する取得ステップと、
    １つの物体についてそれぞれ異なる特徴角度から見た場合の外観を表す複数の外観画像について、外観画像又はその特徴量を、前記登録物体ごとの外観情報として前記データベースに登録する登録ステップと、
    前記物体画像及び前記外観情報に基づいて、前記対象物体がいずれの前記登録物体であるかを推定する推定ステップと、をコンピュータに実行させる、物体認識方法。
    

Images