JP2019079084A - 画像解析システム - Google Patents

Abstract

【課題】画像解析システムを提供することを目的とする。【解決手段】画像解析システムであって，対象物と対象物関連情報とを対応づけて記憶する対象物情報記憶部と，第１の画像情報と，少なくとも一以上の第２の画像情報との入力を受け付ける画像情報入力受付処理部と，第１の画像情報に基づく画像解析結果を対象物の候補とし，第２の画像情報に基づく画像解析結果を対象物関連情報として，対象物情報記憶部を参照することで，第１の画像情報に写っている対象物を特定する特定処理部と，を有する画像解析システムである。【選択図】 図１

Description

本発明は，画像解析システムに関する。

近年，画像情報を解析することで，その画像情報に写っている対象物を特定することが行われている。とくにＡＩ（artificial intelligence：人工知能）の技術を用いて，画像情報に写っている対象物の特定が行われることもある。

このような画像解析システムにおいては，解析対象の画像情報を受け付けて，画像解析用ＡＩコンピュータシステムなどがその画像情報に写っている対象物を特定し，特定した対象物の情報を回答として返すものである。

このような画像解析用ＡＩコンピュータシステムとして，下記非特許文献に示すようなものがある。

International Business Machines Corp.，"Visual Recognition Demo"，[online]，インターネット＜ＵＲＬ：https://visual-recognition-demo.mybluemix.net/＞ Google Inc.，"Vision API-画像コンテンツ分析｜Google Cloud Platform"，[online]，インターネット＜ＵＲＬ：https://cloud.google.com/vision/＞ 日本マイクロソフト株式会社，"Computer Vision−画像処理および画像分析｜Microsoft Azure"，[online]，インターネット＜ＵＲＬ：https://azure.microsoft.com/ja-jp/services/cognitive-services/computer-vision/＞

各企業が提供する画像解析用ＡＩコンピュータシステムなどの画像解析システムの信頼性はさまざまである。たとえば，図７に示すように，「水着」の画像情報を画像解析システムで画像解析させた場合，「水着」，「下着」，「トランクス」といったように，形状が類似するほかの衣類を含む複数の回答が返される場合がある。

このように，従来の画像解析システムでは，精度が向上しているとはいえ，形状が類似するほかの物を回答として返す場合があり，画像解析の精度がいまだ十分とまではいえない。

かかる画像解析システムを，インターネットを利用した通信販売事業者の販売システムで用いる場合，ユーザが所望する商品の画像情報を画像解析システムに読み取らせ，その画像解析の結果に対応する商品のリストを販売システムがユーザに提示することが考えられる。しかし，画像解析の精度が高いとまではいえないので，その正確な解析結果が返せず，結果として，販売システムがユーザに提示する商品リストが正確ではなくなる可能性が出てくる。

そこで画像解析の精度をさらに向上させることが望まれている。

そこで本発明者は上記課題に鑑み，画像解析の対象物関連情報を示す画像情報も画像解析させることで，画像解析の精度を向上させる画像解析システムを発明した。

第１の発明は，画像解析システムであって，対象物と対象物関連情報とを対応づけて記憶する対象物情報記憶部と，第１の画像情報と，少なくとも一以上の第２の画像情報との入力を受け付ける画像情報入力受付処理部と，前記第１の画像情報に基づく画像解析結果を対象物の候補とし，前記第２の画像情報に基づく画像解析結果を対象物関連情報として，前記対象物情報記憶部を参照することで，前記第１の画像情報に写っている対象物を特定する特定処理部と，を有する画像解析システムである。

一つの画像情報に基づいて画像解析を行う場合，形状が類似する複数の対象物が解析結果として返される場合がある。そこで，ある画像情報（第１の画像情報）に写っている対象物を特定するため，第２の画像情報についても画像解析を行い，対象物と対象物関連情報との対応関係を記憶する対象物情報記憶部を参照することで，第１の画像情報に写っている対象物を，精度よく特定することができる。

上述の発明において，前記対象物関連情報は，前記対象物を利用する際に利用する物または前記対象物が利用される状態を示す情報である，画像解析システムのように構成することができる。

対象物関連情報としては対象物に関連する情報であれば如何なる情報であってもよいが，本発明のように，対象物を利用する際に利用する物を示す情報や，対象物が利用される状態を示す情報であれば，対象物との関連性が強いので，精度よく特定することができる。

上述の発明において，前記画像解析システムは，さらに，前記画像情報入力受付処理部で入力を受け付けた前記第１の画像情報，前記第２の画像情報を，画像解析処理を行う画像解析処理部に渡す画像情報解析依頼処理部，を有する画像解析システムのように構成することができる。

画像解析処理部は，外部のコンピュータシステムを用いることもできる。

上述の発明において，前記画像解析システムは，さらに，前記特定処理部で特定した対象物の情報を，商品を販売する販売システムに渡すことで，前記対象物が対応する商品のリストを，ユーザが利用するユーザ端末に表示させる回答処理部，を有する画像解析システムのように構成することができる。

本発明の画像解析システムは，商品を販売する販売システムと連携することで，いっそうの効果を発揮することができる。たとえば所望する商品の一つの画像情報に基づいて，対応する商品のリストをユーザに送る場合，類似する形状の異なる商品も画像解析結果となる可能性がある。その場合，ユーザが所望しない商品も商品のリストに含まれてしまい，ユーザは不要な商品のリストも閲覧をする必要が出てくる。しかし，本発明の画像解析システムと連携することで，より精度よく対象物（商品）を特定できるので，ユーザに対して，従来よりも適切に商品のリストを提示することができるので，ユーザとしてもより適切に商品の購入をすることができる。また，画像情報に基づいて商品のリストをユーザに提示できるので，ユーザは，商品名を知らなくても，その画像情報があれば購入することもできる。たとえば街で見かけた，ほかの人が使用している物を気に入り，購入を所望する場合，商品名がわからなくても，その画像情報があれば購入することもできる。

第１の発明の画像解析システムは，本発明のプログラムをコンピュータに読み込ませて実行することで，実現できる。すなわち，コンピュータを，第１の画像情報と，少なくとも一以上の第２の画像情報との入力を受け付ける画像情報入力受付処理部，前記第１の画像情報に基づく画像解析結果を対象物の候補とし，前記第２の画像情報に基づく画像解析結果を対象物関連情報として，対象物と対象物関連情報とを対応づけて記憶する対象物情報記憶部を参照することで，前記第１の画像情報に写っている対象物を特定する特定処理部，として機能させる画像解析プログラムである。

本発明の画像解析システムを用いることによって，画像解析の精度を向上させることができる。

本発明の画像解析システムの全体の構成の一例を模式的に示すブロック図である。 本発明の画像解析システムで用いるコンピュータのハードウェア構成の一例を模式的に示すブロック図である。 本発明の画像解析システムの処理プロセスの一例を示すフローチャートである。 対象物情報記憶部の一例を模式的に示す図である。 第１の画像情報の一例を示す図である。 第２の画像情報の一例を示す図である。 画像情報の一例である。

本発明の画像解析システム１の全体のシステム構成の一例を図１に，画像解析システム１で用いるコンピュータのハードウェア構成の一例を図２に示す。

画像解析システム１は，制御サーバ２と画像解析サーバ３とユーザ端末４とを用いる。これらの端末や各サーバは，コンピュータによって実現される。コンピュータは，プログラムの演算処理を実行するＣＰＵなどの演算装置７０と，情報を記憶するＲＡＭやハードディスクなどの記憶装置７１と，ディスプレイなどの表示装置７２と，情報の入力を行う入力装置７３と，演算装置７０の処理結果や記憶装置７１に記憶する情報の通信をする通信装置７４とを有している。なお，コンピュータがタッチパネルディスプレイを備えている場合には表示装置７２と入力装置７３とが一体的に構成されていてもよい。タッチパネルディスプレイは，たとえばタブレット型コンピュータやスマートフォンなどの可搬型通信端末などで利用されることが多いが，それに限定するものではない。

タッチパネルディスプレイは，そのディスプレイ上で，直接，所定の入力デバイス（タッチパネル用のペンなど）や指などによって入力を行える点で，表示装置７２と入力装置７３の機能が一体化した装置である。

画像解析システム１の各サーバは一台のコンピュータによって実現されていてもよいが，その機能が複数のコンピュータによって実現されていてもよい。この場合のコンピュータとして，たとえばクラウドサーバであってもよい。図１の画像解析システム１では，制御サーバ２と画像解析サーバ３とが別々のサーバの場合を示しているが，同一のコンピュータにそれぞれの機能が一体的に構築されていてもよい。本発明の画像解析における各手段は，その機能が論理的に区別されているのみであって，物理上あるいは事実上は同一の領域を為していても良い。

また，画像解析サーバ３（画像解析処理部）は，画像情報に写っている対象物（被写体）が何であるかを解析するコンピュータシステムである。画像解析サーバ３としては，公知の画像解析処理用のコンピュータシステムを用いることができる。画像解析サーバ３における画像解析の手法には限定はなく，さまざまな手法が適用できる。画像解析サーバ３として，複数の企業が提供する画像解析用のコンピュータシステム，とくに画像解析用のＡＩコンピュータシステムを用いることもできる。画像解析用のＡＩコンピュータシステムの一例としては，ＩＢＭ社が提供する「Visual Recognition」，Ｇｏｏｇｌｅ社が提供する「Cloud Vision API」，マイクロソフト社が提供する「Computer Vision API」などがある。なお，上記は一例であり，どのよう画像解析用のコンピュータシステムであっても用いることができる。

ユーザ端末４は，画像解析システム１を利用するユーザが利用するコンピュータである。

制御サーバ２は，画像情報入力受付処理部２１と画像情報解析依頼処理部２２と特定処理部２３と対象物情報記憶部２４と回答処理部２５とを有する。

画像情報入力受付処理部２１では，画像解析をする画像情報の入力を受け付ける。この際に，画像情報として少なくとも２つの画像情報の入力を受け付ける。第１の画像情報は，本発明の画像解析システム１を用いて特定するための対象物が写っている画像情報であり，第２の画像情報は，対象物に関連する物や状態（シチュエーション）などの情報（対象物関連情報）が写っている画像情報である。対象物関連情報としては，たとえば対象物が利用される際に合わせて利用される物が写っている画像情報や，対象物が利用される状態が写っている画像情報があるが，それに限定するものではない。対象物に関連する物や状態が写って入ればよい。そして，画像情報の一部に対象物が含まれていてもよい。第２の画像情報として，複数の画像情報の入力を受け付けてもよい。

画像情報解析依頼処理部２２は，画像情報入力受付処理部２１で入力を受け付けた第１の画像情報，第２の画像情報を画像解析サーバ３に対して送り，画像解析処理を行わせる。

特定処理部２３は，画像情報解析依頼処理部２２が画像解析サーバ３に送った第１の画像情報，第２の画像情報に対する解析結果を受け取り，後述する対象物情報記憶部２４を参照して，第１の画像情報に写っている対象物を特定する。

具体的には，特定処理部２３は，第１の画像情報について受け取った解析結果を対象物の候補として，第２の画像情報について受け取った解析結果を対象物関連情報として，後述する対象物情報記憶部２４を参照してマッチングし，第１の画像情報に写っている対象物を特定する。

対象物情報記憶部２４は，対象物とその対象物の対象物関連情報とを対応づけて記憶する。図４に対象物情報記憶部２４の一例を模式的に示す。

回答処理部２５は，特定処理部２３で特定した，第１の画像情報に写っている対象物の情報を回答として，ユーザ端末４または特定した対象物の情報を必要とする所定のコンピュータシステム，たとえばインターネットでの商品の販売システムに，ユーザが所望する商品の情報を渡す。

つぎに本発明の画像解析システム１の処理プロセスの一例を，図３のフローチャートを用いて説明する。なお，以下の例では，ユーザが所望する商品の画像情報を利用して，インターネットによる通信販売事業者が提供する商品の販売システムに対して発注する際に，本発明の画像解析システム１を用いる場合を説明する。

ユーザは，所望する商品が写っている画像情報（第１の画像情報）と，その商品に関連する情報（商品関連情報）が写っている画像情報（第２の画像情報）とを特定し，ユーザ端末４から制御サーバ２に送る。たとえば第１の画像情報の一例を図５に，第２の画像情報の一例を図６に示す。

制御サーバ２における画像情報入力受付処理部２１は，第１の画像情報，第２の画像情報をそれぞれユーザ端末４から受け付ける（Ｓ１００，Ｓ１１０）。そして，画像情報解析依頼処理部２２が，第１の画像情報，第２の画像情報を画像解析サーバ３に送り，画像解析処理を実行させる。そして，画像解析サーバ３は，第１の画像情報，第２の画像情報に対して，それぞれ画像解析処理を実行する（Ｓ１２０）。

画像解析サーバ３は，画像情報を画像解析した結果を制御サーバ２に返す。たとえば制御サーバ２の特定処理部２３は，画像解析サーバ３から，第１の画像情報について，「マジック」，「ペン」，「ホワイトボードマーカ」の解析結果を，第２の画像情報について，「ホワイトボード」の解析結果を受け取ったとする。そうすると特定処理部２３は，第１の画像情報からの解析結果を対象物の候補とし，第２の画像情報からの解析結果を対象物関連情報として，対象物情報記憶部２４を参照する。そして，対象物関連情報が合致する対象物の候補を，第１の画像情報に写っている対象物として特定する。対象物情報記憶部２４が図４の場合，対象物が「ペン」には対象物関連情報として「紙」，「ノート」が，対象物が「マジック」には対象物関連情報として「掲示板」，「模造紙」が，対象物が「ホワイトボードマーカ」には対象物関連情報として「ホワイトボード」，「会議室」がそれぞれ記憶されている。

第１の画像情報の解析結果（対象物の候補）が「マジック」，「ペン」，「ホワイトボードマーカ」，第２の画像情報の解析結果（対象物関連情報）が「ホワイトボード」であるので，第１の画像情報の解析結果を対象物の候補として，第２の画像情報の解析結果を対象物関連情報として対象物情報記憶部２４を参照してマッチングすると，第１の画像情報の対象物として「ホワイトボードマーカ」が特定できる。このような処理によって，特定処理部２３は，第１の画像情報に写っている対象物を「ホワイトボードマーカ」として特定する。

そして，回答処理部２５は，特定処理部２３で特定した「ホワイトボードマーカ」を回答として，商品の販売システムに渡す（Ｓ１４０）。そして，「ホワイトボードマーカ」を受け取った商品の販売システムは，ホワイトボードマーカに対応する商品のリストを，ユーザ端末４に送る。

以上のような処理を実行することで，一つの画像情報（第１の画像情報）からは「マジック」，「ペン」，「ホワイトボードマーカ」といった３種類の解析結果が得られるところ，さらに，第２の画像情報に写っている対象物関連情報についても画像解析処理を行うことで，より精度高く画像解析を行うことができる。

また，商品の販売システムと連携する場合には，従来では「マジック」，「ペン」，「ホワイトボードマーカ」の３種類の回答に対応する商品のリストをユーザ端末４に送ることとなった。しかし本発明を用いることで「ホワイトボードマーカ」に対応する商品のリストをユーザ端末４に送ることができ，ユーザとしてもより適切に商品の購入をすることができる。

本発明の画像解析システム１を用いることによって，画像解析の精度を向上させることができる。

１：画像解析システム
２：制御サーバ
３：画像解析サーバ
４：ユーザ端末
２１：画像情報入力受付処理部
２２：画像情報解析依頼処理部
２３：特定処理部
２４：対象物情報記憶部
２５：回答処理部
７０：演算装置
７１：記憶装置
７２：表示装置
７３：入力装置
７４：通信装置

Claims (5)

1. 画像解析システムであって，
   対象物と対象物関連情報とを対応づけて記憶する対象物情報記憶部と，
   第１の画像情報と，少なくとも一以上の第２の画像情報との入力を受け付ける画像情報入力受付処理部と，
   前記第１の画像情報に基づく画像解析結果を対象物の候補とし，前記第２の画像情報に基づく画像解析結果を対象物関連情報として，前記対象物情報記憶部を参照することで，前記第１の画像情報に写っている対象物を特定する特定処理部と，
   を有することを特徴とする画像解析システム。
2. 前記対象物関連情報は，
   前記対象物を利用する際に利用する物または前記対象物が利用される状態を示す情報である，
   ことを特徴とする請求項１に記載の画像解析システム。
3. 前記画像解析システムは，さらに，
   前記画像情報入力受付処理部で入力を受け付けた前記第１の画像情報，前記第２の画像情報を，画像解析処理を行う画像解析処理部に渡す画像情報解析依頼処理部，
   を有することを特徴とする請求項１または請求項２に記載の画像解析システム。
4. 前記画像解析システムは，さらに，
   前記特定処理部で特定した対象物の情報を，商品を販売する販売システムに渡すことで，前記対象物が対応する商品のリストを，ユーザが利用するユーザ端末に表示させる回答処理部，
   を有することを特徴とする請求項１から請求項３のいずれかに記載の画像解析システム。
5. コンピュータを，
   第１の画像情報と，少なくとも一以上の第２の画像情報との入力を受け付ける画像情報入力受付処理部，
   前記第１の画像情報に基づく画像解析結果を対象物の候補とし，前記第２の画像情報に基づく画像解析結果を対象物関連情報として，対象物と対象物関連情報とを対応づけて記憶する対象物情報記憶部を参照することで，前記第１の画像情報に写っている対象物を特定する特定処理部，
   として機能させることを特徴とする画像解析プログラム。

Images