JP2021022250A - 画像処理システム、機械学習器、撮像装置及び学習方法 - Google Patents

Abstract

【課題】より簡便な操作で撮像画像に含まれる被写体の所望の長さを計測することができる画像処理システム、機械学習器、撮像装置及び学習方法を提供する。【解決手段】画像処理システムは、機械学習器と、管理サーバと、撮像装置と、出品装置と、を備える。機械学習器は、学習用の撮像画像及び学習用の撮像画像に対応する距離測定位置を入力データとラベルとの組として取得し、入力データとラベルとの組を訓練データとして学習を行うことにより、撮像画像に含まれる被写体に応じた距離測定位置を学習する。【選択図】図３

Description

本発明は、画像処理システム、機械学習器、撮像装置及び学習方法に関する。

従来、被写体を撮影することで、画像中において被写体及びその大きさ（長さ）を簡単に把握することが可能な電子カメラが知られている（例えば、特許文献１参照）。

特開２００５-１４２９３８号公報

しかしながら、上述の電子カメラでは、自動で被写体の大きさを算出することができないという問題点があった。

そこで、本発明は、上述の課題に鑑みてなされたものであり、より簡便な操作で撮像画像に含まれる被写体の所望の長さを計測することができる画像処理システム、機械学習器、撮像装置及び学習方法を提供することを目的とする。

第１の態様に係る画像処理システムは、機械学習器を備え、前記機械学習器は、学習用の撮像画像及び前記学習用の撮像画像に対応する距離測定位置を、入力データとラベルとの組として取得し、前記入力データと前記ラベルとの組を訓練データとして学習を行うことにより、撮像画像に含まれる被写体に応じた前記距離測定位置を学習する。

第２の態様に係る機械学習器は、少なくとも１つのプロセッサを備え、前記プロセッサは、学習用の撮像画像及び前記学習用の撮像画像に対応する距離測定位置を入力データとラベルとの組として取得し、前記入力データと前記ラベルとの組を訓練データとして学習を行うことにより、撮像画像に含まれる被写体に応じた前記距離測定位置を学習する。

第３の態様に係る撮像装置は、カメラとプロセッサと通信インタフェースとを備えるであって、前記通信インタフェースは、撮像画像に含まれる被写体に応じた距離測定位置を学習する機械学習器の学習済モデルを取得し、前記プロセッサは、前記カメラにより撮像された撮像画像及び前記学習済モデルに基づき、前記撮像画像に含まれる被写体に応じた前記距離測定位置を特定し、前記該距離測定位置を示す距離を計測する。

第４の態様に係る学習方法は、機械学習器を備える画像処理システムで実行され、撮像画像データ及び前記撮像画像データに対応する距離測定位置を入力データとラベルとの組として取得し、前記入力データと前記ラベルとの組を訓練データとして学習を行うことにより、撮像画像に含まれる被写体に応じた該被写体の前記距離測定位置を学習する。

本発明の一態様によれば、より簡便な操作で撮像画像に含まれる被写体の所望の長さを計測することができる画像処理システム、機械学習器、撮像装置及び学習方法を提供することができる。

図１は、第１実施形態に係る画像処理システム１の全体構成の一例を示す図である。 図２は、一実施形態に係る機械学習器２０の機能ブロックの一例を示す図である。 図３は、図２に示す機械学習器２０の機能の一例を説明するための図である。 図４は、図２に示す機械学習器２０の機能の一例を説明するための図である。 図５は、図２に示す機械学習器２０の機能の一例を説明するための図である。 図６は、図２に示す機械学習器２０の機能の一例を説明するための図である。 図７は、一実施形態に係る管理サーバ１０の機能ブロックの一例を示す図である。 図８は、一実施形態に係る撮像装置３０の機能ブロックの一例を示す図である。 図９は、図８に示す撮像装置３０の機能の一例を説明するための図である。 図１０は、図８に示す撮像装置３０の機能の一例を説明するための図である。 図１１は、第１実施形態に係る画像処理システム１の動作の一例を示すシーケンス図である。 図１２は、第２実施形態に係る画像処理システム１の動作の一例を示すシーケンス図である。 図１３は、第３実施形態に係る画像処理システム１の全体構成の一例を示す図である。 図１４は、一実施形態に係る撮像装置３０の機能ブロックの一例を示す図である。 図１５は、第３実施形態に係る画像処理システム１の動作の一例を示すシーケンス図である。

以下において、実施形態について図面を参照しながら説明する。なお、以下の図面の記載において、同一又は類似の部分には、同一又は類似の符号を付している。

但し、図面は模式的なものであり、各寸法の比率などは現実のものとは異なる場合があることに留意すべきである。従って、具体的な寸法などは以下の説明を参酌して判断すべきである。また、図面相互間においても互いの寸法の関係又は比率が異なる部分が含まれている場合があることは勿論である。

（第１実施形態）
以下、図１〜図１１を参照して、第１実施形態について説明する。

図１は、第１実施形態に係る画像処理システム１の全体構成の一例を示す図である。図１に示すように、本実施形態に係る画像処理システム１は、管理サーバ１０と、撮像装置３０と、出品装置４０と、通信網で構成されるマーケット２とを有している。

また、本実施形態に係る画像処理システム１では、管理サーバ１０は、機械学習器２０を備えている。

図２に示すように、機械学習器２０は、取得部２１と、プロセッサ２２と、記憶部２３とを有している。

取得部２１は、学習用の撮像画像及び学習用の撮像画像に対応する距離測定位置を、入力データとラベルとの組として取得するように構成されている。

プロセッサ２２は、入力データとラベルとの組を訓練データとして学習を行うことにより、撮像画像に含まれる被写体に応じた距離測定位置を学習するように構成されている。

具体的には、図３に示すように、プロセッサ２２は、入力データである撮像画像と出力（ラベル）である距離測定位置との組である訓練データ（学習データセット）を用いて、学習済モデルを生成するように構成されている。

ここで、プロセッサ２２は、上述の訓練データを多層構造で演算する、すなわち、深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）によって学習済モデルを生成するように構成されていてもよい。

また、入力データは、被写体のカテゴリ（例えば、Ｔシャツ等の上衣や、ズボンやスカート等の下衣や、家具や家電やバッグ等の立体物）を示す識別データを含んでいてもよい。

また、距離測定位置は、第１点及び第１点とは異なる第２点を少なくとも含んでいてもよい。また、距離測定位置は、第１点及び第１点とは異なる第２点を含む線分であってもよい。線分は、直線であっても曲線であってもよい。

例えば、図４に示すように、プロセッサ２２は、カテゴリとしてＴシャツを示す識別データを含む撮像画像（入力データ）に含まれる被写体に応じた距離測定位置として、着丈を測るための点５及び点６、袖丈を測るための点１及び点９（又は、点２及び点１０）、裄丈を測るための点１、点５及び点９（又は、点２、点５及び点１０）、身幅（胸囲）を測るための点３及び点４、ウエスト（又は、胴囲）を測るための点７及び点８、肩幅を測るための点９及び点１０のうちの少なくとも１つを学習してもよい。

すなわち、図４に示すように、プロセッサ２２は、計測用の撮像画像に上衣が含まれる場合に、着丈、袖丈、裄丈、身幅（すなわち、胸囲）、ウエスト（すなわち、胴囲）及び肩幅のうちの少なくとも１つの寸法が計測されるように距離測定位置を学習してもよい。なお、ここでいうウエストは、上衣の胴部分の周囲のうち、胴部分において最も距離が短い周囲を指す。

例えば、図４において、点１及び点２は、袖の先端の上側（すなわち、肩側の袖の先端）に位置する点である。点３及び点４は、袖の付け根の下側（すなわち脇側の袖の付け根）の点である。点５は、衿の付け根且つ被写体Ｚの中心に位置する点である。点６は、裾の先端且つ被写体Ｚの中心に位置する点である。点７は、裾の最も外側に位置する点Ａ及び点Ｂのうち点３の近くに位置する点Ａと点３との間に位置する境界線Ｘ１上の点の中で、被写体Ｚの中心に最も近い点である。点８は、裾の最も外側に位置する点Ａ及び点Ｂのうち点４の近くに位置する点Ｂと点４と間に位置する境界線Ｘ１上の点の中で、被写体Ｚの中心に最も近い点である。点９及び点１０は、袖の付け根の上側（すなわち、肩側の袖の付け根）に位置する点である。

或いは、図５に示すように、プロセッサ２２は、カテゴリとしてズボンを示す識別データを含む撮像画像（入力データ）に含まれる被写体に応じた距離測定位置として、股上の長さを測るための点１及び点５（又は、点２及び点６）、股下の長さを測るための点１及び点３（又は、点２及び点４）、総丈を測るための点３及び点５(又は、点４及び点６)、わたり幅（すなわち腿周り）を測るための点１及び点１４（並びに、点２及び点１３）、ウエスト（すなわち、胴囲）を測るための点５及び点６、膝幅を測るための点７及び点８（並びに、点９及び点１０）、裾幅を測るための点３及び点１１（並びに、点４及び点１２）のうち少なくとも１つを学習するように構成されていてもよい。

すなわち、図５に示すように、プロセッサ２２は、計測用の撮像画像に下衣が含まれる場合に、股上、股下、総丈、ウエスト（すなわち、胴囲）、わたり幅（すなわち、腿周り）、膝幅及び裾幅のうちの少なくとも１つの寸法が計測されるように距離測定位置を学習してもよい。

例えば、図５において、点４及び点１２（並びに、点３及び点１１）は、裾部分の両端に位置する点である。点２及び点１３（並びに、点１及び点１４）は、着用者の太腿に対応する部分の両端に位置する点である。点９及び点１０（並びに、点７及び点８）は、着用者の膝に対応する部分の両端に位置する点である。点５及び点６は、着用者の胴に対応する部分の両端に位置する点である。

或いは、図６に示すように、プロセッサ２２は、カテゴリとしてバッグを示す識別データを含む撮像画像（入力データ）に含まれる被写体に応じた距離測定位置として、底面における幅を測るための点１及び点２、底面における奥行きを測るための点２及び点３、高さを測るための点１及び点６（又は、点２及び点５、或いは、点３及び点４）、上面における幅を測るための点５及び点６、上面における奥行きを測るための点４及び点５のうち少なくとも１つを学習するように構成されていてもよい。

すなわち、図６に示すように、プロセッサ２２は、計測用の撮像画像に立体物が含まれる場合に、高さ、幅及び奥行きのうちの少なくとも１つの寸法が計測されるように距離測定位置を学習してもよい。ここで、立体物は、家具、家電及びバッグのうちの少なくとも１つを含んでいてもよい。

その他、プロセッサ２２は、人間若しくは動物の身長、又は、魚若しくは植物のサイズを測るための点を学習するように構成されていてもよい。

また、プロセッサ２２は、計測用の撮像画像の取得に応じて出力された距離測定位置をユーザ操作に基づいて修正し、計測用の撮像画像と修正された距離測定位置との組を訓練データとしてさらに学習を行うように構成されていてもよい。

或いは、プロセッサ２２は、計測用の撮像画像の取得に応じて出力された距離測定位置がユーザ操作に基づいて修正されたか否かに基づいて報酬を計算し、かかる報酬に基づいて、距離測定位置を特定するための関数を更新してもよい。すなわち、プロセッサ２２は、ユーザ操作に基づく距離測定位置の修正の有無に応じた強化学習を行うように構成されていてもよい。

記憶部２３は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）又はＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を含む記憶装置或いはハードディスクやフラッシュメモリ等の補助記憶装置によって構成されており、プロセッサ２２によって生成された学習済モデルを記憶するように構成されている。

図７に示すように、本実施形態に係る画像処理システム１において、管理サーバ１０は、機械学習器２０と、通信インタフェースと１１と、プロセッサ１２とを有する。

通信インタフェース１１は、無線回線又は有線回線を用いて、撮像装置３０との間で所定情報の送受信を行うように構成されている。本実施形態では、通信インタフェース１１は、機械学習器２０によって生成された学習済モデルを撮像装置３０に送信するように構成されている。

プロセッサ１２は、所定処理を行うように構成されている。本実施形態では、プロセッサ１２は、機械学習器２０に対して、入力データである撮像画像と出力（ラベル）である距離測定位置との組である訓練データ（学習データセット）を入力し、学習済モデルを生成するように指示するように構成されている。

図８に示すように、撮像装置３０は、カメラ３１と、通信インタフェース３２と、プロセッサ３３と、記憶部３４とを備えている。

カメラ３１は、計測用の撮像画像を取得することができるように構成されており、通信インタフェース３２は、無線回線又は有線回線を用いて、管理サーバ１０及び通信網（マーケット）２と通信することができるように構成されている。

プロセッサ３３は、カメラ３１により撮像された計測用の撮像画像及び管理サーバ１０から取得した学習済モデルに基づき、計測用の撮像画像に含まれる被写体に応じた距離測定位置を特定し、かかる距離測定位置が示す距離を計測するように構成されている。距離測定位置が示す距離とは、例えば、距離測定位置が第１点及び第２点である場合、これらを直線で結ぶ線分の距離であってもよい。また、距離測定位置が示す距離とは、例えば、距離測定位置が線分である場合、当該線分が示す距離であってもよい。

例えば、プロセッサ３３は、計測用の撮像画像に上衣が含まれる場合に、着丈、袖丈、裄丈、身幅、ウエスト及び肩幅のうちの少なくとも１つの寸法を計測するように構成されていてもよい。

具体的には、プロセッサ３３は、図４に示すように、着丈の寸法として、点５と点６との間の距離を計測するように構成されていてもよい。また、プロセッサ３３は、図４に示すように、袖丈の寸法として、点１と点９との間の距離（及び/或いは、点２と点１０との間の距離）を計測するように構成されていてもよい。

また、プロセッサ３３は、図４に示すように、裄丈の寸法として、点１と点９との間の距離と点５と点９との間の距離とを足し合わせた距離（及び/或いは、点２と点１０との間の距離及び点５と点９との間の距離とを足し合わせた距離）を計測するように構成されていてもよい。

また、プロセッサ３３は、図４に示すように、身幅の寸法として、点３と点４との間の距離を計測するように構成されていてもよい。また、プロセッサ３３は、図４に示すように、ウエストの寸法として、点７と点８との間の距離を計測するように構成されていてもよい。また、プロセッサ３３は、図４に示すように、肩幅の寸法として、点９と点１０との間の距離を計測するように構成されていてもよい。

また、プロセッサ３３は、計測用の撮像画像に下衣が含まれる場合に、股上、股下、総丈、ウエスト、わたり幅、膝幅及び裾幅のうちの少なくとも１つの寸法を計測するように構成されていてもよい。

具体的には、プロセッサ３３は、図５に示すように、股上の寸法として、点１と点５との間の距離（及び/或いは、点２と点６との間の距離）を計測するように構成されていてもよい。また、プロセッサ３３は、図５に示すように、股下の寸法として、点１と点３との間の距離（及び/或いは、点２と点４との間の距離）を計測するように構成されていてもよい。また、プロセッサ３３は、図５に示すように、総丈の寸法として、点３と点５との間の距離（及び/或いは、点４と点６との間の距離）を計測するように構成されていてもよい。また、プロセッサ３３は、図５に示すように、ウエストの寸法として、点５と点６との間の距離の２倍を計測するように構成されていてもよい。また、プロセッサ３３は、図５に示すように、わたり幅の寸法として、点１と点１４との間の距離（及び/或いは、点２と点１３との間の距離）の２倍を計測するように構成されていてもよい。また、プロセッサ３３は、図５に示すように、膝幅の寸法として、点７と点８との間の距離（及び/或いは、点９と点１０との間の距離）の２倍を計測するように構成されていてもよい。また、プロセッサ３３は、図５に示すように、裾幅の寸法として、点３と点１１との間の距離（及び/或いは、点４と点１２との間の距離）の２倍を計測するように構成されていてもよい。

また、プロセッサ３３は、計測用の撮像画像に立体物が含まれる場合に、高さ、幅及び奥行きのうちの少なくとも１つの寸法を計測するように構成されている。

ここで、距離測定位置が示す距離は、立体物である被写体の表面の２点を結ぶ距離又は平面とみなせる被写体の端部の２点を結ぶ距離であってもよい。具体的には、プロセッサ３３は、図６に示すように、高さの寸法として、点１と点６との間の距離（及び/或いは、点２と点５との間の距離、点３と点４との間の距離）を計測するように構成されていてもよい。また、プロセッサ３３は、図６に示すように、幅の寸法として、点１と点２との間の距離を計測するように構成されていてもよい。また、プロセッサ３３は、図６に示すように、奥行きの寸法として、点２と点３との間の距離を計測するように構成されていてもよい。

その他、プロセッサ３３は、計測用の撮像画像に人間又は動物が含まれる場合に、これらの身長を計測するように構成されていてもよい。また、プロセッサ３３は、計測用の撮像画像に魚又は植物が含まれる場合に、これらのサイズを計測するように構成されていてもよい。

なお、プロセッサ３３は、カメラ３１により撮像された撮像画像及び管理サーバ１０から取得した学習済モデルに基づき、第１点及び第２点を特定し、カメラ３１により撮像された撮像画像に基づき、周囲環境の３次元情報及び撮像装置３０の位置を特定してもよい。そして、プロセッサ３３は、かかる周囲環境の３次元情報、撮像装置３０の位置、第１点及び第２点に基づき、撮像装置３０から第１点までの距離及び撮像装置３０から第２点までの距離を特定してもよい。さらに、プロセッサ３３は、撮像装置３０から第１点までの距離及び撮像装置３０から第２点までの距離に基づき、第１点から第２点までの距離を特定するように構成されていてもよい。すなわち、プロセッサ３３は、例えば、Ｖｉｒｔｕａｌ ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）技術を用いて、各点（すなわち、各距離推定位置）の間の距離を計測するように構成されていてもよい。

また、図９に示すように、プロセッサ３３は、計測用の撮像画像に含まれるタグ情報からメーカー又はブランドを検出し、記憶部３４から又はインターネットを介して、かかるメーカー又はブランドのサイズ表データを取得し、該サイズ表データに基づいて距離測定位置が示す距離を特定するように構成されていてもよい。プロセッサ３３は、このようにして距離測定位置が示す距離を取得可能であった場合、管理サーバ１０から取得した学習済モデルに基づき距離測定位置が示す距離を計測可能であったとしても、サイズ表データに基づき特定される距離測定位置が示す距離を優先して採用してもよい。

記憶部３４は、上述のメーカー又はブランドのサイズ表データを記憶するように構成されている。

また、本実施形態に係る画像処理システム１において、撮像装置３０は、通信網で構成されるマーケット２上に対象商品を出品可能である。かかる場合、撮像装置３０は、例えば、所謂スマートフォンのような通信端末やタブレット等の携帯用通信端末であってもよい。

ここで、撮像装置３０は、ユーザ操作に応じて、対象商品画像及び距離測定位置が示す距離を対象商品情報として入力又は選択し、かかる対象商品画像及び距離測定位置が示す距離を含む対象商品情報をマーケット２上にアップロードすることで対象商品を出品することができるように構成されている。なお、対象商品画像は、距離測定位置が示す距離の計測用に撮像された撮像画像であってもよいし、かかる撮像画像に含まれる被写体が撮像された別の撮像画像であってもよい。

なお、本実施形態に係る画像処理システム１において、出品装置４０は、通信網で構成されるマーケット２上に対象商品を出品可能である。かかる場合、出品装置４０は、例えば、ラップトップコンピューター、デスクトップコンピューター、スマートスピーカー等であってもよい。

ここで、出品装置４０は、ユーザ操作に応じて、撮像装置３０から対象商品画像及び距離測定位置が示す距離を取得し、かかる対象商品画像及び距離測定位置が示す距離を対象商品情報として入力又は選択し、かかる対象商品画像及び距離測定位置が示す距離を含む対象商品情報をマーケット２上にアップロードすることで対象商品を出品することができるように構成されている。

なお、図１０に示すように、撮像装置３０及び出品装置４０は、計測用の撮像画像に距離測定位置が示す距離をオーバーレイさせ、距離測定位置が示す距離がオーバーレイされた撮像画像を、商品画像及び距離測定位置が示す距離を含む対象商品情報としてマーケット２上にアップロードしてもよい。

図１１は、本実施形態に係る画像処理システム１の動作の一例を示すシーケンス図である。

図１１に示すように、管理サーバ１０は、ステップＳ１００１において、入力データである撮像画像と出力（ラベル）である距離測定位置との組である訓練データ（学習データセット）を用いて、学習済モデルを生成し、ステップＳ１００２において、かかる学習済モデルを撮像装置３０に送信する。

撮像装置３０は、ステップＳ１００３において、カメラ３１により撮像された計測用の撮像画像及び管理サーバ１０から取得した学習済モデルに基づき、計測用の撮像画像に含まれる被写体に応じた距離測定位置を特定し、ステップＳ１００４において、かかる距離測定位置が示す距離を計測する。

撮像装置３０は、ステップＳ１００５において、ユーザ操作に応じて、対象商品画像及び距離測定位置が示す距離を対象商品情報として入力又は選択し、ステップＳ１００６において、かかる対象商品画像及び距離測定位置が示す距離を含む対象商品情報をマーケット２上にアップロードする。

ステップＳ１００７において、かかる対象商品情報が、マーケット２上に出品される。

本実施形態に係る画像処理システム１によれば、管理サーバ１０に備えられている機械学習器２０によって、撮像画像を入力データとし且つ距離測定位置をラベルとして機械学習を行うことにより、撮像画像に含まれる被写体における所望の寸法を自動的に計測することができる。

（第２実施形態）
以下、図１２を参照して、第２実施形態について、上述の第１実施形態との相違点に着目して説明する。

管理サーバ１０において、通信インタフェース１１は、無線回線又は有線回線を用いて、撮像装置３０から、カメラ３１により撮像された計測用の撮像画像を取得するように構成されている。また、管理サーバ１０において、通信インタフェース１１は、無線回線又は有線回線を用いて、撮像装置３０に対して、プロセッサ１２から取得した距離測定位置及び距離測定位置が示す距離を送信するように構成されている。

管理サーバ１０において、プロセッサ１２は、通信インタフェース１１によって取得された計測用の撮像画像及び機械学習器２０から取得した学習済モデルに基づき、計測用の撮像画像に含まれる被写体の形状に応じた距離測定位置を特定し、かかる距離測定位置が示す距離を計測するように構成されている。

図１２は、本実施形態に係る画像処理システム１の動作の一例を示すシーケンス図である。

図１２に示すように、管理サーバ１０は、ステップＳ２００１において、入力データである撮像画像と出力（ラベル）である距離測定位置との組である訓練データ（学習データセット）を用いて、学習済モデルを生成する。

撮像装置３０は、ステップＳ２００２において、カメラ３１により計測用の撮像画像を撮像し、ステップＳ２００３において、管理サーバ１０に対して、かかる計測用の撮像画像を送信する。

管理サーバ１０は、ステップＳ２００４において、撮像装置３０から取得した計測用の撮像画像及び生成した学習済モデルに基づき、計測用の撮像画像に含まれる被写体に応じた距離測定位置を特定し、かかる距離測定位置が示す距離を計測し、ステップＳ２００５において、撮像装置３０に対して、計測用の撮像画像及び距離測定位置が示す距離を送信する。

撮像装置３０は、ステップＳ２００６において、ユーザ操作に応じて、対象商品画像及び距離測定位置が示す距離を対象商品情報として入力又は選択し、ステップＳ２００７において、かかる対象商品画像及び距離測定位置が示す距離を含む対象商品情報をマーケット２上にアップロードする。

ステップＳ２００８において、かかる対象商品情報が、マーケット２上に出品される。

本実施形態に係る画像処理システム１によれば、管理サーバ１０に備えられている機械学習器２０によって、撮像画像を入力データとし且つ距離測定位置をラベルとして機械学習を行うことにより、撮像画像に含まれる被写体における所望の寸法を自動的に計測することができる。

（第３実施形態）
以下、図１３〜図１５を参照して、第３実施形態について、上述の第１実施形態及び第２実施形態との相違点に着目して説明する。

図１３に示すように、本実施形態に係る画像処理システム１において、機械学習器２０は、撮像装置３０に備えられている。また、図１４に示すように、撮像装置３０は、機械学習器２０と、カメラ３１と、プロセッサ３３とを備えている。

ここで、プロセッサ３３は、カメラ３１により撮像された計測用の撮像画像及び機械学習器２０から取得した学習済モデルに基づき、計測用の撮像画像に含まれる被写体に応じた距離測定位置を特定し、かかる距離測定位置が示す距離を計測するように構成されている。

図１５は、本実施形態に係る画像処理システム１の動作の一例を示すシーケンス図である。

図１５に示すように、撮像装置３０は、ステップＳ３００１において、 入力データである撮像画像と出力（ラベル）である距離測定位置との組である訓練データ（学習データセット）を用いて、学習済モデルを生成する。

撮像装置３０は、ステップＳ３００２において、カメラ３１により計測用の撮像画像を撮像する。

撮像装置３０は、ステップＳ３００３において、カメラ３１により撮像された計測用の撮像画像及び生成した学習済モデルに基づき、計測用の撮像画像に含まれる被写体に応じた距離測定位置を特定し、かかる距離測定位置が示す距離を計測する。

撮像装置３０は、ステップＳ３００４において、ユーザ操作に応じて、対象商品画像及び距離測定位置が示す距離を対象商品情報として入力又は選択し、ステップＳ３００５において、かかる対象商品画像及び距離測定位置が示す距離を含む対象商品情報をマーケット２上にアップロードする。

ステップＳ３００６において、かかる対象商品情報が、マーケット２上に出品される。

本実施形態に係る画像処理システム１によれば、撮像装置３０に備えられている機械学習器２０によって、撮像画像を入力データとし且つ距離測定位置をラベルとして機械学習を行うことにより、撮像画像に含まれる被写体における所望の寸法を自動的に計測することができる。

撮像装置３０、管理サーバ１０、機械学習器２０が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ-ＲＯＭやＤＶＤ-ＲＯＭ等の記録媒体であってもよい。

以上、図面を参照して実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

なお、撮像装置３０は、マーケット２上に対象商品を出品可能な装置に限られない。撮像装置３０は、少なくとも撮像画像に含まれる被写体に応じて特定された距離をユーザに提示できる装置であればよい。

１…画像処理システム
２…通信網（マーケット）
１０…管理サーバ
１１…通信インタフェース
１２…プロセッサ
２０…機械学習器
２１…取得部
２２…プロセッサ
２３…記憶部
３０…撮像装置
３１…カメラ
３２…通信インタフェース
３３…プロセッサ
４０…出品装置

Claims (24)

1. 機械学習器を備える画像処理システムであって、
   前記機械学習器は、
   学習用の撮像画像及び前記学習用の撮像画像に対応する距離測定位置を、入力データとラベルとの組として取得し、
   前記入力データと前記ラベルとの組を訓練データとして学習を行うことにより、撮像画像に含まれる被写体に応じた前記距離測定位置を学習する、画像処理システム。
2. 管理サーバを含む、請求項１に記載の画像処理システム。
3. 前記管理サーバが、前記機械学習器を備える、請求項２に記載の画像処理システム。
4. 前記管理サーバと通信可能且つカメラを備える撮像装置を少なくとも１つ含み、
   前記撮像装置は、前記カメラにより撮像された計測用の撮像画像及び前記管理サーバから取得した前記機械学習器の学習済モデルに基づき、前記計測用の撮像画像に含まれる被写体に応じた前記距離測定位置を特定し、前記距離測定位置が示す距離を計測する、請求項３に記載の画像処理システム。
5. 前記管理サーバと通信可能且つカメラを備える撮像装置を少なくとも１つ含み、
   前記撮像装置は、前記カメラにより撮像された計測用の撮像画像を前記管理サーバに送信し、
   前記管理サーバは、
   前記機械学習器の学習済モデルに基づき、前記計測用の撮像画像に含まれる被写体に応じた前記距離測定位置を特定すると共に前記距離測定位置が示す距離を計測し、
   前記距離測定位置及び前記距離測定位置が示す距離を前記撮像装置に送信する、請求項３に記載の画像処理システム。
6. カメラを備える撮像装置を少なくとも１つ含む、請求項１又は２に記載の画像処理システム。
7. 前記撮像装置が、前記機械学習器を備える、請求項６に記載の画像処理システム。
8. 前記撮像装置は、前記カメラにより撮像された計測用の撮像画像及び前記機械学習器の学習済モデルに基づき、前記計測用の撮像画像に含まれる被写体に応じた前記距離測定位置を特定し、前記距離測定位置が示す距離を計測する、請求項７に記載の画像処理システム。
9. 前記撮像装置は、通信網で構成されるマーケット上に対象商品を出品可能であり、
   前記撮像装置は、
   対象商品画像及び前記距離測定位置が示す距離を対象商品情報として入力又は選択し、
   前記対象商品画像及び前記距離測定位置が示す距離を含む前記対象商品情報を前記マーケット上にアップロードすることで前記対象商品を出品する、請求項４、５又は８に記載の画像処理システム。
10. 通信網で構成されるマーケット上に対象商品を出品する出品装置を少なくとも１つ含み、
    前記出品装置は、
    前記撮像装置から対象商品画像及び前記距離測定位置が示す距離を取得し、
    前記対象商品画像及び前記距離測定位置が示す距離を対象商品情報として入力又は選択し、
    前記対象商品画像及び前記距離測定位置が示す距離を含む前記対象商品情報を前記マーケット上にアップロードすることで前記対象商品を出品する、 請求項４、５又は８に記載の画像処理システム。
11. 前記機械学習器は、
    前記計測用の撮像画像の取得に応じて出力された前記距離測定位置をユーザ操作に基づいて修正し、
    前記計測用の撮像画像と修正された前記距離測定位置との組を訓練データとしてさらに学習を行う、請求項４、５、８、９又は１０のいずれか一項に記載の画像処理システム。
12. 前記機械学習器は、
    前記計測用の撮像画像の取得に応じて出力された前記距離測定位置がユーザ操作に基づいて修正されたか否かに基づいて報酬を計算し、
    前記報酬に基づいて、前記距離測定位置を特定するための関数を更新する、請求項４、５、８、９又は１０に記載の画像処理システム。
13. 前記機械学習器は、前記訓練データを多層構造で演算する、請求項１〜１２のいずれか一項に記載の画像処理システム。
14. 前記入力データは、被写体のカテゴリを示す識別データを含む、請求項１〜１３のいずれか一項に記載の画像処理システム。
15. 前記距離測定位置は、第１点及び前記第１点とは異なる第２点を少なくとも含む、請求項１〜１４のいずれか一項に記載の画像処理システム。
16. 前記距離測定位置が示す距離は、立体物である被写体の表面の２点を結ぶ距離又は平面とみなせる被写体の端部の２点を結ぶ距離である、請求項１５に記載の画像処理システム。
17. 前記機械学習器は、
    前記計測用の撮像画像に上衣が含まれる場合に、着丈、袖丈、裄丈、身幅、ウエスト及び肩幅のうちの少なくとも１つの寸法が計測されるように前記距離測定位置を学習する、請求項１〜１６のいずれか一項に画像処理システム。
18. 前記機械学習器は、
    前記計測用の撮像画像に下衣が含まれる場合に、股上、股下、総丈、ウエスト、わたり幅、膝幅及び裾幅のうちの少なくとも１つの寸法が計測されるように前記距離測定位置を学習する、請求項１〜１６のいずれか一項に画像処理システム。
19. 前記機械学習器は、
    前記計測用の撮像画像に立体物が含まれる場合に、高さ、幅及び奥行きのうちの少なくとも１つの寸法が計測されるように前記距離測定位置を学習する、請求項１〜１６のいずれか一項に画像処理システム。
20. 前記立体物は、家具、家電及びバッグのうちの少なくとも１つを含む、請求項１９に画像処理システム。
21. 少なくとも１つのプロセッサを備える機械学習器であって、
    前記プロセッサは、
    学習用の撮像画像及び前記学習用の撮像画像に対応する距離測定位置を入力データとラベルとの組として取得し、
    前記入力データと前記ラベルとの組を訓練データとして学習を行うことにより、撮像画像に含まれる被写体に応じた前記距離測定位置を学習する、機械学習器。
22. カメラとプロセッサと通信インタフェースとを備える撮像装置であって、
    前記通信インタフェースは、撮像画像に含まれる被写体に応じた距離測定位置を学習する機械学習器の学習済モデルを取得し、
    前記プロセッサは、前記カメラにより撮像された撮像画像及び前記学習済モデルに基づき、前記撮像画像に含まれる被写体に応じた前記距離測定位置を特定し、前記該距離測定位置が示す距離を計測する、撮像装置。
23. 前記距離測定位置は、第１点及び前記第１点とは異なる第２点を含み、
    前記プロセッサは、
    前記カメラにより撮像された撮像画像及び前記学習済モデルに基づき、前記第１点及び前記第２点を特定し、
    前記カメラにより撮像された撮像画像に基づき、周囲環境の３次元情報及び前記撮像装置の位置を特定し、
    前記周囲環境の３次元情報、前記撮像装置の位置、前記第１点及び前記第２点に基づき、前記撮像装置から前記第１点までの距離及び前記撮像装置から前記第２点までの距離を特定し、
    前記撮像装置から前記第１点までの距離及び前記撮像装置から前記第２点までの距離に基づき、前記第１点から前記第２点までの距離を特定する、請求項２２に記載の撮像装置。
24. 機械学習器を備える画像処理システムで実行される学習方法であって
    撮像画像データ及び前記撮像画像データに対応する距離測定位置を入力データとラベルとの組として取得し、
    前記入力データと前記ラベルとの組を訓練データとして学習を行うことにより、撮像画像に含まれる被写体に応じた該被写体の前記距離測定位置を学習する、学習方法。

Images