JP2021022886A - 画像処理システム、画像処理器、撮像装置及び処理方法 - Google Patents

Abstract

【課題】より簡便な操作で、撮像画像に含まれる被写体の所望の長さを計測する。【解決手段】画像処理器を備える画像処理システムにおいて、画像処理器は、撮像画像の特徴成分を検出し、前記特徴成分に基づいて被写体に応じた距離測定位置を特定する。画像処理器を備える撮像装置において、撮像画像、及び距離測定位置が示す距離を対象商品情報として入力、又は選択し、撮像画像、及び距離測定位置が示す距離を含む対象商品情報を、マーケット上にアップロードすることで、対象商品を出品する。【選択図】図１

Description

本発明は、画像処理システム、画像処理器、撮像装置及び処理方法に関する。

従来、被写体を撮影することで、画像中において被写体及びその大きさ（長さ）を簡単に把握することが可能な電子カメラが知られている（例えば、特許文献１参照）。

特開２００５-１４２９３８号公報

しかしながら、上述の電子カメラでは、自動で被写体の大きさを算出することができないという問題点があった。

そこで、本発明は、上述の課題に鑑みてなされたものであり、より簡便な操作で撮像画像に含まれる被写体の所望の長さを計測することができる画像処理システム、画像処理器、撮像装置及び処理方法を提供することを目的とする。

第１の態様に係る画像処理システムは、画像処理器を備え、前記画像処理器は、撮像画像の特徴成分を検出し、前記特徴成分に基づいて被写体に応じた距離測定位置を特定する。

第２の態様に係る画像処理器は、少なくとも１つのプロセッサを備え、前記プロセッサは、撮像画像の特徴成分を検出し、前記特徴成分に基づいて被写体に応じた距離測定位置を特定する。

第３の態様に係る撮像装置は、第２の態様に係る画像処理器とカメラとプロセッサとを備え、前記画像処理器は、前記カメラにより撮像された撮像画像の特徴成分を検出し、前記特徴成分に基づいて被写体に応じた距離測定位置を特定する。

第４の態様に係る処理方法は、画像処理器を備える画像処理システムで実行され、撮像画像の特徴成分を検出し、前記特徴成分に基づいて被写体に応じた距離測定位置を特定する。

本発明の一態様によれば、より簡便な操作で撮像画像に含まれる被写体の所望の長さを計測することができる画像処理システム、画像処理器、撮像装置及び処理方法を提供することができる。

図１は、第１実施形態に係る画像処理システム１の全体構成の一例を示す図である。 図２は、一実施形態に係る管理サーバ１０の機能ブロックの一例を示す図である。 図３は、一実施形態に係る画像処理器２０の機能ブロックの一例を示す図である。 図４は、図３に示す画像処理器２０の機能の一例を説明するための図である。 図５は、図３に示す画像処理器２０の機能の一例を説明するための図である。 図６は、図３に示す画像処理器２０の機能の一例を説明するための図である。 図７は、一実施形態に係る機械学習器３０の機能ブロックの一例を示す図である。 図８は、図２に示す管理サーバ１０の機能ブロックの一例を示す図である。 図９は、一実施形態に係る撮像装置４０の機能の一例を説明するための図である。 図１０は、第１実施形態に係る画像処理システム１の動作の一例を示すシーケンス図である。 図１１は、第２実施形態に係る画像処理システム１の全体構成の一例を示す図である。 図１２は、一実施形態に係る撮像装置４０の機能ブロックの一例を示す図である。 図１３は、第２実施形態に係る画像処理システム１の動作の一例を示すシーケンス図である。 図１４は、第３実施形態に係る画像処理システム１の全体構成の一例を示す図である。 図１５は、一実施形態に係る撮像装置４０の機能ブロックの一例を示す図である。 図１６は、第３実施形態に係る画像処理システム１の動作の一例を示すシーケンス図である。

以下において、実施形態について図面を参照しながら説明する。なお、以下の図面の記載において、同一又は類似の部分には、同一又は類似の符号を付している。

但し、図面は模式的なものであり、各寸法の比率などは現実のものとは異なる場合があることに留意すべきである。従って、具体的な寸法などは以下の説明を参酌して判断すべきである。また、図面相互間においても互いの寸法の関係又は比率が異なる部分が含まれている場合があることは勿論である。

（第１実施形態）
以下、図１〜図１０を参照して、第１実施形態について説明する。

図１は、第１実施形態に係る画像処理システム１の全体構成の一例を示す図である。図１に示すように、本実施形態に係る画像処理システム１は、管理サーバ１０と、撮像装置４０と、出品装置５０と、通信網で構成されるマーケット２とを有している。

また、本実施形態に係る画像処理システム１では、図２に示すように、管理サーバ１０は、通信インタフェース１１と、プロセッサ１２と、画像処理器２０と、機械学習器３０とを備えている。

通信インタフェース１１は、無線回線又は有線回線を用いて、撮像装置４０から、カメラ４１により撮像された撮像画像を取得するように構成されている。また、通信インタフェース１１は、無線回線又は有線回線を用いて、撮像装置４０に対して、プロセッサ１２から取得した距離測定位置が示す距離を送信するように構成されている。

プロセッサ１２は、画像処理器２０の処理に基づき、通信インタフェース１１によって取得された撮像画像に含まれる被写体に応じた距離測定位置を特定すると共に距離測定位置が示す距離を計測するように構成されている。

図３に示すように、画像処理器２０は、プロセッサ２１と、記憶部２２とを有している。

プロセッサ２１は、通信インタフェース１１によって取得された撮像画像の特徴成分を検出する。プロセッサ２１は、さらに、撮像画像に含まれる被写体を特定してもよい。特徴成分の検出は、エッジ検出を含む。プロセッサ２１は、各種手法を適用することによって、撮像画像のエッジを検出できる。各種手法とは、１次微分又は２次微分を用いる手法であってもよい。１次微分を用いる手法は、例えば、ソーベルフィルタ及びプレヴィットフィルタを含む。２次微分を用いる手法は、例えば、ラプラシアンフィルタを含む。

また、プロセッサ２１は、検出された特徴成分に基づいて、撮像画像に含まれる被写体に応じた距離測定位置を特定するように構成されている。

ここで、距離測定位置は、第１点及び第１点とは異なる第２点を少なくとも含んでいてもよい。また、距離測定位置は、第１点及び第１点とは異なる第２点を含む線分であってもよい。線分は、直線であっても曲線であってもよい。

プロセッサ２１は、検出された特徴成分に基づいて、被写体領域（セグメンテーション画像）を特定してもよい。被写体領域を示す画像は、セグメンテーション画像ともいう。また、プロセッサ２１は、検出された特徴成分に基づいて、被写体の輪郭を特定してもよい。

ここで、検出された特徴成分に基づいて撮像画像に含まれる被写体に応じた距離測定位置を特定することは、撮像画像全体又は被写体領域（セグメンテーション画像）に対して所定の座標に位置する被写体領域上又は被写体の輪郭上の点を特定することであってもよい。

また、検出された特徴成分に基づいて撮像画像に含まれる被写体に応じた距離測定位置を特定することは、特定の条件を満たし且つ被写体の輪郭（又は、輪郭周辺）に位置する点又は領域を特定することであってもよい。

また、検出された特徴成分に基づいて撮像画像に含まれる被写体に応じた距離測定位置を特定することは、特定の条件を満たす被写体領域（セグメンテーション画像）内の２点を結ぶ直線を特定することであってもよい。

また、検出された特徴成分に基づいて撮像画像に含まれる被写体に応じた距離測定位置を特定することは、特徴成分に基づき特定された被写体の輪郭（又は、輪郭周辺）の少なくとも一部に沿う線分の延長線と交わる輪郭（又は、輪郭周辺）に位置する点を特定することであってもよい。

また、プロセッサ２１は、検出された特徴成分及び特定された被写体に基づいて、撮像画像に含まれる被写体に応じた距離測定位置を特定するように構成されていてもよい。例えば、プロセッサ２１は、特定された被写体に応じて、距離測定位置を特定するために検出された特徴成分が満たすべき条件を判定してもよい。

例えば、図４に示すように、プロセッサ２１は、撮像画像に含まれる被写体がＴシャツを示すと特定した場合に、かかる距離測定位置として、着丈を測るための点５及び点６、袖丈を測るための点１及び点９（又は、点２及び点１０）、裄丈を測るための点１、点５及び点９（又は、点２、点５及び点１０）、身幅（胸囲）を測るための点３及び点４、ウエスト（又は、胴囲）を測るための点７及び点８、肩幅を測るための点９及び点１０のうちの少なくとも１つを特定してもよい。

すなわち、図４に示すように、プロセッサ２１は、撮像画像に上衣が含まれる場合（すなわち、被写体が上衣を示すと特定された場合）に、特定された被写体及び検出された特徴成分に基づいて、着丈、袖丈、裄丈、身幅（すなわち、胸囲）、ウエスト（すなわち、胴囲）及び肩幅のうちの少なくとも１つの寸法が計測されるように距離測定位置を特定してもよい。なお、ここでいうウエストは、上衣の胴部分の周囲のうち、胴部分において最も距離が短い周囲を指す。

図４において、Ｘ軸は、撮像画像の左右方向に対応し、Ｙ軸は、撮像画像の上下方向に対応する。或いは、プロセッサ２１が、撮像画像に含まれる被写体を特定できる場合、Ｘ軸は、被写体の左右方向に対応し、Ｙ軸は、被写体の上下方向に対応してもよい。

例えば、図４において、点１及び２は、撮像画像に含まれる被写体ＺのＸ軸方向（左右方向）の端点である。すなわち、点１及び２は、袖の先端の上側（すなわち、肩側の袖の先端）に位置する点である。点１及び点２は、撮像画像全体又は被写体領域（セグメンテーション画像）に対して所定の座標に位置する被写体領域上又は被写体の輪郭上の点の一例である。

点３及び４は、袖の付け根の下側（すなわち、脇側の袖の付け根）の点である。点３及び点４は、特定の条件を満たし且つ被写体の輪郭（又は、輪郭周辺）に位置する点又は領域の一例である。ここで、特定の条件とは、点３において、Ｘ軸方向の負方向（左方向）及びＹ軸の負方向（下方向）に特徴成分が存在することである。ここで、特定の条件とは、点４において、Ｘ軸方向の正方向（右方向）及びＹ軸の負方向（下方向）に特徴成分が存在することである。

点５及び６は、点３と点４とを結んだ直線の垂直二等分線Ｌ２と被写体Ｚにおける境界線Ｘ１との交点である。すなわち、点５は、衿の付け根且つ被写体Ｚの中心に位置する点であり、点６は、裾の先端且つ被写体Ｚの中心に位置する点である。点５及び点６は、撮像画像全体又は被写体領域（セグメンテーション画像）に対して所定の座標に位置する被写体領域上又は被写体の輪郭上の点の一例である。

点７及び点８を結ぶ直線は、点３及び点４に対してＹ軸の負方向（下方向）にある被写体Ｚの端点同士をＸ軸に対して並行に結ぶ直線のうち、最も距離が小さい直線である。点７及び点８を結ぶ直線は、特定の条件を満たす被写体領域（セグメンテーション画像）内の２点を結ぶ直線の一例である。ここで、特定の条件とは、距離が最も小さいことである。

点９は、点３と点７とを通る直線Ｌ４と被写体Ｚにおける境界線Ｘ１との交点である。点１０は、点４と点８とを通る直線Ｌ５と被写体Ｚにおける境界線Ｘ１との交点である。すなわち、点９及び点１０は、袖の付け根の上側（すなわち、肩側の袖の付け根）に位置する点である。点９及び点１０は、特徴成分に基づき特定された被写体の輪郭（又は、輪郭周辺）の少なくとも一部に沿う線分の延長線と交わる輪郭（又は、輪郭周辺）に位置する点の一例である。

なお、プロセッサ２１は、撮像画像に含まれる被写体がＴシャツを示すと特定した場合に、距離測定位置として点１〜１０を特定してもよいが、被写体がＴシャツを示すと特定することなく、検出した特徴成分のみに基づいて点１〜１０を特定してもよい。

或いは、図５に示すように、プロセッサ２１は、撮像画像に含まれる被写体がズボンを示すと特定した場合、かかる距離測定位置として、股上の長さを測るための点１及び点５、または点２及び点６、股下の長さを測るための点１及び点３、または点２及び点４、総丈を測るための点３及び点５、または点４及び点６、わたり幅（すなわち腿周り）を測るための点１及び点１４、並びに点２及び点１３、ウエスト（すなわち胴囲）を測るための点５及び点６、膝幅を測るための点７及び点８、並びに点９及び点１０、裾幅を測るための点３及び点１１、並びに点４及び点１２のうち少なくとも１つ点１〜１４を特定してもよい。

すなわち、図５に示すように、プロセッサ２１は、撮像画像に下衣が含まれる場合（すなわち、被写体が下衣を示すと特定された場合）に、股上、股下、総丈、ウエスト（すなわち、胴囲）、わたり幅（すなわち、腿周り）、膝幅及び裾幅のうちの少なくとも１つの寸法が計測されるように距離測定位置を特定してもよい。

例えば、図５において、点４及び点１２（並びに、点３及び点１１）は、裾部分の両端に位置する点である。点２及び点１３（並びに、点１及び点１４）は、着用者の太腿に対応する部分の両端に位置する点である。点９及び点１０（並びに、点７及び点８）は、着用者の膝に対応する部分の両端に位置する点である。点５及び点６は、着用者の胴に対応する部分の両端に位置する点である。

或いは、図６に示すように、プロセッサ２１は、撮像画像に含まれる被写体がバッグを示すと特定した場合、かかる距離測定位置として、底面における幅を測るための点１及び点２、底面における奥行きを測るための点２及び点３、高さを測るための点１及び点６（又は、点２及び点５、或いは、点３及び点４）、上面における幅を測るための点５及び点６、上面における奥行きを測るための点４及び点５のうち少なくとも１つを特定してもよい。

すなわち、図６に示すように、プロセッサ２１は、撮像画像に立体物が含まれる場合（すなわち、被写体が立体物を示すと特定された場合）に、高さ、幅及び奥行きのうちの少なくとも１つの寸法が計測されるように距離測定位置を特定してもよい。ここで、立体物は、家具、家電及びバッグのうちの少なくとも１つを含んでいてもよい。

その他、プロセッサ２１は、人間若しくは動物の身長、又は、魚若しくは植物のサイズを測るための点を特定するように構成されていてもよい。

記憶部２２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）又はＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を含む記憶装置或いはハードディスクやフラッシュメモリ等の補助記憶装置によって構成されており、プロセッサ２１によって特定された距離測定位置を記憶するように構成されている。

図３に示すように、機械学習器３０は、取得部３１と、プロセッサ３２と、記憶部３３とを有している。

取得部３１は、学習用の撮像画像及び学習用の撮像画像に対応する被写体の名称を入力データとラベルとの組として取得するように構成されている。

プロセッサ３２は、入力データとラベルとの組を訓練データとして学習を行うことにより、撮像画像に含まれる被写体が何を示すのかを学習するように構成されている。

ここで、プロセッサ３２は、上述の訓練データを多層構造で演算する、すなわち、深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）によって、撮像画像に含まれる被写体が何を示すための学習済モデルを生成するように構成されていてもよい。

記憶部３３は、ＦＲＡＭ（登録商標）（Ｆｅｒｒｏｅｌｅｃｔｒｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の記憶装置或いはハードディスクやフラッシュメモリ等の補助記憶装置によって構成されており、プロセッサ３２によって生成された学習済モデルを記憶するように構成されている。

また、画像処理器２０のプロセッサ２１は、機械学習器３０の学習済モデルに基づいて、撮像画像に含まれる被写体が何を示すのかを特定するように構成されていてもよい。

さらに、管理サーバ１０のプロセッサ１２は、画像処理器２０によって特定された距離測定位置に基づいて、かかる距離測定位置が示す距離を計測するように構成されていてもよい。

例えば、プロセッサ１２は、撮像画像に上衣が含まれる場合に、着丈、袖丈、裄丈、身幅、ウエスト及び肩幅のうちの少なくとも１つの寸法を計測するように構成されていてもよい。

具体的には、プロセッサ１２は、図４に示すように、着丈の寸法として、点５と点６との間の距離を計測するように構成されていてもよい。また、プロセッサ１２は、図４に示すように、袖丈の寸法として、点１と点９との間の距離（及び/或いは、点２と点１０との間の距離）を計測するように構成されていてもよい。

また、プロセッサ３３は、図４に示すように、裄丈の寸法として、点１と点９との間の距離と点５と点９との間の距離とを足し合わせた距離（及び/或いは、点２と点１０との間の距離及び点５と点９との間の距離とを足し合わせた距離）を計測するように構成されていてもよい。

また、プロセッサ１２は、図４に示すように、身幅の寸法として、点３と点４との間の距離を計測するように構成されていてもよい。また、プロセッサ３３は、図４に示すように、ウエストの寸法として、点７と点８との間の距離を計測するように構成されていてもよい。また、プロセッサ１２は、図４に示すように、肩幅の寸法として、点９と点１０との間の距離を計測するように構成されていてもよい。

また、プロセッサ１２は、撮像画像に下衣が含まれる場合に、股上、股下、総丈、ウエスト、わたり幅、膝幅及び裾幅のうちの少なくとも１つの寸法を計測するように構成されていてもよい。

具体的には、プロセッサ１２は、図５に示すように、股上の寸法として、点１と点５との間の距離（及び/或いは、点２と点６との間の距離）を計測するように構成されていてもよい。また、プロセッサ１２は、図５に示すように、股下の寸法として、点１と点３との間の距離（及び/或いは、点２と点４との間の距離）を計測するように構成されていてもよい。また、プロセッサ１２は、図５に示すように、総丈の寸法として、点３と点５との間の距離（及び/或いは、点４と点６との間の距離）を計測するように構成されていてもよい。また、プロセッサ１２は、図５に示すように、ウエストの寸法として、点５と点６との間の距離の２倍を計測するように構成されていてもよい。また、プロセッサ１２は、図５に示すように、わたり幅の寸法として、点１と点１４との間の距離（及び/或いは、点２と点１３との間の距離）の２倍を計測するように構成されていてもよい。また、プロセッサ１２は、図５に示すように、膝幅の寸法として、点７と点８との間の距離（及び/或いは、点９と点１０との間の距離）の２倍を計測するように構成されていてもよい。また、プロセッサ１２は、図５に示すように、裾幅の寸法として、点３と点１１との間の距離（及び/或いは、点４と点１２との間の距離）の２倍を計測するように構成されていてもよい。

また、プロセッサ１２は、撮像画像に立体物が含まれる場合に、高さ、幅及び奥行きのうちの少なくとも１つの寸法を計測するように構成されている。

ここで、距離測定位置が示す距離は、立体物である被写体の表面の２点を結ぶ距離又は平面とみなせる被写体の端部の２点を結ぶ距離であってもよい。具体的には、プロセッサ１２は、図６に示すように、高さの寸法として、点１と点６との間の距離（及び/或いは、点２と点５との間の距離、点３と点４との間の距離）を計測するように構成されていてもよい。また、プロセッサ１２は、図６に示すように、幅の寸法として、点１と点２との間の距離を計測するように構成されていてもよい。また、プロセッサ１２は、図６に示すように、奥行きの寸法として、点２と点３との間の距離を計測するように構成されていてもよい。

その他、プロセッサ１２は、撮像画像に人間又は動物が含まれる場合に、これらの身長を計測するように構成されていてもよい。また、プロセッサ１２は、撮像画像に魚又は植物が含まれる場合に、これらのサイズを計測するように構成されていてもよい。

また、図８に示すように、プロセッサ１２は、撮像画像に含まれるタグ情報からメーカー又はブランドを検出し、かかるメーカー又はブランドのサイズ表から距離測定位置が示す距離を特定するように構成されていてもよい。

また、本実施形態に係る画像処理システム１において、撮像装置４０は、通信網で構成されるマーケット２上に対象商品を出品可能である。かかる場合、撮像装置４０は、例えば、所謂スマートフォンのような通信端末やタブレット等の携帯用通信端末であってもよい。

ここで、撮像装置４０は、ユーザ操作に応じて、撮像画像及び距離測定位置が示す距離を対象商品情報として入力又は選択し、かかる撮像画像及び距離測定位置が示す距離を含む対象商品情報をマーケット２上にアップロードすることで対象商品を出品することができるように構成されている。

なお、本実施形態に係る画像処理システム１において、出品装置５０は、通信網で構成されるマーケット２上に対象商品を出品可能である。かかる場合、出品装置５０は、例えば、ラップトップコンピューター、デスクトップコンピューター、スマートスピーカー等であってもよい。

ここで、出品装置５０は、ユーザ操作に応じて、撮像装置４０から撮像画像及び距離測定位置が示す距離を取得し、撮像画像及び距離測定位置が示す距離を対象商品情報として入力又は選択し、撮像画像及び距離測定位置が示す距離を含む対象商品情報をマーケット２上にアップロードすることで対象商品を出品することができるように構成されている。

なお、図９に示すように、撮像装置４０及び出品装置５は、計測用の撮像画像に距離測定位置が示す距離をオーバーレイさせ、距離測定位置が示す距離がオーバーレイされた撮像画像を、商品画像及び距離測定位置が示す距離を含む対象商品情報としてマーケット２上にアップロードしてもよい。

図１０は、本実施形態に係る画像処理システム１の動作の一例を示すシーケンス図である。

図１０に示すように、撮像装置４０は、ステップＳ１００１において、カメラ４１によって被写体を含む撮像画像を撮像し、ステップＳ１００２において、管理サーバ１０に対して、かかる撮像画像を送信する。

管理サーバ１０は、ステップＳ１００３において、取得した撮像画像に含まれる被写体に応じた距離測定位置を特定すると共に距離測定位置が示す距離を計測し、ステップＳ１００５において、撮像装置４０に対して、計測した距離測定位置が示す距離を送信する。

撮像装置４０は、ステップＳ１００６において、ユーザ操作に応じて、撮像画像及び距離測定位置が示す距離を対象商品情報として入力又は選択し、ステップＳ１００７において、かかる撮像画像及び距離測定位置が示す距離を含む対象商品情報をマーケット２上にアップロードする。

ステップＳ１００８において、かかる対象商品情報が、マーケット２上に出品される。

本実施形態に係る画像処理システム１によれば、管理サーバ１０に備えられている画像処理器２０によって撮像画像に含まれる被写体に応じた距離測定位置を特定することで、撮像画像に含まれる被写体における所望の寸法を自動的に計測することができる。

また、本実施形態に係る画像処理システム１によれば、各撮像装置４０において画像処理器を備える必要がないので、携帯用通信端末等で簡便に撮像画像に含まれる被写体における所望の寸法を自動的に計測することができる。

（第２実施形態）
以下、図１１〜図１３を参照して、第２実施形態について、上述の第１実施形態との相違点に着目して説明する。

図１１に示すように、本実施形態に係る画像処理システム１において、画像処理器２０は、管理サーバ１０ではなく撮像装置４０に備えられる。

図１２に示すように、撮像装置４０は、通信インタフェース４１と、カメラ４２と、プロセッサ４３と、画像処理器２０とを有している。

通信インタフェース４１は、無線回線又は有線回線を用いて、管理サーバ１０及び通信網（マーケット）２と通信することができるように構成されており、カメラ４２は、被写体を含む撮像画像を取得することができるように構成されている。

プロセッサ４３は、プロセッサ１２と同様に、画像処理器２０の処理に基づき、カメラ４２によって撮像された撮像画像に含まれる被写体に応じた距離測定位置を特定すると共に距離測定位置が示す距離を計測するように構成されている。

画像処理器２０は、第１実施形態の場合と同様に、カメラ４２により撮像された撮像画像に基づき被写体が何を示すのかを特定し且つ被写体の特徴成分を検出し、特定された被写体及び特徴成分に基づいて撮像画像に含まれる被写体に応じた距離測定位置を特定するように構成されている。

図１３は、本実施形態に係る画像処理システム１の動作の一例を示すシーケンス図である。

図１３に示すように、管理サーバ１０は、ステップＳ２００１において、入力データとラベルとの組を訓練データとして学習を行うことにより、撮像画像に含まれる被写体が何を示すための学習済モデルを生成し、ステップＳ２００２において、撮像装置４０に対して、かかる学習済モデルを送信する。

撮像装置４０は、ステップＳ２００２において、受信した学習済モデルに基づいて撮像画像に含まれる被写体が何を示すのかを特定すると共に被写体の特徴成分を検出し、特定された被写体及び検出された特徴成分に基づいて撮像画像に含まれる被写体に応じた距離測定位置を特定し、ステップＳ２００３において、かかる距離測定位置が示す距離を計測する。

撮像装置４０は、ステップＳ２００４において、ユーザ操作に応じて、撮像画像及び距離測定位置が示す距離を対象商品情報として入力又は選択し、ステップＳ２００５において、かかる撮像画像及び距離測定位置が示す距離を含む対象商品情報をマーケット２上にアップロードする。

ステップＳ２００６において、かかる対象商品情報が、マーケット２上に出品される。

本実施形態に係る画像処理システム１によれば、撮像装置４０に備えられている画像処理器２０によって撮像画像に含まれる被写体に応じた距離測定位置を特定することで、撮像画像に含まれる被写体における所望の寸法を自動的に計測することができる。

（第３実施形態）
以下、図１４〜図１６を参照して、第３実施形態について、上述の第１実施形態及び第２実施形態との相違点に着目して説明する。

図１４に示すように、本実施形態に係る画像処理システム１において、画像処理器２０及び機械学習器３０は、撮像装置４０に備えられている。また、図１５に示すように、撮像装置４０は、画像処理器２０と、機械学習器３０と、通信インタフェース４１と、カメラ４２と、プロセッサ４３とを備えている。

ここで、プロセッサ４３は、カメラ３１により撮像された撮像画像に基づき、周囲環境の３次元情報及び撮像装置４０の位置を特定し、かかる周囲環境の３次元情報、撮像装置４０の位置、第１点及び第２点に基づき、撮像装置４０から第１点までの距離及び撮像装置４０から第２点までの距離を特定し、撮像装置４０から第１点までの距離及び撮像装置４０から第２点までの距離に基づき、第１点から第２点までの距離を特定するように構成されていてもよい。すなわち、プロセッサ４３は、例えば、Ｖｉｒｔｕａｌ ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）技術を用いて、各点（すなわち、各距離推定位置）の間の距離を計測するように構成されていてもよい。

図１６は、本実施形態に係る画像処理システム１の動作の一例を示すシーケンス図である。

図１６に示すように、撮像装置４０は、ステップＳ３００１において、入力データとラベルとの組を訓練データとして学習を行うことにより、撮像画像に含まれる被写体が何を示すための学習済モデルを生成し、ステップＳ３００２において、かかる学習済モデルに基づいて撮像画像に含まれる被写体が何を示すのかを特定すると共に被写体の特徴成分を検出し、特定された被写体及び検出された特徴成分に基づいて撮像画像に含まれる被写体に応じた距離測定位置を特定し、かかる距離測定位置が示す距離を計測する。

撮像装置４０は、ステップＳ３００３において、ユーザ操作に応じて、撮像画像及び距離測定位置が示す距離を対象商品情報として入力又は選択し、ステップＳ３００４において、かかる撮像画像及び距離測定位置が示す距離を含む対象商品情報をマーケット２上にアップロードする。

ステップＳ３００５において、かかる対象商品情報が、マーケット２上に出品される。

本実施形態に係る画像処理システム１によれば、撮像装置４０に備えられている画像処理器２０によって撮像画像に含まれる被写体に応じた距離測定位置を特定することで、撮像画像に含まれる被写体における所望の寸法を自動的に計測することができる。

撮像装置４０、管理サーバ１０、画像処理器２０、機械学習器３０が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ-ＲＯＭやＤＶＤ-ＲＯＭ等の記録媒体であってもよい。

以上、図面を参照して実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

１…画像処理システム
２…通信網（マーケット）
１０…管理サーバ
１１…通信インタフェース
１２…プロセッサ
２０…画像処理器
２１…プロセッサ
２２…記憶部
３０…機械学習器
３１…取得部
３２…プロセッサ
３３…記憶部
４０…撮像装置
４１…通信インタフェース
４２…カメラ
４３…プロセッサ
５０…出品装置

Claims (24)

1. 画像処理器を備える画像処理システムであって、
   前記画像処理器は、
   撮像画像の特徴成分を検出し、
   前記特徴成分に基づいて被写体に応じた距離測定位置を特定する、画像処理システム。
2. 前記画像処理器は、
   前記特徴成分を検出し且つ前記撮像画像に含まれる前記被写体を特定し、
   前記特徴成分及び特定された前記被写体に基づいて前記被写体に応じた前記距離測定位置を特定する、請求項１に記載の画像処理システム。
3. 管理サーバを含む、請求項１又は２に記載の画像処理システム。
4. 前記管理サーバが、前記画像処理器を備える、請求項３に記載の画像処理システム。
5. 前記管理サーバと通信可能且つカメラを備える撮像装置を少なくとも１つ含み、
   前記撮像装置は、前記カメラにより撮像された前記撮像画像を前記管理サーバに送信し、
   前記管理サーバは、
   前記画像処理器の処理に基づき、前記撮像画像に含まれる前記被写体に応じた前記距離測定位置を特定すると共に前記距離測定位置が示す距離を計測し、
   前記距離測定位置が示す距離を前記撮像装置に送信する、請求項４に記載の画像処理システム。
6. カメラを備える撮像装置を少なくとも１つ含む、請求項１〜３のいずれか一項に記載の画像処理システム。
7. 前記撮像装置が、前記画像処理器を備える、請求項６に記載の画像処理システム。
8. 前記カメラは、前記撮像画像を撮像し、
   前記画像処理器は、前記撮像画像に含まれる前記被写体に応じた前記距離測定位置を特定し、前記距離測定位置が示す距離を計測する、請求項７に記載の画像処理システム。
9. 前記撮像装置は、通信網で構成されるマーケット上に対象商品を出品可能であり、
   前記撮像装置は、
   前記撮像画像及び前記距離測定位置が示す距離を対象商品情報として入力又は選択し、
   前記撮像画像及び前記距離測定位置が示す距離を含む前記対象商品情報を前記マーケット上にアップロードすることで前記対象商品を出品する、請求項５又は８に記載の画像処理システム。
10. 通信網で構成されるマーケット上に対象商品を出品する出品装置を少なくとも１つ含み、
    前記出品装置は、
    前記撮像装置から前記撮像画像及び前記距離測定位置が示す距離を取得し、
    前記撮像画像及び前記距離測定位置が示す距離を対象商品情報として入力又は選択し、
    前記撮像画像及び前記距離測定位置が示す距離を含む前記対象商品情報を前記マーケット上にアップロードすることで前記対象商品を出品する、請求項５又は８に記載の画像処理システム。
11. 機械学習器を含み、
    前記機械学習器は、
    学習用の撮像画像及び前記学習用の撮像画像に対応する被写体の名称を入力データとラベルとの組として取得し、
    前記入力データと前記ラベルとの組を訓練データとして学習を行うことにより、撮像画像に含まれる被写体が何を示すのかを学習する、請求項１〜１０のいずれか一項に画像処理システム。
12. 前記画像処理器は、前記機械学習器の学習済モデルに基づいて、前記撮像画像に含まれる前記被写体が何を示すのかを特定する、請求項１１に記載の画像処理システム。
13. 前記機械学習器は、前記管理サーバ又は前記撮像装置に備えられる、請求項１２に記載の画像処理システム。
14. 前記機械学習器は、前記訓練データを多層構造で演算する、請求項１１〜１３のいずれか一項に記載の画像処理システム。
15. 前記距離測定位置は、第１点及び前記第１点とは異なる第２点を少なくとも含む、請求項１〜１４のいずれか一項に記載の画像処理システム。
16. 前記距離測定位置が示す距離とは、立体物である被写体の表面の２点を結ぶ距離又は平面とみなせる被写体の端部の２点を結ぶ距離である、請求項１５に記載の画像処理システム。
17. 前記画像処理器は、
    前記撮像画像に上衣が含まれる場合に、着丈、袖丈、裄丈、身幅、ウエスト及び肩幅のうちの少なくとも１つの寸法が計測されるように前記距離測定位置を特定する、請求項１〜１６のいずれか一項に画像処理システム。
18. 前記画像処理器は、
    前記撮像画像に下衣が含まれる場合に、股上、股下、総丈、ウエスト、わたり幅、膝幅及び裾幅のうちの少なくとも１つの寸法が計測されるように前記距離測定位置を特定する、請求項１〜１６のいずれか一項に画像処理システム。
19. 前記画像処理器は、
    前記撮像画像に立体物が含まれる場合に、高さ、幅及び奥行きのうちの少なくとも１つの寸法が計測されるように前記距離測定位置を特定する、請求項１〜１６のいずれか一項に画像処理システム。
20. 前記立体物は家具、家電及びバッグのうちの少なくとも１つを含む、請求項１９に画像処理システム。
21. 少なくとも１つのプロセッサを備える画像処理器であって、
    前記プロセッサは、
    撮像画像の特徴成分を検出し、
    前記特徴成分に基づいて被写体に応じた距離測定位置を特定する、画像処理器。
22. 請求項２１に記載の画像処理器とカメラとプロセッサとを備える撮像装置であって、
    前記画像処理器は、
    前記カメラにより撮像された撮像画像の特徴成分を検出し、
    前記特徴成分に基づいて被写体に応じた距離測定位置を特定する、撮像装置。
23. 前記距離測定位置は、第１点及び前記第１点とは異なる第２点を含み、
    前記撮像装置に備えられている前記プロセッサは、
    前記カメラにより撮像された撮像画像に基づき、周囲環境の３次元情報及び前記撮像装置の位置を特定し、
    前記周囲環境の３次元情報、前記撮像装置の位置、前記第１点及び前記第２点に基づき、前記撮像装置から前記第１点までの距離及び前記撮像装置から前記第２点までの距離を特定し、
    前記撮像装置から前記第１点までの距離及び前記撮像装置から前記第２点までの距離に基づき、前記第１点から前記第２点までの距離を特定する、請求項２２に記載の撮像装置。
24. 画像処理器を備える画像処理システムで実行される処理方法であって
    撮像画像の特徴成分を検出し、
    前記特徴成分に基づいて被写体に応じた距離測定位置を特定する、処理方法。
    

Images