JP2023095609A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】具体的な撮像方向を指示できる画像処理装置、画像処理方法及びプログラムを提供する。【解決手段】対象物を示す撮像画像を受け入れる受入手段と、前記撮像画像に基づき前記対象物の特徴点を抽出することで前記対象物の認識を行う認識手段と、前記対象物の種類に基づき撮像方向の推奨を行う推奨手段と、前記認識の結果と前記推奨の結果とに基づき前記対象物に係る撮像方向の指示を行う指示手段と、を有する画像処理装置またはその方法及びプログラム。【選択図】図１

Description

本発明は、画像の撮像に関する指示を行う画像処理装置、画像処理方法及びプログラムに関する。

ユーザ間での商品などの売買を仲介する、いわゆるＣ２Ｃ（Ｃｕｓｔｏｍｅｒ ｔｏ Ｃｕｓｔｏｍｅｒ）マーケットプレイスサービス等の電子商取引サービスが広く利用されている。電子商取引サービスでは、ユーザは商品の撮像画像を掲示する場合がある。ところが、同一の商品であってもユーザごとに撮影の巧拙があることに起因して商品の売れ行きに差が生じる場合がある。

特開２０２１－０７７１３１号公報

特許文献１には、ＳＮＳに投稿された複数の画像の構図に関する評価を学習する学習手段と、ユーザによって操作される端末において撮像される画像を解析して特徴情報を抽出する抽出手段と、ユーザの操作によって構図が暫定的に指定されると、抽出された特徴情報に基づき、構図に従って撮影された画像に対してＳＮＳにおいて与えられると推測される評価を表す情報をユーザに通知する通知手段とを有する構図アドバイスシステムが開示されている。

そこでこのような構図のアドバイスを行うことで、商品の写真について適切と評価される構図を指示することが考えられる。しかしながら特許文献１に開示の技術では、ユーザが構図を変更しながら撮像（構図の確定）を行ってアドバイスを得る必要があり、具体的にどのような構図から撮像することが妥当であるのか、その指示が分かりにくい。

本発明は上記実情に鑑みて為されたもので、具体的な撮像方向を指示できる画像処理装置、及びプログラムを提供することを、その目的の一つとする。

上記従来例の問題点を解決する本発明の一態様は画像処理装置であって、対象物を示す撮像画像を受け入れる受入手段と、前記撮像画像に基づき前記対象物の特徴点を抽出することで前記対象物の認識を行う認識手段と、前記対象物の種類に基づき撮像方向の推奨を行う推奨手段と、前記認識の結果と前記推奨の結果とに基づき前記対象物に係る撮像方向の指示を行う指示手段と、を有する画像処理装置である。

本発明によると、具体的な撮像方向を指示できる。

本発明の実施の態様に係る画像処理装置の構成例を表すブロック図である。 本発明の実施の態様に係る画像処理装置が利用するデータベースの内容例を表す説明図である。 本発明の実施の態様に係る画像処理装置の例を表す機能ブロック図である。 本発明の実施の態様に係る画像処理装置が設定する仮想包囲体の例を表す説明図である。 本発明の実施の態様に係る画像処理装置の動作例を表すフローチャート図である。 本発明の実施の態様に係る画像処理装置が表示する画面例を表す説明図である。 本発明の実施の態様に係る画像処理装置が設定する仮想包囲体のもう一つの例を表す説明図である。

本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る画像処理装置１は、例えばスマートフォン等のカメラ機能を有する情報処理装置によって実現でき、図１に例示するように、制御部１１，記憶部１２，操作部１３，表示部１４，通信部１５、及び撮像部１６を含んで構成される。またこの画像処理装置１は、サーバ装置２に対して、ネットワークを介して通信可能に接続されてもよい。

この制御部１１は、ＣＰＵ等のプログラム制御デバイスであり、記憶部１２に格納されたプログラムに従って動作する。本実施の形態の例では、この制御部１１は、ユーザの指示に従って撮像部１６を制御し、被写体である対象物の撮像画像を受け入れる。ここで、撮像画像を受け入れるとは、撮像部１６によって対象物を撮像して得られた撮像画像をプレビュー画像としてＲＡＭ等の揮発性メモリに一時的に格納することを指してよく、撮像部１６によって対象物を撮像して得られた撮像画像を記憶部１２に記録することを指してもよい。さらに制御部１１は、上記受け入れた撮像画像に基づき対象物の認識を行い、この認識の結果に基づき被写体である対象物の撮像方向の指示を行う。この制御部１１の動作例については後に述べる。

本実施の形態において、撮像方向とは、撮像機能を有する装置（カメラなど）のアングルおよびポジションの情報を示す。例として、後述のｘｙ表面からの仰角が大きい場合、その撮像方向は、ハイアングルおよびハイポジションを示すものと解される。なお、本明細書において、撮像方向は単に方向とも表記され得る。

記憶部１２は、メモリデバイスやディスクデバイス等であり、制御部１１によって実行されるプログラムを格納する。このプログラムは、コンピュータ可読かつ非一時的な記録媒体に格納されて提供され、この記憶部１２に複写されたものであってもよい。

操作部１３は、表示部１４に重ね合わせて配されたタッチパネル等であり、ユーザの操作を受け入れて、当該操作の内容を表す情報を、制御部１１に出力する。表示部１４は、ディスプレイ等であり、制御部１１から入力される指示に従って画像を表示する。

通信部１５は、ネットワークや、携帯電話回線網を介して通信を行うためのインタフェースであり、例えばネットワークを介して受信されるデータを制御部１１に出力し、また制御部１１から入力される指示に従って、データを、ネットワークを介して外部のサーバ等に宛てて送出する。撮像部１６は、カメラ等であり、撮像した撮像画像を逐次的に、制御部１１に出力する。

本実施の形態では、この画像処理装置１と通信可能に接続されるサーバ装置２は、画像処理装置１から、画像処理装置１で撮像され、記録された撮像画像のアップロードを受け入れる。またこのサーバ装置２は、画像処理装置１から撮像の対象となる対象物の種類を特定する情報（対象物の名称、あるいは対象物の形状などを表す情報）を受け入れて、当該対象物を撮像するに適切とされる方向を表す情報を提供する。

適切な方向の情報を提供する処理を実現する方法の一例として、本実施の形態では、図２に例示するように、サーバ装置２に、予め対象物の名称等の情報に関連付けて、当該対象物の撮像に適切とされる方向の情報（推奨方向情報と呼ぶ）を記録したデータベースを格納しておく。この推奨方向情報は、例えばサーバ装置２がいわゆるＣ２Ｃマーケットプレイスサービスを提供するものである場合、当該対象物と同じ名称（同じ商品名）の商品が提供された際の撮像画像の方向と、当該商品についての過去の売れ行きから統計的に、あるいは人為的に決定しておけばよい。

またこの推奨方向情報は、対象物の高さ方向をζ軸とし、対象物の正面方向から撮像方向（カメラが配される方向）のζ軸周りの角度をθ、原点（対象物に外接する六面体の底面（対象物底面と一致する）の中心でよい）からの仰角方向をφとした（θ，φ）で表すことができる。

そしてサーバ装置２は、画像処理装置１から撮像の対象となる対象物を特定する情報とともに推奨方向情報の要求を受けると、当該要求に応答し、受け入れた情報で特定される対象物の名称等の情報に関連付けられた推奨方向情報を取得し、当該取得した推奨方向情報を、要求元の画像処理装置１へ送出する。

次に、本実施の形態の制御部１１の動作について説明する。本実施の形態において制御部１１は、記憶部１２に格納されたプログラムを実行することで、図３に例示するように、受入部２１（受入手段に相当）と、記録部２２と、認識部２３（認識手段に相当）と、指示部２４（指示手段に相当）と、推定部２５（推定手段に相当）とを機能的に含む構成を実現する。また、この制御部１１は、推奨部２７（推奨手段に相当）をさらに機能的に含む構成を実現してもよい。なお、各手段または各ステップの構成は、各部の構成を適宜、組み合わせたものであってよく、その態様に制限はない。

ユーザは、机などの平面上に撮像の対象となる対象物を配し、画像処理装置１（例えばスマートフォン）を操作して、このプログラムを起動する。以下、撮像部１６は、カメラで撮像した撮像画像を逐次的に出力する。

受入部２１は、撮像部１６から入力される、撮像部１６にて撮像された撮像画像を逐次的に受け入れる。受入部２１は、この撮像画像を、表示部１４に表示出力することとしてもよい。

記録部２２は、ユーザの意思入力に応じて、受入部２１が最後に受け入れた撮像画像を記憶部１２に撮影画像として記録する。

認識部２３は、受入部２１が受け入れた撮像画像、または記録部２２が記録した撮像画像を処理の対象（以下処理対象画像と呼ぶ）として、当該処理対象画像に撮像された対象物を認識する。具体的にこの認識部２３は、処理対象画像が三次元空間を撮像したものと仮定して、仮想的な三次元座標（ＸＹＺ直交座標）を設定する。

すなわち認識部２３は、処理対象画像から所定の特徴点（Scale-Invariant Feature Transform（ＳＩＦＴ）等で得られる画像特徴点でよい）を抽出して、対象物が配されている平面を検出し、この平面上の一点を原点とし、平面に平行にＸＹ直交座標を決定する。例えば認識部２３は、Ｙ座標の正の方向を、座標の決定処理の際に最後に撮像された処理対象画像のカメラの視線方向を上記平面に射影した方向とし、Ｘ座標の正の方向を上記Ｙ座標に直交し、Ｙ座標の正の方向を見たとき、右方向となるように設定する。また認識部２３は、上記平面の法線方向をＺ座標正の方向として、仮想的なＸＹＺ直交座標（ワールド座標と呼ぶ）を設定する。もっともこの座標の設定方法は一例であり、他の方法が採用されてもよい。

さらに認識部２３は、処理対象画像から対象物に関する所定の特徴点を抽出し、対象物が撮像されている範囲（例えば対象物に外接する直方体）をバウンディング・ボックスとして特定する。つまり認識部２３は、このバウンディング・ボックスとなる多面体の頂点座標の組を特定して取得する。なお認識部２３は、この直方体を、その底面が上記平面と一致するよう設定し、この直方体の底面の中心（ワールド座標系で表される）を原点とし、ワールド座標のＸ，Ｙ，Ｚ軸にそれぞれ平行なｘ′，ｙ′，ｚ軸となる座標系を仮に設定する。そして認識部２３は、バウンディング・ボックスとなった多面体の一つの面を所定の方法で正面方向として選択し、上記仮に設定した座標系のｘ′，ｙ′軸をｚ軸周りに回転して、ｙ′軸が正面方向の法線方向（かつその正の方向がバウンディング・ボックスの正面から対象物に向かう向き）となるように設定して、当該回転角βを得る。認識部２３は、この回転角βだけ回転した後のｘ′，ｙ′軸の方向をそれぞれｘ，ｙ軸とし、対象物に関するｘｙｚ直交座標系（対象物座標系）を設定する。

ここで正面方向を選択する方法としては、例えばバウンディング・ボックスの面のうち、最初に取得された撮像画像の撮像方向に最も近く、かつ最も大きい面を正面とする方法や、ユーザにより人為的に正面を選択させる方法などがあるが、対象物の正面方向を定めることができれば、これらの例に限られるものではない。

また認識部２３は、予め登録されている物体の参照用の商品画像と比較する等の処理により、対象物の名称（対象物が商品であれば商品名）等を認識してもよい。認識部２３は、対象物の認識の結果に基づき対象物の形状を決定してよい。

また認識部２３は、対象物の認識を行うことで対象物の種類に係る識別を行うこととしてもよい。本実施の形態における識別とは、例として、対象物の認識により得られた対象物の特徴点（特徴量に相当）に基づいて、当該特徴量を入力として、機械学習モデル等で実現される分類器を用いて対象物の分類を取得することであってよい。この対象物の識別は、また、画像検索の態様をとってもよいし、対象物の特徴点に基づくパターンマッチングの態様をとってもよく、その態様に制限はない。

これらのワールド座標系や対象物座標系の設定、あるいは名称等の認識を行う処理は、一般的なＡＲ（Augmented Reality）処理モジュール（例えば米国アップル社の提供するARKitや、米国グーグル社のARCoreなど）の物体認識機能を利用して、あるいは、機械学習（https://ai.googleblog.com/2020/03/real-time-3d-object-detection-on-mobile.htmlに記載の処理、ないしArsalan Mousavian, et al., 3D Bounding Box Estimation Using Deep Learning and Geometry, arXiv:1612.00496v2などに記載の処理など）によって実現できるものであるので、ここでの詳しい説明は省略する。なお、本実施の形態において、対象物を配する机などの平面には、物体認識の支援を目的としてＡＲマーカー等のパターン画像が呈示されてもよい。例えばＡＲマーカーを形成したシートを机上に配し、その上に対象物を置いて撮像することとしてもよい。

指示部２４は、認識部２３による、撮像された対象物の認識の結果に基づいて、当該対象物に係る撮像方向をユーザに対し指示する。本実施の形態の例では、この指示部２４は、図３に例示したように、オブジェクト設定部２４１と、推奨方向取得部２４２と、指示表示部２４３とを含む。

オブジェクト設定部２４１は、認識部２３が得た、撮像された対象物を取り囲むバウンディング・ボックスに外接、または当該バウンディング・ボックスを内包する、所定形状の仮想的な包囲体（仮想包囲体）を設定する。ここで、仮想包囲体とは、例として、ＡＲオブジェクトなどのＸＲオブジェクトに相当する。なお、本実施形態では、当該バウンディング・ボックスに外接する、または当該バウンディング・ボックスを内包するよう仮想包囲体を設定する場合について例示するが、対象物の、当該対象物上にある特徴点の部分を内包するよう仮想包囲体を設定すればよく、その態様に制限はない。

一例として指示部２４は、認識部２３により決定された対象物の形状に基づき、仮想包囲体の形状を決定し設定してもよい。例として、対象物が矩形の箱状を有する場合、指示部２４は、この対象物の形状を仮想的に拡大した矩形の仮想包囲体を設定してよい。また別の例として、対象物が扁平の形状をなす場合、指示部２４は、半球状ではなく扁平な矩形の仮想包囲体を設定してもよい。なお、指示部２４は、所定のデータベース等を参照することで、対象物の名称または種別に基づいて予め定められた形状の情報を取得し、当該取得した情報で特定される形状の仮想包囲体を設定してもよい。

例えばこのオブジェクト設定部２４１は、図４に例示するように、対象物（Ｔ）を撮像した処理対象画像に対し、中心を対象物座標系の原点とし、認識部２３が設定したバウンディング・ボックス（Ｂ）に外接する半球（ｒ）を仮想的に設定し、さらにこの半球の半径を所定の比率で拡大した半球（Ｒ）を設定する。なお、対象物の特徴点又はバウンディング・ボックス（Ｂ）を直接的に内包するよう当該半球（Ｒ）を設定してよい。

オブジェクト設定部２４１は、例として、さらにこの仮想包囲体の表面である半球表面を複数の面オブジェクトに分割して、各面オブジェクトを表す座標の情報を得る。ここで半球表面とは、半球（Ｒ）を指す。また、ここで面オブジェクトのそれぞれは平面であってもよく、その場合半球表面は近似的に複数の面オブジェクト（メッシュに相当）に分割され、各面オブジェクトを表す座標の情報はそれぞれの頂点の座標の値（対象物座標系での値でよい）となる。この分割の方法は特に限定はされず、有限要素法を用いたメッシュ分割の方法や、Catmull-Clark分割（OpenSubDivライブラリなどを利用して実現できる）など、適宜な方法を採用すればよい。この例では、上記複数の面オブジェクトが、本発明における複数の仮想的なオブジェクトに相当する。なお、分割により得られる面オブジェクトの形状やサイズは一定でなくてもよく、互いに異なる形状やサイズのメッシュを含む複数の面オブジェクトに分割されてもよい。

また推奨方向取得部２４２は、認識部２３が取得した対象物の名称の情報（対象物の種類を特定する情報）をサーバ装置２へ送出し、サーバ装置２に対して推奨方向情報を要求する。サーバ装置２が当該要求に応答して推奨方向情報を送出すると、推奨方向取得部２４２は当該推奨方向情報を受け入れる。

あるいは、この推奨方向取得部２４２は、認識部２３が取得した対象物の種類を特定する情報などに基づいて後に説明する推奨部２７が出力する当該推奨方向情報を受け入れる。

指示表示部２４３は、オブジェクト設定部２４１が仮想的なオブジェクト（仮想包囲体）の設定を行い、推奨方向取得部２４２が推奨方向情報を受け入れると、受入部２１が撮像画像を受け入れるごとに、当該撮像画像に仮想包囲体を重ね合わせて表示する。

この指示表示部２４３は、受入部２１が撮像画像を受け入れるごとに、認識部２３が設定したワールド座標系の、当該撮像画像における各軸方向を決定する。この処理は、特徴点の追跡の処理によって行うことができ、上述のＡＲ処理モジュール等を利用して行うことができる。また指示表示部２４３は、このワールド座標系に基づいて対象物座標系を設定する（原点のワールド座標系での座標及びｘｙ座標軸のＸＹ座標系に対する回転角βを用いる）。

そして指示表示部２４３は、推奨方向取得部２４２が受け入れた推奨方向情報に基づいて、上記仮想包囲体上の一部の領域を強調して表示する。一例としてこの表示指示部２４３は、推奨方向取得部２４２が受け入れた推奨方向情報に基づいて、仮想的なオブジェクトである上記面オブジェクトのうち少なくとも一つの面オブジェクトを特定する。具体的な特定方法の例として、この指示表示部２４３は、仮想的なオブジェクトである上記面オブジェクトのうち、その法線方向（面オブジェクトが曲面であればそれに外接する六面体のうち最も広い面の法線に平行な方向）であって、対象物座標系の原点から遠ざかる方向（面方向と呼ぶ）を表す角度の情報が、推奨方向情報に最も近い面オブジェクトを特定する。

ここで面方向を表す角度の情報は、推奨方向情報と比較可能な方法で定める。ここでは対象物座標系において面方向に平行で、対象物座標系の原点を通る線分の、対象物座標系のｚ軸周りの角度θ′と、原点を含むｘｙ面からの仰角φ′とで表しておく。

なお、推奨方向取得部２４２がサーバ装置２から取得した推奨方向情報が複数ある場合は、指示表示部２４３は、それぞれに最も近い方向の面オブジェクトを特定する。

指示表示部２４３は、指示の内容である撮像方向と対応する方向情報に基づいて特定した面オブジェクトを強調して表示する。換言すると、指示表示部２４３は、上記生成した複数の面オブジェクトのうち、当該推奨方向情報に基づいて特定した面オブジェクトと、そうでない面オブジェクトとを互いに区別可能な態様で、受入部２１が受け入れた撮像画像に重ね合わせて表示する。例えば、指示表示部２４３は、推奨方向情報に基づいて特定した面オブジェクトと、そうでない面オブジェクトとのそれぞれを、互いに異なる色で塗りつぶし、撮像画像に半透明合成する。

推定部２５は、受入部２１が受け入れた撮像画像に基づき撮像方向の推定を行う。この推定部２５は、認識部２３が設定した対象物座標系（ｘｙｚ直交座標系）のｙ座標とカメラの視線方向（画像の面に対する法線方向）との角度差α（ｚ軸周りの回転角）と、ｘｙ平面からのカメラの視線方向の角度（仰角）βとを得る。つまり、この推定は、カメラ座標系と対象物座標系との変換パラメータを取得することで行うことができる。また推定部２５は、推定を行うことで、受け入れた撮像画像が指示部２４による指示の内容である撮像方向と略一致しているか否か判定してもよい。

推奨部２７は、画像処理装置１の制御部１１により機能的に実現されてもよいし、サーバ装置２に含まれてもよい。推奨部２７は、指示部２４から受け入れた対象物の種類に基づいて、撮像方向を推奨する処理を行う。本実施の形態において、この撮像方向の推奨の処理では、推奨部２７は、対象物の種類に基づき推奨方向（推奨される撮像方向）を決定し、推奨方向情報を決定してデータベース（推奨した撮像方向を記録するデータベース）を更新する。そして当該決定した推奨方向の情報を、指示部２４に出力する。サーバ装置２に推奨部２７が含まれる場合は、ネットワークを介して、画像処理装置１の制御部１１に推奨方向の情報を出力することとなる。

なお、ここで対象物の種類は、既に述べたように対象物の商品名の情報であってもよいし、対象物の商品カテゴリの情報であってもよい。この対象物の種類の情報は、対象物をユーザが識別するために有用な情報であればその態様に制限はない。本実施の形態では、指示部２４が、この推奨部２７が出力する推奨方向の情報に基づき撮影方向の指示を行う。換言すると、指示部２４は、推奨部２７により、推奨すべき推奨方向となった撮影方向を、ユーザに対し対象物に係る撮像方向として指示する。

推奨部２７は、認識部２３による対象物の種類に係る識別の結果に基づき撮影方向を推奨する処理を行ってよい。

また推奨部２７は、対象物の種類が共通する対象物に係る過去の撮像画像のそれぞれの撮像方向に基づき、受入部２１が受け入れた撮像画像に係る対象物の撮影方向を推奨する処理を行ってもよい。ここで「対象物の種類が共通する対象物に係る過去の撮像画像」とは、例として、過去の対象物と対応付けてアップロードされた撮像画像であってもよいし、所定のデータベースに参照可能に蓄積された撮影画像であってもよい。ここで、過去の対象物とは、例として、過去にＣ２Ｃマーケットプレイス等の電子商取引サービスにおいて過去に出品された商品を指してよい。なお、過去の撮像画像のそれぞれの撮像方向は、過去の撮像画像に付随するメタデータが示す撮像方向であってよく、過去の撮像画像に係る既知または慣用の画像認識技術に基づき推定された撮像方向であってもよい。

また推奨部２７は、例として、対象物の種類が共通する対象物に係る過去の撮像画像のそれぞれの撮像方向のうち、所定の取引履歴を有する対象物に係る撮像画像の撮像方向に基づいて推奨の処理を行ってもよい。ここで「所定の取引履歴を有する対象物」とは、例えば、出品及び取引成立を経て実際に電子商取引が行われた商品を指す。つまり、推奨部２７は、適切な撮影方向に基づく撮像画像のアップロードが取引成立の一要因として判断され得る過去の対象物（商品）に係る撮像方向を、推奨方向情報が示す推奨方向として決定してもよい。

また推奨部２７は、対象物の種類が共通する対象物に係る過去の撮像画像のそれぞれの撮像方向のうち、上記「所定の取引履歴」として、出品から取引成立までの経過時間に基づいて選択された取引履歴を有する対象物に係る撮像画像の撮像方向に基づき推奨の処理を行ってよい。ここで推奨部２７は、例えば出品から取引成立までの経過時間の短い順に上位の所定件数の取引履歴を選択してもよい。なお、本実施の形態において利用される電子商取引の履歴を含む各種情報は、電子商取引サービスを管理するサーバ装置２に問い合わせることで取得してもよいし、所定のデータベースに蓄積されたデータを参照することで取得してもよい。

また推奨部２７は、商品ページの閲覧数に基づいて推奨の処理を行ってもよい。例えば推奨部２７は、対象物の種類が共通する商品（あるいはその外形状が共通する商品であってもよい）に係る過去の撮像画像のそれぞれの撮像方向のうち、当該商品の撮像画像が掲載された商品ページの閲覧数が上位の所定順位までのうちにある商品ページの当該商品の撮像画像の撮像方向と対応する、対象物の撮像画像に係る撮像方向に基づき推奨の処理を行ってもよい。ここで商品ページは電子商取引サービスにおいてウェブ上で表示される商品ページに相当し、当該商品ページには、サムネイル画像等の代表される画像として、商品の撮像画像が含まれるものとする。本実施の形態において閲覧数は、電子商取引サービスにおいてユーザが当該商品ページを指定しその商品の詳細等を閲覧した数であってもよいし、電子商取引サービスにおいてユーザが当該商品ページにおいて撮像画像を指定（クリック等）した数であってもよい。なお、本実施の形態において利用される商品ページに係る各種閲覧数は、電子商取引サービスを管理するサーバ装置２に問い合わせることで取得してもよいし、所定のデータベースにおいて蓄積されたデータを参照することで取得してもよい。

［動作］
本実施の形態の一例に係る画像処理装置１は以上の構成を備えており、次のように動作する。なお、以下の例では、サーバ装置２がいわゆるＣ２Ｃマーケットプレイスサービス等の電子商取引サービスを提供するものであり、ユーザが当該Ｃ２Ｃマーケットプレイスサービスに出品する商品について、ユーザが撮像した撮像画像のアップロードを受け入れるものとする。

またこのサーバ装置２は、商品となる対象物ごとに、当該対象物の名称等の情報に関連付けて、当該対象物の撮像に適切とされる方向を表す推奨方向情報が少なくとも一つ記録されているものとし、画像処理装置１から撮像の対象となる対象物を特定する情報とともに推奨方向情報の要求を受けると、当該要求に応答し、受け入れた情報で特定される対象物の名称等の情報に関連付けられた推奨方向情報を取得して、当該取得した推奨方向情報を、要求元の画像処理装置１へ送出するものとする。

なお、上述の通り、商品ごとの推奨方向情報は、過去に当該商品と同じ種類の商品が提供された際に用いられた撮像画像に係る撮像方向と、その売れ行きの情報とから統計的に、比較的売れ行きがよいと判断される方向を表すものとする。ここで、上述のＣ２Ｃマーケットブレイス等において、対象物を商品として出品する際にアップロードされる商品画像である撮像画像は、当該撮像方向を示す情報がメタデータとして付されていてよい。このとき、商品や対象物の種類に応じた推奨される撮像方向は、その商品やその種類の対象物に対応付けてアップロードされた撮像画像に付随する撮像方向を示す情報に基づき、決定される。

ユーザは、机などの平面上に出品する商品を配しておく。そしてユーザはスマートフォンを操作して、当該スマートフォンを画像処理装置１として機能させるためのプログラムを起動する。これにより当該スマートフォンが画像処理装置１として動作することとなる。

画像処理装置１は、その撮像部１６で撮像した画像を撮像画像として、逐次的に表示部１４に表示する。また画像処理装置１は、撮像画像を処理対象画像として、当該処理対象画像から所定の特徴点を抽出して、対象物が配されている平面（机の面）を検出する。

また画像処理装置１は、当該検出した平面上の一点を原点として、当該平面内にＸＹ直交座標を設定し、さらに当該平面の法線方向をＺ座標の方向として、仮想的なＸＹＺ直交座標系であるワールド座標系を設定する。このワールド座標系は、処理終了まで回転等の変更を行わない。

さらに画像処理装置１は、処理対象画像から対象物に関する所定の特徴点を抽出して、撮像されている対象物に外接する直方体をバウンディング・ボックスとして特定する。画像処理装置１は、当該バウンディング・ボックスとなった多面体の一つの面を、既に述べた例のような方法で正面方向として選択し、当該正面方向の面を法線方向とするｙ軸と、上記平面内にあって、ｙ軸に直交するｘ軸と、Ｚ軸に平行なｚ軸とを規定して、対象物に関するｘｙｚ直交座標系（対象物座標系）を設定する。

画像処理装置１は、そして、予め登録されている物体の撮像画像と比較する等の処理により、対象物の商品名を取得する。

その後、画像処理装置１は、図５に例示する処理を開始し、先に取得した対象物の商品名をサーバ装置２へ送出し、サーバ装置２に対して推奨方向情報を要求する（Ｓ１１）。そして画像処理装置１は、サーバ装置２が当該要求に応答して送出した推奨方向情報を取得する（Ｓ１２）。

画像処理装置１は、撮像画像が取得されると、当該撮像画像内に撮像された対象物を取り囲むバウンディング・ボックスに外接、または当該バウンディング・ボックスを内包する、半球状の仮想的な包囲体（仮想包囲体）を設定する（Ｓ１３）。

画像処理装置１は、ステップＳ１３で設定した半球の表面を、複数の面オブジェクトに分割する（Ｓ１４）。ここでは各面オブジェクトは平面であるものとし、各面オブジェクトの形状と位置は、対象物座標系で表現しておく。

画像処理装置１は、以下、撮像画像を受け入れるごとに（Ｓ１５）、特徴点のトラッキング等の方法で、当該撮像画像におけるワールド座標系の各軸方向を決定する（Ｓ１６）。

また画像処理装置１は、ここで決定したワールド座標系に対応する対象物座標系上で、視点から遠い順に、面オブジェクトを描画する（Ｓ１７）。このとき画像処理装置１は、ステップＳ１２で取得した推奨方向情報が表す方向ごとに、当該方向に最も近い法線方向にある面オブジェクトを特定する。当該推奨方向情報が表す方向に基づいて特定した少なくとも一つの面オブジェクトと、そうでない（特定していない）面オブジェクトとを互いに異なる色で塗りつぶした矩形として描画する。

そして画像処理装置１は、当該描画した面オブジェクトの画像を、ステップＳ１５で受け入れた撮像画像に半透明合成して、表示する（Ｓ１８）。

これによりユーザは、図６に例示するように、球面状に配された複数の面オブジェクトのうち、色の異なっている方向が推奨される方向であるとして認識できる。この例では、推奨方向情報が表す方向とは異なる方向から撮像画像が取得されている間は、図６（ａ）に例示するように、他の方向に推奨方向情報が表す方向を表す面オブジェクト（Ｐ）が表示される。またユーザが、方向を調整して、推奨方向情報が表す方向から撮像画像が取得されるようになると、図６（ｂ）に例示するように、推奨方向情報が表す方向に近い方向にある面オブジェクトの色が、対象物に重ね合わせて表示された状態となる。ユーザはこれを参照して、撮影画像の記録のための意思入力（シャッター操作など）を行ってよい。なお、この入力に応じて画像処理装置１が記録する撮像画像には、仮想包囲体などの画像の合成は行わない。

なお、図６の例では、図示を見やすくするため、対象物の奥側にある面オブジェクトの図示を省略しているが、実際には奥側の面オブジェクトも描画されていてよい。さらに図６の例では、半球を緯度方向に４分割しているが、この分割数は２以上の整数であれば任意であり、さらに多くの分割がされていてもよい。経度方向についても同様に、分割数は２以上の整数であれば任意である。

画像処理装置１は、ユーザによる意思入力を受け入れると、その時点で撮像部１６が撮像している撮像画像を記憶部１２に格納する。また画像処理装置１は、この格納した撮像画像を、ユーザの指示によりサーバ装置２へ商品の撮像画像としてアップロードする。

このように本実施の形態によると、表示部１４に表示された画像を参照しつつ、他の部分と色の異なる面オブジェクトを通じて対象物を見ることとなる方向で撮像を行うことが可能となり、具体的な撮像方向の指示が実現される。またこれにより適切な方向として設定された方向での撮像が可能となる。

［仮想包囲体形状の変形例］
また本実施の形態において仮想包囲体の形状は、上述のような半球体に限られない。仮想包囲体は、例えば図７に例示するような六角柱や八角柱などの多角柱形状であってもよいし、サッカーボールのような、多角形を組み合わせた形状であってもよい。図７の例では、六角柱（Ｈ）形状の例を示している。

さらに仮想包囲体を複数の面オブジェクトに分割する場合に、分割された面オブジェクトは、互いに異なる形状のものを含んでもよい。なお、柱状体のように、比較的広い面を有する仮想包囲体においては、面オブジェクトへの分割方法によっては、互いに同じ方向の法線を有する複数の面オブジェクトへ分割されてしまう場合も考えられる。なお、既に述べたように、ここでの複数の面オブジェクトのそれぞれは、矩形であっても、三角形であってもよく、また必ずしもそれぞれが同一の面積を呈する必要はなく、その幾何学的特徴および面積に制限はない。

そこで、画像処理装置１は、仮想包囲体を面オブジェクトへの分割した後、互いに同じ方向の法線を有する複数の面オブジェクトがある場合には、当該同じ方向の法線を有する複数の面オブジェクトを一つの面オブジェクトとしてグループ化してもよい。つまり、画像処理装置１は、推奨方向情報に含まれる方向の方向に最も近い法線を有する面オブジェクトを選択したとき、当該選択した面オブジェクトと同じ方向の法線を有する他の面オブジェクトがある場合には、当該他の面オブジェクトも選択されたものとして扱う。

また、ここまでの説明ではサーバ装置２がデータベースを保持しており、画像処理装置１からの要求に応じて、適切と判断される方向の情報を提供していたが、本実施の形態はこれに限られない。

すなわち本実施の形態の別の例では、画像処理装置１の記憶部１２に、対象物の名称等の情報に関連付けて、当該対象物の撮像に適切とされる方向を表す推奨方向情報を記録したデータベースを格納しておくこととしてもよい。

この場合、画像処理装置１は、対象物の名称を送出して推奨方向情報を取得する代わりに、記憶部１２に格納されたデータベースから、認識された対象物の名称に対応する推奨方向情報を取得して、方向の指示の処理に利用する。

１ 画像処理装置、２ サーバ装置、１１ 制御部、１２ 記憶部、１３ 操作部、１４ 表示部、１５ 通信部、１６ 撮像部、２１ 受入部、２２ 記録部、２３ 認識部、２４ 指示部、２４１ オブジェクト設定部、２４２ 推奨方向取得部、２４３ 指示表示部，２５ 推定部，２７ 推奨部。

Claims (10)

1. 対象物を示す撮像画像を受け入れる受入手段と、
   前記撮像画像に基づき前記対象物の特徴点を抽出することで前記対象物の認識を行う認識手段と、
   前記対象物の種類に基づき撮像方向の推奨を行う推奨手段と、
   前記認識の結果と前記推奨の結果とに基づき前記対象物に係る撮像方向の指示を行う指示手段と、を有する画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記認識手段は、前記認識を行うことで前記種類に係る識別を行い、
   前記推奨手段は、前記識別の結果に基づき前記推奨を行う画像処理装置。
3. 請求項１または２に記載の画像処理装置であって、
   前記推奨手段は、前記種類が共通する前記対象物に係る過去の前記撮像画像のそれぞれの撮像方向に基づき前記推奨を行う画像処理装置。
4. 請求項３に記載の画像処理装置であって、
   前記推奨手段は、前記種類が共通する前記対象物に係る過去の前記撮像画像のそれぞれの撮像方向のうち、所定の取引履歴を有する前記対象物に係る前記撮像画像の撮像方向に基づき前記推奨を行う画像処理装置。
5. 請求項４に記載の画像処理装置であって、
   前記推奨手段は、出品から取引成立までの経過時間に基づいて選択される、前記所定の取引履歴を有する前記対象物に係る前記撮像画像の撮像方向に基づき前記推奨を行う画像処理装置。
6. 請求項１から５のいずれかに記載の画像処理装置であって、
   前記推奨手段は、前記種類が共通する対象物に係る過去の撮像画像のそれぞれの撮像方向のうち、当該撮像画像が掲載されている商品ページの閲覧数に基づいて選択された撮像画像の撮像方向と対応する前記対象物の前記撮像画像に係る撮像方向に基づき前記推奨を行う画像処理装置。
7. 請求項１から５のいずれかに記載の画像処理装置であって、
   前記認識の結果に基づき前記特徴点を内包する仮想包囲体を、前記対象物に重ね合わせて表示し、前記指示の内容である撮影方向と対応する領域を前記仮想包囲体上で強調して表示する表示手段を、さらに有する画像処理装置。
8. 請求項７に記載の画像処理装置であって、
   前記仮想包囲体は、複数の面オブジェクトを含み、
   前記表示手段は、前記指示の内容である撮影方向と対応する前記面オブジェクトを強調して表示する画像処理装置。
9. 対象物を示す撮像画像を受け入れるステップと、
   前記撮像画像に基づき前記対象物の特徴点を抽出することで前記対象物の認識を行うステップと、
   前記対象物の種類に基づき撮像方向の推奨を行うステップと、
   前記認識の結果と前記推奨の結果とに基づき前記対象物に係る撮像方向の指示を行うステップと、をコンピュータのプロセッサに実行させる画像処理方法。
10. コンピュータを、
    対象物を示す撮像画像を受け入れる受入手段と、
    前記撮像画像に基づき前記対象物の特徴点を抽出することで前記対象物の認識を行う認識手段と、
    前記対象物の種類に基づき撮像方向の推奨を行う推奨手段と、
    前記認識の結果と前記推奨の結果とに基づき前記対象物に係る撮像方向の指示を行う指示手段と、として機能させるプログラム。
    
    
    

Images