JP2023085961A - Information processing device, information processing method, and information processing program - Google Patents
Information processing device, information processing method, and information processing program Download PDFInfo
- Publication number
- JP2023085961A JP2023085961A JP2021200296A JP2021200296A JP2023085961A JP 2023085961 A JP2023085961 A JP 2023085961A JP 2021200296 A JP2021200296 A JP 2021200296A JP 2021200296 A JP2021200296 A JP 2021200296A JP 2023085961 A JP2023085961 A JP 2023085961A
- Authority
- JP
- Japan
- Prior art keywords
- target
- user
- image
- tagging
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 47
- 238000003672 processing method Methods 0.000 title claims description 10
- 238000003384 imaging method Methods 0.000 claims description 28
- 238000000034 method Methods 0.000 claims description 25
- 230000008859 change Effects 0.000 description 32
- 238000004891 communication Methods 0.000 description 31
- 238000012545 processing Methods 0.000 description 30
- 238000006243 chemical reaction Methods 0.000 description 29
- 238000010586 diagram Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 20
- 230000008921 facial expression Effects 0.000 description 14
- 238000010801 machine learning Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 6
- 230000037308 hair color Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 210000000887 face Anatomy 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000036544 posture Effects 0.000 description 4
- 210000004209 hair Anatomy 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000001508 eye Anatomy 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000004308 accommodation Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000005585 lifestyle behavior Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Abstract
Description
本発明は、情報処理装置、情報処理方法及び情報処理プログラムに関する。 The present invention relates to an information processing device, an information processing method, and an information processing program.
従来、被写体(撮影対象)を異なる視点で撮像した複数の画像である多視点画像(自由視点画像)を生成する技術が提供されている(例えば特許文献1参照)。 2. Description of the Related Art Conventionally, there has been provided a technique for generating a multi-viewpoint image (free-viewpoint image), which is a plurality of images of a subject (capturing target) captured from different viewpoints (see, for example, Patent Document 1).
しかしながら、上述した従来技術では、多視点画像を用いたサービスの提供が十分であるとは言えない場合がある。例えば、上述した従来技術では、ユーザに多視点画像を活用させているものの、多視点画像を用いたサービス提供の質については改善の余地がある。 However, the conventional technology described above may not be sufficient to provide services using multi-viewpoint images. For example, in the conventional technology described above, users are allowed to utilize multi-viewpoint images, but there is room for improvement in terms of the quality of service provision using multi-viewpoint images.
本願は、上記に鑑みてなされたものであって、多視点画像を用いたサービス提供の質をより向上させることを目的とする。 The present application has been made in view of the above, and an object of the present application is to further improve the quality of service provision using multi-view images.
本願に係る情報処理装置は、多視点画像に含まれる撮影対象の中から、アノテーションのタグ付けの対象を特定する特定部と、前記タグ付けの対象の多視点画像内の3次元的な位置を推定する推定部と、前記タグ付けの対象の3次元的な位置に合わせて前記タグ付けの対象にタグを付与するタグ付与部と、を備えることを特徴とする。 An information processing apparatus according to the present application includes a specifying unit that specifies a target of annotation tagging from shooting targets included in a multi-view image, and a three-dimensional position of the target of tagging within the multi-view image. It is characterized by comprising an estimating unit that estimates, and a tagging unit that adds a tag to the tagging target in accordance with the three-dimensional position of the tagging target.
実施形態の一態様によれば、多視点画像を用いたサービス提供の質をより向上させることができる。 According to one aspect of the embodiment, it is possible to further improve the quality of service provision using multi-view images.
以下に、本願に係る情報処理装置、情報処理方法及び情報処理プログラムを実施するための形態(以下、「実施形態」と記載する)について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置、情報処理方法及び情報処理プログラムが限定されるものではない。また、以下の実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。 Embodiments for implementing an information processing apparatus, an information processing method, and an information processing program according to the present application (hereinafter referred to as "embodiments") will be described in detail below with reference to the drawings. The information processing apparatus, information processing method, and information processing program according to the present application are not limited to this embodiment. Also, in the following embodiments, the same parts are denoted by the same reference numerals, and overlapping descriptions are omitted.
〔1.情報処理方法の概要〕
まず、図1を参照し、実施形態に係る情報処理装置が行う情報処理方法の概要について説明する。図1は、実施形態に係る情報処理方法の概要を示す説明図である。なお、図1では、多視点画像を用いたサービス提供を行う場合を例に挙げて説明する。
[1. Outline of information processing method]
First, an outline of an information processing method performed by an information processing apparatus according to an embodiment will be described with reference to FIG. FIG. 1 is an explanatory diagram showing an outline of an information processing method according to an embodiment. Note that in FIG. 1, a case of providing a service using multi-view images will be described as an example.
図1に示すように、情報処理システム1は、端末装置10と情報提供装置100とを含む。端末装置10と情報提供装置100とは、ネットワークN(図4参照)を介して有線又は無線で互いに通信可能に接続される。本実施形態では、端末装置10は、情報提供装置100と連携する。
As shown in FIG. 1 , the
端末装置10は、利用者U(ユーザ)により使用されるスマートフォンやタブレット等のスマートデバイスであり、4G(Generation)やLTE(Long Term Evolution)等の無線通信網を介して任意のサーバ装置と通信を行うことができる携帯端末装置である。また、端末装置10は、液晶ディスプレイ等の画面であって、タッチパネルの機能を有する画面を有し、利用者Uから指やスタイラス等によりタップ操作、スライド操作、スクロール操作等、コンテンツ等の表示データに対する各種の操作を受付ける。なお、画面のうち、コンテンツが表示されている領域上で行われた操作を、コンテンツに対する操作としてもよい。また、端末装置10は、スマートデバイスのみならず、デスクトップPC(Personal Computer)やノートPC等の情報処理装置であってもよい。
The
情報提供装置100は、各利用者Uの端末装置10と連携し、各利用者Uの端末装置10に対して、各種アプリケーション(以下、アプリ)等に対するAPI(Application Programming Interface)サービス等と、各種データを提供する情報処理装置であり、サーバ装置やクラウドシステム等により実現される。
The
また、情報提供装置100は、各利用者Uの端末装置10に対して、オンラインで何らかのWebサービスを提供する情報処理装置であってもよい。例えば、情報提供装置100は、Webサービスとして、インターネット接続、検索サービス、SNS(Social Networking Service)、電子商取引(EC:Electronic Commerce)、ファッションコーディネート(ファッションアイテムを着用した写真(静止画)や動画)が投稿される投稿サイト、電子決済、オンラインゲーム、オンラインバンキング、オンライントレーディング、宿泊・チケット予約、動画・音楽配信、ニュース、地図、ルート検索、経路案内、路線情報、運行情報、天気予報等のサービスを提供してもよい。実際には、情報提供装置100は、上記のようなWebサービスを提供する各種サーバと連携し、Webサービスを仲介してもよいし、Webサービスの処理を担当してもよい。
Also, the
なお、情報提供装置100は、利用者Uに関する利用者情報を取得可能である。例えば、情報提供装置100は、利用者Uの性別、年代、居住地域といった利用者Uの属性に関する情報を取得する。そして、情報提供装置100は、利用者Uを示す識別情報(利用者ID等)とともに利用者Uの属性に関する情報を記憶して管理する。
Note that the
また、情報提供装置100は、利用者Uの端末装置10から、あるいは利用者ID等に基づいて各種サーバ等から、利用者Uの行動を示す各種の履歴情報(ログデータ)を取得する。例えば、情報提供装置100は、利用者Uの位置や日時の履歴である位置履歴を端末装置10から取得する。また、情報提供装置100は、利用者Uが入力した検索クエリの履歴である検索履歴を検索サーバ(検索エンジン)や電子商取引サーバや投稿サーバから取得する。また、情報提供装置100は、利用者Uが閲覧したコンテンツや商品(ファッションアイテム)の履歴である閲覧履歴をコンテンツサーバや電子商取引サーバや投稿サーバから取得する。また、情報提供装置100は、利用者Uが購入や決済したコンテンツや商品(ファッションアイテム)の履歴である購入履歴(決済履歴)を電子商取引サーバや決済処理サーバから取得する。また、情報提供装置100は、利用者Uのマーケットプレイスへの出品の履歴である出品履歴や販売履歴を電子商取引サーバや決済処理サーバから取得してもよい。また、情報提供装置100は、利用者Uが投稿したファッションコーディネート(ファッションアイテム)の履歴である投稿履歴や閲覧者が支持(いいね)したファッションコーディネート(ファッションアイテム)の履歴である支持履歴を投稿サーバやSNSサーバから取得する。
Further, the
本実施形態では、情報提供装置100は、ユーザのファッションの嗜好に関するファッション情報に基づき、ファッションアイテム(服、装飾品、鞄、靴、帽子等)とその付加情報との組合せを画像解析とAI(Artificial Intelligence:人工知能)によって決定し、適切な位置に表示する。ここでは、情報提供装置100は、画像解析により画像に含まれるファッションアイテムを特定し、そのファッションアイテムに対応するアノテーションタグ(以下、タグ)を付与する。なお、タグを付与するとは、タグ付けの対象の近傍の適当な位置にタグを表示することを示す。例えば、情報提供装置100は、投稿サイトやSNSに投稿するための写真や動画としてユーザがファッションアイテムを着用して自身を撮影した画像、あるいはそのように撮影・投稿された他のユーザの画像において、ファッションアイテムに対応するタグを付与する。
In this embodiment, the
例えば、情報提供装置100は、そのファッションアイテムの詳細情報を表示したタグを付与する。また、情報提供装置100は、そのファッションアイテムの商品ページ(販売ページ/購入ページ/広告ページ等)、又はそのファッションアイテムに関連する他のファッションアイテム(一緒に購入されることが多い商品、同一ブランドの商品等)の商品ページへ案内するタグを付与してもよい。
For example, the
また、情報提供装置100は、ファッションアイテムに合わせて、特徴的なタグを付与してもよい。例えば、情報提供装置100は、ファッションアイテムとの色相環的な相性度が高いタグを付与する。あるいは、投稿サイトやSNSでの閲覧者による支持率(いいね率)が高くなると推定されるタグを付与する。あるいは、閲覧者によるファッションアイテムの購入率が高くなると推定されるタグを付与する。これにより、閲覧者によるファッションアイテムの購入を促進することができる。
Also, the
ユーザのファッションの嗜好に関するファッション情報は、各利用者Uの属性情報や履歴情報等から取得可能である。また、ファッション情報は、利用者Uが着用するファッションアイテムや利用者Uが閲覧したファッションアイテムに関する情報(ファッションアイテム情報)を含む。本実施形態では、ファッション情報は、ファッション通販サイト(例えば「ZOZOTOWN」(登録商標))等の電子商取引サイトやファッションコーディネート投稿サイト(例えば「WEAR」(登録商標))での行動情報(検索、選択、閲覧、購入、投稿)を含む。また、ファッション情報は、利用者Uが検索、閲覧、購入、所有、投稿等をしたファッションアイテムに関する情報(ファッションアイテム情報)を含む。 Fashion information about user's fashion preferences can be obtained from each user U's attribute information, history information, and the like. The fashion information includes fashion items worn by the user U and information on fashion items viewed by the user U (fashion item information). In this embodiment, fashion information is behavior information (search, selection , viewed, purchased, posted). The fashion information includes information (fashion item information) related to fashion items searched, browsed, purchased, owned, posted, etc. by the user U.
ユーザのファッションの嗜好は、本システムとアカウントを連結している(又は本システムの一部である)ファッション通販サイト等の電子商取引サイトやファッションコーディネート投稿サイト等の様々な履歴情報(ログデータ)を基に算出/推定するロジックにより決定される。例えば、情報提供装置100は、ユーザがファッション通販サイトで購入した服(ユーザ情報とマッチする服を着ている服と定義)や閲覧した服から、「服とタグとの組合せ」を算出/推定し、服との組合せに最適なタグを付与する。また、情報提供装置100は、ユーザがファッションコーディネート投稿サイトで閲覧した服から、「服とタグとの組合せ」を算出/推定し、服との組合せに最適なタグを付与する。
Users' fashion preferences are collected from various history information (log data) such as e-commerce sites such as fashion mail-order sites and fashion coordination posting sites that connect accounts with this system (or are part of this system). determined by logic that calculates/estimates based on For example, the
また、情報提供装置100は、ファッション情報に加えて、ユーザの生活行動・習慣や気分等の情報に基づき、タグを付与してもよい。すなわち、情報提供装置100は、同じファッションアイテムであっても、閲覧するユーザごとにタグの内容や形態を変更してもよい。
Further, the
本実施形態では、情報提供装置100は、ファッションコーディネート投稿サイト(例えば「WEAR」(登録商標))のようなファッション写真(画像)を撮影して投稿するサービスにおいて、ファッションアイテム(服、装飾品、鞄、靴、帽子等)にタグ付けする。例えば、タグ付けとして、ファッション通販サイト(例えば「ZOZOTOWN」(登録商標))等の電子商取引サイトの商品ページとの関係性を設定する。タグは写真に重畳して表示される。タグをクリックすると、ファッション通販サイト(例えば「ZOZOTOWN」(登録商標))等の電子商取引サイトでその商品(ファッションアイテム)を販売する商品ページに遷移する。
In the present embodiment, the
また、情報提供装置100は、ファッションコーディネート投稿サイト(例えば「WEAR」(登録商標))において、多視点画像で表示する。例えば、情報提供装置100は、ファッションコーディネート投稿サイト(例えば「WEAR」(登録商標))において、クリック又はスクロールして写真(画像)が表示されると、自動的に/経時的に/ユーザの操作に応じて、視点が異なる画像に切り替わるようにする。
In addition, the
〔1-1.アノテーションタグ〕
本実施形態では、情報提供装置100は、多視点画像内の撮影対象にアノテーション(注釈)のタグを付与するときに、多視点画像の各視点の画像から同一注視点(タグ付けの対象)を検出して、その同一注視点の近傍にタグを設定して表示する。
[1-1. Annotation tag]
In this embodiment, the
図1に示すように、情報提供装置100は、ネットワークN(図4参照)を介して、投稿者である利用者Uの端末装置10から、多視点画像を取得する(ステップS1)。例えば、情報提供装置100は、ネットワークN(図4参照)を介して、投稿者である利用者Uの端末装置10から、多視点画像の作成に用いられる様々な視点から撮影された各画像を取得する。図1では、画像内において、被撮影者(撮影モデル)をM、撮影対象のバッグをB、タグをTとして示す。
As shown in FIG. 1, the
次に、情報提供装置100は、取得された全ての画像について画像認識(Image Recognition)又は機械学習を行い、撮影対象を認識して特定・分類する(ステップS2)。例えば、情報提供装置100は、各画像に含まれる撮影対象を特定して、カテゴリ別に分類する。撮影対象は、複数であってもよい。
Next, the
次に、情報提供装置100は、多視点画像内の撮影対象の位置(画像内の位置)を推定する(ステップS3)。本実施形態では、情報提供装置100は、多視点画像を構成する画像ごとに(各視点の画像ごとに)、各画像に含まれる撮影対象の3次元的な位置を推定(又は特定)する。撮影対象の3次元的な位置は、画像内の座標等の絶対位置であってもよいし、基準点や他の撮像対象からの相対位置であってもよい。また、3次元的な位置は一例に過ぎない。
Next, the
次に、情報提供装置100は、投稿者又は閲覧者である利用者Uから、多視点画像内の3次元的な位置が推定された撮影対象(アノテーション対象の候補)のうち、タグ付けの対象(アノテーション対象)の選択を受け付ける(ステップS4)。例えば、情報提供装置100は、投稿者又は閲覧者である利用者Uの端末装置10から、ネットワークN(図4参照)を介して、タグ付けの対象(アノテーション対象)となる商品(ファッションアイテム)と、対応付ける当該商品の商品ページの指定を受け付ける。このとき、情報提供装置100は、ファッション通販サイト(例えば「ZOZOTOWN」(登録商標))等の電子商取引サイトの各商品ページから画像認識又は機械学習で当該商品の類似画像を検索し、検索結果に基づいて当該商品の商品ページを自動で特定してもよい。
Next, the
なお、情報提供装置100は、投稿者又は閲覧者である利用者Uからタグ付けの対象(アノテーション対象)の選択を受け付けていない場合、多視点画像内の全ての撮影対象をタグ付けの対象(アノテーション対象)としてもよい。また、情報提供装置100は、投稿者又は閲覧者である利用者Uからのタグ付けの対象(アノテーション対象)の選択に関係なく、無条件で多視点画像内の全ての撮影対象をタグ付けの対象(アノテーション対象)としてもよい。また、情報提供装置100は、事前設定に従って、撮影対象(アノテーション対象の候補)のうち、タグ付けの対象(アノテーション対象)を決定してもよい。
Note that if the
また、情報提供装置100は、学習モデルを用いて、多視点画像内の3次元的な位置が推定された撮影対象のうち、タグ付けの対象(アノテーション対象)を推定してもよい。例えば、情報提供装置100は、過去にタグ付けの対象として選択された撮影対象と、そのタグ付けの対象に付与されたタグとの組合せについて学習することで学習モデルを構築してもよい。そして、情報提供装置100は、学習モデルに撮影対象を入力すると、その撮影対象がタグ付けの対象である場合に適当なタグを推論して出力してもよい。
Further, the
次に、情報提供装置100は、ネットワークN(図4参照)を介して、閲覧者である利用者Uの端末装置10に、多視点画像内の撮影対象のうち、選択されたタグ付けの対象(アノテーション対象)にアノテーションのタグを付けて表示する(ステップS5)。
Next, the
次に、情報提供装置100は、ネットワークN(図4参照)を介して、多視点画像の視点の変更に合わせて、閲覧者である利用者Uの端末装置10に表示されたアノテーションのタグの位置を変更する(ステップS6)。例えば、情報提供装置100は、多視点画像の視点が変更された際に、多視点画像内のタグ付けの対象(アノテーション対象)を自動で追従してアノテーションのタグを付与して適当な位置に表示する。このとき、情報提供装置100は、視点の異なる画像ごとに(その都度)、タグ付けの対象(アノテーション対象)にアノテーションのタグを付与して適当な位置に表示してもよい。
Next, the
このとき、情報提供装置100は、アノテーションのタグが、他の対象や他のタグと重複しないように配置(表示)する。また、情報提供装置100は、アノテーションのタグと、タグ付けの対象(アノテーション対象)との位置関係が保持されるような位置にタグを配置(表示)し続ける。
At this time, the
このように、本実施形態では、情報提供装置100は、投稿者又は閲覧者であるユーザから多視点画像(投稿者により投稿された多視点画像、閲覧者により指定された多視点画像等)を取得し、多視点画像に含まれる撮影対象の中から、アノテーションのタグ付けの対象を特定し、タグ付けの対象の多視点画像内の3次元的な位置を推定する。そして、情報提供装置100は、タグ付けの対象の3次元的な位置に合わせてタグ付けの対象にタグを付与する。すなわち、情報提供装置100は、タグ付けの対象とともにタグを端末装置10の画面に表示してユーザに通知(提示)する。
As described above, in the present embodiment, the
また、情報提供装置100は、多視点画像の各視点の画像ごとに画像認識又は機械学習で撮影対象を特定して分類する。また、情報提供装置100は、投稿者又は閲覧者であるユーザからタグ付けの対象の選択を受け付ける。そして、情報提供装置100は、タグ付けの対象の選択に応じて、多視点画像に含まれる撮影対象の中から、アノテーションのタグ付けの対象を特定する。
In addition, the
例えば、情報提供装置100は、投稿者又は閲覧者であるユーザから、タグ付けの対象の選択と、タグ付けの対象に対応付けるウェブページの指定とを受け付ける。あるいは、情報提供装置100は、ネットワーク上の複数のウェブページから画像認識又は機械学習でタグ付けの対象の画像の類似画像を検索し、類似画像を含むウェブページをタグ付けの対象に対応付けるウェブページとして自動で特定する。
For example, the
情報提供装置100は、タグ付けの対象にタグを付与する際、タグが他の対象及び他のタグと重複しないように付与する。また、情報提供装置100は、タグ付けの対象にタグを付与する際、タグ付けの対象が他の対象により隠されていない状態であれば、タグ付けの対象にタグを付与する。なお、情報提供装置100は、タグ付けの対象にタグを付与する際、タグ付けの対象が他の対象により隠されている状態であっても、タグ付けの対象のタグが他の対象のタグよりも表示の優先度が高い場合には、他の対象にはタグを付与せず、タグ付けの対象にタグを付与する。
When the
なお、上記の各処理は、情報提供装置100ではなく、端末装置10がアプリ等の機能により実施してもよい。すなわち、端末装置10上で処理が完結してもよい。
Note that each of the above processes may be performed by the
〔1-2.タグの表示位置の変更〕
本実施形態では、情報提供装置100は、多視点画像に撮影された撮影対象の位置関係に応じて、撮影対象を示すコンテンツ(アノテーションのタグ)の表示位置(表示態様)を変更する。なお、撮影対象を示すコンテンツ(アノテーションのタグ)は、複数でもよい。
[1-2. Change display position of tags]
In this embodiment, the
情報提供装置100は、アノテーションのタグと、タグ付けの対象(アノテーション対象)との位置関係に応じて、タグの表示位置を変更する。
The
情報提供装置100は、アノテーション対象が撮影モデル/ユーザや他の撮影対象の陰に隠れている場合は、当該アノテーション対象に付与されるタグを隠す。
The
例えば、情報提供装置100は、アノテーション対象の撮像範囲/表示範囲が所定値以下である場合や、アノテーション対象がユーザや他の対象の陰になって隠れている場合には、アノテーションのタグを表示しない。
For example, when the imaging range/display range of the annotation target is equal to or less than a predetermined value, or when the annotation target is hidden behind the user or another target, the
あるいは、情報提供装置100は、アノテーション対象と他の対象とのタグの前後関係を変更してもよい。情報提供装置100は、複数のタグが存在する場合に、特に指定がない場合(何も設定されていない場合)には、通常は最も画面の手前に配置された対象のタグを表示する。本実施形態では、情報提供装置100は、最も画面の手前に配置された対象よりも優先度が高い対象が陰に隠れている場合、最も画面の手前に配置された対象のタグを表示せず、その優先度が高い対象のタグを表示する。
Alternatively, the
このとき、情報提供装置100は、各対象に優先度を設定し、設定された優先度の大小関係で表示されるタグを決定してもよい。また、情報提供装置100は、最も画面の手前に配置された対象よりもユーザの興味や関心が高いと推測される対象を、最も画面の手前に配置された対象よりも優先度が高い対象として決定してもよい。
At this time, the
このように、本実施形態では、情報提供装置100は、多視点画像に含まれる撮影対象の中から、アノテーションのタグ付けの対象を特定し、タグ付けの対象の位置に合わせてタグを付与する。その後、情報提供装置100は、多視点画像の視点の変更に伴い画面内のタグ付けの対象の位置が変更した場合に、タグ付けの対象の位置の変更に合わせてタグの表示位置を変更する。
As described above, in the present embodiment, the
また、情報提供装置100は、多視点画像の視点が変更されても、タグ付けの対象とタグとの位置関係が保持されるような位置にタグを配置する。
Further, the
なお、上記の各処理は、情報提供装置100ではなく、端末装置10がアプリ等の機能により実施してもよい。すなわち、端末装置10上で処理が完結してもよい。
Note that each of the above processes may be performed by the
〔1-3.撮影ガイドの表示〕
本実施形態では、情報提供装置100は、ユーザが多視点画像を投稿するために、カメラ(インカメラ等)を有する端末装置10(撮像装置)を用いて自身の画像を撮影(インカメラ撮影)する際に、撮影に用いられるユーザの端末装置10(又はそれに搭載/接続された表示装置)の画面(写真撮影画面)に所定の撮影ガイドを表示し、画像を撮影する度に(視点を移動する度に)、撮影ガイドを変更する。図2は、撮影ガイドの表示の概要を示す説明図である。図2では、画像内において、被撮影者(撮影モデル)をM、撮影対象のバッグをBとして示す。
[1-3. Shooting guide display]
In the present embodiment, the
図2に示すように、情報提供装置100は、ユーザが多視点画像を投稿するために、カメラを有する端末装置10が多視点画像の撮影を開始したことを確認する(ステップS11)。例えば、情報提供装置100は、ネットワークN(図4参照)を介して、ユーザの端末装置10から、多視点画像の撮影開始を示す信号やデータを受信する。
As shown in FIG. 2, the
次に、情報提供装置100は、ネットワークN(図4参照)を介して、ユーザの端末装置10と連携する(ステップS12)。例えば、情報提供装置100は、APIを介して、端末装置10の撮影アプリを制御してもよい。すなわち、以降の処理は、情報提供装置100が端末装置10と連携して実施してもよい。
Next, the
次に、端末装置10は、ユーザが自身の画像を撮影(インカメラ撮影)する際に、端末装置10の画面に撮影ガイドを表示する(ステップS13)。
Next, the
次に、端末装置10は、ユーザのポーズや所持しているバッグ等が撮影ガイドからずれている場合、撮影ガイドからずれている箇所を通知する(ステップS14)。なお、通知方法は、画面表示でも音声案内でもよい。
Next, when the user's pose, bag, etc. carried by the user deviate from the photographing guide, the
次に、端末装置10は、ユーザのポーズや所持しているバッグ等が撮影ガイドと一致している場合、自動的に撮影する(ステップS15)。なお、端末装置10は、ユーザのポーズや所持しているバッグ等が撮影ガイドと完全に一致していなくても、所定の割合以上一致していれば、一致していると判定して自動的に撮影してもよい。また、端末装置10は、ユーザのポーズや所持しているバッグ等が撮影ガイドと一致している場合、自動的に撮影してもよい。このとき、情報提供装置100は、端末装置10に対して、ユーザのポーズや所持しているバッグ等が撮影ガイドと一致している場合には自動的に撮影するようにあらかじめ指示しておいてもよい。
Next, the
次に、端末装置10は、撮影された画像に含まれる撮影対象(アノテーション対象の候補)を特定して通知する(ステップS16)。詳細については後述する。
Next, the
次に、端末装置10は、多視点画像の生成のための視点変更に応じて、撮影ガイドを変更する(ステップS17)。すなわち、端末装置10は、変更後の視点に応じた撮影ガイドを表示する。
Next, the
次に、端末装置10は、多視点画像の生成のために必要な全視点の画像の撮影が完了した後、多視点画像を投稿する(ステップS18)。例えば、端末装置10は、撮影された画像から多視点画像を生成し、ネットワークN(図4参照)を介して、情報提供装置100に多視点画像を自動的に投稿する。あるいは、端末装置10は、ネットワークN(図4参照)を介して、情報提供装置100に、撮影された画像をそのまま投稿してもよい。この場合、情報提供装置100は、投稿された画像を取得した後に、投稿された画像から多視点画像を生成してもよい。
Next, the
本実施形態では、多視点画像の撮影に用いられるユーザの端末装置10は、端末装置10の画面に、撮影ガイドとして、表情のガイド、姿勢(ポーズ)のガイド、商品の持ち方のガイド、又は着用の仕方のガイド等を表示し、位置(ポジション)や角度(アングル)を変えて画像を撮影する度に、撮影ガイドを変更する。
In the present embodiment, the
例えば、端末装置10は、撮影に用いられるユーザの端末装置10の画面に、撮影ガイドとして、ユーザが取るべき表情、姿勢(ポーズ)、商品の持ち方、又は着用の仕方のシルエットや輪郭を表示し、位置(ポジション)や角度(アングル)を変えて画像を撮影する度に、シルエットや輪郭を変更してもよい。この場合、ユーザは、画面に表示された表情、姿勢(ポーズ)、商品の持ち方、又は着用の仕方のシルエットや輪郭に合わせるように、自分の表情、姿勢(ポーズ)、商品の持ち方、又は着用の仕方を変えていく。
For example, the
また、端末装置10は、撮影ガイドの表示・変更に合わせて、音声での案内(ガイダンス)を行ってもよい。また、端末装置10は、撮影画面上で、表情、姿勢(ポーズ)、商品の持ち方、又は着用の仕方等について、ユーザが変更する必要がある箇所・部位に、変更内容に関するコメントを表示したタグを付与してもよい。
In addition, the
(ポーズガイドの場合)
ここで、撮影ガイドの一例として、ポーズガイドの場合について説明する。カメラを有するユーザの端末装置10は、多視点画像の撮影時に、端末装置10の画面にポーズガイドを表示する。端末装置10は、画像を撮影する度に(視点を移動する度に)、撮影ガイドを変更する。すなわち、ポーズガイドは、撮影する度に次々に変わっていく。
(For pose guide)
Here, a case of a pose guide will be described as an example of the shooting guide. A
なお、端末装置10のカメラは固定であるため、ユーザが端末装置10を移動/回転させることで、カメラの位置(ポジション)や角度(アングル)を変えることになる。撮影ガイドは、ポーズ、表情、持ち方等に関する内容である。ポーズは、顔の向き、体の向き等を含む。カメラの位置(ポジション)や角度(アングル)に合わせて、ポーズガイドも段々(徐々に)変化していく。すなわち、端末装置10は、カメラの位置(ポジション)や角度(アングル)に合わせて、ポーズガイドを段階的に変更していく。
Since the camera of the
端末装置10は、画面内においてポーズガイドとユーザのポーズとが一致したと判断すると、自動的に撮影する。このとき、端末装置10は、ユーザのポーズの適切性を判定する。端末装置10は、ユーザのポーズが適切ではないと判定した場合、ユーザのポーズが適切になるように具体的なアドバイスをして、適切なポーズとなるように誘導する。
When the
例えば、端末装置10は、アゴ(顎)を引く、脚を開く/閉じる、体を傾ける、背を反らす、特定方向(前後左右)に○○歩/××cmずれる、バッグやポーチ等をどういう風にもつか等のポーズガイドを表示したり、音声での案内(ガイダンス)を行ったりする。
For example, the
端末装置10は、インカメラで撮影する際に、ユーザとポーズガイドとを画面に重畳表示する。ポーズガイドは、例えばシルエットや輪郭でもよいし、半透明の表示でもよい。また、音声で「こうしてください」でもよい。端末装置10は、ユーザの現在のポーズとポーズガイドとの差分を特定して「もっと右手を挙げてください」、「もう少し、足を挙げてください」等のように、ポーズと違う部分を特定して表示/案内してもよい。そして、端末装置10は、ユーザのポーズがポーズガイドに一致したと判定した場合に、自動で撮影してもよい。
The
また、ポーズガイドは、表情のガイドであってもよい。例えば、「一回転したら、笑顔になる」等でもよい。すなわち、撮影の度に、同一の表情でなくてもよい。また、端末装置10は、最初の画像でポーズを特定して、特定したポーズガイドを表示してもよい。
Also, the pose guide may be a facial expression guide. For example, it may be ``If you make one turn, you will smile''. That is, the facial expression does not have to be the same each time the photograph is taken. Also, the
このように、本実施形態では、端末装置10は、多視点画像を撮影する際に、所定の撮影ガイドを画面に表示する。例えば、端末装置10は、撮影ガイドとして被写体のうち被撮影者(撮影モデル)のポーズ、表情、持ち方のうち少なくとも1つに関するガイドを画面に表示する。また、端末装置10は、撮影ガイドとして被写体のシルエット、輪郭、又は半透明の表示を画面に表示する。
As described above, in the present embodiment, the
また、端末装置10は、被写体を撮影する際に、被写体に撮影ガイドを重畳表示する。また、端末装置10は、最初に撮影された画像で被写体のうち被撮影者のポーズを特定し、特定されたポーズに応じた撮影ガイドを選択して表示する。
In addition, the
また、端末装置10は、撮影時の視点を移動する度に、画面に表示された撮影ガイドを視点に応じて変更する。また、端末装置10は、撮影時の視点を移動するにつれて、撮影ガイドを段階的に変更してもよい。
In addition, the
また、端末装置10は、端末装置10に対して、被写体が撮影ガイドに一致した場合には自動的に撮影するように指示する。また、端末装置10は、被写体が撮影ガイドとずれている場合、被写体が撮影ガイドとずれている箇所を撮影者(利用者U)に通知(提示)する。なお、被写体は、撮影者自身であってもよい。すなわち、撮影者と被撮影者は同一人物であってもよい。
In addition, the
なお、上記の各処理は、端末装置10ではなく、APIを介して情報提供装置100が実施してもよい。
Note that each of the above processes may be performed by the
〔1-4.アノテーション対象の候補の認識〕
本実施形態では、端末装置10は、多視点画像を構成する画像の撮影時に、撮影された画像に含まれる撮影対象(アノテーション対象の候補)を特定し、特定された撮影対象を利用者に通知する。
[1-4. Recognition of Candidates for Annotation]
In the present embodiment, the
端末装置10は、多視点画像の登録時に、撮影の度に画像認識又は機械学習で画像に含まれる撮影対象を認識し、撮影対象に関する情報を利用者に画面表示や音声で通知する。撮影対象は複数であってもよい。撮影対象を特定して通知することで、後でタグ付けが楽になる。また、先にタグ付けをする手間がなくなる。なお、端末装置10は、事前にタグ付けの対象(アノテーション対象)をユーザに通知し、撮影の度にそのタグ付けの対象(アノテーション対象)が撮影されているか否かをユーザに通知してもよい。
When registering a multi-view image, the
また、端末装置10は、「ワンピースが撮れました」、「バックは何カット撮れました」等を利用者に画面表示や音声で通知してもよい。また、撮る度に、「残り○○枚です」のように、あと何枚撮影するかを利用者に画面表示や音声で通知してもよい。すなわち、端末装置10は、撮影の度に、撮影対象の撮影枚数(ショット数)や、多視点画像を構成する画像の必要数までの残り枚数を利用者に通知してもよい。また、端末装置10は、撮影が完了した(又は完了していない)カメラの位置(ポジション)や角度(アングル)を利用者に画面表示や音声で通知してもよい。また、端末装置10は、多視点画像の生成に必要な各視点の画像について、撮影漏れの視点(画像)があれば、利用者に画面表示や音声で通知してもよい。このとき、端末装置10は、通知内容を示したタグを付与して表示することで通知してもよい。
In addition, the
また、端末装置10は、カメラの位置(ポジション)や角度(アングル)が変わったことにより、撮影の途中で見えなくなった(ユーザや他の対象の陰に隠れた)撮影対象を通知してもよい。このとき、端末装置10は、撮影対象が他の対象の陰に隠れていることを示すタグを付与して表示することにより、撮影の途中で見えなくなった(ユーザや他の対象の陰に隠れた)撮影対象を通知してもよい。
In addition, the
なお、上記の各処理は、端末装置10ではなく、APIを介して情報提供装置100が実施してもよい。
Note that each of the above processes may be performed by the
〔1-5.撮影モデルの顔画像の置換〕
本実施形態では、情報提供装置100は、多視点画像の被撮影者(撮影モデル)の顔を、閲覧者である利用者Uの顔に置き換える。すなわち、情報提供装置100は、多視点画像の被撮影者(撮影モデル)の顔を別人の顔に置き換える。図3は、被撮影者(撮影モデル)の顔画像の置換の概要を示す説明図である。図3では、画像内において、顔画像の置換前の被撮影者(撮影モデル)をM1、被撮影者とともに撮影されたバッグをB、顔画像を利用者Uの顔画像に置換した被撮影者をM+Uとして示す。
[1-5. Replacing face image of shooting model]
In this embodiment, the
図3に示すように、情報提供装置100は、ネットワークN(図4参照)を介して、利用者U(ユーザ)の端末装置10から、利用者Uの顔の多視点顔画像を取得する(ステップS21)。例えば、情報提供装置100は、利用者Uの端末装置10から、投稿された多視点画像を閲覧する利用者Uの顔を、複数の視点から撮影した多視点顔画像を取得する。
As shown in FIG. 3, the
次に、情報提供装置100は、利用者Uの閲覧対象となる多視点画像から、被撮影者(撮影モデル)の顔を特定する(ステップS22)。例えば、情報提供装置100は、多視点画像の視点ごとの被撮影者(撮影モデル)の顔を特定する。本実施形態では、閲覧対象となる多視点画像は、利用者U(ユーザ)とは異なる被撮影者(撮影モデル)の顔が含まれる多視点画像である。なお、実際には、利用者U(ユーザ)自身の顔が含まれる多視点画像であってもよい。
Next, the
次に、情報提供装置100は、閲覧対象となる多視点画像から、撮影時の視点を特定する(ステップS23)。例えば、情報提供装置100は、多視点画像の視点ごとの被撮影者(撮影モデル)の顔の位置(ポジション)や角度(アングル)を特定する。
Next, the
次に、情報提供装置100は、撮影時の視点に応じて、閲覧対象となる多視点画像の被撮影者の顔を、閲覧者である利用者U(ユーザ)の顔に変更する(ステップS24)。例えば、情報提供装置100は、多視点画像の視点ごとの被撮影者(撮影モデル)の顔の位置(ポジション)や角度(アングル)に応じて、被撮影者(撮影モデル)の顔をユーザの顔に置き換えた画像を生成する。このとき、情報提供装置100は、閲覧対象となる多視点画像の被撮影者の顔を、閲覧者である利用者U(ユーザ)の顔に、可能な限り自然な形で(できるだけ違和感が無いように)置き換える。また、情報提供装置100は、同時に閲覧される複数の多視点画像のそれぞれの撮影時の視点に合わせて、それぞれの被撮影者(撮影モデル)の顔を一括して利用者U(ユーザ)の顔に変換する。
Next, the
次に、情報提供装置100は、多視点画像の被撮影者(撮影モデル)の顔を、閲覧者である利用者U(ユーザ)の顔に変更する際、必要に応じて、多視点画像の被撮影者(撮影モデル)の身長調整を行う(ステップS25)。すなわち、情報提供装置100は、被撮影者(撮影モデル)の顔に限らず身長もユーザに合わせて変更してもよい。例えば、情報提供装置100は、多視点画像の被撮影者(撮影モデル)の身長をユーザの身長に変更してもよい。また、情報提供装置100は、多視点画像の被撮影者(撮影モデル)の顔とユーザの顔とに基づいて被撮影者の身長を調整してもよい。また、情報提供装置100は、背景や被撮影者と一緒に撮影された撮影対象のサイズに合わせて被撮影者の身長を調整してもよい。
Next, when changing the face of the subject (photographed model) of the multi-view image to the face of the viewer U (user), the
また、情報提供装置100は、多視点画像の被撮影者(撮影モデル)の顔をユーザの顔に変更した際、あるいは多視点画像の被撮影者(撮影モデル)がユーザ本人である場合に、画像加工編集等により、画像内のユーザの髪型や髪の色(濃淡を含む)、表情等を変更してもよい。例えば、ロングヘアーをショートヘアーに変更したり、黒髪を茶髪にしたり、目尻や口角を上げ下げしたりしてもよい。あるいは、情報提供装置100は、ユーザの指示等に応じて、多視点画像に表示されている現在の顔画像(変換後のユーザの顔画像等)を、髪型や髪の色(濃淡を含む)、表情等が異なる顔画像に変換してもよい。
Further, when the face of the person (photographed model) of the multi-view image is changed to the face of the user, or when the person (photographed model) of the multi-view image is the user himself/herself, the
次に、情報提供装置100は、ネットワークN(図4参照)を介して、利用者U(ユーザ)の端末装置10に、変換後の多視点画像を表示する(ステップS26)。
Next, the
なお、上記の説明では、情報提供装置100は、多視点画像の被撮影者の顔を、閲覧者である利用者Uの顔に変換したが、実際には、閲覧者である利用者Uの顔に限定されない。情報提供装置100は、閲覧者である利用者Uの顔以外にも、任意の人物の顔に変換してもよい。例えば、情報提供装置100は、多視点画像に含まれる撮影対象のうちタグ付けの対象(アノテーション対象)に該当する商品を購入した際のプレゼント先となる利用者Uの友人の顔にしてもよい。
In the above description, the
また、上記の説明では、情報提供装置100は、多視点画像の被撮影者の顔を、別人の顔に変換したが、実際には、別人の顔に限定されない。情報提供装置100は、別人の顔に限らず、同一人物の別の顔に変換してもよい。例えば、情報提供装置100は、ある多視点画像の被撮影者が閲覧者である利用者U本人である場合(多視点画像の被撮影者と閲覧者が同一人である場合等)、その多視点画像の被撮影者である利用者Uの顔を、利用者Uの別の顔に変換してもよい。
Also, in the above description, the
また、情報提供装置100は、ディープフェイク等の技術を用いて、閲覧対象となる多視点画像の被撮影者の顔を変換してもよい。また、情報提供装置100は、単一視点の顔画像から複数視点の画像を生成する公知技術を用いて、差し替え先となる顔の多視点画像を生成し、これを用いて画像の顔を変換してもよい。
In addition, the
なお、上記の各処理は、情報提供装置100ではなく、端末装置10がアプリ等の機能により実施してもよい。すなわち、端末装置10上で処理が完結してもよい。
Note that each of the above processes may be performed by the
〔2.情報処理システムの構成例〕
次に、図4を用いて、実施形態に係る情報提供装置100が含まれる情報処理システム1の構成について説明する。図4は、実施形態に係る情報処理システム1の構成例を示す図である。図4に示すように、実施形態に係る情報処理システム1は、端末装置10と情報提供装置100とを含む。これらの各種装置は、ネットワークNを介して、有線又は無線により通信可能に接続される。ネットワークNは、例えば、LAN(Local Area Network)や、インターネット等のWAN(Wide Area Network)である。
[2. Configuration example of information processing system]
Next, the configuration of the
また、図4に示す情報処理システム1に含まれる各装置の数は図示したものに限られない。例えば、図4では、図示の簡略化のため、端末装置10を1台のみ示したが、これはあくまでも例示であって限定されるものではなく、2台以上であってもよい。
Also, the number of devices included in the
端末装置10は、利用者Uによって使用される情報処理装置である。例えば、端末装置10は、スマートフォンやタブレット端末等のスマートデバイス、フィーチャーフォン、PC(Personal Computer)、PDA(Personal Digital Assistant)、通信機能を備えたゲーム機やAV機器、カーナビゲーションシステム、スマートウォッチやヘッドマウントディスプレイ等のウェアラブルデバイス(Wearable Device)、スマートグラス等である。
The
また、かかる端末装置10は、LTE(Long Term Evolution)、4G(4th Generation)、5G(5th Generation:第5世代移動通信システム)等の無線通信網や、Bluetooth(登録商標)、無線LAN(Local Area Network)等の近距離無線通信を介してネットワークNに接続し、情報提供装置100と通信することができる。
In addition, the
情報提供装置100は、例えばPCやサーバ装置、あるいはメインフレーム又はワークステーション等である。なお、情報提供装置100は、クラウドコンピューティングにより実現されてもよい。
The
〔3.端末装置の構成例〕
次に、図5を用いて、端末装置10の構成について説明する。図5は、端末装置10の構成例を示す図である。図5に示すように、端末装置10は、通信部11と、表示部12と、入力部13と、測位部14と、撮像部15と、センサ部20と、制御部30(コントローラ)と、記憶部40とを備える。
[3. Configuration example of terminal device]
Next, the configuration of the
(通信部11)
通信部11は、ネットワークN(図4参照)と有線又は無線で接続され、ネットワークNを介して、情報提供装置100との間で情報の送受信を行う。例えば、通信部11は、NIC(Network Interface Card)やアンテナ等によって実現される。
(Communication unit 11)
The communication unit 11 is connected to the network N (see FIG. 4) by wire or wirelessly, and transmits and receives information to and from the
(表示部12)
表示部12は、位置情報等の各種情報を表示する表示デバイスである。例えば、表示部12は、液晶ディスプレイ(LCD:Liquid Crystal Display)や有機ELディスプレイ(Organic Electro-Luminescent Display)である。また、表示部12は、タッチパネル式のディスプレイであるが、これに限定されるものではない。
(Display unit 12)
The display unit 12 is a display device that displays various information such as position information. For example, the display unit 12 is a liquid crystal display (LCD) or an organic EL display (Organic Electro-Luminescent Display). Also, the display unit 12 is a touch panel display, but is not limited to this.
(入力部13)
入力部13は、利用者Uから各種操作を受け付ける入力デバイスである。例えば、入力部13は、文字や数字等を入力するためのボタン等を有する。なお、入力部13は、入出力ポート(I/O port)やUSB(Universal Serial Bus)ポート等であってもよい。また、表示部12がタッチパネル式のディスプレイである場合、表示部12の一部が入力部13として機能する。また、入力部13は、利用者Uから音声入力を受け付けるマイク等であってもよい。マイクはワイヤレスであってもよい。
(Input unit 13)
The input unit 13 is an input device that receives various operations from the user U. For example, the input unit 13 has buttons and the like for inputting characters, numbers, and the like. The input unit 13 may be an input/output port (I/O port), a USB (Universal Serial Bus) port, or the like. Moreover, when the display unit 12 is a touch panel display, a part of the display unit 12 functions as the input unit 13 . Also, the input unit 13 may be a microphone or the like that receives voice input from the user U. FIG. The microphone may be wireless.
(測位部14)
測位部14は、GPS(Global Positioning System)の衛星から送出される信号(電波)を受信し、受信した信号に基づいて、自装置である端末装置10の現在位置を示す位置情報(例えば、緯度及び経度)を取得する。すなわち、測位部14は、端末装置10の位置を測位する。なお、GPSは、GNSS(Global Navigation Satellite System)の一例に過ぎない。
(Positioning unit 14)
The
また、測位部14は、GPS以外にも、種々の手法により位置を測位することができる。例えば、測位部14は、位置補正等のための補助的な測位手段として、下記のように、端末装置10の様々な通信機能を利用して位置を測位してもよい。
Also, the
(撮像部15)
撮像部15は、被写体を撮影する画像センサ(カメラ)である。例えば、撮像部15は、CMOSイメージセンサやCCDイメージセンサ等である。なお、撮像部15は、内蔵カメラに限らず、端末装置10と通信可能なワイヤレスカメラや、Webカメラ等の外付けカメラであってもよい。
(Imaging unit 15)
The
(Wi-Fi測位)
例えば、測位部14は、端末装置10のWi-Fi(登録商標)通信機能や、各通信会社が備える通信網を利用して、端末装置10の位置を測位する。具体的には、測位部14は、Wi-Fi通信等を行い、付近の基地局やアクセスポイントとの距離を測位することにより、端末装置10の位置を測位する。
(Wi-Fi positioning)
For example, the
(ビーコン測位)
また、測位部14は、端末装置10のBluetooth(登録商標)機能を利用して位置を測位してもよい。例えば、測位部14は、Bluetooth(登録商標)機能によって接続されるビーコン(beacon)発信機と接続することにより、端末装置10の位置を測位する。
(beacon positioning)
The
(地磁気測位)
また、測位部14は、予め測定された構造物の地磁気のパターンと、端末装置10が備える地磁気センサとに基づいて、端末装置10の位置を測位する。
(geomagnetic positioning)
Further, the
(RFID測位)
また、例えば、端末装置10が駅改札や店舗等で使用される非接触型ICカードと同等のRFID(Radio Frequency Identification)タグの機能を備えている場合、もしくはRFIDタグを読み取る機能を備えている場合、端末装置10によって決済等が行われた情報とともに、使用された位置が記録される。測位部14は、かかる情報を取得することで、端末装置10の位置を測位してもよい。また、位置は、端末装置10が備える光学式センサや、赤外線センサ等によって測位されてもよい。
(RFID positioning)
Further, for example, if the
測位部14は、必要に応じて、上述した測位手段の一つ又は組合せを用いて、端末装置10の位置を測位してもよい。
The
(センサ部20)
センサ部20は、端末装置10に搭載又は接続される各種のセンサを含む。なお、接続は、有線接続、無線接続を問わない。例えば、センサ類は、ウェアラブルデバイスやワイヤレスデバイス等、端末装置10以外の検知装置であってもよい。図5に示す例では、センサ部20は、加速度センサ21と、ジャイロセンサ22と、気圧センサ23と、気温センサ24と、音センサ25と、光センサ26と、磁気センサ27とを備える。
(Sensor unit 20)
The
なお、上記した各センサ21~27は、あくまでも例示であって限定されるものではない。すなわち、センサ部20は、各センサ21~27のうちの一部を備える構成であってもよいし、各センサ21~27に加えてあるいは代えて、湿度センサ等その他のセンサを備えてもよい。また、撮像部15も、画像センサの一種である。
The
加速度センサ21は、例えば、3軸加速度センサであり、端末装置10の移動方向、速度、及び、加速度等の端末装置10の物理的な動きを検知する。ジャイロセンサ22は、端末装置10の角速度等に基づいて3軸方向の傾き等の端末装置10の物理的な動きを検知する。気圧センサ23は、例えば端末装置10の周囲の気圧を検知する。
The
端末装置10は、上記した加速度センサ21やジャイロセンサ22、気圧センサ23等を備えることから、これらの各センサ21~23等を利用した歩行者自律航法(PDR:Pedestrian Dead-Reckoning)等の技術を用いて端末装置10の位置を測位することが可能になる。これにより、GPS等の測位システムでは取得することが困難な屋内での位置情報を取得することが可能になる。
Since the
例えば、加速度センサ21を利用した歩数計により、歩数や歩くスピード、歩いた距離を算出することができる。また、ジャイロセンサ22を利用して、利用者Uの進行方向や視線の方向、体の傾きを知ることができる。また、気圧センサ23で検知した気圧から、利用者Uの端末装置10が存在する高度やフロアの階数を知ることもできる。
For example, a pedometer using the
気温センサ24は、例えば端末装置10の周囲の気温を検知する。音センサ25は、例えば端末装置10の周囲の音を検知する。光センサ26は、端末装置10の周囲の照度を検知する。磁気センサ27は、例えば端末装置10の周囲の地磁気を検知する。撮像部15は、端末装置10の周囲の画像を撮像する。
The temperature sensor 24 detects the temperature around the
上記した気圧センサ23、気温センサ24、音センサ25、光センサ26及び撮像部15は、それぞれ気圧、気温、音、照度を検知したり、周囲の画像を撮像したりすることで、端末装置10の周囲の環境や状況等を検知することができる。また、端末装置10の周囲の環境や状況等から、端末装置10の位置情報の精度を向上させることが可能になる。
The
(制御部30)
制御部30は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM、入出力ポート等を有するマイクロコンピュータや各種の回路を含む。また、制御部30は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路等のハードウェアで構成されてもよい。制御部30は、送信部31と、受信部32と、処理部33と、ガイド表示部34と、ガイド変更部35と、撮影判定部36と、認識部37と、通知部38とを備える。なお、実際には、処理部33が、ガイド表示部34と、ガイド変更部35と、撮影判定部36と、認識部37と、通知部38とを備えていてもよい。
(control unit 30)
The control unit 30 includes, for example, a microcomputer having a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM, an input/output port, and various circuits. Also, the control unit 30 may be configured by hardware such as an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array). The control unit 30 includes a
(送信部31)
送信部31は、例えば入力部13を用いて利用者Uにより入力された各種情報や、端末装置10に搭載又は接続された各センサ21~27によって検知された各種情報、測位部14によって測位された端末装置10の位置情報等を、通信部11を介して情報提供装置100へ送信することができる。
(Sending unit 31)
The
(受信部32)
受信部32は、通信部11を介して、情報提供装置100から提供される各種情報や、情報提供装置100からの各種情報の要求を受信することができる。
(Receiver 32)
The receiving
(処理部33)
処理部33は、表示部12等を含め、端末装置10全体を制御する。例えば、処理部33は、送信部31によって送信される各種情報や、受信部32によって受信された情報提供装置100からの各種情報を表示部12へ出力して表示させることができる。
(Processing unit 33)
The
(ガイド表示部34)
ガイド表示部34は、多視点画像を撮影する際に、所定の撮影ガイドを画面に表示する。例えば、ガイド表示部34は、撮影ガイドとして被写体のうち被撮影者(撮影モデル)のポーズ、表情、持ち方のうち少なくとも1つに関するガイドを画面に表示する。また、ガイド表示部34は、撮影ガイドとして被写体のシルエット、輪郭、又は半透明の表示を画面に表示する。
(Guide display section 34)
The
また、ガイド表示部34は、被写体を撮影する際に、被写体に撮影ガイドを重畳表示する。また、ガイド表示部34は、最初に撮影された画像で被写体のうち被撮影者のポーズを特定し、特定されたポーズに応じた撮影ガイドを選択して表示する。
Further, the
(ガイド変更部35)
ガイド変更部35は、撮影時の視点を移動する度に、画面に表示された撮影ガイドを視点に応じて変更する。また、ガイド変更部35は、撮影時の視点を移動するにつれて、撮影ガイドを段階的に変更してもよい。
(Guide changing unit 35)
A guide changing unit 35 changes the shooting guide displayed on the screen according to the viewpoint every time the viewpoint during shooting is moved. Further, the guide changing unit 35 may change the shooting guide step by step as the viewpoint during shooting is moved.
(撮影判定部36)
撮影判定部36は、被写体が前記撮影ガイドに一致した場合、撮像部15を用いて、自動的に撮影する。また、撮影判定部36は、多視点画像の撮影が完了した場合、送信部31を用いて、多視点画像を情報提供装置100に投稿する。このとき、撮影判定部36は、撮影された画像から多視点画像を生成してもよい。
(Photographing determination unit 36)
The shooting determination unit 36 automatically shoots the subject using the
(認識部37)
認識部37は、多視点画像を構成する画像の撮影時に、画像に含まれる撮影対象を認識する。例えば、認識部37は、画像認識又は機械学習で、画像に含まれる撮影対象を認識する。また、認識部37は、撮影の度に、画像に含まれる撮影対象を認識する。また、認識部37は、撮影の度に、画像に含まれる複数の撮影対象の各々を認識する。また、認識部37は、撮影の度に、他の撮影対象に隠れて見えなくなった撮影対象を認識する。
(Recognition unit 37)
The
(通知部38)
通知部38は、被写体が撮影ガイドとずれている場合、被写体が撮影ガイドとずれている箇所を撮影者に通知する。なお、被写体は、撮影者自身であってもよい。すなわち、撮影者と被撮影者は同一人物であってもよい。
(Notification unit 38)
When the subject is out of alignment with the shooting guide, the notification unit 38 notifies the photographer of the location where the subject is out of alignment with the shooting guide. Note that the subject may be the photographer himself/herself. That is, the photographer and the person to be photographed may be the same person.
また、通知部38は、認識部37により認識された撮影対象を利用者に通知する。例えば、通知部38は、撮影の度に、認識された撮影対象を利用者に通知する。また、通知部38は、撮影の度に、認識された複数の撮影対象の各々を利用者に通知する。また、通知部38は、撮影の度に、認識された撮影対象の画像の撮影枚数を利用者に通知する。また、通知部38は、撮影の度に、多視点画像を構成する画像の必要数までの残り枚数を利用者に通知する。また、通知部38は、撮影の度に、他の撮影対象に隠れて見えなくなった撮影対象を利用者に通知する。
Also, the notification unit 38 notifies the user of the imaging target recognized by the
このとき、通知部38は、特定された撮影対象を利用者に音声で通知してもよい。また、通知部38は、特定された撮影対象を利用者に画面表示で通知してもよい。 At this time, the notification unit 38 may notify the user of the specified imaging target by voice. In addition, the notification unit 38 may notify the user of the specified imaging target by displaying it on the screen.
(記憶部40)
記憶部40は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、又は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、光ディスク等の記憶装置によって実現される。かかる記憶部40には、各種プログラムや各種データ等が記憶される。
(storage unit 40)
The storage unit 40 is realized by, for example, a semiconductor memory device such as RAM (Random Access Memory) or flash memory, or a storage device such as HDD (Hard Disk Drive), SSD (Solid State Drive), or optical disk. be. Various programs, various data, and the like are stored in the storage unit 40 .
〔4.情報提供装置の構成例〕
次に、図6を用いて、実施形態に係る情報提供装置100の構成について説明する。図6は、実施形態に係る情報提供装置100の構成例を示す図である。図6に示すように、情報提供装置100は、通信部110と、記憶部120と、制御部130とを有する。
[4. Configuration example of information providing device]
Next, the configuration of the
(通信部110)
通信部110は、例えば、NIC(Network Interface Card)等によって実現される。また、通信部110は、ネットワークN(図4参照)と有線又は無線で接続される。
(Communication unit 110)
The communication unit 110 is realized by, for example, a NIC (Network Interface Card) or the like. Also, the communication unit 110 is connected to the network N (see FIG. 4) by wire or wirelessly.
(記憶部120)
記憶部120は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、又は、HDD、SSD、光ディスク等の記憶装置によって実現される。図6に示すように、記憶部120は、利用者情報データベース121と、履歴情報データベース122と、画像情報データベース123とを有する。
(storage unit 120)
The storage unit 120 is implemented by, for example, a semiconductor memory device such as a RAM (Random Access Memory) or flash memory, or a storage device such as an HDD, SSD, or optical disk. As shown in FIG. 6, storage unit 120 has
(利用者情報データベース121)
利用者情報データベース121は、利用者Uに関する利用者情報を記憶する。例えば、利用者情報データベース121は、利用者Uの属性等の種々の情報を記憶する。図7は、利用者情報データベース121の一例を示す図である。図7に示した例では、利用者情報データベース121は、「利用者ID(Identifier)」、「年齢」、「性別」、「自宅」、「勤務地」、「興味」といった項目を有する。
(User information database 121)
The
「利用者ID」は、利用者Uを識別するための識別情報を示す。なお、「利用者ID」は、利用者Uの連絡先(電話番号、メールアドレス等)であってもよいし、利用者Uの端末装置10を識別するための識別情報であってもよい。
“User ID” indicates identification information for identifying the user U. The “user ID” may be the user U's contact information (telephone number, e-mail address, etc.), or may be identification information for identifying the user U's
また、「年齢」は、利用者IDにより識別される利用者Uの年齢を示す。なお、「年齢」は、利用者Uの具体的な年齢(例えば35歳など)を示す情報であってもよいし、利用者Uの年代(例えば30代など)を示す情報であってもよい。あるいは、「年齢」は、利用者Uの生年月日を示す情報であってもよいし、利用者Uの世代(例えば80年代生まれなど)を示す情報であってもよい。また、「性別」は、利用者IDにより識別される利用者Uの性別を示す。 "Age" indicates the age of the user U identified by the user ID. Note that the "age" may be information indicating a specific age of the user U (for example, 35 years old) or information indicating the age of the user U (for example, 30's). . Alternatively, the "age" may be information indicating the date of birth of the user U, or information indicating the generation of the user U (for example, born in the 80's). "Gender" indicates the gender of the user U identified by the user ID.
また、「自宅」は、利用者IDにより識別される利用者Uの自宅の位置情報を示す。なお、図7に示す例では、「自宅」は、「LC11」といった抽象的な符号を図示するが、緯度経度情報等であってもよい。また、例えば、「自宅」は、地域名や住所であってもよい。 "Home" indicates location information of the home of the user U identified by the user ID. In the example shown in FIG. 7, "home" is represented by an abstract code such as "LC11", but may be latitude/longitude information or the like. Also, for example, "home" may be an area name or an address.
また、「勤務地」は、利用者IDにより識別される利用者Uの勤務地(学生の場合は学校)の位置情報を示す。なお、図7に示す例では、「勤務地」は、「LC12」といった抽象的な符号を図示するが、緯度経度情報等であってもよい。また、例えば、「勤務地」は、地域名や住所であってもよい。 "Place of work" indicates location information of the place of work (school in the case of a student) of the user U identified by the user ID. In the example shown in FIG. 7, the "place of work" is illustrated as an abstract code such as "LC12", but may be latitude/longitude information or the like. Also, for example, the "place of work" may be an area name or an address.
また、「興味」は、利用者IDにより識別される利用者Uの興味を示す。すなわち、「興味」は、利用者IDにより識別される利用者Uが関心の高い対象を示す。例えば、「興味」は、利用者Uが検索エンジンに入力して検索した検索クエリ(キーワード)等であってもよい。なお、図7に示す例では、「興味」は、各利用者Uに1つずつ図示するが、複数であってもよい。 "Interest" indicates the interest of the user U identified by the user ID. That is, "interest" indicates an object in which the user U identified by the user ID is highly interested. For example, the "interest" may be a search query (keyword) that the user U has entered into a search engine and searched for. In the example shown in FIG. 7, one "interest" is shown for each user U, but there may be more than one.
例えば、図7に示す例において、利用者ID「U1」により識別される利用者Uの年齢は、「20代」であり、性別は、「男性」であることを示す。また、例えば、利用者ID「U1」により識別される利用者Uは、自宅が「LC11」であることを示す。また、例えば、利用者ID「U1」により識別される利用者Uは、勤務地が「LC12」であることを示す。また、例えば、利用者ID「U1」により識別される利用者Uは、「スポーツ」に興味があることを示す。 For example, in the example shown in FIG. 7, the age of the user U identified by the user ID "U1" is "twenties" and the gender is "male". Also, for example, the user U identified by the user ID "U1" indicates that the home is "LC11". Also, for example, the user U identified by the user ID "U1" indicates that the place of work is "LC12". Also, for example, the user U identified by the user ID "U1" indicates that he is interested in "sports".
ここで、図7に示す例では、「U1」、「LC11」及び「LC12」といった抽象的な値を用いて図示するが、「U1」、「LC11」及び「LC12」には、具体的な文字列や数値等の情報が記憶されるものとする。以下、他の情報に関する図においても、抽象的な値を図示する場合がある。 Here, in the example shown in FIG. 7, abstract values such as “U1”, “LC11” and “LC12” are used, but “U1”, “LC11” and “LC12” are concrete values. It is assumed that information such as character strings and numerical values is stored. Hereinafter, abstract values may also be illustrated in diagrams relating to other information.
なお、利用者情報データベース121は、上記に限らず、目的に応じて種々の情報を記憶してもよい。例えば、利用者情報データベース121は、利用者Uの端末装置10に関する各種情報を記憶してもよい。また、利用者情報データベース121は、利用者Uのデモグラフィック(人口統計学的属性)、サイコグラフィック(心理学的属性)、ジオグラフィック(地理学的属性)、ベヘイビオラル(行動学的属性)等の属性に関する情報を記憶してもよい。例えば、利用者情報データベース121は、氏名、家族構成、出身地(地元)、職業、職位、収入、資格、居住形態(戸建、マンション等)、車の有無、通学・通勤時間、通学・通勤経路、定期券区間(駅、路線等)、利用頻度の高い駅(自宅・勤務地の最寄駅以外)、習い事(場所、時間帯等)、趣味、興味、ライフスタイル等の情報を記憶してもよい。
The
(履歴情報データベース122)
履歴情報データベース122は、利用者Uの行動を示す履歴情報(ログデータ)に関する各種情報を記憶する。図8は、履歴情報データベース122の一例を示す図である。図8に示した例では、履歴情報データベース122は、「利用者ID」、「位置履歴」、「検索履歴」、「閲覧履歴」、「購入履歴」、「投稿履歴」といった項目を有する。
(History information database 122)
The
「利用者ID」は、利用者Uを識別するための識別情報を示す。また、「位置履歴」は、利用者Uの位置や移動の履歴である位置履歴を示す。また、「検索履歴」は、利用者Uが入力した検索クエリの履歴である検索履歴を示す。また、「閲覧履歴」は、利用者Uが閲覧したコンテンツの履歴である閲覧履歴を示す。また、「購入履歴」は、利用者Uによる購入の履歴である購入履歴を示す。また、「投稿履歴」は、利用者Uによる投稿の履歴である投稿履歴を示す。なお、「投稿履歴」は、利用者Uの所有物に関する質問を含んでいてもよい。 “User ID” indicates identification information for identifying the user U. "Position history" indicates a position history that is a history of the user's U position and movement. Also, "search history" indicates a search history that is a history of search queries input by the user U. FIG. "Browsing history" indicates a browsing history that is a history of contents browsed by the user U. FIG. "Purchase history" indicates the purchase history of the user U's purchases. In addition, “posting history” indicates a posting history that is a history of posts by the user U. FIG. In addition, the “posting history” may include questions about user U's property.
例えば、図8に示す例において、利用者ID「U1」により識別される利用者Uは、「位置履歴#1」の通りに移動し、「検索履歴#1」の通りに検索し、「閲覧履歴#1」の通りにコンテンツを閲覧し、「購入履歴#1」の通りに所定の店舗等で所定の商品等を購入し、「投稿履歴」の通りに投稿したことを示す。
For example, in the example shown in FIG. 8, the user U identified by the user ID “U1” moves along the “
ここで、図8に示す例では、「U1」、「位置履歴#1」、「検索履歴#1」、「閲覧履歴#1」、「購入履歴#1」及び「投稿履歴#1」といった抽象的な値を用いて図示するが、「U1」、「位置履歴#1」、「検索履歴#1」、「閲覧履歴#1」、「購入履歴#1」及び「投稿履歴#1」には、具体的な文字列や数値等の情報が記憶されるものとする。
Here, in the example shown in FIG. 8, abstract history such as "U1", "
なお、履歴情報データベース122は、上記に限らず、目的に応じて種々の情報を記憶してもよい。例えば、履歴情報データベース122は、利用者Uの所定のサービスの利用履歴等を記憶してもよい。また、履歴情報データベース122は、利用者Uの実店舗の来店履歴又は施設の訪問履歴等を記憶してもよい。また、履歴情報データベース122は、利用者Uの端末装置10を用いた決済(電子決済)での決済履歴等を記憶してもよい。
Note that the
(画像情報データベース123)
画像情報データベース123は、多視点画像に関する各種情報を記憶する。図9は、画像情報データベース123の一例を示す図である。図9に示した例では、画像情報データベース123は、「多視点画像」、「画像」、「視点」、「撮影対象」、「位置」、「アノテーション対象」、「タグ」、「顔の位置」といった項目を有する。
(Image information database 123)
The
「多視点画像」は、多視点画像を識別するための識別情報を示す。なお、実際には、多視点画像のデータの格納場所や所在位置等であってもよい。また、「画像」は、多視点画像を構成する画像を識別するための識別情報を示す。なお、実際には、多視点画像を構成する画像のデータの格納場所や所在位置等であってもよい。 “Multi-view image” indicates identification information for identifying a multi-view image. It should be noted that, in practice, it may be the storage location or the location of the data of the multi-view image. Also, "image" indicates identification information for identifying an image forming a multi-view image. It should be noted that, in practice, it may be the storage location or location of the data of the images forming the multi-viewpoint image.
また、「視点」は、多視点画像を構成する画像を撮影した時の視点を示す。すなわち、視点は、多視点画像を構成する画像に組まれる撮影対象の位置(ポジション)や角度(アングル)を示す。 Also, "viewpoint" indicates a viewpoint when an image forming a multi-viewpoint image is captured. In other words, the viewpoint indicates the position and angle of the object to be photographed that is included in the images forming the multi-viewpoint image.
また、「撮影対象」は、多視点画像を構成する画像に含まれる撮影対象を示す。すなわち、被写体として撮影された撮影対象を示す。例えば、撮影対象の分類(カテゴリ)や具体的な商品名、商品コード等を示す。また、撮影対象は、被撮影者(人物)であってもよい。また、撮影対象は、複数であってもよい。すなわち、1つの画像に複数の撮影対象が含まれていてもよい。例えば、被撮影者と、その被撮影者が身につけている2つのファッションアイテムを、それぞれ撮影対象としてもよい。 In addition, "shooting target" indicates a shooting target included in the images forming the multi-viewpoint image. That is, it indicates an object to be photographed as a subject. For example, it indicates the classification (category) of the object to be photographed, the specific product name, the product code, and the like. Also, the object to be photographed may be a person (person) to be photographed. Also, the number of subjects to be photographed may be plural. That is, one image may include a plurality of shooting targets. For example, a person to be photographed and two fashion items worn by the person to be photographed may be photographed.
また、「位置」は、多視点画像内の撮影対象の位置(画像内の位置)を示す。本実施形態では、多視点画像を構成する個々の画像内の撮影対象の3次元的な位置を示す。撮影対象の3次元的な位置は、画像内の座標等の絶対位置であってもよいし、基準点や他の撮像対象からの相対位置であってもよい。また、3次元的な位置は一例に過ぎない。 "Position" indicates the position of the imaging target within the multi-viewpoint image (position within the image). In this embodiment, the three-dimensional position of the object to be photographed in each image that constitutes the multi-viewpoint image is indicated. The three-dimensional position of the object to be imaged may be an absolute position such as coordinates in an image, or may be a relative position from a reference point or another object to be imaged. Also, the three-dimensional position is merely an example.
また、「アノテーション対象」は、撮影対象(アノテーション対象の候補)のうち、タグ付けの対象(アノテーション対象)を示す。タグ付けの対象は、ユーザにより選択されたものであってもよいし、事前設定や機械学習等により自動的に決定されたものであってもよい。 "Annotation target" indicates a tagging target (annotation target) among shooting targets (annotation target candidates). The target of tagging may be selected by the user, or may be automatically determined by presetting, machine learning, or the like.
また、「タグ」は、タグ付けの対象(アノテーション対象)に付与されるタグを示す。例えば、事前に登録されたタグを識別するための識別情報であってもよいし、タグの内容であってもよい。例えば、タグ付けの対象(アノテーション対象)となる商品(ファッションアイテム)の商品ページに関する情報であってもよい。このとき、ファッション通販サイト(例えば「ZOZOTOWN」(登録商標))等の電子商取引サイトの各商品ページから画像認識又は機械学習で当該商品の類似画像を検索し、検索結果に基づいて当該商品の商品ページを自動で特定してもよい。 "Tag" indicates a tag given to a tagging target (annotation target). For example, it may be identification information for identifying a tag registered in advance, or the content of the tag. For example, it may be information about a product page of a product (fashion item) to be tagged (annotated). At this time, similar images of the product are searched for by image recognition or machine learning from each product page of e-commerce sites such as fashion mail order sites (for example, "ZOZOTOWN" (registered trademark)), and based on the search results, the product of the product Pages may be automatically identified.
また、「顔の位置」は多視点画像内の被撮影者の顔の位置(画像内の顔の位置)を示す。本実施形態では、多視点画像を構成する個々の画像内の被撮影者の顔の3次元的な位置を示す。顔の位置は、画像内の座標等の絶対位置であってもよいし、基準点や他の撮像対象からの相対位置であってもよい。また、顔の輪郭や顔の各部(眉、目、耳、鼻、口、顎等)の位置等であってもよい。 "Position of face" indicates the position of the face of the photographed person in the multi-view image (the position of the face in the image). In this embodiment, the three-dimensional position of the face of the person to be photographed in each image that constitutes the multi-viewpoint image is indicated. The position of the face may be an absolute position such as coordinates in the image, or may be a relative position from a reference point or another object to be imaged. Also, the outline of the face and the position of each part of the face (eyebrows, eyes, ears, nose, mouth, chin, etc.) may be used.
例えば、図9に示す例において、多視点画像「A」を構成する画像「A1」は、「視点#A1」で撮影され、撮影対象である「バッグ」が画像内の「位置#A1」にあり、「アノテーション対象」(タグ付けの対象)として選定されており、対象のバッグに関するウェブサイト「サイト#W1」へのリンクがタグとして付与され、画像内の被撮影者の顔の位置は「顔位置#A1」であることを示す。 For example, in the example shown in FIG. 9, an image "A1" that forms a multi-viewpoint image "A" is shot at "viewpoint #A1", and the subject "bag" is at "position #A1" in the image. Yes, it is selected as an "annotation target" (target for tagging), a link to the website "Site #W1" related to the target bag is given as a tag, and the position of the photographed person's face in the image is " face position #A1”.
ここで、図9に示す例では、「A」、「A1」、「視点#A1」、「位置#A1」、「サイト#W1」及び「顔位置#A1」といった抽象的な値を用いて図示するが、「A」、「A1」、「視点#A1」、「位置#A1」、「サイト#W1」及び「顔位置#A1」には、具体的な文字列や数値等の情報が記憶されるものとする。 Here, in the example shown in FIG. 9, abstract values such as "A", "A1", "viewpoint #A1", "position #A1", "site #W1", and "face position #A1" are used. As shown, "A", "A1", "viewpoint #A1", "position #A1", "site #W1" and "face position #A1" contain information such as specific character strings and numerical values. shall be memorized.
なお、画像情報データベース123は、上記に限らず、目的に応じて種々の情報を記憶してもよい。例えば、画像情報データベース123は、多視点画像の投稿者又は閲覧者を識別するための識別情報を記憶してもよい。また、画像情報データベース123は、被写体(撮影対象、被撮影者等)に関する詳細情報を記憶してもよい。また、画像情報データベース123は、候補となるタグのリストを記憶してもよい。また、画像情報データベース123は、撮影場所や撮影日時に関する情報を記憶してもよい。また、画像情報データベース123は、撮影に用いた撮影装置(ユーザの端末装置等)や撮影環境に関する情報を記憶してもよい。
The
(制御部130)
図6に戻り、説明を続ける。制御部130は、コントローラ(Controller)であり、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等によって、情報提供装置100の内部の記憶装置に記憶されている各種プログラム(情報処理プログラムの一例に相当)がRAM等の記憶領域を作業領域として実行されることにより実現される。図6に示す例では、制御部130は、取得部131と、特定部132と、推定部133と、タグ付与部134と、タグ変更部135と、画像変換部136と、提供部137とを有する。
(control unit 130)
Returning to FIG. 6, the description is continued. The control unit 130 is a controller, and for example, a CPU (Central Processing Unit), an MPU (Micro Processing Unit), an ASIC (Application Specific Integrated Circuit), an FPGA (Field Programmable Gate Array), or the like controls the
(取得部131)
取得部131は、利用者Uにより入力された検索クエリを取得する。例えば、取得部131は、利用者Uが検索エンジン等に検索クエリを入力してキーワード検索を行った際に、通信部110を介して、当該検索クエリを取得する。すなわち、取得部131は、通信部110を介して、利用者Uにより検索エンジンやサイト又はアプリの検索窓に入力されたキーワードを取得する。
(Acquisition unit 131)
The acquisition unit 131 acquires a search query input by the user U. For example, the acquisition unit 131 acquires the search query via the communication unit 110 when the user U inputs a search query into a search engine or the like and performs a keyword search. That is, the acquisition unit 131 acquires, via the communication unit 110, a keyword input by the user U to a search window of a search engine, site, or application.
また、取得部131は、通信部110を介して、利用者Uに関する利用者情報を取得する。例えば、取得部131は、利用者Uの端末装置10から、利用者Uを示す識別情報(利用者ID等)や、利用者Uの位置情報、利用者Uの属性情報等を取得する。また、取得部131は、利用者Uのユーザ登録時に、利用者Uを示す識別情報や、利用者Uの属性情報等を取得してもよい。そして、取得部131は、利用者情報を、記憶部120の利用者情報データベース121に登録する。
The acquisition unit 131 also acquires user information about the user U via the communication unit 110 . For example, the acquisition unit 131 acquires identification information (user ID, etc.) indicating the user U, location information of the user U, attribute information of the user U, and the like, from the
また、取得部131は、通信部110を介して、利用者Uの行動を示す各種の履歴情報(ログデータ)を取得する。例えば、取得部131は、利用者Uの端末装置10から、あるいは利用者ID等に基づいて各種サーバ等から、利用者Uの行動を示す各種の履歴情報を取得する。そして、取得部131は、各種の履歴情報を、記憶部120の履歴情報データベース122に登録する。
In addition, the acquisition unit 131 acquires various types of history information (log data) indicating actions of the user U via the communication unit 110 . For example, the acquisition unit 131 acquires various types of history information indicating actions of the user U from the
また、取得部131は、通信部110を介して、投稿者又は閲覧者である利用者Uから多視点画像を取得する。例えば、取得部131は、投稿者である利用者Uの端末装置10から、投稿者が撮影した多視点画像を取得する。また、取得部131は、閲覧者である利用者Uが指定した他の投稿者が撮影した多視点画像を取得する。
Also, the acquisition unit 131 acquires a multi-view image from the user U, who is a poster or a viewer, via the communication unit 110 . For example, the acquiring unit 131 acquires a multi-view image captured by the poster from the
また、取得部131は、通信部110を介して、被撮影者とは異なる別人の顔の多視点画像を取得する。例えば、取得部131は、別人の顔を複数の視点から撮影した多視点顔画像を取得する。別人の顔は、閲覧者である利用者Uの顔であってもよい。本実施形態では、取得部131は、通信部110を介して、閲覧者の顔の多視点画像を取得する。なお、取得部131は、閲覧者の顔の多視点画像を事前に取得してもよいし、閲覧時に取得してもよい。また、閲覧者の顔の多視点画像は、少なくとも閲覧者の顔を含む多視点画像であってもよい。例えば、取得部131は、閲覧者である利用者Uの顔を複数の視点から撮影した多視点顔画像を取得する。 Also, the acquiring unit 131 acquires a multi-viewpoint image of the face of a person other than the person being photographed via the communication unit 110 . For example, the acquiring unit 131 acquires a multi-viewpoint face image obtained by photographing another person's face from a plurality of viewpoints. The face of another person may be the face of the user U who is the viewer. In this embodiment, the acquisition unit 131 acquires a multi-viewpoint image of the viewer's face via the communication unit 110 . Note that the acquisition unit 131 may acquire the multi-viewpoint image of the viewer's face in advance, or may acquire it at the time of viewing. Also, the multi-viewpoint image of the viewer's face may be a multi-viewpoint image including at least the viewer's face. For example, the acquiring unit 131 acquires multi-viewpoint face images obtained by photographing the face of the user U, who is a viewer, from a plurality of viewpoints.
また、取得部131は、通信部110を介して、投稿者からタグ付けの対象の選択を受け付ける受付部としても機能する。例えば、取得部131(受付部)は、投稿者から、タグ付けの対象の選択と、タグ付けの対象に対応付けるウェブページの指定とを受け付ける。 The acquisition unit 131 also functions as a reception unit that receives selection of a tagging target from a poster via the communication unit 110 . For example, the acquiring unit 131 (receiving unit) receives, from the contributor, selection of a tagging target and designation of a web page to be associated with the tagging target.
(特定部132)
特定部132は、多視点画像に含まれる撮影対象を特定する。そして、特定部132は、多視点画像に含まれる撮影対象の中から、アノテーションのタグ付けの対象を特定する。このとき、特定部132は、多視点画像の各視点の画像ごとに画像認識又は機械学習で撮影対象を特定して分類する。
(Specifying unit 132)
The identifying
例えば、特定部132は、投稿者からのタグ付けの対象の選択に応じて、多視点画像に含まれる撮影対象の中から、アノテーションのタグ付けの対象を特定する。あるいは、特定部132は、画像認識又は機械学習で、多視点画像に含まれる撮影対象の中から、アノテーションのタグ付けの対象を特定する。
For example, the specifying
また、特定部132は、ネットワーク上の複数のウェブページから画像認識又は機械学習でタグ付けの対象の画像の類似画像を検索し、類似画像を含むウェブページをタグ付けの対象に対応付けるウェブページとして自動で特定する。
In addition, the identifying
また、特定部132は、利用者Uの閲覧対象となる多視点画像の被撮影者の顔を特定する。例えば、特定部132は、利用者Uの閲覧対象となる多視点画像の被撮影者の顔と、多視点画像の撮影時の視点とを特定する。このとき、特定部132は、同時に閲覧される複数の多視点画像のそれぞれの被撮影者の顔と、複数の多視点画像のそれぞれの撮影時の視点とを特定してもよい。
Further, the specifying
(推定部133)
推定部133は、多視点画像内の撮影対象の位置を推定する。すなわち、推定部133は、多視点画像内の撮影対象から選択されたタグ付けの対象の位置を推定する。本実施形態では、推定部133は、タグ付けの対象の多視点画像内の3次元的な位置を推定する。多視点画像内の3次元的な位置は、画像内の座標等の絶対位置であってもよいし、基準点や他の撮像対象からの相対位置であってもよい。なお、実際には、特定部132が推定部133として機能してもよい。このとき、特定部132は、タグ付けの対象の多視点画像内の3次元的な位置を特定する。
(Estimation unit 133)
The estimation unit 133 estimates the position of the shooting target in the multi-view image. That is, the estimation unit 133 estimates the position of the tagging target selected from the shooting targets in the multi-view image. In this embodiment, the estimation unit 133 estimates a three-dimensional position in the multi-view image to be tagged. The three-dimensional position in the multi-viewpoint image may be an absolute position such as coordinates in the image, or may be a relative position from a reference point or another imaging target. Note that the identifying
(タグ付与部134)
タグ付与部134は、タグ付けの対象の位置に合わせてタグを付与する。例えば、タグ付与部134は、タグ付けの対象の3次元的な位置に合わせてタグ付けの対象にタグを付与する。これにより、付与されたタグが画面内に表示される。また、タグ付与部134は、タグ付けの対象にタグを付与する際、タグが他の対象及び他のタグと重複しないように付与する。
(Tagging unit 134)
The
また、タグ付与部134は、タグ付けの対象にタグを付与する際、タグ付けの対象が他の対象により隠されていない状態であれば、タグ付けの対象にタグを付与する。なお、タグ付与部134は、タグ付けの対象にタグを付与する際、タグ付けの対象が他の対象により隠されている状態であっても、タグ付けの対象のタグが他の対象のタグよりも表示の優先度が高い場合には、他の対象にはタグを付与せず、タグ付けの対象にタグを付与してもよい。
Further, when tagging a target to be tagged, the
(タグ変更部135)
タグ変更部135は、多視点画像の視点の変更に伴い画面内のタグ付けの対象の位置が変更した場合に、タグ付けの対象の位置の変更に合わせてタグの表示位置を変更する。また、タグ変更部135は、多視点画像の視点が変更されても、タグ付けの対象とタグとの位置関係が保持されるような位置にタグを配置する。なお、実際には、タグ付与部134がタグ変更部135として機能してもよい。この場合、タグ付与部134は、多視点画像の視点が変更される度に、タグ付けの対象の位置の変更に合わせて、タグ付けの対象にタグを付与する。
(Tag changing unit 135)
The
(画像変換部136)
画像変換部136は、多視点画像を構成する画像ごとに、多視点画像の被撮影者の顔を別人の顔に変換する。例えば、画像変換部136は、多視点画像を構成する画像ごとに、多視点画像の撮影時の視点に合わせて、多視点画像の被撮影者の顔を、別人の顔に変換する。このとき、画像変換部136は、多視点画像の撮影時の視点に合わせて、多視点画像の被撮影者の顔を、別人の顔に置き換えた新たな多視点画像を生成してもよい。
(Image converter 136)
The image conversion unit 136 converts the face of the photographed person in the multi-view image into the face of another person for each image forming the multi-view image. For example, the image conversion unit 136 converts the face of the subject in the multi-viewpoint image into the face of another person in accordance with the viewpoint at the time of shooting the multi-viewpoint image, for each image forming the multi-viewpoint image. At this time, the image conversion unit 136 may generate a new multi-view image by replacing the face of the subject in the multi-view image with the face of another person in accordance with the viewpoint at the time of shooting the multi-view image.
本実施形態では、画像変換部136は、多視点画像を構成する画像ごとに、多視点画像の被撮影者の顔を、閲覧者である利用者Uの顔に変換する。例えば、画像変換部136は、多視点画像を構成する画像ごとに、多視点画像の撮影時の視点に合わせて、多視点画像の被撮影者の顔を、利用者Uの顔に変換する。このとき、画像変換部136は、多視点画像の撮影時の視点に合わせて、多視点画像の被撮影者の顔を、利用者Uの顔に置き換えた新たな多視点画像を生成してもよい。 In this embodiment, the image conversion unit 136 converts the face of the subject of the multi-view image into the face of the user U who is the viewer, for each image forming the multi-view image. For example, the image conversion unit 136 converts the face of the person to be photographed in the multi-viewpoint image into the face of the user U for each image forming the multi-viewpoint image in accordance with the viewpoint at the time of shooting the multi-viewpoint image. At this time, the image conversion unit 136 may generate a new multi-view image by replacing the face of the person being photographed in the multi-view image with the face of the user U according to the viewpoint at the time of shooting the multi-view image. good.
また、画像変換部136は、多視点画像の撮影時の視点に合わせて、多視点画像の被撮影者の顔を、別人の顔に変換する際に、多視点画像の被撮影者の身長を別人の身長に合わせて調整する。このとき、画像変換部136は、被撮影者の顔と別人の顔とに基づいて被撮影者の身長を調整してもよい。 In addition, the image conversion unit 136 adjusts the height of the person to be photographed in the multi-view image when converting the face of the person to be photographed in the multi-view image to the face of another person according to the viewpoint at the time of photographing the multi-view image. Adjust for another person's height. At this time, the image conversion unit 136 may adjust the height of the person to be photographed based on the face of the person being photographed and the face of another person.
本実施形態では、画像変換部136は、多視点画像の撮影時の視点に合わせて、多視点画像の被撮影者の顔を、閲覧者である利用者Uの顔に変換する際に、多視点画像の被撮影者の身長を利用者Uの身長に合わせて調整する。このとき、画像変換部136は、被撮影者の顔と利用者Uの顔とに基づいて被撮影者の身長を調整してもよい。 In the present embodiment, the image conversion unit 136 converts the face of the person being photographed in the multi-viewpoint image into the face of the user U who is the viewer, in accordance with the viewpoint at the time of shooting the multi-viewpoint image. The height of the person to be photographed in the viewpoint image is adjusted according to the height of the user U. At this time, the image conversion unit 136 may adjust the height of the person to be photographed based on the face of the person to be photographed and the face of the user U.
また、画像変換部136は、多視点画像の撮影時の視点に合わせて、多視点画像の被撮影者の顔を、別人の顔に変換するとともに、変換後の画像の別人の顔の表情を変更する。また、画像変換部136は、多視点画像の撮影時の視点に合わせて、多視点画像の被撮影者の顔を、別人の顔に変換するとともに、変換後の画像の別人の髪型を変更する。また、画像変換部136は、多視点画像の撮影時の視点に合わせて、多視点画像の被撮影者の顔を、別人の顔に変換するとともに、変換後の画像の別人の髪の色(濃淡を含む)を変更する。 In addition, the image conversion unit 136 converts the face of the subject in the multi-viewpoint image into the face of another person according to the viewpoint at the time of shooting the multi-viewpoint image, and also converts the expression of the face of the other person in the image after conversion. change. In addition, the image conversion unit 136 converts the face of the photographed person in the multi-viewpoint image into another person's face and changes the hairstyle of the other person in the image after conversion in accordance with the viewpoint at the time of photographing the multi-viewpoint image. . In addition, the image conversion unit 136 converts the face of the person to be photographed in the multi-viewpoint image into the face of another person in accordance with the viewpoint at the time of shooting the multi-viewpoint image, and the hair color of the other person in the image after conversion ( (including shading).
本実施形態では、画像変換部136は、多視点画像の撮影時の視点に合わせて、多視点画像の被撮影者の顔を、閲覧者である利用者Uの顔に変換する際に、変換後の利用者Uの顔の表情を変更する。また、画像変換部136は、多視点画像の撮影時の視点に合わせて、多視点画像の被撮影者の顔を、利用者Uの顔に変換する際に、変換後の利用者Uの髪型を変更する。また、画像変換部136は、多視点画像の撮影時の視点に合わせて、多視点画像の被撮影者の顔を、利用者Uの顔に変換する際に、変換後の利用者Uの髪の色を変更する。 In this embodiment, the image conversion unit 136 converts the face of the person being photographed in the multi-view image into the face of the user U who is the viewer, according to the viewpoint at the time of shooting the multi-view image. The facial expression of the subsequent user U is changed. In addition, the image conversion unit 136 converts the face of the person to be photographed in the multi-viewpoint image into the face of the user U in accordance with the viewpoint at the time of shooting the multi-viewpoint image. to change In addition, the image conversion unit 136 converts the face of the person to be photographed in the multi-viewpoint image into the face of the user U in accordance with the viewpoint at the time of shooting the multi-viewpoint image. change the color of
例えば、画像変換部136は、画像加工編集等により、画像内の利用者Uの髪型や髪の色(濃淡を含む)、表情等を変更してもよい。あるいは、画像変換部136は、利用者Uの指示等に応じて、多視点画像に表示されている現在の顔画像(変換後の利用者Uの顔画像等)を、髪型や髪の色(濃淡を含む)、表情等が異なる顔画像に変換してもよい。 For example, the image conversion unit 136 may change the hairstyle, hair color (including shading), facial expression, etc. of the user U in the image by processing and editing the image. Alternatively, the image conversion unit 136 converts the current face image displayed in the multi-viewpoint image (face image of the user U after conversion, etc.) into a hairstyle or hair color ( (including shading), facial expressions, etc. may be converted into face images.
また、画像変換部136は、同時に閲覧される複数の多視点画像のそれぞれの撮影時の視点に合わせて、それぞれの被撮影者の顔を一括して別人の顔に変換する。本実施形態では、画像変換部136は、同時に閲覧される複数の多視点画像のそれぞれの撮影時の視点に合わせて、それぞれの被撮影者の顔を一括して閲覧者である利用者Uの顔に変換する。 In addition, the image conversion unit 136 collectively converts the faces of the respective persons to be photographed into the faces of different persons according to the respective viewpoints of the plurality of multi-viewpoint images viewed at the same time. In this embodiment, the image conversion unit 136 collectively converts the faces of the persons to be photographed according to the viewpoints at the time of photographing of the plurality of multi-viewpoint images that are viewed at the same time. Convert to face.
(提供部137)
提供部137は、別人の顔に変換後の多視点画像を利用者Uに提供する。例えば、提供部137は、生成された新たな多視点画像を利用者Uに提供する。また、提供部137は、別人の顔に変換後の複数の多視点画像のそれぞれを利用者Uに提供する。
(Providing unit 137)
The providing unit 137 provides the user U with the multi-viewpoint image converted to the face of another person. For example, the providing unit 137 provides the user U with the generated new multi-view image. In addition, the providing unit 137 provides the user U with each of the plurality of multi-viewpoint images after conversion into the face of another person.
本実施形態では、提供部137は、閲覧者である利用者Uの顔に変換後の多視点画像を利用者Uに提供する。例えば、提供部137は、生成された新たな多視点画像を利用者Uに提供する。また、提供部137は、利用者Uの顔に変換後の複数の多視点画像のそれぞれを利用者Uに提供する。 In the present embodiment, the providing unit 137 provides the user U, who is a viewer, with the multi-viewpoint image converted into the user U's face. For example, the providing unit 137 provides the user U with the generated new multi-view image. Further, the providing unit 137 provides the user U with each of the plurality of multi-viewpoint images converted into the user U's face.
〔5.処理手順〕
次に、図10を用いて実施形態に係る端末装置10及び情報提供装置100による処理手順について説明する。図10は、実施形態に係る処理手順を示すフローチャートである。なお、以下に示す処理手順は、端末装置10の制御部30及び情報提供装置100の制御部130によって繰り返し実行される。また、端末装置10と情報提供装置100とは連携する。
[5. Processing procedure]
Next, processing procedures by the
図10に示すように、端末装置10のガイド表示部34は、多視点画像を撮影する際に、所定の撮影ガイドを画面に表示する(ステップS101)。
As shown in FIG. 10, the
続いて、端末装置10の撮影判定部36は、被写体が前記撮影ガイドに一致した場合、撮像部15により、自動的に撮影する(ステップS102)。このとき、端末装置10の通知部38は、被写体が撮影ガイドとずれている場合、被写体が撮影ガイドとずれている箇所を撮影者に通知する。このとき、通知部38は、特定された撮影対象を利用者に音声で通知してもよいし、特定された撮影対象を利用者に画面表示で通知してもよい。
Subsequently, when the subject matches the shooting guide, the shooting determination unit 36 of the
続いて、端末装置10の認識部37は、撮影された画像に含まれる撮影対象を認識する。端末装置10の通知部38は、認識部37により認識された撮影対象を利用者に通知する(ステップS103)。例えば、通知部38は、撮影の度に、認識された撮影対象の画像の撮影枚数や、多視点画像を構成する画像の必要数までの残り枚数、他の撮影対象に隠れて見えなくなった撮影対象等を利用者に通知する。
Subsequently, the
続いて、端末装置10のガイド変更部35は、撮影時の視点を移動する度に、画面に表示された撮影ガイドを視点に応じて変更する(ステップS104)。このとき、ガイド変更部35は、撮影時の視点を移動するにつれて、撮影ガイドを段階的に変更してもよい。
Subsequently, the guide changing unit 35 of the
続いて、端末装置10の撮影判定部36は、多視点画像の撮影が完了した場合、送信部31を用いて、多視点画像を情報提供装置100に投稿する(ステップS105)。このとき、撮影判定部36は、撮影された画像から多視点画像を生成してもよい。また、撮影判定部36は、投稿前に撮影者に投稿してもよいか確認するようにしてもよい。
Subsequently, when the shooting of the multi-view image is completed, the shooting determination unit 36 of the
続いて、情報提供装置100の推定部133は、多視点画像内の撮影対象の位置を推定する(ステップS106)。例えば、情報提供装置100の取得部131は、通信部110を介して、端末装置10から多視点画像を取得する。情報提供装置100の特定部132は、多視点画像内の撮影対象を特定する。そして、情報提供装置100の推定部133は、多視点画像内の撮影対象の3次元的な位置を推定する。
Subsequently, the estimation unit 133 of the
続いて、情報提供装置100の特定部132は、多視点画像に含まれる撮影対象の中から、アノテーションのタグ付けの対象を特定する(ステップS107)。例えば、特定部132は、投稿者からのタグ付けの対象の選択に応じて、多視点画像に含まれる撮影対象の中から、アノテーションのタグ付けの対象を特定する。あるいは、特定部132は、画像認識又は機械学習で、多視点画像に含まれる撮影対象の中から、アノテーションのタグ付けの対象を特定する。
Subsequently, the specifying
続いて、情報提供装置100のタグ付与部134は、タグ付けの対象にタグを付与する(ステップS108)。このとき、情報提供装置100の推定部133は、多視点画像内のタグ付けの対象の位置を推定する。タグ付与部134は、タグ付けの対象の位置に合わせてタグを付与する。なお、タグを付与する位置については、多視点画像を投稿した投稿者があらかじめ指定していてもよい。
Subsequently, the
このとき、タグ付与部134は、タグ付けの対象にタグを付与する際、タグが他の対象及び他のタグと重複しないように付与する。また、タグ付与部134は、タグ付けの対象にタグを付与する際、タグ付けの対象が他の対象により隠されていない状態であれば、タグ付けの対象にタグを付与する。なお、タグ付与部134は、タグ付けの対象にタグを付与する際、タグ付けの対象が他の対象により隠されている状態であっても、タグ付けの対象のタグが他の対象のタグよりも表示の優先度が高い場合には、他の対象にはタグを付与せず、タグ付けの対象にタグを付与してもよい。
At this time, when the
続いて、情報提供装置100のタグ変更部135は、多視点画像の各視点の画像に合わせて、タグ付けの対象に付与されたタグの表示位置を変更する(ステップS109)。
例えば、タグ変更部135は、多視点画像の視点の変更に伴い画面内のタグ付けの対象の位置が変更した場合に、タグ付けの対象の位置の変更に合わせてタグの表示位置を変更する。
Subsequently, the
For example, when the position of the target of tagging in the screen changes due to the change of the viewpoint of the multi-view image, the
続いて、情報提供装置100の画像変換部136は、多視点画像の撮影時の視点に合わせて、多視点画像の被撮影者の顔を、閲覧者の顔に変換する(ステップS110)。このとき、情報提供装置100の取得部131は、通信部110を介して、閲覧者の顔の多視点画像を取得する。なお、取得部131は、閲覧者の顔の多視点画像を事前に取得してもよいし、閲覧時に取得してもよい。また、情報提供装置100の提供部137は、通信部110を介して、閲覧者の顔に変換後の多視点画像を閲覧者に提供する。
Subsequently, the image conversion unit 136 of the
〔6.変形例〕
上述した端末装置10及び情報提供装置100は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、実施形態の変形例について説明する。
[6. Modification]
The
上記の実施形態において、情報提供装置100が実行している処理の一部又は全部は、実際には、端末装置10が実行してもよい。例えば、スタンドアローン(Stand-alone)で(端末装置10単体で)処理が完結してもよい。この場合、端末装置10に、上記の実施形態における情報提供装置100の機能が備わっているものとする。また、上記の実施形態では、端末装置10は情報提供装置100と連携しているため、利用者Uから見れば、情報提供装置100の処理も端末装置10が実行しているように見える。すなわち、他の観点では、端末装置10は、情報提供装置100を備えているともいえる。
In the above embodiment, part or all of the processing executed by the
また、上記の実施形態において、撮影対象(アノテーション対象の候補)及びタグ付けの対象(アノテーション対象)としてファッションアイテムを例に説明しているが、実際にはファッションアイテムに限定されない。撮影対象及びタグ付けの対象(アノテーション対象)は、多視点画像の撮影時に、ユーザとともに撮影される物品であってもよい。例えば、撮影時にユーザが着用しているウェアラブルデバイスや手に持っている端末装置等であってもよいし、撮影時にユーザの周囲に配置されている家電製品(家電機器・電化製品)、背景として一緒に撮影された室内のインテリア、本棚の書籍、キッチンやテーブルの料理や食器、アート作品等であってもよい。 Also, in the above-described embodiment, fashion items are used as an example of shooting targets (annotation target candidates) and tagging targets (annotation targets), but in reality they are not limited to fashion items. The object to be photographed and the object to be tagged (annotation object) may be an article photographed together with the user when the multi-view image is photographed. For example, it may be a wearable device worn by the user at the time of shooting, a terminal device held in the hand, or the like, home appliances (household appliances/electrical appliances) placed around the user at the time of shooting, or a background. It may be the interior of the room photographed together, the books on the bookshelf, the dishes and tableware on the kitchen or table, the art work, or the like.
また、上記の実施形態において、多視点画像の撮影時に、ユーザではなく、特定の物品のみを撮影してもよい。例えば、多視点画像内のタグ付けの対象(アノテーション対象)にアノテーション(注釈)のタグを付与する際、多視点画像にユーザが含まれていなくてもよい。 Further, in the above embodiment, only a specific article may be photographed instead of the user when photographing multi-viewpoint images. For example, when an annotation tag is attached to a tagging target (annotation target) in a multi-view image, the user does not have to be included in the multi-view image.
〔7.効果〕
上述してきたように、本願に係る情報処理装置(端末装置10及び情報提供装置100)は、多視点画像に含まれる撮影対象の中から、アノテーションのタグ付けの対象を特定する特定部132と、タグ付けの対象の多視点画像内の3次元的な位置を推定する推定部と、タグ付けの対象の3次元的な位置に合わせてタグ付けの対象にタグを付与するタグ付与部134と、を備える。
[7. effect〕
As described above, the information processing device (the
特定部132は、多視点画像の各視点の画像ごとに画像認識で撮影対象を特定して分類する。
The identifying
本願に係る情報処理装置は、利用者Uから多視点画像を取得する取得部131と、利用者Uからタグ付けの対象の選択を受け付ける受付部(取得部131)と、をさらに備える。特定部132は、利用者Uからのタグ付けの対象の選択に応じて、多視点画像に含まれる撮影対象の中から、アノテーションのタグ付けの対象を特定する。
The information processing apparatus according to the present application further includes an acquisition unit 131 that acquires a multi-view image from a user U, and a reception unit (acquisition unit 131) that receives a selection of a tagging target from the user U. The specifying
受付部(取得部131)は、利用者Uから、タグ付けの対象の選択と、タグ付けの対象に対応付けるウェブページの指定とを受け付ける。 The reception unit (acquisition unit 131) receives, from the user U, selection of a tagging target and designation of a web page to be associated with the tagging target.
特定部132は、ネットワーク上の複数のウェブページから画像認識でタグ付けの対象の画像の類似画像を検索し、類似画像を含むウェブページをタグ付けの対象に対応付けるウェブページとして自動で特定する。
The identifying
タグ付与部134は、タグ付けの対象にタグを付与する際、タグが他の対象及び他のタグと重複しないように付与する。
The
タグ付与部134は、タグ付けの対象にタグを付与する際、タグ付けの対象が他の対象により隠されていない状態であれば、タグ付けの対象にタグを付与する。
When tagging the target to be tagged, the
タグ付与部134は、タグ付けの対象にタグを付与する際、タグ付けの対象が他の対象により隠されている状態であっても、タグ付けの対象のタグが他の対象のタグよりも表示の優先度が高い場合には、他の対象にはタグを付与せず、タグ付けの対象にタグを付与する。
When the
上述した各処理のいずれかもしくは組合せにより、本願に係る情報処理装置は、多視点画像を用いたサービス提供の質をより向上させることができる。 The information processing apparatus according to the present application can further improve the quality of service provision using multi-view images by one or a combination of the processes described above.
〔8.ハードウェア構成〕
また、上述した実施形態に係る端末装置10や情報提供装置100は、例えば図11に示すような構成のコンピュータ1000によって実現される。以下、情報提供装置100を例に挙げて説明する。図11は、ハードウェア構成の一例を示す図である。コンピュータ1000は、出力装置1010、入力装置1020と接続され、演算装置1030、一次記憶装置1040、二次記憶装置1050、出力I/F(Interface)1060、入力I/F1070、ネットワークI/F1080がバス1090により接続された形態を有する。
[8. Hardware configuration]
Also, the
演算装置1030は、一次記憶装置1040や二次記憶装置1050に格納されたプログラムや入力装置1020から読み出したプログラム等に基づいて動作し、各種の処理を実行する。演算装置1030は、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等により実現される。
一次記憶装置1040は、RAM(Random Access Memory)等、演算装置1030が各種の演算に用いるデータを一次的に記憶するメモリ装置である。また、二次記憶装置1050は、演算装置1030が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ROM(Read Only Memory)、HDD(Hard Disk Drive)、SSD(Solid State Drive)、フラッシュメモリ等により実現される。二次記憶装置1050は、内蔵ストレージであってもよいし、外付けストレージであってもよい。また、二次記憶装置1050は、USB(Universal Serial Bus)メモリやSD(Secure Digital)メモリカード等の取り外し可能な記憶媒体であってもよい。また、二次記憶装置1050は、クラウドストレージ(オンラインストレージ)やNAS(Network Attached Storage)、ファイルサーバ等であってもよい。
The
出力I/F1060は、ディスプレイ、プロジェクタ、及びプリンタ等といった各種の情報を出力する出力装置1010に対し、出力対象となる情報を送信するためのインターフェースであり、例えば、USB(Universal Serial Bus)やDVI(Digital Visual Interface)、HDMI(登録商標)(High Definition Multimedia Interface)といった規格のコネクタにより実現される。また、入力I/F1070は、マウス、キーボード、キーパッド、ボタン、及びスキャナ等といった各種の入力装置1020から情報を受信するためのインターフェースであり、例えば、USB等により実現される。
The output I/
また、出力I/F1060及び入力I/F1070はそれぞれ出力装置1010及び入力装置1020と無線で接続してもよい。すなわち、出力装置1010及び入力装置1020は、ワイヤレス機器であってもよい。
Also, the output I/
また、出力装置1010及び入力装置1020は、タッチパネルのように一体化していてもよい。この場合、出力I/F1060及び入力I/F1070も、入出力I/Fとして一体化していてもよい。
Also, the
なお、入力装置1020は、例えば、CD(Compact Disc)、DVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、又は半導体メモリ等から情報を読み出す装置であってもよい。
Note that the
ネットワークI/F1080は、ネットワークNを介して他の機器からデータを受信して演算装置1030へ送り、また、ネットワークNを介して演算装置1030が生成したデータを他の機器へ送信する。
Network I/
演算装置1030は、出力I/F1060や入力I/F1070を介して、出力装置1010や入力装置1020の制御を行う。例えば、演算装置1030は、入力装置1020や二次記憶装置1050からプログラムを一次記憶装置1040上にロードし、ロードしたプログラムを実行する。
例えば、コンピュータ1000が情報提供装置100として機能する場合、コンピュータ1000の演算装置1030は、一次記憶装置1040上にロードされたプログラムを実行することにより、制御部130の機能を実現する。また、コンピュータ1000の演算装置1030は、ネットワークI/F1080を介して他の機器から取得したプログラムを一次記憶装置1040上にロードし、ロードしたプログラムを実行してもよい。また、コンピュータ1000の演算装置1030は、ネットワークI/F1080を介して他の機器と連携し、プログラムの機能やデータ等を他の機器の他のプログラムから呼び出して利用してもよい。
For example, when the
〔9.その他〕
以上、本願の実施形態を説明したが、これら実施形態の内容により本発明が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。
[9. others〕
Although the embodiments of the present application have been described above, the present invention is not limited by the contents of these embodiments. In addition, the components described above include those that can be easily assumed by those skilled in the art, those that are substantially the same, and those within the so-called equivalent range. Furthermore, the components described above can be combined as appropriate. Furthermore, various omissions, replacements, or modifications of components can be made without departing from the gist of the above-described embodiments.
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。 Further, among the processes described in the above embodiments, all or part of the processes described as being performed automatically can be performed manually, or the processes described as being performed manually can be performed manually. All or part of this can also be done automatically by known methods. In addition, information including processing procedures, specific names, various data and parameters shown in the above documents and drawings can be arbitrarily changed unless otherwise specified. For example, the various information shown in each drawing is not limited to the illustrated information.
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。 Also, each component of each device illustrated is functionally conceptual, and does not necessarily need to be physically configured as illustrated. In other words, the specific form of distribution and integration of each device is not limited to the illustrated one, and all or part of them can be functionally or physically distributed and integrated in arbitrary units according to various loads and usage conditions. Can be integrated and configured.
例えば、上述した情報提供装置100は、複数のサーバコンピュータで実現してもよく、また、機能によっては外部のプラットフォーム等をAPI(Application Programming Interface)やネットワークコンピューティング等で呼び出して実現するなど、構成は柔軟に変更できる。
For example, the
また、上述してきた実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。 Also, the above-described embodiments and modifications can be appropriately combined within a range that does not contradict the processing content.
また、上述してきた「部(section、module、unit)」は、「手段」や「回路」などに読み替えることができる。例えば、取得部は、取得手段や取得回路に読み替えることができる。 Also, the above-mentioned "section, module, unit" can be read as "means" or "circuit". For example, the acquisition unit can be read as acquisition means or an acquisition circuit.
1 情報処理システム
10 端末装置
34 ガイド表示部
35 ガイド変更部
36 撮影判定部
37 認識部
38 通知部
100 情報提供装置
110 通信部
120 記憶部
121 利用者情報データベース
122 履歴情報データベース
123 画像情報データベース
130 制御部
131 取得部
132 特定部
133 推定部
134 タグ付与部
135 タグ変更部
136 画像変換部
137 提供部
1
Claims (10)
前記タグ付けの対象の多視点画像内の3次元的な位置を推定する推定部と、
前記タグ付けの対象の3次元的な位置に合わせて前記タグ付けの対象にタグを付与するタグ付与部と、
を備えることを特徴とする情報処理装置。 a specifying unit that specifies a target of annotation tagging from among shooting targets included in the multi-view image;
an estimating unit that estimates a three-dimensional position in the multi-view image to be tagged;
a tagging unit that tags the target to be tagged according to the three-dimensional position of the target to be tagged;
An information processing device comprising:
ことを特徴とする請求項1に記載の情報処理装置。 The information processing apparatus according to claim 1, wherein the identifying unit identifies and classifies the imaging target by image recognition for each viewpoint image of the multi-viewpoint image.
前記利用者から前記タグ付けの対象の選択を受け付ける受付部と、
をさらに備え、
前記特定部は、前記利用者からの前記タグ付けの対象の選択に応じて、前記多視点画像に含まれる撮影対象の中から、アノテーションのタグ付けの対象を特定する
ことを特徴とする請求項1又は2に記載の情報処理装置。 an acquisition unit that acquires the multi-viewpoint image from a user;
a reception unit that receives selection of the tagging target from the user;
further comprising
3. The identifying unit identifies the target of annotation tagging from among the shooting targets included in the multi-view image in accordance with the user's selection of the tagging target. 3. The information processing device according to 1 or 2.
ことを特徴とする請求項3に記載の情報処理装置。 4. The information processing apparatus according to claim 3, wherein the reception unit receives selection of the tagging target and specification of a web page to be associated with the tagging target from the user.
ことを特徴とする請求項1~4のうちいずれか1つに記載の情報処理装置。 The identification unit searches a plurality of web pages on a network for images similar to the image to be tagged by image recognition, and automatically associates the web page containing the similar image with the tag target. 5. The information processing apparatus according to any one of claims 1 to 4, characterized in that:
ことを特徴とする請求項1~5のうちいずれか1つに記載の情報処理装置。 6. Any one of claims 1 to 5, wherein the tagging unit, when giving a tag to the object to be tagged, gives the tag so that the tag does not overlap with other objects and other tags. The information processing device according to 1.
ことを特徴とする請求項1~6のうちいずれか1つに記載の情報処理装置。 The tagging unit, when giving a tag to the target to be tagged, gives the tag to the target to be tagged if the target to be tagged is not hidden by another target. The information processing apparatus according to any one of claims 1 to 6.
ことを特徴とする請求項1~7のうちいずれか1つに記載の情報処理装置。 When the tagging unit gives the tag to the tagging target, even if the tagging target is hidden by another target, the tag to be tagged is the other target. any one of claims 1 to 7, characterized in that when the display priority is higher than the tag of the tag, the tag is not assigned to the other target and the tag is assigned to the target to be tagged. 1. The information processing device according to 1.
多視点画像に含まれる撮影対象の中から、アノテーションのタグ付けの対象を特定する特定工程と、
前記タグ付けの対象の多視点画像内の3次元的な位置を推定する推定工程と、
前記タグ付けの対象の3次元的な位置に合わせて前記タグ付けの対象にタグを付与する付与工程と、
を含むことを特徴とする情報処理方法。 An information processing method executed by an information processing device,
an identification step of identifying a target of annotation tagging from among shooting targets included in the multi-view image;
an estimation step of estimating a three-dimensional position in the multi-view image to be tagged;
a tagging step of tagging the tagging target according to the three-dimensional position of the tagging target;
An information processing method comprising:
前記タグ付けの対象の多視点画像内の3次元的な位置を推定する推定手順と、
前記タグ付けの対象の3次元的な位置に合わせて前記タグ付けの対象にタグを付与する付与手順と、
をコンピュータに実行させるための情報処理プログラム。 an identification procedure for identifying a target of annotation tagging from among shooting targets included in the multi-view image;
an estimation procedure for estimating a three-dimensional position in the multi-view image to be tagged;
a tagging procedure for tagging the tagging target according to the three-dimensional position of the tagging target;
An information processing program for executing a computer.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021200296A JP7459038B2 (en) | 2021-12-09 | 2021-12-09 | Information processing device, information processing method, and information processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021200296A JP7459038B2 (en) | 2021-12-09 | 2021-12-09 | Information processing device, information processing method, and information processing program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023085961A true JP2023085961A (en) | 2023-06-21 |
JP7459038B2 JP7459038B2 (en) | 2024-04-01 |
Family
ID=86775762
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021200296A Active JP7459038B2 (en) | 2021-12-09 | 2021-12-09 | Information processing device, information processing method, and information processing program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7459038B2 (en) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006277167A (en) | 2005-03-29 | 2006-10-12 | Fuji Xerox Co Ltd | Annotation data processing program, system and method |
JP5244012B2 (en) | 2009-03-31 | 2013-07-24 | 株式会社エヌ・ティ・ティ・ドコモ | Terminal device, augmented reality system, and terminal screen display method |
JP6316176B2 (en) | 2014-11-28 | 2018-04-25 | 株式会社日立製作所 | Inspection history management system, inspection history management method |
JP6452429B2 (en) | 2014-12-18 | 2019-01-16 | ヤフー株式会社 | Image processing apparatus, image processing method, and image processing program |
JP2017220067A (en) | 2016-06-08 | 2017-12-14 | シャープ株式会社 | Terminal device, server, program, association method, distribution method, and content system |
CN111295669A (en) | 2017-06-16 | 2020-06-16 | 马克波尔公司 | Image processing system |
-
2021
- 2021-12-09 JP JP2021200296A patent/JP7459038B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP7459038B2 (en) | 2024-04-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10839605B2 (en) | Sharing links in an augmented reality environment | |
US9400805B2 (en) | Image-related social network methods and arrangements | |
US20150095228A1 (en) | Capturing images for financial transactions | |
US8948451B2 (en) | Information presentation device, information presentation method, information presentation system, information registration device, information registration method, information registration system, and program | |
JP6120467B1 (en) | Server device, terminal device, information processing method, and program | |
US9857177B1 (en) | Personalized points of interest for mapping applications | |
US9607094B2 (en) | Information communication method and information communication apparatus | |
JP2017228278A (en) | Server device, terminal device, information processing method, and program | |
JP7458363B2 (en) | Information processing device, information processing method, and information processing program | |
JP7458362B2 (en) | Information processing device, information processing method, and information processing program | |
JP7459038B2 (en) | Information processing device, information processing method, and information processing program | |
JP7476163B2 (en) | Information processing device, information processing method, and information processing program | |
JP2023085914A (en) | Information processing device, information processing method, and information processing program | |
JP2023027548A (en) | Device, method, and program for processing information | |
JP2022139297A (en) | Information processing device, information processing method, and information processing program | |
JP7244458B2 (en) | Information processing device, information processing method and information processing program | |
JP7159373B2 (en) | Information processing device, information processing method and information processing program | |
US20180268471A1 (en) | Information processing apparatus, information processing method, program, and information processing system | |
JP7145247B2 (en) | Information processing device, information processing method and information processing program | |
JP7145997B2 (en) | Information processing device, information processing method and information processing program | |
JP7212665B2 (en) | Information processing device, information processing method and information processing program | |
KR20180026999A (en) | Method for browsing a post for place-based sns, terminal, server and system for performing the same | |
JP2024025997A (en) | Information processing device, information processing method, and information processing program | |
JP2023105760A (en) | Information processor, information processing method, and information processing program | |
JP2023102373A (en) | Information processing device, information processing method, and information processing program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230113 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20231026 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231115 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231128 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240124 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240227 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240319 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7459038 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |