JP2021061461A

JP2021061461A - プログラム、情報処理装置、情報処理方法及び情報処理システム

Info

Publication number: JP2021061461A
Application number: JP2019182485A
Authority: JP
Inventors: 克明坂本; Katsuaki Sakamoto; 嵩宏武藤; Takahiro Muto
Original assignee: Grit Co Ltd
Current assignee: Grit Co Ltd
Priority date: 2019-10-02
Filing date: 2019-10-02
Publication date: 2021-04-15

Abstract

【課題】動画中のアイテムに対して、動画の再生中にアイテムが選択された場合に実行すべきアクションの設定をより手軽に実現できるプログラム等を提供する。【解決手段】コンピュータは、動画中の対象物の指定を受け付け、指定された対象物に対応してアクションの指定を受け付ける。そして、コンピュータは、指定されたアクションに係る情報を、指定された動画中の対象物に対応付けることにより、動画中の対象物にアクションを設定する。【選択図】図１

Description

本開示はプログラム、情報処理装置、情報処理方法及び情報処理システムに関する。

ＳＮＳ（Social Networking Service ）の普及に伴い、インターネットを介した情報の発信（公開）が容易に行われている。また、スマートフォン及びタブレット端末等の高機能化により、静止画及び動画の撮影が手軽に行えるようになり、静止画及び動画の公開（投稿）が手軽に行われている。ＳＮＳでは、公開される画像に各種の加工を行う機能を備えたものもあり、閲覧者の閲覧意欲が増すような工夫が行われている。特許文献１では、動画中のアイテムに対して選択操作が行われると、選択されたアイテムに関する情報が表示される動画再生システムが提案されている。特許文献１に開示されたシステムでは、例えばドラマ（動画）の再生中に、主人公が持っているバッグに対して選択操作を行った場合、このバッグに関する情報が表示されるので、バックに関する情報を得ることができる。

特開２０１８−２６６４７号公報

特許文献１に開示されたシステムでは、動画中の各アイテムに対して、視聴者が各アイテムを選択操作した場合にアイテム情報が表示されるように予め設定しておく必要がある。なお、動画中から各アイテムを抽出して各アイテムにアイテム情報を設定する処理は、専門知識を有する作業者によって行われている場合が多く、ＳＮＳを利用する一般的なユーザが容易に行うことができないという問題がある。

本開示は、このような事情に鑑みてなされたものであり、その目的とするところは、動画中のアイテム（対象物）に対して、アイテムが選択された場合に実行すべきアクション（例えばアイテム情報の表示）の設定をより手軽に実現できるプログラム等を提供することにある。

本開示の一態様に係るプログラムは、動画中の対象物の指定を受け付け、指定された前記対象物に対応してアクションの指定を受け付け、指定された前記アクションに係る情報を、指定された前記動画中の対象物に対応付ける処理をコンピュータに実行させる。

本開示にあっては、動画中の対象物に対して、対象物が選択された場合に実行すべきアクションをより手軽に設定することができる。よって、専門知識を有しない一般的なユーザであっても、動画中の各対象物が選択された場合にアクションを実行するように設定された動画をＳＮＳで公開（投稿）することができる。

情報処理システムの構成例を示す模式図である。情報処理システムの構成例を示すブロック図である。対象物認識モデルの構成例を示す模式図である。サーバ及びユーザ端末に記憶されるＤＢの構成例を示す模式図である。アクションの設定処理手順の一例を示すフローチャートである。ユーザ端末における画面例を示す模式図である。ユーザ端末における画面例を示す模式図である。公開用動画の再生処理手順の一例を示すフローチャートである。ユーザ端末における画面例を示す模式図である。アクションが設定された公開動画の表示例を示す模式図である。実施形態２のアクションＤＢの構成例を示す模式図である。アクションの設定処理手順の一例を示すフローチャートである。ユーザ端末における画面例を示す模式図である。ユーザ端末における画面例を示す模式図である。実施形態３のアクションの設定処理手順の一例を示すフローチャートである。ユーザ端末における画面例を示す模式図である。実施形態４の設定画面例を示す模式図である。実施形態５のアクションの設定処理手順の一例を示すフローチャートである。ユーザ端末における画面例を示す模式図である。実施形態６のアクションの設定処理手順の一例を示すフローチャートである。ユーザ端末における画面例を示す模式図である。実施形態７のアクションの設定処理手順の一例を示すフローチャートである。ユーザ端末における画面例を示す模式図である。メーカ情報ＤＢの構成例を示す模式図である。実施形態８の公開用動画の再生処理手順の一例を示すフローチャートである。ユーザ端末における画面例を示す模式図である。

以下に、本開示のプログラム、情報処理装置、情報処理方法及び情報処理システムについて、その実施形態を示す図面に基づいて詳述する。

（実施形態１）
動画中の対象物が選択操作された場合に所定のアクションが実行されるように、動画データに対してアクションを登録できる情報処理システムについて説明する。図１は、情報処理システムの構成例を示す模式図である。本実施形態の情報処理システム１００は、サーバ１０及びユーザ端末２０（情報処理装置）を含み、サーバ１０及びユーザ端末２０はインターネット等のネットワークＮを介して通信接続されている。サーバ１０は、種々の情報処理、情報の送受信が可能な情報処理装置であり、例えばサーバコンピュータ又はパーソナルコンピュータ等である。サーバ１０は、複数台設けられてもよいし、１台のサーバ装置内に設けられた複数の仮想マシンによって実現されてもよいし、クラウドサーバを用いて実現されてもよい。サーバ１０は、ユーザ端末２０からアップロードされた動画データ（動画）を記憶してネットワークＮ経由で公開する処理、動画中に撮影された対象物を検出する処理等、種々の情報処理を行う。ユーザ端末２０は、ＳＮＳ等を利用するユーザの端末であり、タブレット端末、パーソナルコンピュータ、スマートフォン等である。ユーザ端末２０は、動画データの撮影処理、動画中の対象物に対して、指定されたアクションを設定（登録）する処理、動画中の対象物にアクションが設定された動画データをサーバ１０にアップロード（送信）する処理等、種々の情報処理を行う。なお、ユーザ端末２０は、表示部２５（図２参照）にゴーグル型又は眼鏡型のヘッドマウントディスプレイを使用するＨＭＤ（Head Mounted Display）型の情報機器であってもよい。

図２は、情報処理システム１００の構成例を示すブロック図である。ユーザ端末２０は、制御部２１、記憶部２２、通信部２３、入力部２４、表示部２５、カメラ２６、マイク２７等を含み、これらの各部はバスを介して相互に接続されている。制御部２１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）又はＧＰＵ（Graphics Processing Unit）等の１又は複数のプロセッサを含む。制御部２１は、記憶部２２に記憶してある制御プログラム２２Ｐを適宜実行することにより、ユーザ端末２０が行うべき種々の情報処理、制御処理等を行う。記憶部２２は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ハードディスク、ＳＳＤ（Solid State Drive）等を含む。記憶部２２は、制御部２１が実行する制御プログラム２２Ｐ及び制御プログラム２２Ｐの実行に必要な各種のデータ等を予め記憶している。また記憶部２２は、制御部２１が制御プログラム２２Ｐを実行する際に発生するデータ等を一時的に記憶する。また記憶部２２は、カメラ２６及びマイク２７を用いて撮影された撮影動画２２ａを記憶する。撮影動画２２ａは、例えば１秒間に３０シーン又は６０シーン（フレーム）の静止画（静止画データ）を含み、音声データを含んでいてもよい。撮影動画２２ａは、カメラ２６及びマイク２７にて撮影されたデータのほかに、ネットワークＮ経由で他の装置からダウンロード（取得）したデータでもよく、入力部２４を介して入力されたデータでもよい。また記憶部２２は、サーバ１０がネットワークＮ経由で公開する動画データ（公開動画）を閲覧する処理、撮影動画２２ａをサーバ１０にアップロード（投稿）する処理を行うための動画アプリケーションプログラム２２ＡＰ（動画アプリ）を記憶している。更に記憶部２２は、後述するアクションＤＢ２２ｂを記憶する。アクションＤＢ２２ｂは、ユーザ端末２０に接続された記憶装置に記憶されてもよい。記憶部２２に記憶されるプログラム及びデータは、制御部２１が通信部２３を介してネットワークＮ経由で他の装置からダウンロードして記憶部２２に記憶してもよい。また、ユーザ端末２０が可搬型記憶媒体に記憶された情報を読み取る読み取り部を有する場合、記憶部２２に記憶されるプログラム及びデータは、制御部２１が読み取り部を介して可搬型記憶媒体から読み取って記憶部２２に記憶してもよい。

通信部２３は、無線通信又は有線通信によってネットワークＮに接続するためのインタフェースであり、ネットワークＮを介して他の装置との間で情報の送受信を行う。入力部２４は、ユーザによる操作入力を受け付け、操作内容に対応した制御信号を制御部２１へ送出する。表示部２５は、液晶ディスプレイ又は有機ＥＬディスプレイ等であり、制御部２１からの指示に従って各種の情報を表示する。入力部２４及び表示部２５は一体として構成されたタッチパネルであってもよい。カメラ２６は、レンズ及び撮像素子等を有する撮像装置であり、レンズを介して被写体像の画像データを取得する。カメラ２６は、制御部２１からの指示に従って静止画又は動画の撮影を行い、取得した画像データ（撮影画像）を逐次記憶部２２へ送出して記憶する。なお、カメラ２６は、例えば１秒間に３０シーン又は６０シーンの静止画を撮影することにより動画（動画データ）を取得する。マイク２７は、増幅器及びＡ／Ｄ（アナログ／デジタル）変換器等を有する集音装置であり、周囲の音声を収集してアナログの音声データを取得し、取得した音声データを増幅器にて増幅し、Ａ／Ｄ変換器にてデジタルの音声データに変換し、音声データを取得する。マイク２７は、制御部２１からの指示に従って集音処理を行い、取得した音声データを逐次記憶部２２へ送出して記憶する。

サーバ１０は、制御部１１、記憶部１２、通信部１３、入力部１４、表示部１５、読み取り部１６等を含み、これらの各部はバスを介して相互に接続されている。制御部１１は、ＣＰＵ、ＭＰＵ又はＧＰＵ等の１又は複数のプロセッサを含む。制御部１１は、記憶部１２に記憶してある制御プログラム１２Ｐを適宜実行することにより、サーバ１０が行うべき種々の情報処理、制御処理等を行う。

記憶部１２は、ＲＡＭ、フラッシュメモリ、ハードディスク、ＳＳＤ等を含む。記憶部１２は、制御部１１が実行する制御プログラム１２Ｐ及び制御プログラム１２Ｐの実行に必要な各種のデータ等を予め記憶している。また記憶部１２は、制御部１１が制御プログラム１２Ｐを実行する際に発生するデータ等を一時的に記憶する。また記憶部１２は、例えばディープラーニングによって構築された学習済みモデルである対象物認識モデル１２ａを記憶している。対象物認識モデル１２ａは、画像データが入力された場合に、画像データ中に含まれる対象物が、予め学習してあるアイテムのいずれであるかを特定した特定結果を出力するように学習された学習済みモデルである。学習済みモデルは、入力値に対して所定の演算を行い、演算結果を出力するものであり、記憶部１２には、この演算を規定する関数の係数及び閾値等のデータが、対象物認識モデル１２ａとして記憶される。また記憶部１２は、後述するオブジェクトＤＢ１２ｂ及び公開動画ＤＢ１２ｃを記憶する。なお、オブジェクトＤＢ１２ｂ及び公開動画ＤＢ１２ｃは、サーバ１０に接続された記憶装置に記憶されてもよく、ネットワークＮを介してサーバ１０が通信可能な記憶装置に記憶されてもよい。

通信部１３は、有線通信又は無線通信によってネットワークＮに接続するためのインタフェースであり、ネットワークＮを介して他の装置との間で情報の送受信を行う。入力部１４は、ユーザによる操作入力を受け付け、操作内容に対応した制御信号を制御部１１へ送出する。表示部１５は、液晶ディスプレイ又は有機ＥＬディスプレイ等であり、制御部１１からの指示に従って各種の情報を表示する。入力部１４及び表示部１５は一体として構成されたタッチパネルであってもよい。

読み取り部１６は、ＣＤ（Compact Disc）−ＲＯＭ、ＤＶＤ（Digital Versatile Disc）−ＲＯＭ及びＵＳＢ（Universal Serial Bus）メモリを含む可搬型記憶媒体１ａに記憶された情報を読み取る。記憶部１２に記憶されるプログラム及びデータは、例えば制御部１１が読み取り部１６を介して可搬型記憶媒体１ａから読み取って記憶部１２に記憶してもよい。また、記憶部１２に記憶されるプログラム及びデータは、制御部１１が通信部１３を介してネットワークＮ経由で外部装置からダウンロードして記憶部１２に記憶してもよい。

図３は、対象物認識モデル１２ａの構成例を示す模式図である。本実施形態の対象物認識モデル１２ａは、例えば図３に示すようなＲ−ＣＮＮ（Regions with Convolution Neural Network）モデルで構成される。図３に示す対象物認識モデル１２ａは、領域候補抽出部１２ａ１と、判別部１２ａ２と、図示を省略するニューラルネットワークとを含む。ニューラルネットワークは、畳み込み層、プーリング層及び全結合層を含む。本実施形態の対象物認識モデル１２ａでは画像データ（入力画像）が入力される。入力画像は、例えばユーザ端末２０で撮影されてサーバ１０へ送信された撮影動画２２ａである。Ｒ−ＣＮＮでは、入力された画像から、複数の領域候補が抽出され、それぞれの領域候補の特徴量が、ＣＮＮ（Convolutional Neural Network）により算出され、特徴量に基づいて、領域候補に何が映っているかが推定される。例えば図３に示す例では、入力画像中に撮影されている飲み物を含む領域候補に対して、予め学習済みの対象物から飲み物であることが推定される。

Ｒ−ＣＮＮによる対象物認識モデル１２ａにおいて、領域候補抽出部１２ａ１は、入力画像から、様々なサイズの領域候補を抽出する。判別部１２ａ２は、抽出された領域候補の特徴量を算出し、算出した特徴量に基づいて領域候補に映っている被写体が、予め学習済みのアイテムのいずれであるかを判別する。対象物認識モデル１２ａは、領域候補の抽出と判別とを繰り返し、入力された画像の各部分に写っている被写体を順次判別する。対象物認識モデル１２ａは、所定の閾値よりも高い確率で判別が行われた領域候補について、領域の範囲、判別結果及び判別確率を出力する。図３に示す例では、太実線で囲んだ領域が、飲み物（drink）であると判別される確率が９９．２％である被写体が写っている領域であることが検出されている。対象物認識モデル１２ａは、判別部１２ａ２が所定の閾値よりも高い確率で判別した場合に、判別結果（オブジェクトラベル）と、このときに領域候補抽出部１２ａ１が抽出した領域候補を示す矩形のバウンディングボックスとを出力する。領域候補は、バウンディングボックスの左上の画素位置及びバウンディングボックスの２辺の長さ（画素数）によって規定されるが、バウンディングボックスの左上、左下、右上及び右下の画素位置によって規定されてもよい。なお、各画素位置は例えば入力画像の左上の画素位置を原点０とし、右方向をＸ座標軸方向とし、下方向をＹ座標軸方向とした座標（ｘ，ｙ）で示される。

対象物認識モデル１２ａは、画像データと、画像データ中に存在する対象物（アイテム）の領域及び対象物を示す情報（正解ラベル）とを含む教師データを用いて学習する。対象物認識モデル１２ａは、教師データに含まれる画像データが入力された場合に、教師データに含まれる正解ラベルが示す領域に、正解ラベルが示す対象物が写っていることを出力するように学習する。学習処理において対象物認識モデル１２ａは、入力値に対して行う所定の演算を規定する各種の関数の係数や閾値等のデータを最適化する。これにより、画像データが入力された場合に、画像データ中に存在する対象物（アイテム）を示す情報を出力するように学習された学習済みの対象物認識モデル１２ａが得られる。なお、対象物認識モデル１２ａの学習は、サーバ１０で行われてもよく、他の学習装置で行われてもよい。対象物認識モデル１２ａが他の学習装置で学習される場合、サーバ１０は、例えばネットワークＮ経由又は可搬型記憶媒体１ａ経由で学習装置から学習済みの対象物認識モデル１２ａを取得する。

対象物認識モデル１２ａは、Ｒ−ＣＮＮモデルのほかに、ＦａｓｔＲ−ＣＮＮ、ＦａｓｔｅｒＲ−ＣＮＮ、ＳＳＤ（Single Shot Multibook Detector）、ＹＯＬＯ（You Only Look Once）等の任意の物体検出アルゴリズム（ニューラルネットワーク）で構成されていてもよい。また対象物認識モデル１２ａは、入力画像を画素単位で判別対象のアイテム（学習済みのアイテム）に分類するセマンティックセグメンテーションを実現するニューラルネットワークで構成されていてもよい。この場合、ＳｅｇＮｅｔモデル、ＦＣＮ（Fully Convolutional Network ）モデル、Ｕ−Ｎｅｔモデル等のニューラルネットワークを利用することができる。また、対象物認識モデル１２ａはＣＮＮモデルで構成されていてもよい。

図４は、サーバ１０及びユーザ端末２０に記憶されるＤＢ１２ｂ，２２ｂの構成例を示す模式図である。図４ＡはオブジェクトＤＢ１２ｂを、図４ＢはアクションＤＢ２２ｂをそれぞれ示す。オブジェクトＤＢ１２ｂは、サーバ１０が対象物認識モデル１２ａを用いて認識した画像（画像データ）中の対象物（オブジェクト）に関する情報を記憶する。なお、オブジェクトＤＢ１２ｂは、例えばサーバ１０がユーザ端末２０から取得した画像データに対して対象物認識モデル１２ａを用いた対象物認識処理を行った場合に作成され、例えば動画中のシーン（フレーム）毎に作成される。図４Ａに示すオブジェクトＤＢ１２ｂは、オブジェクトＩＤ列、位置情報列、サイズ情報列、オブジェクトラベル列、ラベル精度情報列、オブジェクトジャンル列、メーカ情報列、製品情報列等を含む。オブジェクトＩＤ列は、対象物認識モデル１２ａを用いて認識されたシーン中の対象物毎に割り当てられた識別情報を記憶する。オブジェクトＤＢ１２ｂは、オブジェクトＩＤに対応付けて、オブジェクトに関する各種の情報を記憶する。位置情報列及びサイズ情報列は、オブジェクトの領域（表示領域、撮影領域）を示す位置情報及びサイズ情報を記憶する。なお、対象物認識モデル１２ａは、例えば認識したオブジェクトを矩形のバウンディングボックスで把握しており、バウンディングボックスの左上の画素位置及びバウンディングボックスの２辺の長さ（画素数）によってオブジェクトの領域を示すことができる。よって、例えば画像の左上の画素位置を原点０とし、右方向をＸ座標軸方向とし、下方向をＹ座標軸方向として各画素位置を座標（ｘ，ｙ）で規定する場合、オブジェクトの領域を示す位置情報として、バウンディングボックスの左上の画素位置の座標（ｘ０，ｙ０）が記憶され、サイズ情報として、バウンディングボックスのＸ軸方向及びＹ軸方向の画素数が記憶される。オブジェクトラベル列は、オブジェクトの種類を示すラベル情報を記憶し、具体的には、対象物認識モデル１２ａが所定の閾値以上の判別確率で判別したオブジェクトの種類を示す情報を記憶する。なお、ラベル情報は、対象物認識モデル１２ａによる認識対象のアイテム（対象物）毎に予め設定されている。ラベル精度情報列は、ラベル情報が示すオブジェクトの種類であると判別すべき確率（精度情報）を記憶し、具体的には、対象物認識モデル１２ａから出力された判別確率を記憶する。オブジェクトジャンル列、メーカ情報列及び製品情報列のそれぞれは、オブジェクトのジャンルを示すジャンル情報、オブジェクトを製造又は販売する会社に関する情報、オブジェクトを説明するための製品情報を記憶する。ジャンル情報、メーカ情報及び製品情報は、対象物認識モデル１２ａによる認識対象のアイテム（対象物）毎に予め設定されて、例えば記憶部１２に記憶されている。なお、対象物認識モデル１２ａが、入力画像中の被写体（対象物）の判別結果として、被写体のジャンル、メーカ又は製品を示す情報を出力するように構成されている場合、オブジェクトジャンル列、メーカ情報列及び製品情報列のそれぞれには、対象物認識モデル１２ａによる判別結果（出力情報）を記憶することができる。

オブジェクトＤＢ１２ｂに記憶されるオブジェクトＩＤは、制御部１１が画像中のオブジェクトを認識した場合に、制御部１１によって発行されて記憶される。オブジェクトＤＢ１２ｂに記憶されるオブジェクトＩＤ以外の各情報は、制御部１１が対象物認識モデル１２ａを用いて画像中のオブジェクトを認識した場合に、対象物認識モデル１２ａからの出力情報に基づいて制御部１１によって記憶される。オブジェクトＤＢ１２ｂの記憶内容は図４Ａに示す例に限定されず、画像中のオブジェクトに関する各種の情報を記憶してもよい。また、オブジェクトＤＢ１２ｂは、図４Ａに示すようにシーン（フレーム）毎に作成される構成のほかに、１つの動画に対して１つのオブジェクトＤＢ１２ｂが作成される構成としてもよい。この場合、オブジェクトＤＢ１２ｂは、図４Ａに示す各列に加えて、シーン毎に割り当てられた識別情報を記憶するシーンＩＤ列を有する。また、オブジェクトＤＢ１２ｂは、オブジェクトジャンル列、メーカ情報列及び製品情報列を有していなくてもよく、対象物認識モデル１２ａからの出力情報（本実施形態では位置情報、サイズ情報、オブジェクトラベル及びラベル精度情報）が記憶されていればよい。

アクションＤＢ２２ｂは、画像中の対象物（オブジェクト）に対して設定されたアクションであり、画像の再生中に各対象物が選択操作された場合に実行すべきアクションに関する情報を記憶する。なお、アクションＤＢ２２ｂは、ユーザ端末２０が画像中の対象物に対してアクションの設定処理を行った場合に作成され、例えば動画中のシーン（フレーム）毎に作成される。図４Ｂに示すアクションＤＢ２２ｂは、オブジェクトＩＤ列、マーカ情報列、アクションＩＤ列、アクションクラス列、ＵＲＬ（Uniform Resource Locator）名列、ＵＲＬ列、ＵＲＬ情報列、説明情報列、アクション名例等を含む。オブジェクトＩＤ列は、シーン中の対象物毎に割り当てられた識別情報を記憶し、識別情報にはオブジェクトＤＢ１２ｂに登録されたオブジェクトＩＤが用いられる。アクションＤＢ２２ｂは、オブジェクトＩＤに対応付けて、オブジェクトに設定されたアクションに関する各種の情報を記憶する。マーカ情報列は、画像の再生中に対象物に付加して表示するマーカに関する情報を記憶し、例えば円形マーカ又は四角形マーカを示す情報と、マーカの大きさを示す情報（例えば大／中／小等）とを記憶する。アクションＩＤ列及びアクションクラス列のそれぞれは、対象物に設定されたアクションに割り当てられた識別情報、及びアクション内容を示す情報を記憶する。アクション内容は例えばＵＲＬのリンク（URL-link）、対象物に関する説明情報の表示等がある。ＵＲＬ名列、ＵＲＬ列及びＵＲＬ情報列のそれぞれは、アクション内容（アクションクラス）にＵＲＬのリンクが設定された場合に、設定されたＵＲＬに付与されている名称、ＵＲＬ、ＵＲＬで提供される情報又はサービス等に関する情報を記憶する。説明情報列は、アクション内容に説明情報の表示が設定された場合に、表示すべき説明情報、具体的には対象物を説明するための情報を記憶する。なお、対象物に設定されるアクションは、ＵＲＬ（ウェブサイト）のリンク及び説明情報の表示に限定されない。例えば、対象物の購買が可能なＥＣ（Electronic Commerce ）サイトへのリンク、対象物に対応するＳＮＳへのリンク、対象物に関するキャンペーンページへのリンク、ＥＣサイトでの購買手続の案内、対象物に関連する商品等の情報の表示、対象物に関連するアプリケーションプログラムの実行、対象物に対応する地図の表示、対象物に応じたクーポン情報の提供、スタンプラリー及びクイズ等の提供、電話の発信、対象物をお気に入り情報に登録するお気に入り登録等、種々のアクションが対象物に設定されてもよい。アクションＤＢ２２ｂは、設定されるアクションの種類に応じて、それぞれのアクション内容を記憶するアクション情報列を有していてもよい。アクション名列は、アクションを識別するために付与されたアクションの名前を記憶する。

アクションＤＢ２２ｂに記憶されるオブジェクトＩＤは、制御部２１が画像中の対象物に対するアクションの設定指示を受け付けた場合に、制御部２１によってオブジェクトＤＢ１２ｂから読み出して記憶される。アクションＤＢ２２ｂに記憶されるオブジェクトＩＤ以外の各情報は、制御部２１が画像中の対象物に対してマーカの情報及びアクションの情報を受け付けた場合に、受け付けた各情報が制御部２１によって記憶される。アクションＤＢ２２ｂの記憶内容は図４Ｂに示す例に限定されず、画像中の対象物に設定されるアクションに関する各種の情報を記憶してもよい。また、アクションＤＢ２２ｂも、図４Ｂに示すようにシーン（フレーム）毎に作成される構成のほかに、１つの動画に対して１つのアクションＤＢ２２ｂが作成される構成としてもよい。この場合、アクションＤＢ２２ｂは、図４Ｂに示す各列に加えて、シーン毎に割り当てられた識別情報を記憶するシーンＩＤ列を有する。

本実施形態の情報処理システム１００では、ユーザ端末２０が、撮影動画２２ａに対してアクションＤＢ２２ｂを作成し、作成したアクションＤＢ２２ｂを撮影動画２２ａに付加してサーバ１０にアップロードする。サーバ１０は、アクションＤＢ２２ｂが付加された撮影動画２２ａをユーザ端末２０から受信し、公開用の動画として、記憶部１２の公開動画ＤＢ１２ｃに記憶する。即ち、公開動画ＤＢ１２ｃには、ユーザ端末２０から受信した、アクションＤＢ２２ｂが付加された撮影動画２２ａが記憶される。なお、公開用の動画は、ネットワークＮ経由でサーバ１０にアクセスできる全てのユーザ（ユーザ端末２０）を公開対象とした動画であってもよく、閲覧権限を有するユーザのみを公開対象とした動画であってもよい。

以下に、本実施形態の情報処理システム１００における各装置が行う処理について説明する。図５はアクションの設定処理手順の一例を示すフローチャート、図６及び図７はユーザ端末２０における画面例を示す模式図である。図５では左側にユーザ端末２０が行う処理を、右側にサーバ１０が行う処理をそれぞれ示す。以下の処理は、ユーザ端末２０の記憶部２２に記憶してある制御プログラム２２Ｐに従って制御部２１によって実行されると共に、サーバ１０の記憶部１２に記憶してある制御プログラム１２Ｐに従って制御部１１によって実行される。なお、以下の処理の一部を専用のハードウェア回路で実現してもよい。

本実施形態の情報処理システム１００において、ユーザは、例えばユーザ端末２０を用いて撮影した動画（動画データ）をネットワークＮ経由で公開したい場合、動画アプリ２２ＡＰを実行して撮影動画２２ａをサーバ１０にアップロード（送信）する。その際、ユーザは、ユーザ端末２０に動画アプリ２２ＡＰを実行させて、撮影動画２２ａ中の対象物に対して所望のアクションを設定する処理を行う。

ユーザ端末２０の制御部２１は、入力部２４を介して動画アプリ２２ＡＰの実行指示を受け付けた場合、動画アプリ２２ＡＰを起動する。制御部２１は、動画アプリ２２ＡＰを起動し、サーバ１０が公開するいずれかの動画を閲覧する指示を入力部２４にて受け付けた場合、指定された公開動画をサーバ１０からダウンロードして表示部２５に表示する。これにより、ユーザ端末２０のユーザは、サーバ１０が公開している公開動画を閲覧できる。また制御部２１は、記憶部２２に記憶してあるいずれかの撮影動画２２ａをサーバ１０にアップロードする指示を入力部２４にて受け付けた場合、指定された撮影動画２２ａをサーバ１０にアップロード（送信）する。これにより、サーバ１０は、ユーザ端末２０からアップロードされた（受信した）撮影動画２２ａを記憶部１２（公開動画ＤＢ１２ｃ）に記憶し、記憶された撮影動画２２ａ（公開動画）はネットワークＮ経由で公開される。更に制御部２１は、撮影動画２２ａ中の対象物に対してアクションを設定する処理の実行指示を入力部２４にて受け付けた場合、撮影動画２２ａに対するアクション設定処理を行い、アクションＤＢ２２ｂを生成する。

ユーザ端末２０の制御部２１は、撮影動画２２ａに対するアクション設定処理の実行指示を、入力部２４を介して受け付けたか否かを判断し（Ｓ１１）、受け付けていないと判断した場合（Ｓ１１：ＮＯ）、他の処理を行いつつ待機する。アクション設定処理の実行指示を受け付けたと判断した場合（Ｓ１１：ＹＥＳ）、ユーザ端末２０（端末装置）の制御部２１は、アクション設定処理の処理対象である撮影動画２２ａを記憶部２２から読み出してサーバ１０へ送信する（Ｓ１２）。サーバ１０の制御部１１（取得部）は、ユーザ端末２０が送信した撮影動画２２ａを通信部１３にて受信し、受信した撮影動画２２ａを記憶部１２に記憶する。次に制御部１１は、記憶部１２に記憶した撮影動画２２ａをシーン（フレーム）毎に分割し、シーン画像（１枚の画像）を抜き出す（Ｓ１３）。

制御部１１（特定部）は、抜き出したシーン画像に基づいて、シーン画像中に存在するオブジェクト（アイテム）を特定する（Ｓ１４）。本実施形態では、制御部１１は、シーン画像を対象物認識モデル１２ａに入力し、対象物認識モデル１２ａから出力された情報（オブジェクトの領域、オブジェクトラベル及び判別確率）に基づいて、シーン画像中のオブジェクトを特定する。例えば制御部１１は、対象物認識モデル１２ａが出力したオブジェクトラベルを、シーン画像中のオブジェクトの種類を示す情報に特定する。オブジェクトを特定した場合、制御部１１は、このシーン画像に対してオブジェクトＤＢ１２ｂを生成し、特定したオブジェクトに関する情報をオブジェクトＤＢ１２ｂに記憶する（Ｓ１５）。具体的には、制御部１１は、特定したオブジェクトに対してオブジェクトＩＤを発行し、オブジェクトＩＤに対応付けて、特定したオブジェクトの領域を示す位置情報及びサイズ情報、オブジェクトの種類を示すラベル情報及び判別確率（ラベル精度情報）、オブジェクトのジャンル、メーカの情報、及び製品情報等をオブジェクトＤＢ１２ｂに記憶する。

制御部１１は、ステップＳ１３で抜き出したシーン画像に対して、対象物認識モデル１２ａを用いて認識できる全てのオブジェクトを特定し、各オブジェクトの情報をオブジェクトＤＢ１２ｂに記憶する。そして、制御部１１は、このシーン画像に対して生成したオブジェクトＤＢ１２ｂを記憶部１２から読み出し、シーンＩＤと共にユーザ端末２０へ送信する（Ｓ１６）。このとき、制御部１１は、オブジェクトＤＢ１２ｂに記憶した各オブジェクトの情報から、ラベル精度情報が所定値（例えば７０％）未満であるオブジェクトの情報を削除してユーザ端末２０へ送信してもよい。この場合、ラベル精度情報が所定値以上であるオブジェクトの情報のみが記憶されたオブジェクトＤＢ１２ｂをユーザ端末２０へ送信することができる。ユーザ端末２０は、オブジェクトＤＢ１２ｂに基づいて、各シーン画像中のオブジェクトに対してオブジェクトであることを示す対象物マークを付加するが、ラベル精度情報が所定値未満であるオブジェクトの情報をオブジェクトＤＢ１２ｂから削除することにより、判別精度が低いオブジェクトを対象物マークの付加対象から除外できる。

サーバ１０の制御部１１は、ユーザ端末２０から送信されてくる撮影動画２２ａの受信を終了したか否かを判断しており（Ｓ１７）、終了していないと判断した場合（Ｓ１７：ＮＯ）、ステップＳ１３の処理に戻り、順次受信する撮影動画２２ａに対して、ステップＳ１３〜Ｓ１６の処理を行う。なお、１つのシーン画像中にオブジェクトが特定された場合、このオブジェクトについては、オブジェクトの画像をテンプレートとして抽出しておき、以降のシーン画像に対して、テンプレートマッチングによって追跡することによって、以降のシーン画像中のオブジェクトを特定する。具体的には、サーバ１０の制御部１１は、シーン画像から特定したオブジェクトの画像をテンプレートとして記憶部１２に記憶しておき、次のシーン画像を抜き出し（Ｓ１３）、抜き出したシーン画像に、記憶部１２に記憶したテンプレートに一致する領域が有るか否かを検索する。テンプレートに一致する領域がある場合、制御部１１は、この領域を、シーン画像中のオブジェクトの領域に特定し（Ｓ１４）、特定したオブジェクトに関する情報をオブジェクトＤＢ１２ｂに記憶する（Ｓ１５）。ここで特定されるオブジェクトは、前のシーン画像で既に特定済みのオブジェクトであり、異なるシーン画像における同一のオブジェクトに対しては同一のオブジェクトＩＤを用いてもよい。なお、制御部１１は、次に抜き出したシーン画像についても、シーン画像を対象物認識モデル１２ａに入力し、対象物認識モデル１２ａからの出力情報に基づいてシーン画像中のオブジェクトを特定してもよい。この場合、次のシーン画像から特定したオブジェクトが、直前のシーン画像から特定したオブジェクトと同一であるか否かを判断し、同一である場合に同一のオブジェクトＩＤを付与し、同一のオブジェクトとして追跡してもよい。例えば、前後のシーン画像において対象物認識モデル１２ａによって特定されたオブジェクトラベルが同一であるか否かに応じて、前後のシーン画像から特定されたオブジェクトが同一であるか否かを判断することができる。制御部１１は、追跡中のオブジェクトがシーン画像中からなくなるまで追跡処理を行う。このような処理により、サーバ１０の制御部１１は、シーン画像に基づいて、一旦特定したオブジェクト（対象物領域）をトラッキングするトラッキング部として機能する。よって、制御部１１（送信部）は、トラッキングした結果（次のシーン画像におけるオブジェクトに関する情報）を通信部１３からユーザ端末２０へ送信する。

ユーザ端末２０の制御部２１は、アクション設定処理の実行指示を受け付けた場合、処理対象の撮影動画２２ａをサーバ１０へ送信すると共に表示部２５に表示する再生処理を開始する。そして、制御部２１は、サーバ１０が送信したオブジェクトＤＢ１２ｂを受信した場合、受信したオブジェクトＤＢ１２ｂに記憶してある各情報に基づく対象物マークを撮影動画２２ａに重畳させて表示する（Ｓ１８）。具体的には、制御部２１は、サーバ１０からシーンＩＤが付加されたオブジェクトＤＢ１２ｂを受信しており、シーンＩＤが示すシーン画像中のオブジェクトに対して、オブジェクトであることを示す対象物マークを付加するためのマーク情報をオブジェクトＤＢ１２ｂから読み出す。より具体的には、制御部２１は、オブジェクトＤＢ１２ｂから各オブジェクトの位置情報及びサイズ情報と、オブジェクトラベル及びラベル精度情報とを読み出す。このとき、制御部２１は、オブジェクトＤＢ１２ｂに記憶した各オブジェクトの情報から、ラベル精度情報が所定値（例えば７０％）以上であるオブジェクトの情報のみを読み出してもよい。そして、制御部２１（付加部）は、表示部２５に表示する動画において、各シーンＩＤに対応するシーン画像に、各シーンＩＤのオブジェクトＤＢ１２ｂから読み出したマーク情報に基づく対象物マークを付加して表示する。

図６Ａは対象物マークＯＭが重畳表示された画像の例を示す。図６Ａでは、飲み物がオブジェクトとして特定されており、オブジェクトを示す対象物マークＯＭが画像に付加して表示されている。図６Ａに示す対象物マークＯＭは、オブジェクトＤＢ１２ｂから読み出したオブジェクトの位置情報及びサイズ情報に基づいて、オブジェクトの領域を囲むように表示されたバウンディングボックスである。なお、対象物マークＯＭは、画像中のどの被写体がオブジェクトであるかが分かるマークであれば、バウンディングボックスに限定されず、例えばオブジェクトのエッジを縁取るマークであってもよく、オブジェクトの一部を指し示すマークであってもよい。また対象物マークＯＭは、図６Ｂに示すように、オブジェクトの領域を示すバウンディングボックスに加え、オブジェクトＤＢ１２ｂから読み出したオブジェクトラベル及びラベル精度情報を表示してもよい。なお、図６Ａ及び図６Ｂに示すシーン画像には、１つの対象物マークＯＭが付加されているが、オブジェクトＤＢ１２ｂに複数のオブジェクトの情報が記憶してある場合、複数の対象物マークＯＭが付加される。また、シーン画像から各オブジェクトの領域を抽出し、シーン画像（動画）とは別に各オブジェクトを表示するように構成されていてもよい。この場合、制御部２１は、オブジェクトＤＢ１２ｂから読み出した各オブジェクトの位置情報及びサイズ情報に基づいて、シーン画像から各オブジェクトの領域を抽出し、抽出した各オブジェクトを、予め用意されている領域に表示することにより、シーン画像中の各オブジェクトを一覧表示してもよい。

ユーザ端末２０は、サーバ１０から各シーン画像に対応するオブジェクトＤＢ１２ｂを受信しており、各シーン画像のオブジェクトＤＢ１２ｂの記憶情報に基づいて対象物マークＯＭを撮影動画２２ａに重畳表示させることにより、動画中のオブジェクトに対してオブジェクトをトラッキングするように対象物マークＯＭを重畳表示させることができる。ユーザ端末２０のユーザは、表示部２５に表示された動画（シーン画像）中に付加された対象物マークＯＭに基づいて、アクションを設定したいオブジェクトを入力部２４にて選択する。ユーザ端末２０の制御部２１（対象物受付部）は、入力部２４を介して、いずれかのオブジェクトに対する選択（指定）を受け付けたか否かを判断する（Ｓ１９）。具体的には、ユーザ端末２０は、ユーザが指定した操作位置が、いずれのオブジェクトの対象物マークＯＭの領域内であるかを判断し、操作位置が含まれる対象物マークＯＭのオブジェクトに対する選択を受け付けたと判断する。いずれかのオブジェクトに対する選択を受け付けていないと判断した場合（Ｓ１９：ＮＯ）、ユーザ端末２０は、ステップＳ２３の処理に移行する。いずれかのオブジェクトに対する選択を受け付けたと判断した場合（Ｓ１９：ＹＥＳ）、ユーザ端末２０は、選択されたオブジェクトに対してアクションを設定するためのアクション受付画面を表示部２５に表示する（Ｓ２０）。ユーザ端末２０は、例えば図７Ａに示すアクション受付画面を表示する。

図７Ａは、新規に登録するアクションの内容を受け付ける受付画面例を示し、図７Ａに示す画面は、動画中のオブジェクトに付加すべきマーカの種類を選択するためのマーカ選択ボタン２５ａを有する。図７Ａに示すマーカ選択ボタン２５ａは、大中小の３種類の四角形マーカ及び大中小の３種類の円形マーカを含む６種類のマーカのいずれかを選択できるように構成されている。なお、選択可能なマーカの形状及び大きさはこれらに限定されない。また、図７Ａに示す画面は、設定すべきアクションの内容を指定するためのアクション入力欄２５ｂを有し、アクション入力欄２５ｂは、アクションの種類を指定するための種類入力欄２５ｂａと、アクションの内容を入力するための内容入力欄２５ｂｂと、アクション名を入力するための名前入力欄２５ｂｃとを有する。種類入力欄２５ｂａは、ＵＲＬのリンク、説明情報の表示、ＥＣサイトへのリンク、ＳＮＳへのリンク等、アクションの種類を選択するためのプルダウンメニューが設定してある。内容入力欄２５ｂｂは、アクションの種類としてＵＲＬのリンク、ＥＣサイトへのリンク、ＳＮＳへのリンク等が指定された場合、リンクを設定するＵＲＬの入力を受け付ける。また内容入力欄２５ｂｂは、アクションの種類として説明情報の表示が指定された場合、表示すべき説明情報の入力を受け付ける。名前入力欄２５ｂｃは、各アクションを識別するためのアクション名の入力を受け付ける。本実施形態では、一度登録したアクションを再利用することができ、図７Ａに示す画面は、既に登録済みのアクション（過去に登録されたアクションの履歴）から、設定すべきアクションを選択する選択モード（登録済みアクション）と、新規にアクションを登録する登録モード（新規アクション）とを切り替えるためのラジオボタンを有する。図７Ａに示す画面においてラジオボタンにて登録済みアクションが選択された場合、ユーザ端末２０は、図７Ｂに示す画面を表示する。図７Ｂに示す画面は、既に登録されてアクションＤＢ２２ｂに記憶してあるアクションのアクション名を表示し、各アクションのリンクが設定してあるアクション選択ボタン２５ｄを有する。またユーザ端末２０は、検索キーワードを用いて登録済みのアクションから所望のアクションを検索できるように構成してあり、図７Ｂに示す画面は検索キーワードの入力欄２５ｅを有する。入力欄２５ｅに検索キーワードが入力された場合、ユーザ端末２０は、アクションＤＢ２２ｂの記憶内容に基づいて、検索キーワードに合致するアクションを抽出し、抽出したアクションのアクション名をアクションＤＢ２２ｂから読み出して表示する。なお、アクション選択ボタン２５ｄには、ユーザ端末２０のアクションＤＢ２２ｂに記憶してあるアクション（リンク）だけでなく、サーバ１０から取得したアクションのリンクを表示してもよい。例えばサーバ１０が各ユーザ端末２０で登録されたアクションの情報を収集する構成を有する場合、ユーザ端末２０は、サーバ１０に記憶してあるアクションの情報（アクション名及びリンク）を取得してアクション選択ボタン２５ｄに表示できる。これにより、他のユーザが設定したアクションを利用することができ、アクションを設定する際のユーザの操作負担を軽減できる。また、入力欄２５ｅに検索キーワードが入力された場合、ユーザ端末２０は、アクションＤＢ２２ｂの記憶内容だけでなく、サーバ１０が記憶するアクションから、検索キーワードに合致するアクションを抽出し、抽出したアクションのアクション名をアクションＤＢ２２ｂ又はサーバ１０から取得して表示してもよい。アクション選択ボタン２５ｄを介していずれかの登録済みアクションが選択された場合、ユーザ端末２０は、選択されたアクションの情報をアクションＤＢ２２ｂ又はサーバ１０から取得する。そしてユーザ端末２０は、表示画面を、図７Ａに示す画面に戻し、アクションＤＢ２２ｂ又はサーバ１０から取得したアクションの情報（アクションの種類、内容及びアクション名）を追加して表示する。なお、このとき、ラジオボタンは登録済みアクションが選択されている。また、登録済みのアクションから選択したアクションであっても、図７Ａに示す画面において、アクションの内容及びアクション名を変更することができ、変更後のアクションを登録（新規登録）したい場合、ユーザはラジオボタンにて新規アクションを選択しておけばよい。

図７Ａに示す画面は、入力された内容でアクションの登録（設定）を指示するための登録ボタン２５ｃを有する。ユーザ端末２０は、入力部２４を介して登録ボタン２５ｃが操作されたか否かに応じて、アクションの指定を受け付けたか否かを判断しており（Ｓ２１）、受け付けていないと判断した場合（Ｓ２１：ＮＯ）、アクションの指定を受け付けるまで待機する。アクションの指定を受け付けたと判断した場合（Ｓ２１：ＹＥＳ）、ユーザ端末２０の制御部２１（アクション受付部）は、アクション受付画面を介して入力されたアクションに関する情報（アクション情報）を受け付け、受け付けたアクションに関する情報（アクション情報）をアクションＤＢ２２ｂに記憶する（Ｓ２２）。具体的には、ユーザ端末２０は、ステップＳ１９で選択を受け付けたオブジェクトについて、このオブジェクトのシーン画像に対してアクションＤＢ２２ｂを生成する。そしてユーザ端末２０は、このオブジェクトのオブジェクトＩＤに対応付けて、アクション受付画面を介して受け付けたマーカの情報（マーカ情報）及びアクションに関する情報をアクションＤＢ２２ｂに記憶する。なお、ユーザ端末２０は、新規のアクションが設定された場合、アクションＩＤを発行し、発行したアクションＩＤ、アクションの種類（アクションクラス）、アクションの内容（ＵＲＬ名、ＵＲＬ、ＵＲＬ情報、説明情報等）、アクション名を対応付けてアクションＤＢ２２ｂに記憶する。なお、アクションに関する情報（アクションＩＤ、アクションクラス、ＵＲＬ名、ＵＲＬ、ＵＲＬ情報、説明情報、アクション名）を別のＤＢに記憶し、アクションＤＢ２２ｂには、オブジェクトＩＤに対応付けてマーカ情報及びアクションＩＤのみを記憶する構成としてもよい。なお、ユーザ端末２０は、オブジェクトに対応するマーカ情報及びアクション情報を記憶した後、設定されたマーカ及びアクションをプレビュー表示するように構成されていてもよい。

ユーザ端末２０は、処理対象の撮影動画２２ａの再生処理が終了したか否かを判断しており（Ｓ２３）、終了していないと判断した場合（Ｓ２３：ＮＯ）、ステップＳ１２の処理に戻り、撮影動画２２ａのサーバ１０への送信を継続する。撮影動画２２ａの再生処理が終了したと判断した場合（Ｓ２３：ＹＥＳ）、ユーザ端末２０の制御部２１（対応付け部）は、撮影動画２２ａに、サーバ１０から受信したオブジェクトＤＢ１２ｂ及び生成したアクションＤＢ２２ｂを付加することにより、撮影動画２２ａにアクションを設定する（Ｓ２４）。これにより、各シーン画像中のオブジェクトに、ユーザによって指定されたアクションが設定された撮影動画２２ａを生成できる。そしてユーザ端末２０は、各オブジェクトにアクションが設定された撮影動画２２ａをサーバ１０へ送信し（Ｓ２５）、処理を終了する。サーバ１０は、ユーザ端末２０が送信した撮影動画２２ａを受信し、受信した撮影動画２２ａを公開用の動画データとして公開動画ＤＢ１２ｃに記憶し（Ｓ２６）、処理を終了する。具体的には、サーバ１０は、オブジェクトＤＢ１２ｂ及びアクションＤＢ２２ｂが付加された撮影動画２２ａを公開動画ＤＢ１２ｃに記憶する。

上述した処理により、ユーザ端末２０を用いて取得した撮影動画２２ａに対して、サーバ１０が対象物認識モデル１２ａを用いてオブジェクトを認識し、認識したオブジェクトのうちで、ユーザが指定したオブジェクトに対してユーザが所望するアクションを設定することができる。なお、上述した処理において、サーバ１０は、ユーザ端末２０から受信した撮影動画２２ａをシーン画像に分割し、例えば１秒間に１枚のシーン画像について、ステップＳ１４〜Ｓ１７の処理を行う構成でもよい。この場合、サーバ１０が行うアクション設定処理における処理対象のデータ量を削減でき、高速での処理を実現できる。また、上述した処理において、ユーザ端末２０が、撮影動画２２ａをシーン画像に分割し、例えば１秒間に１枚のシーン画像を抜き出してサーバ１０へ送信してもよい。このようにユーザ端末２０からサーバ１０へ送信される撮影動画２２ａを間引くことにより、撮影動画２２ａの送信データを削減でき、また、サーバ１０で処理されるデータ量を削減でき、高速でのアクション設定処理を実現できる。更に、上述した処理では、ユーザ端末２０は、撮影動画２２ａを再生しつつ、サーバ１０から受信するオブジェクトＤＢ１２ｂに基づいて対象物マークＯＭを撮影動画２２ａに付加する構成であるが、このような構成に限定されない。例えば、ユーザ端末２０からサーバ１０へ一旦撮影動画２２ａが送信され、サーバ１０でオブジェクトの特定処理が行われ、全シーン画像に対するオブジェクトＤＢ１２ｂがまとめてユーザ端末２０へ送信されてもよい。この場合、ユーザ端末２０は、全シーン画像に対するオブジェクトＤＢ１２ｂを受信した後に、撮影動画２２ａを再生しつつ、受信したオブジェクトＤＢ１２ｂに基づく対象物マークＯＭを付加して表示する処理を行ってもよい。また、ユーザ端末２０は、撮影を行いつつ、撮影によって得られた撮影動画２２ａを逐次サーバ１０へ送信してもよい。この場合、撮影を行いながら撮影動画２２ａに、サーバ１０で特定されたオブジェクトを示す対象物マークＯＭを重畳表示させることができる。また本実施形態において、撮影動画２２ａ中のオブジェクトの特定処理は、ユーザ端末２０で行われてもよい。この場合、例えばユーザ端末２０が対象物認識モデル１２ａを有し、対象物認識モデル１２ａを用いて各シーン画像中のオブジェクトを特定する。このような構成においても同様の効果が得られる。

次に、上述した処理によってシーン画像中のオブジェクトにアクションが設定された公開用動画（撮影動画２２ａ）をユーザ端末２０を用いて閲覧する際に各装置が行う処理について説明する。図８は公開用動画の再生処理手順の一例を示すフローチャート、図９はユーザ端末２０における画面例を示す模式図である。図８では左側にユーザ端末２０が行う処理を、右側にサーバ１０が行う処理をそれぞれ示す。なお、図８に示すユーザ端末２０は、図５に示すユーザ端末２０と同じ端末であってもよく、異なる端末であってもよい。以下の処理の一部を専用のハードウェア回路で実現してもよい。

本実施形態の情報処理システム１００において、ユーザは、サーバ１０がネットワークＮ経由で公開している動画を閲覧（視聴）したい場合、ユーザ端末２０を用いて動画アプリ２２ＡＰを実行し、閲覧したい動画（動画データ）をサーバ１０からダウンロード（受信）する。ユーザ端末２０は、入力部２４を介して動画アプリ２２ＡＰの実行指示を受け付けた場合、制御部２１が動画アプリ２２ＡＰを起動する。ユーザ端末２０は、動画アプリ２２ＡＰを起動した場合、サーバ１０が公開するいずれかの動画に対する閲覧指示を入力部２４にて受け付けたか否かを判断し（Ｓ３１）、閲覧指示を受け付けていないと判断した場合（Ｓ３１：ＮＯ）、他の処理を行いつつ待機する。

いずれかの公開動画に対する閲覧指示を受け付けたと判断した場合（Ｓ３１：ＹＥＳ）、ユーザ端末２０は、閲覧指示された公開動画（動画データ）をサーバ１０に要求する（Ｓ３２）。サーバ１０は、ユーザ端末２０から公開動画を要求された場合、要求された公開動画を公開動画ＤＢ１２ｃから読み出し、読み出した公開動画を要求元のユーザ端末２０へ送信する（Ｓ３３）。なお、公開動画は、ユーザ端末２０でオブジェクトＤＢ１２ｂ及びアクションＤＢ２２ｂが付加された撮影動画２２ａである。

ユーザ端末２０は、サーバ１０から公開動画をダウンロード（受信）した場合、記憶部２２に一旦記憶し、記憶部２２に記憶した公開動画から各シーン画像に対応するオブジェクトＤＢ１２ｂ及びアクションＤＢ２２ｂを読み出す（Ｓ３４）。またユーザ端末２０は、読み出したオブジェクトＤＢ１２ｂ及びアクションＤＢ２２ｂから各オブジェクトのオブジェクト情報を読み出す（Ｓ３５）。ユーザ端末２０は、公開動画に含まれる動画データ（撮影動画２２ａ）を表示部２５に表示しつつ、撮影動画２２ａの各シーン画像に、ステップＳ３５で読み出したオブジェクト情報に基づくマーカを重畳表示する（Ｓ３６）。具体的には、ユーザ端末２０は、各シーンＩＤに対応するオブジェクトＤＢ１２ｂから位置情報及びサイズ情報を読み出し、アクションＤＢ２２ｂからマーカ情報を読み出す。そして、ユーザ端末２０は、表示する撮影動画２２ａにおいて、各シーンＩＤに対応するシーン画像に、オブジェクトＤＢ１２ｂから読み出した位置情報及びサイズ情報に基づく位置に、アクションＤＢ２２ｂから読み出したマーカ情報が示すマーカを重畳表示させる。例えばユーザ端末２０は、位置情報及びサイズ情報が示すオブジェクトの領域に対して、左上、左下、右上、右下、中央等の所定位置に、マーカ情報が示すマーカを表示させる。

図９ＡはマーカＭが重畳表示された画像の例を示す。図９Ａは、図６Ａのシーン画像において対象物マークＯＭで示された飲み物のオブジェクトに対してアクションが設定された例を示しており、飲み物のオブジェクトにおける所定位置にマーカＭが表示されている。図９Ａに示すマーカＭは、オブジェクトＤＢ１２ｂから読み出された位置情報及びサイズ情報が示すオブジェクトの領域の左下位置に表示されており、アクションＤＢ２２ｂから読み出されたマーカ情報が示す大きさ及び形状を有する。なお、マーカＭの模様は任意の模様を用いることができるが、例えば各オブジェクトに設定されたアクションの種類（アクションクラス）に応じた模様を用いてもよい。これにより、ユーザ端末２０のユーザは、サーバ１０が公開している公開動画を閲覧できると共に、動画中のオブジェクトについて、アクションが設定されたオブジェクトをマーカＭによって把握できる。なお、図９Ａに示すシーン画像には１つのマーカＭが付加されているが、アクションが設定されたオブジェクトが複数ある場合、複数のマーカＭが付加される。

ユーザ端末２０は、各シーン画像に対応するオブジェクトＤＢ１２ｂ及びアクションＤＢ２２ｂから読み出した情報に基づいて、マーカＭを公開動画に重畳表示させるので、マーカＭは、動画中のオブジェクトをトラッキング（追尾）するように表示される。ユーザ端末２０のユーザは、表示部２５に表示された公開動画（シーン画像）中に付加されたマーカＭに基づいて、設定されたアクションを実行したいオブジェクトを入力部２４にて選択する。ユーザ端末２０は入力部２４を介して、いずれかのマーカＭに対する選択を受け付けたか否かを判断しており（Ｓ３７）、受け付けていないと判断した場合（Ｓ３７：ＮＯ）、ステップＳ４１の処理に移行する。いずれかのマーカＭに対する選択を受け付けたと判断した場合（Ｓ３７：ＹＥＳ）、ユーザ端末２０は、選択されたマーカＭに対応するオブジェクトに対して設定されたアクションを実行する（Ｓ３８）。具体的には、ユーザ端末２０は、選択されたマーカＭに対応するオブジェクトに設定されたアクションの情報をアクションＤＢ２２ｂから読み出し、アクションクラス（アクションの種類）に応じた処理を行う。例えばアクションクラスが説明情報の表示である場合、ユーザ端末２０は、アクションＤＢ２２ｂに記憶された説明情報を読み出し、例えば図９Ｂに示すように、読み出した説明情報を表示中の動画に重畳表示する。また、アクションクラスがＵＲＬのリンク、ＥＣサイトへのリンク、ＳＮＳへのリンク等である場合、ユーザ端末２０は、アクションＤＢ２２ｂに記憶されたＵＲＬ名、ＵＲＬ、ＵＲＬ情報を読み出し、読み出した各情報を表示中の動画に重畳表示する。なお、アクションクラスがＵＲＬのリンク、ＥＣサイトへのリンク、ＳＮＳへのリンク等である場合、ユーザ端末２０は、マーカＭが選択された時点で各リンク先にアクセスするように構成されていてもよい。

ユーザ端末２０は、選択されたマーカＭに対応するアクションを行った後、アクションに応じた処理の実行指示を入力部２４にて受け付けたか否かを判断する（Ｓ３９）。例えばアクションクラスがＵＲＬのリンク、ＥＣサイトへのリンク、ＳＮＳへのリンク等である場合、ユーザ端末２０がリンク先のＵＲＬ等を表示中の動画に重畳表示するが、このときユーザは、表示されたリンク先にアクセスしたい場合、リンク先のＵＲＬ等を選択操作する。この場合、ユーザ端末２０は、リンク先のＵＲＬ等へのアクセス（アクションに応じた処理）の実行指示を入力部２４にて受け付ける。ユーザ端末２０は、アクションに応じた処理の実行指示を受け付けていないと判断した場合（Ｓ３９：ＮＯ）、ステップＳ４１の処理に移行し、受け付けたと判断した場合（Ｓ３９：ＹＥＳ）、実行指示された処理を実行する（Ｓ４０）。例えば、リンク先のＵＲＬ等へのアクセスの実行指示を受け付けた場合、ユーザ端末２０は、リンク先のＵＲＬ等にアクセスする処理を行う。ステップＳ４１でユーザ端末２０は、閲覧中の公開動画の再生処理が終了したか否かを判断しており（Ｓ４１）、終了していないと判断した場合（Ｓ４１：ＮＯ）、ステップＳ３４の処理に戻り、サーバ１０からダウンロードして記憶部２２に記憶した公開動画における次のシーン画像について、ステップＳ３４〜Ｓ４０の処理を行う。公開動画の再生処理が終了したと判断した場合（Ｓ４１：ＹＥＳ）、ユーザ端末２０は、上述した処理を終了する。

上述した処理により、公開動画の閲覧中に、公開動画中のオブジェクトに付加されたマーカＭが選択操作された場合に、所定のアクションを実行することができる。なお、動画中の各オブジェクト（アイテム）に対して設定できるアクションは、上述した例に限定されず、各種の処理をアクションとして用いることができる。本実施形態では、ユーザは公開動画を閲覧するだけでなく、閲覧中に気になった商品（オブジェクト）に関する情報を、動画中のオブジェクト（オブジェクトに付加されたマーカＭ）を選択するだけで得ることができ、また、ＥＣサイトから購買することができる。よって、ユーザが欲しいと思ったタイミングでの購買が可能となり、公開動画の訴求力による販売促進が期待できる。また、ユーザは、アクションが設定されたオブジェクトを探しながら公開動画を観るので、閲覧中の集中力が増加することによって、公開動画による宣伝効果の向上が期待できる。

以下に、公開動画中のオブジェクトに設定されるアクションの他の例について説明する。図１０は、アクションが設定された公開動画の表示例を示す模式図である。図１０Ａに示す例は、ファッションショー及びコレクション等で撮影された撮影動画中の衣装（オブジェクト）に対して、衣装の説明表示及び購買可能なＥＣサイトへのリンクがアクションとして設定されている。このような公開動画によれば、ファッションショー及びコレクション等を観ながら気になった商品（衣装）に関する情報を得ることができ、気に入った商品を購買できるＥＣサイトにアクセスすることができる。なお、図１０Ａに示す動画では、動画中のオブジェクト（衣装）に対してお気に入り登録がアクションとして設定されていてもよい。

図１０Ｂに示す例は、調理中の状態を真上から撮影したレシピ動画に対して、料理を作る際の手順を示すレシピの表示がアクションとして設定されている。また、レシピ動画中の材料、調味料、調理器具等（オブジェクト）に対して、補足説明の表示及び購買可能なＥＣサイトへのリンクがアクションとして設定されていてもよく、各手順に対して注意事項の表示がアクションとして設定されていてもよい。このようなレシピ動画によれば、調理中の状態を動画で見ながら、必要に応じてレシピを確認することができ、また、気になった材料、調味料、調理器具等に関する情報を得ることができ、気に入った材料、調味料、調理器具等を購買できるＥＣサイトにアクセスすることができる。なお、図１０Ｂに示す動画では、レシピの保存、動画中の各オブジェクトに対するお気に入り登録等がアクションとして設定されていてもよい。また、食品メーカ及び電機メーカ等が自社の商品及び製品を宣伝するために作成しているプロモーション動画に対して、動画中の各オブジェクトに各種のアクションを設定することにより、プロモーション動画を介して商品及び製品の購買に導くことができる。

図１０Ｃに示す例は、講義中の板書の状態を撮影した講義動画に対して、講義内容を理解するための前提知識及び関連内容等の表示がアクションとして設定されている。また、講義動画中に英単語又は英文（オブジェクト）が含まれる場合、これらに対して日本語訳又は文法の解説等の表示がアクションとして設定されていてもよく、講義動画中に地図が含まれる場合、地図で表示されているエリアに関する情報の表示がアクションとして設定されていてもよい。このような講義動画によれば、講義の内容だけでなく、前提知識の復習、関連内容の学習を同時に行うことができ、また、学習者が自発的に復習又は学習することができるので、学習効果が期待できる。

図１０Ｄに示す例は、観光地等の地域を紹介するために撮影された紹介動画に対して、観光地の地図の表示、名所及び建物に関する情報の表示等がアクションとして設定されている。また、紹介動画中の店舗（オブジェクト）に対して、店舗に関する情報の表示がアクションとして設定されていてもよく、観光地で行われているイベント、キャンペーン、スタンプラリー等の情報の表示、クーポンの提供案内、各種情報を公開しているＵＲＬへのリンク等がアクションとして設定されていてもよい。このような紹介動画によれば、観光地等の様子を動画で見ながら、気になった場所、建物、店舗等に関する情報を得ることができる。なお、図１０Ｄに示す動画では、動画中の場所に行く経路の検索サイトへのリンク、旅行の予約サイトへのリンク、お気に入り登録等をアクションとして設定することもできる。また、紹介動画を見ながら気に入った場所、建物、店舗等をお気に入り登録しておくことにより、お気に入り登録した各場所を巡るツアーマップを自動生成することができ、また、自動生成されたツアーマップに合致したツアーの販売サイトを検索することができる。

本実施形態では、上述したように各種の公開動画に対して動画中のオブジェクトに各種のアクションを設定することができ、設定されたアクションによって各オブジェクトを宣伝又は紹介することができる。よって、公開動画の訴求力による販売促進が期待でき、公開動画による宣伝効果が期待できる。本実施形態では、動画中の各オブジェクトが把握（認識）されるので、動画中のオブジェクト毎に評価又はコメントできるように構成することができる。よって、動画の投稿者は、動画全体に対する評価及びコメントだけでなく、動画中のオブジェクト毎の評価及びコメントを得ることができ、各オブジェクトに対する閲覧者の反応を得ることができる。

本実施形態では、ユーザ端末２０のユーザは、撮影動画２２ａをサーバ１０へアップロードする際に、撮影動画２２ａに対してアクション設定処理を行う。なお、アクション設定処理は、ユーザ端末２０に表示される撮影動画２２ａ中の各オブジェクトに付加された対象物マークＯＭに対する選択操作と、設定したいアクションの指定とによって実現できる。よって、動画中のオブジェクト（アイテム）を抽出する際の専門知識を有する必要はなく、ＳＮＳを利用する一般的なユーザが手軽に、撮影動画２２ａに対するアクション設定処理を行うことができる。

本実施形態では、ユーザ端末２０が、撮影動画２２ａを表示部２５で再生しつつ、ユーザからの入力に従って撮影動画２２ａ中のオブジェクトにアクションを設定する構成である。このほかに、ユーザ端末２０は、ユーザからの入力を受け付けた場合に、入力された情報をサーバ１０へ送信し、サーバ１０で、撮影動画２２ａ中のオブジェクトにアクションを設定する処理を行う構成としてもよい。この場合、ユーザ端末２０が行う処理を削減でき、ユーザ端末２０による処理負担を軽減できる。また、例えばサーバ１０をクラウドサーバで実現する構成であれば、ユーザ端末２０がクラウドサーバと情報の送受信を行うことにより、アクションが設定された撮影動画２２ａを得ることができる。また、本実施形態において、ユーザ端末２０が、撮影動画２２ａ中のオブジェクトを検出する処理を行う構成でもよい。この場合、ユーザ端末２０による処理だけでアクションの設定を行うことができる。

本実施形態において、ユーザ端末２０でアクションが設定された撮影動画２２ａ中のオブジェクトを含む画像データと、設定されたアクションに関する情報とが対応付けてサーバ１０（所定装置）へ送信されるように構成してもよい。例えば、ユーザ端末２０が、動画中のオブジェクトに所望のアクションを設定した場合に、オブジェクトの画像データとアクション情報とを対応付けてサーバ１０へ送信してもよい。このような構成を備えることにより、サーバ１０で認識された動画中のオブジェクトのうちで、ユーザがアクションを設定したオブジェクトをサーバ１０にフィードバックすることができる。よって、サーバ１０は、実際にアクションが設定されたオブジェクトの画像データを、対象物認識モデル１２ａを再学習させる際の教師データに用いることができ、ユーザがアクションを設定する可能性の高いオブジェクトの認識精度を向上させることができる。

本実施形態では、動画の閲覧時にオブジェクトを示すマーカＭがオブジェクトに重畳表示される構成である。具体的には、サーバ１０で特定されたオブジェクトの領域に対して所定位置にマーカＭが表示される構成である。このほかに、サーバ１０で特定されたオブジェクトに対して、マーカＭの表示位置を任意に指定できるように構成してもよい。例えば、動画中のオブジェクトと重ならない位置にマーカＭを表示するように構成してもよい。また、動画の閲覧中に閲覧者が表示画面上をタッチ操作した場合に、タッチされた箇所にマーカＭが設定されていれば、このマーカＭに対応付けられているアクションを実行するように構成してもよい。この場合、動画の閲覧中はマーカＭが表示されないので、ユーザはマーカＭの表示によって動画の視聴を邪魔されず、動画の視聴に集中できる。また、隠しマーカとして設定することができ、この場合、ユーザは、アクションが設定された隠しマーカを探しながら動画を観るので、閲覧中の集中力が増加し、公開動画による宣伝効果の向上が期待できる。

（実施形態２）
動画中の任意の位置にアクションを登録できる情報処理システムについて説明する。本実施形態の情報処理システム１００は、実施形態１の情報処理システム１００の各装置１０，２０と同様の装置によって実現されるので、構成については説明を省略する。なお、本実施形態の情報処理システム１００では、サーバ１０は対象物認識モデル１２ａを備えていなくてもよく、動画中のオブジェクトを認識（特定）する処理を行わない構成でもよい。本実施形態の情報処理システム１００では、ユーザ端末２０は、動画中の任意の箇所（位置）の指定を受け付け、指定された任意の箇所に対して、指定されたアクションを設定する処理、任意の箇所にアクションが設定された動画データをサーバ１０にアップロードする処理等を行う。本実施形態の情報処理システム１００では、ユーザ端末２０の記憶部２２に記憶されるアクションＤＢ２２ｂの構成が実施形態１とは若干異なる。

図１１は、実施形態２のアクションＤＢ２２ｂの構成例を示す模式図である。本実施形態のアクションＤＢ２２ｂは、画像中の任意の箇所（位置）に対して設定されたアクションであり、画像の再生中に各位置が選択操作された場合に実行すべきアクションに関する情報を記憶する。アクションＤＢ２２ｂは、ユーザ端末２０が画像中の任意の位置に対してアクションの設定処理を行った場合に作成され、例えば動画中のシーン画像（フレーム画像）毎に作成される。図１１に示すアクションＤＢ２２ｂは、図４Ｂに示すアクションＤＢ２２ｂと同様に、マーカ情報列、アクションＩＤ列、アクションクラス列、ＵＲＬ名列、ＵＲＬ列、ＵＲＬ情報列、説明情報列、アクション名例を含む。また、図１１に示すアクションＤＢ２２ｂは、図４Ｂに示すアクションＤＢ２２ｂにおいてオブジェクトＩＤ列の代わりにマーカＩＤを含み、更に位置情報列を含む。マーカＩＤ列は、シーン画像中に設定されたマーカＭ毎に割り当てられた識別情報を記憶し、位置情報列は、シーン画像中に設定されたマーカＭの表示位置を示す位置情報を記憶する。なお、位置情報は、例えば表示部２５の表示領域の左上の画素位置を原点０とし、右方向をＸ座標軸方向とし、下方向をＹ座標軸方向とした場合の座標（ｘ，ｙ）で表される。本実施形態では、動画中に撮影されたオブジェクトは検出せず、動画中の任意の位置がマーカＭの表示位置として指定されるので、アクションＤＢ２２ｂは、マーカＩＤに対応付けて、設定されたマーカＭに関する情報と、各マーカに対応して設定されたアクションに関する情報とを記憶する。

アクションＤＢ２２ｂに記憶されるマーカＩＤは、制御部２１が画像中の任意の位置に対するアクションの設定指示を受け付けた場合に、制御部２１によって発行されて記憶される。アクションＤＢ２２ｂに記憶される位置情報及びマーカ情報は、制御部２１が画像中の任意の位置に対して設定すべきマーカの情報を受け付けた場合に、受け付けた各情報が制御部２１によって記憶される。アクションＤＢ２２ｂに記憶される他の各情報は、制御部２１が画像中の任意の位置に対して設定すべきアクションの情報を受け付けた場合に、受け付けた各情報が制御部２１によって記憶される。アクションＤＢ２２ｂの記憶内容は図１１に示す例に限定されない。

本実施形態の情報処理システム１００においても、ユーザ端末２０が、撮影動画２２ａに対してアクションＤＢ２２ｂを作成し、作成したアクションＤＢ２２ｂを撮影動画２２ａに付加してサーバ１０にアップロードする。よって、サーバ１０がネットワークＮ経由で公開する動画データは、ユーザ端末２０においてアクションＤＢ２２ｂが付加された撮影動画２２ａである。

以下に、本実施形態の情報処理システム１００における各装置が行う処理について説明する。図１２はアクションの設定処理手順の一例を示すフローチャート、図１３及び図１４はユーザ端末２０における画面例を示す模式図である。図１２では左側にユーザ端末２０が行う処理を、右側にサーバ１０が行う処理をそれぞれ示す。なお、以下の処理の一部を専用のハードウェア回路で実現してもよい。

本実施形態の情報処理システム１００において、ユーザは、例えばユーザ端末２０を用いて撮影した動画（撮影動画２２ａ）をネットワークＮ経由で公開する際に、動画アプリ２２ＡＰを実行させて、撮影動画２２ａ中の任意の位置に対して所望のアクションを設定することができる。ユーザ端末２０は、入力部２４を介して動画アプリ２２ＡＰの実行指示を受け付けた場合、制御部２１が動画アプリ２２ＡＰを起動する。動画アプリ２２ＡＰを起動したユーザ端末２０は、記憶部２２に記憶してあるいずれかの撮影動画２２ａに対してアクションを設定する処理の実行指示を入力部２４にて受け付けた場合、撮影動画２２ａに対するアクション設定処理を行ってアクションＤＢ２２ｂを生成する。

具体的には、ユーザ端末２０は、いずれかの撮影動画２２ａに対するアクション設定処理の実行指示を受け付けた場合、処理対象の撮影動画２２ａを記憶部２２から読み出して再生処理を開始する（Ｓ５１）。ユーザ端末２０は、図１３に示すような設定画面を表示部２５に表示し、設定画面中に撮影動画２２ａの再生画面を表示する。図１３に示す設定画面は、撮影動画２２ａの再生領域（再生画面）と、撮影動画２２ａの再生処理に関する操作を受け付ける操作ボタン２５ｆと、動画中に付加すべきマーカの種類を選択するためのマーカ選択ボタン２５ａとを有する。操作ボタン２５ｆは、再生処理の実行、再生処理の停止、５秒又は１０秒等の所定時間先にスキップする早送りの実行、５秒又は１０秒等の所定時間前に戻す早戻しの実行、１．５倍速又は２倍速等の倍速再生の実行、逆再生の実行等を指示するための操作ボタンを有する。マーカ選択ボタン２５ａは、図７Ａに示した画面中のマーカ選択ボタン２５ａと同じボタンである。

ユーザ端末２０のユーザは、表示部２５で再生された撮影動画２２ａ（シーン画像）に対して、画像中のいずれかの位置にアクションを設定したい場合、まずマーカ選択ボタン２５ａを介して所望のマーカを選択する。ユーザ端末２０は、設定画面中のマーカ選択ボタン２５ａを介して、いずれかのマーカの選択を入力部２４にて受け付けたか否かを判断しており（Ｓ５２）、マーカの選択を受け付けていないと判断した場合（Ｓ５２：ＮＯ）、マーカの選択を受け付けるまで撮影動画２２ａの再生処理を継続する。いずれかのマーカの選択を受け付けたと判断した場合（Ｓ５２：ＹＥＳ）、ユーザ端末２０は、マーカ選択ボタン２５ａにおけるマーカの選択状態を表示する（Ｓ５３）。具体的にはユーザ端末２０は、選択されたマーカを他のマーカとは異なる態様で表示し、選択されたマーカがどのマーカであるかを明確に表示する。図１３では中の大きさの円形マーカが選択されていることを表示している。

次にユーザは、設定画面中の再生領域において、マーカＭを表示させたい位置を入力部２４を介して指定する。なお、ユーザは、撮影動画２２ａの再生処理に伴う撮影動画２２ａ中のオブジェクトの移動に合わせて、マーカＭの表示位置を指定する。図１４ＡはマーカＭの表示位置の指定開始状態を示し、図１４ＢはマーカＭの表示位置の指定終了状態を示す。ユーザは、撮影動画２２ａの再生領域において、例えば図１４Ｂ中に白抜き矢符で示すように、図１４Ａに示す位置から図１４Ｂに示す位置までスライド操作を行うことにより、マーカＭの表示位置を指定する。ユーザ端末２０は、入力部２４を介して、撮影動画２２ａの再生領域において、マーカＭの表示位置の受付を開始したか否かを判断し（Ｓ５４）、受付を開始していないと判断した場合（Ｓ５４：ＮＯ）、受付を開始するまで待機する。

ユーザ端末２０の制御部２１（位置受付部）は、撮影動画２２ａの再生領域においてマーカＭの表示位置の受付を開始したと判断した場合（Ｓ５４：ＹＥＳ）、受け付けたマーカＭの表示位置を示す位置情報をアクションＤＢ２２ｂに記憶する（Ｓ５５）。具体的には、ユーザ端末２０は、この時点で表示中のシーン画像に対するアクションＤＢ２２ｂを生成する。そしてユーザ端末２０は、マーカＩＤを発行し、マーカＩＤに対応付けて、受け付けたマーカＭの表示位置を示す位置情報をアクションＤＢ２２ｂに記憶する。ユーザ端末２０は、マーカＭの表示位置の受付を終了したか否かを判断し（Ｓ５６）、終了していないと判断した場合（Ｓ５６：ＮＯ）、順次表示されるシーン画像に対するアクションＤＢ２２ｂを生成し、各シーン画像に対して受け付けたマーカＭの表示位置を示す位置情報をアクションＤＢ２２ｂに記憶する（Ｓ５５）。マーカＭの表示位置の受付を終了したと判断した場合（Ｓ５６）、即ち、撮影動画２２ａの再生領域に対するユーザの操作が終了した場合、ユーザ端末２０は、図７Ａ及び図７Ｂに示すようなアクション受付画面を表示部２５に表示する（Ｓ５７）。なお、ここでのアクション受付画面は、図７Ａ及び図７Ｂに示す画面において、マーカ選択ボタン２５ａを有しない構成である。

ユーザ端末２０は、入力部２４を介してアクション受付画面中の登録ボタンが操作されたか否かに応じて、アクションの指定を受け付けたか否かを判断しており（Ｓ５８）、受け付けていないと判断した場合（Ｓ５８：ＮＯ）、アクションの指定を受け付けるまで待機する。アクションの指定を受け付けたと判断した場合（Ｓ５８：ＹＥＳ）、ユーザ端末２０は、アクション受付画面を介して受け付けたアクションに関する情報（アクション情報）を、指定されたマーカＭのマーカＩＤに対応付けてアクションＤＢ２２ｂに記憶する（Ｓ５９）。なお、ユーザ端末２０は、マーカＭの表示位置が指定された全てのシーン画像に対応するアクションＤＢ２２ｂに、同じアクション情報を記憶する。

ユーザ端末２０は、処理対象の撮影動画２２ａの再生処理が終了したか否かを判断しており（Ｓ６０）、終了していないと判断した場合（Ｓ６０：ＮＯ）、ステップＳ５２の処理に戻り、撮影動画２２ａの再生処理を継続し、動画中の任意の位置に対するアクションの設定処理を継続する。なお、ユーザ端末２０は、１つのアクションについて、動画中の任意の位置に設定されたマーカ情報及びアクション情報をアクションＤＢ２２ｂに記憶した後、設定されたマーカ及びアクションをプレビュー表示するように構成されていてもよい。

撮影動画２２ａの再生処理が終了したと判断した場合（Ｓ６０：ＹＥＳ）、ユーザ端末２０は、撮影動画２２ａに、生成したアクションＤＢ２２ｂを付加することにより、撮影動画２２ａにアクションを設定する（Ｓ６１）。これにより、撮影動画２２ａ中の任意の位置に、ユーザによって指定されたアクションが設定された撮影動画２２ａを生成できる。そしてユーザ端末２０は、アクションが設定された撮影動画２２ａをサーバ１０へ送信し（Ｓ６２）、処理を終了する。またサーバ１０は、ユーザ端末２０から受信した撮影動画２２ａを公開用の動画データとして公開動画ＤＢ１２ｃに記憶し（Ｓ６３）、処理を終了する。なお、サーバ１０は、アクションＤＢ２２ｂが付加された撮影動画２２ａを公開動画ＤＢ１２ｃに記憶する。

上述した処理により、ユーザ端末２０において撮影動画２２ａの任意の位置に、ユーザが所望するアクションを設定することができる。よって、アクションが設定された撮影動画２２ａを、サーバ１０によってネットワークＮ経由で公開することができる。上述した処理によって撮影動画２２ａ中の任意の位置にアクションが設定された公開用動画（撮影動画２２ａ）についても、実施形態１と同様に、ユーザ端末２０は図８に示す処理を行うことにより、サーバ１０からダウンロードして閲覧する際に、図９Ａに示すようにマーカＭを付加して表示することができる。また、動画中のマーカＭが選択操作された場合、図９Ｂに示すように、このマーカＭに設定されたアクションを実行することができる。

なお、本実施形態の情報処理システム１００では、ユーザ端末２０がサーバ１０からダウンロードする公開動画は、アクションＤＢ２２ｂのみが付加された撮影動画２２ａである。よって、ユーザ端末２０は、図８中のステップＳ３４では、各シーン画像に対応するアクションＤＢ２２ｂを公開動画から読み出し、ステップＳ３５では、アクションＤＢ２２ｂから各マーカＭのマーカに関する情報（位置情報及びマーカ情報）を読み出す。そして、ユーザ端末２０は、ステップＳ３６で、公開動画に含まれる動画データ（撮影動画２２ａ）を表示部２５に表示しつつ、撮影動画２２ａの各シーン画像に、読み出したマーカに関する情報に基づくマーカＭを重畳表示させる。その他のステップは、実施形態１で説明した処理と同様である。

本実施形態では、上述したように動画（撮影動画２２ａ）中の任意の位置に各種のアクションを設定することができる。よって、ユーザが表示したい箇所にマーカＭを表示させることができ、動画中の任意の位置に写っているオブジェクトについて、設定されたアクションによって宣伝又は紹介することができる。また本実施形態においても、図１０Ａ〜図１０Ｄに示すような各種の公開動画に対して、動画中の任意の位置にアクションを設定することができる。これにより、公開動画の訴求力による販売促進が期待でき、公開動画による宣伝効果が期待できる。また本実施形態では、サーバ１０で動画中のオブジェクトを検出しないので、ユーザ端末２０は、サーバ１０で生成されるオブジェクトＤＢ１２ｂの受信を待つ必要がない。ユーザ端末２０は、公開用の動画（撮影動画２２ａ）を再生させつつ、ユーザから入力される情報に基づいてアクションを設定することができるので、処理が煩雑になることを抑制できる。また本実施形態では、公開用の動画を再生させつつマーカＭの表示位置の指定を受け付けるので、マーカＭが動画の再生に伴って移動するように設定された場合、マーカＭは、動画中のオブジェクトをトラッキング（追尾）するように公開動画に重畳表示される。

また本実施形態では、上述した実施形態１と同様の効果が得られる。例えば、動画中に設定された各マーカＭ（アクション）に対して、各マーカＭが示すオブジェクトに対して評価又はコメントできるように構成することができる。この場合、動画の投稿者は、動画全体に対する評価及びコメントだけでなく、動画中のマーカＭが示すオブジェクト毎の評価及びコメントを得ることができ、各オブジェクトに対する閲覧者の反応を得ることができる。本実施形態においても、上述した実施形態１で適宜説明した変形例の適用が可能である。また、本実施形態の構成を実施形態１の情報処理システム１００に適用し、実施形態１の情報処理システム１００において、サーバ１０で認識（検知）されたオブジェクトに対してマーカＭを表示させる位置を任意に設定できるように構成してもよい。更に、本実施形態の構成と、上述した実施形態１の構成とを切り替え可能に構成してもよい。即ち、サーバ１０で動画中のオブジェクトを特定する処理と、ユーザ端末２０の入力部２４を介してマーカＭの表示位置を指定する処理とが切り替え可能に構成されていてもよい。

本実施形態において、動画中の任意の位置にアクションを設定する処理は、ユーザ端末２０で再生される撮影動画２２ａの表示領域に対して、マーカＭを付加したい位置を指定するためのスライド操作と、設定したいアクションの指定とによって実現できる。よって、ＳＮＳを利用する一般的なユーザが手軽に、撮影動画２２ａに対するアクション設定処理を行うことができる。

本実施形態では、ユーザ端末２０は、ユーザが指定した動画中の任意の位置をマーカＭの表示位置として受け付けるが、ユーザが指定した位置に撮影されている被写体を、アクションの登録対象のオブジェクトとして受け付けてもよい。この場合、ユーザ端末２０は、表示部２５で再生中の撮影動画２２ａにおいて、ユーザが任意の位置を指定した場合、指定された位置を含む領域において物体検知を行い、指定された位置の被写体を特定する。そして、ユーザ端末２０は、特定した被写体（オブジェクト）に対して、ユーザが指定したアクションを設定する。なお、ここでの物体検知は、実施形態１のサーバ１０と同様に対象物認識モデル１２ａを用いた処理によって行ってもよい。また、ユーザ端末２０は、物体検知すべき処理対象の被写体の画像データを入力部２４から受け付けておき、受け付けた画像データに基づいて、撮影動画２２ａ中に所望の被写体を検出してもよい。このような構成とした場合、ユーザ端末２０が特定したオブジェクトの画像データを、対象物認識モデル１２ａを再学習させるための教師データに用いることができる。例えば、ユーザ端末２０が特定したオブジェクトに対して、ユーザがオブジェクトの名称、ラベル、ジャンル等を入力する構成とした場合、特定したオブジェクトの画像データと、ユーザが入力したオブジェクトの名称、ラベル、ジャンル等（正解ラベル）とを教師データに用いることができる。よって、ユーザ端末２０は、このような教師データを、サーバ１０等の所定の学習装置へ送信することにより、学習装置で対象物認識モデル１２ａの再学習を行うことができる。

（実施形態３）
実施形態２の変形例で、動画中の任意の位置にアクションを登録する際にマーカＭの表示位置を指定するときに、動画の再生を一旦停止し、所定時間（例えば３秒間）のカウントダウンを行った後に動画の再生を再開し、再開した時点でマーカＭの表示位置の指定を受け付ける情報処理システムについて説明する。本実施形態の情報処理システム１００は、実施形態２の情報処理システム１００の各装置１０，２０と同様の装置によって実現されるので、構成については説明を省略する。

図１５は、実施形態３のアクションの設定処理手順の一例を示すフローチャート、図１６はユーザ端末２０における画面例を示す模式図である。図１５に示す処理は、図１２に示す処理においてステップＳ５３，Ｓ５４の間にステップＳ７１〜Ｓ７２を追加したものである。図１２と同じステップについては説明を省略する。また図１５では、図１２中のステップＳ５８〜Ｓ６３の図示を省略している。

実施形態２と同様に、本実施形態のユーザ端末２０は、いずれかの撮影動画２２ａに対するアクション設定処理の実行指示を受け付けた場合、処理対象の撮影動画２２ａを記憶部２２から読み出して再生処理を開始する（Ｓ５１）。なお、本実施形態のユーザ端末２０は、図１６に示すような設定画面を表示部２５に表示し、設定画面中に撮影動画２２ａの再生画面を表示する。図１６に示す設定画面は、図１３及び図１４に示す設定画面と同様の構成を有し、更にカウントダウンボタンを有する。カウントダウンボタンは、例えば３秒又は５秒等の所定時間のカウントダウンの実行を指示するためのボタンであり、カウントダウンする時間は変更できるように構成されていてもよい。本実施形態のユーザ端末２０は、図１６Ａに示す設定画面において、マーカ選択ボタン２５ａを介していずれかのマーカの選択を受け付けた場合（Ｓ５２：ＹＥＳ）、選択されたマーカを他のマーカとは異なる態様で表示する（Ｓ５３）。

次にユーザは、図１６Ａに示す設定画面中の再生領域において、マーカＭを表示させたい位置を入力部２４を介して指定するが、このとき、所望のシーン画像からの再生処理を行う前に所定時間のカウントダウンを行いたい場合、カウントダウンボタンを操作する。具体的には、ユーザは、マーカＭの表示位置を指定したいシーン画像を表示させた状態で撮影動画２２ａの再生処理を停止（一時停止）してカウントダウンボタンを操作する。ユーザ端末２０は、カウントダウンボタンが操作された場合、操作時点から所定時間のカウントダウンを行い、カウントダウン終了後に撮影動画２２ａの再生処理を再開させる。よって、ユーザ端末２０は、入力部２４を介して設定画面におけるカウントダウンボタンが操作されることにより、カウントダウンの実行指示を受け付けたか否かを判断する（Ｓ７１）。カウントダウンの実行指示を受け付けたと判断する場合（Ｓ７１：ＹＥＳ）、ユーザ端末２０は、所定時間のカウントダウンを実行する（Ｓ７２）。ユーザ端末２０は、図１６Ｂに示すように、カウントダウンの残り時間を設定画面中に表示し、ユーザはカウントダウンが終了する前に、マーカＭを表示させたい位置を入力部２４にて指定しておく。ユーザ端末２０は、カウントダウンの終了後、撮影動画２２ａの再生領域において、マーカＭの表示位置の受付を開始したか否かを判断する（Ｓ５４）。なお、ユーザ端末２０は、カウントダウンの終了時点で入力部２４を介して指定されている位置を、マーカＭの表示位置の受付開始位置として受け付け（Ｓ５４：ＹＥＳ）、受け付けたマーカＭの表示位置を示す位置情報をアクションＤＢ２２ｂに記憶する（Ｓ５５）。上述した処理により、撮影動画２２ａの再生処理を一旦停止し、所定時間のカウントダウン後に再開させることにより、ユーザが、撮影動画２２ａ中の任意の位置をマーカＭの表示位置に正確に指定できる。

カウントダウンの実行指示を受け付けていないと判断した場合（Ｓ７１：ＮＯ）、ユーザ端末２０は、ステップＳ７２の処理をスキップし、ステップＳ５４の処理に移行する。なお、本実施形態のユーザ端末２０は、ステップＳ５４において、マーカＭの表示位置の受付を開始していないと判断した場合（Ｓ５４：ＮＯ）、ステップＳ７１の処理に戻る。その他のステップは、実施形態２で説明した処理と同様である。なお、図１６Ｂに示す画面において、カウントダウンの残り時間は表示されなくてもよい。

本実施形態では、上述した各実施形態と同様の効果が得られる。また本実施形態では、撮影動画２２ａの再生中に、再生処理を一旦停止させて所定時間のカウントダウン後に再開させることができるので、ユーザは、撮影動画２２ａ中の所望の位置をマーカＭの表示位置として精度良く指定できる。また本実施形態においても、撮影動画２２ａの任意の位置に、ユーザが所望するアクションを設定することができ、アクションが設定された撮影動画２２ａを、サーバ１０によってネットワークＮ経由で公開することができる。また、撮影動画２２ａ中の任意の位置にアクションが設定された公開用動画において、実施形態１，２と同様に、ユーザ端末２０は図８に示す処理を行うことにより、サーバ１０からダウンロードして閲覧する際に、図９Ａに示すようにマーカＭを付加して表示することができる。また、動画中のマーカＭが選択操作された場合、図９Ｂに示すように、このマーカＭに設定されたアクションを実行することができる。

（実施形態４）
実施形態２の変形例で、動画中の任意の位置にアクションを登録する際に動画の再生速度を変更できる情報処理システムについて説明する。本実施形態の情報処理システム１００は、実施形態２の情報処理システム１００の各装置１０，２０と同様の装置によって実現されるので、構成については説明を省略する。

図１７は、実施形態４の設定画面例を示す模式図である。図１７に示す設定画面は、図１３及び図１４に示す設定画面と同様の構成を有し、更に撮影動画２２ａの再生速度の変更を受け付けるための再生速度変更バー２５ｇを有する。再生速度変更バー２５ｇは例えば、０．５倍速、０．８倍速、１倍速、１．２倍速、２倍速、４倍速、８倍速、１６倍速等の設定が可能である。本実施形態のユーザ端末２０は、図１７に示すような設定画面を表示部２５に表示することにより、設定画面中の再生速度変更バー２５ｇを介して、撮影動画２２ａの再生速度の変更指示を受け付けることができる。ユーザ端末２０は、再生速度変更バー２５ｇを介して再生速度の変更指示を受け付けた場合、設定画面中の再生領域において再生される撮影動画２２ａの再生速度を、指定された再生速度に変更する。よって、ユーザ端末２０は、変更した再生速度で撮影動画２２ａを再生させつつ、撮影動画２２ａ（シーン画像）の任意の位置に対するマーカＭの表示位置の指定を受け付ける。これにより、ユーザは、撮影動画２２ａ中の任意の位置をマーカＭの表示位置に指定する際に、動画の内容に応じて再生速度を変更することができる。よって、マーカＭの表示位置を指定し易い状態で撮影動画２２ａを再生させることができる。例えば、撮影動画２２ａ中のオブジェクトの移動速度が速い場合、再生速度を遅くすることによって、マーカＭの表示位置をより正確に指定できる。また例えば、撮影動画２２ａ中に長時間に亘って出現するオブジェクトに対してマーカＭ（アクション）を設定したい場合、再生速度を速くすることによって、このオブジェクトの出現シーンを早期に終了させることができる。オブジェクトの出現シーンを早期に終了させることにより、このオブジェクトに対してマーカＭの表示位置を指定するための操作時間を短縮できる。

本実施形態では、上述した各実施形態と同様の効果が得られる。また本実施形態では、撮影動画２２ａの再生速度を変更できるので、ユーザは、マーカＭの表示位置を指定し易い速度で撮影動画２２ａを再生させることができる。よって、ユーザは、撮影動画２２ａ中の所望の位置をマーカＭの表示位置として精度良く指定できる。本実施形態の構成は、上述した実施形態１，３の情報処理システム１００にも適用でき、実施形態１，３の情報処理システム１００に適用した場合であっても同様の効果が得られる。

（実施形態５）
実施形態１の変形例で、対象物マークＯＭに基づいていずれかのオブジェクトが選択された場合に、選択されたオブジェクトが、既にアクション登録済みのオブジェクトと同一又は関連（類似）するオブジェクトであれば、同じアクションを登録する情報処理システムについて説明する。本実施形態の情報処理システム１００は、実施形態１の情報処理システム１００の各装置１０，２０と同様の装置によって実現されるので、構成については説明を省略する。実施形態１と同様に、本実施形態の情報処理システム１００では、サーバ１０が動画（撮影動画２２ａ）中のオブジェクトを認識（検知）してユーザ端末２０に通知し、ユーザ端末２０は、サーバ１０で検知されたオブジェクトのいずれかに対してアクションを設定し、アクションを設定した動画データをサーバ１０にアップロードする。

本実施形態の情報処理システム１００では、ユーザ端末２０において、アクションを設定すべきオブジェクトが選択された場合に、選択されたオブジェクトが、既にアクションが設定されたオブジェクトと同一又は関連するオブジェクトであるか否かを判断する。そして、ユーザ端末２０は、既にアクションが設定されたオブジェクトと同一又は関連するオブジェクトである場合、同一のアクションを、選択されたオブジェクトに対して設定する。

以下に、本実施形態の情報処理システム１００における各装置が行う処理について説明する。図１８は実施形態５のアクションの設定処理手順の一例を示すフローチャート、図１９はユーザ端末２０における画面例を示す模式図である。図１８に示す処理は、図５に示す処理においてステップＳ２０の前にステップＳ８１〜Ｓ８３を追加したものである。図５と同じステップについては説明を省略する。また図１８では、図５中のステップＳ１１〜Ｓ１７及びＳ２４〜Ｓ２６の図示を省略している。

本実施形態のユーザ端末２０及びサーバ１０は、実施形態１と同様に、ステップＳ１１〜Ｓ１９の処理を行う。そしてユーザ端末２０は、再生中の撮影動画２２ａに重畳表示された対象物マークＯＭに基づいて、いずれかのオブジェクトに対する選択（指定）を受け付けたと判断した場合（Ｓ１９：ＹＥＳ）、選択されたオブジェクトと同一又は関連するオブジェクトに対して既にアクションが登録されているか否かを判断する（Ｓ８１）。即ち、ユーザ端末２０は、選択されたオブジェクトが、既にアクションが登録されたオブジェクトと同一又は関連するオブジェクトであるか否かを判断する。具体的には、ユーザ端末２０は、選択されたオブジェクトのオブジェクトジャンル、メーカ情報、製品情報等をオブジェクトＤＢ１２ｂから読み出し、読み出したオブジェクトジャンル、メーカ情報、製品情報等の少なくとも一部が一致するオブジェクトを、撮影動画２２ａの各シーン画像のオブジェクトＤＢ１２ｂから抽出する。更にユーザ端末２０は、抽出したオブジェクトから、既にアクションが登録されているオブジェクトを特定する。具体的には、ユーザは、オブジェクトＤＢ１２ｂから抽出したオブジェクトのうちで、アクションＤＢ２２ｂにオブジェクトＩＤが記憶してあるオブジェクトを特定する。これにより、選択されたオブジェクトと同一又は関連するオブジェクトで、既にアクションが登録されているオブジェクトを特定することができる。なお、例えばサーバ１０が、各ユーザ端末２０で登録されたアクションを収集する構成を有する場合、ユーザ端末２０は、選択されたオブジェクトと同一又は関連するオブジェクトに対して他のユーザ端末２０で登録されたアクションをサーバ１０から取得してもよい。

ユーザ端末２０は、選択されたオブジェクトと同一又は関連するオブジェクトに対して登録されたアクションがないと判断した場合（Ｓ８１：ＮＯ）、ステップＳ２０に処理を移行する。一方、ユーザ端末２０は、選択されたオブジェクトと同一又は関連するオブジェクトに対して既にアクションが登録されていると判断した場合（Ｓ８１：ＹＥＳ）、同一又は関連するオブジェクトに対して登録されているアクションに関する情報をアクションＤＢ２２ｂから読み出し、読み出した情報に基づいてアクションの確認画面を表示部２５に表示する（Ｓ８２）。具体的には、ユーザ端末２０は、アクションＤＢ２２ｂからマーカ情報、アクションクラス、ＵＲＬ、アクション名等を読み出し、図１９に示すような確認画面を生成して表示する。図１９に示す確認画面は、図７Ａに示すアクション受付画面と同様に、マーカ選択ボタン２５ａ及びアクション入力欄２５ｂを有する。確認画面においてマーカ選択ボタン２５ａは、アクションＤＢ２２ｂから読み出したマーカ情報が示す大きさ及び形状のマーカが選択されていることを示しており、アクション入力欄２５ｂの各入力欄２５ｂａ〜２５ｂｃには、アクションＤＢ２２ｂから読み出した各情報が表示してある。

図１９に示す確認画面は、表示された内容、即ち、既に登録されているアクション内容でアクションの登録を指示するための「この内容で登録」ボタン２５ｃａと、新たな内容でアクションの登録を指示するための新規登録ボタン２５ｃｂとを有する。ユーザ端末２０は、入力部２４を介して新規登録ボタン２５ｃｂが操作されたか否かに応じて、アクションの新規登録を受け付けたか否かを判断する（Ｓ８３）。新規登録を受け付けていないと判断した場合（Ｓ８３：ＮＯ）、即ち、既に登録されているアクション内容での登録指示を受け付けた場合、ユーザ端末２０は、ステップＳ２２の処理に移行し、確認画面に表示されたアクションに関する情報（アクション情報）をアクションＤＢ２２ｂに記憶する（Ｓ２２）。なお、確認画面は、表示された各情報を編集できるように構成されていてもよく、編集された場合、編集後のアクション情報は、新規のアクション情報としてアクションＤＢ２２ｂに記憶されてもよい。

新規登録を受け付けたと判断した場合（Ｓ８３：ＹＥＳ）、ユーザ端末２０は、ステップＳ２０に処理を移行し、図７Ａに示すようなアクション受付画面を表示部２５に表示する（Ｓ２０）。そしてユーザ端末２０は、ステップＳ２１以降の処理を行い、選択されたオブジェクトに対して登録すべき新たなアクションの入力を受け付けてアクションＤＢ２２ｂに登録する。

上述した処理により、本実施形態においても、ユーザ端末２０において各種の公開動画に対して動画中のオブジェクトに、ユーザが所望するアクションを設定することができる。また、本実施形態においても、実施形態１と同様に、ユーザ端末２０は図８に示す処理を行うことにより、サーバ１０からダウンロードした公開動画を閲覧する際に、図９Ａに示すようにマーカＭを付加して表示することができる。また、動画中のマーカＭが選択操作された場合、図９Ｂに示すように、このマーカＭに設定されたアクションを実行することができる。よって、動画中に設定されたアクションによって各オブジェクトを宣伝又は紹介することができ、公開動画の訴求力による販売促進が期待できる。

本実施形態では、上述した各実施形態と同様の効果が得られる。また本実施形態では、アクションの登録対象としてオブジェクトが選択された場合に、このオブジェクトが、既にアクションが登録されたオブジェクトと同一又は関連（類似）するオブジェクトである場合に、同じアクションを登録できる。これにより、ユーザがマーカＭ及びアクションに関する情報を入力する際の操作負担を軽減することができる。本実施形態においても、上述した各実施形態で適宜説明した変形例の適用が可能である。

本実施形態では、再生中の撮影動画２２ａに重畳表示された対象物マークＯＭに基づいて、アクションの登録対象のオブジェクトが指定された場合に、指定されたオブジェクトについて、同一又は関連するオブジェクトに既にアクションが登録されているか否かを判断していた。このほかに、ユーザ端末２０は、サーバ１０から受信したオブジェクトＤＢ１２ｂに基づいて、撮影動画２２ａ中のオブジェクトに対象物マークＯＭを付加する際に、このオブジェクトが、既にアクションが登録されたオブジェクトと同一又は関連するオブジェクトであるか否かを自動的に判断してもよい。そして、ユーザ端末２０は、既にアクションが登録されたオブジェクトと同一又は関連するオブジェクトであると判断した場合に、既に登録してあるアクションを、このオブジェクトに対して登録してもよい。この場合、ユーザ端末２０で再生中の撮影動画２２ａにおいて、オブジェクトに対象物マークＯＭを重畳表示させることなく、アクションを登録することができる。よって、動画中のオブジェクトにアクションが一度登録された場合、このオブジェクトと同一又は関連するオブジェクトが以降のシーン画像に登場したときに同じアクションが自動的に登録される。よって、アクションの登録に要するユーザの操作負担を軽減できる。

（実施形態６）
実施形態１の変形例で、サーバ１０が、ユーザ端末２０から受信した動画（撮影動画２２ａ）の各シーン画像に対するオブジェクトＤＢ１２ｂをまとめてユーザ端末２０へ送信する情報処理システムについて説明する。本実施形態の情報処理システム１００は、実施形態１の情報処理システム１００の各装置１０，２０と同様の装置によって実現されるので、構成については説明を省略する。実施形態１と同様に、本実施形態の情報処理システム１００では、サーバ１０が動画（撮影動画２２ａ）中のオブジェクトを認識してユーザ端末２０に通知する。ここで、本実施形態では、サーバ１０が動画中の各シーン画像に対して生成するオブジェクトＤＢ１２ｂをまとめてユーザ端末２０へ送信する。そしてユーザ端末２０は、撮影動画２２ａを再生しつつ、サーバ１０から受信した各シーン画像のオブジェクトＤＢ１２ｂに基づく対象物マークＯＭを重畳表示させ、動画中のオブジェクトのいずれかに対してアクションの設定を行い、アクションを設定した動画データをサーバ１０にアップロードする。

以下に、本実施形態の情報処理システム１００における各装置が行う処理について説明する。図２０は実施形態６のアクションの設定処理手順の一例を示すフローチャート、図２１はユーザ端末２０における画面例を示す模式図である。図２０に示す処理は、図５に示す処理においてステップＳ１６〜Ｓ１７の代わりにステップＳ９１〜Ｓ９２を追加し、ステップＳ１８の前にステップＳ９３〜Ｓ９５を追加したものである。図５と同じステップについては説明を省略する。また図２０では、図５中のステップＳ２４〜Ｓ２６の図示を省略している。

本実施形態のユーザ端末２０は、実施形態１と同様に、ステップＳ１１〜Ｓ１２の処理を行う。ユーザ端末２０は、撮影動画２２ａの全てのデータをサーバ１０へ送信し、サーバ１０は、撮影動画２２ａの全てのデータを受信して記憶部１２に記憶する。サーバ１０は、ユーザ端末２０から受信して記憶部１２に記憶した撮影動画２２ａに対して、ステップＳ１３〜Ｓ１５の処理を行う。具体的には、サーバ１０は、記憶部１２に記憶した撮影動画２２ａをシーン画像毎に分割し、１つのシーン画像を抜き出す（Ｓ１３）。そしてサーバ１０は、抜き出したシーン画像に基づいて、シーン画像中に存在するオブジェクトを特定し（Ｓ１４）、特定したオブジェクトに関する情報を、このシーン画像に対応するオブジェクトＤＢ１２ｂに記憶する（Ｓ１５）。

本実施形態のサーバ１０は、ユーザ端末２０から受信した撮影動画２２ａの全てのシーン画像に対する処理を終了したか否かを判断し（Ｓ９１）、終了していないと判断した場合（Ｓ９１：ＮＯ）、ステップＳ１３の処理に戻る。そしてサーバ１０は、次のシーン画像を抜き出し（Ｓ１３）、次のシーン画像に対してステップＳ１４〜Ｓ１５の処理を行う。サーバ１０は、全てのシーン画像に対する処理を終了するまでステップＳ１３〜Ｓ１５の処理を繰り返し、各シーン画像に対してオブジェクトＤＢ１２ｂを生成する。全てのシーン画像に対する処理を終了したと判断した場合（Ｓ９１：ＹＥＳ）、サーバ１０は、生成した全てのオブジェクトＤＢ１２ｂをまとめてユーザ端末２０へ送信する（Ｓ９２）。

ユーザ端末２０は、サーバ１０が送信した全てのオブジェクトＤＢ１２ｂを受信して記憶部２２に記憶する（Ｓ９３）。そしてユーザ端末２０は、アクションを設定すべき撮影動画２２ａの再生処理を開始する（Ｓ９４）。その際、ユーザ端末２０は、記憶部２２に記憶したオブジェクトＤＢ１２ｂに基づいて、図２１に示すような再生バー２５ｈを生成し、撮影動画２２ａと共に表示部２５に表示する（Ｓ９５）。図２１に示す再生バー２５ｈは、表示中のシーン画像の再生開始からの再生時間（再生位置）を示す再生位置指示部２５ｈａを有し、更に、サーバ１０でオブジェクトが認識された各シーン画像の再生位置を示す識別子２５ｈｂを有する。即ち、識別子２５ｈｂは、オブジェクトが認識された各シーン画像の再生位置に対応する位置に表示してある。ユーザは、このような再生バー２５ｈによって現在の再生位置を把握できると共に、オブジェクトが含まれるシーン画像の位置を把握できる。なお、再生バー２５ｈは、再生位置指示部２５ｈａを入力部２４にて移動させることにより、移動後の再生位置から再生処理を開始（再開）させることができる。よって、ユーザは撮影動画２２ａを初めから再生させる必要はなく、所望の位置から再生させることができる。なお、再生バー２５ｈ中の識別子２５ｈｂは、シーン画像中のオブジェクトの種類（オブジェクトラベル又はオブジェクトジャンル）毎に異なる態様で表示されてもよい。例えば、１つの再生バー２５ｈにおいて、オブジェクトの種類毎に異なる色又は模様の識別子２５ｈｂが表示されてもよい。また、オブジェクトの種類毎に再生バー２５ｈが生成され、それぞれの再生バー２５ｈに、それぞれの種類のオブジェクトを含むシーン画像の再生位置を示す識別子２５ｈｂが表示されてもよい。

その後、ユーザ端末２０は、ステップＳ１８以降の処理を行う。具体的には、ユーザ端末２０は、撮影動画２２ａの各シーン画像を表示させつつ、各シーン画像のオブジェクトＤＢ１２ｂに記憶してある各情報に基づいて対象物マークＯＭを重畳表示させる（Ｓ１８）。なお、本実施形態では、ステップＳ２３で処理対象の撮影動画２２ａの再生処理が終了していないと判断した場合（Ｓ２３：ＮＯ）、ユーザ端末２０は、ステップＳ１８の処理に戻る。上述した処理により、本実施形態においても、ユーザ端末２０において各種の公開動画に対して動画中のオブジェクトに、ユーザが所望するアクションを設定することができる。また、本実施形態においても、実施形態１と同様に、ユーザ端末２０は図８に示す処理を行うことにより、サーバ１０からダウンロードした公開動画を閲覧する際に、図９Ａに示すようにマーカＭを付加して表示することができる。更に、動画中のマーカＭが選択操作された場合、図９Ｂに示すように、このマーカＭに設定されたアクションを実行することができる。

本実施形態では、上述した各実施形態と同様の効果が得られる。また本実施形態では、動画中にオブジェクトが認識されたシーン画像の位置（再生開始からの再生時間）を表示する再生バー２５ｈが表示される。よって、再生バー２５ｈによって現在の再生位置を把握すると共に、オブジェクトが含まれるシーン画像の位置を確認し、再生位置指示部２５ｈａを移動させることにより、所望の位置から再生処理を行うことができる。これにより、撮影動画２２ａ中のオブジェクトにアクションを設定する際の撮影動画２２ａの再生時間を短縮できる。よって、動画中のオブジェクトにアクションを設定する際のユーザの操作負担を軽減することができる。本実施形態においても、上述した各実施形態で適宜説明した変形例の適用が可能である。本実施形態の構成は、上述した実施形態５の情報処理システム１００にも適用でき、実施形態５の情報処理システム１００に適用した場合であっても同様の効果が得られる。

（実施形態７）
実施形態１の変形例で、複数のオブジェクトが重なって撮影されたシーン画像において、いずれかのオブジェクトに付加された対象物マークＯＭが選択された場合に、重なっている各オブジェクトが明確になるように再表示する情報処理システムについて説明する。本実施形態の情報処理システム１００は、実施形態１の情報処理システム１００の各装置１０，２０と同様の装置によって実現されるので、構成については説明を省略する。

以下に、本実施形態の情報処理システム１００における各装置が行う処理について説明する。図２２は実施形態７のアクションの設定処理手順の一例を示すフローチャート、図２３はユーザ端末２０における画面例を示す模式図である。図２２に示す処理は、図５に示す処理においてステップＳ２０の前にステップＳ１０１〜Ｓ１０３を追加したものである。図５と同じステップについては説明を省略する。また図２２では、図５中のステップＳ１１〜Ｓ１７及びＳ２４〜Ｓ２６の図示を省略している。

本実施形態のユーザ端末２０及びサーバ１０は、実施形態１と同様に、ステップＳ１１〜Ｓ１９の処理を行う。そしてユーザ端末２０は、再生中の撮影動画２２ａに重畳表示された対象物マークＯＭに基づいて、いずれかのオブジェクトに対する選択を受け付けたと判断した場合（Ｓ１９：ＹＥＳ）、選択されたオブジェクトに重なって表示されているオブジェクトがあるか否かを判断する（Ｓ１０１）。例えば、ユーザ端末２０は、ユーザがオブジェクトを選択するために指定した操作位置と、サーバ１０で特定されたオブジェクトの領域（対象物マークＯＭ）とを比較し、操作位置の画素を含む対象物マークＯＭが複数あるか否かを判断する。そして、複数あると判断した場合、ユーザ端末２０は、選択されたオブジェクトに重なって表示されているオブジェクトがあると判断する。またユーザ端末２０は、ユーザがオブジェクトを選択するために指定した操作位置を含む対象物マークＯＭを１つ特定し、特定した対象物マークＯＭに重なって表示される他の対象物マークＯＭがあるか否かを判断してもよい。

ユーザ端末２０は、選択されたオブジェクトに重なって表示されているオブジェクトがあると判断した場合（Ｓ１０１：ＹＥＳ）、各オブジェクトをシーン画像から抽出して重ならない状態で表示する（Ｓ１０２）。例えば、図２３Ａに示すように円形オブジェクト、三角形オブジェクト及び四角形オブジェクトの３つのオブジェクトが重なって表示されている場合に、図２３Ｂに示すような位置をユーザが指定（操作）したときは、図２３Ｂに示すように各オブジェクトがシーン画像から抽出されて表示される。なお、前側のオブジェクトに隠れて後側に表示されているオブジェクトについては、前後のシーン画像から、隠れていない状態のオブジェクトの画像を抽出して表示する。図２３Ｂに示すように各オブジェクトが表示された画面において、ユーザ端末２０は、いずれかのオブジェクトに対する選択を受け付けたか否かを判断する（Ｓ１０３）。いずれかのオブジェクトに対する選択を受け付けたと判断した場合（Ｓ１０３：ＹＥＳ）、ユーザ端末２０は、選択されたオブジェクトに対してアクションを設定するためのアクション受付画面を表示部２５に表示し（Ｓ２０）、ステップＳ２１移行の処理を行う。これにより、ユーザ端末２０は、ステップＳ１０３で選択されたオブジェクトに対して設定すべきアクションを受け付け、アクションＤＢ２２ｂに記憶する。

なお、図２３Ｂに示すような画面において、いずれかのオブジェクトに対する選択を受け付けていないと判断した場合（Ｓ１０３：ＮＯ）、ユーザ端末２０は、ステップＳ２３の処理に移行する。またユーザ端末２０は、ステップＳ１０１で重なって表示されているオブジェクトはないと判断した場合（Ｓ１０１：ＮＯ）、ステップＳ２０の処理に移行し、ステップＳ２０以降の処理を行う。これにより、ユーザ端末２０は、ステップＳ１９で選択されたオブジェクトに対して設定すべきアクションを受け付け、アクションＤＢ２２ｂに記憶する。

本実施形態では、上述した各実施形態と同様の効果が得られる。また本実施形態では、１つのシーン画像中に複数のオブジェクトが重なって表示される撮影動画２２ａであっても、それぞれのオブジェクトを各別に表示することができるので、各オブジェクトを容易に選択（指定）することができる。よって、動画中のオブジェクトにアクションを設定する際のユーザの操作負担を軽減することができる。本実施形態においても、上述した各実施形態で適宜説明した変形例の適用が可能である。本実施形態の構成は、上述した実施形態５〜６の情報処理システム１００にも適用でき、実施形態５〜６の情報処理システム１００に適用した場合であっても同様の効果が得られる。

（実施形態８）
動画中のオブジェクトが選択操作された場合に、このオブジェクトの種類（オブジェクトラベル）又はジャンルに対して登録してあるアクションが実行される情報処理システムについて説明する。本実施形態の情報処理システム１００は、実施形態１の情報処理システム１００の各装置１０，２０と同様の装置によって実現されるので、構成については説明を省略する。なお、本実施形態では、サーバ１０は、図２に示す構成に加えて、記憶部１２にメーカ情報ＤＢ１２ｄを記憶している。

図２４は、メーカ情報ＤＢ１２ｄの構成例を示す模式図である。メーカ情報ＤＢ１２ｄは、メーカ毎に、オブジェクトの種類（オブジェクトラベル）又はジャンルに対して予め登録されたアクションに関する情報を記憶する。図２４に示すメーカ情報ＤＢ１２ｄは、メーカ情報列、ラベル列、マーカ情報列、アクションＩＤ列、アクションクラス列、ＵＲＬ名列、ＵＲＬ列、ＵＲＬ情報列、説明情報列、アクション名例等を含む。メーカ情報列は、予めアクションを登録している企業、会社等に関する情報を記憶し、例えばメーカ名が記憶される。ラベル列は、例えば対象物認識モデル１２ａによって判別可能なオブジェクトの種類を示すラベル情報を記憶する。メーカ情報ＤＢ１２ｄは、メーカ情報及びラベル情報に対応付けて、ラベル情報が示すラベルの対象物（アイテム）に対して登録されたアクションに関する各種の情報を記憶する。マーカ情報列、アクションＩＤ列、アクションクラス列、ＵＲＬ名列、ＵＲＬ列、ＵＲＬ情報列、説明情報列、アクション名列のそれぞれは、図４Ｂに示したアクションＤＢ２２ｂの各列と同じ情報を記憶する。メーカ情報ＤＢ１２ｄに記憶される各情報は、制御部１１が通信部１３を介して取得した場合に、制御部１１によって記憶される。メーカ情報ＤＢ１２ｄの記憶内容は図２４に示す例に限定されず、メーカ毎又はラベル情報毎に登録されるアクションに関する各種の情報を記憶してもよい。

本実施形態の情報処理システム１００では、ユーザ端末２０が、撮影動画２２ａに対してアクションＤＢ２２ｂを作成し、作成したアクションＤＢ２２ｂを撮影動画２２ａに付加してサーバ１０にアップロードする。またユーザ端末２０は、サーバ１０がネットワークＮ経由で公開している公開用動画をダウンロードして閲覧できる。

以下に、本実施形態の情報処理システム１００における各装置が行う処理について説明する。本実施形態の情報処理システム１００では、ユーザ端末２０及びサーバ１０は、図５に示す処理と同様の処理を行うことができ、同様の処理を行うことにより、撮影動画２２ａ中のオブジェクトに各種のアクションを設定（登録）することができる。図２５は実施形態８の公開用動画の再生処理手順の一例を示すフローチャート、図２６はユーザ端末２０における画面例を示す模式図である。図２５に示す処理は、図８に示す処理においてステップＳ３８の前にステップＳ１１１〜Ｓ１１４を追加したものである。図８と同じステップについては説明を省略する。

本実施形態のユーザ端末２０及びサーバ１０は、実施形態１と同様に、ステップＳ３１〜Ｓ３７の処理を行う。そしてユーザ端末２０は、閲覧中の公開動画に重畳表示されたいずれかのマーカＭに対する選択を受け付けたと判断した場合（Ｓ３７：ＹＥＳ）、選択されたマーカＭが付加されたオブジェクトの種類（オブジェクトラベル）に対してアクションが登録されているか否か（登録されたアクションがあるか否か）をサーバ１０に問い合わせる（Ｓ１１１）。具体的には、ユーザ端末２０は、選択されたマーカＭが付加されたオブジェクトのオブジェクトラベルをオブジェクトＤＢ１２ｂから読み出し、読み出したオブジェクトラベルに対応付けてアクション情報がサーバ１０のメーカ情報ＤＢ１２ｄに登録されているか否かをサーバ１０に問い合わせる。

サーバ１０は、ユーザ端末２０からの問い合わせに応じて、受信したオブジェクトラベル（ラベル）に対応付けてアクション情報がメーカ情報ＤＢ１２ｄに登録されているか否かを判断し、判断結果に応じた問い合わせ結果をユーザ端末２０へ送信する（Ｓ１１２）。具体的には、サーバ１０は、受信したオブジェクトラベルに対応するアクション情報がメーカ情報ＤＢ１２ｄに登録されている場合、オブジェクトラベルに対応付けて記憶してあるマーカ情報及びアクション情報をメーカ情報ＤＢ１２ｄから読み出して、ユーザ端末２０へ送信する。なお、受信したオブジェクトラベルに対応するアクション情報がメーカ情報ＤＢ１２ｄに登録されていない場合、サーバ１０は、アクションが登録されていないことを示す問い合わせ結果をユーザ端末２０へ送信する。

ユーザ端末２０は、サーバ１０から問い合わせ結果を受信し、受信した問い合わせ結果から、選択されたオブジェクトのラベルに対応して登録されたアクションがあるか否かを判断する（Ｓ１１３）。登録されたアクションがないと判断した場合（Ｓ１１３：ＮＯ）、ユーザ端末２０は、実施形態１と同様に、ステップＳ３８以降の処理を行う。即ち、ユーザ端末２０は、選択されたマーカＭに対応するオブジェクトに対して設定されたアクションの情報をアクションＤＢ２２ｂから読み出し、読み出したアクション情報に基づくアクションを実行する（Ｓ３８）。一方、登録されたアクションがあると判断した場合（Ｓ１１３：ＹＥＳ）、ユーザ端末２０は、サーバ１０から受信したアクション情報に基づくアクション（登録されていたアクション）を実行する（Ｓ１１４）。これにより、ユーザ端末２０は、例えば図２６Ａに示すように、オブジェクトラベルがdrinkと判別されるオブジェクトに重畳表示されたマーカＭが選択操作された場合、このオブジェクトのラベル（ここではdrink）に対応してアクションが登録されているか否かをサーバ１０に問い合わせ、登録されているアクションに係る情報をサーバ１０から受信することにより、オブジェクトラベルに対して登録されているアクションを実行することができる。なお、登録されているアクションは例えば、説明情報の表示、ＵＲＬ名、ＵＲＬ、ＵＲＬ情報等の表示、各リンク先へアクセス等を用いることができる。また、アクションが登録されていないラベルのオブジェクトについては、ユーザがアクション設定処理によって設定したアクションを実行できる。なお、１つのオブジェクトに対して、このオブジェクトのラベルに対して登録してあるアクションと、ユーザが設定したアクションとがある場合に、いずれのアクションを実行すべきかを選択できるように構成されていてもよい。

ユーザ端末２０は、ステップＳ３８又はステップＳ１１４の処理後、実施形態１と同様に、ステップＳ３９以降の処理を行う。これにより、本実施形態においても、実施形態１と同様に、ユーザ端末２０は、サーバ１０からダウンロードした公開動画を閲覧中に動画中のマーカＭが選択操作された場合に、図９Ｂ及び図２６Ｂに示すように、このマーカＭに設定されたアクションを実行することができ、アクションに応じた処理の実行指示を受け付けた場合に、実行指示された処理を実行することができる。

本実施形態では、上述した各実施形態と同様の効果が得られる。また本実施形態では、動画中のオブジェクトのラベル（種類）に対応してサーバ１０側でアクションを登録しておくことにより、動画の再生中に選択されたオブジェクトに対して、オブジェクトラベルに対応して登録されているアクションを実行することができる。このような構成により、例えばオブジェクトラベル「犬」に対応して、ドッグフードメーカの広告ページへのリンクを表示するアクションを登録しておくことによって、動画中に写っている犬（具体的には、犬に対応付けて表示されているマーカ）が選択された場合に、ドッグフードメーカの広告ページへのリンクを表示することができる。また、例えばオブジェクトラベル「赤ちゃん・乳幼児」に対応して、写真館又はカメラメーカの広告ページへのリンクを表示するアクションを登録しておくことによって、動画中に写っている赤ちゃん（具体的には、赤ちゃんに対応付けて表示されているマーカ）が選択された場合に、写真館又はカメラメーカの広告ページへのリンクを表示することができる。このように、本実施形態では、オブジェクト毎にユーザが設定したアクションだけでなく、メーカ側の担当者がオブジェクトラベルに対応付けて設定したアクションを実行することができる。よって、メーカ側が設定したいアクション（メーカ又は製品の宣伝又は紹介等）の設定が可能であり、公開動画の訴求力による販売促進がより期待できる。このようにサーバ１０側でアクションを管理することにより、アクションに紐づくリンクを、メーカ等の各種会社側で管理できる。即ち、例えばアクションとして設定されているリンク先の会社において、リンクに基づいてアクセスされた場合に、例えば１００回のアクセスに対して１回の割合で当たりを配布するように、アクションの内容（リンクへのアクセスによって得られる内容）を変更することができる。このような構成とした場合、例えば当たりを出すために、動画中のオブジェクト（オブジェクトに付与されたマーカ）を介したリンク先へのアクセス数の増加が期待でき、リンク先のウェブページによる宣伝効率の向上が期待できる。また、例えば２０種類のＵＲＬをサーバ１０側で用意しておき、動画中に設定されたリンク（アクション）に基づくアクセスに対して異なるＵＲＬをユーザ端末２０に提供することにより、動画に設定された同じアクションに基づくアクセスであっても異なるＵＲＬの取得が可能となる。よって、異なるＵＲＬを取得するために、動画中のオブジェクト（オブジェクトに付与されたマーカ）を介したリンク先へのアクセス数の増加が期待できる。

本実施形態では、公開用動画の再生時に、ユーザ端末２０が、動画中のオブジェクトの種類等に応じてサーバ１０側で用意されているアクション（ＵＲＬへのリンク）をサーバ１０から取得してユーザに提供する構成である。このほかに、動画に対してアクションを設定する際に、ユーザ端末２０が、設定すべきアクションとして、サーバ１０側で用意されたアクションをサーバ１０から取得して設定するように構成することもできる。このような構成とした場合、アクションの設定時に、メーカ側が設定したいアクション（メーカ又は製品の宣伝又は紹介等）の設定が可能となる。上述したようにサーバ１０側でアクションを管理することにより、例えば各社のキャンペーン切り替え時にサーバ１０の記憶部１２に記憶されているアクションの情報を更新することによって、動画中のオブジェクトに設定されるアクションをリアルタイムで切り替えることができる。従って、ユーザ端末２０のユーザは、アクションの内容を意識することなく、サーバ１０側で用意されているアクションを設定することによって、メーカ側が希望するアクションの設定が可能となる。

本実施形態においても、上述した各実施形態で適宜説明した変形例の適用が可能である。本実施形態の構成は、上述した実施形態２〜７の情報処理システム１００にも適用でき、実施形態２〜７の情報処理システム１００に適用した場合であっても同様の効果が得られる。なお、実施形態２〜４の情報処理システム１００に適用した場合、ユーザは動画中の任意の位置に対してマーカＭの表示位置を指定した後に、図７Ａ及び図７Ｂに示すようなアクション受付画面を介してアクション内容を入力する。このとき、ユーザが、マーカＭで指し示すオブジェクトのラベル情報を入力するように構成しておく。これにより、動画中の任意の位置にアクションを設定する場合であっても、設定されるマーカＭ（マーカＭが示すオブジェクト）に対してラベル情報を対応付けることができる。よって、動画を閲覧する際に、選択されたマーカＭに対応付けられたラベル情報に基づいてサーバ１０側で登録されているアクションをサーバ１０から取得することができ、オブジェクトラベル毎に登録されたアクションを実行することができる。

上述した各実施形態において、サーバ１０が対象物認識モデル１２ａを用いて撮影動画２２ａ中のオブジェクトを検知する際に、検知対象とするオブジェクトの種類（オブジェクトラベル）又はジャンルを予め登録できるように構成してもよい。例えば、ユーザ端末２０の動画アプリ２２ＡＰ又はサーバ１０において、検知対象とすべきオブジェクトのラベル又はジャンルが登録できるように構成してもよい。なお、サーバ１０においては、ユーザ毎に検知対象とすべきオブジェクトのラベル又はジャンルを登録できるように構成してもよい。また、サーバ１０が検知結果として出力する条件を予め設定できるように構成してもよい。例えば、ユーザ端末２０の動画アプリ２２ＡＰ又はサーバ１０において、サーバ１０による対象物認識モデル１２ａを用いた検知処理によって判別確率が所定値（例えば８０％）以上であったオブジェクトのみを検知結果として出力するように構成してもよい。このような構成とした場合、サーバ１０による検知対象又は検知結果として出力すべき対象を制限することができ、動画中に含まれる多数のオブジェクトから、処理対象とすべきオブジェクトを制限できる。よって、不要な対象物マークＯＭ又はマーカＭの表示を抑制することができる。

今回開示された実施の形態はすべての点で例示であって、制限的なものでは無いと考えられるべきである。本開示の範囲は、上記した意味では無く、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

１０サーバ
１１制御部
１２記憶部
１３通信部
１４入力部
２０ユーザ端末
２１制御部
２２記憶部
２３通信部
１２ａ対象物認識モデル

Claims

動画中の対象物の指定を受け付け、
指定された前記対象物に対応してアクションの指定を受け付け、
指定された前記アクションに係る情報を、指定された前記動画中の対象物に対応付ける
処理をコンピュータに実行させるプログラム。
前記動画中の対象物を示す対象物マークを、前記動画中の対象物をトラッキングするように前記動画に付加し、
前記対象物マークに基づいて前記動画中の対象物の指定を受け付ける
処理を前記コンピュータに実行させる請求項１に記載のプログラム。
前記動画中の対象物が、既にアクションが対応付けられている対象物と同一又は関連する対象物であるか否かを判断し、
同一又は関連する対象物であると判断した場合、前記動画中の対象物に、同一又は関連する対象物に既に対応付けられているアクションに係る情報を対応付ける
処理を前記コンピュータに実行させる請求項１又は２に記載のプログラム。
前記動画に含まれる各フレームの前記動画の再生開始からの再生時間を示すバーを表示し、
同一又は関連する対象物を含むフレームであることを示す識別子を、前記バーにおける、前記フレームの前記再生時間に対応する位置に表示する
処理を前記コンピュータに実行させる請求項１から３までのいずれかひとつに記載のプログラム。
前記動画中の対象物の種別に対応付けて、企業に関するアクションが登録してある場合、前記動画中の対象物の種別に応じた前記企業に関するアクションに係る情報を、前記動画中の対象物に対応付ける
処理を前記コンピュータに実行させる請求項１から４までのいずれかひとつに記載のプログラム。
前記動画中の対象物の指定を受け付けた場合に、指定された対象物と重なって表示される他の対象物があるか否かを判断し、
前記他の対象物があると判断した場合、指定された前記対象物及び前記他の対象物を重ならないように表示し、
重ならないように表示した前記対象物のいずれかの選択を受け付ける
処理を前記コンピュータに実行させる請求項１から５までのいずれかひとつに記載のプログラム。
動画中の任意の位置の指定を受け付け、
指定された前記位置に対応してアクションの指定を受け付け、
指定された前記アクションに係る情報を、指定された前記動画中の位置に対応付ける
処理をコンピュータに実行させるプログラム。
前記任意の位置の指定を開始すべき前記動画中のフレームを表示し、
表示中の前記フレームから前記動画の再生を開始する指示を受け付けた場合に、所定時間をカウントダウンし、
カウントダウン終了後に前記動画を再生させつつ前記任意の位置の指定を受け付ける
処理を前記コンピュータに実行させる請求項７に記載のプログラム。
前記動画中の任意の位置の指定を受け付ける際に、前記動画の再生速度の指定を受け付け、
指定された前記再生速度で前記動画を再生させつつ前記任意の位置の指定を受け付ける
処理を前記コンピュータに実行させる請求項７又は８に記載のプログラム。
過去に指定されたアクションの履歴を表示し、
表示した前記アクションの履歴に基づいて、前記アクションの指定を受け付ける
処理を前記コンピュータに実行させる請求項１から９までのいずれかひとつに記載のプログラム。
前記アクションは、対象物に関する情報の表示、対象物に関連するウェブサイト又はＳＮＳ（Social Networking Service ）へのリンク、又は対象物に関する地図の表示のいずれかを含む
請求項１から１０までのいずれかひとつに記載のプログラム。
動画中の対象物にアクションに係る情報が対応付けてある動画を再生する際に、前記対象物に対応するマーカを前記動画に付加して表示し、
前記マーカが選択された場合に、前記マーカに対応する前記対象物に対応付けられている前記アクションに係る情報に基づいて前記アクションを実行する
処理をコンピュータに実行させるプログラム。
動画中の任意の位置にアクションに係る情報が対応付けてある動画を再生する際に、動画中の前記位置にマーカを付加して表示し、
前記マーカが選択された場合に、前記マーカが付加された前記位置に対応付けられている前記アクションに係る情報に基づいて前記アクションを実行する
処理をコンピュータに実行させるプログラム。
動画中の任意の位置の指定を受け付ける位置受付部と、
指定された前記位置に対応してアクションの指定を受け付けるアクション受付部と、
指定された前記アクションに係る情報を、指定された前記動画中の位置に対応付ける対応付け部と
を備える情報処理装置。
動画中の任意の位置の指定を受け付け、
指定された前記位置に対応してアクションの指定を受け付け、
指定された前記アクションに係る情報を、指定された前記動画中の位置に対応付ける
処理をコンピュータが実行する情報処理方法。
動画を所定のサーバへ送信する端末装置と、
前記端末装置が送信した前記動画を取得する取得部、
入力された画像に含まれる対象物を特定した特定結果を出力する学習済みモデルを用いて、前記取得部が取得した動画中の前記対象物に対応する対象物領域を特定する特定部、
前記取得部が取得した動画に基づいて、前記特定部が特定した対象物領域をトラッキングするトラッキング部、及び
トラッキング結果を前記端末装置へ送信する送信部を有するサーバとを備え、
前記端末装置は、
前記サーバが送信した前記トラッキング結果に基づいて、前記動画中の対象物を示す対象物マークを、前記動画中の対象物をトラッキングするように前記動画に付加する付加部、
前記対象物マークに基づいて、前記動画中の対象物の指定を受け付ける対象物受付部、
指定された前記対象物に対応してアクションの指定を受け付けるアクション受付部、及び
指定された前記アクションに係る情報を、指定された前記動画中の対象物に対応付ける対応付け部を更に有する
情報処理システム。