JP7465856B2

JP7465856B2 - Server, terminal, distribution system, distribution method, information processing method, and program

Info

Publication number: JP7465856B2
Application number: JP2021164629A
Authority: JP
Inventors: 直道鹿島; 達郎深瀬; 太清五十嵐
Original assignee: Dwango Co Ltd
Current assignee: Dwango Co Ltd
Priority date: 2020-06-26
Filing date: 2021-10-06
Publication date: 2024-04-11
Anticipated expiration: 2040-06-26
Also published as: JP2022020079A; JP6982659B1; JP2022008888A

Description

本発明は、サーバ、端末、配信システム、配信方法、および情報処理方法に関する。 The present invention relates to a server, a terminal, a distribution system, a distribution method, and an information processing method.

携帯端末の高性能化によって位置情報を利用したアプリケーションや画像認識を利用したアプリケーションが普及している。 As mobile devices become more powerful, applications that use location information and image recognition are becoming more common.

特許文献１の技術では、サーバは、携帯端末の位置に基づき、携帯端末により撮影される現実空間に対応した仮想表示情報を送信し、携帯端末は、撮影された現実空間に仮想表示情報を重ねて表示する。 In the technology of Patent Document 1, the server transmits virtual display information corresponding to the real space captured by the mobile device based on the position of the mobile device, and the mobile device displays the virtual display information by overlaying it on the captured real space.

特許文献２の技術では、サーバは、端末からの画像に対する画像認識処理の結果から商品を特定し、商品に対して所定の行動を取った人を表す表示用オブジェクトを生成して端末へ送信し、端末は、画像上に表示用オブジェクトを重畳して表示する。 In the technology of Patent Document 2, the server identifies a product from the results of image recognition processing of an image from a terminal, generates a display object representing a person who has taken a specific action with respect to the product, and transmits it to the terminal, and the terminal displays the display object by superimposing it on the image.

特開２０１１－２４２８１６号公報JP 2011-242816 A 国際公開第２０１２／０９６０１３号International Publication No. 2012/096013

特許文献１では、仮想表示情報は位置のみに紐付けて管理されているので、様々な情報が混在し、ＡＲ空間が混沌としてしまうという問題があった。 In Patent Document 1, the virtual display information is managed by linking it only to the position, which causes a problem in that various information is mixed together, making the AR space chaotic.

特許文献２は、画像認識処理で商品を検出し、その商品についての情報を画像上に重畳して表示できるが、商品を撮影した位置情報を利用するものではない。 Patent Document 2 detects products using image recognition processing and can display information about the products by superimposing it on the image, but it does not use location information from when the product was photographed.

本発明は、上記に鑑みてなされたものであり、位置情報に基づくコンテンツを提供することを目的とする。 The present invention has been made in consideration of the above, and aims to provide content based on location information.

本発明の一態様の配信システムは、コンテンツを配信する配信システムであって、コンテンツを配信するサーバと前記コンテンツを視聴するための端末を備え、前記サーバは、マーカーと位置情報の組にコンテンツを関連付けて保持する蓄積部と、マーカー情報と位置情報を受信する受信部と、前記マーカー情報の示すマーカーと位置情報の組を前記蓄積部から検索し、当該マーカーと位置情報の組に関連付けられたコンテンツを取得する取得部と、前記マーカーと位置情報の組に関連付けられたコンテンツを送信する送信部を有し、前記受信部は、前記コンテンツに対するコメントを受信し、前記蓄積部は、前記コンテンツに対して投稿されたコメントを前記マーカーと位置情報の組ごとに保持し、前記送信部は、前記マーカーと位置情報の組に関連付けられたコメントを送信し、前記端末は、画像を撮影する撮影部と、当該端末の位置情報を取得する位置検出部と、前記画像を画像認識処理してマーカーを検出する画像認識部と、前記画像から検出したマーカー情報と前記位置情報を送信する端末送信部と、前記マーカー情報の示すマーカーと前記位置情報の組に関連付けられたコンテンツを受信する端末受信部と、前記コンテンツを表示する表示部を有し、前記端末送信部は、前記コンテンツに対するコメントを送信し、前記端末受信部は、前記マーカーと位置情報の組に関連付けられたコメントを受信し、前記表示部は、受信した前記コメントを表示する。 A distribution system according to one aspect of the present invention is a distribution system for distributing content, comprising a server for distributing content and a terminal for viewing the content, the server having a storage unit for storing content in association with a pair of a marker and location information, a receiving unit for receiving the marker information and the location information, an acquiring unit for searching the storage unit for a pair of a marker and location information indicated by the marker information and acquiring content associated with the pair of the marker and location information, and a transmitting unit for transmitting the content associated with the pair of the marker and location information, the receiving unit receiving comments on the content, and the storage unit storing comments posted on the content in association with the pair of the marker and location information. The marker and location information are stored for each pair, and the transmission unit transmits a comment associated with the pair of the marker and location information, and the terminal has a photographing unit that photographs an image, a position detection unit that acquires position information of the terminal, an image recognition unit that performs image recognition processing on the image to detect markers, a terminal transmission unit that transmits the marker information and the position information detected from the image, a terminal receiving unit that receives content associated with the pair of the marker indicated by the marker information and the position information, and a display unit that displays the content, and the terminal transmission unit transmits the comment for the content, the terminal receiving unit receives the comment associated with the pair of the marker and location information, and the display unit displays the received comment .

本発明によれば、位置情報に基づくコンテンツを提供することができる。 The present invention makes it possible to provide content based on location information.

本実施形態のコンテンツ配信システムの構成の一例を示す図である。FIG. 1 is a diagram illustrating an example of a configuration of a content distribution system according to an embodiment of the present invention. マーカーの写っている画像の一例を示す図である。FIG. 13 is a diagram showing an example of an image showing a marker. マーカーにコンテンツを重畳した表示画面の一例を示す図である。FIG. 13 is a diagram showing an example of a display screen in which content is superimposed on a marker. マーカーが登録されている位置を示すマップの一例を示す図である。FIG. 13 is a diagram showing an example of a map indicating positions where markers are registered. サーバの構成の一例を示す機能ブロック図である。FIG. 2 is a functional block diagram illustrating an example of a server configuration. ユーザ端末の構成の一例を示す機能ブロック図である。FIG. 2 is a functional block diagram showing an example of the configuration of a user terminal. サーバの処理の流れを示すフローチャートである。13 is a flowchart showing a flow of processing by the server. ユーザ端末の処理の流れを示すフローチャートである。13 is a flowchart showing a process flow of a user terminal. マーカーとしてランドマークを用いた例を示す図である。FIG. 13 is a diagram showing an example in which landmarks are used as markers. ユーザがマーカーと位置情報の組を登録する処理の流れを示すフローチャートである。13 is a flowchart showing the flow of a process in which a user registers a pair of a marker and position information.

［コンテンツ配信システム］
以下、本発明の実施の形態について図面を用いて説明する。 [Content distribution system]
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.

図１に示すように、本実施形態のコンテンツ配信システムは、サーバ１とユーザ端末３を備える。サーバ１とユーザ端末３とはネットワークを介して接続される。図１ではサーバ１を１台のみ図示しているが、機能ごとに複数台のサーバを備えてもよいし、クラウド上でサーバ１の機能を実現してもよい。ユーザ端末３の数は２台に限るものではなく、多数のユーザ端末３がサーバ１に接続する。 As shown in FIG. 1, the content distribution system of this embodiment includes a server 1 and a user terminal 3. The server 1 and the user terminal 3 are connected via a network. Although only one server 1 is shown in FIG. 1, multiple servers may be provided for each function, or the functions of the server 1 may be realized on the cloud. The number of user terminals 3 is not limited to two, and multiple user terminals 3 may be connected to the server 1.

ユーザ端末３は、ユーザ端末３の備えるカメラで撮影して得られたマーカーの情報とユーザ端末３の位置情報をサーバ１へ送信する。図２に、ユーザ端末３で撮影したマーカー２１０の写っている画像２００の一例を示す。同図に示す画像２００内には扉に貼り付けられたマーカー２１０が写っている。ユーザ端末３は、撮影した画像２００と撮影位置の位置情報をサーバ１へ送信する。なお、図２のマーカー２１０は一例であり、画像認識で特定可能な被写体をマーカーとして利用できる。例えば、マーカーとして、図形、ポスター、人物、モニュメント、あるいはランドマークを利用できる。 The user terminal 3 transmits to the server 1 information about the marker captured by a camera equipped in the user terminal 3 and location information about the user terminal 3. FIG. 2 shows an example of an image 200 captured by the user terminal 3, showing a marker 210. The image 200 shown in the figure shows a marker 210 attached to a door. The user terminal 3 transmits the captured image 200 and location information about the capture location to the server 1. Note that the marker 210 in FIG. 2 is just an example, and any subject that can be identified by image recognition can be used as a marker. For example, a figure, a poster, a person, a monument, or a landmark can be used as a marker.

サーバ１は、マーカーと位置情報の組に関連付けられたコンテンツをユーザ端末３に返信する。例えば、サーバ１は、画像認識により、受信した画像２００からマーカー２１０を認識し、認識したマーカー２１０と受信した位置情報の組が登録されていれば、サーバ１は、その組に関連付けられたコンテンツをユーザ端末３に返信する。コンテンツにコメントが付与されている場合、サーバ１は、コンテンツとともにコメントをユーザ端末３へ返信する。 The server 1 returns content associated with the pair of the marker and the location information to the user terminal 3. For example, the server 1 recognizes the marker 210 from the received image 200 by image recognition, and if the pair of the recognized marker 210 and the received location information is registered, the server 1 returns content associated with that pair to the user terminal 3. If a comment has been added to the content, the server 1 returns the comment together with the content to the user terminal 3.

ユーザ端末３は、サーバ１から受信したコンテンツを表示する。図３に、ユーザ端末３においてコンテンツである動画３１０を表示した表示画面３００の一例を示す。同図に示す表示画面３００では、ＡＲ技術を用いて、ユーザ端末３で撮影した映像のマーカー内にサーバ１から受信した動画３１０を重畳させて表示している。動画３１０を表示する態様はこれに限るものではない。撮影したマーカーの手前において、マーカーよりも大きいサイズで動画３１０を重畳させて表示してもよい。マーカーを貼り付けた構造物の形状に応じて動画３１０の表示態様を変えてもよい。撮影した映像に動画３１０を重畳させずに、ユーザ端末３の表示画面３００の全面で動画３１０を表示してもよい。 The user terminal 3 displays the content received from the server 1. FIG. 3 shows an example of a display screen 300 on the user terminal 3 that displays a video 310, which is the content. In the display screen 300 shown in the figure, the video 310 received from the server 1 is displayed by superimposing it on the marker of the image captured by the user terminal 3 using AR technology. The manner in which the video 310 is displayed is not limited to this. The video 310 may be displayed by superimposing it in front of the captured marker and at a size larger than the marker. The display manner of the video 310 may be changed depending on the shape of the structure to which the marker is attached. The video 310 may be displayed on the entire display screen 300 of the user terminal 3 without superimposing the video 310 on the captured image.

本実施形態では、コンテンツの一例として動画を用いて説明するが、これに限るものではない。例えば、コンテンツは、静止画またはテキストであってもよいし、音楽、音声であってもよい。コンテンツは、コンピュータグラフィックスによる３次元オブジェクトであってもよい。また、コンテンツは、これらを複合したものでもよい。マーカーと位置情報の組に複数種類のコンテンツが関連付けられてもよい。また、マーカーと位置情報の組に複数個または複数種類のコンテンツが関連付けられてもよい。マーカーと位置情報の組に複数のコンテンツが関連付けられている場合、複数のコンテンツはパラレルに配信されてもよいし、所定の順番で配信されてもよい。複数のコンテンツの中から選択された所定数のコンテンツが配信されてもよい。 In this embodiment, a video is used as an example of content, but the present invention is not limited to this. For example, the content may be a still image or text, or may be music or audio. The content may be a three-dimensional object created by computer graphics. The content may also be a combination of these. Multiple types of content may be associated with a pair of a marker and location information. Multiple or multiple types of content may be associated with a pair of a marker and location information. When multiple contents are associated with a pair of a marker and location information, the multiple contents may be delivered in parallel or in a predetermined order. A predetermined number of contents selected from the multiple contents may be delivered.

ユーザ端末３は、コンテンツに付与されたコメントを受信した場合、コメントも表示する。コメントは、その位置で過去に投稿されたメッセージである。つまり、ユーザ端末３は、過去に同一のマーカー２１０を撮影して動画３１０を見たユーザが投稿したコメントを表示する。コメントは、例えば、ユーザ端末３で表示した動画３１０内において、動画の一端から出現して他端に向けて移動し、他端で消失するように表示する。ユーザ端末３は、ＡＲ技術を用いて、マーカーを基準とした映像内の任意の位置にコメントを表示してもよい。例えば、電柱に貼られているマーカーを撮影した場合、コメントが電柱の周りを回るように表示する。 When the user terminal 3 receives a comment attached to the content, it also displays the comment. The comment is a message posted in the past at that position. In other words, the user terminal 3 displays a comment posted by a user who previously shot the same marker 210 and viewed the video 310. The comment is displayed, for example, in the video 310 displayed on the user terminal 3, appearing from one end of the video, moving toward the other end, and disappearing at the other end. The user terminal 3 may use AR technology to display the comment at any position within the video based on the marker. For example, when a marker attached to a utility pole is shot, the comment is displayed as if it is moving around the utility pole.

ユーザは、サーバ１から受信したコンテンツにコメントを投稿することができる。ユーザがコメントを入力すると、ユーザ端末３は、入力されたコメントをサーバ１へ送信する。サーバ１は、マーカーと位置情報の組に紐付けてコンテンツに対するコメントを記憶する。 The user can post a comment on the content received from the server 1. When the user inputs a comment, the user terminal 3 transmits the input comment to the server 1. The server 1 stores the comment on the content, linking it to a pair of a marker and location information.

ユーザ端末３は、図４のようなマーカーの存在する位置を示すマップを表示してもよい。図４の例では、地点Ａ，Ｂにマーカーが存在することを示している。ユーザは、地点Ａでマーカーを撮影すると、マーカーと地点Ａの組に紐付けられた動画を視聴でき、地点Ｂでマーカーを撮影すると、マーカーと地点Ｂの組に紐付けられた別の動画を視聴できる。地点Ａ，Ｂのマーカーは同一の図形でよい。 The user terminal 3 may display a map showing the locations of the markers as shown in FIG. 4. The example in FIG. 4 shows that markers exist at points A and B. When the user photographs the marker at point A, the user can watch a video linked to the pair of the marker and point A, and when the user photographs the marker at point B, the user can watch a different video linked to the pair of the marker and point B. The markers at points A and B may be the same shape.

マーカーと地点Ａの組とマーカーと地点Ｂの組のそれぞれに対して同一の動画を関連付けてもよい。地点Ａ，Ｂのそれぞれで視聴できる動画が同一の場合であっても、サーバ１は、地点Ａと地点Ｂのそれぞれで入力されたコメントを別々に管理する。ユーザは、地点Ａでマーカーを撮影して動画を見る場合は地点Ａで入力されたコメントを見ることができ、地点Ｂでマーカーを撮影して動画を見る場合は地点Ｂで入力されたコメントを見ることができる。 The same video may be associated with each of the pair of a marker and point A and the pair of a marker and point B. Even if the video that can be viewed at each of points A and B is the same, the server 1 manages the comments entered at each of points A and B separately. When the user photographs the marker at point A and watches the video, the user can view the comment entered at point A, and when the user photographs the marker at point B and watches the video, the user can view the comment entered at point B.

ユーザの投稿した投稿コメントそのものをコンテンツとしてもよい。サーバ１は、ユーザ端末３からマーカーと位置情報を受信すると、マーカーと位置情報の組に関連付けて記憶されたコメントをユーザ端末３へ返信する。ユーザは、撮影したマーカーの映像に重畳して表示されるコメントを閲覧できる。ユーザがコメントを投稿すると、サーバ１は受信したコメントをマーカーと位置情報の組に関連付けて記憶する。 The comment posted by the user may itself be the content. When the server 1 receives the marker and location information from the user terminal 3, it returns the comment stored in association with the pair of the marker and location information to the user terminal 3. The user can view the comment displayed superimposed on the captured image of the marker. When the user posts a comment, the server 1 stores the received comment in association with the pair of the marker and location information.

［サーバとユーザ端末の構成］
次に、本実施形態のサーバ１とユーザ端末３の構成について説明する。 [Server and user terminal configuration]
Next, the configurations of the server 1 and the user terminal 3 of this embodiment will be described.

図５に示すサーバ１は、受信部１１、画像認識部１２、動画取得部１３、送信部１４、および蓄積部１５を備える。 The server 1 shown in FIG. 5 includes a receiving unit 11, an image recognition unit 12, a video acquisition unit 13, a transmitting unit 14, and a storage unit 15.

受信部１１は、ユーザ端末３からマーカー情報と位置情報、並びにコメントを受信する。マーカー情報は、例えば、マーカーを撮影した画像である。位置情報は、ユーザ端末３の位置を示す情報であり、例えば、ユーザ端末３の備えるＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）機能で得られた位置情報である。位置情報は、利用するアプリケーションに応じて任意の精度のものを利用できる。例えば、ユーザ端末３が接続する基地局に基づく位置情報を用いてもよい。受信部１１は、受信したマーカー情報と位置情報を画像認識部１２に渡す。 The receiving unit 11 receives marker information, location information, and comments from the user terminal 3. The marker information is, for example, an image of a marker. The location information is information indicating the location of the user terminal 3, and is, for example, location information obtained by a GPS (Global Positioning System) function provided in the user terminal 3. Location information with any accuracy can be used depending on the application being used. For example, location information based on the base station to which the user terminal 3 is connected may be used. The receiving unit 11 passes the received marker information and location information to the image recognition unit 12.

受信部１１は、受信したコメントをユーザが視聴中の動画またはマーカーと位置情報の組に関連付けて蓄積部１５に記録する。 The receiving unit 11 associates the received comment with the video the user is watching or with a pair of marker and location information, and records it in the storage unit 15.

画像認識部１２は、マーカー情報（ユーザ端末から受信した画像）内の被写体を認識する。認識できた被写体がマーカーとして登録されたものであれば、画像認識部１２は、認識できたマーカーと受信部１１の受信した位置情報の組を動画取得部１３に渡す。事業者は、図形、ポスター、人物、モニュメント、あるいはランドマークなどをマーカーとして事前にサーバ１に登録しておく。サーバ１には、複数種類のマーカーが登録されてもよい。例えば、マーカーごとにＩＤを付与し、画像認識部１２は認識できたマーカーのＩＤを出力する。 The image recognition unit 12 recognizes the subject in the marker information (image received from the user terminal). If the recognized subject is registered as a marker, the image recognition unit 12 passes a pair of the recognized marker and the location information received by the receiving unit 11 to the video acquisition unit 13. The business operator registers figures, posters, people, monuments, landmarks, etc. as markers in the server 1 in advance. Multiple types of markers may be registered in the server 1. For example, an ID is assigned to each marker, and the image recognition unit 12 outputs the ID of the recognized marker.

動画取得部１３は、マーカーと位置情報の組が登録されているか否か判定する。マーカーと位置情報の組が登録されていれば、動画取得部１３は、マーカーと位置情報の組に関連付けられた動画を蓄積部１５から取得し、送信部１４へ渡す。事業者は、例えば、マーカーと位置情報の組を蓄積部１５に登録しておき、その組に関連付けて動画を蓄積部１５に格納する。 The video acquisition unit 13 determines whether or not a pair of a marker and location information has been registered. If a pair of a marker and location information has been registered, the video acquisition unit 13 acquires a video associated with the pair of a marker and location information from the storage unit 15 and passes it to the transmission unit 14. For example, the business operator registers a pair of a marker and location information in the storage unit 15, and stores the video in the storage unit 15 in association with the pair.

送信部１４は、蓄積部１５から取得した動画をユーザ端末３へ配信する。また、送信部１４は、動画またはマーカーと位置情報の組に関連付けて記録されたコメントを蓄積部１５から取得し、ユーザ端末３へ配信する。 The transmission unit 14 distributes the video acquired from the storage unit 15 to the user terminal 3. The transmission unit 14 also acquires comments recorded in association with the video or a pair of markers and location information from the storage unit 15, and distributes them to the user terminal 3.

蓄積部１５は、サーバ１の処理に必要な情報を格納する。例えば、蓄積部１５は、画像認識部１２が画像認識によりマーカーを検出するための情報を保持する。また、蓄積部１５は、マーカーと位置情報の組を保持し、その組に関連付けられた動画を保持する。動画本体ではなく動画へのリンクを保持してもよい。蓄積部１５は、投稿されたコメントを動画またはマーカーと位置情報の組に関連付けて管理する。 The storage unit 15 stores information necessary for processing by the server 1. For example, the storage unit 15 holds information that enables the image recognition unit 12 to detect markers by image recognition. The storage unit 15 also holds pairs of markers and location information, and holds videos associated with these pairs. It may also hold links to videos instead of the videos themselves. The storage unit 15 manages posted comments by associating them with videos or pairs of markers and location information.

図６に示すユーザ端末３は、撮影部３１、位置検出部３２、送信部３３、入力部３４、受信部３５、および表示部３６を備える。ユーザ端末３として、スマートフォンなどの携帯端末を用いることができる。 The user terminal 3 shown in FIG. 6 includes an image capture unit 31, a position detection unit 32, a transmission unit 33, an input unit 34, a reception unit 35, and a display unit 36. A mobile terminal such as a smartphone can be used as the user terminal 3.

撮影部３１は、マーカーを撮影する。撮影部３１は、例えば、携帯端末のカメラを利用できる。 The photographing unit 31 photographs the marker. The photographing unit 31 can use, for example, the camera of a mobile terminal.

位置検出部３２は、ユーザ端末３の位置を検出する。位置検出部３２は、例えば、携帯端末のＧＰＳ機能を利用できる。 The position detection unit 32 detects the position of the user terminal 3. The position detection unit 32 can use, for example, the GPS function of a mobile terminal.

送信部３３は、撮影部３１の撮影した画像と位置検出部３２の検出した位置情報をサーバ１へ送信する。また、送信部３３は、ユーザの入力したコメントをサーバ１へ送信する。 The transmission unit 33 transmits the image captured by the image capture unit 31 and the position information detected by the position detection unit 32 to the server 1. The transmission unit 33 also transmits comments entered by the user to the server 1.

入力部３４は、ユーザからコメントを入力する。 The input unit 34 allows the user to input comments.

受信部３５は、サーバ１から動画とコメントを受信する。 The receiving unit 35 receives videos and comments from the server 1.

表示部３６は、サーバ１から受信した動画とコメントを表示する。 The display unit 36 displays the video and comments received from the server 1.

サーバ１およびユーザ端末３が備える各部は、演算処理装置、記憶装置等を備えたコンピュータにより構成して、各部の処理がプログラムによって実行されるものとしてもよい。このプログラムはサーバ１およびユーザ端末３が備える記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリ等の記録媒体に記録することも、ネットワークを通して提供することも可能である。 Each part of the server 1 and the user terminal 3 may be configured by a computer equipped with an arithmetic processing unit, a storage device, etc., and the processing of each part may be executed by a program. This program is stored in a storage device equipped in the server 1 and the user terminal 3, and can be recorded on a recording medium such as a magnetic disk, optical disk, or semiconductor memory, or can be provided via a network.

なお、上記では、サーバ１が画像認識処理を行って画像からマーカーを検出したが、ユーザ端末３が画像認識処理を行ってマーカーを検出してもよい。この場合、ユーザ端末３は、検出したマーカーのＩＤを位置情報とともに送信する。また、ユーザ端末３は、撮影した画像を加工したものをマーカー情報として送信してもよい。例えば、ユーザ端末３は、画像からマーカーの存在する部分を切り取ったもの、あるいは画像の情報量を削減したものをマーカー情報として送信してもよい。 In the above, the server 1 detects the marker from the image by performing image recognition processing, but the user terminal 3 may also detect the marker by performing image recognition processing. In this case, the user terminal 3 transmits the ID of the detected marker together with the location information. The user terminal 3 may also transmit an edited version of the captured image as marker information. For example, the user terminal 3 may transmit an image in which the part of the image in which the marker is present has been cut out, or an image in which the amount of information has been reduced, as marker information.

なお、一つの位置情報が示す場所に複数のマーカーが付与されていたり、近接する複数の位置情報のそれぞれにマーカーが付与されていたりしてもよい。例えば、ユーザ端末３の撮影した画像内から複数のマーカーを検出できた場合、ユーザ端末３はユーザからコンテンツを表示するマーカーの選択を受け付け、選択されたマーカーに関連付けられたコンテンツの配信を受けて表示してもよいし、複数のマーカーのそれぞれに関連付けられた全てのコンテンツの配信を受けて表示してもよい。あるいは、サーバ１またはユーザ端末３が、ユーザが過去に閲覧したことのあるマーカーを選択してもよいし、ユーザの属性や履歴情報に基づいてマーカーを選択してもよい。 Note that multiple markers may be attached to a location indicated by one piece of location information, or multiple pieces of nearby location information may each have a marker attached. For example, if multiple markers are detected within an image captured by the user terminal 3, the user terminal 3 may accept a selection of a marker for which content is to be displayed from the user, and may receive and display the content associated with the selected marker, or may receive and display all the content associated with each of the multiple markers. Alternatively, the server 1 or the user terminal 3 may select a marker that the user has viewed in the past, or may select a marker based on the user's attributes or history information.

［サーバとユーザ端末の動作］
次に、本実施形態のサーバ１とユーザ端末３の動作について説明する。 [Operation of the server and user terminal]
Next, the operations of the server 1 and the user terminal 3 of this embodiment will be described.

図７のフローチャートを参照し、サーバ１の動作について説明する。 The operation of server 1 will be explained with reference to the flowchart in Figure 7.

ステップＳ１１にて、サーバ１は、画像と位置情報を受信する。 In step S11, server 1 receives the image and location information.

ステップＳ１２にて、サーバ１は、受信した画像の認識処理を行う。 In step S12, the server 1 performs recognition processing on the received image.

ステップＳ１３にて、サーバ１は、画像認識により得られたマーカーと位置情報の組が登録されているか否か判定する。マーカーと位置情報の組が登録されていない場合は処理を終了する。また、画像認識によりマーカーが得られなかった場合も処理を終了する。処理を終了する際、サーバ１は、マーカーや位置情報の登録がないことを返信してもよい。 In step S13, the server 1 determines whether or not the pair of marker and location information obtained by image recognition has been registered. If the pair of marker and location information has not been registered, the process ends. The process also ends if a marker has not been obtained by image recognition. When ending the process, the server 1 may return a response indicating that no marker or location information has been registered.

ステップＳ１４にて、サーバ１は、マーカーと位置情報の組に関連付けられた動画およびコメントを送信する。 In step S14, the server 1 transmits the video and comments associated with the pair of marker and location information.

ステップＳ１５にて、サーバ１は、送信した動画に対するコメントを受信した場合、ステップＳ１６にて、サーバ１は、受信したコメントを動画に関連付けて記憶する。 If the server 1 receives a comment on the transmitted video in step S15, the server 1 stores the received comment in association with the video in step S16.

図８のフローチャートを参照し、ユーザ端末３の動作について説明する。 The operation of the user terminal 3 will be explained with reference to the flowchart in Figure 8.

ステップＳ２１にて、ユーザ端末３は、画像と位置情報を送信する。 In step S21, the user terminal 3 transmits the image and location information.

ステップＳ２２にて、ユーザ端末３は、動画とコメントを受信する。ステップＳ２１で送信した画像にマーカーが含まれていない場合、または画像から検出されたマーカーと位置情報が登録されていない場合は、ユーザ端末３は、その旨の通知を受信し、処理を終了する。 In step S22, the user terminal 3 receives the video and comments. If the image sent in step S21 does not contain a marker, or if the marker and location information detected from the image are not registered, the user terminal 3 receives a notification to that effect and ends the process.

ステップＳ２３にて、ユーザ端末３は、動画を表示する。 In step S23, the user terminal 3 displays the video.

ステップＳ２４にて、ユーザ端末３は、ユーザからコメントを入力した場合、ステップＳ２５にて、ユーザ端末３は、入力したコメントを送信する。 If the user inputs a comment to the user terminal 3 in step S24, the user terminal 3 transmits the input comment in step S25.

［利用例］
次に、本実施形態のコンテンツ配信システムの利用例について説明する。 [Example of use]
Next, a usage example of the content distribution system of this embodiment will be described.

コンテンツ配信システムをストリートライブ配信に利用する例について説明する。例えば、コンテンツとして生放送番組（ライブ配信）を準備しておき、マーカーと位置情報の組に生放送番組を関連付けておく。街中のいくつかの場所（１箇所でもよい）にマーカーを配置する。マーカーとして生放送番組を告知するポスターを利用できる。既存の被写体をマーカーとして登録してもよい。生放送番組の配信中に、ユーザ端末３でマーカーを撮影してサーバ１へ送信すると、ユーザ端末３に生放送番組が配信されて、ユーザは、ストリートライブ風に生放送番組を閲覧できる。ライブ配信前は、コンテンツとして予告動画を配信してもよいし、ライブ配信後は、コンテンツとしてライブ配信を録画したタイムシフト動画を配信してもよい。 An example of using the content distribution system for live street distribution will be described. For example, a live broadcast program (live distribution) is prepared as content, and the live broadcast program is associated with a pair of a marker and location information. Markers are placed in several locations around town (or just one location). Posters announcing the live broadcast program can be used as markers. An existing subject can also be registered as a marker. When a marker is photographed with the user terminal 3 and sent to the server 1 during distribution of the live broadcast program, the live broadcast program is distributed to the user terminal 3, and the user can view the live broadcast program in the style of a street live performance. Before the live distribution, a preview video can be distributed as content, and after the live distribution, a time-shifted video recording of the live distribution can be distributed as content.

ユーザは、生放送番組を閲覧しながらコメントを投稿できる。サーバ１は、マーカーと位置情報の組ごと、つまり場所ごとにコメントを管理する。マーカーを撮影して現地で生放送番組を閲覧する方法に加えて、場所を問わずに生放送番組を閲覧できるようにした場合、つまり、自宅でもインターネット経由で生放送番組を閲覧できるようにした場合、サーバ１は、投稿場所を問わないコメントと現地で投稿されたコメントとを区別できるように管理する。サーバ１は、現地で投稿されたコメントは、現地で閲覧しているユーザ端末３のみに配信してもよいし、現地で投稿されたコメントとして区別できる態様で全ユーザに配信してもよい。生放送番組が複数のマーカーと位置情報の組に関連付けられている場合、つまり、複数の場所にマーカーが設置されている場合、場所ごとにコメントを管理し、同じ場所内のユーザ端末３のみにコメントを配信してもよいし、場所ごとのコメントが区別できる態様で全てのユーザ端末３に配信してもよい。 A user can post a comment while viewing a live broadcast program. The server 1 manages the comments for each pair of a marker and location information, that is, for each location. In addition to the method of viewing a live broadcast program at the local site by photographing a marker, if the live broadcast program can be viewed regardless of location, that is, if the live broadcast program can be viewed at home via the Internet, the server 1 manages the comments so that they can be distinguished from comments posted at any location. The server 1 may distribute comments posted at the local site only to the user terminal 3 viewing at the local site, or may distribute them to all users in a manner that makes them distinguishable as comments posted at the local site. If a live broadcast program is associated with multiple pairs of markers and location information, that is, if markers are installed at multiple locations, the server 1 may manage the comments for each location and distribute the comments only to user terminals 3 in the same location, or may distribute them to all user terminals 3 in a manner that makes it possible to distinguish comments by location.

コンテンツ配信システムを道案内に利用する例について説明する。例えば、イベントの開催を告知するポスターをマーカーとする。サーバ１は、ポスターと位置情報の組にその位置からイベント会場までの道順の情報を関連付けて登録しておく。ユーザが街に貼られたポスターを撮影すると、ポスターの画像と位置情報がサーバ１へ送信され、ポスターを撮影した位置からイベント会場までの道順がサーバ１から返信されて、ユーザ端末３に表示される。例えば、ユーザ端末３は、撮影した映像に矢印のオブジェクトを重畳させてイベント会場の方向を示す。貼る場所ごとにポスターを変えなくても、ポスターと位置情報の組でユーザの現在位置がわかる。同様に、電柱広告の病院のマークをマーカーとし、広告と位置情報の組のそれぞれにその位置からの道順を示す情報をコンテンツとして関連付けてもよい。ユーザは、病院のマークを撮影するだけで、道順を知ることができる。また、コメントを投稿できるようにしておくと、病院の評判を知ったり、投稿できたりする。 An example of using the content distribution system for route guidance will be described. For example, a poster announcing an upcoming event is used as a marker. The server 1 registers a set of the poster and location information in association with information on the route from the location to the event venue. When a user takes a picture of a poster posted in the city, the image of the poster and location information are transmitted to the server 1, and the server 1 returns the route from the location where the poster was photographed to the event venue, which is displayed on the user terminal 3. For example, the user terminal 3 indicates the direction to the event venue by superimposing an arrow object on the photographed image. The user's current location can be determined by the set of the poster and location information, without the need to change the poster for each location. Similarly, a hospital mark on a utility pole advertisement can be used as a marker, and information indicating the route from that location can be associated as content with each set of the advertisement and location information. The user can know the route simply by taking a picture of the hospital mark. Also, if comments can be posted, the user can know the reputation of the hospital and post comments.

コンテンツ配信システムをお店の紹介および評判に利用する例について説明する。お店の入り口にマーカーとなるステッカーを貼っておき、マーカーと位置情報の組にお店の情報を登録しておく。ステッカーは全てのお店で共通のものでよい。ユーザ端末３でマーカーを撮影すると、サーバ１からマーカーと位置情報に対応したお店の紹介が返信されて表示される。ユーザ端末３は、ユーザの投稿したコメントを表示してもよい。投稿されたコメントは、少なくとも現地に来たユーザのコメントであるので、より信頼できるコメントである。 An example of using the content distribution system to introduce and review a store will be described. A sticker that acts as a marker is placed at the entrance of the store, and store information is registered as a pair of the marker and location information. The sticker may be the same for all stores. When the marker is photographed with the user terminal 3, a store introduction corresponding to the marker and location information is returned from the server 1 and displayed. The user terminal 3 may also display comments posted by users. The posted comments are more reliable, as they are comments from users who have at least visited the location.

コンテンツ配信システムを電子的なスタンプラリーに利用する例について説明する。例えば、鉄道会社のマークをマーカーとして登録しておく。スタンプラリーのポスターをマーカーとして登録してもよい。マーカーと各駅の位置情報の組に各駅のスタンプを関連付けておく。ユーザは、各駅で鉄道会社のマークもしくはポスターを撮影するとその駅のスタンプを取得できる。例えば、サーバ１から駅のスタンプの情報からユーザ端末３へ送信されて、ユーザ端末３では、アプリ内のスタンプ手帳にその駅のスタンプが記録される。 An example of using the content distribution system for an electronic stamp rally will be described. For example, a railway company's mark is registered as a marker. A stamp rally poster may also be registered as a marker. A stamp for each station is associated with a pair of the marker and the location information of each station. A user can obtain a stamp for each station by photographing the railway company's mark or poster at that station. For example, information on the station stamp is transmitted from server 1 to user terminal 3, and the stamp for that station is recorded in the stamp notebook within the app on user terminal 3.

図９に示すように、ランドマークをマーカーとした場合、位置情報は、ランドマークを基準とした方角で指定してもよいし、ランドマークからの距離で指定してもよい。サーバ１は、方角または距離ごとに区切られた位置のそれぞれでコメントを管理する。 As shown in FIG. 9, when a landmark is used as a marker, the location information may be specified by a direction relative to the landmark, or by a distance from the landmark. The server 1 manages comments for each location separated by direction or distance.

［ユーザがマーカーを登録］
上記では、事業者がマーカーおよびマーカーと位置情報を登録した例で説明した。以下では、図１０のフローチャートを参照し、ユーザがマーカーと位置情報を登録する例について説明する。 [User registers marker]
In the above, an example has been described in which a business entity registers a marker and the marker and location information. In the following, an example in which a user registers a marker and location information will be described with reference to the flowchart of FIG.

ユーザは、登録したい位置においてマーカーを撮影する。ユーザ端末３は、マーカーを撮影した画像と位置情報の組の登録要求をサーバ１へ送信する。ユーザ端末３は、マーカーと位置情報の組に関連付けるコンテンツを送信してもよい。 The user photographs the marker at the position to be registered. The user terminal 3 transmits a registration request for a pair of an image of the marker and location information to the server 1. The user terminal 3 may transmit content to be associated with the pair of the marker and location information.

ステップＳ３１にて、サーバ１は、登録要求を受信する。 In step S31, server 1 receives a registration request.

ステップＳ３２にて、サーバ１は、画像認識処理によって画像からマーカーを検出し、マーカーと位置情報の組を登録する。サーバ１は、画像からマーカーが検出できないときは、画像内の被写体を新たなマーカーとして登録してもよいし、マーカーが検出できないエラーをユーザ端末３へ返却してもよい。 In step S32, the server 1 detects a marker from the image by image recognition processing, and registers a pair of the marker and the location information. If the server 1 cannot detect a marker from the image, it may register a subject in the image as a new marker, or it may return an error to the user terminal 3 indicating that the marker cannot be detected.

ステップＳ３３にて、サーバ１は、ステップＳ３２で登録したマーカーと位置情報の組にコンテンツを紐付けて管理する。 In step S33, the server 1 links the content to the pair of marker and location information registered in step S32 and manages them.

例えば、人物がマーカーとして登録されていた場合、ユーザは、街に設置された看板を撮影し、マーカーとして登録された人物が写る看板であれば、その位置と人物の組を登録し、その組に対してコメントを投稿できる。新たに登録されたマーカーと位置情報の組は、図４で示したマップに表示してもよい。その後、他のユーザがその看板を撮影すると投稿されたコメントを閲覧でき、新たなコメントを投稿できる。 For example, if a person is registered as a marker, a user can take a picture of a signboard installed in the city, and if the signboard shows a person registered as a marker, the user can register the pair of the location and the person, and post a comment about that pair. The newly registered pair of marker and location information may be displayed on the map shown in Figure 4. After that, when other users take a picture of the signboard, they can view the posted comment and post a new comment.

以上説明したように、本実施形態のコンテンツ配信システムは、コンテンツを配信するサーバ１とコンテンツを視聴するためのユーザ端末３を備える。サーバ１は、マーカーと位置情報の組にコンテンツを関連付けて保持する蓄積部１５と、マーカー情報と位置情報を受信する受信部１１と、マーカー情報の示すマーカーと位置情報の組を蓄積部１５から検索し、当該マーカーと位置情報の組に関連付けられたコンテンツを取得する動画取得部１３と、マーカーと位置情報の組に関連付けられたコンテンツを送信する送信部１４を有する。ユーザ端末３は、画像を撮影する撮影部３１と、当該ユーザ端末３の位置情報を取得する位置検出部３２と、画像から得られるマーカー情報と位置情報を送信する送信部３３と、マーカー情報の示すマーカーと位置情報の組に関連付けられたコンテンツを受信する受信部３５と、コンテンツを表示する表示部３６を有する。これにより、所定の位置で所定のマーカーを撮影したときに、コンテンツを利用することができ、位置情報に基づく様々なコンテンツを提供できる。 As described above, the content distribution system of this embodiment includes a server 1 that distributes content and a user terminal 3 for viewing content. The server 1 includes a storage unit 15 that associates and holds content with a pair of markers and location information, a receiving unit 11 that receives marker information and location information, a video acquisition unit 13 that searches the storage unit 15 for a pair of markers and location information indicated by the marker information and acquires content associated with the pair of markers and location information, and a transmitting unit 14 that transmits content associated with the pair of markers and location information. The user terminal 3 includes a photographing unit 31 that photographs an image, a position detection unit 32 that acquires the position information of the user terminal 3, a transmitting unit 33 that transmits the marker information and location information obtained from the image, a receiving unit 35 that receives content associated with the pair of markers and location information indicated by the marker information, and a display unit 36 that displays the content. This allows content to be used when a specific marker is photographed at a specific position, and various content based on location information can be provided.

１…サーバ
１１…受信部
１２…画像認識部
１３…動画取得部
１４…送信部
１５…蓄積部
３…ユーザ端末
３１…撮影部
３２…位置検出部
３３…送信部
３４…入力部
３５…受信部
３６…表示部 REFERENCE SIGNS LIST 1 server 11 receiving unit 12 image recognition unit 13 video acquisition unit 14 transmitting unit 15 storage unit 3 user terminal 31 imaging unit 32 position detection unit 33 transmitting unit 34 input unit 35 receiving unit 36 display unit

Claims

A server that distributes content,
a storage unit that stores a set of a marker and location information in association with content;
A receiving unit that receives the marker information and the position information;
an acquisition unit that searches the storage unit for a combination of a marker and location information indicated by the marker information, and acquires content associated with the combination of the marker and location information;
a transmitter for transmitting content associated with the set of the marker and the position information,
The receiving unit receives a comment on the content,
The storage unit stores the comments posted on the content for each pair of the marker and the location information,
The transmission unit transmits a comment associated with the pair of the marker and the position information,
The marker information is information obtained by performing image recognition processing on an image of the marker.
server.

A terminal for viewing content,
An image capturing unit that captures an image;
A location detection unit that acquires location information of the terminal;
an image recognition unit that performs image recognition processing on the image to detect a marker;
a transmitter for transmitting marker information and the position information detected from the image;
a receiving unit that receives content associated with a combination of a marker indicated by the marker information and the position information;
a display unit for displaying the content ;
The transmission unit transmits a comment on the content,
The receiving unit receives a comment associated with the pair of the marker and the position information,
The display unit displays the received comment.
Terminal.

A content distribution system, comprising:
A server that distributes content and a terminal for viewing the content,
The server,
a storage unit that stores a set of a marker and location information in association with content;
A receiving unit that receives the marker information and the position information;
an acquisition unit that searches the storage unit for a combination of a marker and location information indicated by the marker information, and acquires content associated with the combination of the marker and location information;
a transmitter for transmitting content associated with the set of the marker and the position information,
The receiving unit receives a comment on the content,
The storage unit stores the comments posted on the content for each pair of the marker and the location information,
The transmission unit transmits a comment associated with the pair of the marker and the position information,
The terminal includes:
An image capturing unit that captures an image;
A location detection unit that acquires location information of the terminal;
an image recognition unit that performs image recognition processing on the image to detect a marker;
a terminal transmitting unit that transmits the marker information and the position information detected from the image;
a terminal receiving unit that receives content associated with a combination of a marker indicated by the marker information and the location information;
a display unit for displaying the content ;
The terminal transmitting unit transmits a comment on the content,
The terminal receiving unit receives a comment associated with the pair of the marker and the position information,
The display unit displays the received comment.
Delivery system.

A distribution method executed by a server that distributes content, comprising:
receiving marker information and location information;
A step of searching for a combination of the marker and the position information indicated by the marker information from a storage unit that stores the combination of the marker and the position information in association with contents, and acquiring the content associated with the combination of the marker and the position information;
transmitting content associated with the pair of marker and location information ;
receiving comments on the content;
storing the comments posted on the content in the storage unit for each pair of the marker and the position information;
Transmitting a comment associated with the set of marker and location information,
The marker information is information obtained by performing image recognition processing on an image of the marker.
Delivery method.

An information processing method executed by a terminal for viewing content, comprising:
Taking an image;
acquiring location information of the terminal;
performing image recognition processing on the image to detect a marker;
transmitting marker information detected from the image and the position information;
receiving content associated with a set of markers detected from the image and the location information;
displaying the content ;
submitting a comment on the content;
receiving a comment associated with the set of marker and location information;
displaying the received comments.
Information processing methods.

A program for operating a computer as a server for distributing content,
receiving marker information and location information;
A process of searching for a combination of a marker and location information indicated by the marker information from a storage unit that stores the combination of the marker and location information in association with content, and acquiring content associated with the combination of the marker and location information;
transmitting content associated with the pair of marker and location information;
receiving comments on the content;
storing, in the storage unit, comments posted on the content for each pair of the marker and the position information;
causing a computer to execute a process of transmitting a comment associated with the set of the marker and the position information;
The marker information is information obtained by performing image recognition processing on an image of the marker.
Program.

A program for operating a computer as a terminal for viewing content,
A process of taking an image;
A process of acquiring location information of the terminal;
A process of detecting a marker by performing image recognition processing on the image;
A process of transmitting marker information detected from the image and the position information;
receiving content associated with a set of markers detected from the image and the location information;
displaying the content;
A process of submitting a comment on the content;
receiving a comment associated with the set of marker and location information;
The computer is caused to execute a process of displaying the received comment.
Program.