JP2016220017A - コンテンツ提供システム、情報処理装置、プログラム、コンテンツ再生方法 - Google Patents

コンテンツ提供システム、情報処理装置、プログラム、コンテンツ再生方法 Download PDF

Info

Publication number
JP2016220017A
JP2016220017A JP2015102622A JP2015102622A JP2016220017A JP 2016220017 A JP2016220017 A JP 2016220017A JP 2015102622 A JP2015102622 A JP 2015102622A JP 2015102622 A JP2015102622 A JP 2015102622A JP 2016220017 A JP2016220017 A JP 2016220017A
Authority
JP
Japan
Prior art keywords
content
image
information
position information
digest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015102622A
Other languages
English (en)
Other versions
JP6503881B2 (ja
Inventor
圭 久志本
Kei Kushimoto
圭 久志本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2015102622A priority Critical patent/JP6503881B2/ja
Priority to US15/135,686 priority patent/US10230779B2/en
Priority to CN201610324059.5A priority patent/CN106170101B/zh
Publication of JP2016220017A publication Critical patent/JP2016220017A/ja
Application granted granted Critical
Publication of JP6503881B2 publication Critical patent/JP6503881B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/613Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for the control of the source by the destination
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27Server based end-user applications
    • H04N21/274Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2743Video hosting of uploaded data from client
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/21805Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/232Content retrieval operation locally within server, e.g. reading video streams from disk arrays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/254Management at additional data server, e.g. shopping server, rights management server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508Management of client data or end-user data
    • H04N21/4524Management of client data or end-user data involving the geographical location of the client
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8126Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/28Mobile studios

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

【課題】コンテンツ作成者が注目させたい被写体を表示するダイジェスト提供システムを提供すること。
【解決手段】異なる場所で撮像された複数の画像が含まれるコンテンツを情報処理装置13、18が端末装置16に提供するコンテンツ提供システム100であって、情報処理装置は、コンテンツが記憶されたコンテンツ記憶装置からコンテンツを読み出し、コンテンツに対応づけて位置情報が記憶された位置情報記憶装置から位置情報を読み出す読出手段29,49と、読出手段が読み出したコンテンツ及び位置情報を端末装置に送信する送信手段21,41と、を有し、端末装置は、コンテンツ及び位置情報を受信する受信手段31と、位置情報が示す位置との距離に基づき決定された撮像位置の画像の表示範囲を、画像の撮像位置と位置情報を結ぶ方向を含むように設定してコンテンツを再生するコンテンツ再生手段36と、を有する。
【選択図】図1

Description

本発明は、コンテンツ提供システム、情報処理装置、プログラム、及びコンテンツ再生方法に関する。
動画投稿サイトに代表されるように、多種多様な動画がインターネット上でアップロードされ、ユーザが自由に閲覧できるようになっている。このような動画のコンテンツの一つに、撮像装置の移動ルートに沿って撮像されたものがある。例えば、徒歩で観光ルートを移動しながら撮像者が撮像した動画、走行中の車両から撮像された動画(ドライブレコーダーのような事故記録を目的としたものも含まれる)、サイクリング中に撮像された動画、スノーボードやスキーで滑りながら撮像した動画、又は、船などの様々な乗り物で移動しながら撮像した動画などがある。
しかしながら、これらの動画は、一般に単調な映像になってしまいがちなため、ユーザがすべてを視聴するには退屈な場合がある。そこで、動画を要約して再生する技術が考案されている(例えば、特許文献1参照。)。特許文献1には、走行している移動体の周囲の走行映像などを撮像し、走行状態に基づいて映像のシーン毎に重要度を判定して設定する映像記録再生装置が開示されている。映像記録再生装置は重要度に基づいて、ダイジェスト再生のスケジューリングを作成することで動画を要約する。
しかしながら、特許文献1では、フレームのどの部分に重要な情報が撮像されているかが考慮されていないという問題がある。例えば、フレームには画角に入る全ての風景などが撮像されているが、フレームの全体に重要な情報が撮像されているとは限らない。このため、ユーザがダイジェストを再生した場合、フレームのどの部分を見ればよいかを判断しにくいおそれがある。
また、近年では、光学技術や画像処理技術の進歩により周囲360度を1回で撮像できる撮像装置が普及するようになった。このような撮像装置で撮像された全天球画像は、一度に全ての画像をディスプレイ等に表示させることが困難である。例えば、北側に注目すべき被写体が撮像されているが、ディスプレイに南側の被写体が表示されている場合、ユーザは北側の被写体に気づくことが困難になる。このように全天球画像の動画では、ユーザが全天球画像のどこを見るかという視線方向が重要になるが、従来の技術では全天球画像の効率的な再生方法が考慮されていなかった。
本発明は、上記課題に鑑み、コンテンツ作成者が注目させたい被写体を表示するダイジェスト提供システムを提供することを目的とする。
本発明は、異なる場所で撮像された複数の画像が含まれるコンテンツを情報処理装置が端末装置に提供するコンテンツ提供システムであって、前記情報処理装置は、前記コンテンツが記憶されたコンテンツ記憶装置から前記コンテンツを読み出し、前記コンテンツに対応づけて位置情報が記憶された位置情報記憶装置から前記位置情報を読み出す読出手段と、前記読出手段が読み出した前記コンテンツ及び前記位置情報を前記端末装置に送信する送信手段と、を有し、前記端末装置は、前記コンテンツ及び前記位置情報を受信する受信手段と、前記位置情報が示す位置との距離に基づき決定された撮像位置の前記画像の表示範囲を、前記画像の撮像位置と前記位置情報を結ぶ方向を含むように設定して前記コンテンツを再生するコンテンツ再生手段と、を有する。
コンテンツ作成者が注目させたい被写体を表示するダイジェスト提供システムを提供することができる。
本実施例のコンテンツの再生方法について説明する図の一例である。 撮像者が行う動作を説明する図の一例である。 コンテンツの設定方法及びダイジェスト情報の編集方法を説明する図の一例である。 コンテンツ提供システムのシステム構成図の一例である。 ダイジェスト管理サーバのハードウェア構成図の一例である。 コンテンツ提供システムの機能ブロック図の一例である。 コンテンツ作成者がダイジェスト情報を編集する手順を示すシーケンス図の一例である。 ダイジェスト情報が変更されるコンテンツのルートをマップ上に示す図の一例である。 コンテンツ作成者PCに表示されるダイジェスト情報変更画面の一例を示す図である。 コンテンツ作成者が指定位置をクリックした場合に表示されるダイジェスト情報変更画面の一例を示す図である。 コンテンツ作成者が指定位置をクリックした後に拡大操作を行った場合に表示されるダイジェスト情報変更画面の一例を示す図である。 ダイジェスト再生の際にディスプレイに表示される表示範囲を模式的に説明する図の一例である。 全天球画像の表示の仕組みを説明するための図の一例である。 撮像位置C4を原点とした場合の3次元座標系を示す図である。 撮像位置C7のダイジェスト情報の算出方法を説明する図の一例である。 2つの撮像位置C4,C7における視線方向をベクトルで表す図の一例である。 2つの指定位置P1、P2が指定されたマップ上のルートを示す図の一例である。 撮像位置C4,C7、C10における視線方向をベクトルで表す図の一例である。 図18ですでに使用した不要なベクトルを省いた図である。 撮像位置C7の表示倍率の算出方法を説明する図の一例である。 ダイジェスト再生の際にディスプレイに表示される表示範囲を模式的に説明する図の一例である。 コンテンツ提供システムによるダイジェスト再生の手順を示すシーケンス図の一例である。 図22のステップS3のダイジェスト再生の手順を示すフローチャート図の一例である。 再生時間の設定が可能なダイジェスト情報変更画面の一例を示す図である。 ダイジェスト管理サーバの機能ブロック図の一例である(実施例2)。 ダイジェスト情報自動生成部がダイジェスト情報を自動生成する手順を示すシーケンス図の一例である。 コンテンツに設定された複数のパターンのダイジェスト情報を模式的に示す図の一例である。 コンテンツ提供サーバが、表示範囲が設定されたコンテンツをユーザPCに送信する手順を示すシーケンス図の一例である。
以下、本発明を実施するための形態について図面を参照しながら説明する。
<本実施形態の動画の表示方法>
図1は、本実施例のコンテンツの再生方法について説明する図の一例である。このコンテンツでは、S地点からE地点のルート61を撮像者が移動しながら周囲360度の風景が撮像されている全天球画像が撮像されている。動画は複数のフレームを含んでおり、少なくとも図示する撮像位置C1〜13で撮像されたフレームを含んでいる。また、この動画にはコンテンツ作成者がエンドユーザに注目させたいと考える指定位置P1、P2が設定されている。後述するユーザPC(Personal Computer)はこのようなコンテンツを以下のように表示する。
(i) 撮像位置C1〜C3の全天球画像…ユーザPC(端末装置の一例)は撮像装置の進行方向を視線方向とする所定の表示範囲V1〜V3をディスプレイ等に表示する。表示範囲V1〜V3はディスプレイに表示できる範囲であり、一定でなくてよい。
(ii) 撮像位置C4の全天球画像…撮像位置C4は指定位置P1と最も近い撮像位置である。ユーザPCは撮像位置C4と指定位置P1を結ぶ方向を視線方向とする表示範囲V4をディスプレイ等に表示する。
(iii) 撮像位置P5、P6の全天球画像…ユーザPCは撮像装置の進行方向を視線方向とする所定の表示範囲V5〜、V6をディスプレイ等に表示する。
(iv) 撮像位置C7の全天球画像…撮像位置C7は指定位置P2と最も近い撮像位置である。ユーザPCは撮像位置C7と指定位置P2を結ぶ方向を視線方向とする表示範囲V7をディスプレイ等に表示する。
(v) 撮像位置C8〜C13の全天球画像…ユーザPCは撮像装置11の進行方向を視線方向とする表示範囲V8〜V13をディスプレイ等に表示する。
このように、本実施形態の動画にはコンテンツ作成者が注目させたいと考える指定位置P1、P2が設定されており、指定位置P1、P2に最も近い撮像位置C4,C7で撮像されたフレームをユーザPCが表示する際、最も近い撮像位置C4,C7から指定位置P1、P2を見る視線方向を含む表示範囲Vを表示する。したがって、全天球画像のように、一度にディスプレイに全体を表示できない広角画像をユーザPCが表示する際に、コンテンツ作成者が注目させたい指定位置P1、P2をユーザに注目させることができる。
このように、コンテンツの撮像位置が指定位置P1、P2の付近である場合に、指定位置P1、P2を含む画像を表示させるコンテンツの再生方法をダイジェスト再生と称することにする。また、指定位置P1、P2などをダイジェスト情報と称する。
<コンテンツが登録されるまでの概要>
図2を用いてコンテンツが登録されるまでの手順について説明する。図2は、撮像者が行う動作を説明する図の一例である。
(1)撮像者8は周囲360度の撮像が可能な撮像装置11を把持して歩行する。撮像装置11は定期的又は一定距離ごとに周囲を撮像するように設定されており、撮像した全天球画像を撮像位置と対応付けて蓄積する。したがって、撮像者8が歩行したルートに沿って画像が得られる。なお、撮像する際の移動手段は徒歩に限られず、車両等の移動体で移動しながら撮像してよい。
(2)目的の場所まで歩行しルート上の撮像が終了すると、撮像者8はアクセスポイント9を介して複数の画像をコンテンツ作成サーバ12に送信する。
(3)コンテンツ作成サーバ12は、撮像者8が移動したルートを含むマップと画像を用いたコンテンツを作成してコンテンツ提供サーバ13に登録する。なお、撮像装置11が通信機能を有していない場合、撮像装置11から画像を受信した携帯端末等がコンテンツ提供サーバ13に画像を送信する。
図3は、コンテンツの設定方法及びダイジェスト情報の編集方法を説明する図の一例である。
(4)コンテンツ作成サーバ12はコンテンツを作成してコンテンツ提供サーバ13に登録し、コンテンツのURI(Uniform Resource Identifier)を、予め登録されているコンテンツ利用企業の担当者7に送信する。なお、(4)の点線に示すように画像の送信元の撮像者8(図では撮像者8の携帯端末17)に送信してもよい。
(5)コンテンツ利用企業の担当者7はコンテンツ利用企業PC15を操作して、自社のWebページ(例えばホームページ)のHTMLデータにコンテンツのURIを貼り付ける(例えば、コピー&ペーストする)。これにより、コンテンツ利用企業は撮像者8が歩行したルートに沿って撮像された全天球画像のコンテンツを自社のWebページにリンクさせることができる。
(6)コンテンツ利用企業の担当者7は自社のWebサーバ14にWebページを登録する(送信する)。これにより、エンドユーザ6はコンテンツとリンクされたコンテンツ利用企業のWebページを閲覧できる。
(7)コンテンツ利用企業のWebページを閲覧するエンドユーザ6は、ユーザPC16を操作してコンテンツを表示させる。
(8)コンテンツからダイジェスト情報を作成するため、コンテンツ作成者5が操作するコンテンツ作成者PC19(情報端末の一例)がコンテンツ提供サーバ13からコンテンツを取得する。コンテンツ作成者5はダイジェスト情報をコンテンツに設定する。ダイジェスト情報については後述するが、主に図1の指定位置P1,P2及び最寄りの撮像位置で撮像された全天球画像のフレームIDがダイジェスト情報に相当する。なお、コンテンツ作成者5は、撮像者8やコンテンツ利用企業の担当者7と同じでもよい。コンテンツ作成者PC19はコンテンツ利用企業PC15と同じものでもよい。
(9)コンテンツ作成者5はダイジェスト情報をダイジェスト管理サーバ18に送信する。なお、ダイジェスト管理サーバ18はコンテンツ提供サーバ13と同じでもよい。
(10)エンドユーザ6はユーザPC16を操作してコンテンツ及びダイジェスト情報を取得する。これによりユーザPC16は、図1にて説明したようにコンテンツをダイジェスト再生することができる。
<構成例>
図4は、コンテンツ提供システム100のシステム構成図の一例を示す。コンテンツ提供システム100は、ネットワークNを介して通信可能な、コンテンツ作成サーバ12、コンテンツ提供サーバ13、Webサーバ14、ダイジェスト管理サーバ18、ユーザPC16、及び、コンテンツ作成者PC19を有している。なお、撮像装置11、撮像者8が携帯する携帯端末17、及び、コンテンツ利用企業PC15については、本実施形態の説明で必要な場合に適宜、説明される。
ネットワークNは、コンテンツ作成者PC19が配置されている会社などの施設内のLAN、LANをインターネットに接続するプロバイダのプロバイダネットワーク、及び、回線事業者が提供する回線等により構築されている。ネットワークNにはインターネットが含まれていてよい。ネットワークNは有線又は無線のどちらで構築されてもよく、また、有線と無線が組み合わされていてもよい。また、コンテンツ作成者PC19が直接、回線電話網や携帯電話網に接続する場合は、LANを介さずにプロバイダネットワークに接続することができる。
上記のように、コンテンツ作成サーバ12は全天球画像が用いられたコンテンツを作成するサーバであり、コンテンツ提供サーバ13はコンテンツを保持し、要求があればエンドユーザ6に提供するサーバである。Webサーバ14はコンテンツ利用企業が運営するサーバでありコンテンツ利用企業のWebページが登録されている。ダイジェスト管理サーバ18は少なくともコンテンツに紐づけられたダイジェスト情報を管理している。ダイジェスト管理サーバ18がコンテンツを有していてもよい。
ユーザPC16はエンドユーザ6が操作するPCであり、コンテンツ利用企業が提供するWebページ及びコンテンツを表示する。コンテンツ作成者PC19は、コンテンツにダイジェスト情報を設定するコンテンツ作成者5が操作するPCである。コンテンツ作成者5はコンテンツの注目箇所(見所)を知っているか又は指示されている。コンテンツ作成者PC19は、PCの他、スマートフォン、PDA(Personal Digital Assitant)、タブレット型端末、携帯電話又はウェアラブルPCなどでもよい。
なお、図4では、説明の便宜上、コンテンツ作成サーバ12、コンテンツ提供サーバ13、Webサーバ14、及び、ダイジェスト管理サーバ18を別々の装置として示した。しかし、これら4つのサーバの機能は1〜3つのサーバに集約してよい。また、5つ以上のサーバに機能を分散してもよい。
また、コンテンツ作成サーバ12、コンテンツ提供サーバ13、Webサーバ14及びダイジェスト管理サーバ18のうち1つ以上のサーバの機能は、クラウドコンピューティングが用いられたクラウドサービスとして提供されてもよい。クラウドコンピューティングでは、負荷に応じて各サーバに仮想化されたサーバが追加又は開放され、物理的な構成が動的に変更される。
このように、図示されたコンテンツ提供システム100の構成は一例であり、コンテンツ提供システム100は、以下の本実施形態で説明される処理を行うことが可能な情報処理装置としての機能を有していればよい。
<コンテンツ作成サーバ12、コンテンツ提供サーバ13、Webサーバ14、ユーザPC16、ダイジェスト管理サーバ18、コンテンツ作成者PC19のハードウェア構成について>
図5は、ダイジェスト管理サーバ18のハードウェア構成図の一例である。なお、図示するダイジェスト管理サーバ18のハードウェア構成は、1つの筐体に収納されていたりひとまとまりの装置として備えられていたりする必要はなく、ダイジェスト管理サーバが備えていることが好ましいハード的な要素を示す。
ダイジェスト管理サーバ18は、バス310に接続されたCPU301、ROM302、RAM303、HDD305、ディスプレイ308、ネットワークI/F309、キーボード311、マウス312、メディアドライブ307、及び、光学ドライブ314を有する。CPU301は、HD304に記憶されているダイジェスト管理プログラムを実行して、ダイジェスト管理サーバの全体の動作を制御する。ROM302はIPL等のCPU301の駆動に用いられるプログラムを記憶している。RAM303はCPU301のワークエリアとして使用される。HD304は不揮発性メモリを搭載した記憶装置であり、コンテンツを作成するダイジェスト管理プログラム、OS等が記憶されている。
HDD(Hard Disk Drive)305はCPU301の制御にしたがってHD304に対する各種データの読み出し又は書き込みを制御する。ディスプレイ308はカーソル、メニュー、マウスポインター、ウィンドウ、文字、又は画像などの各種情報を表示する。ネットワークI/F309はLANやインターネットなどのネットワークNとのインタフェースである。
キーボード311及びマウス312は入出力装置であり、キーボード311は文字、数値、各種指示などの入力のための複数のキーを備えこれらからの入力を受け付ける。マウス312はマウスポインターの移動及び各種指示の選択や実行、処理対象の選択などを受け付ける。
メディアドライブ307はフラッシュメモリ等のメディア306に対するデータの読み出し又は書き込み(記憶)を制御する。光学ドライブ314は着脱可能な記録媒体の一例としてのCD(Compact Disc)313等に対する各種データの読み出し又は書き込みを制御する。
なお、上記ダイジェスト管理プログラムは、インストール可能な形式又は実行可能な形式のファイルで、メディア306やCD313等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。あるいは、ダイジェスト管理プログラムは、サーバ型の情報処理装置からダウンロードされる形態で配布されてもよい。
なお、コンテンツ作成サーバ12、コンテンツ提供サーバ13、Webサーバ14、ユーザPC16、及び、コンテンツ作成者PC19のハードウェア構成はダイジェスト管理サーバと同様でよいため図示は省略する。ただし、コンテンツ作成サーバ12のHD304にはコンテンツを作成するためのコンテンツ作成プログラムが記憶される。また、コンテンツ提供サーバ13のHD304にはコンテンツを提供するためのコンテンツ提供プログラムが記憶される。また、ユーザPC16のHD304にはWebページやコンテンツの閲覧が可能な例えばブラウザソフトウェアなどのユーザPCプログラムが記憶される。また、コンテンツ作成者PC19のHD304にはコンテンツにダイジェスト情報を設定するためのダイジェスト情報プログラム(例えば、ブラウザソフトウェア)が記憶される。
<コンテンツ提供システムの機能>
図6は、コンテンツ提供システム100の機能ブロック図の一例を示す。以下、順番にコンテンツ提供システム100が有する機器(コンテンツ提供サーバ13、ダイジェスト管理サーバ18、ユーザPC16、コンテンツ作成者PC19)の機能について説明する。コンテンツ作成サーバ12とWebサーバ14については必要に応じて適宜説明される。
<<コンテンツ提供サーバ13>>
コンテンツ提供サーバ13は、送受信部21、コンテンツ提供部22、及び、記憶・読出部29を有している。コンテンツ提供サーバ13が有する各部は、図5に示されている各構成要素のいずれかが、HDD305からRAM303上に展開されたコンテンツ提供プログラム1100に従ったCPU301からの命令によって動作することで実現される機能、又は機能される手段である。
コンテンツ提供サーバ13は、図5に示されているRAM303やHDD305によって構築される記憶部1000を有している。記憶部1000にはコンテンツ管理DB1001とコンテンツ提供プログラム1100が記憶されている。コンテンツ管理DB1001(コンテンツ記憶装置の一例)にはコンテンツIDに対応づけてコンテンツ名、コンテンツが格納されているURI等が登録されている。
送受信部21は、図5に示されているCPU301からの命令及びネットワークI/F309等によって実現され、ネットワークNを介してダイジェスト管理サーバ18,ユーザPC16及びコンテンツ作成者PC19と通信する。具体的には、ユーザPC16やコンテンツ作成者PC19からコンテンツのURIと共にコンテンツの要求を取得する。
コンテンツ提供部22は、図5に示されているCPU301からの命令等によって実現され、URIで指定されるコンテンツをユーザPC16やコンテンツ作成者PC19に送信する。
記憶・読出部29は、図5に示されているCPU301からの命令及びHD304等により実現され、記憶部1000に各種データを記憶したり、記憶部1000に記憶された各種データを読み出したりする処理を行う。
<<ユーザPC16>>
次に、ユーザPC16の機能について説明する。ユーザPC16は送受信部31、操作入力受付部32、Webページ要求部33、Webページ表示部34、ダイジェスト情報要求部35、ダイジェスト再生部36、及び、記憶・読出部39を有している。ユーザPC16が有する各部は、図5に示されている各構成要素のいずれかが、HD304からRAM303上に展開されたユーザPCプログラム2100に従ったCPU301からの命令によって動作することで実現される機能、又は機能される手段である。
ユーザPC16は、図5に示されているRAM303やHDD305によって構築される記憶部2000を有している。記憶部2000にはユーザPCプログラム2100が記憶されている。
送受信部31は、図5に示されているCPU301からの命令及びネットワークI/F309等によって実現され、ネットワークNを介してコンテンツ提供サーバ13及びダイジェスト管理サーバ18と通信する。具体的には、コンテンツ及びダイジェスト情報を取得する。
操作入力受付部32は、図5に示されているCPU301からの命令、キーボード311及びマウス312等によって実現され、エンドユーザ6の操作を受け付ける。エンドユーザ6は任意のWebページを指定したり、Webページに含まれるコンテンツを指定したりする。
Webページ要求部33は、図5に示されているCPU301からの命令等によって実現され、エンドユーザ6の操作に応じてWebページをWebサーバ14に要求する。また、エンドユーザ6がコンテンツのURIを指示するなどしてコンテンツを要求する場合、コンテンツ提供サーバ13にコンテンツを要求する。
Webページ表示部34は、図5に示されているCPU301からの命令及びディスプレイ308等によって実現され、ディスプレイ308にWebページやコンテンツを表示させる。
ダイジェスト情報要求部35は、図5に示されているCPU301からの命令等によって実現され、ユーザPC16がコンテンツをダイジェスト再生する際、ダイジェスト管理サーバ18からダイジェスト情報を取得する。例えばコンテンツの要求と連動して(エンドユーザ6がコンテンツを要求する操作を行うと自動的に)ダイジェスト情報を取得する。あるいは、エンドユーザ6が明示的にダイジェスト情報を取得する操作を行ってもよい。
ダイジェスト再生部36は、図5に示されているCPU301からの命令及びディスプレイ308等によって実現され、ダイジェスト情報を使用してコンテンツをダイジェスト再生する。ダイジェスト再生の詳細は後述する。
記憶・読出部39は、図5に示されているCPU301からの命令及びHD304等により実現され、記憶部2000に各種データを記憶したり、記憶部2000に記憶された各種データを読み出したりする処理を行う。
<<ダイジェスト管理サーバ>>
次に、ダイジェスト管理サーバ18の機能について説明する。ダイジェスト管理サーバ18は送受信部41、ダイジェスト情報提供部42、ダイジェスト情報変更部43、及び、記憶・読出部49を有している。ダイジェスト管理サーバ18が有する各部は、図5に示されている各構成要素のいずれかが、HD304からRAM303上に展開されたダイジェスト管理プログラム4100に従ったCPU301からの命令によって動作することで実現される機能、又は機能される手段である。
また、ダイジェスト管理サーバ18は、図5に示されているRAM303やHDD305によって構築される記憶部4000を有している。記憶部4000にはダイジェスト情報管理DB4001及びダイジェスト管理プログラム4100が記憶されている。
Figure 2016220017
記憶部4000には、表1に示されているようなダイジェスト情報テーブルによって構成されているダイジェスト情報管理DB4001(位置情報記憶装置の一例)が構築されている。ダイジェスト情報テーブルには、コンテンツIDに対応づけて、コンテンツ名、フレームID、極座標、及び、表示倍率が登録されている。詳細は後述するが、フレームIDはコンテンツ(全天球画像の動画)においてフレームを特定するための識別情報である。フレームIDで特定される全天球画像は第一画像の一例である。極座標は、上記の指定位置Pに相当し、撮像位置C1〜C13における視線方向を特定するための情報である。表示倍率は、フレームIDが対応づけられたフレームを再生する際の表示倍率である。
なお、ダイジェスト情報は、コンテンツ作成者5が作成しなくても初期状態のダイジェスト情報がダイジェスト情報管理DB4001に登録されている。初期状態のダイジェスト情報は、全てのフレームについて極座標は進行方向を示し、表示倍率は1である。
送受信部41は、図5に示されているCPU301からの命令及びネットワークI/F309等によって実現され、ネットワークNを介してユーザPC16及びコンテンツ作成者PC19と通信する。
ダイジェスト情報提供部42は、図5に示されているCPU301からの命令等により実現され、ユーザPC16及びコンテンツ作成者PC19からの要求に応じてダイジェスト情報管理DB4001から読み出されたダイジェスト情報を送信する。
ダイジェスト情報変更部43は、図5に示されているCPU301からの命令等により実現され、コンテンツ作成者PC19からの要求に応じてダイジェスト情報管理DB4001に記憶されたダイジェスト情報テーブルにダイジェスト情報を登録する。
記憶・読出部49は、図5に示されているCPU301からの命令及びHD304等により実現され、記憶部4000に各種データを記憶したり、記憶部4000に記憶された各種データを読み出したりする処理を行う。
<<コンテンツ作成者PC>>
次に、コンテンツ作成者PC19の機能について説明する。コンテンツ作成者PC19は送受信部51、操作入力受付部52、ダイジェスト情報変更表示部53、ダイジェスト情報変更要求部54、及び、記憶・読出部59を有している。コンテンツ作成者PC19が有する各部は、図5に示されている各構成要素のいずれかが、HD304からRAM303上に展開されたダイジェスト情報プログラム6100に従ったCPU301からの命令によって動作することで実現される機能、又は機能される手段である。
また、コンテンツ作成者PC19は、図5に示されているRAM303やHDD305によって構築される記憶部6000を有している。記憶部6000にはダイジェスト情報プログラム6100が記憶されている。
送受信部51は、図5に示されているCPU301からの命令及びネットワークI/F309等によって実現され、ネットワークNを介してダイジェスト管理サーバ18と通信する。
操作入力受付部52は、図5に示されているCPU301からの命令、キーボード311及びマウス312等によって実現され、コンテンツ作成者5の操作を受け付ける。コンテンツ作成者5は、ダイジェスト情報の編集や設定を行う。
ダイジェスト情報変更表示部53は、図5に示されているCPU301からの命令等により実現され、コンテンツ提供サーバ13からコンテンツを、ダイジェスト管理サーバからダイジェスト情報を取得する。これらを用いてダイジェスト情報変更表示部53は、コンテンツ作成者5がダイジェスト情報を編集するための画面を表示する。
ダイジェスト情報変更要求部54は、図5に示されているCPU301からの命令等により実現され、コンテンツ作成者5が画面を操作して編集したダイジェスト情報をダイジェスト管理サーバに送信する。
記憶・読出部59は、図5に示されているCPU301からの命令及びHD304等により実現され、記憶部6000に各種データを記憶したり、記憶部6000に記憶された各種データを読み出したりする処理を行う。
<ダイジェスト情報の編集までの流れ>
図7は、コンテンツ作成者5がダイジェスト情報を編集する手順を示すシーケンス図の一例である。図7の手順に先立って、コンテンツがコンテンツ提供サーバ13に登録され、初期状態のダイジェスト情報がダイジェスト管理サーバ18に登録されている。コンテンツ提供サーバ13にコンテンツが提供されると、コンテンツ提供サーバ13はコンテンツIDをダイジェスト管理サーバ18に送信する。これにより、ダイジェスト管理サーバ18はコンテンツIDに対応づけてダイジェスト情報をダイジェスト情報管理DB4001に登録できる。
S1:コンテンツ作成者PC19のダイジェスト情報変更表示部53は、コンテンツ作成者5の操作に応じてダイジェスト情報をダイジェスト管理サーバ18に要求する。コンテンツ作成者5は、撮像者8やコンテンツ利用企業の担当者7と同じコンテンツに関わる者なので、ダイジェスト情報を変更したいコンテンツのコンテンツIDやコンテンツ名を予め把握している。あるいは、コンテンツ作成者5がコンテンツ提供サーバ13にログインして、コンテンツの一覧を表示するなどして、所望のコンテンツを特定してもよい。
S1.1:ダイジェスト管理サーバ18のダイジェスト情報提供部42はダイジェスト情報の要求を取得し、ダイジェスト情報管理DB4001からダイジェスト情報を取得する。ダイジェスト情報提供部42はダイジェスト情報をコンテンツ作成者PC19に送信する。
S2:コンテンツ作成者PC19のダイジェスト情報変更表示部53は、コンテンツIDでダイジェスト情報と紐づけられているコンテンツをコンテンツ提供サーバ13に要求する。これにより、コンテンツ提供部22からコンテンツを取得する。
S3:コンテンツ作成者5は、図9などで後述するダイジェスト変更画面を操作してダイジェスト情報を編集する。コンテンツ作成者PC19の操作入力受付部52は、入力されたダイジェスト情報の編集操作を受け付け、変更後のダイジェスト情報をダイジェスト情報変更要求部54に送出する。
S3.1:ダイジェスト情報変更要求部54は変更されたダイジェスト情報を含むダイジェスト情報変更要求をダイジェスト管理サーバ18に送信する。
S3.1.1:ダイジェスト管理サーバ18のダイジェスト情報変更部43は、ダイジェスト情報変更要求に応じて、ダイジェスト情報管理DB4001に登録されているダイジェスト情報テーブルを変更する。
<ダイジェスト情報の編集>
続いて、図8〜図11を用いて、コンテンツ作成者5がダイジェスト情報を編集する手順を説明する。
図8(a)は、ダイジェスト情報が変更されるコンテンツのルート61をマップ上に示す図の一例を示す。図8(a)のようなマップは、コンテンツ作成サーバ12が作成する。コンテンツ作成サーバ12は、コンテンツに含まれる全天球画像の全ての撮像位置C1〜C13が含まれるように範囲を決定して、ネットワークNを介して取得した地図データから該範囲のマップを作成する。
また、コンテンツ作成サーバ12は、マップにルート61を作成する。撮像位置C1〜C13は既知なので、撮像日時の古いものから順に撮像位置を接続することでルート61が得られる。コンテンツ作成サーバ12は、ルート上の撮像位置C1〜C13に全天球画像を埋め込む。埋め込むとは、マップ上の撮像位置と全天球画像を関連づけておくことをいう。関連づけにより、コンテンツ作成者5がマップ上の撮像位置C1〜C13をマウスなどでクリックすると、撮像位置C1〜C13で撮像された全天球画像をコンテンツ作成者PC19が表示することができる。なお、コンテンツ作成サーバ12がこのようなマップは作成するのでなく、コンテンツ作成者5などが作成してもよい。
マップの画像と全天球画像は一例としてHTMLとJavaScript(登録商標)等で記述されたHTMLデータ内で指定され、HTMLデータ等(画面情報の一例)と共にコンテンツ作成者PC19に送信される。コンテンツ作成者5が撮像位置C1〜C13をマウスなどでクリックするとそれがイベントとして検出され撮像位置C1〜C13の全天球画像が表示される。
このようなマップにおいて指定位置Pにコンテンツ作成者5がエンドユーザに注目させたい対象物(駅、公共機関、建物、店舗、観光名所など)があるとする。また、指定位置Pに最も近い撮像位置を撮像位置C4とする。
図8(b)は撮像位置C4で撮像された全天球画像の一例である。コンテンツには、撮像位置C4以外の全天球画像も含まれている。
図9は、コンテンツ作成者PC19に表示されるダイジェスト情報変更画面601の一例を示す図である。ダイジェスト情報変更画面601はマップ領域62と画像領域63を有している。マップ領域62には図8(a)のマップが表示されている。マップ領域62には、指定位置Pを示す『☆』が図示されているが、これは説明のために記載したものであり、実際の画面には表示されない。
画像領域63には「エンドユーザに注目させたい場所をクリックしてください」と表示されている。コンテンツ作成者5がマップ領域の任意の場所をマウスなどでクリックすると、ダイジェスト情報変更表示部53はその位置から最も近い撮像位置C4を特定し、この撮像位置C4で撮像された全天球画像を画像領域63に表示する。以下では、コンテンツ作成者5が指定位置Pをクリックした場合の処理を説明する。
図10は、コンテンツ作成者5が指定位置Pをクリックした場合に表示されるダイジェスト情報変更画面601の一例を示す図である。コンテンツ作成者5が指定位置Pをクリックすると、ダイジェスト情報変更表示部53は指定位置Pに最も近い撮像位置C4を特定する。さらに、ダイジェスト情報変更表示部53は撮像位置C4から指定位置Pを視線方向とする表示範囲V4の全天球画像を画像領域63に表示させる。このような操作によりダイジェスト情報が編集される。具体的なダイジェスト情報の作成方法については後述する。
したがって、コンテンツ作成者5はマップ領域62でエンドユーザに注目させたい対象物の位置を選択するという簡単な操作で、ダイジェスト情報を編集できる。図10では一箇所しか指定位置Pが存在しないが、コンテンツ作成者5は複数の指定位置Pを指定することができる。
<<全天球画像を拡大・縮小して表示するためのダイジェスト情報>>
図11に示すように、コンテンツ作成者5は画像領域63の画像を拡大又は縮小することができる。図11は、コンテンツ作成者5が指定位置Pをクリックした後に拡大操作を行った場合に表示されるダイジェスト情報変更画面601の一例を示す図である。
コンテンツ作成者5は、図10のようなダイジェスト情報変更画面601を表示させた後、例えば、画像領域63にマウスポインターをおいた状態で、マウスのホイールを回転させるなどの操作により画像領域63の表示範囲V4の表示倍率を変更する。図11では図10に比べて拡大されているが、縮小することもできる。
このような操作は、例えば、画像領域63のマウスポインターに対しマウスのホイールが回転されたことを操作入力受付部52がイベントとして検出することで実現される。操作入力受付部52は回転方向に応じて拡大か縮小を判断し、回転量に応じて表示倍率(拡大率、縮小率)を決定する。
<ダイジェスト再生>
次に、図12を用いて、以上のようにして編集されたダイジェスト情報を用いたコンテンツのダイジェスト再生について説明する。図12は、ダイジェスト再生の際にディスプレイ308に表示される表示範囲V1〜V13を模式的に説明する図の一例である。図12には、撮像者8の移動方向を示すルート61上に、撮像位置C1〜C13が表示されている。そして、撮像位置C1〜C13のそれぞれに表示範囲V1〜V13が図示されている。表示範囲V4は、指定位置Pを視線方向とし、かつ、表示倍率が調整された後の表示範囲である。
表示範囲V1〜V13は、ユーザPC16がダイジェスト情報に基づきコンテンツを再生する際、ユーザPC16のディスプレイ308に全天球画像のどの部分が表示されかを示している。すなわち、図12のルートに沿って撮像されたコンテンツを再生する際、撮像位置C1の全天球画像では表示範囲V1がユーザPC16のディスプレイ308に表示される。表示範囲V2〜V13についても同様であり、撮像位置C2〜C13で撮像された全天球画像は、全天球画像の一部である表示範囲V2〜V13が順番にディスプレイ308に表示される。
コンテンツ作成者5が設定した撮像位置C4以外の撮像位置C1〜C3、C5〜C13では、予め、進行方向を中心とする所定領域が表示範囲V1〜V3,V5〜V13として設定されている。進行方向は、全天球画像に付加されている撮像位置を辿れば明らかである。
したがって、指定位置Pの最寄りでない撮像位置C1〜C3、C5〜C13で撮像された全天球画像をユーザPC16が再生する際は進行方向を視線方向とする表示範囲V1〜V3,V5〜V13を表示する。指定位置Pの最寄りの撮像位置C4で撮像された全天球画像をユーザPC16が再生する際は、指定位置Pを視線方向とする表示範囲V4を表示する。したがって、コンテンツ作成者5が注目させたい対象物をエンドユーザに見せることができる。
なお、図9〜12の説明では、指定位置Pに最も近い撮像位置C4の全天球画像のみ、指定位置Pを視線方向とすると説明した。しかし、指定位置Pを視線方向とする全天球画像を最寄りの撮像位置C4に限る必要はない。例えば、指定位置Pとの距離が近い順に2〜3の撮像位置を決定し、それらの撮像位置では指定位置Pを視線方向とする全天球画像を表示してもよい。図12では撮像位置C3〜C5が相当する。こうすれば、コンテンツ作成者5はエンドユーザに長時間、注目させたい対象物を見せることができる。
<ダイジェスト情報の作成>
続いて、図13、14を用いてダイジェスト情報の作成について説明する。図13は、全天球画像の表示の仕組みを説明するための図の一例である。図8(b)に示した全天球画像は、メルカトル図法で平面画像に変換されている。メルカトル画像を球状の全天球画像に変換することも可能であり、コンテンツ提供サーバ13はメルカトル画像を球状の全天球画像に変換してからエンドユーザに送信する。球状の全天球画像に変換された状態でコンテンツ提供サーバ13に保存されている場合は、変換しなくてよい。
図13(a)は球面上にマッピングされた全天球画像を模式的に示す図の一例である。図13(a)の全天球画像は、ある1点から上下左右360度の全方位の被写体が撮像された画像である。
図13(b)はディスプレイ308に全天球画像が表示される際の表示範囲Vを説明する図の一例である。球面上にマッピングされた全天球画像の球体の中心に仮想カメラ71が配置された状態を考える。仮想カメラ71の視線方向を中心に緯度方向及び経度方向にそれぞれ所定角度が指定されると球上に矩形領域(厳密には矩形にならない)を特定できる。この矩形領域が表示範囲Vとなる。
図13(c)は、球上の矩形領域のうちディスプレイ308に表示された表示範囲Vを示す。したがって、エンドユーザはこのような画像をユーザPC16で表示させることになる。
図14は、撮像位置C4を原点とした場合の3次元座標系を示す図である。原点には、仮想カメラ71が配置されている。コンテンツ作成者5が指定した指定位置Pを、原点の仮想カメラ71から見た場合、指定位置Pの座標は極座標系でP( r, θ, φ)として表現することができる。この原点が撮像位置C4であるとして説明する。
rは撮像位置C4と指定位置Pの距離である。θはx軸方向を基準として仮想カメラ71の水平方向の向きを示す。φは水平方向(x軸、y軸方向)を基準として仮想カメラ71の垂直方向の向きを示す。なお、撮像位置C4と指定位置Pの高さが同じ場合、φはゼロである。一方、山頂など標高が高い場所が指定位置Pとして指定された場合、撮像位置C4の標高よりも指定位置Pの標高の方が高くなる。この場合のφは、撮像位置C4と指定位置Pの標高差及び距離により算出できる。
このように、P( r, θ, φ)により指定位置Pを特定できるため、指定位置Pに最寄りの撮像位置で撮像された全天球画像のフレームID、極座標及び表示倍率をダイジェスト情報とすることができる。
<指定位置Pに最寄りの撮像位置以外の撮像位置のダイジェスト情報>
ユーザPC16がコンテンツをダイジェスト再生する場合、指定位置Pに最寄りの撮像位置C4以外の撮像位置C1〜C3、C5〜C13でもダイジェスト情報をダイジェスト情報変更表示部53が作成することが好ましい。撮像位置C1〜C3、C5〜C13は第二画像の一例である。
指定位置Pに最寄りの撮像位置C4以外の撮像位置C1〜C3、C5〜C13には初期状態で進行方向を視線方向(初期視線方向)とするダイジェスト情報が設定されている。しかし、このようなダイジェスト情報では、撮像位置が1つ変わると(例えば、撮像位置C3からC4,又は、撮像位置C4からC5)、視線方向及び表示倍率が急に変わってしまうため、不自然な再生であるとユーザに感じさせる可能性がある。
そこで、以下に説明するように、ダイジェスト情報変更表示部53は、指定位置Pに最寄りの撮像位置C4以外の撮像位置C1〜C3、C5〜C13の全天球画像の視線方向及び表示倍率を徐々に変化させる。これにより、より自然な全天球画像のコンテンツをエンドユーザが閲覧できる。
図15は、撮像位置C7のダイジェスト情報の算出方法を説明する図の一例である。撮像位置C4のダイジェスト情報(視線方向と表示倍率)はすでに算出されているものとする。図15では、撮像位置C7の表示範囲V7は、撮像位置C7における進行方向を視線方向とする所定範囲である。
以下、撮像位置C4における視線方向と表示倍率が緩やかに変化するように撮像位置C7における視線方向と表示倍率を求める方法について説明する。簡単に説明すると、撮像位置C4における視線方向と表示倍率を、撮像位置C4とC7の距離に応じて、撮像位置C7における視線方向と表示倍率に反映させる。
図16は、2つの撮像位置C4,C7における視線方向をベクトルで表す図の一例である。撮像位置C4、C7、及び、指定位置Pを2次元座標軸上に表す。2次元座標軸は水平平面などでよいが、高さ方向を省略しただけ(仰角φをゼロに固定しただけ)なので3次元座標のまま計算した場合と説明上の相違はない。また、このため撮像位置C4,C7の相対位置が図15と異なっているが、計算結果に影響はない。
ベクトルvAPは撮像位置C4の視線方向のベクトルである。ベクトルBは撮像位置C7の進行方向のベクトルである。
図のようにベクトルvAPを平行移動させ、ベクトルBに加えて得られるベクトルB´は以下のように表すことができる。
Figure 2016220017
このように単純なベクトルの足し算では、ベクトルvAPが撮像位置C7の視線方向に与える影響が大きくなってしまう。そこで、ベクトルvAPの影響を自然に減衰させるため、以下のように計算する。ここでは、「光の強さは光源からの距離の2乗に反比例する」という「逆2乗の法則」を利用する方法を説明する。
撮像位置C4,C7は3地点分(距離情報)離れているので、これを距離とみなすと以下の式でベクトルB´´(第二画像視線方向)を求めることができる。
Figure 2016220017
すなわち、距離の二乗だけ撮像位置C4の視線方向が減衰されている。
表示倍率も同様に、以下のように計算できる。
撮像位置C7の表示倍率=撮像位置C7の表示倍率+(1/32)撮像位置C4の表示倍率 …(3)
3地点分の距離は実際の撮像位置C4とC7の距離で算出してもよい。このように計算したベクトルB´´及び表示倍率を撮像位置C7における視線方向・表示倍率とする。なお、撮像位置C4の視線方向の影響の強さを距離に反比例させてもよいし、距離を実数倍したものに反比例させてもよい。視線方向と表示倍率は同じ計算方法でなくてもよい。
他の撮像位置C1〜3、5,6、8〜13についても同様に計算できる。このような計算により視線方向を求めれば、撮像位置C1〜3、5〜13の視線方向が急激に変化しにくくなるので、エンドユーザが感じる不自然さを低減できる。
<指定位置Pが複数ある場合のダイジェスト情報>
次に、コンテンツ作成者5が注目させたい地点として、指定位置P1とP2の複数地点を選択した場合に、自然なダイジェスト再生を行うダイジェスト情報について説明する。
図17は、2つの指定位置P1、P2が指定されたマップ上のルート61を示す図の一例である。指定位置P1に最も近い撮像位置は撮像位置C4、指定位置P2に最も近い撮像位置は撮像位置C10である。図10,11で説明した方法により、撮像位置C4、C10のダイジェスト情報(視線方向と表示倍率)はすでに求められているものとする。
以下、図18を用いて、撮像位置C7における視線方向と表示倍率の計算方法について説明する。撮像位置C4とC10に挟まれた撮像位置C7(C5〜C9)は第三画像の一例である。図18は、撮像位置C4,C7、C10における視線方向をベクトルで表す図の一例である。図16と同様に2次元座標で視線方向を表すが、計算結果に影響はない。撮像位置C4から指定位置P1を視線方向とするベクトルvAP、撮像位置C10から指定位置P2を視線方向とするベクトルvBP、は求められている。
撮像位置C7での視線方向を決めるため、撮像位置C7を原点とするベクトルvCPA、vCPBを求める。図から
ベクトルvCPA=vAP+vCA
である。vCA は撮像位置C4と撮像位置C7の緯度経度情報から計算できる。したがって、ベクトルvCPAを求めることができる。
ベクトルvCPBも、ベクトルvBPを用いて同様に求めることができる。
ベクトルvCPB=vBP+vCB
次に、図19を用いて、撮像位置C7における視線ベクトルのベクトル情報の求め方を説明する。図19は、図18ですでに使用した不要なベクトルを省いた図である。ベクトルvCPAとベクトルvCPBの単位ベクトルをそれぞれvCPAu、vCPBuとする。そして、以下の式で求められるベクトルCを撮像位置C7における視線方向とする。
ベクトルC=vCPAu+vCPBu …(4)
このように、撮像位置C7の視線ベクトルを、撮像位置C7から指定位置P1とP2を見る方向のベクトルの合成により決定できる。
次に、図20を用いて撮像位置C7の表示倍率について説明する。図20は撮像位置C7の表示倍率の算出方法を説明する図の一例である。図示するように、撮像位置C4はスタート地点であるS地点から4番目、撮像位置C7は7番目、撮像位置C10は10番目である。
ダイジェスト再生を滑らかに行うために、撮像位置C7の表示倍率を撮像位置C4とC10の間の値になるようにする。撮像位置C4の表示倍率がr4、撮像位置C10の表示倍率がr10であるとする。撮像位置C7の表示倍率r7は、例えば、以下の様な式で求められる。
r7=r4+(r10−r4){(7−4)/(10−4)} …(5)
すなわち、撮像位置C4とC10の表示倍率の違いに、撮像位置C4とC10の距離に対する撮像位置C7とC4の距離の比率を乗じて、その値に撮像位置C4の表示倍率を加える。これを撮像位置C7の表示倍率としている。このように撮像位置C7の表示倍率を決定すれば、ダイジェスト再生において表示倍率を滑らかに変化させることができる。
撮像位置C5,C6,C8,C9のダイジェスト情報も図19,20と同様に計算できる。撮像位置C1〜3は、指定位置P1の影響しか受けないので、図15,16にて説明した方法でダイジェスト情報を計算できる。撮像位置C11〜13も、指定位置P2の影響しか受けないので、図15,16にて説明した方法でダイジェスト情報を計算できる。
図21は、ダイジェスト再生の際にディスプレイ308に表示される表示範囲V1〜V13を模式的に説明する図の一例である。図21では、図12との相違が主に説明される。
表示範囲V1〜V13は、ユーザPC16がダイジェスト情報に基づきコンテンツを再生する際、ユーザPC16のディスプレイ308に全天球画像のどの部分が表示されかを示している。また、表示範囲V1〜V13の大きさは表示倍率と相関する。
図示するように、表示範囲V1〜V13によれば、撮像位置C1〜C3では徐々に視線方向が指定位置P1の方向に近づくことが分かる。撮像位置C4で視線方向が指定位置P1の方向と一致した後、撮像位置C5〜C9では徐々に視線方向が指定位置P2の方向に近づいている。撮像位置C10で視線方向が指定位置P2の方向と一致した後、撮像位置C11〜C13では徐々に視線方向が進行方向に近づいている。したがって、視線方向を滑らかに変更することができる。
また、表示倍率は撮像位置C4で拡大され(表示範囲は狭くなる)、撮像位置C10で縮小(表示範囲は広くなる)されたものとする。撮像位置C1〜C3では徐々に表示倍率が撮像位置C4の表示倍率に近づくため、表示範囲V1〜V3は徐々に狭くなっていく。撮像位置C4で表示倍率がコンテンツ作成者5の設定値になった後、撮像位置C5〜C9では撮像位置C4とC10の距離に応じた表示倍率となっている。このため、表示範囲V5〜V9は徐々に広くなっていく。撮像位置C10で表示倍率がコンテンツ作成者5の設定値になった後、撮像位置C11〜C13では撮像位置C10との距離に応じて表示倍率が拡大される。このため、表示範囲V11〜V13は徐々に狭くなっていく。したがって、表示倍率を滑らかに変更することができる。
<ダイジェスト再生の動作手順>
以上のように作成したダイジェスト情報を用いたコンテンツのダイジェスト再生の動作手順について説明する。
図22は、コンテンツ提供システム100によるダイジェスト再生の手順を示すシーケンス図の一例である。図22はエンドユーザがコンテンツをダイジェスト再生する際にスタートする。
S1:ユーザPC16のWebページ要求部33はエンドユーザの操作に応じて、コンテンツをコンテンツ提供サーバ13に要求する。これにより、Webページ要求部33はコンテンツを取得する。この時、コンテンツIDのようなコンテンツを特定する情報も取得する。なお、Webサーバ14にWebページを要求する処理については省略されている。また、Webページを要求することなくコンテンツのみを取得してもよい。
S2:ユーザPC16のダイジェスト情報要求部35は、ダイジェスト管理サーバ18に対し、コンテンツIDなどでダイジェスト情報を指定してダイジェスト情報を要求する。ダイジェスト情報の要求は、エンドユーザがダイジェスト情報を要求するためのボタンを操作するなどの明示的な操作がある場合に行ってもよいし、コンテンツの受信に連動して自動的に行ってもよい。
S2.1:ダイジェスト管理サーバ18のダイジェスト情報提供部42はコンテンツIDなどで特定されるダイジェスト情報をダイジェスト情報管理DB4001から読み出す。ダイジェスト情報提供部42はダイジェスト情報をユーザPC16に送信する。
S3:ユーザPC16のダイジェスト再生部36は、ステップS1で取得したコンテンツにステップS2出取したダイジェスト情報を適用してコンテンツをダイジェスト再生する。
図23は、図22のステップS3のダイジェスト再生の手順を示すフローチャート図の一例である。図23の手順はコンテンツとダイジェスト情報が受信されたことを契機又はユーザの操作によりスタートする。
まず、ダイジェスト再生部36は変数nに1を設定する(S10)。変数nは撮像位置C1〜C13の数を管理するための変数である。
次に、ダイジェスト再生部36は、撮像位置C1〜C13の全ての数がnより小さいか否かを判定する(S20)。ステップS20の判定がYesの場合、処理すべき全天球画像がないので処理は終了する。
ステップS20の判定がNoの場合、ダイジェスト再生部36はn番目の撮像位置Cnのダイジェスト情報を読み出す(S30)。
次に、ダイジェスト再生部36は、ダイジェスト情報を用いて、n番目の撮像位置Cnの全天球画像について視線方向と表示倍率を計算する(S40)。前方にのみ指定位置Pに最も近い撮像位置がある場合、例えば式(2)によって視線方向を計算し、式(3)によって表示倍率を計算する。後方にのみ指定位置Pに最も近い撮像位置がある場合も同様である。n番目の撮像位置Cnの前後に指定位置Pに最も近い撮像位置がある場合、式(4)によって視線方向を算出し、式(5)によって表示倍率を計算する。
次に、ダイジェスト再生部36は、計算した視線方向と表示倍率を用いてn番目の撮像位置Cnの全天球画像を表示する(S50)。
次に、ダイジェスト再生部36はnを1つ大きくする(S60)。以降は、ステップS20からの繰り返しとなる。
以上のようにして、滑らかに視線方向と表示倍率を変えながら全天球画像をダイジェスト再生できる。
<再生速度>
撮像位置C1〜C13によって再生スピードを変更することで再生時間を削減することも有効である。例えば、指定位置に最も近い撮像位置の付近ではゆっくり再生しそれ以外は速く再生する。
図24は、再生時間の設定が可能なダイジェスト情報変更画面601の一例を示す図である。マップ領域62,画像領域63と共に再生時間設定欄65、基本再生時間設定欄66が表示されている。
コンテンツ作成者5は再生時間として任意の数値を再生時間設定欄65に設定できる。再生時間は、指定位置Pに最寄りの撮像位置C4以外の撮像位置の再生時間を1とした場合に何倍の時間をかけて再生するかを示す。
この撮像位置C4以外の撮像位置の再生時間を基本再生時間と称することにする。コンテンツ作成者5は基本再生時間設定欄66に任意の基本再生時間を設定できる。したがって、コンテンツ作成者5は注目させたい撮像位置以外の再生時間を短縮したり、指定位置Pに最寄りの撮像位置Cの撮像位置を長くしたりすることができる。
なお、撮像位置C4以外の撮像位置の再生時間は、表示倍率と同様に撮像位置C4との距離によって調整される。したがって、再生速度も滑らかに変化させることができる。
以上説明したように、本実施例のコンテンツ提供システム100は、全天球画像のように、一度にディスプレイに全体を表示できない広角の画像を表示する際に、コンテンツ作成者5が注目させたい指定位置Pをユーザに注目させることができる。
本実施例では、コンテンツ作成者5がダイジェスト情報を設定しなくてもダイジェスト情報を自動的に生成するコンテンツ提供システム100について説明する。コンテンツ作成者5が指定する指定位置Pは著名な地物がある場所が多いと考えられる。このような地物(駅、公共機関、建物、店舗、観光名所など)は地図データに予め登録されているため、コンテンツ提供システム100は地図データを参照することでダイジェスト情報を作成できる。
図25は、本実施例におけるダイジェスト管理サーバ18の機能ブロック図の一例である。コンテンツ提供サーバ13、ユーザPC16、及び、コンテンツ作成者PC19については実施例1と同様でよい。図25のダイジェスト管理サーバ18では、ダイジェスト情報自動生成部44と地図データDB4002(地図データ記憶装置)を新たに有している。
地図データDB4002は、位置情報(経度・緯度、標高)に対応づけて主要な地物が登録されている。地図データDB4002はコンテンツ提供システム100が有している必要はなく、公開されているWeb API(Web Application Programming Interface)を使用してよい。WebAPIとは、2つの装置がネットワークを介して処理を行う際の取り決め(処理の依頼方法やデータの指定方法など)をいう。地図データDB4002のWeb APIとしてはGOOGLE PLACES(登録商標) API、いつもNAVI(登録商標) API、Yahoo(登録商標)が提供するAPIなど多くのWeb APIが知られている。
ダイジェスト情報自動生成部44は、図5に示されているCPU301からの命令等によって実現され、地図データDB4002を利用してダイジェスト情報を自動生成する。具体的には、コンテンツの撮像位置C1〜13の周辺情報を地図データDB4002から取得する。そして、撮像位置C1〜13から所定距離内の地物を地図データDB4002から取得する。この地物が指定位置Pに相当する。地物の数が多い場合には、予め設定されている地物の属性(駅、公共機関、建物、観光名所など)によって地物を絞り込んでもよい。また、インターネット検索などで地物を検索し、DNSサーバに登録されている(すなわちURLがある)地物を絞り込んでもよい。ダイジェスト情報自動生成部44は、得られた地物の位置情報を指定位置Pとしてダイジェスト情報を生成する。視線方向と表示倍率の計算方法などは実施例1と同じである。
図26は、ダイジェスト情報自動生成部44がダイジェスト情報を自動生成する手順を示すシーケンス図の一例である。
S1:コンテンツ作成サーバ12は、撮像装置11や携帯端末からコンテンツを受信してコンテンツを作成する。このコンテンツはコンテンツ提供サーバ13に送信される。
S2:コンテンツ提供サーバ13は新たにコンテンツが登録されると、コンテンツ提供サーバ13がコンテンツを登録した旨のコンテンツ取得通知をダイジェスト管理サーバ18に送信する。
S3:ダイジェスト情報自動生成部44は、コンテンツ取得通知を取得すると、ダイジェスト情報を自動生成する。
S4:作成されたダイジェスト情報はダイジェスト情報管理DB4001に登録される。
なお、ダイジェスト情報を自動生成するタイミングとしては、コンテンツ作成者5が作成を指示したタイミングでもよい。例えば、ダイジェスト情報変更画面601に配置された自動生成ボタンを押したタイミングなどでも良い。
したがって、本実施例のコンテンツ提供システム100によれば、コンテンツ作成者5が指定位置Pを設定しなくてもダイジェスト情報を生成できる。
本実施例では、一つのコンテンツに対して複数のパターンのダイジェスト情報を設定可能なコンテンツ提供システム100について説明する。このパターンとは、コンテンツに含まれる複数の全天球画像に対し設定された一連の指定位置P(1つでもよい)をいう。 図27は、コンテンツに設定された複数のパターンのダイジェスト情報を模式的に示す図の一例である。図27では、指定位置P11、P12(白抜きの星印)が1つのパターンであり、指定位置P21〜P27(黒塗りの星印)が1つのパターンである。すなわち、指定位置P11、P12が1つのグループを形成し、指定位置P21〜P27が1つのグループを形成する。実施例1であれば、コンテンツ作成者5が同じコンテンツに対し用途やコンテンツのターゲットに応じて異なるパターンの指定位置Pを設定する。実施例2のように自動生成される場合、地物の属性などにより異なるパターンの指定位置Pが設定される。
例えば、図27では、指定位置P11、P12は旅行者に注目させたい観光名所であり、指定位置P21〜P27は女性客に注目させたいブランドショップである。
ダイジェスト情報の作成方法は実施例1又は2と同様でよい。すなわち、コンテンツ作成者5は用途やターゲットを考慮してパターン別に指定位置Pを設定する。ダイジェスト情報自動生成部44は地物の属性を区別することでパターン別に指定位置Pを設定する。ダイジェスト情報変更部43は、異なるパターンを別々に扱うため、指定位置Pに異なるパターンを指定する識別情報(次述するダイジェストID)を付与する。あるいは、コンテンツ作成者5がパターン別に識別情報を明示的に指定してもよい。
複数のパターンのダイジェスト情報が設定されたダイジェスト情報テーブルは例えば以下のようになる。
Figure 2016220017
表2のダイジェスト情報テーブルでは表1と比較してダイジェストIDの列が追加されている。ダイジェストIDはパターンを指定する識別情報である(グループ指定情報)。表2では1つのコンテンツIDに対し2つのダイジェストIDが登録されているため、ダイジェスト再生のために2つのパターンが登録されている。例えば、ダイジェストIDとしてD01が指定されると、ユーザPC16はフレームIDが5と7のフレームにだけ指定位置Pが設定されているものとしてコンテンツをダイジェスト再生する。
再生時の動作手順は図22と同様でよい。しかし、図22のステップS2でダイジェスト情報要求部35はダイジェスト情報要求にコンテンツIDとダイジェストIDを含める。これにより、ダイジェスト管理サーバ18はダイジェストIDで指定されたダイジェスト情報をユーザPC16に送信する。
ダイジェストIDをユーザPC16が送信するためには、エンドユーザはコンテンツの再生画面に表示された例えば観光名所用のボタン、ブランドショップ用のボタンなどを選択する。それぞれのボタンはダイジェストIDと紐づけられている。ユーザPC16は押下されたボタンをダイジェストIDに変換してダイジェスト管理サーバ18に送信する。
したがって、本実施形態のコンテンツ提供システム100によれば、一つのコンテンツを複数のパターンでダイジェスト再生することができる。
<その他の適用例>
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
例えば、ダイジェスト管理サーバ18又はコンテンツ提供サーバ13が、ダイジェスト情報に基づいて全天球画像の表示範囲を設定した状態で全天球画像を配信してもよい。これにより、ユーザPC16はストリーミング再生のように再生するだけで指定位置Pを表示させることができる。
図28は、コンテンツ提供サーバ13が、表示範囲が設定されたコンテンツをユーザPCに送信する手順を示すシーケンス図の一例である。図28ではダイジェスト管理サーバ18がダイジェスト再生部36を有する。このダイジェスト再生部36は表示範囲V1〜V13を設定する。
S1:ユーザPCはコンテンツをコンテンツ提供サーバ13に要求する。
S2:コンテンツ提供サーバ13は要求されたコンテンツをダイジェスト管理サーバ18に送信する。
S3:ダイジェスト管理サーバ18のダイジェスト再生部36はダイジェスト情報管理DBからダイジェスト情報を読み出す。
S4:ダイジェスト再生部は図23で説明したように表示範囲と表示倍率を決定する。
S5:ダイジェスト再生部は表示範囲が設定されたコンテンツをコンテンツ提供サーバ13に送信する。
S6:コンテンツ提供サーバ13は表示範囲が設定されたコンテンツをユーザPC16に送信する。
また、この場合、ダイジェスト管理サーバ18がユーザPC16に送信するのは表示範囲V1〜V13だけでよい。これにより、全天球画像の送信時間を短縮できる。
また、本実施形態から明らかなようにコンテンツとダイジェスト情報を有する任意の装置であれば、ダイジェスト再生することができる。例えば、ダイジェスト管理サーバ18がコンテンツを有していれば、ダイジェスト管理サーバ18に接続されたディスプレイ等にコンテンツをダイジェスト再生できる。
例えば、本実施形態では全天球画像を例にして説明したが、再生されるコンテンツは必ずしも全天球画像でなくてもよい。例えばディスプレイに全体が表示しきれない広角画像が含まれる。また、全天球画像の再生の途中に全天球画像でない画像が混在していてもよい。また、コンテンツが全天球画像の場合、全天球画像は専用の撮像装置11で撮像されたものの他、複数の画像が合成されて作成されたものを含む。また、全天球画像はスマートフォンに特殊なレンズを外付けして撮像されたものでもよい。
また、動画として地上で撮像されたものに限られず、空中(パラシュートによる落下時、パラグライダーなどによる飛行時など)、水中(海中やプールの中)などで撮像されたものが含まれる。このように地上以外の撮像では、経度・緯度だけでなく高度情報が測定されて、画像に添付されていることが好ましい。
また、コンテンツ作成者5は設定した指定位置Pに最寄りの撮像位置の全天球画像のダイジェスト情報を編集した。しかし、編集されるダイジェスト情報は、指定位置Pに最寄りの撮像位置の全天球画像のものでなくてよい。例えば、コンテンツ作成者5がダイジェスト情報変更画面601で編集対象の撮像位置C1〜C13を指定してもよい。また、指定位置Pに最寄りの1つの全天球画像のみの視線方向を指定位置Pにするのでなく、複数の全天球画像の視線方向を指定位置Pに向けてもよい。
また、以上の実施例で示した図6などの構成例は、コンテンツ提供システムの処理の理解を容易にするために、主な機能に応じて分割したものである。また、コンテンツ提供システム100の記憶部1000、4000内のデータベースは、コンテンツ提供システム100が読み書き可能な場所にあればよい。
また、図6ではコンテンツ提供サーバ13、ダイジェスト管理サーバ18、ユーザPC16、及びコンテンツ作成者PC19の機能をいくつかの処理単位に分割して説明した。しかし、各処理単位の分割の仕方や名称によって本願発明が制限されることはない。コンテンツ提供サーバ13、ダイジェスト管理サーバ18、ユーザPC16、及びコンテンツ作成者PC19の処理は、処理内容に応じてさらに多くの処理単位に分割することもできる。また、1つの処理単位がさらに多くの処理を含むように分割することもできる。
13 コンテンツ提供サーバ
16 ユーザPC
18 ダイジェスト管理サーバ
35 ダイジェスト情報要求部
36 ダイジェスト再生部
42 ダイジェスト情報提供部
43 ダイジェスト情報変更部
44 ダイジェスト情報自動生成部
53 ダイジェスト情報変更表示部
54 ダイジェスト情報変更要求部
100 コンテンツ提供システム
国際公開第WO2010150348号

Claims (14)

  1. 異なる場所で撮像された複数の画像が含まれるコンテンツを情報処理装置が端末装置に提供するコンテンツ提供システムであって、
    前記情報処理装置は、
    前記コンテンツが記憶されたコンテンツ記憶装置から前記コンテンツを読み出し、前記コンテンツに対応づけて位置情報が記憶された位置情報記憶装置から前記位置情報を読み出す読出手段と、
    前記読出手段が読み出した前記コンテンツ及び前記位置情報を前記端末装置に送信する送信手段と、を有し、
    前記端末装置は、前記コンテンツ及び前記位置情報を受信する受信手段と、
    前記位置情報が示す位置との距離に基づき決定された撮像位置の前記画像の表示範囲を、前記画像の撮像位置と前記位置情報を結ぶ方向を含むように設定して前記コンテンツを再生するコンテンツ再生手段と、を有するコンテンツ提供システム。
  2. 前記位置情報記憶装置には、1つの前記コンテンツに含まれる前記画像を識別するための識別情報に対応づけて前記位置情報が記憶されており、
    前記受信手段は前記位置情報と共に前記識別情報を受信し、
    前記コンテンツ再生手段は少なくとも前記識別情報で特定される第一画像の表示範囲を、前記方向を含むように設定して前記コンテンツを再生する請求項1に記載のコンテンツ提供システム。
  3. 前記端末装置の前記受信手段は、前記コンテンツ及び前記位置情報に加え、前記識別情報に対応づけられた表示倍率を受信し、
    前記コンテンツ再生手段は、前記第一画像の表示範囲を前記表示倍率で拡大又は縮小して前記コンテンツを再生する請求項2に記載のコンテンツ提供システム。
  4. 前記コンテンツ再生手段は、前記第一画像と前記第一画像の前又は後に再生される第二画像との距離情報に応じて、前記第二画像の予め定められている初期視線方向に前記方向を影響させることで、前記第二画像の第二画像視線方向を決定し、前記第二画像の表示範囲を、前記第二画像視線方向を含むように設定して前記コンテンツを再生するか、又は、
    前記第一画像と前記第二画像との前記距離情報に応じて、前記第一画像の前記表示倍率を前記第二画像の予め定められている前記表示倍率に影響させることで、前記第二画像の前記表示倍率を決定し、前記第二画像の表示範囲を決定された前記表示倍率で拡大又は縮小して前記コンテンツを再生する請求項3に記載のコンテンツ提供システム。
  5. 前記位置情報記憶装置に、複数の前記位置情報が記憶されそれぞれに前記識別情報が対応づけられている場合、
    前記コンテンツ再生手段は、2つの前記第一画像で挟まれた第三画像の視線方向を、前記第三画像の撮像位置と該第三画像よりも先に再生される前記第一画像に近い方の前記位置情報とを結ぶ方向、及び、前記第三画像の撮像位置と該第三画像よりも後に再生される前記第一画像に近い方の前記位置情報とを結ぶ方向を合成することで決定し、
    前記第三画像の決定された視線方向を含むように前記第三画像の表示範囲を設定して前記コンテンツを再生するか、又は、
    前記コンテンツ再生手段は、前記第三画像の前記表示倍率を、2つの前記第一画像の前記表示倍率の間の値になるように決定し、前記第三画像の表示範囲を決定された前記表示倍率で拡大又は縮小して前記コンテンツを再生する請求項3に記載のコンテンツ提供システム。
  6. 前記コンテンツ再生手段は、前記第一画像を他の前記画像よりも遅い再生速度で再生する請求項2〜5いずれか1項に記載のコンテンツ提供システム。
  7. 前記位置情報記憶装置には、前記位置情報のグループを指定するグループ指定情報がそれぞれの前記位置情報に対応づけられており、
    前記送信手段は、前記端末装置により前記グループ指定情報で指定された前記位置情報だけを前記端末装置に送信し、
    前記端末装置の前記コンテンツ再生手段は、前記グループ指定情報で指定された前記位置情報が示す位置との距離に基づき決定された撮像位置の前記画像の表示範囲を、前記画像の撮像位置と前記位置情報を結ぶ方向を含むように設定して前記コンテンツを再生する請求項1〜6いずれか1項に記載のコンテンツ提供システム。
  8. 前記情報処理装置は、
    地図データ記憶装置から読み出した地図データから、前記コンテンツに含まれる前記複数の前記画像の撮像位置から所定範囲の地物を検出し、前記地物の前記位置情報を前記コンテンツに対応づけて前記位置情報記憶装置に記憶させる位置情報設定手段を有する請求項1〜7のいずれか1項に記載のコンテンツ提供システム。
  9. 前記情報処理装置は、
    前記コンテンツに前記位置情報又は表示倍率を設定するための画面情報を情報端末に送信する画面情報送信手段を有し、
    前記画面情報送信手段は、前記情報端末がユーザの操作を受け付けることで取得した前記位置情報又は前記表示倍率を受信して、前記位置情報又は前記表示倍率を前記コンテンツに対応づけて前記位置情報記憶装置に記憶させる請求項1〜7のいずれか1項に記載のコンテンツ提供システム。
  10. 異なる場所で撮像された複数の画像が含まれるコンテンツと共に送信される位置情報を受信し、前記位置情報が示す位置との距離に基づき決定された撮像位置の前記画像の表示範囲を、前記撮像位置と前記位置情報を結ぶ方向を含むように設定して前記コンテンツを再生する端末装置に、前記コンテンツを送信する情報処理装置であって、
    前記コンテンツが記憶されたコンテンツ記憶装置から前記コンテンツを読み出し、前記コンテンツに対応づけて前記位置情報が記憶された位置情報記憶装置から前記位置情報を読み出す読出手段と、
    前記読出手段が読み出した前記コンテンツ及び前記位置情報を前記端末装置に送信する送信手段と、を有する情報処理装置。
  11. 異なる場所で撮像された複数の画像が含まれるコンテンツを端末装置に提供する情報処理装置であって、
    前記コンテンツが記憶されたコンテンツ記憶装置から前記コンテンツを読み出し、前記コンテンツに対応づけて位置情報が記憶された位置情報記憶装置から前記位置情報を読み出す読出手段と、
    前記位置情報が示す位置との距離に基づき決定された撮像位置の前記画像の表示範囲を、前記画像の撮像位置と前記位置情報を結ぶ方向を含むように設定する表示範囲設定手段と、
    前記表示範囲が設定された前記コンテンツ又は前記表示範囲のみの前記コンテンツを前記端末装置に送信する送信手段と、
    を有する情報処理装置。
  12. 異なる場所で撮像された複数の画像が含まれるコンテンツが記憶されたコンテンツ記憶装置から前記コンテンツを読み出し、前記コンテンツに対応づけて位置情報が記憶された位置情報記憶装置から前記位置情報を読み出す読出手段と、
    前記読出手段が読み出した前記コンテンツ及び前記位置情報を端末装置に送信する送信手段と、を有する情報処理装置から、前記コンテンツを取得する端末装置を、
    前記コンテンツ及び前記位置情報を受信する受信手段と、
    前記位置情報が示す位置との距離に基づき決定された撮像位置の前記画像の表示範囲を、前記画像の撮像位置と前記位置情報を結ぶ方向を含むように設定して前記コンテンツを再生するコンテンツ再生手段と、として機能させるためのプログラム。
  13. 異なる場所で撮像された複数の画像が含まれるコンテンツを再生するコンテンツ提供システムであって、
    前記コンテンツが記憶されたコンテンツ記憶装置から前記コンテンツを読み出し、前記コンテンツに対応づけて位置情報が記憶された位置情報記憶装置から前記位置情報を読み出す読出手段と、
    前記位置情報が示す位置との距離に基づき決定された撮像位置の前記画像の表示範囲を、前記画像の撮像位置と前記位置情報を結ぶ方向を含むように設定して前記コンテンツを再生するコンテンツ再生手段と、を有するコンテンツ提供システム。
  14. 異なる場所で撮像された複数の画像が含まれるコンテンツを再生するコンテンツ提供システムによって行われるコンテンツ再生方法であって、
    読出手段が、前記コンテンツが記憶されたコンテンツ記憶装置から前記コンテンツを読み出し、前記コンテンツに対応づけて位置情報が記憶された位置情報記憶装置から前記位置情報を読み出す読出ステップと、
    再生手段が、前記位置情報が示す位置との距離に基づき決定された撮像位置の前記画像の表示範囲を、前記画像の撮像位置と前記位置情報を結ぶ方向を含むように設定して前記コンテンツを再生するコンテンツ再生ステップと、を有するコンテンツ再生方法。
JP2015102622A 2015-05-20 2015-05-20 コンテンツ提供システム、情報処理装置、プログラム、コンテンツ再生方法 Active JP6503881B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015102622A JP6503881B2 (ja) 2015-05-20 2015-05-20 コンテンツ提供システム、情報処理装置、プログラム、コンテンツ再生方法
US15/135,686 US10230779B2 (en) 2015-05-20 2016-04-22 Content provision system, information processing apparatus and content reproduction method
CN201610324059.5A CN106170101B (zh) 2015-05-20 2016-05-16 内容供应系统、信息处理设备和内容再现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015102622A JP6503881B2 (ja) 2015-05-20 2015-05-20 コンテンツ提供システム、情報処理装置、プログラム、コンテンツ再生方法

Publications (2)

Publication Number Publication Date
JP2016220017A true JP2016220017A (ja) 2016-12-22
JP6503881B2 JP6503881B2 (ja) 2019-04-24

Family

ID=57324960

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015102622A Active JP6503881B2 (ja) 2015-05-20 2015-05-20 コンテンツ提供システム、情報処理装置、プログラム、コンテンツ再生方法

Country Status (3)

Country Link
US (1) US10230779B2 (ja)
JP (1) JP6503881B2 (ja)
CN (1) CN106170101B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020109514A (ja) * 2020-01-20 2020-07-16 中松 義郎 手元から飛ばす撮影システム
JP2022184956A (ja) * 2018-01-22 2022-12-13 株式会社ユピテル システム,制御方法,プログラム等

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10069837B2 (en) 2015-07-09 2018-09-04 Biocatch Ltd. Detection of proxy server
US10949514B2 (en) 2010-11-29 2021-03-16 Biocatch Ltd. Device, system, and method of differentiating among users based on detection of hardware components
US10917431B2 (en) * 2010-11-29 2021-02-09 Biocatch Ltd. System, method, and device of authenticating a user based on selfie image or selfie video
US11269977B2 (en) 2010-11-29 2022-03-08 Biocatch Ltd. System, apparatus, and method of collecting and processing data in electronic devices
US10897482B2 (en) 2010-11-29 2021-01-19 Biocatch Ltd. Method, device, and system of back-coloring, forward-coloring, and fraud detection
US20190158535A1 (en) * 2017-11-21 2019-05-23 Biocatch Ltd. Device, System, and Method of Detecting Vishing Attacks
US10776476B2 (en) 2010-11-29 2020-09-15 Biocatch Ltd. System, device, and method of visual login
US10586036B2 (en) 2010-11-29 2020-03-10 Biocatch Ltd. System, device, and method of recovery and resetting of user authentication factor
US10970394B2 (en) 2017-11-21 2021-04-06 Biocatch Ltd. System, device, and method of detecting vishing attacks
US11210674B2 (en) 2010-11-29 2021-12-28 Biocatch Ltd. Method, device, and system of detecting mule accounts and accounts used for money laundering
US10834590B2 (en) 2010-11-29 2020-11-10 Biocatch Ltd. Method, device, and system of differentiating between a cyber-attacker and a legitimate user
US11223619B2 (en) 2010-11-29 2022-01-11 Biocatch Ltd. Device, system, and method of user authentication based on user-specific characteristics of task performance
US10621585B2 (en) 2010-11-29 2020-04-14 Biocatch Ltd. Contextual mapping of web-pages, and generation of fraud-relatedness score-values
US10728761B2 (en) 2010-11-29 2020-07-28 Biocatch Ltd. Method, device, and system of detecting a lie of a user who inputs data
GB2539705B (en) 2015-06-25 2017-10-25 Aimbrain Solutions Ltd Conditional behavioural biometrics
GB2552032B (en) 2016-07-08 2019-05-22 Aimbrain Solutions Ltd Step-up authentication
US10579784B2 (en) 2016-11-02 2020-03-03 Biocatch Ltd. System, device, and method of secure utilization of fingerprints for user authentication
US11606353B2 (en) 2021-07-22 2023-03-14 Biocatch Ltd. System, device, and method of generating and utilizing one-time passwords

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09161096A (ja) * 1995-12-06 1997-06-20 Matsushita Electric Ind Co Ltd 3次元画像表示制御装置
JP2003042796A (ja) * 2001-07-30 2003-02-13 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
JP2004070609A (ja) * 2002-08-05 2004-03-04 Canon Inc 画像再生装置及び方法
JP2008241875A (ja) * 2007-03-26 2008-10-09 Denso It Laboratory Inc 車載装置及び路側装置
JP2013251787A (ja) * 2012-06-01 2013-12-12 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法
JP2014006880A (ja) * 2012-05-31 2014-01-16 Ricoh Co Ltd 通信端末、表示方法、及びプログラム
JP2014131215A (ja) * 2012-12-28 2014-07-10 Ricoh Co Ltd 画像管理システム、画像管理方法、及びプログラム
JP2014235469A (ja) * 2013-05-31 2014-12-15 任天堂株式会社 パノラマ画像表示プログラム、パノラマ画像表示装置、パノラマ画像表示システム、および、パノラマ画像表示方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4972095B2 (ja) * 2005-11-15 2012-07-11 イッサム リサーチ ディベロップメント カンパニー オブ ザ ヘブライ ユニバーシティー オブ エルサレム 映像概要を生成する方法およびシステム
JPWO2010150348A1 (ja) 2009-06-23 2012-12-06 パイオニア株式会社 映像記録再生装置、映像記録再生方法、および映像記録再生プログラム
US9766089B2 (en) * 2009-12-14 2017-09-19 Nokia Technologies Oy Method and apparatus for correlating and navigating between a live image and a prerecorded panoramic image
US8447136B2 (en) * 2010-01-12 2013-05-21 Microsoft Corporation Viewing media in the context of street-level images
US8913083B1 (en) * 2010-07-13 2014-12-16 Google Inc. System and method of generating a view for a point of interest
US9594960B2 (en) * 2010-09-14 2017-03-14 Microsoft Technology Licensing, Llc Visualizing video within existing still images
US9167290B2 (en) * 2010-12-17 2015-10-20 Microsoft Technology Licensing, Llc City scene video sharing on digital maps
US9870429B2 (en) * 2011-11-30 2018-01-16 Nokia Technologies Oy Method and apparatus for web-based augmented reality application viewer
US8767040B2 (en) * 2012-01-11 2014-07-01 Google Inc. Method and system for displaying panoramic imagery
US9886794B2 (en) * 2012-06-05 2018-02-06 Apple Inc. Problem reporting in maps
CN103327298A (zh) * 2013-05-29 2013-09-25 山西绿色光电产业科学技术研究院(有限公司) 全景高速球一体机的联动浏览方法
US9881590B2 (en) * 2014-03-12 2018-01-30 HERE Global, B.V. Method and apparatus for multi-resolution point of interest boundary identification in digital map rendering
CN104301769B (zh) * 2014-09-24 2017-12-15 华为技术有限公司 呈现图像的方法、终端设备和服务器

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09161096A (ja) * 1995-12-06 1997-06-20 Matsushita Electric Ind Co Ltd 3次元画像表示制御装置
JP2003042796A (ja) * 2001-07-30 2003-02-13 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
JP2004070609A (ja) * 2002-08-05 2004-03-04 Canon Inc 画像再生装置及び方法
JP2008241875A (ja) * 2007-03-26 2008-10-09 Denso It Laboratory Inc 車載装置及び路側装置
JP2014006880A (ja) * 2012-05-31 2014-01-16 Ricoh Co Ltd 通信端末、表示方法、及びプログラム
JP2013251787A (ja) * 2012-06-01 2013-12-12 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法
JP2014131215A (ja) * 2012-12-28 2014-07-10 Ricoh Co Ltd 画像管理システム、画像管理方法、及びプログラム
JP2014235469A (ja) * 2013-05-31 2014-12-15 任天堂株式会社 パノラマ画像表示プログラム、パノラマ画像表示装置、パノラマ画像表示システム、および、パノラマ画像表示方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022184956A (ja) * 2018-01-22 2022-12-13 株式会社ユピテル システム,制御方法,プログラム等
JP7418038B2 (ja) 2018-01-22 2024-01-19 株式会社ユピテル システム,制御方法,プログラム等
JP2020109514A (ja) * 2020-01-20 2020-07-16 中松 義郎 手元から飛ばす撮影システム

Also Published As

Publication number Publication date
US10230779B2 (en) 2019-03-12
JP6503881B2 (ja) 2019-04-24
CN106170101A (zh) 2016-11-30
US20160344783A1 (en) 2016-11-24
CN106170101B (zh) 2019-05-03

Similar Documents

Publication Publication Date Title
JP6503881B2 (ja) コンテンツ提供システム、情報処理装置、プログラム、コンテンツ再生方法
US10326934B2 (en) Service system, information processing apparatus, and service providing method
US11889194B2 (en) Service system, information processing apparatus, and service providing method
JP2023036602A (ja) 拡張された仮想現実
USRE43545E1 (en) Virtual skywriting
JP4637889B2 (ja) 仮想空間放送装置
US20150139552A1 (en) Augmented reality interaction implementation method and system
WO2011142093A1 (en) Information processing device, information processing system, and program
JP2017511035A (ja) 画像デバイスにおける写真構図および位置ガイダンス
JP6555026B2 (ja) 情報提供システム
JP2016213810A (ja) 画像表示システム、情報処理装置、プログラム、画像表示方法
CN111680238A (zh) 信息分享方法、装置和存储介质
CN108391048A (zh) 具有说明功能的数据生成方法及全景拍摄系统
JP6617547B2 (ja) 画像管理システム、画像管理方法、プログラム
JP2016200884A (ja) 観光誘客システム、観光誘客方法、観光誘客用データベース、情報処理装置、通信端末装置およびそれらの制御方法と制御プログラム
JP2016194783A (ja) 画像管理システム、通信端末、通信システム、画像管理方法、及びプログラム
WO2017101294A1 (zh) 基于路径规划的街景视频生成方法和装置
JP2008219390A (ja) 画像閲覧装置
KR100563085B1 (ko) 수치지도와 사진영상의 복합 디스플레이 방법
JP6149967B1 (ja) 動画配信サーバ、動画出力装置、動画配信システム、及び動画配信方法
KR102204721B1 (ko) 증강현실 기록물 서비스 제공 방법 및 사용자 단말
CN114390215A (zh) 一种视频生成方法、装置、设备以及存储介质
KR101934799B1 (ko) 파노라마 영상을 이용하여 새로운 컨텐츠를 생성하는 방법 및 시스템
JP2013214158A (ja) 表示画像検索装置、表示制御システム、表示制御方法、およびプログラム
Wu et al. Construction and implementation of the three-dimensional virtual panoramic roaming system of Hainan ecotourism

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181211

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190311

R151 Written notification of patent or utility model registration

Ref document number: 6503881

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151