JP2016213810A - 画像表示システム、情報処理装置、プログラム、画像表示方法 - Google Patents

画像表示システム、情報処理装置、プログラム、画像表示方法 Download PDF

Info

Publication number
JP2016213810A
JP2016213810A JP2016026816A JP2016026816A JP2016213810A JP 2016213810 A JP2016213810 A JP 2016213810A JP 2016026816 A JP2016026816 A JP 2016026816A JP 2016026816 A JP2016026816 A JP 2016026816A JP 2016213810 A JP2016213810 A JP 2016213810A
Authority
JP
Japan
Prior art keywords
area
image
wide
angle image
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016026816A
Other languages
English (en)
Inventor
陽平 藤田
Yohei Fujita
陽平 藤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to US15/135,706 priority Critical patent/US9996895B2/en
Priority to EP16166926.2A priority patent/EP3091511A1/en
Priority to CN201610270077.XA priority patent/CN106101610B/zh
Publication of JP2016213810A publication Critical patent/JP2016213810A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】広角画像の配信に要する時間を低減可能な画像表示システムを提供する。【解決手段】画像処理サーバ10と前記画像処理サーバから所定よりも画角が広い広角画像を受信する画像表示端末30とを有する画像表示システム100であって、画像処理サーバ10は、広角画像のうち閲覧される頻度が他領域よりも少ない領域を決定する領域決定手段14と、領域決定手段が決定した領域を広角画像から削減する削減手段15と、削減手段により領域が削減された広角画像を画像表示端末に送信する第1送信手段11と、を有する。画像処理端末30は、領域が削減された広角画像を受信する受信手段31と、領域が削減された広角画像を表示装置に表示する画像表示手段32と、を有する。【選択図】図6

Description

本発明は、画像表示システム、情報処理装置、プログラム及び画像表示方法に関する。
全天球画像又は全方位画像と呼ばれる周囲360度の風景が撮像された画像が知られている(以下、単に全天球画像という)。特殊な光学系を備えた専用の撮像装置を用いればユーザは一回の撮像操作で全天球画像を得ることができ、矩形範囲を撮像する通常の撮像装置でも複数の画像をユーザ等がつなぎ合わせることで全天球画像を得ることができる。全天球画像にはほぼ死角なく周囲360度の画像が撮像されているため、ユーザは任意の領域を選択的にディスプレイ等に表示させ閲覧することができる。
また、全天球画像がインターネットなどで公開されていれば、ユーザはPC(Personal Computer)などを用いて全天球画像をダウンロードして閲覧することができる。しかし、全天球画像は周囲360度の画像を含むためデータサイズが大きくなる傾向がある。このため、ユーザがインターネットを経由して閲覧する場合、ダウンロードに時間がかかり、全天球画像が表示されるまでの待ち時間が増大する傾向が生じてしまう。
画像データのダウンロード時間を短縮するため、サーバがプログレッシブ画像を端末等に配信する技術が知られている(例えば、特許文献1参照。)。特許文献1には、データ量の少ない低解像度の画像を先に転送して、徐々に高解像度の画像を転送するサーバが開示されている。
しかしながら、サーバがプログレッシブ画像を送信する場合、ユーザがPCに最初に表示させる画像が低解像度であるため、高解像度の画像を表示させるまでに長時間が必要であることに変わりがないという問題がある。例えば、ユーザが最初に閲覧する画像は常に解像度が低い画像であり、ダウンロード先のWebサイトがユーザに与える印象が低下したり、Webサイトが提供する画像の本来の画質が低いかのようにユーザが誤解したりするおそれがある。
本発明は、上記課題に鑑み、広角画像の配信に要する時間を低減可能な画像表示システムを提供することを目的とする。
上記課題に鑑み、本発明は、情報処理装置と前記情報処理装置から所定よりも画角が広い広角画像を受信する端末装置とを有する画像表示システムであって、前記情報処理装置は、前記広角画像のうち閲覧される頻度が他領域よりも少ない領域を決定する領域決定手段と、前記領域決定手段が決定した前記領域を前記広角画像から削減する削減手段と、前記削減手段により前記領域が削減された前記広角画像を前記端末装置に送信する第1送信手段と、を有し、前記端末装置は、前記領域が削減された前記広角画像を受信する受信手段と、前記領域が削減された前記広角画像を表示装置に表示する画像表示手段と、を有する。
広角画像の配信に要する時間を低減可能な画像表示システムを提供することができる。
本実施例の画像表示システムによる画像処理の概略を説明する図の一例である。 コンテンツ登録者が全天球画像を登録する際の動作を模式的に説明する図の一例である。 画像表示システムの概略構成図の一例である。 画像処理サーバのハードウェア構成図の一例である。 画像表示端末のハードウェア構成図の一例である。 画像処理サーバ,及び、画像表示端末の機能ブロック図の一例である。 画像表示システムの動作手順を示すシーケンス図の一例である。 全天球画像の各マスが閲覧される頻度を模式的に示す図の一例である。 削減データ決定部が削減するマスを決定する手順を示すフローチャート図の一例である。 画像表示端末がマスが削減されたコンテンツを表示する手順を示すフローチャート図の一例である。 画像処理サーバ,及び、画像表示端末の機能ブロック図の一例である(実施例2)。 削減範囲を説明する図の一例である。 削減データ決定部が全天球画像から空領域と地面領域を削減する手順を示すフローチャート図の一例である。 複数の全天球画像の撮像位置を模式的に説明する図の一例である。 全天球画像のうち移動方向に対し後方範囲の削減を説明する図の一例である。 削減データ決定部が全天球画像から移動方向と反対方向の後方範囲を削減する手順を示すフローチャート図の一例である。 全天球画像のうち視界領域を説明する図の一例である。 削減データ決定部が全天球画像から視界領域以外の領域を削減する手順を示すフローチャート図の一例である。 撮像装置の配置例を建物のレイアウトと共に示す図の一例である。 ユーザが画像表示端末に表示させた閲覧画面の一例を示す図である。 画像処理サーバが閲覧回数を蓄積する手順を示すフローチャート図の一例である。 削減データ決定部が削減するマスを決定する手順を示すフローチャート図の一例である。 ユーザが任意の閲覧領域を指定するユーザインタフェースの一例を示す図である。 削減データ決定部がユーザ毎に削減するマスを決定する手順を示すフローチャート図の一例である。 閲覧領域管理DBに登録された閲覧領域又は任意閲覧領域に相当するマス等を模式的に示す図の一例である。
以下、本発明を実施するための形態について図面を参照しながら説明する。
<画像表示システムによる画像処理の概略>
図1は、本実施形態の画像表示システム100による画像処理の概略を説明する図の一例である。画像表示システム100では、画像処理サーバ10と画像表示端末30がネットワークNを介して接続されている。以下、全天球画像の配信処理の概略を説明する。
(1)画像表示端末30を操作するユーザ2は画像処理サーバ10から全天球画像の全体をダウンロードして、閲覧したい領域(以下、閲覧領域5といい表示領域と称してもよい)を表示させる。図1によれば、ユーザは全天球画像の閲覧領域5を画像表示端末30に表示させている。
(2)画像表示端末30はユーザが閲覧した閲覧領域5を特定するための閲覧領域情報を画像処理サーバ10に送信する。
(3)画像処理サーバ10において全天球画像は予めマス状に区切られている。マス内の数字はマス番号を示す。画像処理サーバ10は、閲覧領域情報が送信されるごとに閲覧されたマスが保持する閲覧回数を1つ大きくする。図1の全天球画像では、閲覧領域5がマス2,3、6,7に対応するので、マス2,3,6,7の閲覧回数が1つずつ大きくなる。したがって、ある程度の人数のユーザ2が全天球画像を閲覧して閲覧領域情報を画像処理サーバ10に送信すれば、画像処理サーバ10は閲覧されることが少ないマスを特定できる。
(4)画像処理サーバ10は閲覧回数が他よりも大きいマスを残し、閲覧回数が少ないマスの画像データを削減する。図1の例では、マス2〜8(他領域)を残して他のマスの画像データが削減されている。削減されたマスは斜線で示されている。次回、ユーザ2が全天球画像を要求した場合、画像処理サーバ10はマス2〜8を画像表示端末30に送信する。したがって、全天球画像の画質を低下させることなく、ダウンロードに要する時間を低減できる。
<用語について>
・コンテンツとは、少なくとも1つ以上の全天球画像をいう。全天球画像が撮像された場所を示すマップを含んでいてもよい。また、全天球画像が動画の場合、撮像場所がルート上に強調されたマップを含んでいてもよい。その他、撮像位置で集音された音声データを含んでいてもよい。
・全天球画像は、周囲360度の風景が撮像された画像であるが、完全に360度の風景が撮像されている必要はなく、ほぼ360度の風景が撮像されている画像が含まれる。少なくとも通常よりも広い画角を有する。また、全天球画像は魚眼レンズのような広角なレンズで撮像された画像が張り合わされたものを含む。また、周囲の例えば180度の風景が撮像されている画像に対しても本実施形態を適用できる。すなわち、全天球領画像は、領域ごとに送信され得る広角な画像(広角画像)の一形態である。
<全天球画像の画像処理サーバへの登録>
画像処理サーバ10には静止画と動画が登録される場合がある。コンテンツを画像処理サーバ10に登録する者(以下、コンテンツ登録者という)が静止画を登録する場合、ある地点で撮像された全天球画像を画像処理サーバ10に送信すればよい。全天球画像には位置情報が添付されており、画像処理サーバ10は全天球画像の撮像位置を特定できる。
また、コンテンツ登録者8が動画を登録する場合、例えば以下のように行う。なお、以下では説明の便宜上、コンテンツ登録者8と撮像者が同じ者として説明するが、両者は別であってもよい。
図2は、コンテンツ登録者8が全天球画像を登録する際の動作を模式的に説明する図の一例である。
(1)コンテンツ登録者8は全天球画像を撮像可能な撮像装置7を把持して歩行する。撮像装置7は定期的又は一定距離ごとに周囲を撮像するように設定されており、撮像した全天球画像を撮像位置と対応付けて蓄積する。したがって、コンテンツ登録者8が歩行したルートに沿って画像が得られる。歩行に限られず、撮像装置7が車載されていてもよい。
(2)目的の場所まで歩行しルート上の撮像が終了すると、コンテンツ登録者8は基地局やアクセスポイントなどの無線局装置9を介して動画としての全天球画像を画像処理サーバ10に送信する。
(3)画像処理サーバ10は、コンテンツ登録者8が移動したルートを含むマップと全天球画像を用いたコンテンツを作成して記憶する。なお、撮像装置7が通信機能を有していない場合は、撮像装置7から画像を受信した例えばスマートフォンなどが画像処理サーバ10に全天球画像を送信すればよい。撮像位置の取得機能についても同様であり、撮像装置7がGPS(Global Positioning Systems)などの位置検出機能を有していない場合は、スマートフォンなどのGPS受信装置が取得した位置情報が全天球画像に添付される。
また、図2では、撮像装置7が全天球画像を撮像可能であると説明したが、矩形範囲を撮像する通常の撮像装置が画像を撮像してもよい。この場合、例えばコンテンツ登録者8は複数の矩形範囲の画像をつなぎ合わせて全天球画像を作成する。
<システム構成例>
図3は、本実施形態の画像表示システム100の概略構成図の一例を示す。画像表示システム100は、ネットワークNを介して相互に通信可能な画像処理サーバ10及び1つ以上の画像表示端末30を有する。
ネットワークNは、画像表示端末30が配置されている会社などの施設内のLAN、LANをインターネットに接続するプロバイダのプロバイダネットワーク、及び、回線事業者が提供する回線等により構築されている。ネットワークNにはインターネットが含まれていてよい。ネットワークNは有線又は無線のどちらで構築されてもよく、また、有線と無線が組み合わされていてもよい。また、画像表示端末30が直接、回線電話網や携帯電話網に接続する場合は、LANを介さずにプロバイダネットワークに接続することができる。
画像処理サーバ10は、全天球画像を配信すると共に全天球画像のデータサイズを削減する処理を行う情報処理装置である。画像処理サーバ10とは別に全天球画像の配信を主に行うサーバが用意され、画像処理サーバ10は全天球画像のデータサイズを削減する処理を主に行ってもよい。
画像表示端末30は、ユーザが全天球画像をダウンロードして閲覧する端末装置として使用される情報処理装置である。具体的には、例えば、PC(Personal Computer)、スマートフォン、タブレット装置、携帯電話機、カーナビゲーション端末、ウェアラブルコンピュータ(ヘッドマウントディスプレイ、腕時計)、カメラ、電子黒板、プロジェクタ、ゲーム機、又は、MFP(Multifunction Peripheral/Printer/Product)などが挙げられる。
<<ハードウェア構成例>>
図4は、画像処理サーバ10のハードウェア構成図の一例である。なお、図示する画像処理サーバ10のハードウェア構成は、1つの筐体に収納されていたりひとまとまりの装置として備えられていたりする必要はなく、画像処理サーバ10が備えていることが好ましいハード的な要素を示す。画像処理サーバ10の構成は負荷などに応じて適宜リソースが配分されるクラウドコンピューティングにより決定されてもよい。
画像処理サーバ10は、バス310に接続されたCPU301、ROM302、RAM303、HDD305、ディスプレイ308、ネットワークI/F309、キーボード311、マウス312、メディアドライブ307、及び、光学ドライブ314を有する。CPU301は、HD304に記憶されている画像処理プログラムを実行して、画像処理サーバ10の全体の動作を制御する。ROM302はIPL(Initial Program Reader)等のCPU301の駆動に用いられるプログラムを記憶している。RAM303はCPU301のワークエリアとして使用される主記憶装置である。HD304は不揮発性メモリを搭載した記憶装置である。
HDD(Hard Disk Drive)305はCPU301の制御にしたがってHD304に対する各種データの読み出し又は書き込みを制御する。ディスプレイ(表示装置)308はカーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。ネットワークI/F309はネットワークNとのインタフェースである。
キーボード311及びマウス312は入出力装置であり、キーボード311は文字、数値、各種指示などの入力のための複数のキーを備えこれらからの入力を受け付ける。マウス312はマウスポインターの移動及び各種指示の選択や実行、処理対象の選択などを受け付ける。
メディアドライブ307はフラッシュメモリ等のメディア306に対するデータの読み出し又は書き込み(記憶)を制御する。光学ドライブ314は着脱可能な記録媒体の一例としてのCD(Compact Disc)313等に対する各種データの読み出し又は書き込みを制御する。
なお、上記画像処理プログラムは、インストール可能な形式又は実行可能な形式のファイルで、メディア306やCD313等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。あるいは、画像処理プログラムは、任意のサーバ型の情報処理装置からダウンロードされる形態で配布されてもよい。
図5は、画像表示端末30のハードウェア構成図の一例を示す。なお、図5は画像表示端末30としてスマートフォンやタブレット装置が想定された構成になっているが、画像表示端末30のハードウェア構成としてはこれに限られない。
画像表示端末30は、互いにバス210に接続された、CPU201、ROM202、RAM203、フラッシュメモリ204、CMOSセンサ205、加速度・方位センサ206、メディアドライブ208、音声入力部211、音声出力部212、通信装置213、GPS受信部、ディスプレイ215、及び、タッチパネル216を有する。バス210は、これら各部を電気的に接続するためのアドレスバスやデータバス等である。
CPU201はフラッシュメモリ204に記憶されているプログラムを実行することで画像表示端末30全体の動作を制御する。ROM202はIPLや基本入出力プログラムを記憶している。RAM203は、CPU201がプログラムを実行する際にワークエリアとして使用される主記憶装置である。フラッシュメモリ204は画像表示端末30が実行するプログラムや各種のデータを記憶する不揮発性の記憶装置である。プログラムは、例えば、オペレーティングシステム、画像表示端末30が実行する端末用プログラムである。
CMOSセンサ205は、CPU201の制御にしたがって被写体を撮像し画像データを得る撮像素子である。CMOSセンサ205の代わりにCCDセンサを用いてもよい。加速度・方位センサ206は、地磁気を検知する電子磁気コンパスとしての機能やジャイロセンサ・加速度センサ等を備えている。メディアドライブ208は、フラッシュメモリ等の記録メディア207に対するデータの読み出し又は書き込み(記憶)を制御する。メディアドライブ208の制御にしたがって、既に記録されていたデータが読み出され、又は新たにデータが書き込まれて記憶する記録メディア207が着脱自在な構成となっている。
音声入力部211は音声を音声信号に変換するマイクである。音声出力部212は、音声信号を音声に変換するスピーカである。通信装置213は、アンテナ213aを利用して無線通信信号により、最寄りの無線局装置9と通信を行う。あるいは、通信装置213はLANに接続するLANカードの場合がある。GPS受信部214は、GPS衛星又は屋内GPSとしてのIMES(Indoor MEssaging System)によって画像表示端末30の位置情報(緯度、経度、及び高度)を検出する。
ディスプレイ(表示装置)215はCPU201の制御により全天球画像を表示したり、ユーザが画像表示端末30を操作するための各種のメニュー、アイコンなどを表示する。タッチパネル216は、ディスプレイ215上に一体に重畳され指やタッチペン等によるタッチに対しディスプレイ215上におけるタッチ位置(座標)を検出する。
なお、端末用プログラムは例えばブラウザソフトウェア、又は、同様の機能を備えたアプリケーションソフトウェアである。端末用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、記録メディア207等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。あるいは、端末用プログラムは、任意のサーバ型の情報処理装置からダウンロードされる形態で配布されてもよい。
<機能構成>
次に、図6を用いて、画像処理サーバ10、及び、画像表示端末30の機能構成について説明する。図6は、画像処理サーバ10,及び、画像表示端末30の機能ブロック図の一例である。図6では説明の便宜上、画像表示端末30を1つだけ示した。
<<画像処理サーバ10の各機能構成>>
画像処理サーバ10は、通信部11、全天球画像提供部12、閲覧領域管理部13、削減データ決定部14、画像編集部15、及び、記憶・読出部19を有している。
画像処理サーバ10が有する各部は、図4に示されている各構成要素のいずれかが、HD304からRAM303上に展開された画像処理プログラム1100に従ったCPU301からの命令によって動作することで実現される機能、又は機能される手段である。
また、画像処理サーバ10は、図4に示されているHD304、ROM302及びRAM303のいずれか1つ以上によって構築される記憶部1000を有している。記憶部1000には、画像処理プログラム1100が記憶されている。以下、記憶部1000に構築された各データベースについて説明する。
Figure 2016213810
記憶部1000には、表1に示されているような全天球画像管理テーブルによって構成されている全天球画像管理DB1001が構築されている。全天球画像管理テーブルには、コンテンツIDに対応づけて、コンテンツ名、URI(Uniform Resource Identifier)、及び、位置情報が登録されている。コンテンツIDは画像処理サーバ10においてコンテンツを一意に識別するための識別情報である。コンテンツ名はユーザがコンテンツを判別するための文字、記号及び数字などで構成され、画像処理サーバ10において必ずしも一意でなくてよい。URIはコンテンツが記憶又は管理されている記憶場所を示している。位置情報は全天球画像の撮像位置を示す。位置情報は画像データのフォーマットにしたがって、画像データのファイル内に記述されるが、表1では説明の便宜のため明記した。なお、動画の場合は動画を構成する各フレームごとに位置情報が添付されている。
Figure 2016213810
記憶部1000には、表2に示されているような閲覧領域管理テーブルによって構成されている閲覧領域管理DB1002が構築されている。閲覧領域管理テーブルには、全天球画像が含まれるコンテンツのコンテンツIDごとに、マス番号、座標情報及び閲覧回数が対応づけて登録されている。また、現在までの閲覧人数が記録されている。マス番号は、マス状の領域に区切られた全天球画像の各区画領域(マス)を識別するための識別情報である。座標情報は例えば左上コーナの座標と右下コーナの座標によりマスを特定する。閲覧回数は全天球画像が閲覧可能となってから各マスが閲覧された回数である。なお、過去の一定期間(例えば、1週間、1月、1年など)に閲覧された回数を記録してもよい。この場合、閲覧人数も過去の一定期間のものとなる。
マスの広さは最適なものが設計され、とくに限定されない。例えば、VGA(480×640)の二分の一から10分の一などの広さで区分すればよい。マスは狭い方が、調整可能な最小単位が小さくなるため、ユーザの閲覧領域を削減するマスに正確に反映しやすい。一方、狭すぎると、画像処理サーバが管理する際の負荷が増大する。したがって、画像処理サーバの処理能力などに応じて設定すればよい。
(画像処理サーバ10の機能)
画像処理サーバ10の通信部11は、図4に示されているCPU301からの命令、及びネットワークI/F309によって実現され、ネットワークNを介して画像表示端末30と各種データの送受信を行う。
全天球画像提供部12は、全天球画像管理DB1001に記憶されているコンテンツを、画像表示端末30に提供する。画像表示端末30はユーザの操作によりWebサイトにアクセスし、そのWebサイトに記述されたボタンや画像をユーザが選択することで、例えばHTTPリクエストなどによりボタンや画像にリンクされているコンテンツを要求する。
閲覧領域管理部13は、図4に示されているCPU301からの命令等により実現され、画像表示端末30から閲覧領域情報を取得して、閲覧領域管理テーブルの閲覧回数を更新する。すなわち、閲覧領域情報に基づいて全天球画像においてユーザが閲覧している閲覧領域に対応するマス番号を判断し、該マス番号に対応づけられた閲覧回数を増加させる。閲覧領域情報については後述する。
削減データ決定部14は、図4に示されているCPU301からの命令等により実現され、閲覧領域管理テーブルを参照して、閲覧される頻度が少ないマスを全天球画像から削減すると決定する。詳細は後述するが、複数のユーザが同じ全天球画像を閲覧しているうちに、閲覧される頻度が多いマスと少ないマスに偏りが生じる。よって、閲覧される頻度が閾値未満のマスを削減してよいと判断できる。
画像編集部15は、図4に示されているCPU301からの命令等により実現され、削減データ決定部14が削減すると判断したマスを全天球画像から削減する。なお、削減される前に全天球画像の複製が作成されており、マスが一切削減されていない全天球画像も画像処理サーバ10に記憶されている。
記憶・読出部19は、図4に示されているCPU301からの命令及びHDD305等により実現され、記憶部1000に各種データを記憶したり、記憶部1000に記憶された各種データを読み出したりする処理を行う。
<<画像表示端末30の各機能構成>>
画像表示端末30は、通信部31、画像表示部32、操作入力受付部33、画像回転部34、閲覧領域記録部35、及び、記憶・読出部39を有している。
画像表示端末30が有する各部は、図5に示されている各構成要素のいずれかが、フラッシュメモリ204からRAM203上に展開された端末用プログラム3100に従ったCPU201からの命令によって動作することで実現される機能、又は機能される手段である。なお、端末用プログラム3100に限られず画像処理サーバ10が送信するWebページ(HTMLデータ、XMLデータ、及び、JavaScript(登録商標)などで記述されたプログラム)によって実現される機能、又は機能される手段も含まれる。
また、画像表示端末30は、図5に示されているフラッシュメモリ204、ROM202及びRAM203のいずれか1つ以上によって構築される記憶部3000を有している。記憶部3000には、端末用プログラム3100が記憶されている。以下、記憶部3000に構築された各データベースについて説明する。
Figure 2016213810
記憶部3000には、表3に示されているような閲覧領域記録テーブルによって構成されている閲覧領域記録DB3001が構築されている。表3(a)は全天球画像が静止画の場合の閲覧領域記録テーブルを示している。コンテンツIDは現在、画像表示端末30が表示している全天球画像を含むコンテンツのコンテンツIDである。また、ユーザが閲覧したと判断された閲覧領域を特定するための2点の座標(例えば、閲覧領域の左上コーナと右下コーナの座標)が記録されている。表3(a)では3つの閲覧領域が記録されているが、閲覧領域が1つも記録されない場合もあるし、2つ、又は、4つ以上の閲覧領域が記録される場合もある。閲覧領域を特定するための2点の座標が閲覧領域情報(表示領域情報)である。なお、領域を特定できればよいため、閲覧領域の中心座標と上下のピクセル数を閲覧領域情報としてもよい。また、閲覧領域の画像そのものを閲覧領域情報としてもよい。
表3(b)、表3(c)は動画の場合の閲覧領域記録テーブルを示している。動画の場合は、閲覧領域の記録方法に2つの方法(以下、連続記録方法とフレーム別記録方法という。)がある。連続記録方法は静止画と同様に、動画の再生中に1度でも表示された領域を記録する方法である(表3(b))。動画が含むフレーム数に関係なく1つの閲覧領域記録テーブルが作成される。フレーム別記録方法は、動画を構成する各フレームごとに表示された閲覧領域を記録する方法である(表3(c))。したがって、表3(c)では閲覧領域記録テーブルにフレーム番号が付され、各フレームごとに表示された閲覧領域が記録される。
(画像表示端末の機能)
画像表示端末30の通信部31は、図5に示されているCPU201からの命令、及び通信装置213等によって実現され、ネットワークNを介して画像処理サーバ10と各種データの送受信を行う。
画像表示部32は、図5に示されているCPU201からの命令等によって実現され、画像処理サーバ10からダウンロードされたコンテンツに含まれる全天球画像をディスプレイ215に表示する。
操作入力受付部33は、図5に示されているCPU201からの命令及びタッチパネル216等によって実現され、ユーザによる画像表示端末30への各種の操作や入力を受け付ける。具体的には、例えばユーザによる全天球画像の閲覧領域の変更を受け付ける。また、動画であれば、閲覧領域の変更に加え、静止、再生、全天球画像(撮像位置)の選択などを受け付ける。
画像回転部34は、図5に示されているCPU201からの命令等によって実現され、ディスプレイ215に表示されている全天球画像をユーザの操作に応じて回転させ、ユーザが選択する閲覧領域をディスプレイ215に表示させる。
閲覧領域記録部35は、図5に示されているCPU201からの命令等により実現される。まず、静止画の場合、画像回転部34が回転を終了してから所定時間以上が経過した場合に、現在、ディスプレイ215に表示されている閲覧領域の座標を閲覧領域記録DB3001に登録する。なお、閲覧領域はディスプレイ215に表示されている領域と完全に一致しなくてもよく、若干、大きくしたり小さくしたりするなどのマージンがあってもよい。
動画であって連続記録方法が採用された場合、画像回転部34が閲覧領域を移動するごとにその時の閲覧領域の座標を記録する。この場合も所定時間の経過を待って記録される。動画であってフレーム別記録方法が使用された場合、フレームが切り替わるごとに、ディスプレイ215に表示されている閲覧領域の座標を記録する。なお、閲覧領域記録部35は、閲覧領域記録テーブルに記録されている閲覧領域を特定するための座標を全て画像処理サーバ10に送信する。
記憶・読出部39は、図5に示されているCPU201からの命令及びフラッシュメモリ204等により実現され、記憶部3000に各種データを記憶したり、記憶部3000に記憶された各種データを読み出したりする処理を行う。
<動作手順>
図7は、画像表示システム100の動作手順を示すシーケンス図の一例である。図7では画像表示端末30から画像処理サーバ10にコンテンツが要求されたことでスタートする。
S1:画像処理サーバ10の記憶・読出部19は要求されたコンテンツを全天球画像管理DB1001から読み出し、通信部11に送出する。
S2:画像処理サーバ10の通信部11はコンテンツを画像表示端末30に送信する。
S3:画像表示端末30の通信部31はコンテンツを受信すると、画像表示部32に送出する。これにより画像表示部32はコンテンツに含まれる全天球画像をディスプレイ215に表示する。
S4:ユーザは画像表示端末30を操作することで全天球画像を回転させ、所望の閲覧領域をディスプレイ215に表示させる。画像回転部34はディスプレイ215に表示されている全天球画像を回転させる。
S5:全天球画像がディスプレイ215に表示されている間、画像回転部34が画像を回転させてから所定時間(例えば3秒)以上、経過したかどうかを閲覧領域記録部35が監視する。つまり、閲覧領域がディスプレイ215に表示されている状態が連続して所定時間に達したか否かを判断する。閲覧領域が連続して所定時間以上、表示された場合、閲覧領域記録部35は該閲覧領域を閲覧領域記録DB3001に記録する。ユーザがコンテンツを表示している間、ステップS5の処理が繰り返される(S5′)。
S6:ユーザが全天球画像を表示させることを終了したり(ブラウザを閉じたり)、明示的に閲覧の終了を画像表示端末30に入力した場合、画像表示部32が(又は操作入力受付部33が)通信部31に表示終了を送出する。
S7:通信部31は、閲覧領域記録DB3001から読み出された閲覧領域情報を画像処理サーバ10に送信する。
S8:画像処理サーバ10の通信部11は閲覧領域情報を受信すると、閲覧領域管理部13に送出する。
S9:閲覧領域管理部13は閲覧領域情報の閲覧領域を対応するマスのマス番号に変換し、閲覧領域管理DB1002のマス番号に対応づけられた閲覧回数を1つ増やす。閲覧人数も1つ増やす。閲覧者の人数情報が送信された場合、その人数を加えてもよい。
S10:次に、削減データ決定部14は閲覧領域管理DB1002から各マス番号の閲覧回数及び閲覧人数を読み出し、削減するマスを決定する。詳細は図8,9を用いて説明する。
S11:削減データ決定部14は削減対象となったマスのマス番号を画像編集部15に送出する。
S12:画像編集部15は全天球画像から削減対象となったマスを削減し、全天球画像管理DB1001に記憶させる。
以上のように、ユーザが全天球画像を閲覧するごとに、画像処理サーバ10は削減対象のマスを決定してマスを削減するので閲覧される頻度の高い領域のみを送信できる。したがって、全天球画像をダウンロードするユーザの待ち時間を短縮できる。なお、マスを削減するタイミングはユーザが全天球画像を閲覧するごとでなくてもよく(閲覧領域情報を受信するごとでなくてもよく)、決まった人数のユーザが閲覧したタイミング、1日1回などの決まった時刻、又は、外部から処理の開始が要求された場合などに行ってよい。
<<削減するマスの判断>>
(閲覧人数に対する閲覧の比率に基づく判断)
続いて、図8(a)を用いて図7のステップS10における削減データ決定部14により決定される削減されるマスについて説明する。なお、静止画も動画も削減されるマスの判断については同様であるが、説明の便宜上、まず、静止画の場合を説明する。
図8(a)は、全天球画像の各マスが閲覧される頻度を模式的に示す図の一例である。図8(a)では左上のマスから右下にかけて1つずつ大きくなる整数が各マスに振られている。この整数がマス番号である。また、各マスのかっこ内の数値は各マスが閲覧された閲覧回数である。すなわち、図8(a)は表2とは表示方法が異なる閲覧領域管理テーブルである。
図9(a)は削減データ決定部14が削減するマスを決定する手順を示すフローチャート図の一例である。削減データ決定部14は、閲覧人数、及び、各マスの閲覧回数を閲覧領域管理DB1002から読み出す(S10)。
次に、削減データ決定部14は、閲覧人数に対する閲覧回数の比率をマスごとに算出する(S20)。なお、閲覧回数は閲覧領域情報が受信されるごとに1つ増えるので、閲覧領域情報の受信数に対する閲覧回数の比率を求めてもよい。
そして、上記の比率が閾値未満のマスを削減すると判断する(S30)。この閾値は例えば予め定められている。閾値を例えば50%とすれば、閲覧人数が15人の場合、閲覧回数が7以下のマスを削減すると判断する。したがって、この場合、図8(b)に示すように、マス番号が13〜24以外のマスが削減されると判断される。
この削減方法では、閾値や複数のユーザの閲覧傾向によって削減されるマスの数が必ずしも一定にならない。換言すると閾値が大きかったり複数のユーザの閲覧傾向の偏りが強ければ多くのマスを削減できる。閾値が小さかったり複数のユーザの閲覧傾向の偏りが弱ければ多くのマスを残すことができる。
閾値は固定でなくてもよく、例えばコンテンツ登録者が設定してもよいし、空や地面などを画像処理により検出してその面積に応じて変更してもよい。
なお、予め削減されないマスをコンテンツ登録者などが決定しておいてもよい。例えば、画像処理サーバ10が送信する全天球画像のうち、ユーザがディスプレイ215に最初に表示する領域は予め定められている。したがって、この領域を含むマスが削減されることは好ましくなく、削減不能である旨が閲覧領域管理DB1002に登録されていてよい。この他、重要な情報が撮像されたマスを削減不能に登録してよい。また、ユーザがディスプレイ215に最初に表示する閲覧領域を、連続して表示されたか否かに関係なく閲覧領域記録部35が記録することにすれば、このマスが削減されることを抑制できる。
次に、動画の場合を説明する。動画の閲覧領域が連続記録方法で記録されている場合、削減するマスの判断方法は静止画と同様になる。また、画像処理サーバ10の画像編集部15は全天球画像を構成する全てのフレームから、削減すると判断された同じマスを削減する。変化の少ない動画であれば閲覧する領域を変更しないユーザが多いと考えられるので、この方法により画像表示端末30がマスを削減する際の負荷を低減できる。
動画の閲覧領域がフレーム別記録方法で記録されている場合も、削減するマスの判断方法は静止画と同様になる。ただし、削減データ決定部14はフレームごとに削減するマスを判断する。そして、画像処理サーバ10の画像編集部15は全天球画像を構成するフレームごとに、削減すると判断されたマスを削減する。変化の多い動画であればフレームごとに複数のユーザが閲覧する閲覧領域が異なる可能性がある。この方法により複数のユーザに対し適切なマスが削減された全天球画像の動画を提供できる。
(ある設定数のマスを残して残りを削減する)
また、図9(b)に示すように、削減データ決定部14が決まった設定数のマスを削減すると判断してもよい。図9(b)ではステップS30の処理が図9(a)と異なっている。
削減データ決定部14は、削減する領域数を、全領域数の半分などのように予め決定しておく。そして、マスの数の上位半分(図7の例ではマスの数が30なので15)までの比率を有するマスを残して他のマスを削減すると決定する(S30)。なお、比率を算出することなく、閲覧回数の上位半分のマスを残しても結果は同じである。
したがって、図8(c)に示すように、マス番号が13〜24、11,27,28以外のマスが削減されると判断される。削減するマスの数が決まっているので、必ず、一定以上のマスを残すことができる。また、削減されるマスの数を大きめに設定しておけば、画像処理サーバ10が全天球画像を画像表示端末30に送信するために必要な時間を短くできる。また、削減されるマスの数を少なめに設定しておけば、ユーザが閲覧する可能性が高い多くのマスが残された全天球画像を、画像処理サーバ10が画像表示端末30に送信することができる。
(コンテンツの属性に基づく削減)
また、例えば、コンテンツ登録者8が閲覧領域管理テーブルにコンテンツの属性を登録しておけば、属性に応じて閾値や削減するマスの数を変えることができる。コンテンツの属性としては例えば、コンテンツが野外で撮像されたものか、屋内で撮像されたものかなどがある。野外の全天球画像では空や路面が多くの面積をしめる場合があるが、空や路面の領域は閲覧される可能性が少ないと考えられる。したがって、閾値を大きくしたり(閾値未満の領域を削減する)、削減するマスの数を多くしたりしてよい。
一方、マンションの内装などが撮像された室内の全天球画像では、部屋の構造や窓越しの風景を見たいユーザもいれば、天井や床の形状や色を確認したいユーザもいると考えられる。したがって、閾値を小さくしたり(閾値未満の領域を削減する)、削減するマスの数を少なくしたりしてよい。
これにより、削減データ決定部14は、全天球画像に撮像されている風景に応じて、削減するマスの数を制御できる。あるいは、コンテンツ登録者8がコンテンツごとに閾値や削減するマスの数を閲覧領域管理テーブルに設定してもよい。コンテンツ登録者8は全天球画像のうち、どのマスが閲覧に値するか推定することが可能なので、適切な閾値や削減するマスの数を設定できる。
(帯域に基づく削減)
また、削減データ決定部14は、画像処理サーバ10と画像表示端末30との帯域に応じて閾値や削減するマスの数を決定してもよい。すなわち、帯域が十分であれば画像処理サーバ10は少ない遅延で多くのマスを送信できるため、閾値を小さくしたり、削減するマスの数を少なくしてよい。一方、帯域が不十分であれば画像処理サーバ10は少なめのマスを送信すべきなので、閾値を大きくしたり、削減するマスの数を大きくしたりすべきである。なお、帯域は、所定量のデータを画像処理サーバ10が送信することで測定できる。この他、削減データ決定部14は、画像表示端末30がモバイル回線を使用しているか否か、又は、有線LANを使用しているか否かなどの回線情報を、画像表示端末30から取得してもよい。帯域と同様に、画像表示端末30が使用している回線に応じて、閾値や削減するマスの数を変更できる。
なお、図8の説明では、閲覧されたマスついて閲覧回数を増大させているが、閲覧されなかったマスについて非閲覧回数を増大させてもよい。この場合、画像処理サーバ10は閲覧人数に対する非閲覧回数の比率を算出し、該比率が閾値以上のマスを削減する。また、ある設定数のマスを残す場合は、非閲覧回数が少ない順に設定数のマスを数える。
<マスが削減されたコンテンツの閲覧>
続いて、図10を用いてマスが削減されたコンテンツ(全天球画像)の閲覧について説明する。図10は、画像表示端末30がマスが削減されたコンテンツを表示する手順を示すフローチャート図の一例である。図10の処理は画像表示端末30がコンテンツを受信するとスタートする。なお、コンテンツを受信するまでの処理は図7と同様でよい。説明の便宜上、まず、静止画の場合を説明する。
画像表示端末30の通信部31がコンテンツを受信すると、画像表示部32がディスプレイ215に全天球画像を表示する(S10)。
次に、操作入力受付部33は画像の回転操作(閲覧領域の変更)を受け付けたか否かを判断する(S20)。回転操作がない場合、そのまま表示が継続される。
回転操作があった場合(S20のYes)、画像表示部32は回転先の領域の画像データを保持しているか否かを判断する(S30)。画像表示部32は回転先の領域(操作後にディスプレイ215に表示される閲覧領域)を特定できるので、全天球画像に該領域が全て含まれるか否かを判断すればよい。
ステップS30の判断がNoの場合、画像表示部32は記憶部3000から読み出された回転先の画像をディスプレイに表示する(S60)。
ステップS30の判断がYesの場合、操作入力受付部33はユーザが特定操作を行ったか否かを判断する(S40)。特定操作とは、ユーザが削減されたマスを閲覧したい旨を入力する操作である。特定操作の内容はユーザが予め知っているか、又は、全天球画像の閲覧を阻害しないようにディスプレイ215に表示されている。例えば、回転操作が一定時間内に一定回数以上ある場合などである(例えば1秒間に3回以上)。
ステップS40の判断がYesの場合、画像表示部32は画像処理サーバ10に対し、全天球画像の残りの画像データを要求する(S50)。すなわち、削減されたマスを要求する。削減されたマスのうちユーザが閲覧しようとしている場所のマスだけを要求してもよいし、削減されたマスの全てを要求してもよい。いずれの場合も、ユーザが閲覧しようとしている場所の情報を送信する。これにより、画像表示端末30はユーザが閲覧しようとしている場所の全天球画像を早く表示できる。削減されたマスは画像処理サーバ10にとって明らかなので、画像処理サーバ10はマスが削減されることなく保存されている全天球画像から削減されたマスを読み出して送信する。画像表示部32は受信した残りのマスをすでに受信している全天球画像に合成して1つの全天球画像を復元し、ユーザが特定操作により要求した領域の画像をディスプレイ215に表示させる。なお、ステップS50において、全天球画像の全体を画像処理サーバ10に要求してもよい。
したがって、一部のマスが削減された全天球画像を画像表示端末30が受信しても、ユーザは全天球画像の任意の領域をディスプレイ215に表示させることができる。
なお、ユーザがディスプレイ215に表示させた閲覧領域は閲覧領域情報として画像処理サーバ10に送信される。これにより、閲覧領域管理テーブルの閲覧回数が更新され、新たに削減するマスが決定される。
(動画)
動画の場合について説明する。動画の場合も、特定操作により削減されたマスの表示要求を画像表示端末30が検出する点は同じである。連続記録方法では全てのフレームで削減されているマスが共通なので、静止画と同様に特定操作を検出してよい。
これに対し、フレーム別記録方法では、フレームごとに削減されているマスが異なり得るので、特定操作が検出された時にはすでに次のフレームが再生されている場合が生じうる。このため、例えば、最初の回転操作(S20)が検出された時のフレームに基づいて画像表示部32が回転先の領域の画像データがあるか否かを判断する。これにより、ユーザが要求する画像データを精度よく判断できる。あるいは、特定操作が検出された時を基準に過去の数フレームを特定し、数フレームのうち1つでも回転先の領域の画像データがない場合に画像処理サーバ10から残りのマスを受信してもよい。動画では連続して画像が表示されるので、数フレームのうち1つでも回転先の領域の画像データがない場合は、ユーザにとって閲覧が困難になる可能性が高いためである。
なお、連続記録方法及びフレーム別記録方法のいずれでも、再生中のフレームよりも後の全天球画像(削減されているマスのみ又はマスが削減されていない全天球画像の全体)を画像処理サーバ10に要求すればよい。このように動画の場合でも、静止画と大きく変わることなく、ユーザは全天球画像を閲覧できる。
以上説明したように、本実施例の画像表示システム100では、複数のユーザが表示する閲覧領域の統計に基づいて閲覧される可能性が低いマスを削減するので、閲覧される可能性が高い全天球画像を部分的に画像表示端末30に送信できる。したがって、全天球画像の送信時間を減らし、ユーザが遅延を感じることを低減できる。
本実施例では、コンテンツが動画の場合に、空や地面の領域を削減することでデータサイズを低減し、全天球画像のダウンロード時間を低減する画像表示システム100について説明する。
図11は、本実施例の画像処理サーバ10,及び、画像表示端末30の機能ブロック図の一例である。本実施例において、図6において同一の符号を付した構成要素は同様の機能を果たすので、主に本実施例の主要な構成要素についてのみ説明する場合がある。
本実施例では、ユーザが閲覧した閲覧領域を画像処理サーバ10が記録しないので、画像処理サーバ10及び画像表示端末30から閲覧領域の記録に関する機能が不要となっている。一方、本実施例の削減データ決定部14は実施例1と機能が異なっている。
<削減データの判断>
本実施例の削減データ決定部14は、全天球画像管理DB1001に記憶されている全天球画像のうちコンテンツ登録者8が移動方向に移動しながら撮像した動画を特定する。移動方向に移動している動画の場合、空と地面は注目されることが少ないので、空領域と地面領域を削減する。なお、移動していることは、動画を構成する各フレームの位置情報(緯度、経度)をフレームの順番に辿ることで検出できる。すなわち、直線や曲線状に徐々に移動していれば、進行していると判断してよい。
図12は、削減範囲を説明する図の一例である。図12では連続する3つのフレームが図示されている。撮像装置7は加速度センサを有しており、撮像装置7の地面に対する傾きを検出している。撮像装置7は全天球画像の上下方向が地面に対し垂直方向となるように傾き補正を施している。このため、全天球画像のX方向とY方向を図示する方向とした場合、Y座標の小さい部分に空が撮像され、Y座標が大きい部分に地面が撮像されている。したがって、例えば、空領域51は例えばY座標のゼロを基点として全天球画像の高さの10〜15%、地面領域52はY座標の最大値を基点として全天球画像の10〜15%である。
空領域51や地面領域52の広さは一定とは限らないので、画像処理により空領域51と地面領域52を検出してもよい。例えば、空領域51は空の色(水色、ブルー、グレー、白など)かつエッジが少ないと考えられる。よって、例えば、所定の画素ブロックごとに色を検出し上記の色が連続する画素ブロックを空領域51の候補とする。また、画素ブロックごとに所定値以上の強度のエッジを検出してエッジ密度を算出し、エッジ密度が所定値以下の連続した画素ブロックを空領域51の候補とする。2つの空領域51の候補の共通部分又は和集合を空領域51であると判断する。
道路についてもほぼ同様であるが、道路の場合は道路の色(グレー、茶など)を検出すればよい。エッジが検出されにくい点では道路も同様であるが、道路には白線や縁石などがあり得る。これらは直線状なので、エッジが直線状に検出される場合は地面領域52の候補に含めればよい。なお、直線はハフ変換などにより検出できる。
したがって、削減データ決定部14は、図示するように空領域51とみなされるY座標の例えば上から10%と、地面領域52とみなされるY座標の例えば下から15%を全天球画像から削減すると判断する。
図13は、本実施例において削減データ決定部14が全天球画像から空領域51と地面領域52を削減する手順を示すフローチャート図の一例である。図13の処理がスタートするタイミングは、図7のステップS10が行われるタイミングと同様でよい。
まず、記憶・読出部19が全天球画像管理DB1001から全天球画像を読み出す(S10)。
次に、削減データ決定部14は読み出した全天球画像が動画か否かを判断する(S20)。コンテンツに動画か静止画の区別が付与されている場合は、動画のみを読み出せばよい。動画でない場合、処理は終了する。
次に、削減データ決定部14は、全天球画像が移動している撮像者により撮像されているか否かを判断する(S30)。移動していない場合、処理は終了する。
ステップS30の判断がYesの場合、削減データ決定部14は空領域51及び地面領域52を検出して削減すると判断する(S40)。
したがって、本実施例の画像表示システム100によれば、撮像者が移動する動画の場合に閲覧される可能性が高くない空領域51と地面領域52を削減することで、全天球画像の閲覧される可能性が高い領域を優先して配信することができる。
本実施例ではコンテンツが動画の場合に、移動方向とは逆方向の領域を削減することでデータサイズを低減し、全天球画像のダウンロード時間を低減する画像表示システム100について説明する。
なお、本実施例の画像処理サーバ10,及び、画像表示端末30の機能ブロック図は実施例2の図11と同様でよい。しかし、本実施例では削減データ決定部14の機能が実施例2と異なっている。
図14を用いて、本実施例の削減データ決定部14の機能を説明する。図14は複数の全天球画像41〜43の撮像位置を模式的に説明する図の一例である。例えば、全天球画像41,42,43の順に撮像されている場合、移動方向44は図の矢印で示される。また、全天球画像には方位(東西南北など)が添付されているので、移動方向44を特定できる。説明のため、地面に平行な平面において北向きを0度、移動方向44を時計回りに正の角度で表す。
全天球画像41を例にすると移動方向44は約315度なので、逆方向は135度である。削減データ決定部14は135度を中心にプラスマイナス所定角度を後方範囲45に決定する。所定角度を45度とすると後方範囲45は90度〜180度の範囲である。全天球画像42,43についても同様に削減できる。
図15は全天球画像のうち移動方向に対し後方範囲45の削減を説明する図の一例である。図15では3つの連続したフレームが図示されている。図14の説明のように特定された後方範囲45が3つのフレームのそれぞれから削減される。図15では削減される後方範囲45は同じであるが、移動方向44がほぼ一定と見なせる範囲(移動方向44の違いが10度以内など)では削減される範囲を一定としてもよい。
図16は、削減データ決定部14が全天球画像から移動方向と反対方向の後方範囲45を削減する手順を示すフローチャート図の一例である。図16のうちステップS10〜S30は図13と同様でよいため、ステップS40について説明する。
ステップS40において、削減データ決定部14は移動方向と反対方向の後方範囲45を削減すると判断する(S40)。
したがって、本実施例の画像表示システム100によれば、移動方向に移動する動画の場合に閲覧される可能性が高くない後方範囲45を削減して、移動方向44を中心とした全天球画像を優先して配信することができる。
なお、本実施例と実施例2を組み合わせることも好適である。すなわち、後方範囲45が削減された全天球画像から、さらに空領域51と地面領域52を削減する。これにより、画像処理サーバ10が画像表示端末30に送信する全天球画像のデータサイズをさらに低減できる。
本実施例では、コンテンツが動画の場合に、移動方向を中心とする視界領域以外を削減することでデータサイズを低減し、全天球画像のダウンロード時間を低減する画像表示システム100について説明する。
なお、本実施例の画像処理サーバ10,及び、画像表示端末30の機能ブロック図は実施例2の図11と同様でよい。しかし、本実施例では削減データ決定部14の機能が実施例2、3と異なっている。実施例3の図14にて説明したように、全天球画像を撮像したコンテンツ登録者の移動方向44を特定できる。削減データ決定部14は移動方向44を定めた後、移動方向44の方位を中心とした一定の領域(例えば、移動方向44を中心とし、緯度プラスマイナス30度、経度プラスマイナス30度)をユーザの視界領域に決定する。図14の例では、例えば全天球画像41を示す球(の中心)から315度の方向を移動方向44としたが、この方向が経度方向であり、315度を中心に経度方向にプラスマイナス30度が経度方向の視界領域となる。同じく315度を中心に路面に垂直な方向にプラスマイナス30度の範囲が緯度方向の視界領域である。削減データ決定部14はこの視界領域以外を削減すると判断する。
図17は全天球画像のうち視界領域53を説明する図の一例である。図15では3つの連続したフレームが図示されている。このように、削減データ決定部14は視界領域53を特定して、削減すべき視界領域53以外の領域を特定できる。
図18は、削減データ決定部14が全天球画像から視界領域53以外を削減する手順を示すフローチャート図の一例である。図18のうちステップS10〜S30は図13と同様でよいため、ステップS40について説明する。
ステップS40において、削減データ決定部14は視界領域53を特定し、視界領域53以外の領域を削減すると判断する(S40)。
したがって、本実施例の画像表示システム100によれば、閲覧される可能性が高い領域のみを残して、視界領域の全天球画像を効率的に配信することができる。
本実施例では撮像装置7が少なくともある期間固定して配置されている状態で、ユーザが全天球画像の任意の場所を経時的に監視したり閲覧することが可能な画像表示システム100について説明する。このような撮像装置7が用いられた観測方法を定点観測という。当初はユーザが手で持って撮像することが多かった全方位を撮像可能な撮像装置7であるが、定点カメラとして建物内や野外に設置される利用方法が検討されている。
図19は撮像装置7の配置例を建物のレイアウトと共に示す図である。図19のように撮像装置7が配置されることで、例えば店舗における消費者等の行動分析の分野で撮像装置7の活用が期待されている。店舗内に設置された撮像装置7が定期的に撮像を行い画像処理サーバ10に全天球画像を蓄積しておく。行動分析するユーザは画像処理サーバ10から全天球画像を時系列に受信して閲覧することが可能である。これにより、店舗を訪れた消費者がどのようにして購入に至ったのか(又は購入しなかったのか)、スタッフはどのように行動したのか等の経緯を店舗側の担当者が分析して、販売計画の立案等に役立てることが可能である。
定点撮像された時系列の全天球画像を閲覧して店舗側の担当者が分析する場合、利用する視点は限られている。あるいは、決まった視点で分析したいという要請がある。そこで、実施例1のように閲覧回数が多いマスを蓄積することで決まった視点の分析が可能になる。
また、店舗側の担当者でも職種や職責によって分析のための視点が異なる場合があるが、ユーザ毎に閲覧領域管理テーブルを画像処理サーバ10が蓄積しておくことで、職種や職責に適切な視点の範囲が写っている全天球画像を作成できる。
さらに、開店前と開店中と閉店後、混雑時と閑散時などの時間帯によって分析のための視点が異なる場合があるが、時間帯毎に閲覧領域情報を画像処理サーバ10が蓄積しておくことで、時間帯に適した分析が可能になる。
なお、本実施例の画像処理サーバ10,及び、画像表示端末30の機能ブロック図は実施例1の図6と同様でよい。また、全体の動作手順も図7のシーケンス図と同様でよい。 <時間帯別の閲覧領域の管理>
図20を用いて、撮像装置7が撮像した全天球画像のうちユーザが閲覧した閲覧領域5について説明する。図20は、ユーザが画像表示端末30に表示させた閲覧画面501の一例を示す。閲覧画面501は、レイアウト欄502と映像欄503を有する。レイアウト欄502には図19のレイアウトが表示され、ユーザは閲覧する全天球画像を撮像した撮像装置7を選択することができる。ユーザが選択した撮像装置7は矢印502aなどで強調表示される。映像欄503には全天球画像が表示される。映像欄503に表示された全天球画像の領域が閲覧領域5である。
図20に示すように、ユーザが閲覧した閲覧領域5がX、Yの座標で特定される。ユーザが閲覧領域5を変更する操作を行うと操作入力受付部33が該操作を受け付け、画像回転部34が全天球画像を回転させる。閲覧領域記録部35は全天球画像のうち一定時間以上継続して表示された閲覧領域5を記録する。
全天球画像には撮像時刻が含まれている。画像表示端末30の閲覧領域記録部35は撮像時刻を用いて例えば30分単位で閲覧領域5を記録する。時間帯別の閲覧領域情報は画像処理サーバ10に送信される。これにより、時間帯ごとに各マスの閲覧回数を蓄積できる。
画像処理サーバ10の削減データの決定方法は実施例1と同様でよいが、本実施例では削減データ決定部14が時間帯毎に削減データを決定する。
<<閲覧回数の蓄積>>
図21は、画像処理サーバ10が閲覧回数を蓄積する手順を示すフローチャート図の一例である。この処理は、撮像装置7ごとに行われる。また、図21の処理は閲覧領域情報が画像処理サーバ10に送信されるたびに実行される。
画像表示端末30はコンテンツID及び時間帯別の閲覧領域情報等を画像処理サーバ10に送信する。画像処理サーバ10の通信部11は閲覧領域情報を受信する(S10)。静止画の場合、静止画の撮像時刻がどの時間帯に含まれるかを閲覧領域記録部35が判断してよい。あるいは、撮像時刻と閲覧領域情報を送信してもよい。動画の場合、連続記録方法とフレーム別記録方法があると説明したが、本実施例では少なくとも時間帯ごとに閲覧回数が記録される。例えば、画像表示端末30の閲覧領域記録部35は、動画を構成する各フレームの撮像時刻で時間帯を判断して閲覧領域情報と共に送信する。
次に、画像処理サーバ10の閲覧領域管理部13は時間帯別にマスごとの閲覧回数を算出する(S20)。すなわち、閲覧領域管理部13は時間帯別の閲覧領域情報を用いて、時間帯ごとに、閲覧領域情報の閲覧領域5を対応するマスのマス番号に変換する。
次に、閲覧領域管理部13は時間帯別に、閲覧領域管理DB1002のマス番号に対応づけられた閲覧回数を1つ増やす(S30)。閲覧人数も1つ増やす。このような処理により時間帯別に閲覧回数を記録できる。
Figure 2016213810
<<閲覧領域管理テーブル>>
表4(a)は本実施例の閲覧領域管理テーブルを模式的に示す。表4の閲覧領域管理テーブルは撮像装置7ごとに作成される。表2との相違を主に説明する。本実施例では、例えば30分ごとの時間帯別に閲覧領域管理テーブルが作成される。当然ながら、時間帯は1時間ごとに区切られてもよいし、数時間などのより長い時間ごとに区切られてもよい。また、店舗側にとって意味がある開店前、開店後、昼食時、夕方、閉店後、などのように店舗毎に固有の時間帯で区切られてもよい。
また、画像処理サーバ10の閲覧領域管理部13は撮像時刻だけでなく全天球画像が有する日時情報をカレンダに照らし合わせて、撮像装置7が撮像した曜日を判断できる。これにより、表4(b)に示すように曜日別の閲覧領域管理テーブルが得られる。曜日によりユーザが監視したい領域が異なる場合でも、画像処理サーバ10は削除するマスを適切に選択できる。
また、表4(a)と表4(b)を組み合わせることで、曜日別かつ時間帯別の閲覧領域管理テーブルが得られる。この他、天候(晴れ、くもり、雨、雪など)別に閲覧領域管理テーブルを作成してもよい。
<<削減するマスの決定>>
図22は、削減データ決定部14が削減するマスを決定する手順を示すフローチャート図の一例である。図22では、図9(a)との相違を主に説明する。この処理は、撮像装置7ごとに行われる。
本実施例の削減データ決定部14は、時間帯別に閲覧人数、及び、各マスの閲覧回数を閲覧領域管理DB1002から読み出す(S10)。次のステップS20の処理は図9(a)と同様である。
そして、削減データ決定部14は閲覧人数に対する比率が閾値未満のマスを時間帯別に全天球画像から削減すると判断する(S30)。画像編集部15は全天球画像の撮像時刻を参照して時間帯を判断し、ステップS30で決定した時間帯別のマスを全天球画像から削減する。これにより、動画においては時間帯別に削減されたマスが異なるコンテンツが得られる。1つのコンテンツデータでも時間帯によって削減されるマスが異なりうる。なお、静止画の場合は、撮像時刻に応じて削減されるマスが決定される。
なお、図22は図9(a)を用いて説明したが、本実施例においても図9(b)のように比率が高い順に決まった数のマスを残してもよい。
時間帯別にマスを削減することで、データ量が多い全天球画像(静止画又は動画)でも、時間帯ごとによく見られる領域が画像表示端末30に送信されるので、ユーザにとって必要な箇所を少ない遅延で快適に閲覧することが可能となる。
また、時間帯別に閲覧領域管理テーブルが作成された場合でも、削減データ決定部14は異なる時間帯の閲覧領域管理テーブルを合算して削減するマスを決定してよい。これにより、ある時間帯にユーザが見なかった領域があっても、その領域が必要な場合、閲覧時に全天球画像からユーザが見たいマスが削除されてしまうことを防ぐことができる。このような処理は、ユーザが画像表示端末30を操作して画像処理サーバ10に要求することで実行される。
<ユーザ別の閲覧領域の管理>
上記のように、ユーザによって全天球画像のうち着目したい場所が異なることは少なくない。例えば、ユーザが任意に閲覧領域5を指定できれば、ユーザに独自の閲覧領域管理テーブルが得られる。
図23は、ユーザが任意の閲覧領域5を指定するユーザインタフェースの一例を示す。ユーザインタフェースにはレイアウト欄502、映像欄503、登録ボタン505、及び、キャンセルボタン506が表示される。映像欄503には、ユーザが画像処理サーバ10から取得したコンテンツの全天球画像が表示される。ユーザがタッチパネル216から操作を入力すると操作入力受付部33が該操作を受け付けて、映像欄503の全天球画像を回転、拡大、縮小することができる。また、ユーザは自分が監視する領域をタッチパネル216から入力して任意閲覧領域504を作成できる。任意閲覧領域504が表示された状態で、ユーザが登録ボタン505を押下すると任意閲覧領域504の座標を示す任意閲覧領域情報とユーザIDが画像処理サーバ10に送信される。ユーザIDは、ユーザ一意に識別するためのユーザ識別情報である。ユーザを識別又は認識できる情報であればユーザ情報と称されてもよい。また、ユーザに固有のユーザ固有情報と称してもよい。具体的には、社員番号、氏名、電子メールアドレスなどであるがこれらには限られない。
画像処理サーバ10がユーザIDを特定するには、画像の閲覧前にユーザのログインを要求すればよい。あるいは、単にユーザIDをユーザが画像表示端末に入力して、画像表示端末が任意閲覧領域情報と共にユーザIDを画像処理サーバ10に送信してもよい。
このように、ユーザは自分が監視したい任意閲覧領域504をユーザインタフェースから登録できる。明示的に任意閲覧領域504が指定されるので、ユーザにとって重要度の低い画像データを削除しやすい。
なお、閲覧領域管理テーブルはユーザごとに作成される。また、任意閲覧領域504に相当するマスの閲覧回数は1回とする。再度、ユーザが任意閲覧領域504を登録した場合は、重複したマスの閲覧回数が1つ増える。
画像編集部15は閲覧領域管理テーブルが生成された時点で画像を編集できる(マスを削減できる)。しかし、ユーザ毎に全天球画像を作成しておくと記憶部1000を圧迫してしまうので、画像表示端末30から閲覧要求された場合に画像を編集してもよい。ユーザがユーザIDを指定してコンテンツデータを閲覧する場合、画像編集部15はこのユーザの閲覧領域管理テーブルに基づいてコンテンツデータのマスを削減する。したがって、画像表示端末30はユーザがよく見る領域をユーザ別に受信して表示できる。
図23では、ユーザが任意に任意閲覧領域504を登録できると説明したが、画像処理サーバ10は、実施例1等と同様にユーザが閲覧した閲覧領域5に基づいてユーザ別の閲覧領域管理テーブルを作成できる。すなわち、画像表示端末30が閲覧領域情報と共にユーザIDなどを画像処理サーバ10に送信すれば、ユーザインタフェースから任意閲覧領域504を登録する場合と同様にユーザ別の閲覧領域管理テーブルが得られる。
<<削減するマスの決定>>
図24(a)は、削減データ決定部14がユーザ毎に削減するマスを決定する手順を示すフローチャート図の一例である。図24(a)は、ユーザインタフェースから任意閲覧領域504によりユーザ別の閲覧領域管理テーブルが生成された場合のフローチャート図である。
本実施例の削減データ決定部14は、画像表示端末30から送信されたユーザIDに対応付けられた閲覧領域管理テーブルを特定する(S10)。
そして、削減データ決定部14は閲覧回数が1回以上のマスでないマスを削減すると決定する(S20)。補足すると、ユーザがユーザインタフェースから任意閲覧領域504を示す任意閲覧領域情報を送信した場合、上記のように、任意閲覧領域504に相当するマスの閲覧回数は少なくとも1以上である。任意閲覧領域504はユーザが指定したので常に表示すべきなので、閲覧回数が1回以上のマスでないマス(閲覧回数が0回のマス)を削減すると決定する。
図24(b)は、ユーザが閲覧した閲覧領域5に基づいて閲覧領域管理テーブルが作成された場合に、ユーザ毎に削減するマスを決定する手順を示すフローチャート図の一例である。
図24(b)ではステップS10が図24(a)と同様で、ステップS20、S30は図9(a)と同様でよい。なお、ステップS20の閲覧人数は同じユーザが同じコンテンツを閲覧した回数である。
以上のように、ユーザ毎に閲覧領域5を示す閲覧領域情報や任意閲覧領域504を示す任意閲覧領域情報が画像処理サーバ10に送信されることで、全天球画像のうちユーザの職種や職責に適切な領域を画像表示端末30が表示できる。
なお、画像処理サーバ10の削減データ決定部14は、1つの撮像装置7について、閲覧するユーザとは異なるユーザの閲覧領域管理テーブルを使用して、削減するマスを決定してよい。ユーザが部署の異動などで管理する店舗などが変わった場合に、該店舗の前の担当者の過去の閲覧履歴に基づいてマスを削除できる。したがって、業務の引き継ぎが容易になり部署の移動などをスムーズに行うことができる。このように別のユーザの閲覧領域管理テーブルを活用するために、例えば、閲覧領域管理テーブルに対応付けられているユーザIDを、他のユーザ(店舗の例では後任のユーザ)のユーザIDに変更することを、画像表示システム100の管理者などが行ってもよい。
<マスが削減されたコンテンツの閲覧>
図10では、コンテンツからマスが削減された場合に、ユーザが特定操作を行うことでマスの画像を復元できると説明した。ここでは、特定操作について補足する。
図25は、閲覧領域管理DB1002に登録された閲覧領域管理テーブルに相当するマスを模式的に示す図の一例である。図25では説明のため、全天球画像を上面から見た図になっている。閲覧領域管理テーブルに登録されている閲覧回数が閾値以上のマスが形成する領域を登録閲覧領域A、Bとする。したがって、登録閲覧領域A、B以外のマスは削減されている。ここで、画像編集部15がマスを削減する削減方法として2つの方法I、IIがある。
方法Iは登録閲覧領域A、B以外のマスそのものを削除する方法である。この場合、画像表示端末30では全天球画像が分断され登録閲覧領域A,Bが個別の画像として表示される。図25(b)は画像表示端末30に表示される登録閲覧領域A,Bを模式的に示す。ユーザが登録閲覧領域Aを表示した状態で画面を回転させるとすぐに登録閲覧領域Bが表示される。ユーザが登録閲覧領域Bを表示した状態で画面を回転させるとすぐに登録閲覧領域Aが表示される。すなわち、削減されたマスは存在しない状態になる。
方法IIは登録閲覧領域A、B以外を黒画素などで置き換える方法である。この場合、画像表示端末30では登録閲覧領域A,Bと黒画素を含む1つの全天球画像が表示される。図25(c)は画像表示端末30に表示される登録閲覧領域A,Bを模式的に示す。枠510は画像表示端末30に表示されている領域を示す。ユーザが登録閲覧領域Aを表示した状態で画面を回転させると黒画素を経て登録閲覧領域Bが表示される。逆の方向でも同様である。すなわち、ユーザは黒画素を経ないと登録閲覧領域A,Bを表示させることができない。
方法Iではユーザが登録閲覧領域A,Bをすぐに表示できるが、全天球画像のどこを見ているか把握しにくくなるおそれがある。方法IIではユーザが全天球画像のどこを見ているか把握しやすいが、登録閲覧領域A,Bを表示させるには黒画素を経る必要がある。このように一長一短があるためユーザが方法I、IIを選択できることが好ましい。
方法Iでマスが削減された場合、特定操作は、例えば、登録閲覧領域Aと登録閲覧領域Bを一定時間内に一定回数以上交互に表示させる操作でよい。方法IIの場合も、登録閲覧領域A(又は登録閲覧領域B)と黒領域を一定時間内に一定回数以上交互に表示させる操作でよい。また、方法IIの場合、ユーザが黒領域を一定時間以上継続して表示させたことを特定操作とすることができる。
本実施例においても、画像表示端末30は、削減されたマスのうちユーザが閲覧しようとしている場所のマスだけを要求してもよいし、削減されたマスの全てを要求してもよい。また、全天球画像の全体を画像処理サーバ10に要求してもよい。店舗のレイアウトなどが大きく変わってしまった場合など、全天球画像の全体を画像処理サーバ10に要求することができる。この場合、画像表示端末30はユーザの操作により閲覧領域テーブルの消去を要求する。これにより、変更後のレイアウトに適した閲覧領域テーブルを画像処理サーバ10が作成できる。
以上のように、本実施例の画像表示端末30は、撮像装置7が定点観測に用いられる場合、全天球画像が画像表示端末30に送信された時点でユーザが見たい領域を表示できる。また、画像表示端末30は時間帯別やユーザ別に適切な領域を表示できる。
なお、撮像装置7の配置場所は屋内だけでなく野外でもよい。また、屋内であれば店舗以外の例えばオフィス、廊下、通路、公共機関等の窓口などでもよく、屋外であれば商店街、交差点、駅などでもよい。
<その他の適用例>
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
例えば、実施例1において、画像処理サーバ10はマスが削減された全天球画像を画像表示端末30に送信している。しかし、画像処理サーバ10が全天球画像管理DB1001に記憶させた全天球画像を画像処理サーバ10が表示してもよい。あるいは、この全天球画像管理DB1001を画像表示端末30に配置し、画像表示端末30が全天球画像管理DB1001から読み出した全天球画像をディスプレイ215に表示してもよい。
また、以上の実施例で示した図6などの構成例は、画像処理サーバ10及び画像表示端末30の処理の理解を容易にするために、主な機能に応じて分割したものである。例えば、画像処理サーバ10が複数、存在し、複数の画像処理サーバ10が協働して本実施形態の処理を行ってもよい。また、画像処理サーバ10の記憶部1000は画像処理サーバ10が有している必要がなく、記憶部1000は画像処理サーバ10が記憶部1000のデータを読み書き可能な場所にあればよい。
また、図6では画像処理サーバ10及び画像表示端末30の機能をいくつかの処理単位に分割して説明した。しかし、各処理単位の分割の仕方や名称によって本願発明が制限されることはない。画像処理サーバ10及び画像表示端末30の処理は、処理内容に応じてさらに多くの処理単位に分割することもできる。また、1つの処理単位がさらに多くの処理を含むように分割することもできる。
なお、画像編集部15は削減手段の一例であり、通信部31は受信手段、送信手段、第2送信手段の一例であり、操作入力受付部33は操作受付手段の一例であり、閲覧領域管理部13は数測定手段の一例であり、画像表示部32は画像表示手段の一例であり、閲覧領域記録部35は表示領域記録手段の一例であり、通信部11は第1送信手段の一例であり、削減データ決定部14は領域決定手段の一例である。本実施形態の画像表示システムが行う処理の手順は画像表示方法の一例である。
10 画像処理サーバ
12 全天球画像提供部
13 閲覧領域管理部
14 削減データ決定部
15 画像編集部
30 画像表示端末
34 画像回転部
35 閲覧領域記録部
100 画像表示システム
特開2008‐022488号公報

Claims (18)

  1. 情報処理装置と前記情報処理装置から所定よりも画角が広い広角画像を受信する端末装置とを有する画像表示システムであって、
    前記情報処理装置は、
    前記広角画像のうち閲覧される頻度が他領域よりも少ない領域を決定する領域決定手段と、
    前記領域決定手段が決定した前記領域を前記広角画像から削減する削減手段と、
    前記削減手段により前記領域が削減された前記広角画像を前記端末装置に送信する第1送信手段と、を有し、
    前記端末装置は、前記領域が削減された前記広角画像を受信する受信手段と、
    前記領域が削減された前記広角画像を表示装置に表示する画像表示手段と、
    を有する画像表示システム。
  2. 前記端末装置は、
    前記表示装置に表示された前記広角画像の表示領域を記録する表示領域記録手段と、
    前記表示領域記録手段が記録した前記表示領域を示す表示領域情報を前記情報処理装置に送信する第2送信手段と、を有し、
    前記情報処理装置の前記領域決定手段は、前記表示領域情報に基づいて閲覧される頻度が他領域よりも少ない前記領域を決定し、
    前記削減手段は、前記領域決定手段が決定した前記領域を前記広角画像から削減する請求項1に記載の画像表示システム。
  3. 前記広角画像を予め複数の区画領域に区分しておき、前記表示領域情報を受信した場合、前記表示領域情報が示す前記表示領域と対応する前記区画領域の閲覧回数を増大させる数測定手段を有し、
    前記領域決定手段は、前記表示領域情報を受信した回数に対する前記閲覧回数の比率が閾値未満の前記区画領域を前記領域に決定する請求項2に記載の画像表示システム。
  4. 前記広角画像を予め複数の区画領域に区分しておき、前記表示領域情報を受信した場合、前記表示領域情報が示す前記表示領域と対応する前記区画領域の閲覧回数を増大させる数測定手段を有し、
    前記領域決定手段は、前記広角画像の閲覧人数に対する前記閲覧回数の比率が大きい順に予め定められた設定数の前記区画領域を決定するか、又は、前記閲覧回数の大きい順に前記設定数の前記区画領域を決定し、決定された前記区画領域を前記領域に決定する請求項2に記載の画像表示システム。
  5. 前記端末装置の前記第2送信手段は、前記表示領域情報を前記端末装置のユーザに関するユーザ情報と共に前記情報処理装置に送信し、
    前記情報処理装置の前記領域決定手段は、前記表示領域情報に基づいて閲覧される頻度が他領域よりも少ない前記領域をユーザごとに決定し、
    前記削減手段は、ユーザごとに前記領域決定手段が決定した前記領域を前記広角画像から削減する請求項2に記載の画像表示システム。
  6. 前記領域決定手段は、前記広角画像を閲覧するユーザとは異なるユーザの前記表示領域情報に基づいて閲覧される頻度が他領域よりも少ない前記領域を決定する請求項5に記載の画像表示システム。
  7. 前記表示装置に表示された前記広角画像のうち削減された前記領域を表示させる操作を受け付ける操作受付手段を有し、
    前記操作受付手段が前記操作を受け付けた場合、少なくとも削減された前記領域を前記情報処理装置に要求する請求項2〜6いずれか1項に記載の画像表示システム。
  8. 前記広角画像のうち削減された前記領域を表示させる前記操作は、前記広角画像のうち削減された前記領域を一定時間以上継続して前記表示装置に表示させる操作である請求項7に記載の画像表示システム。
  9. 前記広角画像のうち削減された前記領域を表示させる前記操作は、前記領域の削減により分断された前記広角画像の複数の領域を、一定時間内に一定回数以上交互に前記表示装置に表示させる操作である請求項7に記載の画像表示システム。
  10. 前記操作受付手段は、前記表示装置に表示された前記広角画像の領域の指定を受け付け、
    前記第2送信手段は、前記操作受付手段が受け付けた前記領域に関する情報を前記情報処理装置に送信し、
    前記情報処理装置の前記削減手段は、前記領域に関する情報により指定される領域を前記広角画像から削減する請求項7に記載の画像表示システム。
  11. 前記領域決定手段は、前記情報処理装置と前記端末装置の帯域に応じて前記設定数を変更する請求項4に記載の画像表示システム。
  12. 前記広角画像は全天球画像であり、
    前記全天球画像が、撮像者が位置を変えて撮像した複数の前記全天球画像の一部である場合、前記領域決定手段は前記全天球画像の空領域及び地面領域を前記領域に決定するか、
    前記領域決定手段は前記撮像者の移動方向に対し逆方向となる後方範囲を前記領域に決定するか、又は、
    前記領域決定手段は前記撮像者の移動方向を中心とする所定の視界領域以外を前記領域に決定し、
    前記削減手段は、前記領域決定手段が決定した前記領域を前記全天球画像から削減する請求項1に記載の画像表示システム。
  13. 前記表示領域記録手段は、前記表示装置に表示された前記広角画像の表示領域と共に、表示された前記広角画像の撮像時刻に関する情報を記録し、
    前記第2送信手段は、前記表示領域記録手段が記録した前記表示領域情報と前記撮像時刻に関する情報を前記情報処理装置に送信し、
    前記情報処理装置の前記領域決定手段は、前記広角画像が有する撮像時刻から時間帯を判断し、前記撮像時刻に関する情報が属する前記時間帯ごとに、前記表示領域情報に基づいて閲覧される頻度が他領域よりも少ない前記領域を決定し、
    前記削減手段は、前記領域決定手段が決定した前記領域を前記時間帯べつに前記広角画像から削減する請求項2に記載の画像表示システム。
  14. 前記領域決定手段は、異なる前記時間帯の前記表示領域情報を合算し、合算して得られた前記表示領域情報に基づいて閲覧される頻度が他領域よりも少ない前記領域を決定する請求項13に記載の画像表示システム。
  15. 前記表示領域記録手段は、前記表示装置に表示された前記広角画像の表示領域と共に、前記広角画像の撮像の日に関する情報を記録し、
    前記第2送信手段は、前記表示領域記録手段が記録した前記表示領域情報と前記撮像の日に関する情報を前記情報処理装置に送信し、
    前記情報処理装置の前記領域決定手段は、前記広角画像が撮像された曜日を判断し、撮像の日に関する情報が属する前記曜日ごとに、前記表示領域情報に基づいて閲覧される頻度が他領域よりも少ない前記領域を決定し、
    前記削減手段は、前記領域決定手段が決定した前記領域を前記曜日べつに前記広角画像から削減する請求項2に記載の画像表示システム。
  16. 所定よりも画角が広い広角画像が記憶された記憶装置から前記広角画像を読み出すことができる情報処理装置であって、
    前記広角画像のうち閲覧される頻度が他領域よりも少ない領域を決定する領域決定手段と、
    前記領域決定手段が決定した前記領域を前記広角画像から削減する削減手段と、
    前記削減手段により前記領域が削減された前記広角画像を前記記憶装置から読み出す読み出し手段と、を有する情報処理装置。
  17. ネットワークを介して通信可能な情報処理装置から所定よりも画角が広い広角画像を受信する端末装置を、
    前記広角画像を表示装置に表示させる画像表示手段と、
    前記表示装置に表示された前記広角画像の表示領域を記録する表示領域記録手段と、
    前記表示領域記録手段が記録した前記表示領域を示す表示領域情報を前記情報処理装置に送信する送信手段と、として機能させるプログラム。
  18. 情報処理装置が、所定よりも画角が広い広角画像のうち閲覧される頻度が他領域よりも少ない領域を決定するステップと、
    前記情報処理装置が、決定された前記領域を前記広角画像から削減するステップと、
    前記削減するステップにより前記領域が削減された前記広角画像を、前記情報処理装置が端末装置に送信するステップと、
    前記端末装置が、前記領域が削減された前記広角画像を受信するステップと、
    前記端末装置が、前記領域が削減された前記広角画像を表示装置に表示するステップと、を有する画像表示方法。
JP2016026816A 2015-05-01 2016-02-16 画像表示システム、情報処理装置、プログラム、画像表示方法 Pending JP2016213810A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US15/135,706 US9996895B2 (en) 2015-05-01 2016-04-22 Image display system, information processing apparatus, and image display method
EP16166926.2A EP3091511A1 (en) 2015-05-01 2016-04-25 Image display system, information processing apparatus, and image display method
CN201610270077.XA CN106101610B (zh) 2015-05-01 2016-04-27 图像显示系统、信息处理设备和图像显示方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015094225 2015-05-01
JP2015094225 2015-05-01

Publications (1)

Publication Number Publication Date
JP2016213810A true JP2016213810A (ja) 2016-12-15

Family

ID=57549867

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016026816A Pending JP2016213810A (ja) 2015-05-01 2016-02-16 画像表示システム、情報処理装置、プログラム、画像表示方法

Country Status (2)

Country Link
JP (1) JP2016213810A (ja)
CN (1) CN106101610B (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106851212A (zh) * 2017-03-03 2017-06-13 深圳百科信息技术有限公司 一种基于用户特性的全景视频分发方法和系统
JP2020035086A (ja) * 2018-08-28 2020-03-05 富士ゼロックス株式会社 情報処理システム、情報処理装置およびプログラム
JP2020053803A (ja) * 2018-09-26 2020-04-02 株式会社コロプラ プログラム、情報処理装置、および方法
CN112307393A (zh) * 2019-09-04 2021-02-02 福建皮皮跳动科技有限公司 信息发布方法、装置和电子设备

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106791886B (zh) * 2016-11-16 2020-03-17 深圳市梦网百科信息技术有限公司 一种基于视觉特性的全景视频分发方法和系统
CN106878611B (zh) * 2016-12-29 2020-02-11 北京空间机电研究所 一种智能侦察监视光电系统
US10931985B2 (en) * 2017-01-06 2021-02-23 Sony Corporation Information processing apparatus and information processing method
MX2019014416A (es) 2017-06-02 2020-02-05 Vid Scale Inc Suministro de video en 360 grados a través de la red de próxima generación.
WO2019009319A1 (en) * 2017-07-06 2019-01-10 Sharp Kabushiki Kaisha SYSTEMS AND METHODS FOR VIEWING INFORMATION SIGNALING FOR VIRTUAL REALITY APPLICATIONS
JP7200493B2 (ja) * 2018-03-29 2023-01-10 京セラドキュメントソリューションズ株式会社 監視システム
CN116916050B (zh) * 2022-12-20 2024-03-19 哈尔滨商业大学 一种将道路监控图像发送到终端的方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2405237A1 (en) * 2010-07-07 2012-01-11 Leica Geosystems AG Target Point Recognition Method and Surveying Instrument
CN102186065B (zh) * 2011-06-01 2013-03-27 广州市晶华光学电子有限公司 一种具有360度视场角的监控相机
JP6124517B2 (ja) * 2012-06-01 2017-05-10 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106851212A (zh) * 2017-03-03 2017-06-13 深圳百科信息技术有限公司 一种基于用户特性的全景视频分发方法和系统
CN106851212B (zh) * 2017-03-03 2020-03-17 深圳市梦网百科信息技术有限公司 一种基于用户特性的全景视频分发方法和系统
JP2020035086A (ja) * 2018-08-28 2020-03-05 富士ゼロックス株式会社 情報処理システム、情報処理装置およびプログラム
JP2020053803A (ja) * 2018-09-26 2020-04-02 株式会社コロプラ プログラム、情報処理装置、および方法
CN112307393A (zh) * 2019-09-04 2021-02-02 福建皮皮跳动科技有限公司 信息发布方法、装置和电子设备

Also Published As

Publication number Publication date
CN106101610A (zh) 2016-11-09
CN106101610B (zh) 2019-09-13

Similar Documents

Publication Publication Date Title
JP2016213810A (ja) 画像表示システム、情報処理装置、プログラム、画像表示方法
US9996895B2 (en) Image display system, information processing apparatus, and image display method
JP7192923B2 (ja) 装置、方法、プログラム、システム
US10326934B2 (en) Service system, information processing apparatus, and service providing method
EP2777021B1 (en) Hands-free augmented reality for wireless communication devices
US9286624B2 (en) System and method of displaying annotations on geographic object surfaces
US10191635B1 (en) System and method of generating a view for a point of interest
KR20140133640A (ko) 증강 현실 정보를 포함하는 콘텐츠 제공 방법 및 장치
US8751163B2 (en) System and method for providing an electronic representation of a route
US8570424B2 (en) Display control apparatus and display control method
CN103458180A (zh) 通信终端、显示方法以及计算机程序产品
JP5037061B2 (ja) 画像出力装置、画像一覧表示システム、プログラム、記録媒体、及び画像出力方法
CN102111526A (zh) 信息处理装置及信息处理方法
CN107851069B (zh) 图像管理系统、图像管理方法及程序
JP4085634B2 (ja) 画像表示プログラム
US20150156460A1 (en) System and method of filling in gaps in image data
JP6617547B2 (ja) 画像管理システム、画像管理方法、プログラム
JP2002189412A (ja) 地図作成システム及び地図作成方法
KR20210110950A (ko) 증강 기술을 이용하여 광고를 구현하는 장치 및 방법
JP7509188B2 (ja) 情報処理装置、表示方法、プログラム、システム
JP2020088437A (ja) 情報共有システム、情報共有方法、プログラム