JP2000132673A - 画像システム - Google Patents

画像システム

Info

Publication number
JP2000132673A
JP2000132673A JP10306549A JP30654998A JP2000132673A JP 2000132673 A JP2000132673 A JP 2000132673A JP 10306549 A JP10306549 A JP 10306549A JP 30654998 A JP30654998 A JP 30654998A JP 2000132673 A JP2000132673 A JP 2000132673A
Authority
JP
Japan
Prior art keywords
image
user
command
time
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP10306549A
Other languages
English (en)
Inventor
Yasuhiro Yoshida
育弘 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP10306549A priority Critical patent/JP2000132673A/ja
Publication of JP2000132673A publication Critical patent/JP2000132673A/ja
Pending legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 インターネットを利用した従来の画像システ
ムでは、ユーザーにとって必要な方向や視野の画像が、
そのユーザーにとって適切な条件で撮影されて提供され
るとは限らない問題があった。 【解決手段】 360度全方向を同時に撮影することが
できるカメラと蓄積装置を用い、撮影した全方位画像を
あらかじめ蓄積して、蓄積された画像を伝送してユーザ
ー側でユーザーが必要とする方向、視野の画像を抜き出
して表示するようにすることで、ユーザーが必要な画像
を常に入手できるようにするとともに、カメラや伝送路
の利用効率を上げ、システムの利用コストを低減する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、ユーザーが見た
いと要求するものを、要求するときに見せることができ
る画像システムに関する。
【0002】
【従来の技術】近年、インターネットが急速に普及しつ
つあり、これを介して遠隔にあるカメラで撮影された映
像をエンドユーザーが鑑賞したい、という要求が高まっ
てきている。特に、ユーザーが「見たいと感じたもの」
を、「見たいと感じたときに」見ることができるような
システムが必要とされる。
【0003】このようなシステムは、いわばオンデマン
ドテレビの生中継版といったものになると想定される
が、従来は、ユーザーの要望に応じた画像を要望に応じ
てその時に現地で撮影し、それを伝送してユーザーに見
せる方法しかなかった。
【0004】このような方法の一例が、図26に示すシ
ステムとして提案されている。この提案は、たとえばカ
メラの制御に関する特開平10−42279号公報や、
「リアルタイム」を実現するために、伝送路の混み具合
に見合った伝送制御に関する特開平10−42185号
公報などに記載されている。
【0005】図26を簡単に説明する。図26では、シ
ステム全体を伝送路26004で左右に分離し、ユーザ
ーは伝送路26004の右側に居るものとし、左側がサ
ーバー側であるとする。ここで伝送路26004は、既
存の伝送路であるインターネットである。
【0006】ユーザーからコマンド投入手段26008
を通じてコマンドが投入させると、そのコマンドは伝送
路を通じて撮影手段26001に伝送される。投入され
るコマンドは、主としてカメラを制御してユーザーの好
みの画像を得るためのものである。従来では、http
プロトコルに従ってパン、チルト、ズームなどの撮影条
件を記述する方法が具体的に提案されている。あわせ
て、撮影手段に対しユーザーから撮影時刻や撮影条件の
予約を行う方法なども提案されている。
【0007】撮影された画像はサーバー手段26002
を介して、伝送処理手段26003を経て伝送路260
04からユーザーに伝送され、表示手段26005でユ
ーザーに提示される。このとき、伝送路のトラフィック
状態によって伝送状態が変化しないように、リアルタイ
ムに画像を伝送するためのフレーム単位の間引きを行う
などの工夫が伝送処理手段26003と制御手段260
07によって行われる。
【0008】図26のシステムを実現しようとすると、
「ユーザーの要求が発生したことをいかに捕らえ」、そ
の時に、「その要求に見合った画像をいかにリアルタイ
ムに撮影して」、その画像を「いかにリアルタイムに伝
送するか」が、技術的な鍵になる。要するに、ユーザー
の要求が発生したその時点での被写体の様子といった意
味合いでの「リアルタイム性」をいかに大切に扱うかが
ポイントになる。
【0009】
【発明が解決しようとする課題】上記システムは先に述
べた「リアルタイム性」を重要視する構成になるため、
3つの問題がある。
【0010】まず、カメラ1台について1人のユーザー
が割り当てられ、それが固定してしまうという点であ
る。従来技術では、時間予約してカメラを利用する方法
などがあるが、この方法でも、まさに撮影が行われてい
るその時間には、1人のユーザーによって一台のカメラ
が占有され、多くのユーザーは、少なくともその時点に
おいては、カメラを使用できないといった点には変わり
ない。
【0011】また、ユーザーが要求したとき、あるいは
予約撮影したときの撮影条件が、ユーザーには全く予想
できないことが上げられる。夜間や曇天などのため撮影
条件が整わない場合には、せっかくカメラへのアクセス
権を得たとしても、満足な画像は得られない可能性が高
い。
【0012】さらに、従来技術では、予約撮影などを行
う様にしたがために、撮影時間や条件等に関する極めて
複雑なコマンドを、画像が得られていない時点であらか
じめ予測して投入する必要があるという問題がある。こ
のことは、システム全体の使いやすさを低下させるばか
りでなく、得られた画像が的を得たものにならない可能
性を増し、しかもそのような無用な情報を伝送系に流す
ことになるなど、提案されている画像システムの存在意
義にまで係わる根本的な問題となる可能性を含む問題で
ある。
【0013】本発明はこのような、従来技術の「リアル
タイム性」を重要視するがために生じた問題点を解決す
ることを目標になされるものである。
【0014】
【課題を解決するための手段】請求項1記載の画像シス
テムは、周囲360度を同時に撮影する撮影手段と、上
記撮影した画像を記憶蓄積する手段と、上記記憶蓄積し
た画像を伝送する伝送手段と、所定のコマンドを投入す
るコマンド投入手段と、上記投入されたコマンドに基づ
いて上記記憶蓄積された画像から所望の部分画像を切り
出す画像切り出し手段と、上記切り出された画像を四角
形の画像にマッピングする画像変形手段とを有すること
を特徴とする。
【0015】請求項2記載の画像システムは、請求項1
記載の画像システムにおいて、上記コマンド投入手段
は、上記コマンドに変換する変換手段を有することを特
徴とする。
【0016】請求項3記載の画像システムは、請求項1
記載の画像システムにおいて、上記部分画像を表示する
と共に、切り出す前の画像を表示する表示手段をユーザ
ー側に有することを特徴とする。
【0017】請求項4記載の画像システムは、請求項1
記載の画像システムにおいて、上記撮影した画像に推奨
範囲の画像であることを示す付加情報を付加する手段
と、上記伝送された画像から上記付加情報を抜き出す手
段と、上記付加情報に基づいて推奨範囲の画像を表示す
る表示手段を有することを特徴とする。
【0018】請求項5記載の画像システムは、請求項1
記載の画像システムにおいて、上記コマンドは、視野方
向中心と広がり角、視野上下中心と広がり角からなるも
のであることを特徴とする。
【0019】請求項6記載の画像システムは、請求項1
記載の画像システムにおいて、上記画像変形手段は、上
記撮影された画像の半径方向の位置に応じて上記切り出
された画像の所定方向への拡大率を制御して四角形の画
像にマッピングするように画像を変形処理させるもので
あることを特徴とする。
【0020】請求項7記載の画像システムは、請求項1
記載の画像システムにおいて、上記撮影された画像の中
心部と外側で圧縮率を変化させて伝送することを特徴と
する。
【0021】
【発明の実施の形態】<第1の実施例>この発明では、
画像を蓄積する操作を利用して、必要なとき(ユーザー
の希望が発生したとき)に必要な処理(蓄積した画像か
らユーザーの希望に応じた情報を抜き出す処理−切り出
しなど)をしてユーザーに見せるシステムを提案する。
特に、蓄積する画像として、従来システムに対して、ユ
ーザーの、考えられる限りの全ての希望にかなった(た
とえば高解像度に撮影した360度概ね全ての方向を含
む画像)画像を用いる。このような画像をあらかじめ撮
影しておいて蓄積し、その画像からユーザーの希望に応
じて必要な情報(方向、画角など)だけを必要なときに
抜き出して再生、表示しようというシステムである。
【0022】このシステムでは、あらかじめ撮影した画
像を蓄積することを前提とするので、ユーザーの希望が
発生した時点でリアルタイムに撮影する必要はなく、条
件の良い時にきれいに撮影した絵を蓄積して利用でき
る。つまり、ユーザーの希望が発生する時の撮影条件の
善し悪しに左右されないから、きれいな画像を見たいと
いうユーザーの基本的な希望にかなった画像を、ユーザ
ーが見たいときに見たい通りに再生できる利点が有る。
【0023】また、従来のシステムでは、撮影時にはカ
メラ1台を利用者1人が占有することになったが、この
ような蓄積型システムではそういう制約はない。つま
り、「カメラ1」対「ユーザー1」ではなく、「すべて
の希望をかなえることができる蓄積画像1」対「ユーザ
ー多」で利用できるので、多人数で同時にしようできる
という利点がある。
【0024】このような利点に対し、蓄積画像を利用す
ることによる問題点もある。つまり、撮影時はユーザー
の要求発生時とは異なるという問題である。具体的に
は、リアルタイムの被写体の状況はユーザーには見えな
いという問題を生ずる。
【0025】このシステムでは、その問題を、良い条件
で撮影した絵から、ユーザーの希望が発生した時点で、
希望にかなう高い画質の絵を切り出して表示できるとい
う利点とトレードオフしているともいえる。従来技術の
リアルタイム性と、本発明の技術で保証する高画質性
(従来技術では、少なくとも撮影が必要なタイミングの
撮影条件が予想できないため、システムとして画質を保
証することは困難)とのトレードオフである。
【0026】こういう観点からは、本発明は、いかにき
れいに撮影し、それを歪み無く蓄積して必要なときにユ
ーザーに伝送して、さらにユーザーの要望に応じていか
にうまく必要な情報だけを抜き出してユーザーに見せる
かといったそれぞれの点が技術的なポイントになる。
【0027】上記2つの利点と、ひとつのトレードオフ
をあわせると、この発明は、あらかじめよい条件で撮影
し蓄積しておけばよいもの、そして蓄積後それを利用す
ることができる分野、たとえば、観光地の紹介、あるい
は歌手や俳優のイメージビデオなど、の利用にマッチす
るシステムであると思われる。これに対して、従来で
は、リアルタイム性を重視する必要のある分野、たとえ
ば、監視システムなどに用いると都合がよいと思われ
る。
【0028】このシステムは、リアルタイム性を重要視
するシステムではないから、伝送路や、サーバーの負荷
に左右されない。したがって、本質的に「蓄積した動画
像の利用」に適する特徴がある。つまり、ユーザー端末
で情報の抜き出し処理が必要となる。
【0029】このため、このシステムでは、従来技術の
問題で述べた、画像を見ずに複雑なコマンド投入する必
要性は無い替わりに、ユーザー端末をいかに使いやすく
設計するかがひとつのポイントになる。
【0030】また、ユーザー端末の能力によって、情報
の抜き出し速度、つまり再生速度が決まる。よって、
「軽い」抜き出し処理を実現することがひとつの課題で
ある。
【0031】加えて、基本的に動画像もファイルで転送
してから再生するシステムであるから、すべての情報を
伝送し終わるまで、再生できないため伝送の待ち時間が
多い問題を生ずるという可能性がある。しかし、同様の
問題は、リアルオーディオなどでは改善されている。画
像システムへの適用の可否検討が必要である。
【0032】また、すべての情報を含んだ画像を蓄積、
伝送するので、基本的に取り扱う情報量が多いといった
問題もある。そしてその割に、最終的に伝送された情報
のうち、実際に表示に利用される部分は一部分だけであ
る。つまり、撮影して蓄積伝送された情報のうち、実際
に利用される割合が少ない可能性がある。このため、表
示画像当たりのコストが上昇する可能性がある。しかし
このことは、一度データ伝送をうければ、いつでも、自
由な「要求」に対し、ローカルに再生表示可能という特
徴にもつながる。
【0033】さらに、撮影された画像の性質上、従来型
の画像圧縮に整合しない可能性が高いという問題もあ
る。このことは、伝送のみならず、蓄積においても蓄積
枚数や画質劣化といった観点から問題となる可能性が高
い。適切な圧縮方法を開発することが重要な課題で、こ
れができれば、上に述べた問題の改善が可能である。つ
まり次の改善効果がある。(1)伝送時間短縮が可能、
(2)歪みが少ない蓄積、伝送が可能であり、きれいな
画像を表示可能、(3)伝送された情報の多くを、その
ままユーザーサイドでも蓄積して保存できる。よって再
利用の可能性が高まる。
【0034】このように、適切な圧縮方法を開発できれ
ば、高画質、低コストを実現でき、総合的に見て上に述
べた個々の問題を解消し、蓄積装置や伝送路利用効率が
向上して、かつ、高画質化もはかれるなどの利点があ
る。
【0035】次に図1を用いて、この発明について説明
する。このシステムは、あらかじめ撮影して蓄積した、
全ての情報を含んだ画像をユーザーの要望が発生したと
きにユーザーに向けて伝送して、さらに、ユーザー側で
その画像から必要な画像を抜き取って表示するシステム
である。
【0036】まず、撮影装置1001を用いてあらかじ
め画像を撮影し、それを蓄積装置1002に蓄積する。
この画像は、撮影条件の良い時にきれいに撮影した、撮
影点を中心として360度全ての方向を同時に撮影した
画像である。撮影装置1001は、このような画像を撮
影することができる装置である。
【0037】このような撮影と蓄積のプロセスは、撮影
者によって管理される。そのために、撮影者からコマン
ドを投入するコマンド投入装置1009と、その投入し
たコマンドによって制御を行う制御装置1008とを有
する。
【0038】次に、この蓄積された全ての情報を含んだ
画像を、ユーザーの要望が発生したときにユーザーに向
けて伝送する。そのために、ユーザーがコマンドを投入
するコマンド投入装置1007と、その投入されたコマ
ンドを理解して伝送路1003に送り出したり、要求に
見合った情報の画像を抜き出す処理部1004に送り出
したりする制御装置1006と、制御装置1006から
送り出されたコマンドを蓄積装置1002を制御する制
御装置1008まで伝送し、また、制御装置1008の
指示に基づいて蓄積装置1002から画像データを抜き
出し処理部1004まで伝送する伝送路1003とを有
する。
【0039】そしてさらに、ユーザーがコマンド投入装
置1007に対して投入したコマンドに応じて、蓄積装
置1002から伝送された信号に対して、ユーザーが投
入したコマンドに見合った処理をする処理部4を有す
る。
【0040】このようにして、条件の良いところで撮影
された画像から必要な画像を抜き取って表示する。次に
各部の詳細を説明する。
【0041】まず図1の撮影装置1001について説明
する。この撮影装置1001の詳しい動作原理は、登録
特許第2656143号に説明があるので省略し、この
システムにとって必要な動作に限定して説明する。
【0042】図2は、この撮影装置の動作を示す説明図
である。この撮影装置は、カメラ2001、光学系20
02、および2葉双曲面のうちの片方の形状をなす円錐
状の反射板2003からなり、光学系2002の焦点
が、反射板2003の焦点に一致するよう配置されてい
る。
【0043】つまり、カメラ2001は、反射板200
3を真下から見上げるような位置関係になり、光学系か
ら見た反射板はその焦点に配置されている。したがっ
て、カメラ2001では、反射板2003に写る360
度までの範囲にわたる周囲概ね全ての画像を読み込むこ
とができる。
【0044】ここで、たとえばカメラの撮像素子の画素
配置によっては、完全に360度全ての範囲を読み込む
ことはできない可能性もある。たとえば、登録特許第2
656143号に記載の極座標上のアドレスを有する撮
像素子を使用した場合には360度の撮影範囲のうちの
わずかの部分はアドレス線の領域として使用されると予
想される。このような場合には、360度すべての方向
の読み込みは困難であり、実質的に359度とか358
度の範囲しか撮影できない。本発明に説明する技術は、
このような撮影手段を用いる場合でも何ら問題なく使用
できるので、以下の説明では特に述べないが、このよう
な場合も含め、略360度の範囲が撮影可能であるもの
として取り扱っている。
【0045】カメラから取り出される画像の例を図3に
示す。図3では、カメラを中心として、360度全周に
わたってカメラを取り囲むように、「360度全周にわ
たる視野」という文字がかかれたたとえば看板などが配
置され、それをカメラで撮影している場合の取り込み画
像を示している。
【0046】概ねドーナッツ状の画像であり、極座標標
記して座標を与えると、中心からの距離は、図2の視野
の上下方向をあらわし、また、角度は、視野方向をあら
わす。とくに、中心からの距離が小さいときは視野のう
ち下の方をあらわし、距離が大きいときは視野の上の方
を表す。
【0047】つまりこの画像は、通常に人間が生活する
上で必要な情報を含んだ視界の全領域を含む。逆に、真
上や真下などといった通常意味をなさない視界は含まれ
ない。
【0048】このような画像を得ることができるカメラ
としては、上述のような反射板を組み合わせる方法の他
にも、魚眼レンズを用いる方法もある。どのような方法
でも構わない。
【0049】後述するが、このような通常生活する上で
必要な全領域を含む画像から、その時々に必要な視界を
含む画像を切り出してユーザーに提供しようというのが
このシステムの特徴である。
【0050】次に図1の蓄積装置1002と、コマンド
投入装置1009、制御装置1008について説明す
る。このうち制御装置1008は、パソコンなどであ
り、大きく分けて2つの役割を果たす。書き込みの制御
と読み出しの制御である。
【0051】書き込みの制御は、撮影された信号の符号
化制御とその信号のハードディスクへの書き込み制御を
行う。書き込み制御をするときは、制御装置へは、撮影
者からコマンドが入力される。一方、読み出しの制御を
行うときは、システムのユーザーから投入されたコマン
ドが、伝送路1003を経て入力される。
【0052】図4はこれらのうち、撮影者からコマンド
が投入され、撮影者によって書き込みの制御が行われる
場合に関連した部分を抜き出した説明図である。
【0053】図1の蓄積装置1002は、少なくとも符
号化器4001、ハードディスク4002を含む。図1
の撮影装置1001で撮影された信号は、撮影者から投
入されたコマンドに従って、符号化器4001でJPE
GやMPEGなどのフォーマットに変換され、ハードデ
ィスク4002に記憶される。このコマンドは、たとえ
ば次のようなものである。
【0054】write(#filename.for
mat,#time_start,#time_en
d) ここで、writeがコマンドであり、括弧内が引数で
ある。引数は、記憶するファイルの名前#filena
meと、おのおの記憶開始、終了の時刻をあらわす#t
ime_start、#time_endである。ファ
イルの名前は、JPEGやMPEGといった画像圧縮の
方式を指定する.formatの部分を含めて指定す
る。
【0055】撮影者がこのようなコマンドを制御装置4
003に与えると、制御装置4003はそれを解釈し
て、符号化器4001とハードディスク4002を制御
し、入力された信号を指定された符号化方式で圧縮符号
化し、指定された時間だけ、指定されたファイル名のフ
ァイルとして蓄積装置に記憶する。
【0056】#time_startは省略して、コマ
ンドを投入した瞬間を記憶開始時刻として指定するよう
にすることもできる。この場合、#time_endは
絶対的な時刻を指定するのではなく、撮影者が撮影を開
始した「今」から、何秒間記録するといった意味合い
で、撮影開始時刻を基準として何秒後までといったこと
にしてもよい。この場合、たとえば次のような形態でコ
マンドを記述することになる。
【0057】write(#filename.for
mat,,#time_end)ここで、「,,」は、
この間に#time_start引数が省略されたこと
を表し、この場合、制御装置4003は、#time_
endはコマンド投入時刻を基準として蓄積終了までの
相対的な時間を表していると解釈する。
【0058】ここで、ハードディスク4002はいかな
る形式の記憶装置でもよく、容量的に十分でありさえす
れば良い。具体的には、ハードディスク装置や光磁気デ
ィスク装置等である。
【0059】次に読み出しについて図5を用いて説明す
る。図5は、図1の後半部分だけを抜き取ったものであ
る。
【0060】このうち蓄積装置1002には、すでに図
4の説明で述べた#filename.formatの
画像ファイルが蓄積されているものとする。また、伝送
路1003は、具体的にはインターネットや商用のネッ
トワークであったり、CATV放送に多重してデータ伝
送を行うような、双方向伝送路であったりする。
【0061】読み出し時には、蓄積装置1002は制御
装置1008と協調して、伝送路1003に対して、た
とえばWWWサーバのように動作する。また、伝送路か
ら右側の、処理部1004、表示部1005、コマンド
投入装置1007、制御装置1006は、いずれもユー
ザーの家庭などに設置される機器であり、たとえばWW
Wサーバーに対応したWWWブラウザである。
【0062】一般に、これらのWWWサーバーとWWW
ブラウザの間は、HTTPプロトコルで通信を行う。す
なわち、WWWブラウザからは、文書データやイメージ
データの格納先であるWWWサーバに対して、対象とす
るデータの格納先が示されたURLに従ってその情報を
参照する。WWWサーバは、これに応えて、対応する文
書データやイメージデータをWWWブラウザに返答す
る。
【0063】この実施例でも、このようなWWWサーバ
ーとWWWブラウザの場合を例に説明する。つまり、蓄
積装置1002と制御装置1008は、あたかもWWW
サーバーのように振る舞い、ユーザー側端末とHTTP
プロトコルにしたがって通信を行うものとする。これ
は、WWWサーバの通信方法を制御装置1008などで
用いれば容易に実現できる。
【0064】一般にWWWサーバーにイメージデータの
転送を要求するときには、以下のようなコマンド記述が
用いられる。
【0065】<img src=”http://ww
w.foo.co.jp/image.format”
> ここで、imgは、画像データを転送せよというコマン
ドであり、src以下は引数である。src引数は、蓄
積装置1002と制御装置1008からなるWWWサー
バーが存在するネットワーク上の位置とアクセスすべき
ファイルをあらわす引数で、コマンド全体として、ww
w.foo.co.jpというWWWサーバのimag
e.formatというファイルに格納されたイメージ
データの転送を要求することを示しており、ブラウザの
画面にその転送されてきた画像の表示が行われることに
なる。この実施例でも、このようなHTTP仕様をその
まま活用しつつ、この発明の目的とするところを満足す
るようにする。
【0066】まず、ユーザーがコマンド投入装置100
7からコマンドを投入する。このコマンドは、先のHT
TP仕様に従った、たとえば次のようなものである。
【0067】<img src=”http://ww
w.foo.co.jp/image.format,
deg=center,width,pan=cent
er,width> この意味は、imgは、上と同じく画像を表示せよとい
うコマンドであり、src以下は引数で、ここでは3つ
の引数を与えている。ここでは、「<」と「>」とで囲
まれている文字列が2行以上にまたがって表示されてい
るかもしれないが、実際の記述は、改行を含まず一行で
記述される。
【0068】まず、src引数は、先と同様、蓄積装置
1002が存在するネットワーク上の位置と、その中の
ファイル名をあらわす引数である。図示しないが、この
ネットワークは、このようなsrc引数で指定された蓄
積装置をユーザーと接続するHTTP仕様に従った通信
機能を有しているものとする。
【0069】また、image.formatは、指定
された蓄積装置1002の上から読み出したいファイル
の名前である。具体的には、撮影者が記録した時に指定
したものと同じ名称を用いる。ここで、.format
は圧縮方式を表し、蓄積装置1002に対して行う制御
以外に、処理部1004に対する制御でも利用する。以
上のsrc引数により、ユーザーから見て伝送路100
3を隔てて接続された蓄積装置1002から、目的のフ
ァイルを読み出すことができる。
【0070】次に、deg引数と、pan引数について
説明する。これらの引数は、伝送されてくる、図3に示
したドーナッツ状の画像から、ユーザーが必要とする画
像を指定してそれを抜き出すために用いられる。まず、
deg引数のcenterパラメータで視野方向、同じ
くdeg引数のwidthパラメータで視野角、さら
に、pan引数のcenterパラメータで上下方向、
同じくpan引数のwidthパラメータで上下視野角
を指定する。
【0071】これらの引数やパラメータで指定される画
像について、図6を用いて説明する。図6は、図3のよ
うなドーナッツ状の画像に対して、それぞれの引数やパ
ラメータがどのような意味を持つかを示す説明図であ
る。同図に示すように、各引数、パラメータは、360
度全方向を含む画像から、ユーザーが必要とする画像
を、視野方向と上下方向、また、その視野方向と上下方
向を中心とした視野幅と上下幅で指定するように機能す
る。斜線部が指定される部位である。
【0072】たとえば、視野方向50度を中心として左
右の視野角30度、また、上下方向には水平より5度下
を中心として、上下に20度の範囲の画像をimag
e.jpgという画像ファイルから切り出して表示する
ときには、下記のように指定する。ただし、制御装置1
008と蓄積装置1002からなるWWWサーバーのネ
ットワークアドレスは、www.foo.co.jpで
あるとする。
【0073】<img src=”http://ww
w.foo.co.jp/image.jpg,deg
=50,30 pan=−5,20> ところで、ユーザーがコマンド投入装置1007から投
入したこのようなコマンドは、WWWブラウザ側にある
制御装置1006と、WWWサーバー側にある制御装置
1008で次のように解釈され、システム全体を機能さ
せる。
【0074】その処理例を図12のフローチャートに示
す。まず、ステップS101で、ブラウザ側にある制御
装置1006で、コマンドがsrc引数とそれ以外に分
解される。そして、src引数の部分はステップS10
22で伝送路1003を通じてサーバー側の制御装置1
008に伝送される。サーバー側の制御装置1008で
は、ステップS103で、到達したコマンドに従って、
通常のWWWサーバーと同じく、指定されたファイルを
読み出して伝送路1003に流す。このとき、通信イン
ターフェースは、HTTPプロトコルを用いるため、画
像フォーマットに応じた内容種別情報やステータス情報
等が先頭に付加される。そして、本処理を終了する。
【0075】これにより、あたかもWWWサーバのファ
イルに格納されたイメージデータのように、撮影された
画像が伝送路1003から処理部1004に到達する。
この到達した画像信号に対し、ステップS101で分解
され、残ったdeg引数やpan引数に基づいた、画像
の抜き出し処理がステップS104で行われ、処理を終
了する。この処理については後述する。
【0076】以上の説明で、読み出し時にWWWサーバ
ーのように振る舞っている蓄積装置1002や制御装置
1008は、少なくとも読み出し時はまったく従来のW
WWサーバーと同様でよい。コマンド投入装置1007
から投入されるコマンドのうち、この発明に特殊な引数
はdeg引数とpan引数のみであり、それらはブラウ
ザ側の制御装置1006で分離されて、サーバー側には
一切伝送されない。従って、この発明のために従来のW
WWサーバーに手を加える必要は一切ない。
【0077】逆に、通常のWWWブラウザからこの発明
に用いるのと同様の引数をもったコマンドを投入して
も、ブラウザがその引数に対応していないため、伝送さ
れた画像がそのまま表示されるだけである。このような
ブラウザに対しても、この発明の特殊な部分、つまり、
制御装置1006や処理部1004を、従来のブラウザ
に対するプラグインのプログラムのようにして扱うこと
ができる。その場合、従来のブラウザはこの発明に対応
した機能を有するブラウザとして取り扱うことができ
る。
【0078】あるいは、従来のブラウザからこの発明に
用いるのと同様のコマンドが投入された場合、WWWサ
ーバのCGIプログラム等によって、本発明のブラウザ
側の処理と同等の処理を行うことができる。そして、そ
の結果だけを伝送することで、この発明と同様の機能を
持たせることが可能である。
【0079】ここでは、伝送路1003を介した通信を
HTTPプロトコルとして説明したが、どういう通信イ
ンターフェースを用いても構わない。
【0080】画像フォーマットは、.formatとし
て特に指定しなかったが、静止画像であれば、JPEG
フォーマットに従ったものや、GIFフォーマットに従
ったもので構わないし、動画像のMPEGであっても構
わない。それぞれの圧縮フォーマットに見合ったエクス
テンションが付加されていればよい。
【0081】この説明では、コマンドの引数を3つ設け
て必要な処理を行うようにしたが、URLのパラメータ
記述を利用してもよい。たとえば、deg引数や、pa
n引数をそれぞれ以下のように記述するようにしてもよ
い。 <img src=”http://cam.foo.
co.jp/image.format?deg=#c
enter,#width,pan=#center,
#width”> さて、図5の説明に戻る。伝送路から右側の、処理部1
004、表示部1005、コマンド投入装置1007、
制御装置1006は、いずれもユーザーの家庭などに設
置されるWWWブラウザに相当する機器である。制御装
置1006で分離されたdeg引数やpan引数は、先
に述べた圧縮フォーマットを表す.formatと同時
に、処理部1004に与えられる。
【0082】図7を用いて処理部1004の動作につい
て説明する。処理部部1004は、少なくとも、デコー
ダ7001と画像切り出し部7002、整形部7003
を含んでいる。
【0083】ネットワークから伝送されてきたJPEG
やMPEGフォーマットの画像は、デコーダ7001で
復号化され、通常のラスタースキャンの画像に変換され
る。圧縮されて伝送された画像の圧縮フォーマットを知
り、そのフォーマットに従って復号するため、.for
matパラメータが入力される。以上の圧縮や復号のア
ルゴリズムは全く既知のものである。
【0084】ただし、ドーナッツ状の画像の中心からの
距離に応じて圧縮率を変化させるようにしても良い。そ
れは、後述するように、図6に述べる切り出すべき扇形
の範囲について見ると、内側と外側では、画素数が異な
るからである。
【0085】次に、画像切り出し部7002では、伝送
されてきたドーナッツ状の画像から、図6に斜線で示し
たように指定された位置の画像を抜き出す処理をする。
この結果抜き出された画像は、図8(a)に示すように
斜線で示したように扇形の画像であるので、これを回転
して水平にし、さらに図8(b)のように、通常の長方
形のラスタースキャン画像に整形部7003でマッピン
グなどの手法によって変形し、ユーザーが見やすいよう
に整形する。
【0086】この画像切り出し部7002と整形部70
03について図13を用いてそれぞれ説明する。図13
では、読み出しアドレス発生部1303とメモリ130
1が一体となって上に述べた画像切り出し動作をし、ま
た、読み出しアドレス発生部1303と内挿処理部13
02が一体となって上に述べた整形動作をする。
【0087】これらは、次のように動作する。まず、伝
送され復調された図3や図6に示すようなドーナッツ状
の画像は、メモリ1301に図14のように書き込まれ
る。図14は、走査線1から17に従って、ドーナッツ
状の画像が単にラスター走査のまま、左上から順にメモ
リーに書き込まれている様子を示している。
【0088】この図では、各走査線の画素数もまた17
個としている。従って同図では、走査線9、画素9がド
ーナッツの中央に相当することになる。画素9に相当す
る部分を図中に点線で示した。また、中央から走査線9
にそった方向を、コマンド引数のDEG#center
に対する基準角度とする。すなわち、この線上をDeg
=0とし、半時計方向に正の符号を持つとする。角度の
範囲は0から359度であり、360度は0度に等し
い。この基準線を図中に太線で示した。
【0089】メモリー1301にこのように書き込む方
法については、ここでは特に説明しないが、既知のハー
ドウエア技術を用いて全く簡単に実現できる。
【0090】次に、ユーザーから投入されたコマンドの
うち、DEG引数やPAN引数のパラメータが示す値
が、たとえば視野方向50度、視野角120度、上下方
向0度、上下角70度である場合を例に、読み出しアド
レス発生部1303の動作について説明する。
【0091】この場合の視野方向は、図15に示すよう
なものであり、また上下視野は図16に示すようなもの
になる。これを図14のメモリー上の画像にあわせる
と、図17の斜線のような範囲になる。つまり、この範
囲を切り出してみたいというのがユーザーの希望であ
る。読み出しアドレス発生部1303は、この範囲の扇
形の最も外側の円弧をラスタースキャンの一番上の走査
線に割り当て、以下順に内側に進むに連れて下のラスタ
ーに割り当てるようにメモリ1301に読み出しアドレ
スを与える。つまり、読み出しアドレス発生部1303
から発生したアドレスによって、切り出しと極座標から
ラスターの走査方向への座標変換とを同時に行うことに
なる。
【0092】読み出しは、極座標状に行われる。上述し
たように、ドーナッツ状の円周にそって走査しながら、
外から中へ半径方向に順に切り出し範囲内を読み出す。
【0093】次に、円周方向の走査について説明する。
円周方向の走査の始点は、通常、DEG#center
+DEG#width/2で示される点であるが、読み
出し範囲が図14に示した基準角度線に対して特定の範
囲にある場合は例外がある。つまり、DEG#cent
er−DEG#width/2−360 < DEG#
center+DEG#width/2の場合、始点は
DEG#center+DEG#width/2−36
0で示される点にする。
【0094】いずれの場合も、それぞれの始点から半時
計まわりに終点まで走査する。終点は通常は、DEG#
center−DEG#width/2で示される点で
あるが、値が負になる場合はDEG#center−D
EG#width/2+360で示される点とする。
【0095】たとえば上述の例の場合は、始点はDEG
#center+DEG#width/2で示される、
図17のA点となる。これより半時計方向にB点を通っ
て、DEG#center−DEG#width/2+
360で示される終点C点まで走査される。
【0096】半径方向の走査は常に外から内に向かって
進められる。この結果、円周方向の走査とあわせ、点D
からEを経てFまで、また、点GからHを経てIまでと
順に走査される。結局、図17の例では、点Aから順に
BCDEFGHIの各点を通るように走査される。
【0097】このような走査を、実際のメモリー上での
直交座標系でのアドレスに対応させて行う。メモリー上
での対応アドレスは、たとえば図14で(x、y)=
(9、9)が中心であることを用いて、極座標から直交
座標への座標変換方法を用いて座標変換を行えば簡単に
求められる。座標変換は全く既知な方法でよい。これに
より、先に説明したような各点の座標も簡単に得られ
る。
【0098】さらに、読み出すべき円周方向と半径方向
のステップをたとえば1度と決めると、それに応じて1
ステップずつ走査した値を上の座標変換で直交座標系の
表記に変換すれば、走査するべき全ての値が順に求めら
れることになる。このようなアドレスから順に読み出
す。以上の動作をするのが読み出しアドレス発生部13
03である。メモリ1301は、発生された読み出しア
ドレスにある情報を順に読み出す。この結果、図17の
扇形の読み出し範囲は図18のように走査線上に台形の
画像としてマッピングされる。
【0099】このとき、図17のように、ドーナッツ状
のラスタースキャン画像の中で、ユーザーから投入され
たコマンドによる視野方向に相当するDEG#cent
erで切り出される扇形の方向がいずれを向いている場
合でも、切り出された画像は図18のようにユーザーか
ら見て画面上が画像でも常に上に向くように、正対する
形の画像が得られる。
【0100】たとえば図17では、右上方向に向かって
点HFBを通る方向として指定されたDEG#cent
erについて、ドーナッツ状画像の右上方向に弦がある
扇形の部分がそのまま切り出されただけでは、ユーザー
にとっては図19のような傾いた扇形画像しか得られな
いことになるが、上述した方法でアドレス発生をしたう
えで切り抜くことで、常に図18のように上方に弦があ
る扇形にマッピングされる。DEG#centerで指
定された方向が、図18では点H’E’B’を通る真上
へ向けた方向に変換される。つまり、切り出しと回転を
メモリの読み出し時に同時に行う。以上が読み出しアド
レス発生部1303とメモリ1301で構成される、図
7の画像切り出し部7002の動作である。
【0101】次に、図7に戻って、整形部7003の動
作について説明する。整形部7003は、図13の読み
出しアドレス発生部1303と内挿処理部1302から
なる。読み出しアドレス発生部1303は上に述べたよ
うな切り出しに関する動作機能をするが、内挿処理部1
302は切り出した扇形画像を長方形画像に変換して、
さらに画面いっぱいに拡大、あるいはユーザーが指定し
た大きさに拡大縮小するように動作する。
【0102】つまり、図18に示されたように読み出さ
れた画像は、方向に限らずユーザーに対して正対するよ
うにはなっているが、未だ台形画像でしか無い。この段
階では、本来垂直に描かれるべき縦線は、未だ扇のよう
に末縮まりに表示される。たとえば図18で「漢字」と
いう文字を被写体として撮影した場合に得られる画像を
例示しているが、このような変形をきたす。これは、た
とえば2番の走査線と6番の走査線、つまり、図6に述
べた扇形の範囲で、内側と外側では、外側の方が画素数
が多いことに起因する。これでは大変見にくいものにな
ってしまうから、これを長方形の一般の画像の形に変形
する。
【0103】さらに、見やすくするために画面いっぱ
い、あるいはユーザーが指定した適当な大きさに拡大縮
小して表示する。このような画像の変形が整形部700
3の機能である。
【0104】図20は、内挿処理部1302の構成を示
す説明図である。図18より、この画像を長方形に変形
するための拡大率は元のドーナッツ状画像の半径方向の
位置に依存することが分かる。そのため内挿処理部は、
半径方向の読み出しアドレスに応じて内挿パラメータを
変化させて、画像の横方向への拡大率を制御するように
機能する。
【0105】係数発生部20001は、横方向への拡大
率を半径方向の読み出しアドレスから求めるためのもの
であり、ROMなどで構成される。たとえばROMのア
ドレスに半径方向の読み出しアドレスを与える。ROM
には次の情報を書き込む。つまり、半径方向の最も外に
対応するアドレスに1を書き込み、順次中へ入るほど半
径に比例して減じた値の逆数を、それぞれのアドレスに
書き込むようにする。この値は、拡大率そのものにな
る。
【0106】次に、拡大部20002は、得られた拡大
率に相当する回数だけ、同じ画素を繰り返して出力する
ようにする。たとえば、拡大率2の場所では、最も外側
に対して、同じ画素を2回繰り返して出力することにな
る。
【0107】このような拡大処理の概要は、一般の画像
処理技術として確立されており、ここでは細かく述べる
ことは省略する。この技術では、ドーナッツ状画像の半
径方向の位置に応じて拡大率を変化させることと、その
構成とがポイントになる。
【0108】ところで、処理部1004は、図9のよう
に図7と相違して整形部9002と画像切り出し部90
03とを入れ替える構成することもできる。すなわち、
デコードしてラスタースキャンに変換したドーナッツ状
の画像を、まず、完全な長方形の画像に修正し、その
後、ユーザーからの指定に従って必要な部位のみを切り
出して提供するようにするわけである。この場合、図6
に示すドーナッツ状の入力画像から、図10(a)に示
す、いわゆるパノラマ画像のように、360度全方向を
横につないだような画像を作成し、その画像をもとに、
図10(b)のように切り出しを行う。この場合、パノ
ラマ画像の横軸は視野回転方向、縦軸は視野上下方向に
相当する。
【0109】いずれの場合でも、このようなデコードか
ら整形に至る一連の操作は、WWWブラウザのプラグイ
ンプログラムとして、パソコン内のCPUで行っても良
いし、専用のハードウエアを作成しても良い。
【0110】図5に戻って、このようにして作成された
画像が、表示部1005でユーザーに向けて表示され
る。その画像は、あらかじめ撮影した全方向を含む画像
を元に、上に記したユーザーが投入したコマンドに基づ
いて必要とする方向だけを抜き出して見やすいように整
形したものになっているので、その画像は、良い条件で
撮影された、ユーザーが真に必要とする画像になってい
る。
【0111】<第2の実施例>第1の実施例では、ユー
ザーはあらかじめimgコマンドを投入して、見るべき
ファイルとそのファイルから抜き出す画像の方向、視野
角などを指定する必要があった。しかし、通常の使用を
考えると、このように見るべき画像ファイルを指定する
段階で、あらかじめ見る方向や視野角などを指定するこ
とは事実上不可能に近い。それは、画像を再生しはじめ
てからでないと、どのような内容の画像であるか分から
ないから、したがって、どのような方向や視野角で画像
を見たいかも分からないからである。第2の実施例で
は、このような問題を解決する。
【0112】そのために、画像ファイルをあらかじめ蓄
積装置1002からダウンロードすることと、そのダウ
ンロードした画像ファイルとユーザーとにインタラクテ
ィブな関係を持たせ、リアルタイムで見たい方向や視野
角を指示することができるようにする。
【0113】そうすれば、実際に画像を見ながら、もっ
と右の方を見たいとか、もっと視野範囲を広げてみたい
などという、その画像を見て初めて生ずるようなユーザ
ーの希望を叶えることができるようになる。
【0114】この場合、インタラクティブに操作するべ
き画像はあらかじめユーザーサイドの蓄積装置にダウン
ロードされているから、伝送路の混み具合やサーバーの
混雑によるアクセス遅延などの影響を受けることなく、
リアルタイムでインタラクティブな操作が可能である。
つまり、完全な動画像を対象として、あたかもユーザー
が撮影地点にいて、自ら首や目を動かして見たい方向を
向きながら風景を楽しんでいるかのごとくに機能させる
ことができるのである。
【0115】この実施例では、図1の処理部1004を
図11のように構成する。つまり、伝送されてきた画像
ファイルを一旦記憶装置11001に蓄え、それを読み
出しつつ必要な処理を行う様にする。この場合、記憶装
置11001はデコーダ7001の前に置いてもよい
し、あとでも構わない。前に配置すると、圧縮したまま
の画像を取り扱えるので、多くの画像を一度にダウンロ
ードして蓄積することができるようになる利点がある。
一方、デコーダ7001の後に配置すると、蓄積枚数は
減るものの、デコードに要する時間がキャンセルできる
利点がある。デコーダーをハードウエアで構成する場合
や、充分高速のCPUを用いるなど、遅延が問題になら
ない場合には前に設置する方が望ましい。図11では、
前に置く場合を例示した。
【0116】さて、この構成では、ユーザーはまずファ
イルをダウンロードするコマンドを与える。たとえば、
次のようなコマンドである。 <img2 src=”http://www.fo
o.co.jp/image.format”as=#
file.format> ここで、img2は、ファイルをダウンロードするコマ
ンドであり、src以下は引数である。src引数はさ
きにのべたのと同様であり、as引数は、ダウンロード
したファイルをパラメータに指定した#file.fo
rmatという名前で記憶装置11001に記録するこ
とを意味する。このコマンドは上のような形態に限るも
のではない。従来のFTPプロトコルとその命令に従っ
たものでも構わない。
【0117】次にユーザーは、ダウンロードしたこのフ
ァイルから、随時自分が見たい方向や視野角を指定しな
がら画像を再生して、自分が投入したコマンドに従って
リアルタイムで応答を得ながら見たい方向を見ながら画
像を楽しむことになる。そのために、随時、次のコマン
ドを投入する。 watch(deg=center,width pa
n=center,width) ここで、watchは見たい方向や視野角を指定するコ
マンドであり、括弧内は引数である。各引数degとp
anは2つのパラメータを有する。これらの意味は、先
に述べたのと同様であり、システムはパラメータに指定
した値の画像を切り出してユーザーに表示するよう動作
する。これらの動作は、先の第1の実施例と同様であ
る。
【0118】この第2の実施例では、画像ファイルを先
にダウンロードするので、ダウンロード操作と切り出し
操作を同時に行う第1の実施例に比較して、伝送路10
03の混雑具合などの影響を受けにくい。
【0119】<第3の実施例>第2の実施例では、ユー
ザーは文字のコマンドを頻繁に投入しなければ見たい画
像を特定できないといった問題があった。これではコマ
ンド投入に神経を奪われ、画像内容に集中してそれを見
ることができないと言う問題があった。これに対し、こ
の第3の実施例では、マウスやキーボード上の矢印キー
などを利用して上記したwatchコマンドのパラメー
タを投入するようにして、キーボードを利用したコマン
ド投入を廃止し、直感的な操作がそのままコマンド投入
につながるようにする。
【0120】つまり、たとえばマウスの左右の動きや、
矢印キーのうち左右のキーを押すことを、視野中心の左
右への移動をあらわすように結びつけ、また、マウスの
上下の動きや矢印キーのうち上下の矢印を押すことを、
視野中心の上下への移動を表すように結びつける。具体
的には、deg引数やpan引数のcenterパラメ
ータである。
【0121】また、マウスのボタンを押しながら上下左
右に動かすことや、シフトキーを押しながら矢印キーを
押すことを、同様に、deg引数やpan引数のwid
thパラメータに結びつける。そうすると、マウスや矢
印キーの操作だけで、視野範囲をかえられるようにな
る。
【0122】実際には、マウスのボールの回転数や、矢
印キーを押し続けている時間などを、各パラメータの大
きさに変換するようにするとよい。
【0123】ここでは操作するものの例としてマウスや
矢印キーを取り上げているが、何もこれらに限定する必
要はない。たとえばジョイスティックやその他の専用の
インターフェース器具でも良い。
【0124】このようにすると、たとえばマウスを使用
する場合、マウスの上下左右の動きのみで視野中心や視
野の範囲を変化させることができ、ユーザーに何らのス
トレスを与えることなく、リアルタイムに自由に視野方
向、視界の広さなどを調整して、画像を楽しむことがで
きるようになる。よって、この構成によれば、第2の実
施例に比較して大変扱いやすいシステムを提供できる利
点がある。
【0125】図21に、マウスを用いる場合を例にアル
ゴリズムを説明する。ステップS101で、ユーザーか
らのコマンド要求が発生すると、ユーザーは、ステップ
S102でマウスを操作する。このソフトウエアは、マ
ウスのボールが回転したことで割り込みが発生するよう
に構成する。そこで、ステップS102でボールが回転
すると、ステップS103で割り込みが発生する。
【0126】この割り込みによって、ステップS104
で、CPUはマウスのキーが押されているかどうかを判
定し、さらに押されている場合にはステップS105、
押されていない場合にはステップS106でボールの回
転数を測定する。キーが押されている場合、いない場
合、いずれについても縦と横の動きに関してそれぞれに
分解して計測する。
【0127】次に、計測したボールの動きをPANやD
EGのパラメータ値に変換する。まず、キーが押されて
いない場合には、ステップS107で縦方向の動きをP
AN#centerに、横方向の動きをDEG#cen
terにそれぞれ変換する。また、キーが押されている
場合には、ステップS108で縦方向の動きをPAN#
widthに、横方向の動きをDEG#widthにそ
れぞれ変換する。そして、いずれの場合も、ステップS
109で処理を終了し、ステップS101へループして
待機する。
【0128】<第4の実施例>これまでの実施例では、
ユーザーは切り出し処理をした最終的な結果画像だけを
見るようになっていた。このため、せっかく全方位撮影
した画像が蓄積装置1002に蓄えられているにもかか
わらず、ユーザーが見たいと思った方向、視野角内以外
に、たとえば本当に美しい風景などが記録されていて
も、ユーザーはそれに気づかず、結局そのような、もっ
とも見所と思われるものを見ずに終わってしまう可能性
があるという問題があった。このことは、画像撮影、フ
ァイル作成や伝送といったプロセスに比べて、画像の利
用効率が悪いことを意味し、ひいてはコストアップにつ
ながるという問題でもあった。
【0129】第4の実施例ではこの問題を解決するため
に、伝送されてきたドーナッツ状の画像を常時表示する
ようにする。そして、その表示を常時参照しながら、特
にユーザーが見たいと思ったものを、コマンド投入や、
マウス操作などによって選んで、見やすいように切り出
し処理して見ようと云うものである。つまり、モニター
用の参照画像を常時表示するという構成である。
【0130】この構成について図22に説明する。図2
2では、実施例3に述べた構成をもとに、参照画像を引
き出す場所を示した。このように、記憶装置11001
の出力をそのまま表示しつつ、処理画像を表示するよう
にする。
【0131】この構成の別の方法は、ドーナッツ状の画
像をモニター画像として表示する替わりに、パノラマ状
に引き延ばした画像をモニター画像として表示する方法
である。たとえば図8に述べた構成を元にすると、図2
3のようになる。いずれも、動作はこれまでに述べたの
と同じものである。
【0132】<第5の実施例>上述した第1から第4の
実施例では、撮影者は360度画像をきれいに撮影する
ことがその役割であり、視野内の見所を注目して撮影す
るとかクローズアップするとかいうような、撮影に関す
る自分の意志はまったく入れる余地がなかった。しか
し、これでは、第4の実施例に述べたような、折角の見
所をユーザーが見落としてしまうといった危険がある。
【0133】この構成はそのような問題に対して行われ
るものであり、撮影時に、撮影者にとって見所であると
思われる視野方向や視野範囲を、推奨画像範囲としてユ
ーザーに教示する方法を含むものである。このような操
作は、何も撮影者のみが行うものではない。専門の編集
者が行っても良い。
【0134】ここでは、このような操作を行うために、
これまで説明した第1から第4の実施例に、撮影者や編
集者が推奨する画像範囲を指定する操作、その指定した
範囲をドーナッツ状の画像とともに記録伝送する機能、
さらに、ユーザーにその範囲を教示する機能を追加す
る。このような追加する機能について説明する。
【0135】まず、撮影者は、ユーザーに示す推奨画像
範囲を作成する。この操作は、撮影時に同時に行っても
良いし、あるいはそれ以外に別途ゆっくり時間を掛けて
編集を行っても良い。この操作は専門の編集者が行って
も良いことはいうまでもない。
【0136】この操作を行うために、図4に説明した構
成で、撮影者のコマンド投入内容として次を追加する。
つまり、当該部分の説明で行ったwriteコマンドの
引数として、deg=center,width,pa
n=center,widthなどを追加する。この意
味は先に図6の説明で行ったのと同様である。ただ、先
の例では、ユーザーが見たい方向などを指定するために
このコマンドを投入したが、ここでは、撮影者または編
集者が推奨する画像位置を指定するために投入するとい
う点のみが異なる。
【0137】またこのコマンドは、実施例1のように一
度だけ投入することもできるし、実施例2のように連続
的に任意のタイミングで投入することもできる。また、
第3の実施例のように、マウスなどをインターフェース
に使用して操作性を向上することも可能である。
【0138】このようにして投入されたコマンドは、引
数部分のみが画像の「附属情報」として符号化され画像
とともに蓄積される。「附属情報」についてはここでは
くわしく限定しないが、暗号化して画像そのものに埋め
込むことも可能であるし、音声信号として取り扱った
り、あついは音声そのものに多重化することも可能であ
る。たとえば、電子情報通信学会誌D―II、VolJ
81−D−II、No.6 pp.1132−1140
に述べられた「複雑さによる領域分割を利用した大容量
画像深層暗号化」などの技術を用いることができる。
【0139】さて、このようにして蓄積された画像は、
従来の説明と同様にユーザーの伝送要求に応じてユーザ
ー端末まで伝送される。そして、ユーザー側の端末の記
憶装置に記憶される。この段階では、先に述べた実施例
のどこも変更する必要はない。
【0140】そして、ユーザー端末では、伝送された画
像上に、推奨画像範囲をヘアラインカーソルなどで画像
とともに同時に表示して、ユーザーにその範囲を知らせ
ることになる。ユーザーは、実施例1から3に述べた方
法で、モニタ用の参照画面に表示されている推奨範囲と
同じ範囲をコマンド指定しながら、画像を楽しむことに
なる。とくに第4の実施例に示したように、モニターの
ための参照画面を常時表示させておくとユーザーにとっ
て推奨範囲を知ることが容易になりさらに利便性が向上
する。
【0141】図24を参照して、この説明をする。図2
4は、図22をもとにこの第5の実施例の機能を追加し
た場合の端末の実施例を示す図である。この実施例で
は、推奨範囲挿入部24001と推奨範囲抜き出し部2
4002が追加される。
【0142】推奨範囲抜き出し部24002は、「附属
情報」を参照して、撮影者または編集者が保存した推奨
範囲情報を抜き取る。これは、いわば附属情報のデコー
ドであり、多重方法に応じた構成を採ることになるた
め、ここでは説明はしない。たとえば先に述べた論文で
は、深層暗号化の他に復号化についてもペアで論じられ
ている。
【0143】ここでぬきだされた推奨範囲に関する情報
は、直接表示される他、推奨範囲挿入部24001に送
られ、ここで、ヘアーラインカーソルなどの形で参照画
像に直接多重表示される。ユーザーはそれを参照しなが
ら、コマンドを投入することになる。
【0144】その他の動作についてはこれまでに説明し
たのと同様である。また、ここでは図22を元にした図
24で動作説明を行ったが、もちろん、図23の構成に
基づくものでも構わない。
【0145】<第6の実施例>第5の実施例では、推奨
画像範囲が表示されているにも係わらず、ユーザーは自
分でいちいちその場所を追いかけるようにコマンドを投
入しながら画像を見る必要があった。
【0146】この第6の実施例では、伝送されてきた推
奨画像範囲の情報を用いてユーザー端末が自動的にその
範囲を切り出してユーザーに見せるように動作する。こ
れにより、ユーザーは推奨範囲だけを手軽に楽しむこと
ができるようになる。さらに、端末の機能を切り換え
て、ユーザーが自分で範囲指定できるようにもしておく
と、種々の要求に対応できて便利である。
【0147】図25にこの場合の構成を示す。図25で
は、図22に追加して推奨範囲抜き出し部24002と
スイッチ25001が追加されている。
【0148】スイッチ25001は、上記したユーザー
自身で切り出し範囲を指定するか、撮影者などによって
与えられる推奨範囲に従って切り出すかを切り換えるス
イッチである。固定端子Aに倒れているときには、推奨
範囲抜き出し部24002で抜き出された範囲に従って
画像抜き出しが行われ、Bに倒れているときには、これ
までの説明と同じく、ユーザーが自らコマンドを投入す
ることになる。なお推奨範囲抜き出し部24002は、
第5の実施例に述べたのと同様の動作をする。
【0149】
【発明の効果】この発明によれば、ユーザーが欲する最
適な画像を、どのような場合でも同時に複数のユーザー
に安価に提供できる効果がある。
【図面の簡単な説明】
【図1】本発明の第1の実施例の構成を示す説明図であ
る。
【図2】360度全方位にわたる撮影を行うカメラの構
成図ある。
【図3】図2のカメラで取り込まれる画像の説明図であ
る。
【図4】本発明の第1の実施例の撮影側の構成に関する
説明図である。
【図5】本発明の第1の実施例のユーザー側の構成に関
する説明図である。
【図6】コマンドと画像の関係について説明する図面で
ある。
【図7】本発明の第1の実施例の画像抜き出し部の構成
を説明する図面である。
【図8】切り出した画像と長方形にマッピングした画像
の説明図である。
【図9】本発明の第1の実施例の画像抜き出し部の別の
構成を説明する図面である。
【図10】長方形にマッピングした画像と切り出しの関
係を示す説明図である。
【図11】本発明の第2の実施例を示す説明図である。
【図12】本発明の動作手順を示すフローチャートであ
る。
【図13】画像切り出し部と整形部に関する説明図であ
る。
【図14】ラスタースキャン画像についての説明図であ
る。
【図15】コマンドとカメラとの位置関係を説明する図
面である。
【図16】コマンドとカメラとの位置関係を説明する図
面である。
【図17】ラスタースキャン画像の切り出しについて説
明する図面である。
【図18】扇形にマッピングされた画像を説明する説明
図である。
【図19】そのまま切り出した画像について説明する説
明図である。
【図20】内挿処理部の構成を示す説明図である。
【図21】本発明の第3の実施例についてのフローチャ
ートである。
【図22】本発明の第4の実施例について説明する図面
である。
【図23】本発明の第4の実施例の別の構成について説
明する図面である。
【図24】本発明の第5の実施例の構成について説明す
る図面である。
【図25】本発明の第6の実施例の構成について説明す
る図面である。
【図26】従来の技術について説明する図面である。
【符号の説明】
1001 撮像装置 1002 蓄積装置 1003 伝送路 1004 処理部 1005 表示部 1006 制御装置 1007 コマンド投入装置 1008 制御装置 1009 コマンド投入装置

Claims (7)

    【特許請求の範囲】
  1. 【請求項1】 周囲360度を同時に撮影する撮影手段
    と、 上記撮影した画像を記憶蓄積する手段と、 上記記憶蓄積した画像を伝送する伝送手段と、 所定のコマンドを投入するコマンド投入手段と、 上記投入されたコマンドに基づいて上記記憶蓄積された
    画像から所望の部分画像を切り出す画像切り出し手段
    と、 上記切り出された画像を四角形の画像にマッピングする
    画像変形手段とを有することを特徴とする画像システ
    ム。
  2. 【請求項2】 上記コマンド投入手段は、上記コマンド
    に変換する変換手段を有することを特徴とする請求項1
    記載の画像システム。
  3. 【請求項3】 上記部分画像を表示すると共に、切り出
    す前の画像を表示する表示手段をユーザー側に有するこ
    とを特徴とする請求項1記載の画像システム。
  4. 【請求項4】 上記撮影した画像に推奨範囲の画像であ
    ることを示す付加情報を付加する手段と、 上記伝送された画像から上記付加情報を抜き出す手段
    と、 上記付加情報に基づいて推奨範囲の画像を表示する表示
    手段を有することを特徴とする請求項1記載の画像シス
    テム。
  5. 【請求項5】 上記コマンドは、視野方向中心と広がり
    角、視野上下中心と広がり角からなるものであることを
    特徴とする請求項1記載の画像システム。
  6. 【請求項6】 上記画像変形手段は、上記撮影された画
    像の半径方向の位置に応じて上記切り出された画像の所
    定方向への拡大率を制御して四角形の画像にマッピング
    するように画像を変形処理させるものであることを特徴
    とする請求項1記載の画像システム。
  7. 【請求項7】 上記撮影された画像の中心部と外側で圧
    縮率を変化させて伝送することを特徴とする請求項1記
    載の画像システム。
JP10306549A 1998-10-28 1998-10-28 画像システム Pending JP2000132673A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP10306549A JP2000132673A (ja) 1998-10-28 1998-10-28 画像システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10306549A JP2000132673A (ja) 1998-10-28 1998-10-28 画像システム

Publications (1)

Publication Number Publication Date
JP2000132673A true JP2000132673A (ja) 2000-05-12

Family

ID=17958386

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10306549A Pending JP2000132673A (ja) 1998-10-28 1998-10-28 画像システム

Country Status (1)

Country Link
JP (1) JP2000132673A (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005010818A1 (ja) * 2003-07-28 2005-02-03 Olympus Corporation 画像処理装置、画像処理方法及び歪補正方法
JP2005044098A (ja) * 2003-07-28 2005-02-17 Olympus Corp 画像処理装置及び画像処理方法
JP2005303796A (ja) * 2004-04-14 2005-10-27 Kazumasa Sasaki 放送システムおよび画像再生装置
WO2007055336A1 (ja) * 2005-11-11 2007-05-18 Sony Corporation 画像処理装置、画像処理方法、そのプログラム及びそのプログラムを記録した記録媒体と撮像装置
WO2008012983A1 (fr) * 2006-07-28 2008-01-31 Opt Corporation Dispositif de prise d'image et système de prise d'image
JP2008512767A (ja) * 2004-09-09 2008-04-24 シリコン オプティックス インコーポレイテッド 一般的な2次元空間変換の表現システム及び方法
JP2011023885A (ja) * 2009-07-14 2011-02-03 Canon Inc 映像符号化装置及び映像符号化方法
WO2011114610A1 (ja) * 2010-03-18 2011-09-22 パナソニック株式会社 全方位画像処理装置および全方位画像処理方法
JP2014131215A (ja) * 2012-12-28 2014-07-10 Ricoh Co Ltd 画像管理システム、画像管理方法、及びプログラム
JP2014165840A (ja) * 2013-02-27 2014-09-08 Brother Ind Ltd 端末装置、プログラム、及び情報処理装置
JP2015015582A (ja) * 2013-07-04 2015-01-22 ブラザー工業株式会社 端末装置、及びプログラム
US8948570B2 (en) 2006-12-05 2015-02-03 Canon Kabushiki Kaisha Video display system, video display method, and computer-readable medium
JP2015220745A (ja) * 2014-10-06 2015-12-07 株式会社ユニモト 全周動画配信システム、全周動画配信方法、通信端末装置およびそれらの制御方法と制御プログラム
JP2017505565A (ja) * 2013-12-09 2017-02-16 シゼイ シジブイ カンパニー リミテッド 多面映像の生成方法及びシステム
US9741091B2 (en) 2014-05-16 2017-08-22 Unimoto Incorporated All-around moving image distribution system, all-around moving image distribution method, image processing apparatus, communication terminal apparatus, and control methods and control programs of image processing apparatus and communication terminal apparatus
US10600153B2 (en) 2015-03-05 2020-03-24 Nokia Technologies Oy Video streaming method

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005010818A1 (ja) * 2003-07-28 2005-02-03 Olympus Corporation 画像処理装置、画像処理方法及び歪補正方法
JP2005044098A (ja) * 2003-07-28 2005-02-17 Olympus Corp 画像処理装置及び画像処理方法
US7813585B2 (en) 2003-07-28 2010-10-12 Olympus Corporation Image processing apparatus, image processing method, and distortion correcting method
JP2005303796A (ja) * 2004-04-14 2005-10-27 Kazumasa Sasaki 放送システムおよび画像再生装置
JP2008512767A (ja) * 2004-09-09 2008-04-24 シリコン オプティックス インコーポレイテッド 一般的な2次元空間変換の表現システム及び方法
WO2007055336A1 (ja) * 2005-11-11 2007-05-18 Sony Corporation 画像処理装置、画像処理方法、そのプログラム及びそのプログラムを記録した記録媒体と撮像装置
WO2007055335A1 (ja) * 2005-11-11 2007-05-18 Sony Corporation 画像処理装置、画像処理方法、そのプログラム及びそのプログラムを記録した記録媒体
US8169527B2 (en) 2005-11-11 2012-05-01 Sony Corporation Apparatus selectively presenting distortion corrected image data
US8254713B2 (en) 2005-11-11 2012-08-28 Sony Corporation Image processing apparatus, image processing method, program therefor, and recording medium in which the program is recorded
WO2008012983A1 (fr) * 2006-07-28 2008-01-31 Opt Corporation Dispositif de prise d'image et système de prise d'image
US8948570B2 (en) 2006-12-05 2015-02-03 Canon Kabushiki Kaisha Video display system, video display method, and computer-readable medium
JP2011023885A (ja) * 2009-07-14 2011-02-03 Canon Inc 映像符号化装置及び映像符号化方法
JP5536060B2 (ja) * 2010-03-18 2014-07-02 パナソニック株式会社 全方位画像処理装置および全方位画像処理方法
JPWO2011114610A1 (ja) * 2010-03-18 2013-06-27 パナソニック株式会社 全方位画像処理装置および全方位画像処理方法
US8744216B2 (en) 2010-03-18 2014-06-03 Panasonic Corporation Omnidirectional image processing device and method using warp processing for enhanced object visibility
WO2011114610A1 (ja) * 2010-03-18 2011-09-22 パナソニック株式会社 全方位画像処理装置および全方位画像処理方法
US10136057B2 (en) 2012-12-28 2018-11-20 Ricoh Company, Ltd. Image management system, image management method, and computer program product
JP2014131215A (ja) * 2012-12-28 2014-07-10 Ricoh Co Ltd 画像管理システム、画像管理方法、及びプログラム
US11509825B2 (en) 2012-12-28 2022-11-22 Ricoh Company, Limited Image management system, image management method, and computer program product
US10911670B2 (en) 2012-12-28 2021-02-02 Ricoh Company, Ltd. Image management system, image management method, and computer program product
US9736371B2 (en) 2012-12-28 2017-08-15 Ricoh Company, Ltd. Image management system, image management method, and computer program product
US10484604B2 (en) 2012-12-28 2019-11-19 Ricoh Company, Ltd. Image management system, image management method, and computer program product
JP2014165840A (ja) * 2013-02-27 2014-09-08 Brother Ind Ltd 端末装置、プログラム、及び情報処理装置
US9531984B2 (en) 2013-02-27 2016-12-27 Brother Kogyo Kabushiki Kaisha Terminal device, information processing device, and computer-readable medium
JP2015015582A (ja) * 2013-07-04 2015-01-22 ブラザー工業株式会社 端末装置、及びプログラム
JP2017505565A (ja) * 2013-12-09 2017-02-16 シゼイ シジブイ カンパニー リミテッド 多面映像の生成方法及びシステム
US9741091B2 (en) 2014-05-16 2017-08-22 Unimoto Incorporated All-around moving image distribution system, all-around moving image distribution method, image processing apparatus, communication terminal apparatus, and control methods and control programs of image processing apparatus and communication terminal apparatus
JP2015220745A (ja) * 2014-10-06 2015-12-07 株式会社ユニモト 全周動画配信システム、全周動画配信方法、通信端末装置およびそれらの制御方法と制御プログラム
US10600153B2 (en) 2015-03-05 2020-03-24 Nokia Technologies Oy Video streaming method

Similar Documents

Publication Publication Date Title
US6331869B1 (en) Method and apparatus for electronically distributing motion panoramic images
JP2000132673A (ja) 画像システム
EP2408196B1 (en) A method, server and terminal for generating a composite view from multiple content items
US6466254B1 (en) Method and apparatus for electronically distributing motion panoramic images
US8782126B2 (en) Communication method and apparatus, server and client on network, and program codes realizing communication thereof
JP4926533B2 (ja) 動画像処理装置、動画像処理方法及びプログラム
JP2008509630A (ja) パノラマ画像の動き推定及び補償のために仮想画像領域を生成する方法及び装置
JP2005333552A (ja) パノラマ映像配信システム
EP3721636A1 (en) Method for adaptive streaming of media
WO2013175980A1 (ja) 撮像装置、撮像装置の制御方法、および、記録媒体
WO2008111746A1 (en) System and method for realizing virtual stuio through network
JP2006340091A (ja) カメラサーバ、ビューワ、画像表示システム及び画像配信方法
JP6376743B2 (ja) 撮像装置、撮像システム、撮像装置の制御方法、撮像システムの制御方法、及びプログラム
JP6253307B2 (ja) 撮像装置、外部装置、撮像システム、撮像装置の制御方法、外部装置の制御方法、撮像システムの制御方法、及びプログラム
US8395669B2 (en) Image data transmission apparatus and method, remote display control apparatus and control method thereof, program, and storage medium
JP4583717B2 (ja) 撮像装置及び方法、画像情報提供システム、プログラム、並びに制御装置
JP2015162117A (ja) サーバ装置、プログラム、及び情報処理方法
JP4649640B2 (ja) 画像処理方法、画像処理装置、及びコンテンツ作成システム
JP2007228097A (ja) カメラサーバ、ネットワークカメラシステム、制御方法及びプログラム
JP2014236313A (ja) 表示制御装置、表示制御システム、及び、プログラム
JP5962692B2 (ja) 端末装置、及びプログラム
JP2004201007A (ja) 撮像装置
JP2004187068A (ja) パノラマ画像撮影システム
JP4211377B2 (ja) 画像信号処理装置
JP2013255041A (ja) 画像配信装置、情報処理装置、それらの制御方法、およびプログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040427

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040628

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20040628

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20040727

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040922

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20040928

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20041029

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20060731