JP2020145590A - 画像処理システム、画像処理方法及びプログラム - Google Patents

画像処理システム、画像処理方法及びプログラム Download PDF

Info

Publication number
JP2020145590A
JP2020145590A JP2019040840A JP2019040840A JP2020145590A JP 2020145590 A JP2020145590 A JP 2020145590A JP 2019040840 A JP2019040840 A JP 2019040840A JP 2019040840 A JP2019040840 A JP 2019040840A JP 2020145590 A JP2020145590 A JP 2020145590A
Authority
JP
Japan
Prior art keywords
image
range
unit
partial
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019040840A
Other languages
English (en)
Other versions
JP7326774B2 (ja
Inventor
善幸 戸田
Yoshiyuki Toda
善幸 戸田
朋弘 池田
Tomohiro Ikeda
朋弘 池田
加藤　喜永
Yoshinaga Kato
喜永 加藤
慎 鳥越
Shin Torigoe
慎 鳥越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2019040840A priority Critical patent/JP7326774B2/ja
Priority to US16/804,241 priority patent/US11102448B2/en
Publication of JP2020145590A publication Critical patent/JP2020145590A/ja
Application granted granted Critical
Publication of JP7326774B2 publication Critical patent/JP7326774B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/12—Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal
    • H04N7/127—Systems in which different parts of the picture signal frequency band are individually processed, e.g. suppressed, transposed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】効率的に通信帯域を使用することを目的とする。【解決手段】広角画像を撮像する撮像装置と、前記撮像装置と接続する情報処理装置とを有する画像処理システムでは、前記撮像装置は、前記広角画像の一部を示す第１画像を生成する第１画像生成部と、前記情報処理装置が表示する第１範囲に、前記第１画像が示す第２範囲が含まれるか否かを判断する判断部と、前記第１範囲に、前記第２範囲が含まれない場合には、前記第１画像を低精細にした第２画像を生成する第２画像生成部と、前記広角画像を低精細にした第３画像を生成する第３画像生成部と、前記第２画像及び前記第３画像を前記情報処理装置に送信する送信部とを備え、前記情報処理装置は、前記第１範囲に、前記第２範囲が含まれない場合には、前記第２画像及び前記第３画像を前記撮像装置から受信する受信部と、前記第２画像及び前記第３画像に基づく出力を行う出力部とを備える。【選択図】図１

Description

本発明は、画像処理システム、画像処理方法及びプログラムに関するものである。
従来、ネットワーク等を介して、サーバからクライアントに、複数の映像データを配信する方法が知られている。
例えば、映像データを受信及び表示するクライアントにおいて、アクティブウィンドウで表示する映像データか否かの再生状態が判断される。そして、アクティブウィンドウに表示しない映像データを送るビットレートを低くして、有効なストリーム映像の画質に与える影響を少なくする方法が知られている（例えば、特許文献１参照）。
しかしながら、従来の方法は、広い視野角で撮像された画像（以下「広角画像」という。）を表示する場合を想定していない。具体的には、表示の対象となる画像が、広角画像であると、ユーザは、表示する範囲を指定する場合が多い。このように、表示する範囲を指定してユーザが見る画像等の場合には、従来の方法では、通信帯域の使用が効率的でない場合が多い。
本発明の１つの側面は、画像の配信において、効率的に通信帯域を使用することを目的とする。
上述した課題を解決するために、本発明の一態様である、広角画像を撮像する撮像装置と、前記撮像装置と接続する情報処理装置とを有する画像処理システムでは、
前記撮像装置は、
前記広角画像の一部を示す第１画像を生成する第１画像生成部と、
前記情報処理装置が表示する第１範囲に、前記第１画像が示す第２範囲が含まれるか否かを判断する判断部と、
前記第１範囲に、前記第２範囲が含まれない場合には、前記第１画像を低精細にした第２画像を生成する第２画像生成部と、
前記広角画像を低精細にした第３画像を生成する第３画像生成部と、
前記第２画像及び前記第３画像を前記情報処理装置に送信する送信部と
を備え、
前記情報処理装置は、
前記第１範囲に、前記第２範囲が含まれない場合には、前記第２画像及び前記第３画像を前記撮像装置から受信する受信部と、
前記第２画像及び前記第３画像に基づく出力を行う出力部と
を備えることを特徴とする。
画像の配信において、効率的に通信帯域を使用できる。
画像処理システムの全体構成例を示す図である。 撮像装置のハードウェア構成例を示すブロック図である。 情報処理装置のハードウェア構成例を示すブロック図である。 撮像装置の機能構成例を示すブロック図である。 情報処理装置の機能構成例を示すブロック図である。 撮像装置による処理の例を示すフロー図である。 部分パラメータの例を示す図である。 送信データの例を示す図である。 情報処理装置による処理の例を示すフロー図である。 部分立体球の生成例を示す図である。 部分立体球を用いない例を示す図である。 部分立体球を用いる例を示す図である。 比較例を示す図である。 部分画像を用いる例を示す図である。 第２実施形態における複数の部分画像が示す範囲及び表示範囲の例を示す図である。 第２実施形態における送信データの例を示す図である。 高精細に表示する範囲を追加及び削除する操作画面の例を示す図である。
以下、本発明の実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付し、重複する説明を省略する。
＜第１実施形態＞
＜全体構成例＞
図１は、画像処理システムの全体構成例を示す図である。例えば、画像処理システム１０は、撮像装置の例である全天球撮像装置１と、情報処理装置の例であるスマートフォン２とを有する。図示するように、全天球撮像装置１及びスマートフォン２は、有線、無線又はこれらの組み合わせによるネットワーク等によって接続され、画像データ等のデータを送受信することができる。
そして、全天球撮像装置１が撮像して生成する画像は、画像データがスマートフォン２に送られる。このようにして送られた画像データに基づいて、画像が表示されると、ユーザは、スマートフォン２が表示する画像を見ることができる。
全天球撮像装置１は、例えば、図示するように、２つの撮像素子を使用した全天球（全方位）撮像装置であるのが望ましい。なお、撮像素子は、３つ以上でもよい。また、撮像装置は、全方位を撮像する専用の装置でなくともよい。つまり、撮像装置は、デジタルカメラ又はスマートフォン等に、後付けの全方位の撮像ユニット等を取り付けることで、全天球撮像装置１と同様に、広角画像を撮像できる装置でもよい。
また、スマートフォン２は、例えば、ＰＣ又はタブレット等でもよい。
＜撮像装置のハードウェア構成例＞
図２は、撮像装置のハードウェア構成例を示すブロック図である。例えば、全天球撮像装置１は、撮像ユニット１０１、画像処理ユニット１０４、撮像制御ユニット１０５、マイク１０８、音処理ユニット１０９、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、以下「ＣＰＵ１１１」という。）、ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ、以下「ＲＯＭ１１２」という。）、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、以下「ＳＲＡＭ１１３」という。)、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、以下「ＤＲＡＭ１１４」という。）、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、アンテナ１１７ａ及び電子コンパス１１８等を有するハードウェア構成である。
撮像ユニット１０１は、例えば、レンズ１０２ａ及びレンズ１０２ｂ等の光学部品を有する。また、撮像ユニット１０１は、レンズ１０２ａ及びレンズ１０２ｂに対応させて、撮像素子１０３ａ及び撮像素子１０３ｂを有する。
レンズ１０２ａ及びレンズ１０２ｂは、いわゆる広角レンズである。そして、レンズ１０２ａ及びレンズ１０２ｂは、それぞれの撮像素子が画像を結像できるように、例えば、１８０ °以上の広い画角を有し、広角画像が撮像できる広角レンズ又は魚眼レンズであるのが望ましい。
撮像素子１０３ａ及び撮像素子１０３ｂは、レンズ１０２ａ及びレンズ１０２ｂによる光学像を変換して画像データを生成する。具体的には、撮像素子１０３ａ及び撮像素子１０３ｂは、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ又はＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等の光学センサ等である。また、撮像ユニット１０１は、画素クロック等を生成するタイミング生成回路等を有してもよい。さらに、撮像ユニット１０１は、撮像素子等を動作するのに用いるコマンド及びパラメータ等を設定するレジスタ等を有してもよい。
撮像素子１０３ａ及び撮像素子１０３ｂは、画像処理ユニット１０４とパラレルＩ／Ｆバス等で接続する。また、撮像素子１０３ａ及び撮像素子１０３ｂは、撮像制御ユニット１０５とシリアルＩ／Ｆバス（例えば、Ｉ２Ｃバス等である。）で接続する。
さらに、画像処理ユニット１０４、撮像制御ユニット１０５及び音処理ユニット１０９等は、バス１１０を介してＣＰＵ１１１と接続する。同様に、バス１１０には、ＲＯＭ１１２、ＳＲＡＭ１１３、ＤＲＡＭ１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７及び電子コンパス１１８等が接続する。
画像処理ユニット１０４は、例えば、画像データを画像処理する電子回路等である。例えば、画像処理ユニット１０４は、撮像素子１０３ａ及び撮像素子１０３ｂが出力する画像データをパラレルＩ／Ｆバスを介して取得する。そして、画像処理ユニット１０４は、それぞれの画像データに対して所定の処理を行う。次に、処理が行われた後、画像処理ユニット１０４は、これらの画像データを合成して処理正距円筒射影画像のデータ等を生成する。
撮像制御ユニット１０５は、例えば、撮像制御ユニット１０５をマスタデバイスとし、撮像素子１０３ａ及び撮像素子１０３ｂをスレーブデバイスとする構成において、Ｉ２Ｃバスを利用して、撮像素子１０３ａ及び撮像素子１０３ｂが有するレジスタにコマンド等を設定する。例えば、コマンド等は、ＣＰＵ１１１等から受け取る。また、撮像制御ユニット１０５は、同じくＩ２Ｃバスを利用して、撮像素子１０３ａ及び撮像素子１０３ｂが有するレジスタに設定されたステータスデータ等を取り込み、ＣＰＵ１１１に送る。
また、撮像制御ユニット１０５は、操作部１１５等が有するシャッタボタン等を押す操作があると、シャッタボタンが押されたタイミングで、撮像素子１０３ａ及び撮像素子１０３ｂに、シャッタを切って、画像データの出力するように指示する。
なお、全天球撮像装置１は、ディスプレイ（例えば、スマートフォン２が有するディスプレイ等である。）により、プレビューを表示する機能又は動画を表示する機能等を持つ場合もある。このような場合には、撮像素子１０３ａ及び撮像素子１０３ｂによる画像データの出力は、あらかじめ設定されるフレームレート等に応じて、連続して行われる。
また、撮像制御ユニット１０５は、ＣＰＵ１１１等と協働して、撮像素子１０３ａ及び撮像素子１０３ｂが画像データを出力するそれぞれのタイミングを同期させる同期制御手段等として機能してもよい。
マイク１０８は、音をデータに変換する入力装置の例である。
音処理ユニット１０９は、例えば、電子回路等である。例えば、音処理ユニット１０９は、マイク１０８が出力する音データをＩ／Ｆバスを介して取得する。次に、音処理ユニット１０９は、音データに対して所定の処理を行う。
ＣＰＵ１１１は、演算装置及び制御装置の例である。例えば、ＣＰＵ１１１は、全天球撮像装置１の全体を制御する。なお、ＣＰＵ１１１は、単数でもよいし、複数でもよい。
ＲＯＭ１１２は、プログラム等を記憶する記憶装置の例である。
ＳＲＡＭ１１３及びＤＲＡＭ１１４は、主記憶装置の例である。例えば、ＳＲＡＭ１１３及びＤＲＡＭ１１４は、ワークメモリとなり、ＣＰＵ１１１が用いるプログラム及びデータ等を記憶する。特に、ＤＲＡＭ１１４は、画像処理ユニット１０４が処理している途中の画像データ及び処理済みの正距円筒射影画像のデータ等を記憶する。
操作部１１５は、スイッチ等の入力装置である。例えば、操作部１１５は、モード又は撮像条件等を設定するユーザの操作等を受け付ける。
ネットワークＩ／Ｆ１１６は、外部装置とデータを送受信するインタフェースである。例えば、ネットワークＩ／Ｆ１１６は、コネクタ及び処理を行う電子回路等である。具体的には、ネットワークＩ／Ｆ１１６は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）又はメディアを受け付けるドライブ等である。なお、ネットワークＩ／Ｆ１１６は、アンテナ等を用いて無線でデータを送受信してもよい。
通信部１１７は、外部装置と通信を行う電子回路等である。例えば、通信部１１７は、アンテナ１１７ａによって無線で外部装置とデータを送受信する。具体的には、通信部１１７は、Ｗｉ−Ｆｉ（登録商標）又はＢｌｕｅｔｏｏｔｈ（登録商標）等によって通信を行う。
電子コンパス１１８は、地球の磁気等に基づいて、全天球撮像装置１の方位を算出するセンサである。そして、電子コンパス１１８が出力する方位情報は、例えば、Ｅｘｉｆ（登録商標）に準じた関連情報（メタデータ）等である。そして、関連情報等は、画像の補正等に利用される。なお、関連情報には、画像が撮像された日時及びデータ容量等を示すデータが含まれてもよい。
なお、撮像装置は、図示するハードウェア構成に限られない。例えば、撮像装置は、ディスプレイ等を更に有するハードウェア構成等でもよい。
ほかにも、撮像装置は、例えば、ジャイロセンサ及び加速度センサ等のセンサを有してもよい。また、撮像装置は、外部装置を接続させるのに用いる端子等を有してもよい。
また、撮像装置及び情報処理装置は、図示する以外のハードウェア資源を外部又は内部に更に有してもよい。
＜情報処理装置のハードウェア構成例＞
図３は、情報処理装置のハードウェア構成例を示すブロック図である。例えば、スマートフォン２は、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ＥＥＰＲＯＭ５０４、ＣＭＯＳセンサ５０５、加速度・方位センサ５０６、メディアＩ／Ｆ５０８及びＧＰＳ受信部５０９等を有するハードウェア構成である。
ＣＰＵ５０１は、演算装置及び制御装置の例である。例えば、ＣＰＵ５０１は、全天球撮像装置１の全体を制御する。なお、ＣＰＵ５０１は、単数でもよいし、複数でもよい。
ＲＯＭ５０２は、プログラム等を記憶する記憶装置の例である。
ＲＡＭ５０３は、ワークメモリとなる主記憶装置の例である。
ＥＥＰＲＯＭ５０４は、プログラム及びデータ等を記憶する記憶装置の例である。
ＣＭＯＳセンサ５０５は、光学センサの例である。
加速度・方位センサ５０６は、磁気等に基づいて方位を算出するセンサ及び加速度を検出するセンサの例である。
メディアＩ／Ｆ５０８は、メディア５０７に対して書き込み及び読み出しを行うインタフェースである。
ＧＰＳ受信部５０９は、衛星からＧＰＳ信号等を受信する入力装置の例である。
さらに、例えば、スマートフォン２は、遠距離通信回路５１１、カメラ５１２、撮像素子Ｉ／Ｆ５１３、マイク５１４、スピーカ５１５、音入出力Ｉ／Ｆ５１６、ディスプレイＩ／Ｆ５１７、外部機器接続Ｉ／Ｆ５１８、近距離通信回路５１９、アンテナ５１９ａ及びタッチパネル５２１等を有するハードウェア構成である。
遠距離通信回路５１１は、インターネット等のネットワークによって外部装置と通信を行う電子回路等である。
撮像素子Ｉ／Ｆ５１３は、カメラ５１２等を制御する電子回路等である。
音入出力Ｉ／Ｆ５１６は、マイク５１４及びスピーカ５１５によって音を入力及び出力する電子回路等である。
ディスプレイＩ／Ｆ５１７は、ディスプレイ等の出力装置を接続するインタフェースである。
外部機器接続Ｉ／Ｆ５１８は、外部装置を接続するインタフェースである。
近距離通信回路５１９は、アンテナ５１９ａによって、外部装置と通信を行う電子回路等である。
タッチパネル５２１は、ユーザに対して画像を表示する出力装置の例である。さらに、タッチパネル５２１は、ユーザが行う操作を受け付ける入力装置の例である。
以上のようなハードウェア資源がバスライン５１０等によって接続し、データを送受信する。
＜撮像装置の機能構成例＞
図４は、撮像装置の機能構成例を示すブロック図である。例えば、全天球撮像装置１は、送受信部１１、部分画像パラメータ作成部１２、撮像制御部１３、撮像部１４ａ、撮像部１４ｂ、画像処理部１５、一時記憶部１６、低精細変更部１７、射影方式変換部１８及び符号化部１９等を有する機能構成である。例えば、これらの機能部は、ＳＲＡＭ１１３、ＤＲＡＭ１１４及びＣＰＵ１１１等で実現する。
送受信部１１は、情報処理装置等の外部装置にデータを送信又は外部装置からデータを受信する。具体的には、送受信部１１は、スマートフォン２に対して、画像データ及び部分画像パラメータ等を送信する。
部分画像パラメータ作成部１２は、スマートフォン２等から送られる指示データに基づいて部分画像パラメータ等を作成する。指示データは、ユーザが入力する、重畳領域を特定するデータである。
撮像制御部１３は、撮像部１４ａ及び撮像部１４ｂが画像を出力するタイミングの同期をとる制御等を行う。
撮像部１４ａ及び撮像部１４ｂは、撮像制御部１３による指示に基づいて、被写体等を撮像し、広角画像を生成するのに用いられる半球画像を出力する。以下、半球画像を「半球画像ＩＭＧ１」及び「半球画像ＩＭＧ２」という。
画像処理部１５は、例えば、２つの半球画像を用いて、正距円筒射影方式の画像である正距円筒射影画像のデータに合成する変換等を行う。
一時記憶部１６は、正距円筒射影画像のデータを記憶する。なお、正距円筒射影画像は、比較的高精細である。
低精細変更部１７は、指示データに基づいて、例えば、画像の縮小等により、高精細画像から低精細画像に変更した画像データを生成する。以下、低精細変更部１７が生成する低精細な正距円筒射影画像を「全体画像ＩＭＧ３」という。
高精細画像は、例えば、２Ｋ、４Ｋ又は８Ｋのいずれかの正距離円筒射影である。一方で、低精細変更部１７が生成する全体画像ＩＭＧ３は、例えば１Ｋ、２Ｋ又は４Ｋ等のように、高精細画像よりも低精細（低解像度）な画像である。
射影方式変換部１８は、指示データＤ１に基づいて、全体画像ＩＭＧ３の一部を示す画像（以下「部分画像」という。）を生成する。例えば、指示データＤ１は、部分画像となる範囲を特定する方向及び画角等を示す。さらに、指示データＤ１は、部分画像のアスペクト及び画像データのサイズ等を示す。このようなパラメータが入力された指示データＤ１に基づいて、射影方式変換部１８は、正距円筒射影方式を透視射影方式に射影方式変換する。
符号化部１９は、全体画像及び部分画像等のデータを符号化する。
低精細変換部２０は、表示範囲Ｄ２が示す範囲に、部分画像が示す範囲が含まれるか否かを判断する。そして、表示範囲Ｄ２が示す範囲に、部分画像が示す範囲が含まれると判断すると、低精細変換部２０は、一時記憶部１６が記憶する画像の解像度を維持させる等によって、部分画像（高精細画像）ＩＭＧ４１を生成する。一方で、表示範囲Ｄ２が示す範囲に、部分画像が示す範囲が含まれないと判断すると、低精細変換部２０は、部分画像（低精細画像）ＩＭＧ４２を生成する。なお、部分画像を複数生成する場合には、低精細変換部２０は、それぞれの部分画像について判断を行い、部分画像（高精細画像）ＩＭＧ４１を生成するか、又は、部分画像（低精細画像）ＩＭＧ４２を生成するかを判断する。
表示範囲Ｄ２は、例えば、ユーザがスマートフォン２等で指示する範囲である。例えば、表示範囲Ｄ２は、表示する画角等を示すデータである。なお、表示範囲Ｄ２は座標等で指示されてもよい。
＜情報処理装置の機能構成例＞
図５は、情報処理装置の機能構成例を示すブロック図である。例えば、スマートフォン２は、送受信部５１、受付部５２、復号化部５３、重畳領域作成部５４、画像作成部５５、画像重畳部５６、射影方式変換部５７、表示制御部５８及び表示範囲指示部５９等を有する機能構成である。例えば、これらの機能部は、ＥＥＰＲＯＭ５０４、ＲＡＭ５０３及びＣＰＵ５０１等で実現する。
送受信部５１は、外部装置とデータを送受信する。例えば、送受信部５１は、全天球撮像装置１が送る画像データを受信する。さらに、送受信部５１は、全天球撮像装置１に指示データＤ１及び表示範囲Ｄ２等を送信する。なお、送受信部５１は、全天球撮像装置１が送るデータが複数のデータを含む場合には、データの種類ごとにデータを分離してもよい。例えば、全天球撮像装置１が送るデータが、全体画像、部分画像及び部分画像パラメータＤ３とまとめて送る場合には、全体画像、部分画像及び部分画像パラメータＤ３を異なるデータとなるように分離する。
受付部５２は、ユーザによる部分画像が表示する方向、画角、アスペクト及び画像データのサイズ等といった条件を指定する操作等を受け付ける。
復号化部５３は、符号化されて全天球撮像装置１から送信されたデータを復号化する。
重畳領域作成部５４は、部分画像パラメータＤ３等に基づいて定まる重畳領域を作成する。
重畳領域は、重畳画像Ｓ及びマスク画像Ｍの重畳位置及び重畳範囲を示す。詳細は後述する。
画像作成部５５は、重畳領域に基づいて、重畳画像Ｓ及びマスク画像Ｍを作成する。さらに、画像作成部５５は、全体画像に基づいて全天球画像ＣＥ等を作成する。
画像重畳部５６は、全天球画像ＣＥ上の重畳領域に対して、重畳画像Ｓ及びマスク画像Ｍを重畳することで、最終的に表示する全天球画像ＣＥを作成する。
射影方式変換部５７は、受付部５２が受け付けた条件に基づいて、全天球画像ＣＥを透視射影方式の画像に変換する。
表示制御部５８は、透視射影方式に変換後の画像等（以下「表示画像ＩＭＧＶ」という。）を表示する制御を行う。
表示範囲指示部５９は、表示範囲Ｄ２を検出する。例えば、表示範囲Ｄ２は、画角等の形式で検出される。例えば、表示範囲指示部５９は、表示範囲Ｄ２が変化すると、表示範囲Ｄ２を検出して送受信部５１に通知する。そして、送受信部５１は、表示範囲Ｄ２が通知されるごとに、全天球撮像装置１に表示範囲Ｄ２を送信する。
＜全体処理例＞
全体処理において、まず、全天球撮像装置が以下のような処理を行う。
図６は、撮像装置による処理の例を示すフロー図である。全体処理が開始すると、例えば、全天球撮像装置は、ステップＳ１１０の処理を開始する。
ステップＳ１１０では、全天球撮像装置は、撮像により、半球画像ＩＭＧ１及び半球画像ＩＭＧ２を生成する。
ステップＳ１２０では、全天球撮像装置は、半球画像ＩＭＧ１及び半球画像ＩＭＧ２を合成する。例えば、全天球撮像装置は、２つの半球画像データを正距円筒射影方式の画像である正距円筒射影画像のデータに合成変換する。このように、合成によって生成する高精細な画像であって、広角な範囲を示す画像が広角画像ＩＭＧ５である。図４に示す例では、広角画像ＩＭＧ５が一時記憶部１６に記憶される。
ステップＳ１３０では、全天球撮像装置は、指示データＤ１に基づいて部分画像パラメータＤ３を作成する。部分画像パラメータＤ３の詳細は、後述する。
ステップＳ１４０では、全天球撮像装置は、指示データＤ１に基づいて、高精細画像から低精細画像に変更して、全体画像ＩＭＧ３（低精細画像）を生成する。
ステップＳ１５０では、全天球撮像装置は、表示範囲Ｄ２に基づいて、部分画像（高精細画像）ＩＭＧ４１を生成する、又は、部分画像（低精細画像）ＩＭＧ４２を生成する。つまり、全天球撮像装置は、表示範囲Ｄ２に、部分画像が示す範囲が含まれる場合には、部分画像（高精細画像）ＩＭＧ４１を生成する。一方で、全天球撮像装置は、表示範囲Ｄ２に、部分画像が示す範囲が含まれない場合には、部分画像（低精細画像）ＩＭＧ４２を生成する。つまり、表示範囲Ｄ２の閲覧範囲内に、部分画像が表示されるか否かで、部分画像の解像度を切り分ける。
＜部分パラメータの例及び部分画像の生成例＞
図７は、部分パラメータの例を示す図である。以下、図７（ａ）に示すような広角画像ＩＭＧ５を用いる場合の例で説明する。また、図７（ａ）では、横軸が方位角となる「緯度λ」を示し、縦軸が仰角となる「経度φ」を示す。
図７（ｂ）は、部分画像パラメータＤ３の例である。図示するように、部分画像パラメータＤ３は、図７（ｃ）のように、部分画像となる範囲を特定するパラメータである。なお、部分画像パラメータＤ３は、図示するように、部分画像となる範囲が特定できるパラメータであればよい。したがって、部分画像パラメータＤ３は、図７（ｂ）に示す形式に限られない。例えば、アスペクト等の値は、固定でもよい。
図７（ｃ）に示すように、部分画像パラメータＤ３があると、部分画像（高精細画像）ＩＭＧ４１等が、広角画像ＩＭＧ５から切り出されて生成される。
この例では、全天球撮像装置は、正距円筒射影画像によって立体球を被うことで、全天球画像を作成する。よって、正距円筒射影画像が有する各画素データは、３次元の全天球画像の立体球の表面における各画素データに対応させることができる。そこで、射影方式変換部による変換式は、正距円筒射影画像における座標を(緯度，経度)＝（ｅ，ａ）と表現し、３次元の立体球上の座標を直交座標（ｘ，ｙ，ｚ）とすると、直交座標（ｘ，ｙ，ｚ）は、例えば、下記（１）式のようになる。

（ｘ，ｙ，ｚ）＝（ｃｏｓ（ｅ）×ｃｏｓ（ａ）,ｃｏｓ（ｅ）×ｓｉｎ（ａ）,ｓｉｎ（ｅ）） ・・・（１）

上記（１）式において、立体球の半径は「１」とする。
一方で、透視射影画像である部分画像は、２次元画像である。部分画像を２次元の極座標（動径，偏角）＝（ｒ，ａ）で表現すると、動径「ｒ」は、対角画角に対応する。そして、動径「ｒ」は、取り得る範囲が「０≦ｒ≦ｔａｎ（対角画角／２）」となる。また、部分画像を２次元の直交座標系（ｕ，ｖ）で示すと、直交座標系（ｕ，ｖ）及び極座標（動径，偏角）＝（ｒ，ａ）の変換関係は、下記（２）式のようになる。

ｕ＝ｒ×ｃｏｓ（ａ）,ｖ＝ｒ×ｓｉｎ（ａ） ・・・（２）

次に、上記（１）式を３次元の座標（動径，極角，方位角）に対応させる。
立体球ＣＳの表面のみを考えると、３次元極座標における動径は「１」である。また、立体球ＣＳの表面に張り付けた正距円筒射影画像を透視射影変換する射影は、立体球の中心に仮想カメラがあると考えると、上記の２次元極座標（動径，偏角）＝（ｒ，ａ）を使うと、下記（３）式及び下記（４）式のように示せる。

Ｒ＝ｔａｎ（極角） ・・・（３）
a＝方位角 ・・・（４）

上記（３）式において、極角を「t」とすると、「ｔ＝ａｒｃｔａｎ（ｒ）」となる。そのため、３次元極座標（動径、極角、方位角)は、(動径、極角、方位角)＝（１,ａｒｃｔａｎ（ｒ）,ａ）となる。
また、３次元極座標から、直交座標系（ｘ，ｙ，ｚ）へ変換する変換式は、例えば、下記（５）式等である。

（ｘ,ｙ,ｚ）＝（ｓｉｎ（ｔ）×ｃｏｓ（ａ）,ｓｉｎ（ｔ）×ｓｉｎ（ａ）,ｃｏｓ（ｔ）） ・・・（５）

上記（５）式に示す変換によって、正距円筒射影方式による全体画像と、透視射影方式による部分画像は、相互に変換ができる。すなわち、部分画像の対角画角に対応する動径「ｒ」を用いると、部分画像の各画素が、正距円筒射影画像のどの座標に対応するかを示す変換マップ座標が算出できる。この変換マップ座標に基づいて、正距円筒射影画像から、透視射影画像である部分画像等を生成することができる。
また、上記に示す射影方式の変換は、正距円筒射影画像の（緯度，経度）が（９０ °，０ °）となる位置が、透視射影画像である部分画像の中心点となるような変換である。
そこで、正距円筒射影画像における任意の点を注視点とし、透視射影変換をする場合は、正距円筒射影画像を貼り付けた立体球を回転させる。このようにして、注視点の座標(緯度、経度)が（９０ °,０ °）の位置に配置されるような座標回転を行ってもよい。なお、立体球の回転に関する変換公式は、一般の座標回転公式であるため、説明を省略する。
上記のように生成された、部分画像（高精細画像）ＩＭＧ４１及び全体画像ＩＭＧ３は、例えば、下記のような形式で情報処理装置に送信される。
図８は、送信データの例を示す図である。例えば、全天球撮像装置は、部分画像（高精細画像）ＩＭＧ４１及び全体画像ＩＭＧ３をまとめたデータ（以下「送信データＤＳ１」という。）を情報処理装置に送信する。
具体的には、送信データＤＳ１は、１枚の画像であり、上部に全体画像ＩＭＧ３を配置し、かつ、下部に部分画像（高精細画像）ＩＭＧ４１を配置したデータである。また、図示する例では、それぞれの画像は、ＨＤ（ｈｉｇｈ ｄｅｆｉｎｉｔｉｏｎ ｖｉｄｅｏ、高精細ビデオ）等で用いられるアスペクトである「１６：９」に合わせて配置される。ただし、アスペクトは、ＨＤに限られず、他に設定された比率でもよい。また、画像の配置は、図示するような上下に限らず、左右等でもよい。また、部分画像が複数である場合には、例えば、上半分に全体画像、下半分に部分画像を個数分に分割して配置してもよい。このように、部分画像（高精細画像）ＩＭＧ４１及び全体画像ＩＭＧ３を１つにまとめると、画像間の同期が取り易い。また、全天球撮像装置は、情報処理装置に、全体画像及び部分画像を別々に送信してもよい。
そして、表示範囲Ｄ２に、部分画像が示す範囲が含まれない場合には、部分画像（低精細画像）ＩＭＧ４２が生成されるため、図示するように、送信データＤＳ１は、全体画像ＩＭＧ３及び部分画像（低精細画像）ＩＭＧ４２の組み合わせとなる。この場合には、部分画像（低精細画像）ＩＭＧ４２は、部分画像（高精細画像）ＩＭＧ４１より、データの容量が小さいため、送信データＤＳ１は、部分画像（高精細画像）ＩＭＧ４１の場合より、データの容量が小さくなる。そのため、画像処理システムは、全天球撮像装置及び情報処理装置の間で送信される送信データＤＳ１を低いビットレートでも送信できる。このようにして、画像処理システムは、効率的に通信帯域を使用することができる。
全体処理において、上記のような送信データが送られてくると、情報処理装置が以下のような処理を行う。
図９は、情報処理装置による処理の例を示すフロー図である。
ステップＳ３２０では、情報処理装置は、部分画像パラメータＤ３に基づいて、部分立体球ＰＳを生成する。例えば、全天球撮像装置が撮像する範囲は、立体球ＣＳのように示せる。そして、部分立体球ＰＳは、立体球ＣＳのうち、部分画像が示す範囲を球面で示す。部分立体球ＰＳを生成する詳細は、後述する。
ステップＳ３３０では、情報処理装置は、部分立体球ＰＳに対して、透視射影方式である部分画像を重畳する。なお、部分画像は、上記のとおり、送信データで送られる部分画像が部分画像（高精細画像）ＩＭＧ４１であるか、又は、部分画像（低精細画像）ＩＭＧ４２であるかによって、用いられる画像が異なる。このようにすると、図示するように、重畳画像Ｓが生成される。
ステップＳ３４０では、情報処理装置は、マスク画像Ｍを生成する。
ステップＳ３５０では、情報処理装置は、立体球ＣＳに対して、正距円筒射影方式である全体画像を貼り付ける。このようにして、情報処理装置は、全天球画像ＣＥを生成する。
ステップＳ３６０では、情報処理装置は、重畳画像Ｓ、マスク画像Ｍ及び全天球画像ＣＥを重畳する。このような処理であると、情報処理装置は、全天球画像ＣＥのうち、部分画像が示す範囲を部分画像に置き換えた画像を生成できる。したがって、部分画像が部分画像（高精細画像）ＩＭＧ４１であれば、全天球画像ＣＥが示す画像のうち、部分画像に対応する部分が高精細な画像となる。
ステップＳ３７０では、情報処理装置は、あらかじめ定められた仮想カメラの視線方向と画角に基づいて、重畳画像Ｓが重畳された状態の全天球画像ＣＥにおける所定領域をディスプレイで閲覧できるように射影変換を行う。
そして、情報処理装置は、所定領域画像Ｑを表示画像ＩＭＧＶとして表示する。
＜部分立体球の生成例＞
図１０は、部分立体球の生成例を示す図である。例えば、部分立体球は、図示するように、部分平面から生成される。まず、透視射影方式では、平面に射影するため、例えば、図１０（ａ）のように、３次元空間上に平面で部分画像となる範囲が、部分画像パラメータで特定される。そして、ステップＳ３２０等では、情報処理装置は、特定された平面を全天球画像に合わせて球の一部である部分立体球とする。以下、平面から部分立体球への変換について説明する。
図１０（ａ）に示すように、大きさ（例えば、画角等で定まる。）で配置された平面上の各点（Ｘ，Ｙ，Ｚ）を球面上への射影を考える。そして、球面への射影は、球の原点から各点（Ｘ，Ｙ，Ｚ）を通る直線と、球面との交点となる。なお、球面上の各点は、原点からの距離が球の半径と等しい点である。よって、球の半径を「１」とすると、図１０（ｂ）に示すように、球面上の点（Ｘ'，Ｙ'，Ｚ'）は、下記（６）式のように計算できる。

（Ｘ'，Ｙ'，Ｚ'）＝（Ｘ，Ｙ，Ｚ）×１／√（Ｘ２＋Ｙ２＋Ｚ２） ・・・（６）

したがって、上記（６）式を用いると、情報処理装置は、部分画像パラメータ等で定まる範囲を球面上のどの座標とするかを計算できる。
＜部分立体球を用いない例＞
図１１は、部分立体球を用いない例を示す図である。
以下、図１１（ａ）に示すように、仮想カメラＩＣが立体球ＣＳの中心点に位置し、中心点を基準にする。さらに、被写体が「Ｐ１」に位置する（以下「被写体Ｐ１」という。）例であるとする。この場合には、被写体Ｐ１は、全天球画像ＣＥ上では像Ｐ２となる。そして、重畳画像Ｓ上では、被写体Ｐ１は、像Ｐ３となる。
図１１（ａ）に示すように、像Ｐ２及び像Ｐ３は、仮想カメラＩＣと、被写体Ｐ１とを結ぶ直線上に位置する。そのため、全天球画像ＣＥに、重畳画像Ｓを重畳して表示しても、全天球画像ＣＥと重畳画像Ｓの間にズレが生じない。
しかし、図１１（ｂ）に示すように、仮想カメラＩＣが立体球ＣＳの中心点から離れる場合がある。例えば、画角を小さくする場合等である。この場合には、図１１（ａ）と同様に、仮想カメラＩＣと、被写体Ｐ１とを結ぶ直線上に、像Ｐ２は、位置する。一方で、像Ｐ３は、やや内側に位置している。このため、仮想カメラＩＣと、被写体Ｐ１とを結ぶ直線上における重畳画像Ｓ上の像を像Ｐ３'とすると、図１１（ｂ）のような場合には、全天球画像ＣＥと、重畳画像Ｓとの間に、像Ｐ３と像Ｐ３'との間のズレ量「ｇ」が生じる。これにより、全天球画像ＣＥに対して重畳画像Ｓがズレた状態で表示される。情報処理装置は、このように重畳した表示を行ってもよい。
＜部分立体球を用いる例＞
図１２は、部分立体球を用いる例を示す図である。以下、部分立体球を用いる以外の条件は、図１１と同様とする例で説明する。このように、部分立体球を用いると、情報処理装置は、重畳画像Ｓを全天球画像ＣＥに沿って重畳できる。これにより、情報処理装置は、図１２（ａ）に示すように、仮想カメラＩＣが立体球ＣＳの中心点に位置する場合でも、ズレを少なくして重畳できる。
同様に、図１２（ｂ）に示すように、情報処理装置は、仮想カメラＩＣが立体球ＣＳの中心点から離れた場合であっても、図１１（ｂ）と比較して、ズレを少なくして、重畳画像Ｓを全天球画像ＣＥに沿って重畳できる。
＜部分画像を用いるか否かの比較例＞
まず、部分画像を用いない場合には、情報処理装置による表示は、例えば、以下のようになる。
図１３は、比較例を示す図である。
例えば、図１３（ａ）に示すように、全天球画像ＣＥに対して部分画像Ｐを重畳して表示しない場合を比較例として説明する。そして、図１３（ａ）が表示されている状態において、例えば、波線で示す領域を拡大して表示するように、ユーザが操作を行うとする。このような操作が行われると、情報処理装置は、例えば、図１３（ｂ）のような画像を表示する。
図１３（ｂ）は、低精細の画像である。したがって、比較例では、ユーザは、低精細の画像を見ることになる。
図１４は、部分画像を用いる例を示す図である。図１３と比較すると、図１４は、全天球画像ＣＥに対して部分画像Ｐを重畳している点が異なる。そして、図１３と同様に、波線で示す領域を拡大して表示するように、ユーザが操作を行うとする。このような操作が行われると、情報処理装置は、例えば、図１４（ｂ）のような高精細の画像を表示する。
図１４（ｂ）は、高精細の部分が多い画像である。このように、部分画像を用いると、情報処理装置は、高精細な画像をユーザに表示できる。例えば、波線の領域に文字が描かれた看板等がある場合には、高精細な部分画像を重畳して表示しないと、拡大させても文字がぼやけてしまい、何が書かれてあるのか分からない場合が多い。一方で、図示するように、高精細な部分画像を重畳させると、文字等が鮮明に見える。そのため、ユーザは、何が書かれているのかを把握することができる。
以上、説明したように本実施形態によれば、まず、全天球撮像装置１は、ステップＳ１４０等により、高精細の全天球画像から低精細の全体画像を作成する。
次に、ステップＳ１５０等により、全天球撮像装置は、表示範囲に、部分画像が示す範囲が含まれる場合には、同じ高精細の全天球画像から射影方式の異なる、高精細の部分画像を作成する。
そして、全天球撮像装置が、情報処理装置に対して、低精細の全体画像及び高精細の部分画像の各データを送信する。
次に、ステップＳ３６０等により、情報処理装置は、低精細の全体画像上に、高精細の部分画像を重畳する。
続いて、ステップＳ３７０等により、情報処理装置は、ユーザが指定する視線方向及び画角に応じて射影方式を変換する。
このように、画像処理システムでは、全天球撮像装置は、被写体等を撮像することによって得られた高精細な全天球画像のうち、注目する領域を部分画像として、高精細で情報処理装置に送信する。一方で、全天球撮像装置は、注目しない領域、すなわち、全天球画像の全体を把握するため等に用いられる画像を全体画像として、低精細で情報処理装置に送信する。さらに、部分画像は、射影方式を変換してから送信する。このようにすると、受信側となる情報処理装置は、受信するデータ量を削減できる。そのため、全体画像に部分画像を重畳した状態の全天球画像等を素早く表示させることができる等の効果を奏する。
なお、全天球撮像装置は、縮小した全体画像と部分画像を送信してもよい。全体画像と部分画像が異なる射影方式であっても、情報処理装置は、合成して表示可能である。そのため、射影方式に関する汎用性が高いという効果を奏する。
以上のような処理を行う画像処理システムにおいて、情報処理装置が表示する範囲に含まれない範囲を示す部分画像が発生する場合がある。このような部分画像は、表示されないため、低精細な画像であっても、支障がない場合が多い。そこで、このような場合には、部分画像を低精細な画像にして送信する。このような構成であると、部分画像を低精細にした分、部分画像のデータ量が少なくできる。ゆえに、送信データを送るのに、高精細な部分画像を送る場合より、低いビットレートであっても、データを送信することができる。
具体的には、画像処理システムは、第１画像の例である部分画像（高精細画像）ＩＭＧ４１を第１画像生成部によって生成する第１画像生成手順を行う。例えば、第１画像生成部は、射影方式変換部１８等で実現する。
次に、判断部の例である低精細変換部２０は、第１範囲の例である表示範囲Ｄ２に基づいて、表示範囲Ｄ２に、第２範囲の例である部分画像が示す範囲が含まれるか否かを判断する判断手順を行う。
そして、第２画像生成部の例である低精細変換部２０は、表示範囲Ｄ２に、部分画像が示す範囲が含まれないと判断すると、部分画像（低精細画像）ＩＭＧ４２を生成する第２画像生成手順を行う。
また、第３画像生成部の例である低精細変更部１７は、第３画像の例である全体画像ＩＭＧ３を生成する第３画像生成手順を行う。
そして、表示範囲Ｄ２に部分画像が示す範囲が含まれない場合には、送信部の例である送受信部１１は、全体画像ＩＭＧ３及び部分画像（低精細画像）ＩＭＧ４２を送信する送信手順を行う。
次に、受信部の例である送受信部５１は、送信された全体画像ＩＭＧ３及び部分画像（低精細画像）ＩＭＧ４２を受信する受信手順を行う。
このようにして送信された全体画像ＩＭＧ３及び部分画像（低精細画像）ＩＭＧ４２に基づいて、出力部の例である表示制御部５８は、表示画像ＩＭＧＶを表示する出力手順を行う。
以上のような構成であると、部分画像を全体画像に重畳して表示する画像処理システムでは、撮像装置及び情報処理装置の間で送受信される部分画像のデータ量等を少なくできる。このようにして、画像処理システムは、画像の配信において、効率的に通信帯域を使用することができる。
なお、部分画像の送信は、停止されてもよい。例えば、以前に部分画像を既に送ってあり部分画像の内容が変化していない、又は、部分画像が示す範囲が表示されない場合等に、部分画像の送信は、停止してもよい。なお、停止は、設定する一定期間等でもよい。つまり、内容が変化していない場合には、以前に送った部分画像を再度使用する等でも同じ画像を表示できる。又は、部分画像が示す範囲が表示されない場合には、他の範囲を表示するため、部分画像がなくとも、表示の一部が欠けるといった現象は起きない。このように、部分画像の送信を停止させると、より送信するデータ量を少なくできる。
また、第１範囲に、第２範囲が含まれる場合であって、かつ、表示範囲が所定範囲より狭い場合には、全天球撮像装置は、第２画像を生成するのが望ましい。
具体的には、いわゆるズーム率が低い場合等である。このような場合には、被写体等が小さく表示される場合が多い。このような場合には、画像が高精細であっても、効果が薄い場合が多い。ゆえに、部分画像が低精細であっても、ユーザが画像を見るのに支障が出ない場合が多い。したがって、このような場合には、全天球撮像装置は、全体画像ＩＭＧ３及び部分画像（低精細画像）ＩＭＧ４２等を送信するのが望ましい。このようにすると、画像処理システムは、より送信するデータ量を少なくできる。
なお、どの程度のズーム率から、部分画像を低精細とするかの閾値は、例えば、あらかじめ設定される。
＜第２実施形態＞
第２実施形態は、第１実施形態と比較すると、複数の部分画像を用いる点が異なる。例えば、第２実施形態では、以下のように、部分画像となる範囲が複数入力される。
図１５は、第２実施形態における複数の部分画像が示す範囲及び表示範囲の例を示す図である。例えば、図示するような広角画像が生成された場合において、表示範囲Ｄ２と示す範囲が情報処理装置で表示される範囲であるとする。
そして、例えば、図示するように、第１指定範囲Ｒ１、第２指定範囲Ｒ２及び第３指定範囲Ｒ３があらかじめ設定される。第１指定範囲Ｒ１、第２指定範囲Ｒ２及び第３指定範囲Ｒ３は、いずれも部分画像とする範囲を指定する。すなわち、図示する例は、第１指定範囲Ｒ１、第２指定範囲Ｒ２及び第３指定範囲Ｒ３を示す３つの部分画像を生成するように指定する例である。なお、部分画像の数は、複数であればよい。すなわち、部分画像は、４つ以上又は２つでもよい。
また、図示するような設定の場合には、まず、全天球撮像装置は、例えば、以下のように判断する。
全天球撮像装置は、表示範囲Ｄ２に、第１指定範囲Ｒ１が含まれないと判断する。したがって、全天球撮像装置は、第１指定範囲Ｒ１を示す部分画像を低精細に生成する。
全天球撮像装置は、表示範囲Ｄ２に、第２指定範囲Ｒ２が含まれると判断する。したがって、全天球撮像装置は、第２指定範囲Ｒ２を示す部分画像を高精細に生成する。
全天球撮像装置は、表示範囲Ｄ２に、第３指定範囲Ｒ３の一部が含まれると判断する。したがって、全天球撮像装置は、第３指定範囲Ｒ３を示す部分画像を高精細に生成する。
このように、全天球撮像装置は、低精細の部分画像の要否を画像ごとに判断し、画像を生成する。
この例では、画像処理システムは、第１指定範囲Ｒ１用の部分画像を低精細にした分、データ量を少なくできる。
このような処理の後、全天球撮像装置は、例えば、以下のような送信データを情報処理装置に送信する。
図１６は、第２実施形態における送信データの例を示す図である。第２実施形態では、部分画像が複数生成される。したがって、送信データＤＳ２は、図示するように、全体画像ＩＭＧ３に加えて、図示するように、複数の部分画像を入れて情報処理装置に送信される。なお、第１実施形態と同様に、全体画像及び複数の部分画像は、送信データＤＳ２のように１つのデータでなくともよい。すなわち、全体画像及び複数の部分画像は、別々に送られてもよい。
＜操作画面の例＞
画像処理システムでは、情報処理装置は、例えば、以下のような操作画面を表示するのが望ましい。
図１７は、高精細に表示する範囲を追加及び削除する操作画面の例を示す図である。例えば、情報処理装置が、図示するような表示画像ＩＭＧＶを表示した場合を例に説明する。
例えば、操作画面において、画面上をドラックする操作等によって、高精細に表示する範囲が追加できる。以下、図示するような範囲（以下「追加範囲Ｒ２２」という。）を高精細に表示するように操作する例で説明する。
追加範囲Ｒ２２を指定する操作を行うと、情報処理装置は、例えば、図示するように、「追加する」と表示するボタン（以下「追加ボタンＢＴ１」という。）を表示する。そして、追加ボタンＢＴ１を押すと、情報処理装置は、高精細に表示する範囲に追加範囲Ｒ２２を追加する。したがって、情報処理装置は、追加範囲Ｒ２２を示す部分画像を高精細な画像で送るように全天球撮像装置に通知する。このようにすると、ユーザは、追加範囲Ｒ２２を鮮明な画像で見ることができる。
さらに、操作画面では、追加範囲Ｒ２２のような高精細に表示する範囲を削除できる操作ができるのが望ましい。
例えば、削除は、図示するように、「削除する」と表示するボタン（以下「削除ボタンＢＴ２」という。）等で行う操作である。具体的には、あらかじめ図示するような範囲（以下「設定範囲Ｒ２１」という。）を高精細に表示するように設定されていたとする。そして、設定範囲Ｒ２１をクリックする操作等を行うと、情報処理装置は、例えば、図示するように、削除ボタンＢＴ２を表示する。
次に、削除ボタンＢＴ２が押されると、情報処理装置は、設定範囲Ｒ２１を示す部分画像を低精細な画像で送る、又は、部分画像の生成を停止するように全天球撮像装置に通知する。このようにすると、画像処理システムは、設定範囲Ｒ２１を示す部分画像のデータ量を少なくすることができる。
＜その他の実施形態＞
なお、画像処理システムは、上記のような全体構成でなくともよい。例えば、画像処理システムにおいて、撮像装置及び情報処理装置は、複数の装置であってもよい。
また、本発明に係る実施形態では、画像処理システム等のコンピュータに、画像処理方法のうち、一部又は全部を実行させるためのプログラムによって実現されてもよい。
以上、本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形又は変更が可能である。
１ 全天球撮像装置
２ スマートフォン
１０ 画像処理システム
１１ 送受信部
１２ 部分画像パラメータ作成部
１３ 撮像制御部
１４ａ 撮像部
１４ｂ 撮像部
１５ 画像処理部
１６ 一時記憶部
１７ 低精細変更部
１８ 射影方式変換部
１９ 符号化部
２０ 低精細変換部
５１ 送受信部
５２ 受付部
５３ 復号化部
５４ 重畳領域作成部
５５ 画像作成部
５６ 画像重畳部
５７ 射影方式変換部
５８ 表示制御部
５９ 表示範囲指示部
１０１ 撮像ユニット
１０２ａ レンズ
１０２ｂ レンズ
１０３ａ 撮像素子
１０３ｂ 撮像素子
１０４ 画像処理ユニット
１０５ 撮像制御ユニット
１０８ マイク
１０９ 音処理ユニット
１１０ バス
１１５ 操作部
１１７ 通信部
１１７ａ アンテナ
１１８ 電子コンパス
５０４ ＥＥＰＲＯＭ
５０５ ＣＭＯＳセンサ
５０６ 加速度・方位センサ
５０７ メディア
５０９ ＧＰＳ受信部
５１０ バスライン
５１１ 遠距離通信回路
５１２ カメラ
５１４ マイク
５１５ スピーカ
５１９ 近距離通信回路
５１９ａ アンテナ
５２１ タッチパネル
ＢＴ１ 追加ボタン
ＢＴ２ 削除ボタン
ＣＥ 全天球画像
ＣＳ 立体球
Ｄ１ 指示データ
Ｄ２ 表示範囲
Ｄ３ 部分画像パラメータ
ＤＳ１ 送信データ
ＤＳ２ 送信データ
ＩＣ 仮想カメラ
ＩＭＧ１ 半球画像
ＩＭＧ２ 半球画像
ＩＭＧ３ 全体画像
ＩＭＧ５ 広角画像
ＩＭＧ４１ 部分画像（高精細画像）
ＩＭＧ４２ 部分画像（低精細画像）
ＩＭＧＶ 表示画像
Ｍ マスク画像
Ｐ 部分画像
Ｐ１ 被写体
Ｐ２ 像
Ｐ３ 像
Ｐ３' 像
ＰＳ 部分立体球
Ｑ 所定領域画像
Ｒ１ 第１指定範囲
Ｒ２ 第２指定範囲
Ｒ３ 第３指定範囲
Ｒ２１ 設定範囲
Ｒ２２ 追加範囲
Ｓ 重畳画像
λ 緯度
φ 経度
特開２００７−３２５１０９号公報

Claims (7)

  1. 広角画像を撮像する撮像装置と、前記撮像装置と接続する情報処理装置とを有する画像処理システムであって、
    前記撮像装置は、
    前記広角画像の一部を示す第１画像を生成する第１画像生成部と、
    前記情報処理装置が表示する第１範囲に、前記第１画像が示す第２範囲が含まれるか否かを判断する判断部と、
    前記第１範囲に、前記第２範囲が含まれない場合には、前記第１画像を低精細にした第２画像を生成する第２画像生成部と、
    前記広角画像を低精細にした第３画像を生成する第３画像生成部と、
    前記第２画像及び前記第３画像を前記情報処理装置に送信する送信部と
    を備え、
    前記情報処理装置は、
    前記第１範囲に、前記第２範囲が含まれない場合には、前記第２画像及び前記第３画像を前記撮像装置から受信する受信部と、
    前記第２画像及び前記第３画像に基づく表示を行う出力部と
    を備える
    画像処理システム。
  2. 前記第２画像の送信を停止させる
    請求項１に記載の画像処理システム。
  3. ズーム率が低い場合には、前記第２画像を生成する
    請求項１又は２に記載の画像処理システム。
  4. 前記第１画像が複数生成される
    請求項１乃至３のいずれか１項に記載の画像処理システム。
  5. 高精細に表示させる範囲を追加又は削除する操作を受け付ける
    請求項１乃至４のいずれか１項に記載の画像処理システム。
  6. 広角画像を撮像する撮像装置と、前記撮像装置と接続する情報処理装置とを有する画像処理システムが行う画像処理方法であって、
    前記撮像装置が、前記広角画像の一部を示す第１画像を生成する第１画像生成手順と、
    前記撮像装置が、前記情報処理装置が表示する第１範囲に、前記第１画像が示す第２範囲が含まれるか否かを判断する判断手順と、
    前記撮像装置が、前記第１範囲に、前記第２範囲が含まれない場合には、前記第１画像を低精細にした第２画像を生成する第２画像生成手順と、
    前記撮像装置が、前記広角画像を低精細にした第３画像を生成する第３画像生成手順と、
    前記撮像装置が、前記第２画像及び前記第３画像を前記情報処理装置に送信する送信手順と、
    前記情報処理装置が、前記第１範囲に、前記第２範囲が含まれない場合には、前記第２画像及び前記第３画像を前記撮像装置から受信する受信手順と、
    前記情報処理装置が、前記第２画像及び前記第３画像に基づく出力を行う出力手順と
    を含む
    画像処理方法。
  7. 請求項６に記載の画像処理方法をコンピュータに実行させるためのプログラム。
JP2019040840A 2019-03-06 2019-03-06 画像処理システム、撮像装置、情報処理装置、画像処理方法及びプログラム Active JP7326774B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019040840A JP7326774B2 (ja) 2019-03-06 2019-03-06 画像処理システム、撮像装置、情報処理装置、画像処理方法及びプログラム
US16/804,241 US11102448B2 (en) 2019-03-06 2020-02-28 Image capturing apparatus, image processing system, image processing method, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019040840A JP7326774B2 (ja) 2019-03-06 2019-03-06 画像処理システム、撮像装置、情報処理装置、画像処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2020145590A true JP2020145590A (ja) 2020-09-10
JP7326774B2 JP7326774B2 (ja) 2023-08-16

Family

ID=72336789

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019040840A Active JP7326774B2 (ja) 2019-03-06 2019-03-06 画像処理システム、撮像装置、情報処理装置、画像処理方法及びプログラム

Country Status (2)

Country Link
US (1) US11102448B2 (ja)
JP (1) JP7326774B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3829159A1 (en) 2019-11-29 2021-06-02 Ricoh Company, Ltd. Image capturing device, image communication system, and method for display control, and carrier means
EP3869788A1 (en) 2020-02-19 2021-08-25 Ricoh Company, Ltd. Image capturing device, image communication system, method for display control, and carrier means

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003153263A (ja) * 2001-11-19 2003-05-23 Hitachi Ltd 映像表示システムおよびその方法
JP2009188792A (ja) * 2008-02-07 2009-08-20 Sony Corp 画像送信装置、画像受信装置、画像送受信システム、画像送信プログラムおよび画像受信プログラム
JP2014183353A (ja) * 2013-03-18 2014-09-29 Sony Corp 映像処理装置、映像再生装置、映像処理方法、映像再生方法及び映像処理システム
WO2016140083A1 (ja) * 2015-03-05 2016-09-09 ソニー株式会社 画像処理装置および画像処理方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007325109A (ja) 2006-06-02 2007-12-13 Canon Inc 配信サーバ、ネットワークカメラ、配信方法及びプログラム
US10915777B2 (en) 2017-09-11 2021-02-09 Ricoh Company, Ltd. Communication terminal, communication system, and image processing method
US10593014B2 (en) * 2018-03-26 2020-03-17 Ricoh Company, Ltd. Image processing apparatus, image processing system, image capturing system, image processing method
US10931836B2 (en) 2018-03-29 2021-02-23 Ricoh Company, Ltd. Communication system, image processing method, and recording medium
US11245707B2 (en) 2018-03-31 2022-02-08 Ricoh Company, Ltd. Communication terminal, communication system, communication control method, and recording medium
US11017544B2 (en) 2018-07-31 2021-05-25 Ricoh Company, Ltd. Communication terminal, communication system, communication control method, and recording medium
US11250540B2 (en) * 2018-12-28 2022-02-15 Ricoh Company, Ltd. Image processing apparatus, image capturing system, image processing method, and recording medium

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003153263A (ja) * 2001-11-19 2003-05-23 Hitachi Ltd 映像表示システムおよびその方法
JP2009188792A (ja) * 2008-02-07 2009-08-20 Sony Corp 画像送信装置、画像受信装置、画像送受信システム、画像送信プログラムおよび画像受信プログラム
JP2014183353A (ja) * 2013-03-18 2014-09-29 Sony Corp 映像処理装置、映像再生装置、映像処理方法、映像再生方法及び映像処理システム
WO2016140083A1 (ja) * 2015-03-05 2016-09-09 ソニー株式会社 画像処理装置および画像処理方法

Also Published As

Publication number Publication date
US11102448B2 (en) 2021-08-24
US20200288083A1 (en) 2020-09-10
JP7326774B2 (ja) 2023-08-16

Similar Documents

Publication Publication Date Title
JP6805861B2 (ja) 画像処理装置、画像処理システム、画像処理方法及びプログラム
US11558431B2 (en) Communication terminal, communication system, communication method, and display method
US10979751B2 (en) Communication management apparatus, method and computer-readable storage medium for generating image data identification information communication
CN111726520B (zh) 摄影装置、摄影系统、图像处理方法
US10437545B2 (en) Apparatus, system, and method for controlling display, and recording medium
US11323621B2 (en) Image communication system, image capturing device, communication terminal, and mode switching method
JP7192592B2 (ja) 撮像装置、画像通信システム、画像処理方法、プログラム
US20220070412A1 (en) Communication terminal, image communication system, method of displaying image, and recording medium
US11818492B2 (en) Communication management apparatus, image communication system, communication management method, and recording medium
US11250540B2 (en) Image processing apparatus, image capturing system, image processing method, and recording medium
JP7326774B2 (ja) 画像処理システム、撮像装置、情報処理装置、画像処理方法及びプログラム
JP2018110384A (ja) 画像処理装置、撮影システム、画像処理方法、及びプログラム
JP6304300B2 (ja) 送信装置、通信方法、プログラムおよび受信装置
JP2018109946A (ja) 表示装置、プログラム、表示方法
JP7415544B2 (ja) 撮影システム及び撮影方法
JP7424031B2 (ja) 通信端末、撮影システム、画像処理方法及びプログラム
US11533430B2 (en) Image capturing device with display control, image communication system, and method for display control, and recording medium
JP2018061243A (ja) 通信端末、表示方法、及びプログラム
JP7484237B2 (ja) 撮影装置、撮影システム、画像処理方法、及びプログラム
JP7400407B2 (ja) 通信端末、撮影システム、画像処理方法及びプログラム
JP6233451B2 (ja) 画像共有システム、通信方法及びプログラム
JP2018207466A (ja) 通信管理システム、通信システム、通信管理方法、及びプログラム
JP2019180078A (ja) 通信端末、画像通信システム、表示方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230615

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230717

R151 Written notification of patent or utility model registration

Ref document number: 7326774

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151