JP2022007898A - プログラム、画像通信システム、表示方法、及び撮影装置 - Google Patents

プログラム、画像通信システム、表示方法、及び撮影装置 Download PDF

Info

Publication number
JP2022007898A
JP2022007898A JP2020191841A JP2020191841A JP2022007898A JP 2022007898 A JP2022007898 A JP 2022007898A JP 2020191841 A JP2020191841 A JP 2020191841A JP 2020191841 A JP2020191841 A JP 2020191841A JP 2022007898 A JP2022007898 A JP 2022007898A
Authority
JP
Japan
Prior art keywords
image
display
angle
shooting
smartphone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020191841A
Other languages
English (en)
Inventor
喜永 加藤
Yoshinaga Kato
直規 角田
Naoki Tsunoda
良 福井
Makoto Fukui
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to EP20209426.4A priority Critical patent/EP3829159A1/en
Priority to US17/103,977 priority patent/US11533430B2/en
Priority to CN202011340082.6A priority patent/CN112887663A/zh
Publication of JP2022007898A publication Critical patent/JP2022007898A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)

Abstract

【課題】広角画像と狭角画像の撮影開始のタイミングを合わせる目的で、広角撮影装置及び狭角撮影装置のうち一方の撮影装置によって撮影開始の操作が行なわれたことに基づき、他方の撮影装置に対して撮影開始を実行させるシステムが公開されている。しかし、従来の方法では、狭角画像の閲覧者は、狭角画像に映し出された被写体等を見ただけでは、撮影された場所や状況を把握しづらいという課題が生じていた。【解決手段】表示制御部37は、最初にスマートフォン3で撮影することで得られた狭角画像(平面画像P)を所定時間(t0~t1)表示させ、続けて全天球撮影装置1で連携撮影することで得られた広角画像(正距円筒射影画像EC1)内において所定領域Tを移動させながら所定領域画像Q11を順に表示する(t1~t2)。【選択図】図16

Description

本開示内容は、プログラム、画像通信システム、表示方法、及び撮影装置に関する。
近年、全天球(360°)撮影用カメラ等の広角撮影装置で撮影されることで得られた正距円筒射影画像としての広角画像を、比較的狭角な画像としての狭角画像を得るスマートフォン等の狭角撮影装置で表示することで、撮影及び表示の範囲が広がっている。また、広角画像と狭角画像の撮影開始のタイミングを合わせる目的で、広角撮影装置及び狭角撮影装置のうち一方の撮影装置によって撮影開始の操作が行なわれたことに基づき、他方の撮影装置に対して撮影開始を実行させるシステムが公開されている(特許文献1参照)。
しかしながら、従来の方法では、比較的狭角な画像の閲覧者は、比較的狭角な画像に映し出された被写体等を見ただけでは、撮影された場所や状況を把握しづらいという課題が生じていた。
請求項1に係る発明は、撮影することで得た比較的狭角な画像である第1の画像を表示するためのプログラムであって、コンピュータに、撮影することで前記第1の画像よりも広角な画像である第2の画像を得た他の撮影装置から、前記第2の画像のデータを取得する取得手段と、前記第1の画像及び前記第2の画像を連続的に表示手段に表示する表示制御手段と、を実現させることを特徴とするプログラムである。
以上説明したように本発明によれば、比較的狭角な画像である第1の画像の閲覧者は、撮影された場所や状況を把握し易いという効果を奏する。
(a)は全天球撮影装置の左側面図であり、(b)は全天球撮影装置の背面図であり、(c)は全天球撮影装置の平面図であり、(d)は全天球撮影装置の底面図である。 全天球撮影装置の使用イメージ図である。 (a)は全天球撮影装置で撮影された半球画像(前)、(b)は全天球撮影装置で撮影された半球画像(後)、(c)は正距円筒図法により表された画像を示した図である。 (a)は正距円筒射影画像で球を被う状態を示した概念図、(b)は全天球画像を示した図である。 全天球画像を3次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。 (a)は図5の立体斜視図、(b)は狭角撮影装置のディスプレイに所定領域の画像が表示されている状態を示す図である。 所定領域情報と所定領域Tの画像との関係を示した図である。 第1の実施形態に係る画像通信システムの概略図である。 全天球撮影装置のハードウェア構成図である。 スマートフォンのハードウェア構成図である。 第1の実施形態に係る画像通信システムの機能ブロック図である。 第1の実施形態に係る連携撮影処理を示したシーケンス図である。 (a)撮影開始時のスマートフォンの画面例を示す図、(b)連携開始時のスマートフォンの画面例を示す図である。 第1の実施形態に係る所定領域画像の表示処理を示したフローチャートである。 正距円筒射影画像と所定領域画像の関係を示した図である。 (a)は、平面画像の表示時間と正距円筒射影画像における所定領域である所定領域画像の表示時間を示した図、(b)はスマートフォンに平面画像が表示された図、(c)はスマートフォンに正距円筒射影画像における所定領域画像を示した図である。 第1の実施形態に係る連携撮影処理の変形例を示したシーケンス図である。 本発明の第2の実施形態に係る画像通信システムの概略図である。 画像管理サーバのハードウェア構成図である。 第2の実施形態に係る画像通信システムの機能ブロック図である。 第2の実施形態に係るファイルデータの通信処理を示したシーケンス図である。 狭角画像データに対する照合処理を示したフローチャートである。
以下、図面を用いて、本発明の実施形態について説明する。
〔実施形態の概要〕
以下、本実施形態の概要について説明する。
まずは、図1乃至図7を用いて、全天球画像の生成方法について説明する。
まず、図1を用いて、全天球撮影装置1の外観を説明する。全天球撮影装置1は、全天球(360°)パノラマ画像の元になる撮影画像を得るためのデジタルカメラである。なお、図1(a)は全天球撮影装置の左側面図であり、図1(b)は全天球撮影装置の背面図であり、図1(c)は全天球撮影装置の平面図であり、図1(d)は全天球撮影装置の底面図である。
図1(a),図1(b),図1(c),図(d)に示されているように、全天球撮影装置1の上部には、正面側(前側)に魚眼型のレンズ102a及び背面側(後側)に魚眼型のレンズ102bが設けられている。全天球撮影装置1の内部には、後述の撮像素子(画像センサ)103a,103bが設けられており、それぞれレンズ102a、102bを介して被写体や風景を撮影することで、半球画像(画角180°以上)を得ることができる。全天球撮影装置1の正面側と反対側の面には、シャッターボタン115aが設けられている。また、全天球撮影装置1の側面には、電源ボタン115b、Wi-Fi(Wireless Fidelity)ボタン115c、及び撮影モード切替ボタン115dが設けられている。電源ボタン115b、及びWi-Fiボタン115cは、いずれも押下される度に、オンとオフが切り替えられる。また、撮影モード切替ボタン115dは、押下される度に、静止画の撮影モードと動画の撮影モードが切り替えられる。なお、シャッターボタン115a、電源ボタン115b、Wi-Fiボタン115c、及び撮影モード切替ボタン115dは、操作部115の一部であり、操作部115は、これらのボタンに限られない。
また、全天球撮影装置1の底部150の中央には、カメラ用三脚に全天球撮影装置1を取り付けるための三脚ねじ穴151が設けられている。また、底部150の左端側には、Micro USB(Universal Serial Bus)端子152が設けられている。底部150の右端側には、HDMI(High-Definition Multimedia Interface)端子153が設けられている。なお、HDMIは登録商標である。
次に、図2を用いて、全天球撮影装置1の使用状況を説明する。なお、図2は、全天球撮影装置の使用イメージ図である。全天球撮影装置1は、図2に示されているように、例えば、利用者が手に持って利用者の周りの被写体を撮影するために用いられる。この場合、図1に示されている撮像素子103a及び撮像素子103bによって、それぞれ利用者の周りの被写体が撮像されることで、2つの半球画像を得ることができる。
次に、図3及び図4を用いて、全天球撮影装置1で撮影された画像から正距円筒射影画像EC及び全天球画像CEが作成されるまでの処理の概略を説明する。なお、図3(a)は全天球撮影装置1で撮影された半球画像(前側)、図3(b)は全天球撮影装置で撮影された半球画像(後側)、図3(c)は正距円筒図法により表された画像(以下、「正距円筒射影画像」という)を示した図である。図4(a)は正距円筒射影画像で球を被う状態を示した概念図、図4(b)は全天球画像を示した図である。
図3(a)に示されているように、撮像素子103aによって得られた画像は、後述の魚眼レンズ102aによって湾曲した半球画像(前側)となる。また、図3(b)に示されているように、撮像素子103bによって得られた画像は、後述の魚眼レンズ102bによって湾曲した半球画像(後側)となる。そして、半球画像(前側)と、180度反転された半球画像(後側)とは、全天球撮影装置1によって合成され、図3(c)に示されているように、正距円筒射影画像ECが作成される。
そして、OpenGL ES(Open Graphics Library for Embedded Systems)が利用されることで、図4(a)に示されているように、正距円筒射影画像が球面を覆うように貼り付けられ、図4(b)に示されているような全天球画像CEが作成される。このように、全天球画像CEは、正距円筒射影画像ECが球の中心を向いた画像として表される。なお、OpenGL ESは、2D(2-Dimensions)および3D(3-Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。なお、全天球画像CEは、静止画であっても動画であってもよい。また、正距円筒射影画像を立体球CSに貼り付ける例を示したが、立体球CSだけでなく、立方体や角柱であってもよい。
以上のように、全天球画像CEは、球面を覆うように貼り付けられた画像であるため、人間が見ると、歪みがあり違和感を持ってしまう。そこで、全天球画像CEの一部の所定領域(以下、「所定領域画像」という)を湾曲の少ない平面画像として表示することで、人間に違和感を与えない表示をすることができる。これに関して、図5及び図6を用いて説明する。
なお、図5は、全天球画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。仮想カメラICは、三次元の立体球として表示されている全天球画像CEに対して、その画像を見るユーザの視点の位置に相当するものである。また、図6(a)は図5の立体斜視図、図6(b)はディスプレイに表示された場合の所定領域画像を表す図である。また、図6(a)では、図4に示されている全天球画像CEが、三次元の立体球CSに貼り付けられて表わされている。このように生成された全天球画像CEが、立体球CSに貼り付けられた場合には、図5に示されているように、仮想カメラICが全天球画像CEの内部に位置している。全天球画像CEにおける所定領域Tは、仮想カメラICの撮影領域であり、全天球画像CEを含む三次元の仮想空間における仮想カメラICの撮影方向と画角を示す所定領域情報によって特定される。
そして、図6(a)に示されている所定領域画像Qは、図6(b)に示されているように、所定のディスプレイに、仮想カメラICの撮影領域の画像として表示される。図6(b)に示されている画像は、初期設定(デフォルト)された所定領域情報によって表された所定領域画像である。以下では、仮想カメラICの撮影方向(θ,φ)と画角(α)を用いて説明する。なお、撮影方向は視線方向ともいう。
図7を用いて、所定領域情報と所定領域Tの画像の関係について説明する。なお、図7は、所定領域情報と所定領域Tの画像との関係を示した図である。図7に示されているように、「θ」は仮想カメラICの撮影方向におけるパン角、「φ」は仮想カメラICの撮影方向におけるチルト角、「α」は画角(Angle)を示す。更に、「W」は所定領域Tの幅、「H」は所定領域Hの高さを示す。即ち、撮影方向(θ,φ)で示される仮想カメラICの注視点が、仮想カメラICの撮影領域である所定領域Tの中心点CPとなるように、仮想カメラICの姿勢を変更することになる。所定領域画像Qは、全天球画像CEにおける所定領域Tの画像である。fは仮想カメラICから中心点CPまでの距離である。Lは所定領域Tの任意の頂点と中心点CPとの距離である(2Lは対角線)。そして、図7では、一般的に以下の(式1)で示される三角関数が成り立つ。
L/f=tan(α/2)・・・(式1)
●第1の実施形態
続いて、図8乃至図17を用いて、本発明の第1の実施形態について説明する。
〔画像通信システムの構成の概略〕
まずは、図8を用いて、第1の実施形態に係る画像通信システムの構成の概略について説明する。図8は、第1の実施形態に係る画像通信システムの概略図である。
図8に示されているように、本実施形態の画像通信システムは、全天球撮影装置1、及びスマートフォン3によって構築されている。全天球撮影装置1とスマートフォン3は、Wi-Fi、Bluetooth(登録商標)、NFC(Near Field Communication)等の近距離無線通信技術を利用して無線通信することができる。なお、全天球撮影装置1とスマートフォン3は、無線通信を行わずに、USB(Universal Serial Bus)ケーブル等を用いて、有線通信を行ってもよい。
これらのうち、全天球撮影装置1は、上述のように、被写体や風景等を撮影して正距円筒射影画像の元になる2つの半球画像を得るための特殊なデジタルカメラである。なお、全天球撮影装置1は、広角撮影装置の一例である。広角撮影装置には、一般の広角な平面画像(2Dパノラマ画像等)を得るための撮影装置(一眼レフカメラ、コンパクトデジタルカメラ、スマートフォン、タブレットPC等)も含まれる。但し、本実施形態では、主に正距円筒射影画像を得るためのデジタルカメラとしての全天球撮影装置1について説明する。
また、正距円筒射影画像は、広角画像の一例である。広角画像には、正距円筒射影画像、上記一般の広角な平面画像も含まれる。ここで、広角画像は、一般には広角レンズを用いて撮影された画像であり、人間の目で感じるよりも広い範囲を撮影することができるレンズで撮影されたものである。また、一般的に35mmフィルム換算で35mm以下の焦点距離のレンズで、撮影された画像を意味するが、本実施形態では、広角画像は、スマートフォン3で撮影されることで得られた画像(狭角画像)よりも広角に撮影されていればよい。
一方、スマートフォン3は、利用者Aが利用するモバイル向けOS(Operating System)を備えた携帯電話である。スマートフォン3は、後述のCMOS313等の撮像素子を備えており、被写体等を撮像することができる。スマートフォン3の撮影範囲は、全天球撮影装置1よりも狭角である。その意味で、全天球撮影装置1が広角撮影装置の一例であるのに対して、スマートフォン3は狭角撮影装置の一例である。狭角撮影装置には、スマートフォン3の他に、PC、スマートウォッチ、表示アプリケーションがインストールされているディスプレイ、ゲーム機、カーナビゲーション装置、ウェアラブル端末などが含まれる。
また、スマートフォン3は、全天球撮影装置1が被写体等を撮影した後に作成した正距円筒射影画像ECのデータを無線通信等で受信して、この正距円筒射影画像ECの所定領域Tである所定領域画像Qを表示する。その意味で、スマートフォン3は、通信端末の一例であり、表示装置の一例でもある。
〔実施形態のハードウェア構成〕
次に、図9及び図10を用いて、本実施形態の全天球撮影装置1及びスマートフォン3のハードウェア構成を詳細に説明する。
<全天球撮影装置のハードウェア構成>
まず、図9を用いて、全天球撮影装置1のハードウェア構成を説明する。図9は、全天球撮影装置1のハードウェア構成図である。以下では、全天球撮影装置1は、2つの撮像素子を使用した全天球(全方位)全天球撮影装置とするが、撮像素子は2つ以上いくつでもよい。また、必ずしも全方位撮影専用の装置である必要はなく、通常のデジタルカメラ等に後付けの全方位の撮像ユニットを取り付けることで、実質的に全天球撮影装置1と同じ機能を有するようにしてもよい。
図9に示されているように、全天球撮影装置1は、撮像ユニット101、画像処理ユニット104、撮像制御ユニット105、マイク108、音処理ユニット109、CPU(Central Processing Unit)111、ROM(Read Only Memory)112、SRAM(Static Random Access Memory)113、DRAM(Dynamic Random Access Memory)114、操作部115、ネットワークI/F116、通信部117、アンテナ117a、電子コンパス118、ジャイロセンサ119、加速度センサ120、及び端子121によって構成されている。
このうち、撮像ユニット101は、各々半球画像を結像するための180°以上の画角を有する広角レンズ(いわゆる魚眼レンズ)102a,102bと、各広角レンズに対応させて設けられている2つの撮像素子103a,103bを備えている。撮像素子103a,103bは、魚眼レンズ102a,102bによる光学像を電気信号の画像データに変換して出力するCMOS(Complementary Metal Oxide Semiconductor)センサやCCD(Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。
撮像ユニット101の撮像素子103a,103bは、各々、画像処理ユニット104とパラレルI/Fバスで接続されている。一方、撮像ユニット101の撮像素子103a,103bは、撮像制御ユニット105とは、シリアルI/Fバス(I2Cバス等)で接続されている。画像処理ユニット104、撮像制御ユニット105及び音処理ユニット109は、バス110を介してCPU111と接続される。さらに、バス110には、ROM112、SRAM113、DRAM114、操作部115、ネットワークI/F116、通信部117、及び電子コンパス118なども接続される。
画像処理ユニット104は、撮像素子103a,103bから出力される画像データをパラレルI/Fバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、図3(c)に示されているような正距円筒射影画像のデータを作成する。
撮像制御ユニット105は、一般に撮像制御ユニット105をマスタデバイス、撮像素子103a,103bをスレーブデバイスとして、I2Cバスを利用して、撮像素子103a,103bのレジスタ群にコマンド等を設定する。必要なコマンド等は、CPU111から受け取る。また、撮像制御ユニット105は、同じくI2Cバスを利用して、撮像素子103a,103bのレジスタ群のステータスデータ等を取り込み、CPU111に送る。
また、撮像制御ユニット105は、操作部115のシャッターボタンが押下されたタイミングで、撮像素子103a,103bに画像データの出力を指示する。全天球撮影装置1によっては、ディスプレイ(例えば、スマートフォン3のディスプレイ318)によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子103a,103bからの画像データの出力は、所定のフレームレート(フレーム/分)によって連続して行われる。
また、撮像制御ユニット105は、後述するように、CPU111と協働して撮像素子103a,103bの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、全天球撮影装置1にはディスプレイが設けられていないが、表示部を設けてもよい。
マイク108は、音を音(信号)データに変換する。音処理ユニット109は、マイク108から出力される音データをI/Fバスを通して取り込み、音データに対して所定の処理を施す。
CPU111は、全天球撮影装置1の全体の動作を制御すると共に必要な処理を実行する。ROM112は、CPU111のための種々のプログラムを記憶している。SRAM113及びDRAM114はワークメモリであり、CPU111で実行するプログラムや処理途中のデータ等を記憶する。特にDRAM114は、画像処理ユニット104での処理途中の画像データや処理済みの正距円筒射影画像のデータを記憶する。
操作部115は、シャッターボタン115aなどの操作ボタンの総称である。ユーザは操作部115を操作することで、種々の撮影モードや撮影条件などを入力する。
ネットワークI/F116は、SDカード等の外付けのメディアやパーソナルコンピュータなどとのインターフェース回路(USBI/F等)の総称である。また、ネットワークI/F116としては、無線、有線を問わない。DRAM114に記憶された正距円筒射影画像のデータは、このネットワークI/F116を介して外付けのメディアに記録されたり、必要に応じてネットワークI/F116を介してスマートフォン3等の外部端末(装置)に送信されたりする。
通信部117は、全天球撮影装置1に設けられたアンテナ117aを介して、Wi-Fi、NFC、Bluetooth等の近距離無線通信技術によって、スマートフォン3等の外部端末(装置)と通信を行う。この通信部117によっても、正距円筒射影画像のデータをスマートフォン3等の外部端末(装置)に送信することができる。
電子コンパス118は、地球の磁気から全天球撮影装置1の方位を算出し、方位情報を出力する。この方位情報はExifに沿った関連情報(メタデータ)の一例であり、撮影画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮影日時、及び画像データのデータ容量の各データも含まれている。
ジャイロセンサ119は、全天球カメラ20の移動に伴う角度の変化(Roll角、Pitch角、Yaw角)を検出するセンサである。角度の変化はExifに沿った関連情報(メタデータ)の一例であり、撮像画像の画像補正等の画像処理に利用される。
加速度センサ120は、3軸方向の加速度を検出するセンサである。全天球撮影装置1は、加速度センサ120が検出した加速度に基づいて、自装置(全天球撮影装置1)の姿勢(重力方向に対する角度)を算出する。全天球撮影装置1に、ジャイロセンサ119と加速度センサ120の両方が設けられることによって、画像の傾きを補正する精度が向上する。
端子121は、Micro USB用の凹状の端子である。端子121は、有線通信する場合に利用される。
<スマートフォンのハードウェア構成>
次に、図10を用いて、スマートフォンのハードウェア構成を詳細に説明する。図10は、スマートフォンのハードウェア構成図である。
図10に示されているように、スマートフォン3は、CPU301、ROM302、RAM303、EEPROM304、CMOSセンサ305、撮像素子I/F306、加速度・方位センサ307、メディアI/F309、GPS受信部311を備えている。
これらのうち、CPU301は、スマートフォン3全体の動作を制御する。ROM302は、CPU301やIPL等のCPU301の駆動に用いられるプログラムを記憶する。RAM303は、CPU301のワークエリアとして使用される。EEPROM304は、CPU301の制御にしたがって、スマートフォン用プログラム等の各種データの読み出し又は書き込みを行う。CMOS(Complementary Metal Oxide Semiconductor)センサ305は、CPU301の制御に従って被写体(主に自画像)を撮像して画像データを得る内蔵型の撮像手段の一種である。なお、CMOSセンサではなく、CCD(Charge Coupled Device)センサ等の撮像手段であってもよい。撮像素子I/F306は、CMOSセンサ305の駆動を制御する回路である。加速度・方位センサ307は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。メディアI/F309は、フラッシュメモリ等の記録メディア308に対するデータの読み出し又は書き込み(記憶)を制御する。GPS受信部311は、GPS衛星からGPS信号を受信する。
また、スマートフォン3は、遠距離通信回路312、CMOSセンサ313、撮像素子I/F314、マイク315、スピーカ316、音入出力I/F317、ディスプレイ318、外部機器接続I/F(Interface)319、近距離通信回路320、近距離通信回路320のアンテナ320a、及びタッチパネル321を備えている。
これらのうち、遠距離通信回路312は、通信ネットワーク100を介して、他の機器と通信する回路である。CMOSセンサ313は、CPU301の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子I/F314は、CMOSセンサ313の駆動を制御する回路である。マイク315は、音を電気信号に変える内蔵型の回路である。スピーカ316は、電気信号を物理振動に変えて音楽や音声などの音を生み出す内蔵型の回路である。音入出力I/F317は、CPU301の制御に従ってマイク315及びスピーカ316との間で音信号の入出力を処理する回路である。ディスプレイ318は、被写体の画像や各種アイコン等を表示する液晶や有機EL(Electro Luminescence)などの表示手段の一種である。外部機器接続I/F319は、各種の外部機器を接続するためのインターフェースである。近距離通信回路320は、NFC(Near Field Communication)やBluetooth(登録商標)等の通信回路である。タッチパネル321は、利用者がディスプレイ318を押下することで、スマートフォン3を操作する入力手段の一種である。
また、スマートフォン3は、バスライン310を備えている。バスライン310は、図10に示されているCPU301等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
〔実施形態の機能構成〕
次に、図9乃至図11を用いて、本実施形態の機能構成について説明する。図11は、第1の実施形態に係る画像通信システムの機能ブロック図である。
<全天球撮影装置の機能構成>
図11に示されているように、全天球撮影装置1は、受付部12、撮影部13、集音部14、判断部15、画像・音処理部16、通信部18、及び記憶・読出処理部19を有している。これら各部は、図9に示されている各構成要素のいずれかが、SRAM113からDRAM114上に展開された撮影装置用のプログラムに従ったCPU111からの命令によって動作することで実現される機能又は手段である。
また、全天球撮影装置1は、図9に示されているROM112、SRAM113、及びDRAM114によって構築される記憶部1000を有している。
(全天球撮影装置1の各機能構成)
次に、図9及び図11を用いて、全天球撮影装置1の各機能構成について更に詳細に説明する。
全天球撮影装置1の受付部12は、主に、図9に示されている操作部115に対するCPU111の処理によって実現され、利用者からの操作入力を受け付ける。
撮影部13は、主に、図9に示されている撮像ユニット101、画像処理ユニット104、及び撮像制御ユニット105に対するCPU111の処理によって実現され、風景等を撮像し、撮影画像データを得る。この撮影画像データは、図3(a)、(b)に示されている2つの半球画像データである。
集音部14は、主に、図9に示されている音処理ユニット109に対するCPU111の処理によって実現され、全天球撮影装置1の周囲の音を収音する。
判断部15は、CPU111の処理によって実現され、各種判断を行う。
画像・音処理部16は、画像処理ユニット104に対するCPU111の処理によって実現され、図3(a)、(b)に示されているような2つの半球画像から、図3(c)に示されているような正距円筒射影画像ECを作成する。また、画像・音処理部16は、音処理ユニット109に対するCPU111の処理によって実現され、集音により得られた音信号から音データを作成する。
通信部18は、主に、通信部117に対するCPU111の処理によって実現され、近距離無線通信によって、後述のスマートフォン3の通信部38とデータ通信を行う。なお、有線通信の場合には、通信部18は、端子121に対するCPU111の処理によって実現され、スマートフォン3からの電源供給を受けると共に、データ通信を行う。
記憶・読出処理部19は、主に、図9に示されているCPU111の処理によって実現され、記憶部1000に各種データ(または情報)を記憶したり、記憶部1000から各種データ(または情報)を読み出したりする。
<スマートフォンの機能構成>
次に、図10及び図11を用いて、スマートフォン3の機能構成について詳細に説明する。図11に示されているように、スマートフォン3は、送受信部31、受付部32、撮影部33、集音部34、判断部35、画像・音処理部36、表示制御部37、通信部38、及び記憶・読出処理部39を有している。これら各部は、図10に示されている各構成要素のいずれかが、EEPROM304からRAM303上に展開されたスマートフォン3用プログラムに従ったCPU301からの命令によって動作することで実現される機能又は手段である。
また、スマートフォン3は、図10に示されているRAM303及びEEPROM304によって構築される記憶部3000を有している。
(スマートフォンの各機能構成)
スマートフォン3の送受信部31は、主に、遠距離通信回路312に対するCPU301の処理によって実現され、インターネット等の通信ネットワークを介して、他の装置(例えば、後述の画像管理サーバ5)との間で各種データ(または情報)の送受信を行う。
受付部32は、主に、タッチパネル321に対するCPU301の処理によって実現され、利用者から各種の選択又は入力を受け付ける。
撮影部33は、主に、撮像素子I/F306を介してCMOS305又は撮像素子I/F314を介してCMOS313に対するCPU301の処理によって実現され、被写体等を撮像し、撮影画像データを得る。この撮影画像は、上記狭角画像の一例である。
集音部34は、主に、音入出力I/F317を介してマイク315に対するCPU301の処理によって実現され、スマートフォン3の周囲の音を収音する。
判断部35は、主に、CPU301の処理によって実現され、各種判断を行なう。判断内容は後述する。
画像・音処理部36は、CPU111の処理によって実現され、撮像素子I/F306を介してCMOS305又は撮像素子I/F314を介してCMOS313又から取得した画像データに対する画像処理を行う。また、画像・音処理部36は、全天球撮影装置1から送られて来た正距円筒射影画像ECに対する画像処理を行う。また、画像・音処理部36は、CPU111の処理によって実現され、マイク315による集音により得られた音信号から音データを作成する。更に、画像・音処理部36は、全天球撮影装置1から送られて来た音データを音信号に変換して音入出力I/F317を介してスピーカ316から音を出力さる。
表示制御部37は、主に、CPU301の処理によって実現され、ディスプレイ318に、各種画像を表示させる。具体的な処理は後述する。
通信部38は、主に、近距離通信回路320に対するCPU301の処理によって実現され、全天球撮影装置1の通信部18とデータ通信を行う。なお、有線通信の場合には、通信部38は、外部機器接続I/F319に対するCPU301の処理によって、全天球撮影装置1に対して通信ケーブルを介することで、電源供給を行ったり画像データ等の通信を行ったりする。
記憶・読出処理部39は、主に、CPU301の処理によって実現され、記憶部3000に、各種データ(または情報)を記憶したり、記憶部3000から各種データ(または情報)を読み出したりする。
〔実施形態の処理又は動作〕
<連携撮影処理>
まずは、図12を用いて、スマートフォン3と全天球撮影装置1が連携撮影する処理について説明する。図12は、第1の実施形態に係る連携撮影処理を示したシーケンス図である。図13において、(a)は撮影開始時のスマートフォンの画面例を示す図、(b)は連携開始時のスマートフォンの画面例を示す図である。なお、図12に示す処理に先立って、スマートフォン3と全天球撮影装置1との通信接続は、Wi-Fi及びBluetoothにより確立しているものとする。
まず、図13(a)に示されているように、利用者Aが被写体にスマートフォン3のCMOS313側を向けると、図13(a)に示されているように、表示制御部37は、ディスプレイ318上に撮影準備中(撮影モニタリング中)の映像を表す撮影準備画面を表示する。この撮影準備画面には、ディスプレイ318の下部に、撮影開始ボタン331が含まれている。そして、利用者Aが撮影開始ボタン331を押下することにより、スマートフォン3の受付部32は撮影の開始を受け付ける(S1)。これにより、撮影部33は被写体等を撮影し、画像・音処理部36が狭角画像データを作成する(S2)。この撮影によって作成された狭角画像データは、記憶・読出処理部39によって記憶部3000に記憶される。なお、この場合、集音部34が音を集音して音データを作成することで、狭角画像データに関連付けてもよい。
次に、表示制御部37は、ディスプレイ318の上部及び中央部に撮影後の画像を表示させると共に、ディスプレイ318の下部に、「この画像を使用」ボタン341及び「再撮影」ボタン342を表した確認画面を表示する(S3)。「この画像を使用」ボタン341は、利用者Aが、現在表示中の画像を全天球撮影装置1との連携撮影に使う場合に、利用者によって押下されるボタンである。また、「再撮影」ボタン342は、利用者Aが、現在表示中の画像を全天球撮影装置1との連携撮影に使わないで、再び図13(a)の撮影準備画面に戻したい場合に、利用者Aによって押下されるボタンである。なお、「この画像を使用」ボタン341の表示文字は、「この画像を使用」ではなく、連携撮影が開始される旨を表してもよい。
次に、利用者Aが「この画像を使用」ボタン341を押下した場合には、スマートフォン3の受付部32は、連携撮影を受け付ける(S4)。そして、スマートフォン3の撮影部33が所定時間待機する(S5)。例えば、所定時間は3秒間である。また、ステップS2の撮影の処理において、利用者A自身が被写体となっていた場合、この待機時間によって、利用者Aは、全天球撮影装置1を持ち直すか又はスマートフォン3から全天球撮影装置1に持ち替えるための準備時間を設けることができる。例えば、スマートフォン3と全天球撮影装置1とが比較的離れている場合、利用者Aがスマートフォン3で特定の被写体を撮影した後、利用者Aは3秒間で全天球撮影装置1に対して背中を向けることで、全天球撮影装置1で利用者Aの顔を撮影されないようにすることができる。
次に、スマートフォン3の通信部38が、全天球撮影装置1に対して、撮影開始の要求を示す撮影要求情報を、Bluetoothを利用して送信する(S6)。これにより、全天球撮影装置1の通信部18は、撮影要求情報を受信する。そして、全天球撮影装置1では、撮影部13が風景等を撮影することで2つの半球画像データを得て、画像・音処理部16が2つの半球画像データから正距円筒射影画像データとしての広角画像データを作成する(S7)。
次に、全天球撮影装置1の通信部18は、スマートフォン3に対して、ステップS7で得られた広角画像データを、Wi-Fiを利用して送信する(S8)。これにより、スマートフォン3の通信部38は、広角画像データを受信する。なお、ステップS6の送受信に利用するBluetoothは第1の通信方式の一例であり、ステップS8の送受信に利用するWi-Fiは、第2の通信方式の一例である。
上記ステップS4~S8の処理により、スマートフォン3では、自端末では撮影により得ることができない広角画像データを取得することができる。また、スマートフォン3と全天球撮影装置1の間で撮影の連携処理を行うことで、撮影タイミングを同期させることができる。
次に、スマートフォン3の画像・音処理部36が、ステップS2で得られた狭角画像データとステップS8で得られた広角画像データとを一つの電子ファイルに格納して、記憶・読出処理部39が、この一つの電子ファイルのデータを記憶部3000に記憶する(S9)。そして、スマートフォン3は、ディスプレイ318に対して、狭角画像及び広角画像の表示の処理を行う(S10)。
<表示の処理>
ここで、図14及び図16を用いて、ステップS10の表示の処理について詳細に説明する。図14は、第1の実施形態に係る所定領域画像の表示処理を示したフローチャートである。図15は、正距円筒射影画像と所定領域画像の関係を示した図である。図16(a)は、平面画像の表示時間と正距円筒射影画像における所定領域である所定領域画像の表示時間を示した図、(b)はスマートフォンに平面画像が表示された図、(c)はスマートフォンに正距円筒射影画像における所定領域画像を示した図である。
まず、スマートフォン3の記憶・読出処理部39は、上記ステップS9で記憶部3000に記憶しておいた電子ファイルのデータを読み出す(S31)。ここで、図15を用いて、
電子ファイルに格納されている正距円筒射影画像と、この正距円筒射影画像の所定領域を示す所定領域画像の関係を説明する。図15は、正距円筒射影画像と所定領域画像の関係を示した図である。図15に示されているように、広角画像の一例としての正距円筒射影画像EC1は、始端BE1から終端TE1までが、仮想カメラICの撮影方向におけるパン角θで表され(図7参照)、全範囲として0≦θ<360で表される。そして、所定領域画像Q11は、正距円筒射影画像EC1におけるディスプレイ318への表示範囲DRとしての最初の所定領域である。このように、広角画像としての正距円筒射影画像EC1におけるディスプレイ318への表示範囲DRとして表示される所定領域画像Qは、パン角θで表すことができる。
次に、図14に戻り、記憶・読出処理部39が、記憶部3000に記憶されている表示設定情報を読み出す(S32)。この表示設定情報には、狭角画像の表示時間、広角画像におけるディスプレイ318への表示可能範囲、及び広角画像において表示範囲DRが移動することで最後まで全ての異なる所定領域画像の表示が完了するまでの表示時間が含まれている。この表示設定情報は、予め利用者A等によってスマートフォン3に設定されている。この場合、狭角画像の表示後に広角画像における所定領域画像を最後まで必ず表示するために、0秒よりも長い時間が入力されたときのみ、スマートフォン3が表示時間を受け付ける。例えば、狭角画像の表示時間が1.0秒、広角画像の表示可能範囲が360度、広角画像において表示範囲DRが移動することで最後まで全ての異なる所定領域画像の表示が完了するまでの表示時間が1.8秒として、表示設定情報が設定される。
次に、図16(b)に示されているように、表示制御部37が、ディスプレイ318上にステップS31で読み出された電子ファイル内の狭角画像データに係る平面画像P(狭角画像)の全体を所定時間表示する(S33)。所定時間は、上記狭角画像の表示時間(例えば、1.0秒間)である。この場合、図16(a)に示されているように、平面画像Pとしての狭角画像は、t0からt1まで(例えば、1.0秒間)表示される。
次に、記憶・読出処理部39が記憶部3000に記憶されている所定領域T(図6(a)参照)を示す所定領域情報を読み出す(S34)。この所定領域情報は、所定領域Tの中心点CP及び画角αを示している(図7参照)。所定領域T及び画角αは、予め利用者A等によってスマートフォン3に設定されている。
次に、表示制御部37が、任意の所定領域Tにおける所定領域画像の表示継続時間を算出する(S35)。例えば、表示制御部37は、ステップS32で読み出された表示設定情報に基づき、1.8秒/360度 = 0.005秒(5ミリ秒)として表示継続時間を算出する。これにより、表示範囲DRは、0.005秒間隔でθを1°ごと移動して順次異なる所定領域画像が表示されることになる。
そして、表示制御部37は、図16(c)に示されているように、平面画像Pとしての狭角画像と同じアスペクト比によって、ディスプレイ318上に最初の表示範囲DRにおける所定領域画像Q11を表示する(S36)。この場合、図16(a)に示されているように、表示範囲DRにおける移動方向の後端r11が、正距円筒射影画像EC1としての広角画像の始端BE1に位置している。
次に、表示制御部37は、広角画像内で、上記算出した表示継続時間(例えば、0.005秒)後に、所定角度(例えば、θ=1°)、表示範囲DRを移動してディスプレイ318上に表示範囲DR内の所定領域画像を表示する(S37)。移動方向は、図16(a)において矢印方向(右方向)である。ここでは、矢印方向は、全天球画像における赤道と並行な方向である。
次に、判断部35は、表示範囲DRにおける移動方向の先端a11が正距円筒射影画像としての広角画像の終端TE1に到達したかを判断する(S38)。そして、到達していない場合には(S38;NO)、ステップS37の処理に戻り、再び、表示制御部37は、広角画像内で、上記算出した表示継続時間後に、所定角度、表示範囲DRを移動してディスプレイ318上に異動後の表示範囲DR内の所定領域画像を表示する。このステップS37,S38の処理を繰り返すことで、図16(a)において、表示範囲DRが矢印方向に移動し、最終的に表示範囲DRの先端a11が、正距円筒射影画像EC11としての広角画像の終端TE1に到達する。
そして、表示範囲DRの先端a11が正距円筒射影画像EC11としての広角画像の終端TE1に到達した場合には(S38;YES)、ステップS10の表示の処理が終了すると共に、図12に示された連携撮影処理が全て終了する。このように、表示制御部37は、広角画像の全域に渡って表示範囲DRを移動させることで異なる複数の所定領域画像を表示する。なお、表示制御部37は、広角画像の一部の領域に渡って表示範囲DRを移動させてもよい。
〔本実施形態の主な効果〕
以上説明したように本実施形態によれば、表示制御部37は、図16に示されているように、最初にスマートフォン3で撮影することで得られた狭角画像を所定時間表示させ、続けて全天球撮影装置1で連携撮影することで得られた広角画像内において表示範囲DRを移動させながら異なる所定領域画像を順に表示する。これにより、狭角画像の閲覧者は、狭角画像に映し出された被写体等を見ただけでは、どのような場所のどのような状況で撮影された画像であるかが分からなくても、次々に表示された異なる所定領域画像を見ることで、場所や状況を把握し易くなるという効果を奏する。
また、表示制御部37は、正距円筒射影画像EC1内の各所定領域Tを動画のフレームデータとして動画再生するのではなく、正距円筒射影画像EC1内の所定領域Tで示される所定領域画像をずらしながら表示する。これにより、本実施形態では、動画の符号化処理をせずに、正距円筒射影画像EC1内の各所定領域Tを動画のように連続的に表示することができるため、符号化処理による負荷を軽減することができるという効果を奏する。
〔変形例〕
続いて、図17を用いて、図12で示された第1の実施形態に係る連携撮影処理の変形例を説明する。図17は、第1の実施形態に係る連携撮影処理の変形例を示したシーケンス図である。図12では、スマートフォン3側で撮影を開始することが全天球撮影装置1側に連携されていたが、図17では、全天球撮影装置1側で撮影を開始することがスマートフォン3側に連携される。以下、詳細に説明する。なお、図12に示す処理に先立って、スマートフォン3と全天球撮影装置1との通信接続は、Wi-Fi及びBluetoothにより確立しているものとする。
まず、全天球撮影装置1受付部12は、利用者Aから撮影の開始を受け付ける(S11)。これにより、撮影部13は風景等を撮影することで2つの半球画像データを得て、画像・音処理部16が2つの半球画像データから正距円筒射影画像データとしての広角画像データを作成する(S12)。なお、この場合、集音部14が音を集音して音データを作成することで、広角画像データに関連付けてもよい。
次に、全天球撮影装置1の撮影部13が所定時間待機する。例えば、所定時間は3秒間である。また、ステップS12の撮影の処理において、利用者A自身が被写体となっていた場合、この待機時間によって、利用者Aは、スマートフォン3を持ち直すか又は全天球撮影装置1からスマートフォン3に持ち替えるための準備時間を設けることができる。
次に、全天球撮影装置1の通信部18が、スマートフォン3に対して、撮影開始の要求を示す撮影要求情報を、Bluetoothを利用して送信する(S14)。これにより、スマートフォン3の通信部38は、撮影要求情報を受信する。そして、スマートフォン3では、撮影部33が被写体等を撮影し、画像・音処理部36が狭角画像データを作成する(S15)。
次に、全天球撮影装置1の通信部18は、スマートフォン3に対して、ステップS12で得られた広角画像データを、Wi-Fiを利用して送信する(S16)。これにより、スマートフォン3の通信部38は、広角画像データを受信する。なお、ステップS14の送受信に利用するBluetoothは第1の通信方式の一例であり、ステップS16の送受信に利用するWi-Fiは、第2の通信方式の一例である。
上記ステップS11~S16の処理により、スマートフォン3では、自端末では撮影により得ることができない広角画像データを取得することができる。また、スマートフォン3と全天球撮影装置1の間で撮影の連携処理を行うことで、撮影タイミングを同期させることができる。
次に、スマートフォン3の画像・音処理部36が、ステップS15で得られた狭角画像データとステップS16で得られた広角画像データとを一つの電子ファイルに格納して、記憶・読出処理部39が、この一つの電子ファイルのデータを記憶部3000に記憶する(S17)。そして、スマートフォン3は、ディスプレイ318に対して、狭角画像及び広角画像の表示の処理を行う(S18)。なお、ステップS18の処理は、図12のステップS10及び図14の処理と同様であるため、説明を省略する。
〔変形例の主な効果〕
以上説明したように第1の実施形態の変形例によれば、利用者Aがスマートフォン3から離れた場所を視認した上で、全天球撮影装置1からスマートフォン3に広角画像データを送信することが可能になる。船内パーティの撮影を例にとれば、利用者Aはスマートフォン3を船内にいる他人にあずけて撮影範囲を指示しておき、利用者A本人は、全天球撮影装置1を持って、船上に出る。そして、利用者Aが所望する撮影のタイミング(例えば、船が橋にさしかかったタイミング)で船外の風景を撮影する。これにより、利用者Aは風景等を見ながら撮影するタイミングを待っておき、所望する撮影タイミングで全天球撮影装置1による撮影を行うことができると共に、全天球撮影装置1での撮影を契機として、離れた場所のスマートフォンに対しても連携して撮影を行わせることができる。なお、この場合、利用者Aが全天球撮影装置1を船外に持ち出したが、全天球撮影装置1を船内に置き、スマートフォン3を船上に持ち出してもよい。この場合、船上で狭角画像データを得ることになるため、周囲の全風景ではなく、利用者の心に留まった一部のシーン(例えば、船上から見た船内パーティのシーン)を確認して撮影したい場合に有効になる。
●第2の実施形態
続いて、図18乃至図22を用いて、本発明の第2の実施形態について説明する。
〔画像通信システムの構成の概略〕
まずは、図18を用いて、第2の実施形態に係る画像通信システムの構成の概略について説明する。図18は、第2の実施形態に係る画像通信システムの概略図である。第2の実施形態では、図8に示されているシステム構成に対して、更に、画像管理サーバ5及びアクセスポイント7が追加されている。
第1の実施形態では、スマートフォン3は全天球撮影装置1とWi-Fiによってデータ通信を行っていた。これに対して、第2の実施形態では、スマートフォン3と画像管理サーバ5との間のデータ授受を仲介するために、別途アクセスポイント7が追加されている。スマートフォン3は、全天球撮影装置1との通信をアクセスポイント7へ切り替えることにより、画像管理サーバ5とデータ通信することができる。これにより、画像管理サーバ5は、アクセスポイント7を介して、スマートフォン3とデータ通信を行うことができる。画像管理サーバ5は、コンピュータによって構成されている。なお、画像管理サーバ5は、単一コンピュータによって構成されてもよいし、複数のコンピュータによって構成されてもよい。
〔実施形態のハードウェア構成〕
次に、図19を用いて、本実施形態の画像管理サーバ5のハードウェア構成を詳細に説明する。なお、撮影装置1とスマートフォン3のハードウェア構成は、第1の実施形態と同様であるため、これらの説明を省略する。なお、アクセスポイント7は、汎用性のある一般のアクセスポイントであるため、ハードウェア構成の説明を省略する。
<画像管理サーバのハードウェア構成>
図19は、画像管理サーバ5のハードウェア構成図である。画像管理サーバ5は、コンピュータによって構築されており、図19に示されているように、CPU501、ROM502、RAM503、HD504、HDD(Hard Disk Drive)コントローラ505、ディスプレイ506、外部機器接続I/F(Interface)508、ネットワークI/F509、データバス510、キーボード511、ポインティングデバイス512、DVD-RW(Digital Versatile Disk Rewritable)ドライブ514、メディアI/F516を備えている。
これらのうち、CPU501は、画像管理サーバ5全体の動作を制御する。ROM502は、IPL等のCPU501の駆動に用いられるプログラムを記憶する。RAM503は、CPU501のワークエリアとして使用される。HD504は、プログラム等の各種データを記憶する。HDDコントローラ505は、CPU501の制御にしたがってHD504に対する各種データの読み出し又は書き込みを制御する。ディスプレイ506は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。外部機器接続I/F508は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、USB(Universal Serial Bus)メモリやプリンタ等である。ネットワークI/F509は、通信ネットワーク100を利用してデータ通信をするためのインターフェースである。バスライン510は、図5に示されているCPU501等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
また、キーボード511は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス512は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。DVD-RWドライブ514は、着脱可能な記録媒体の一例としてのDVD-RW513に対する各種データの読み出し又は書き込みを制御する。なお、DVD-RWに限らず、DVD-RやBlu-ray Disc(ブルーレイディスク)等であってもよい。メディアI/F516は、フラッシュメモリ等の記録メディア515に対するデータの読み出し又は書き込み(記憶)を制御する。
〔実施形態の機能構成〕
次に、図20を用いて、本実施形態の機能構成について説明する。図20は、第2の実施形態に係る画像通信システムの機能ブロック図である。なお、撮影装置1とスマートフォン3の機能構成は、第1の実施形態と同様であるため、同様の機能構成には同じ符号を付して、説明を省略する。なお、アクセスポイント7は、汎用性のある一般のアクセスポイントであるため、機能構成の説明を省略する。
<画像管理サーバの機能構成>
図20を用いて、画像管理サーバ5の機能構成について詳細に説明する。図20は、第2の実施形態に係る画像通信システムの機能ブロック図である。
図20に示されているように、画像管理サーバ5は、送受信部51、判断部55、算出部56及び記憶・読出処理部59を有している。これら各部は、図19に示されている各構成要素のいずれかが、HD504からRAM503上に展開された撮影装置用のプログラムに従ったCPU111からの命令によって動作することで実現される機能又は手段である。
また、画像管理サーバ5は、図19に示されているROM502、及びHD504によって構築される記憶部5000を有している。
(画像通信システムの各機能構成)
次に、図19及び図20を用いて、撮影装置1の各機能構成について更に詳細に説明する。
画像管理サーバ5の送受信部51は、主に、ネットワークI/F510に対するCPU501の処理によって実現され、インターネット等の通信ネットワークを介して、他の装置(例えば、スマートフォン3)との間で各種データ(または情報)の送受信を行う。
判断部55は、主に、CPU501の処理によって実現され、後述の各種判断を行う。
算出部56は、主に、CPU501の処理によって実現され、後述の各種算出を行う。
記憶・読出処理部59は、主に、CPU501の処理によって実現され、記憶部5000に、各種データ(または情報)を記憶したり、記憶部5000から各種データ(または情報)を読み出したりする。
〔実施形態の処理又は動作〕
図21を用いて、第2の実施形態の処理又は動作について説明する。図21は、第2の実施形態に係るファイルデータの通信処理を示したシーケンス図である。第2の実施形態では、第1の実施形態のステップS9(又はS17)とステップS10(又はS18)との間の処理として説明する。
まず、ステップS9(又はS17)の処理後、スマートフォン3の通信部38がアクセスポイント7対して接続要求を示す接続要求情報を送信する(S101)。これにより、アクセスポイント7は、接続要求情報を受信する。
次に、アクセスポイント7は、スマートフォン3に対して接続許可を示す接続許可情報を送信する(S102)。これにより、スマートフォン3の通信部38は、接続許可情報を受信する。ステップS101,S102の処理により、スマートフォン3のWi-Fiの接続先が全天球撮影装置1からアクセスポイント7に切り替わる。
次に、スマートフォン3の通信部38が、上記ステップS2(又はS15)で取得された狭角画像データを、アクセスポイント7経由で画像管理サーバ5へ送信する(S103)。
これにより、画像管理サーバ5の送受信部51は、狭角画像データを受信する。
次に、画像管理サーバ5は、狭角画像データに対する照合処理を実行する(S104)。ここで、図22を用いて、照合処理を詳細に説明する。図22は、狭角撮影データに対する照合処理を示したフローチャートである。
図22に示されているように、画像管理サーバ5の判断部55は、記憶部5000に記憶されている電子ファイルが、照合すべき電子ファイルとして残っているか否かを判断する(S131)。そして、残っている場合には(S131;YES)、記憶・読出処理部59は、電子ファイルに含まれている狭角撮影データを読み出す(S132)。
次に、算出部56は、撮影後にステップS103の処理で受信された狭角撮影データ、及びステップS132の処理で読み出された狭角撮影データを比較して、ハミング距離を算出する(S133)。この距離の算出には、様々な手法があるが、ここでは、よく知られたAverage HashをステップS103で受信された狭角画像データの特徴量とし、算出部56は、以下のように、64bit特徴量(ハッシュ値)の距離を求める。
(1)狭角撮影データをグレースケールデータに変換する。
(2)グレースケールデータが64(8x8)画素になるように画像を縮小する。
(3)全画素に対する平均値を求める。
(4)各画素値に対して平均値以上であれば1、平均値未満であれば0とし、64ビット列(ハッシュ値)を求める。
(5)照合する2つの狭角画像データに対して得られたハッシュ値のハミング距離を求める。
次に、判断部55は、ステップS133の処理で算出された距離L1と、これまでの照合により得られた最小距離L0とを比較し、距離L1が最小距離L0よりも短いか否かを判断する(S134)。そして、短い場合には(S134;YES)、記憶・読出処理部59が、距離L1を最小距離として更新し、ステップS132で読み出した狭角画像データに付けられているファイル名と組にして一時的に記憶部3000に記憶する(S135)。その後、S131の処理に戻る。また、上記ステップS134の処理によって、距離L1が最小距離L0よりも短くない場合には(S134;NO)、ステップS131の処理に戻る。
一方、上記ステップS131の処理によって、記憶部5000に記憶されている電子ファイルが、照合すべき電子ファイルとして残っていない場合には(S131;NO)、記憶・読出処理部59が、上記ステップS135の処理で一時的にされているファイル名の電子ファイルデータを読み出す(S136)。
以上により、図21のステップS104の処理が終了する。
続いて、画像管理サーバ5の送受信部51は、ステップS136の処理により読み出された電子ファイルデータをアクセスポイント経由でスマートフォン3へ送信する(S105)。これにより、スマートフォン3の通信部38は、電子ファイルデータを受信する。
次に、スマートフォン3の記憶・読出処理部39は、ステップS105によって受信された電子ファイルデータを記憶部3000に記憶する(S106)。
次に、スマートフォン3の記憶・読出処理部39は、上記ステップS9で記憶された電子ファイルデータを読み出す(S107)。そして、通信部38は、ステップS107で読み出された電子ファイルデータをアクセスポイント7経由で画像管理サーバ5へ送信する(S108)。これにより、画像管理サーバ5の送受信部51が、電子ファイルデータを受信する。
次に、画像管理サーバ5の記憶・読出処理部59は、ステップS108で受信された電子ファイルデータを記憶部5000に記憶する(S109)。このステップS107,S108の処理によって、画像管理サーバ5で管理されている電子ファイルデータを常に最新状態に保つことができる。
次に、スマートフォン3の通信部38は、全天球撮影装置1に対して、接続要求を示す接続要求情報を送信する(S110)。これにより、全天球撮影画像1の送受信部11は、接続要求情報を受信する。
次に、全天球撮影装置1は、スマートフォン3に対して接続許可を示す接続許可情報を送信する(S111)。これにより、スマートフォン3の通信部38は、接続許可情報を受信する。このステップS110,S111の処理により、Wi-Fiの接続先がアクセスポイント7から全天球撮影装置1に戻るため、利用者Aはすぐに次の連携撮影を実施することができる。
〔本実施形態の主な効果〕
以上説明したように本実施形態によれば、第1の実施形態の効果を奏すると共に、画像管理サーバ5で電子ファイルデータを管理するため、画像データが大容量であったり、多数のデータ数であったりしても、スマートフォン3の記憶部3000の空き容量を圧迫することがないという効果を奏する。
〔変形例〕
なお、第1(又は第2)の実施形態におけるステップS10(又はS18)の表示の処理は、図14に示されているフローチャートの処理を実行する際に、電子ファイルを異ならせて2回繰り返してもよい。具体的には、1回目及び2回目の電子ファイルのそれぞれを、ステップS9(又はS17)で記憶された電子ファイルデータ、及びステップS106で記憶された電子ファイルデータとする。これにより、表示制御部36は、ディスプレイ318上に、直近の撮影されることで得られた電子ファイルデータの表示の後に続けて、過去の似たような電子ファイルデータを表示することができる。そのため、利用者の過去の記憶を呼び覚ますことができ、撮影した情景をさらに印象づけることが可能になるという効果を奏する。
また、図21のステップS104の処理において、画像管理サーバ5は、位置情報を照合させてもよい。この場合、スマートフォン3は、ステップS2(又はS15)の撮影時に、GPS受信部311によって位置情報を取得しておく。位置情報には、撮影位置の緯度と撮影位置の経度が含まれている。これにより、ステップS9(又はS17)の処理では、記憶・読出処理部39が、狭角画像データに位置情報を埋め込んで記憶しておく。このフォーマットには、公知のExif (Exchangeable Image File format)を利用することができる。この場合、図21のステップS103の処理では、通信部38は、狭角画像データに加えて位置情報も送信する。また、図22のステップS132の処理では、記憶・読出処理部59は、狭角画像データに加えて位置情報も読み出す。そして、ステップS133の処理では、算出部46が、位置情報で示された座標(撮影緯度、撮影経度)間のユークリッド距離等で算出する。これにより、利用者が過去に同じ又は近くの場所でどのような撮影をしたのかを思い出すことに役立てるという効果を奏する。なお、位置情報は、全天球撮影装置1に設けられたGPS受信部311によって取得されるようにしてもよい。
また、第2の実施形態では、通信部38がアクセスポイント7を介して画像管理サーバ5と通信を行ったが、送受信部31がインターネット等の通信ネットワークを介して画像管理サーバ5と通信を行ってもよい。
●補足
上記ステップS5,S13において、所定時間は可変可能としても良い。この場合、利用者Aはスマートフォン3を操作することで、受付部32が設定時間を受け付ける。
また、ステップS5,S13の処理は無くてもよい。即ち、利用者Aが図13(b)の画像使用ボタン341を押下すると、待機時間無しで、直ぐにステップS6の処理が開始されてもよい。この処理は、所定時間が可変可能な場合に、設定時間を0とした場合も同様に行われる。
また、上記実施形態では、スマートフォン3と全天球撮影装置1が別々に撮影した後に、スマートフォン3が自動的に一つの電子ファイルとして記憶部3000に記憶する(S9,S17)が、これに限るものではない。例えば、スマートフォン3と全天球撮影装置1が別々に撮影した後に、利用者AがPC等にぞれぞれで撮影されることで得られた画像データ(音データを含む)を取り込み、PC等でマージした後に、PC等からスマートフォン3の記憶部3000に転送してもよい。
上述の実施形態における各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本実施形態における「処理回路」は、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上述した各機能を実行するよう設計されたASIC(Application Specific Integrated
Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)、SOC(System on a chip)、GPU、及び従来の回路モジュール等のデバイスを含む。
インターネット等の通信ネットワークには、ブロックチェーンによって構築されたネットワークも含まれる。
第1の実施形態では、図8に示されているように、画像通信システムは、全天球撮影装置1及びスマートフォン3によって構成されているが、これに限るものではない。例えば、画像通信システムは、スマートフォンにインストールされて表示制御部37及び通信部38を実現するためのプログラム、及び全天球撮影装置1によって構成されてもよい。
全天球撮影装置1は、広角撮影装置の一例であるが、広角撮影装置は撮影装置の一例である。この場合、スマートフォンは、狭角撮影装置の一例であるが、狭角撮影装置は他の撮影装置の一例である。
図12のステップS5における待機時間は、利用者によってスマートフォン3に設定できるようにしてもよい。例えば、待機時間を0秒と設定しておけば、待ち時間は発生せず、スマートフォン3と全天球撮影装置1とで同時に撮影することができる。同様に、図17のステップS13における待機時間は、利用者によって全天球撮影装置1に直接設定できるようにしてもよいし、利用者によってスマートフォン3からBluetooth等を利用して間接的に設定できるようにしてもよい。
また、図12のステップS6,S8及び図15のステップS14,S16は、Bluetooth、及びWi-Fiのいずれか一方のみを利用してもよい。
また、図12のステップS9で、記憶・読出処理部39が電子ファイルデータを記憶する場合、ステップS10の処理に進まずに、表示制御部37がディスプレイ318上にファイル名を受け付けるユーザインタフェース表示させるようにしてもよい。この場合、後ほど、利用者Aの操作により所望の電子ファイルデータを読み出して、スマートフォン3がステップS10の表示の処理を行ってもよい。これにより、撮影時だけではなく、利用者が所望したときにいつでも表示内容を確認することができる。
また、図16に示されているように、表示制御部37は、待機時間t1後に狭角画像から所定領域画像に表示を切り替えるが、これに限るものではない。例えば、利用者Aによってスマートフォン3にタッチ等の操作入力があるまでは、表示制御部37は狭角画像の表示を継続する。そして、利用者Aの操作入力があると、タッチ等の操作入力が続いている間(タッチした状態のままの間)は、表示制御部37は、所定領域画像の移動表示を行う。そして、利用者Aの操作入力が終了すると、表示制御部37は、また広角画像を表示するようにしてもよい。この表示方法によれば、利用者Aの所望するタイミングで狭角画像と広角画像の表示を切替えることができる。
また、表示制御部37は、図16に示されているように、狭角画像を表示した後に広角画像における所定領域画像Q11を表示しているが、これに限るものではない。例えば、表示制御部37は、広角画像としての正距円筒射影画像EC1内の全ての所定領域Tに渡って所定領域画像Q11を表示した後に、狭角画像としての平面画像Pを表示することで、表示順を変えてもよい。
更に、上記実施形態では、表示制御部37が、狭角画像の次に広角画像の所定領域画像を表示する一連の表示パターン(第1の表示パターン)を行ったが、これに限るものではない。例えば、表示制御部37は、狭角画像の次に広角画像の所定領域画像を表示する一連の処理を繰り返す表示パターン(第2の表示パターン)にしてもよい。また、表示制御部37は、狭角画像の次に広角画像の所定領域画像を表示した後、再度、一度だけ狭角画像を表示する表示パターン(第3の表示パターン)にしてもよい。この場合、撮影した人がその時の自分の表情・気持ち等を再確認することに役立つ。また、表示制御部37は、上記各表示パターンを選択するための画面をディスプレイ318上に表示させ、利用者Aに選択を促すようにしてもよい。この場合、受付部32が、利用者Aの選択を受け付けて、表示制御部37が選択された表示パターンで表示する。
また、ステップS10(又はS18)の処理の前、処理の後、又は処理の前後において、表示制御部37は、リトルプラネット形式に変換して表示させてもよい。リトルプラネット形式では、全天球画像の全体像を表示できるため、所定領域Tの表示範囲外になっていた領域も含めて、最後に全体を確認できるという効果を奏する。
また、利用者Aが全天球撮影装置1を入手した直後は、Wi-FiやBluetoothの無線通信のための接続を確立するための設定や、図12、図17、又は図21の処理を実現するソフトウェアをスマートフォン3にインストールする作業が必要である。この作業の手間を省くために、以下のような処理で、全天球撮影装置1を入手した直後の設定の手間を軽減する。具体的には、全天球撮影装置1の記憶部1000に無線通信の接続設定と図12、図17、又は図21の処理を実現する特定のソフトウェアを予め記憶しておく。次に、全天球撮影装置1とスマートフォン3とをUSBケーブル等の有線ケーブルで接続し、スマートフォン3が全天球撮影装置1の記憶部1000にアクセスして、上記特定のソフトウェアを取得する。また、変形例として、ステップS8,S16では、全天球撮影装置1が広角画像データを直接スマートフォン3に送信しているが、この送信の前に全天球撮影装置1の記憶・読出部19が、広角画像データを記憶部1000に記憶しておくようにしてもよい。
また、第1の実施形態及び変形例における電子ファイルデータの記憶(S9,S17)時に、スマートフォン3は第2の実施形態の画像管理サーバ5に同じ電子ファイルデータをアップロードして、画像管理サーバ5でデータのバックアップを行うようにしてもよい。
●その他
上記各実施形態、変形例、及び補足の内容は、以下に示す側面の発明を開示している。
〔付記項1〕
撮影することで得た比較的狭角な画像である第1の画像を表示する撮影装置であって、
撮影することで前記第1の画像よりも広角な画像である第2の画像を得た他の撮影装置から、前記第2の画像のデータを取得する取得手段と、
前記第1の画像及び前記第2の画像を連続的に表示手段に表示する表示制御手段と、
を有することを特徴とする撮影装置。
〔付記項2〕
前記表示制御手段は、前記第2の画像における前記表示手段への表示範囲として、前記第2の画像の所定領域である所定領域画像を表示することを特徴とする付記項1に記載の撮影装置。
〔付記項3〕
前記表示制御手段は、前記第2の画像における前記表示範囲を移動させることで、前記表示手段に異なる前記所定領域画像を表示することを特徴とする付記項2に記載の撮影装置。
〔付記項4〕
前記表示制御手段は、前記第2の画像の全域に渡って前記表示範囲を移動させることで、前記表示手段に異なる前記所定領域画像を表示することを特徴とする付記項3に記載の撮影装置。
〔付記項5〕
前記表示制御手段は、前記第1の画像の表示後に前記所定領域画像を表示することを特徴とする付記項2乃至4のいずれか一項に記載の撮影装置。
〔付記項6〕
前記表示制御手段は、前記第1の画像を所定時間表示した後に前記所定領域画像を表示することを特徴とする付記項5に記載の撮影装置。
〔付記項7〕
前記表示制御手段は、前記所定領域画像の表示後に前記第1の画像を表示することを特徴とする付記項2乃至4のいずれか一項に記載の撮影装置。
〔付記項8〕
前記撮影装置における撮影の開始を受け付ける受付手段と、
前記受付手段によって撮影の開始を受け付けた場合に、前記他の撮影装置に対して撮影の開始を要求する要求手段と、
を有することを特徴とする付記項1乃至7に記載の撮影装置。
〔付記項9〕
前記他の撮影装置と、
付記項1乃至8のいずれか一項に記載の撮影装置と、
を有することを特徴とする画像通信システム。
〔付記項10〕
前記他の撮影装置は、当該他の撮影装置における撮影の開始を受け付けた場合に、前記撮影装置に対して撮影の開始を要求することを特徴とする付記項9に記載の画像通信システム。
〔付記項11〕
付記項9又は10に記載の画像通信システムであって、更に、
前記第1の画像のデータ及び前記第2の画像のデータを1つの電子ファイルに格納して管理する画像管理サーバを有し、
前記撮影装置は、前記画像管理サーバから前記電子ファイルのデータを取得することを特徴とする画像通信システム。
〔付記項12〕
撮影することで得た比較的狭角な画像である第1の画像を表示する表示する表示方法であって、
撮影することで前記第1の画像よりも広角な画像である第2の画像を得た他の撮影装置から、前記第2の画像のデータを取得する取得ステップと、
前記第1の画像及び前記第2の画像を連続的に表示手段に表示する表示制御ステップと、
を実行することを特徴とする表示方法。
〔付記項13〕
コンピュータに、付記項12に記載の方法を実行させるプログラム。
1 全天球撮影装置(広角撮影装置の一例;広角撮影装置は他の撮影装置の一例)
3 スマートフォン(狭角撮影装置の一例;狭角撮影装置は撮影装置の一例)
5 画像管理サーバ
12 受付部
13 撮影部
14 集音部
15 判断部
16 画像処理部
19 記憶・読出処理部
31 送受信部
32 受付部(受付手段の一例)
33 撮影部
34 集音部
35 判断部
36 画像・音処理部
37 表示制御部(表示制御手段の一例)
38 通信部(取得手段の一例、要求手段の一例)
39 記憶・読出処理部
51 送受信部
55 判断部
56 算出部
59 記憶・読出処理部
318 ディスプレイ(表示手段の一例)
1000 記憶部
3000 記憶部
5000 記憶部
特開2018-169601号公報

Claims (13)

  1. 撮影することで得た比較的狭角な画像である第1の画像を表示するためのプログラムであって、
    コンピュータに、
    撮影することで前記第1の画像よりも広角な画像である第2の画像を得た他の撮影装置から、前記第2の画像のデータを取得する取得手段と、
    前記第1の画像及び前記第2の画像を連続的に表示手段に表示する表示制御手段と、
    を実現させることを特徴とするプログラム。
  2. 前記表示制御手段は、前記第2の画像における前記表示手段への表示範囲として、前記第2の画像の所定領域である所定領域画像を表示することを特徴とする請求項1に記載のプログラム。
  3. 前記表示制御手段は、前記第2の画像における前記表示範囲を移動させることで、前記表示手段に異なる前記所定領域画像を表示することを特徴とする請求項2に記載のプログラム。
  4. 前記表示制御手段は、前記第2の画像の全域に渡って前記表示範囲を移動させることで、前記表示手段に異なる前記所定領域画像を表示することを特徴とする請求項3に記載のプログラム。
  5. 前記表示制御手段は、前記第1の画像の表示後に前記所定領域画像を表示することを特徴とする請求項2乃至4のいずれか一項に記載のプログラム。
  6. 前記表示制御手段は、前記第1の画像を所定時間表示した後に前記所定領域画像を表示することを特徴とする請求項5に記載のプログラム。
  7. 前記表示制御手段は、前記所定領域画像の表示後に前記第1の画像を表示することを特徴とする請求項2乃至4のいずれか一項に記載のプログラム。
  8. コンピュータに、
    第1の撮影装置における撮影の開始を受け付ける受付手段と、
    前記受付手段によって撮影の開始を受け付けた場合に、前記他の撮影装置に対して撮影の開始を要求する要求手段と、
    を実現させることを特徴とする請求項1乃至7に記載のプログラム。
  9. 前記他の撮影装置と、
    請求項1乃至8のいずれか一項に記載のプログラムと、
    を有することを特徴とする画像通信システム。
  10. 前記他の撮影装置は、当該他の撮影装置における撮影の開始を受け付けた場合に、前記撮影装置に対して撮影の開始を要求することを特徴とする請求項9に記載の画像通信システム。
  11. 請求項9又は10に記載の画像通信システムであって、更に、
    前記第1の画像のデータ及び前記第2の画像のデータを1つの電子ファイルに格納して管理する画像管理サーバを有し、
    前記撮影装置は、前記画像管理サーバから前記電子ファイルのデータを取得することを特徴とする画像通信システム。
  12. 請求項1乃至8のいずれか一項に記載のプログラムによってコンピュータが実行する表示方法。
  13. 請求項1乃至8のいずれか一項に記載のプログラムを実行する撮影装置。
JP2020191841A 2019-11-29 2020-11-18 プログラム、画像通信システム、表示方法、及び撮影装置 Pending JP2022007898A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP20209426.4A EP3829159A1 (en) 2019-11-29 2020-11-24 Image capturing device, image communication system, and method for display control, and carrier means
US17/103,977 US11533430B2 (en) 2019-11-29 2020-11-25 Image capturing device with display control, image communication system, and method for display control, and recording medium
CN202011340082.6A CN112887663A (zh) 2019-11-29 2020-11-25 图像显示方法、图像通信系统、摄影装置、以及存储介质

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2019216518 2019-11-29
JP2019216518 2019-11-29
JP2020162981 2020-09-29
JP2020162981 2020-09-29

Publications (1)

Publication Number Publication Date
JP2022007898A true JP2022007898A (ja) 2022-01-13

Family

ID=80109929

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020191841A Pending JP2022007898A (ja) 2019-11-29 2020-11-18 プログラム、画像通信システム、表示方法、及び撮影装置

Country Status (1)

Country Link
JP (1) JP2022007898A (ja)

Similar Documents

Publication Publication Date Title
JP7322940B2 (ja) 画像通信システム、画像通信端末、画像通信方法、プログラム、及び記録媒体
JP6756269B2 (ja) 通信端末、画像通信システム、通信方法、及びプログラム
JP7095361B2 (ja) 通信端末、画像通信システム、表示方法、及びプログラム
JP2022179557A (ja) 通信端末、表示方法、プログラム及び画像通信システム
JP2018129716A (ja) 画像処理装置、画像処理システム、画像処理方法及びプログラム
JP2014006880A (ja) 通信端末、表示方法、及びプログラム
JP7327008B2 (ja) 撮影装置、通信システム、通信方法およびプログラム
JP2020150330A (ja) 画像通信システム、撮像装置、モード切替方法、プログラム
JP2019057903A (ja) 画像処理装置、撮影システム、画像処理方法、及びプログラム
JP2019057264A (ja) 画像処理装置、撮影システム、画像処理方法、及びプログラム
JP6816465B2 (ja) 画像表示システム、通信システム、画像表示方法、及びプログラム
JP2018110384A (ja) 画像処理装置、撮影システム、画像処理方法、及びプログラム
JP2018056889A (ja) 表示端末、表示方法、及びプログラム
US11533430B2 (en) Image capturing device with display control, image communication system, and method for display control, and recording medium
JP2018026642A (ja) 画像管理システム、画像通信システム、画像管理方法、及びプログラム
JP7017045B2 (ja) 通信端末、表示方法、及びプログラム
JP6812643B2 (ja) 通信端末、画像通信システム、表示方法、及びプログラム
JP6586819B2 (ja) 画像管理システム、画像通信システム、画像管理方法、及びプログラム
JP2022007898A (ja) プログラム、画像通信システム、表示方法、及び撮影装置
CN115484450A (zh) 信息处理装置、控制方法和计算机可读存储介质
JP2018109971A (ja) 画像処理装置、画像処理システム、撮影システム、画像処理方法、及びプログラム
JP2021132370A (ja) プログラム、画像通信システム、表示方法及び撮影装置
US11700455B2 (en) Image capturing device, image communication system, and method for display control
JP7358938B2 (ja) 通信端末、画像通信システム、表示方法、及びプログラム
JP2020109955A (ja) 撮影装置、撮影システム、画像処理方法、及びプログラム