JP2014241496A - 情報処理装置、撮像装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、撮像装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
JP2014241496A
JP2014241496A JP2013122989A JP2013122989A JP2014241496A JP 2014241496 A JP2014241496 A JP 2014241496A JP 2013122989 A JP2013122989 A JP 2013122989A JP 2013122989 A JP2013122989 A JP 2013122989A JP 2014241496 A JP2014241496 A JP 2014241496A
Authority
JP
Japan
Prior art keywords
candidate
imaging
state
imaging device
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013122989A
Other languages
English (en)
Other versions
JP6163899B2 (ja
JP2014241496A5 (ja
Inventor
和博 嶋内
Kazuhiro Shimauchi
和博 嶋内
篤史 木村
Atsushi Kimura
篤史 木村
小橋 貴志
Takashi Kobashi
貴志 小橋
正和 海老原
Masakazu Ebihara
正和 海老原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2013122989A priority Critical patent/JP6163899B2/ja
Priority to EP14729732.9A priority patent/EP3008888B1/en
Priority to US14/782,884 priority patent/US10375305B2/en
Priority to CN201480032018.8A priority patent/CN105308946B/zh
Priority to PCT/JP2014/002601 priority patent/WO2014199564A1/en
Publication of JP2014241496A publication Critical patent/JP2014241496A/ja
Publication of JP2014241496A5 publication Critical patent/JP2014241496A5/ja
Application granted granted Critical
Publication of JP6163899B2 publication Critical patent/JP6163899B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/282Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)

Abstract

【課題】複数の撮像装置の設置状態の候補を提示する技術を提供する。
【解決手段】情報処理装置は、複数の撮像装置の設置状態の候補である候補状態を取得する取得部と、候補状態を提示する制御を行う制御部と、を備える。ユーザは、候補状態をより容易かつインタラクティブに把握することができる。この結果、ユーザは、各撮像装置の設置状態をより容易に候補状態に一致させることができる。制御部は、候補状態だけでなく、現在の設置状態を候補状態とともに提示してもよい。
【選択図】図1

Description

本開示は、情報処理装置、撮像装置、情報処理方法、及びプログラムに関する。
特許文献1に開示された技術は、一の撮像装置の表示部に、当該一の撮像装置が撮像した一の撮像画像と、他の撮像装置が撮像した他の撮像画像とを対比して表示する。この技術によれば、一の撮像装置のユーザは、撮像画像同士の一部が重複するように一の撮像装置の設置位置を調整することができる。
特開2011−172093号公報
しかし、この技術では、単に撮像画像を対比して表示するだけなので、ユーザは、複数の撮像装置を設置するのに非常に手間がかかっていた。このため、複数の撮像装置の設置状態の候補を提示する技術が求められていた。
本開示によれば、複数の撮像装置の設置状態の候補である候補状態を取得する取得部と、候補状態を提示する制御を行う制御部と、を備える、情報処理装置が提供される。
本開示によれば、複数の撮像装置が設置される状態の候補である候補状態を取得する取得部と、候補状態を提示する制御を行う制御部と、を備える、撮像装置が提供される。
本開示によれば、複数の撮像装置の設置状態の候補である候補状態を取得することと、候補状態を提示する制御を行うことと、を含む、表示制御方法が提供される。
本開示によれば、コンピュータに、複数の撮像装置の設置状態の候補である候補状態を取得する取得機能と、候補状態を提示する制御を行う制御機能と、を実現させる、プログラムが提供される。
本開示によれば、複数の撮像装置の設置状態の候補である候補状態を提示するので、ユーザは、各撮像装置の候補状態を容易に把握することができる。
以上説明したように本開示によれば、複数の撮像装置の設置状態の候補である候補状態を提示するので、ユーザは、各撮像装置の候補状態を容易に把握することができる。
本開示の第1の実施形態に係る情報処理装置の機能ブロック図である。 同実施形態に係る情報処理装置のハードウェア構成図である。 撮像装置の機能ブロック図である。 撮像装置のハードウェア構成図である。 情報処理装置による処理の概要を示すフローチャートである。 情報処理装置による処理の一例を示すフローチャートである。 撮像装置の設置位置の一例を示す平面図である。 情報処理装置が表示する画像の一例を示す説明図である。 情報処理装置が表示する画像の一例を示す説明図である。 情報処理装置が表示する画像の一例を示す説明図である。 情報処理装置による処理の一例を示すフローチャートである。 撮像装置の設置位置の一例を示す平面図である。 情報処理装置が表示する画像の一例を示す説明図である。 撮像装置の設置位置の一例を示す平面図である。 情報処理装置が表示する画像の一例を示す説明図である。 情報処理装置が表示する画像の一例を示す説明図である。 情報処理装置が表示する画像の一例を示す説明図である。 情報処理装置が表示する画像の一例を示す説明図である。 情報処理装置が表示する画像の一例を示す説明図である。 情報処理装置が表示する画像の一例を示す説明図である。 情報処理装置が表示する画像の一例を示す説明図である。 情報処理装置が表示する画像の一例を示す説明図である。 情報処理装置が表示する画像の一例を示す説明図である。 情報処理装置が表示する画像の一例を示す説明図である。 情報処理装置が表示する画像の一例を示す説明図である。 情報処理装置が表示する画像の一例を示す説明図である。 情報処理装置が表示する画像の一例を示す説明図である。 情報処理装置が表示する画像の一例を示す説明図である。 本開示の第2の実施形態に係る情報処理装置の機能ブロック図である。 情報処理装置が表示する画像の一例を示す説明図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.背景技術の検討
2.第1の実施形態(情報処理装置が撮像に参加しない例)
2−1.情報処理装置の構成
2−2.撮像装置の構成
2−3.情報処理装置による処理の概要
2−4.情報処理装置による処理の例
2−5.各種表示例
3.第2の実施形態(情報処理装置が撮像に参加する例)
3−1.撮像装置の構成
3−2.撮像装置による処理の例
<1.背景技術の検討>
本発明者は、本開示の背景技術を検討することで本実施形態に係る情報処理装置及び撮像装置に想到するに至った。そこで、まず、背景技術について説明する。
ユーザは、複数台の撮像装置(例えばカメラ)を協調させて撮影(撮像)を行う際、各撮像装置を適切に配置する必要がある。ここで、複数の撮像装置を協調させる撮影としては、例えば、パノラマ撮像、多視点撮像等が挙げられる。ユーザは、複数の撮像装置を用いてパノラマ撮像を行う場合、各撮像装置によって得られた撮像画像(映像)に重なりがあるように各撮像装置の設置位置及び設置姿勢を調整しなければならない。ここで、撮像装置の設置位置は、例えば撮像装置の中心点の3次元座標である。撮像装置の設置姿勢は、例えば撮像面の光軸の向き及び光軸を回転軸とした撮像装置の回転角である。光軸の向きは、例えば、光軸に平行で、かつ撮像素子からレンズの中心に向かうベクトルとして表される。撮像装置の回転角は、例えば撮像装置が水平に保持されている際に0°とされる。
また、多視点撮像では、撮像装置が等間隔で設置された方が後段の画像合成処理で各撮像画像を扱いやすい場合が多い。さらに、パノラマ撮像及び多視点撮像のいずれにおいても、各撮像装置は傾きなく水平に設置されることが望ましい場合がある。したがって、ユーザは、各撮像装置の設置位置及び設置姿勢を予め適切に調整してから撮影を行うことが必要となる。
各撮像装置の設置位置及び設置姿勢を調整する方法としては、各撮像装置の表示部に撮像画像を表示させ、これらの撮像画像同士を対比しながら各撮像装置の設置位置及び設置姿勢を調整する方法が挙げられる。しかし、この方法は非常に手間がかかる。さらに、この方法では、各撮像画像を用いてパノラマ画像を作成する際に、いずれかの撮像画像が他の撮像画像と重ならない(すなわち破綻している)場合がある。ユーザは、破綻した撮像画像の編集作業を行うことで、当該撮像画像を他の撮像画像と整合させることができる場合がある。例えば、ユーザは、撮像装置が傾いていることによって撮像画像が破綻している場合、撮像画像を回転させることで他の撮像画像と整合させることができる場合がある。しかし、ユーザは、編集作業という別途の作業を行う必要がある。また、編集作業によっても他の撮像画像との整合性がとれない場合、ユーザは、撮影をやり直す必要がある。また、撮像装置が表示部を有しない場合、この方法は採用できない。表示部を有しない撮像装置としては、例えばユーザの身体(例えば頭部)に装着される小型カメラ等が挙げられる。
特許文献1に開示された技術は、一の撮像装置の表示部に、当該一の撮像装置が撮像した一の撮像画像と、他の撮像装置が撮像した他の撮像画像とを対比して表示する。この技術によれば、一の撮像装置のユーザは、撮像画像同士の一部が重複するように一の撮像装置の設置位置及び設置姿勢を調整することができる。
しかし、ユーザにとっては、各撮像装置の撮像画像を対比しながら各撮像装置の設置位置及び設置姿勢を調整することには変わりない。さらに、この技術は、撮像装置の数が比較的少ない(例えば2台)場合であれば実現できるが、撮像装置が多い場合には実現困難である。撮像装置の表示部の大きさは限られているので、多数の撮像画像を撮像装置の表示部に同時に表示するのは難しいからである。さらに、この技術は、ユーザに各撮像画像の一部を重複させることが目的となっている。すなわち、この技術は、各撮像画像の一部を重複させる撮影には適用可能である。しかし、例えば多視点撮像の方法には、撮像画像同士を重複させない方法もある。この方法では、撮像を行わなかった視点に対応する画像、すなわち補間画像は、当該視点に近接する視点で撮像された撮像画像に基づいて作製される。したがって、このような多視点撮像には特許文献1の技術は適用できない。
このように、ユーザは、各撮像装置の設置位置及び設置姿勢を調整するのに非常に手間がかかっていた。なお、業務レベルでは、例えばスポーツ施設に設置された撮像装置のように、予め複数の撮像装置が特定の設置位置及び設置姿勢で配置されているケースがある。しかし、この技術は、特定の場所で特定のシーンを撮影する(例えばスポーツ姿勢内での試合を撮影する)ことができるだけである。このため、ユーザは、各撮像装置の設置位置及び設置姿勢を調整するのに非常に手間がかかっていた。そこで、複数の撮像装置の設置状態の候補を提示する技術が求められていた。ここで、設置状態は撮像装置の設置位置及び設置姿勢のうち少なくとも一方を含む概念である。
<2.第1の実施形態(情報処理装置10が撮像に参加しない例)>
次に、本開示の第1の実施形態について説明する。第1の実施形態では、情報処理装置10は、撮像に参加しない。すなわち、情報処理装置10は、撮像装置20の候補状態等の提示を行う。
(2−1.情報処理装置の構成)
まず、図1及び図2に基づいて、情報処理装置10の構成について説明する。図1に示すように、情報処理装置10は、入力部11、通信部12、提示部13、候補状態取得部(取得部)14a、及び提示側制御部(制御部)14を備える。情報処理装置10は、ユーザにより携行可能な装置(いわゆるモバイルコンピュータ)であっても、据え置き型の装置であってもよい。ユーザにより携行可能な装置としては、例えばスマートフォン、スマートタブレット、ウエアラブルデバイス(例えばゴーグルに電子デバイスが装着されたもの)、ノートパソコン等が挙げられる。据え置き型の装置としては、例えばデスクトップパソコン等が挙げられる。情報処理装置10は、ユーザにより携行可能な装置であることが好ましい。この場合、ユーザは、より多様な場所で各撮像装置20(図3参照)の設置状態の候補を把握することができるからである。情報処理装置10は、撮像部を有していてもよい。
入力部11は、ユーザからの入力を受け付けるものであり、入力操作に応じた操作情報を提示側制御部14に出力する。通信部12は、各撮像装置20と通信を行う。通信部12は、撮像装置20以外の他の通信機器と通信を行ってもよい。通信部12は、当該通信により得られた情報を提示側制御部14に出力する。提示部13は、各種情報、例えば各撮像装置20の現在の設置状態、及び各撮像装置20の設置状態の候補(すなわち候補状態)を提示する。提示部13は、表示部13a及び音声出力部13bに区分される。表示部13aは、情報を表示し、音声出力部13bは、情報を音声出力する。すなわち、情報の提示は例えば画面表示及び音声出力のうち少なくとも一方によって行われる。候補状態取得部14aは、各撮像装置の現在の設置状態の検出(算出)、候補状態の取得(算出、決定)を行う。提示側制御部14は、情報処理装置10の全体を制御する他、各種情報の提示制御等を行う。なお、提示側制御部14は、候補状態の取得も行なってもよい。すなわち、提示側制御部14に候補状態取得部14aの機能を備えさせても良い。
情報処理装置10の各機能は、例えば図2に示すハードウェア構成によって実現される。もちろんこのハードウェア構成は一例であり、情報処理装置10の各機能を実現できるものであればどのようなものであってもよい。
情報処理装置10は、図2に示すように、そのハードウェア構成として、入力装置100、出力(提示)装置101、CPU102、GPU103、通信装置104、記憶装置105、及びバス106を備える。入力装置100は、ユーザからの入力操作を受け付ける装置であり、例えばタッチパネル、マウス、キーボード等である。出力装置101は、各種情報を提示する装置であり、例えばディスプレイ、スピーカ等である。CPU102は、記憶装置105に記憶されたプログラムを読みだして実行する。GPU103は、記憶装置105に記憶されたプログラムを読みだして実行することで、画像の生成、表示等を行う。通信装置104は、例えばWifi、NFCなどで構成され、各撮像装置20及び他の通信機器と通信を行う。記憶装置105は、情報処理装置10に入力部11、通信部12、提示部13、候補状態取得部(取得部)14a、及び提示側制御部14を実現させるためのプログラムを記憶する。このようなプログラムとしては、例えば、物体・音声認識プログラム、撮像装置の位置算出プログラム、撮像装置の姿勢認識プログラム、UI(ユーザ・インタフェース)プログラム等が挙げられる。また、このようなプログラムとしては、これらの他に、複数映像同期複数音声同期プログラム、撮影モード判定プログラム、撮像装置配置候補算出プログラム、及び撮像装置検出・通信プログラム等が挙げられる。もちろん、プログラムはこれらに限られない。プログラムは、通信ネットワークを介して他の通信機器から取得されるようにしてもよい。バス106は、各ハードウェア構成同士を電気的に連結する。
(2−2.撮像装置の構成)
次に、図3及び図4に基づいて、撮像装置20の構成について説明する。撮像装置20は、撮像部31、通信部32、提示部33、位置検出部34、及び撮像側制御部35を有する。撮像装置20は例えばカメラであるが、これに限られない。撮像装置20は、撮像機能を有するものであればどのようなものであってもよい。例えば、撮像装置20は、撮像機能付きのスマートフォン、スマートタブレット等であってもよい。また、撮像装置20は、提示部33及び位置検出部34を有していなくてもよい。
撮像部31は、撮像(撮影)を行うことで撮像画像を生成し、撮像側制御部35に出力する。通信部32は、情報処理装置10と通信を行う。通信部32は、他の通信機器と通信を行なってもよい。通信部32は、当該通信により得られた情報を撮像側制御部35に出力する。提示部33は、各種情報、例えば撮像画像、各種音声等を提示する。情報の提示は例えば画面表示及び音声出力のうち少なくとも一方によって行われる。位置検出部34は、撮像装置20の現在の設置状態を算出(検出)するためのセンサ情報を生成し、その結果に関するセンサ情報を撮像側制御部35に出力する。撮像側制御部35は、撮像装置20全体の制御を行う他、情報処理装置10からの要求に応じてセンサ情報等を情報処理装置10に送信する等の処理も行う。
撮像装置20の各機能は、例えば図4に示すハードウェア構成によって実現される。もちろんこのハードウェア構成は一例であり、撮像装置20の各機能を実現できるものであればどのようなものであってもよい。
撮像装置20は、図4に示すように、そのハードウェア構成として、レンズ200、レンズ駆動回路201、撮像素子202、AFE回路203、画像処理回路204、スピーカ駆動回路205、スピーカ206、ディスプレイ207、通信回路208を備える。また、撮像装置20は、これらの他、マイク209、音声処理回路210、RAM211、各種センサ212、CPU213、GPU214、メディア(記憶媒体)215、及びバス216を備える。
レンズ200は、撮像装置20の外部から入射された光を撮像素子202に集光する。レンズ駆動回路201は、レンズ200の位置を調節する。撮像素子202は、レンズ200からの光によって撮像画像を生成する。AFE(アナログフロントエンド)回路203は、撮像素子202が生成した撮像画像をデジタル情報に変換し画像処理回路204に出力する。画像処理回路204は、撮像画像に各種の処理を施す。スピーカ駆動回路205は、スピーカ206の駆動を制御する。スピーカ206は、各種音声を出力する。ディスプレイ207は、各種情報、例えば撮像画像等を表示する。通信回路208は、例えばWifi、NFCなどで構成され、情報処理装置10と通信を行う。通信回路208は、他の通信機器と通信を行なってもよい。マイク209は、ユーザ等からの音声を取り込み、音声情報として音声処理回路210に出力する。なお、当該音声情報は、撮像装置20の現在の設置状態を算出するためのセンサ情報にもなりうる。
音声処理回路210は、音声情報に各種の処理を施す。RAM211は、CPU213による作業領域として使用される。各種センサ212には、撮像装置20の現在の設置状態を算出するためのセンサ情報を生成するセンサが含まれる。具体的には、各種センサ212には、測距センサ、GPSセンサ、赤外線センサ、及びジャイロセンサ等が含まれる。これらのセンサ情報はCPU213に与えられる。CPU213は、メディア等に記憶されるプログラムを読みだして実行する。GPU213は、CPU213と同様に、メディア等に記憶されるプログラムを読みだして実行することで、画像の生成、表示等を行う。メディア215は、各種の記録媒体(ROM、外部記憶媒体等)であり、例えば撮像装置20に撮像部31、通信部32、提示部33、位置検出部34、及び撮像側制御部35を実現させるためのプログラムを記憶する。バス216は、各ハードウェア構成同士を電気的に連結する。以下の説明では、複数の撮像装置20の各々を区別するために、撮像装置21〜29とも称する。
(2−3.情報処理装置による処理の概要)
次に、情報処理装置10による処理の概要を図5に示すフローチャートに沿って説明する。なお、以下の説明では、提示側制御部14が候補状態の取得(算出)を行うが、候補状態の取得(算出)は候補状態取得部14aが行なっても良い。ステップS10において、ユーザは、1または複数の撮像装置20を設置する。各撮像装置20の設置状態(設置位置、設置姿勢等)は、後述する撮像フォーメーションを考慮したものであることが好ましいが、任意であってもよい。
ついで、情報処理装置10は、各撮像装置20の現在の設置状態を算出する。具体的には、例えば、提示側制御部14は、センサ情報を要求する旨の要求情報を通信部12から各撮像装置20に送信する。各撮像装置20の通信部32は、要求情報を撮像側制御部35に出力する。撮像側制御部35は、要求情報を位置検出部34に出力し、位置検出部34は、センサ情報を撮像側制御部35に出力する。撮像側制御部35は、センサ情報を通信部32から情報処理装置10に送信し、情報処理装置10の通信部12は、センサ情報を提示側制御部14に出力する。なお、撮像装置20は、ユーザによって設置状態が確定された場合にセンサ情報を情報処理装置10に送信してもよい。設置状態を確定する方法としては、例えば、撮像装置20に設置状態確定ボタンを用意しておき、このボタンが押された際に設置状態が確定されたと判定する方法等が挙げられるが、これに限定されない。提示側制御部14は、撮像装置20の設置状態が候補状態に一致した場合には、設置状態を自動で確定しても良い。
提示側制御部14は、各撮像装置20から与えられたセンサ情報にもとづいて、各撮像装置20の現在の設置状態を算出するとともに、設置済みの撮像装置20の台数を把握する。各センサ情報に基づく具体的な算出方法は特に限定されない。
また、現在の設置状態の算出方法はこの方法に限定されない。例えば、情報処理装置10は、複数の撮像装置20が設置されている場合、各撮像装置20から撮像画像を取得し、これらの撮像画像の視差等にもとづいて、各撮像装置20の現在の設置状態を算出してもよい。
なお、情報処理装置10との通信の対象となる撮像装置20は、情報処理装置10と通信可能な撮像装置20であれば特に制限されないが、何らかの方法で限定されてもよい。例えば、情報処理装置10は、情報処理装置10の通信可能範囲内に存在する撮像装置20を検出してその一覧を提示し、ユーザに撮像装置20の一覧から所望の撮像装置20を選択させるようにしてもよい。また、撮像装置20同士が何らかのネットワークを構成している場合、提示側制御部14は、そのようなネットワークの一覧を提示し、ユーザにネットワークの一覧から所望のネットワークを選択させるようにしてもよい。また、撮像装置20に識別情報を付与しておき、提示側制御部14は、所定の識別情報を有する撮像装置20のみと通信を行うようにしてもよい。
ステップS20において、情報処理装置10は、各撮像装置20の現在の設置状態にもとづいて、各撮像装置20の設置状態の候補、すなわち候補状態を算出する(すなわち、候補状態を取得する)。具体的な処理は以下のとおりである。例えば、提示側制御部14は、まず、撮像フォーメーション(候補フォーメーション)を決定する。ここで、撮像フォーメーションは、各撮像装置20の撮像時のフォーメーションである。撮像フォーメーションとしては、例えば、図16に示す360°パノラマ撮像フォーメーション、図15に示す直列状多視点撮像フォーメーション(複数の撮像装置20を直列に並べたフォーメーション)が挙げられる。他の撮像フォーメーションとしては、図8に示すリング状多視点撮像フォーメーション(複数の撮像装置20が被写体を囲むように配列したフォーメーション)、図17に示す積み上げ撮像フォーメーション等が挙げられる。
多視点撮像フォーメーションにより撮像された撮像画像は、例えば自由視点表示装置、3D表示装置、ストリートビュー、360°表示装置等に使用される。360°パノラマ撮像フォーメーションにより撮像された撮像画像は、例えばパノラマ画像やタイムスライス画像等の作成に使用される。
提示側制御部14は、例えば、ユーザに撮像フォーメーションを選択させても良い。提示側制御部14は、ユーザに撮像フォーメーションを選択させる場合、例えば、撮像フォーメーションの一覧を提示部13に提示する。ユーザは、この一覧から所望の撮像フォーメーションを選択する。
一方、提示側制御部14は、現在の撮像装置20の設置状態に基づいて撮像フォーメーションを決定してもよい。例えば、提示側制御部14は、各撮像装置20の光軸がある地点を中心として外側に向いている場合、撮像フォーメーションを360°パノラマ撮像フォーメーションに決定する。
また、提示側制御部14は、各撮像装置20が直列に配置され、かつ、各撮像装置20の光軸が撮像装置20の列と直交する場合、撮像フォーメーションを直列状多視点撮像フォーメーションに決定する。また、提示側制御部14は、各撮像装置20がある被写体の周囲を囲み、かつ各撮像装置20の光軸が当該被写体に向いている場合、撮像フォーメーションをリング状多視点撮像フォーメーションに決定する。
ここで、提示側制御部14は、リング状多視点撮像フォーメーションの被写体を以下のように決定する。例えば、提示側制御部14は、各撮像装置20から与えられた撮像画像に共通して描かれている被写体をリング状多視点撮像フォーメーションの被写体と決定する。もちろん、被写体の決定方法はこれに限定されない。例えば、ユーザは、最初の撮像装置20は慎重に設置する傾向があるので、提示側制御部14は、最初に設置された撮像装置20から撮像画像を取得し、この撮像画像の中心に描かれているオブジェクトを被写体として選択してもよい。
また、提示側制御部14は、撮像画像の一覧を提示部13に提示し、ユーザに被写体を選択させるようにしてもよい。また、提示側制御部14は、いずれかの撮像画像の中心に描かれている被写体を多視点撮像フォーメーションの被写体としてもよい。また、提示側制御部14は、特定のオブジェクト(例えば人物)を被写体とするアルゴリズムを記憶しておき、このアルゴリズムに従って被写体を決定してもよい。提示側制御部14は、被写体を撮像装置20側で決定させてもよい。この場合、撮像装置20は、上記と同様の処理により被写体を決定すればよい。
また、提示側制御部14は、鉛直方向に撮像装置20が積み上げられている場合、撮像フォーメーションを積み上げ撮像フォーメーションに決定する。なお、撮像フォーメーションは、予め設定されたものから選択されてもよく、現在の設置状態に基づいて任意に生成されてもよい。例えば、提示側制御部14は、現在の設置位置を通る近似曲線を算出し、これを撮像フォーメーションとしてもよい。
次いで、提示側制御部14は、撮像フォーメーションを構成する撮像装置20の台数を決定する。提示側制御部14は、ユーザに台数を決定させても良いし、現在の撮像装置20の設置状態及び撮像フォーメーションに基づいて台数を決定してもよい。
例えば、提示側制御部14は、撮像フォーメーションがリング状多視点撮像フォーメーションとなる場合、各撮像装置20の現在の設置状態にもとづいて、リング状多視点撮像フォーメーションの半径を算出する。例えば、提示側制御部14は、各撮像装置20から被写体までの距離を算出し、この距離の平均値をリング状多視点撮像フォーメーションの半径とする。そして、提示側制御部14は、リング状多視点撮像フォーメーションの円周を、隣接する撮像装置20間の距離で除算し、これにより得られた値を撮像装置20の台数としてもよい。提示側制御部14は、撮像フォーメーションが360°パノラマ撮像フォーメーションとなる場合にも、同様の方法により撮像装置20の台数を決定してもよい。また、提示側制御部14は、撮像フォーメーションが直列状多視点撮像フォーメーションとなる場合、予め設定された距離を隣接する撮像装置20間の距離で除算し、これにより得られた値を撮像装置20の台数としてもよい。また、提示側制御部14は、撮像フォーメーション毎に予め台数を設定しておいてもよい。特に、提示側制御部14は、撮像フォーメーションがリング状多視点撮像フォーメーションまたは360°パノラマ撮像フォーメーションとなる場合、撮像フォーメーションの半径毎に台数を設定しておいてもよい。この場合、提示側制御部14は、上記と同様の方法により撮像フォーメーションの半径を算出し、その結果に基づいて台数を決定してもよい。
次いで、提示側制御部14は、撮像フォーメーション及び撮像装置20の台数にもとづいて、撮像装置20の候補状態を決定する。ここで、候補状態のうち、撮像装置20の設置位置(以下、「候補位置」とも称する)は、撮像フォーメーション内に撮像装置20が等間隔に配列されるように決定されればよい。もちろん、撮像装置20同士の間隔は任意であってもよい。この場合、撮像装置20同士の間隔はユーザによって決定されても良く、撮像装置20の画角、撮像画像同士の重複状態によって決定されてもよい。例えば、撮像装置20の画角が広いほど、その撮像装置20と他の撮像装置20との間隔は広くなるように設定されてもよい。また、設置間隔の設定方法は複数あってもよく、これらの判断基準に優先度が関連付けられていてもよい。例えば、撮像装置20の設置間隔を画角に基づいて設定するという設定方法と等間隔に配置するという設定方法とを用意しておき、撮像装置20の画角が判明した場合には、前者の設定方法を優先するといった処理を行なってもよい。また、撮像フォーメーション毎に設定方法を変更しても良い。
一方、候補状態のうち、撮像装置20の姿勢(以下、「候補姿勢」とも称する)は、以下のように設定されればよい。例えば、光軸の向きは、各撮像装置20が撮像フォーメーションを構成するように決定されればよい。撮像装置20の回転角は、基本的には0°(撮像装置20が水平に保持される角度)であればよいが、他の値であってもよい。例えば、回転角は、ユーザによって任意に設定されてもよい。
ステップS30において、提示側制御部14は、候補状態を提示する。提示側制御部14は、候補状態と共に現在の設置状態を表示してもよい。ここで、候補状態及び現在の設置状態は、様々な態様で提示可能である。提示側制御部14は、例えば撮像装置20の平面画像(撮像装置20を水平面に投影することで得られる画像)、正面画像、背面画像、立体画像(撮像装置20を俯瞰した画像)等を候補状態及び現在の設置状態に応じて表示してもよい。また、提示側制御部14は、現在の設置状態を示す平面画像等と候補状態を示す平面画像等とを異なる態様で表示してもよい。また、提示側制御部14は、現在の設置状態を示す平面画像等のうち、候補状態に一致する平面画像等と候補状態と異なる平面画像等とを異なる態様で表示してもよい。また、提示側制御部14は、例えば撮像装置20の現在の設置状態を候補状態に一致させるための調整内容(例えば調整方向を示す矢印または音声)を提示してもよい。また、提示側制御部14は、撮像装置20が撮像中の画像を現在の設置状態及び候補状態に関連付けて表示してもよい。また、多視点撮像及びパノラマ撮像等では、各撮像装置20の画角も重要となるので、提示側制御部14は、各撮像装置20の画角を提示してもよい。この場合、各撮像装置20は、画角に関する情報も上述したセンサ情報と共に情報処理装置10に送信すればよい。なお、画角に関する情報は予め情報処理装置10に記憶させておいても良いし、ユーザによって情報処理装置10に入力されるようにしてもよい。その後、情報処理装置10は、本処理を終了する。
なお、提示側制御部14は、少なくともステップS30の処理を行えばよく、他の処理を他の機器、例えば撮像装置20(例えばCPU負荷の最も少ない撮像装置20)または他の通信機器に行わせ、その結果を受領するようにしてもよい。すなわち、提示側制御部14は、ステップS10及びS20の処理を他の機器に分散して行わせてもよい。例えば、ある撮像装置20は、自己の現在の設置状態と隣接する撮像装置20の現在の設置状態とを算出し、その結果を情報処理装置10に送信してもよい。
また、上記の処理ではいずれかの1つの撮像フォーメーションに対応する候補状態を提示することとしたが、複数種類の撮像フォーメーションの各々について候補状態を算出し、これらを識別可能なように(例えば色分け表示、輝度を変える表示等)提示してもよい。以上の処理により、ユーザは、候補状態を事前に把握していなくても、候補状態を容易かつインタラクティブに把握することができる。この結果、ユーザは、現在の設置状態と候補状態とを対比することができ、撮像装置20の設置状態を候補状態に容易に一致させることができる。そして、候補状態となっている各撮像装置20は、より整合性の高い撮像画像を撮像することができる。したがって、情報処理装置10は、ユーザに対する後の工程(編集作業等)の負担を低減することができる。
(2−4.情報処理装置による処理の例)
以下、情報処理装置10による処理のさらに具体的な例を説明するが、情報処理装置10が行う処理が以下の例に限定されないことはもちろんである。また、以下の例では、情報処理装置10は、ユーザにより携行可能な装置(例えばスマートフォンまたはスマートタブレット等)であるが、他の情報処理装置10であっても以下の処理を実行可能である。
(2−4−1.リング状多視点撮像フォーメーション提示処理の例)
情報処理装置10による処理の例として、まず、リング状多視点撮像フォーメーション提示処理を図6に示すフローチャートに沿って説明する。
ステップS100において、ユーザは、M台(Mは1または2以上の整数)の撮像装置20を設置し、これらの電源スイッチを入れる。各撮像装置20の設置状態は、リング状多視点撮像フォーメーションを考慮したものであることが好ましいが、任意であってもよい。設置状態の例を図7に示す。この例では、オブジェクト30の周囲に2台の撮像装置20が設置され、各撮像装置20の光軸40がいずれもオブジェクト30に向けられている。また、オブジェクト30から各撮像装置20までの距離はほぼ等しい。
ついで、情報処理装置10は、設置済みの撮像装置20を検出し、かつ、各撮像装置20の現在の設置状態を算出する。具体的には、例えば、提示側制御部14は、センサ情報を要求する旨の要求情報を通信部12から各撮像装置20に送信する。これに応じて、各撮像装置20は、センサ情報を情報処理装置10に送信し、情報処理装置10の通信部12はセンサ情報を提示側制御部14に出力する。撮像装置20は、ユーザによって設置状態が確定された場合にセンサ情報を情報処理装置10に送信してもよい。
提示側制御部14は、各撮像装置20から与えられたセンサ情報にもとづいて、設置済みの撮像装置20を検出する。そして、提示側制御部14は、各撮像装置20の現在の設置状態(位置関係)を算出するとともに、設置済みの撮像装置20の台数を把握する。各センサ情報に基づく具体的な算出方法は特に限定されない。
また、現在の設置状態の算出方法はこの方法に限定されない。例えば、情報処理装置10は、図7に示すように、複数の撮像装置20が設置されている場合、各撮像装置20から撮像画像を取得し、これらの撮像画像の視差等にもとづいて、各撮像装置20の現在の設置状態を算出してもよい。
さらに、撮像装置20は、リング状多視点撮像フォーメーションの被写体を決定する。例えば、提示側制御部14は、各撮像装置20から与えられた撮像画像に共通して描かれている被写体をリング状多視点撮像フォーメーションの被写体と決定する。例えば、図7に示す場合、各撮像装置20から与えられた撮像画像には、オブジェクト30が共通して描かれているので、提示側制御部14は、オブジェクト30を被写体と決定することができる。もちろん、被写体の決定方法はこれに限定されない。他の決定方法の具体的な内容は上述した通りである。
次いで、提示側制御部14は、撮像装置20の現在の設置状態を提示する。具体的には、提示側制御部14は、撮像装置20の平面画像を複数生成し、これらを現在の設置状態に応じた態様、すなわち現在の設置位置に応じた表示位置に現在の設置姿勢に応じた表示姿勢で表示部13aに表示する。ここで、表示姿勢は、平面画像の光軸の向き及び回転角を含む概念である。すなわち、平面画像の表示位置は現在の設置位置に対応し、平面画像の光軸の向き及び回転角は現在の設置姿勢に対応する。さらに、提示側制御部14は、被写体を示す被写体画像も表示する。
ついで、提示側制御部14は、撮像装置20の現在の設置状態にもとづいて、撮像フォーメーションをリング状多視点撮像フォーメーションに決定する。例えば、提示側制御部14は、図7に示すように、各撮像装置20がオブジェクト30の周囲を囲み、かつ各撮像装置20の光軸が当該オブジェクト30に向いている場合、撮像フォーメーションをリング状多視点撮像フォーメーションに決定する。なお、提示側制御部14は、撮像フォーメーションの一覧を提示部13に提示し、ユーザにリング状多視点撮像フォーメーションを選択させるようにしてもよい。
さらに、提示側制御部14は、リング状多視点撮像フォーメーションを構成する撮像装置20の台数N(N>M)を決定する。提示側制御部14は、ユーザに台数Nを決定させても良いし、現在の撮像装置20の設置状態及び撮像フォーメーションに基づいて台数を決定してもよい。
例えば、提示側制御部14は、各撮像装置20の現在の設置状態にもとづいて、リング状多視点撮像フォーメーションの半径を算出する。例えば、提示側制御部14は、各撮像装置20から被写体までの距離を算出し、この距離の平均値をリング状多視点撮像フォーメーションの半径とする。そして、提示側制御部14は、リング状多視点撮像フォーメーションの円周を、隣接する撮像装置20間の距離で除算し、これにより得られた値を撮像装置20の台数Nとする。
ステップS110において、提示側制御部14は、撮像フォーメーション及び撮像装置20の台数Nにもとづいて、撮像装置20の候補状態(配置候補)を決定する(すなわち、候補状態を取得する)。例えば、提示側制御部14は、リング状多視点撮像フォーメーション内に撮像装置20が等間隔に配列されるように撮像装置20の候補位置を決定する。もちろん、撮像装置20同士の間隔は任意であってもよい。提示側制御部14は、各撮像装置20の光軸が被写体に向くように光軸の向き(候補姿勢)を決定する。また、提示側制御部14は、各撮像装置20の回転角(候補姿勢)を0°とする。
ステップS120において、提示側制御部14は、各撮像装置20の候補状態を提示する。具体的には、提示側制御部14は、撮像装置20の平面画像を複数生成し、これらを候補状態に応じた態様、すなわち候補位置に応じた表示位置に候補姿勢に応じた表示姿勢で表示する。すなわち、平面画像の表示位置は候補位置に対応し、平面画像の光軸の向き及び回転角は候補姿勢に対応する。
さらに、提示側制御部14は、撮像装置20の平面画像を複数生成し、これらを現在の設置状態に応じた態様、すなわち現在の設置位置に応じた表示位置に現在の設置姿勢に応じた表示姿勢で表示部13aに表示する。ここで、提示側制御部14は、現在の設置状態を示す平面画像と候補状態を示す平面画像とを異なる態様(例えば色分け等)で表示する。さらに、提示側制御部14は、現在の設置状態を示す平面画像のうち、候補状態に一致する平面画像と候補状態と異なる平面画像とを異なる態様(例えば色分け等)で表示する。以下、候補状態に一致する平面画像の表示態様を「一致態様」とも称し、候補状態と異なる平面画像の表示態様を「不一致態様」とも称する。提示側制御部14は、一致態様を青色、不一致態様を黄色(または赤色)といったように、それぞれの態様を色分けで表示しても良い。さらに、提示側制御部14は、被写体を示す被写体画像も表示する。さらに、提示側制御部14は、撮像フォーメーションを示す線画像(候補状態を示す平面画像を連結したもの)を表示してもよい。
表示例を図8に示す。図8では、平面画像20aが現在の設置状態を示し、平面画像20bが候補状態を示す。平面画像20aの光軸40aはいずれも被写体画像30aに向いている。また、平面画像20aが示す設置状態は候補状態に一致している。平面画像20aと平面画像20bとは色分け表示されている。なお、図8では、平面画像20a、20bの表示色の違いがハッチングの有無及び線種の違いで表現されている。線画像20cはリング状多視点撮像フォーメーションを示す。線画像20cは被写体画像30aを中心とした円画像となっている。
他の表示例を図9に示す。図9では、平面画像20a、20a’が現在の設置状態を示し、平面画像20bが候補状態を示す。平面画像20a、20bの光軸40a、40a’はいずれも被写体画像30aに向いている。また、平面画像20aが示す設置状態は候補状態に一致し、平面画像20a’が示す設置状態は候補状態と異なっている。平面画像20aと平面画像20a’とは色分け表示されている。図9では、平面画像20a、20a’の表示色の違いがハッチングの有無で表現されている。また、図8と同様に、平面画像20aと平面画像20bとは色分け表示されている。なお、この例では撮像フォーメーションを構成する撮像装置20の台数が図8に示す台数(8台)よりも少なく(4台)、この結果、平面画像20a’が示す設置状態が候補状態と異なるようになっている。なお、このフォーメーションでは、撮像を行わなかった視点に対応する画像、すなわち補間画像は、当該視点に近接する視点で撮像された撮像画像に基づいて作製されうる。このような処理は、例えば自由視点表示装置(任意の視点から映像を視認できる表示装置)等に適用可能である。
ステップS130において、ユーザは、新たに撮像装置20をオブジェクト30の近傍に設置し、撮像装置20の電源スイッチを入れる。提示側制御部14は、ステップS100と同様の処理を行うことで、新たに加わった撮像装置20を検出する。
ステップS140において、提示側制御部14は、ステップS100と同様の処理を行うことで、新たに加わった撮像装置20の現在の設置状態を算出する。
ステップS150において、提示側制御部14は、新たに加わった撮像装置20の現在の設置状態を提示する。具体的な処理内容はステップS120と同様である。表示例を図10に示す。この例では、図8に示す例に新たに平面画像20a’が追加されている。平面画像20a’は、新たに加わった撮像装置20の現在の設置状態を示す。平面画像20a’が示す設置状態は、候補状態と異なる。このため、平面画像20a’の表示態様は不一致態様となっている。
ステップS160において、ユーザは、表示部13aの表示内容を手がかりとして、新たに加わった撮像装置20を候補位置に移動させ、かつ、その姿勢を候補姿勢に一致させる。そして、ユーザは、設置状態の確定操作を行う。提示側制御部14は、この操作が行われた場合、撮像装置20の現在の設置状態が候補状態に一致したかを判定し、一致した場合には、平面画像の表示態様を一致態様に変更し、撮像装置20の現在の設置状態が候補状態と異なる場合には、平面画像の表示態様を不一致態様に維持する。なお、提示側制御部14は、撮像装置20の現在の設置状態が候補状態に一致した場合には、自動的に設置状態を確定し、かつ、表示態様を一致態様に変更しても良い。また、提示側制御部14は、現在の設置状態が候補状態に一致した場合には、何らかの音声(例えばアラーム音等)を出力するようにしてもよい。
ステップS170において、提示側制御部14は、N台の撮像装置20が設置され、かつこれらの設置状態が候補状態に一致したかを判定する。提示側制御部14は、この条件が満たされると判定した場合には、本処理を終了し、この条件が満たされないと判定した場合には、ステップS130に戻る。
(2−4−2.リング状多視点撮像フォーメーション提示処理の他の例)
上記の例では、ユーザがリング状多視点撮像フォーメーションを構成する撮像装置20のうち、一部だけを設置してから処理が開始された。この例では、ユーザがリング状多視点撮像フォーメーションを構成する台数の撮像装置20を予め設置している。もちろん、後からユーザがさらに撮像装置20を設置してもよい。
まず、ユーザは、リング状多視点撮像フォーメーションを構成する台数の撮像装置20を設置し、これらの電源スイッチを入れる。各撮像装置20の設置状態は、リング状多視点撮像フォーメーションを考慮したものであることが好ましいが、任意であってもよい。設置状態の例を図12に示す。この例では、オブジェクト30の周囲に8台の撮像装置20が設置され、各撮像装置20の光軸40がいずれもオブジェクト30に向けられている。また、オブジェクト30から各撮像装置20までの距離はほぼ等しい。
次いで、ステップS200〜S210において、提示側制御部14は、ステップS100と同様の処理を行う。概略的には、提示側制御部14は、設置済みの撮像装置20を検出し、かつ、各撮像装置20の現在の設置状態を算出する。さらに、提示側制御部14は、被写体も特定する。さらに、提示側制御部14は、各撮像装置20の現在の設置状態を提示する。さらに、提示側制御部14は、撮像フォーメーションをリング状多視点撮像フォーメーションに決定し、台数を8台に決定する。
ステップS220において、提示側制御部14は、撮像フォーメーション及び撮像装置20の台数(8台)にもとづいて、撮像装置20の候補状態(配置候補)を決定する。具体的な処理内容はステップS110と同様である。
ステップS230において、提示側制御部14は、各撮像装置20の候補状態を提示する。具体的な処理内容はステップS120と同様である。表示例を図13に示す。この例では、平面画像20a’、20b、線画像20c、及び被写体画像30aが表示されている。平面画像20a’は現在の設置状態を示し、平面画像20bは候補状態を示す。平面画像20a’と平面画像20bとは異なる態様で表示される。また、平面画像20a’が示す設置状態はいずれも候補状態と異なるので、不一致態様で表示される。なお、上記のリング状多視点撮像フォーメーションにおいては、各撮像装置20の画角を各平面画像とともに表示してもよい。
(2−4−3.直列状多視点撮像フォーメーション提示処理の例)
次に、直列状多視点撮像フォーメーションを提示する処理の例について説明する。具体的な処理の流れは図5に示すフローチャートに従う。例えば、ユーザは、図14に示すように撮像装置20を設置する。図14には、各撮像装置20の他、各撮像装置20の画角45も示される。これに対し、提示側制御部14は、ステップS10〜S30の処理を行うことで、例えば図15に示す画像を表示する。この例では、撮像装置20の現在の設置状態を示す平面画像20a、20a’、撮像装置20の候補状態を示す平面画像20bが表示されている。また、撮像装置20の画角を示す画角画像45a、45a’、45bも表示されている。平面画像20aは一致態様で表示され、平面画像20a’は不一致態様で表示される。画角画像45a、45a’は、撮像装置20の現在の設置状態における画角を示し、画角画像45bは、撮像装置20の候補状態における画角を示す。これにより、ユーザは、現在の設置状態での画角の重複状態及び候補状態での画角の重複状態を確認することができる。
(2−4−4.360°パノラマ撮像フォーメーション提示処理の例)
次に、360°撮像フォーメーションを提示する処理の例について説明する。具体的な処理の流れは図5に示すフローチャートに従う。例えば、ユーザは、1または複数の撮像装置20を設置する。これに対し、提示側制御部14は、ステップS10〜S30の処理を行うことで、例えば図16に示す画像を表示する。この例では、撮像装置20の現在の設置状態を示す平面画像20a、撮像装置20の候補状態を示す平面画像20bが表示されている。また、撮像装置20の画角を示す画角画像45a、45bも表示されている。画角画像45aは撮像装置20の現在の設置状態における画角を示し、画角画像45bは撮像装置20の候補状態における画角を示す。これにより、ユーザは、現在の設置状態での画角の重複状態及び候補状態での画角の重複状態を確認することができる。
(2−4−5.積み上げ撮像フォーメーション提示処理の例)
次に、積み上げ撮像フォーメーションを提示する処理の例について説明する。具体的な処理の流れは図5に示すフローチャートに従う。例えば、ユーザは、1または複数の撮像装置20を設置する。これに対し、提示側制御部14は、ステップS10〜S30の処理を行うことで、例えば図17に示す画像を表示する。この例では、撮像装置20の現在の設置状態を示す背面画像20f、20f’、撮像装置20の候補状態を示す背面画像20gが表示されている。背面画像20fが示す設置状態は候補状態に一致し、背面画像20f’が示す設置状態は候補状態と異なっている。背面画像20fと背面画像20f’とは異なる態様(例えば色分け)で表示されている。図17では、背面画像20f、20f’の表示色の違いがハッチングの有無で表現されている。
(2−5.各種表示例)
上述した2−4.では、情報処理装置10による処理の例を撮像フォーメーション毎に説明した。また、各処理の表示例も示した。しかし、表示例は上述したものに限定されない。そこで、2−5.では、各種表示例について説明する。これらの表示例は上述した各撮像フォーメーションのいずれにも適用可能であることはもちろんである。
(2−5−1.正面画像を提示する例)
提示側制御部14は、撮像装置20の正面画像を用いて現在の設置状態及び候補状態を表示してもよい。表示例を図18に示す。この例では、撮像装置20の現在の設置状態を示す正面画像20d、20d’と、撮像装置20の候補状態を示す正面画像20eとが表示されている。正面画像20dが示す設置状態は候補状態に一致し、正面画像20d’が示す設置状態は候補状態と異なっている。正面画像20dと正面画像20d’とは色分け表示されている。図18では、正面画像20d、20d’の表示色の違いがハッチングの有無で表現されている。この例でも明らかなように、提示側制御部14は、正面画像を提示することで、ユーザに撮像装置20の現在の設置姿勢と候補姿勢との差分を容易に把握することができる。
(2−5−2.候補状態のみを提示する例)
上述した各例では、現在の設置状態と候補状態とを両方表示していたが、ユーザにとっては、少なくとも候補状態がわかれば、その候補状態を目安として撮像装置20を設置することができる。したがって、提示側制御部14は、候補状態だけを提示してもよい。表示例を図19に示す。この例は、上述したリング状多視点撮像フォーメーションを提示する例において、現在の設置状態の表示を省略したものである。この例においても、ユーザは、候補状態を目安に撮像装置20をリング状多視点撮像フォーメーションに設置することができる。
(2−5−3.撮像画像を表示する例)
ユーザにとっては、各撮像装置20が撮像中の撮像画像(映像)が表示された方が、各撮像画像の重複状態を把握できるので好ましい。したがって、提示側制御部14は、撮像装置20の候補状態を提示する際に、各撮像装置20の撮像画像を表示することが好ましい。さらに、提示側制御部14は、表示中の撮像画像がどの撮像装置20に対応するのかをユーザが容易に把握できるように、各撮像画像と現在の設置状態とを関連付けて表示することが好ましい。表示例を図20に示す。この例では、表示部13aが左右に分割され、左側の表示領域が平面マップ表示領域13a−1、右側の表示領域が撮像画像表示領域13a−2となっている。そして、平面マップ表示領域13a−1に現在の設置状態を示す平面画像20a’及び候補状態を示す平面画像20b等が表示され、撮像画像表示領域13a−2に撮像画像が表示される。撮像画像表示領域13a−2では、撮像画像が縦方向に並べられている。
この例では、平面マップ表示領域13a−1にリング状多視点撮像フォーメーションの表示例として、平面画像が表示されている。また、提示側制御部14は、現在の設置状態と撮像画像とを関連付けるために、平面画像20a’の並び順と撮像画像の並び順とを一致させてもよい。例えば、提示側制御部14は、平面画像20a’のうち、いずれかの平面画像20a’(例えば平面画像20a’のうち、表示部13aの上端に最も近い位置に表示されたもの)を基準とする。さらに、提示側制御部14は、基準の平面画像20a’から時計回りに各平面画像20a’に順番を付す。そして、提示側制御部14は、各撮像装置20の撮像画像を各撮像装置20の平面画像20a’に付与された順番に従って撮像画像表示領域13a−2の上端から表示する。提示側制御部14は、基準の平面画像20a’を他の平面画像20a’と異なる態様(例えば色分け)で表示してもよい。
例えば、平面画像20a’−1〜20a’−3がそれぞれ撮像装置21〜23に対応する場合、提示側制御部14は、平面画像20a’−1を基準としてもよい。そして、提示側制御部14は、撮像装置21の撮像画像を撮像画像表示領域13a−2の上端に表示し、撮像装置22の撮像画像を上から2番目に表示し、撮像装置23の撮像画像を上から3番目に表示しても良い。上記の基準や順番はユーザに選択させるようにしてもよい。
また、提示側制御部14は、情報処理装置10の設置状態に応じて各領域の表示内容を変更してもよい。ここで、情報処理装置10の設置状態は、例えば設置位置と設置姿勢を含む概念である。情報処理装置10の設置姿勢は、例えば情報処理装置10の向き(情報処理装置10の長手方向に伸びるベクトルの向き)を含む概念である。
すなわち、提示側制御部14は、情報処理装置10の現在の設置状態に応じた態様で現在の設置状態及び候補状態を提示してもよい。ここで、情報処理装置10に位置検出部34と同様の機能を持たせることで、情報処理装置10の現在の設置状態を検出することが可能となる。
例えば、提示側制御部14は、撮像装置23の設置位置が情報処理装置10の現在位置にもっとも近い場合、撮像装置23の現在の設置状態を示す平面画像20a’−3を基準としてもよい。この場合、平面画像20a’−3は、他の平面画像20a’と異なる態様で表示される。また、各平面画像20a’には、平面画像20a’−3から時計回りに順番が付される。また、撮像画像表示領域13a−2の最上部には撮像装置23の撮像画像が表示される。また、提示側制御部14は、平面画像20a’−3が表示部13aの上端に最も近い位置に表示されるように、平面画像20a’、20bの配置を変更してもよい。
また、提示側制御部14は、情報処理装置10の向きを検出した場合、情報処理装置10の向いた方向に存在する撮像装置20のうち、情報処理装置10に最も近接するものを基準としてもよい。
また、提示側制御部14は、各撮像装置20の識別情報(例えば品名、ID等)または上述した順番を平面画像20a’及び撮像画像の脇に表示するようにしてもよい。なお、提示側制御部14は、表示部13aを複数の表示領域に区分してそれぞれの表示領域に異なる情報を表示する場合、これらの表示領域に表示された情報を同時に表示しても良いし、ユーザ操作等に応じていずれか一方の表示領域に表示された情報だけを表示するようにしてもよい。これらの情報を切り替えられるようにしても良い。
他の例を図21に示す。この例では、表示部13aが上下に分割され、上側の表示領域が背面マップ表示領域13a−3となり、下側の表示領域が撮像画像表示領域13a−4となる。背面マップ表示領域13a−3には、撮像装置20の現在の設置状態を示す背面画像20m−1、20m’−2〜20m’−3と、撮像装置20の候補状態を示す背面画像20e’とが表示される。また、撮像画像表示領域13a−4には、各撮像装置20の撮像画像が表示される。背面画像20m−1が示す設置状態は候補状態に一致し、背面画像20m’−2、20m’−3が示す設置状態は候補状態と異なっている。背面画像20m−1と背面画像20m’−2〜20m’−3とは色分け表示されている。図21では、背面画像20m−1と背面画像20m’−2〜20m’−3の表示色の違いがハッチングの有無で表現されている。
また、提示側制御部14は、各撮像画像と現在の設置状態とを関連付けて表示することができる。例えば、この例では、提示側制御部14は、背面画像20m−1が撮像装置21の現在の設置状態を示す場合、背面画像20m−1の直下に撮像装置21の撮像画像を表示する。同様に、提示側制御部14は、背面画像20m’−2が撮像装置22の現在の設置状態を示す場合、背面画像20m’−2の直下に撮像装置22の撮像画像を表示する。提示側制御部14は、背面画像20m’−3が撮像装置23の現在の設置状態を示す場合、背面画像20m’−3の直下に撮像装置23の撮像画像を表示する。
他の表示例を図22に示す。この表示例では、提示側制御部14は、撮像装置20の現在の設置状態を候補状態に一致させるための調整内容を提示することで、候補状態を提示する。具体的には、提示側制御部14は、撮像装置21〜29の撮像画像を表示する。その一方で、提示側制御部14は、撮像装置23、24、26、28の現在の設置状態を候補状態に一致させるための調整内容を示す矢印画像20h−3、20h−4、20h−6、20h−8を撮像装置23、24、26、28の撮像画像に重畳して表示する。例えば、矢印画像20h−3によれば、ユーザは、撮像装置23を、光軸を中心として左側に回転させることで、撮像装置23の設置状態を候補状態に一致させることができる。もちろん、これは一例であり、他の撮像画像に矢印画像を重畳してもよい。
なお、提示側制御部14は、表示中の撮像画像がどの撮像装置20に対応するのかをユーザが容易に把握できるように、各撮像画像に撮像装置20の識別情報を付しても良い。また、提示側制御部14は、図20の例と同様に各撮像装置20に予め順番を付しておき、その順番に従って撮像画像を表示してもよい。この場合、提示側制御部14は、各撮像装置20と順番とを対比させて表示することで、ユーザに各撮像装置20に付された順番を把握させるようにすることが好ましい。
図23に他の表示例を示す。上述した例、特に図20、図22の表示例では、比較的多数の撮像画像を表示する。しかし、情報処理装置10が例えばスマートフォン等となる場合、表示部13aが小さく、多数の撮像画像を同時に表示することが容易でない場合がある。これに対し、ユーザにとっては、所望の撮像画像だけ同時に視認出来れば問題ない場合が多い。そこで、この表示例では、提示側制御部14は、ユーザがいずれかの平面画像20a’を選択した場合、その平面画像20a’及びその平面画像20a’の両隣の平面画像20a’に対応する撮像画像だけを表示する。
これにより、ユーザは、所望の撮像画像同士の重複状態を容易に把握することができる。なお、ユーザに撮像装置20を選択させる方法としては、例えば、ユーザに平面画像20a’をタッチさせる方法等が挙げられる。もちろんこの方法に限定されない。例えば、平面画像20a’−1〜20a’−3が撮像装置21〜23に対応し、かつ、ユーザが平面画像20a’−2にタッチした場合、提示側制御部14は、撮像装置21〜23の撮像画像を表示する。撮像画像は、対応する平面画像20a’の近傍に表示させることが好ましい。
また、提示側制御部14は、ユーザに選択された撮像装置20の撮像画像だけを表示してもよい。この場合、ユーザは、複数の撮像装置20(例えば隣接する撮像装置20)を選択可能とし、提示側制御部14は、ユーザによって選択された撮像画像を同時に表示することが好ましい。ユーザが撮像画像同士の重複状態を容易に把握できるようにするためである。
他の表示例を図24に示す。この表示例は、提示側制御部14は、情報処理装置10の現在の設置状態を示すアイコン画像10aを図20に示す表示例に追加したものである。具体的には、提示側制御部14は、アイコン画像10aを平面マップ表示領域13a−1に表示する。アイコン画像10aの表示位置は情報処理装置10の現在の設置位置に対応し、表示姿勢は情報処理装置10の現在の設置姿勢に対応する。これにより、ユーザは、各撮像装置20と情報処理装置10との位置関係を容易に把握することができるので、撮像装置20の現在の設置状態と表示部13aの表示内容とを容易に対応付けることができる。すなわち、ユーザは、各平面画像20a’がどの撮像装置20に対応するのかを容易に把握することができる。この結果、ユーザは、各撮像装置20の設置状態を容易に候補状態に一致させることができる。
(撮像装置を複数の視点から表示する例)
上述した各例では、撮像装置20の平面画像、正面画像、及び背面画像のうち、いずれか1種類のみを表示したが、複数種類の画像を同時に表示してもよい。表示例を図25に示す。この例では、表示部13aが上下に分割され、上側の表示領域13a−5には、平面画像20a−1、20a’−2〜20a’−3、20b−2〜20b−3、画角画像45a−1、45a’−2〜45a’−3、45b−2〜45b−3が表示される。下側の表示領域13a−6には、背面画像20m−1〜20m’−2、20m’−3、20e’−2〜20e’−3が表示される。
また、平面画像20a−1及び背面画像20m−1は撮像装置21の現在の設置状態を示し、画角画像45a−1は撮像装置21の現在の設置状態における画角を示す。撮像装置21の現在の設置状態は候補状態に一致している。平面画像20a’−2及び背面画像20m’−2は撮像装置22の現在の設置状態を示し、画角画像45a’−2は撮像装置22の現在の設置状態における画角を示す。撮像装置22の現在の設置状態は候補状態と異なっている。平面画像20a’−3及び背面画像20m’−3は撮像装置23の現在の設置状態を示し、画角画像45a’−3は撮像装置23の現在の設置状態における画角を示す。撮像装置23の現在の設置状態は候補状態と異なっている。したがって、平面画像20a−1及び背面画像20m−1と、平面画像20a’−2、20a’−3及び背面画像20m’−2、20m’−3とは色分け表示されている。図25では、これらの表示色の違いがハッチングの有無で表現されている。
また、平面画像20b−2及び背面画像20e’−2は同じ候補状態を示し、画角画像45b−2は当該候補状態における画角を示す。平面画像20b−3及び背面画像20e’−3は同じ候補状態を示し、画角画像45b−3は当該候補状態における画角を示す。この例によれば、ユーザは、撮像装置20の候補位置及び候補姿勢を同時に把握することができるので、撮像装置20の設置状態をより容易に候補状態に一致させることができる。
(候補状態を音声にて案内する例)
次に、候補状態を音声にて案内する例について説明する。表示例を図26に示す。この例では、提示側制御部14は、図22と同様に撮像画像を表示する。具体的な処理内容は図22の例で説明した通りである。また、提示側制御部14は、ユーザによる撮像画像の選択操作(例えば撮像画像をタッチする操作)を受け付け、ユーザにより選択された撮像画像をハイライト表示する。例えば、提示側制御部14は、撮像装置24の撮像画像が選択された場合、撮像装置24の撮像画像をハイライト表示する。さらに、提示側制御部14は、ユーザにより選択された撮像画像、すなわち撮像装置20の現在の設置状態を候補状態に一致させるための調整内容を音声にて出力する。例えば、提示側制御部14は、撮像装置24が選択された場合、「もう少し左です」という音声20i−4を出力する。この処理によっても、ユーザは、撮像装置20の現在の設置状態を候補状態に容易に一致させることができる。
(候補状態を立体的に表示する例)
この表示例では、提示側制御部14は、撮像装置20の立体画像(撮像装置20を俯瞰した画像)を用いて撮像装置20の候補状態を表示する。すなわち、上述した例では、撮像装置20の現在の設置状態及び候補状態を平面的な画像で表示したが、この例では、撮像装置20の各状態を立体画像で表示する。立体画像の表示は例えば3Dカタログをイメージしたものである。
具体的には、提示側制御部14は、仮想空間を定義し、この仮想空間内に各撮像装置20の現在の設置状態を示す立体画像と候補状態を示す立体画像とを配置する。ここで、各撮像装置20の立体画像は、予め情報処理装置10に記憶させておいてもよいし、現在の設置状態及び候補状態に基づいてリアルタイムに算出されてもよい。そして、提示側制御部14は、仮想空間内の各立体画像をユーザの所望の視点から表示する。また、提示側制御部14は、ユーザが視点(または角度)変更操作を行った場合、仮想空間内の各立体画像を変更後の視点(または角度)から表示する。ここで、視点変更操作としては、例えばタッチパネルを指でフリックする操作、マウスのドラッグ操作等が挙げられる。表示例を図27、図28に示す。
すなわち、提示側制御部14は、例えば図27に示すように、撮像装置21〜23の現在の設置状態を示す立体画像20j−1〜23j−3と、撮像装置21〜23の候補状態を示す立体画像20kとを重畳表示する。提示側制御部14は、立体画像20kを立体画像20j−1〜20j−3と異なる態様で表示することが好ましい。
提示側制御部14は、ユーザが視点変更操作を行った場合には、例えば図28に示すように、仮想空間内の立体画像を変更後の視点から表示する。図28に示す例では、提示側制御部14は、撮像装置24〜26の現在の設置状態を示す立体画像20j−4〜23j−6と、撮像装置24〜26の候補状態を示す立体画像20kとを重畳表示する。このように、提示側制御部14は、異なる視点から見た立体画像をシームレスに表示することができる。また、立体画像は平面的な画像(平面画像、正面画像、背面画像等)よりも多様な設置状態を表現できる。すなわち、立体画像は、設置位置、設置姿勢を両方表現することができる。したがって、ユーザは、これらの撮像装置20の候補状態を容易に把握することができる。
(候補状態を立体的に表示する変形例)
この変形例では、ユーザは、情報処理装置10を用いて撮像装置20を撮像することで、撮像画像(以下、「設置状態提示用撮像画像」とも称する)を取得する。そして、提示側制御部14は、撮像装置20の候補状態を示す立体画像を設置状態提示用撮像画像に重畳して表示する。ここで、立体画像の表示位置は候補位置に対応し、表示姿勢は候補姿勢に対応する。
具体的な表示例は、上述した例と同様である。例えば、図27に示す例では、ユーザは、撮像装置21〜23を撮像しており、設置状態提示用撮像画像には撮像装置21〜23の現在の設置状態を示す立体画像20j−1〜23j−3が描かれている。さらに、この設置状態提示用撮像画像には、撮像装置21〜23の候補状態を示す立体画像20kが重畳表示されている。提示側制御部14は、立体画像20kを立体画像20j−1〜20j−3と異なる態様で表示することが好ましい。
一方、図28に示す例では、ユーザは、撮像装置24〜26を撮像しており、設置状態提示用撮像画像には撮像装置24〜26の立体画像20j−4〜23j−6が描かれている。さらに、この設置状態提示用撮像画像には、撮像装置24〜26の候補状態を示す立体画像20kが重畳表示されている。立体画像は平面的な画像(平面画像、正面画像、背面画像等)よりも多様な設置状態を表現できる。すなわち、立体画像は、設置位置、設置姿勢を両方表現することができる。したがって、ユーザは、所望の撮像装置20を撮像することで、これらの撮像装置20の候補状態を容易に把握することができる。
なお、これらの例はいわゆるウエアラブルデバイスに応用することができる。ウエアラブルデバイスがゴーグルに電子デバイスが装着されたものである場合を一例として説明すると、ゴーグルのグラス面が表示部13aとなる。ユーザは、ゴーグルのグラスを介して各撮像装置20を視認する。すなわち、ゴーグルのグラス面に撮像装置20の現在の設置状態が表示される。提示側制御部14は、撮像装置20の候補状態を示す立体画像をゴーグルのグラス面に(透過)表示する。これにより、ユーザは、ゴーグルを介して撮像装置20を視認した際に、その撮像装置20の候補状態を把握することができるので、撮像装置20の設置状態を候補状態に容易に一致させることができる。この処理では、候補状態の表示はいわゆるAR(拡張現実)をイメージしたものである。また、この処理によれば、ユーザは、各撮像装置20の電源を入れなくても候補状態を把握できる。
提示側制御部14は、上述した表示例(提示態様)を任意に選択し、選択した提示態様で候補状態及び現在の設置状態等を表示してもよく、ユーザにより選択された提示態様で表示してもよい。提示側制御部14は、ユーザに提示態様を選択させる場合、各提示態様に予め識別情報を付与しておき、識別情報の一覧を表示すればよい。ユーザは、この一覧から所望の提示態様を選択することができる。また、提示側制御部14は、表示部13aのレイアウトやアスペクト比に応じて提示態様を選択してもよい。たとえば、情報処理装置10がスマートフォンやスマートタブレットとなる場合、表示部13aは例えば長方形となる。そして、表示部13aは、縦長状態(長辺が上下に向く状態)と横長状態(長辺が横方向に向く状態)とのいずれかで使用され、各状態でアスペクト比が異なる。提示側制御部14は、例えば表示部13aが縦長のアスペクト比となる場合、図8〜図10、図13、図15〜図19、図27、図28に示すように現在の設置状態及び候補状態の少なくとも一方だけを表示してもよい。また、提示側制御部14は、表示部13aが横長のアスペクト比となる場合、図20〜図26に示すように、より多様な情報を表示するようにしてもよい。また、提示側制御部14は、撮像フォーメーションに応じて提示態様を切り替えても良い。また、提示側制御部14は、情報処理装置10が撮像に参加しているか否か(参加している例は第2の実施形態に示す)に応じて提示態様を切り替えても良い。
また、提示側制御部14は、上述した表示例を任意に組み合わせてもよい。例えば、提示側制御部14は、上述した矢印画像または音声を他の表示例でも提示してもよい。より具体的には、例えば、提示側制御部14は、図20等に示す平面画像20aの脇に矢印画像を表示してもよく、ユーザが選択された平面画像20aの脇に矢印画像を表示してもよい。提示側制御部14は、ユーザがいずれかの平面画像20aを選択した際に、上述した音声を出力してもよい。また、提示側制御部14は、矢印画像を図20等に示す撮像画像に重畳して表示してもよい。また、提示側制御部14は、調整内容を示す文字画像を各表示例に表示してもよい。また、提示側制御部14は、上述した各表示例の少なくとも一部を拡大縮小して表示しても良い。
<3.第2の実施形態(情報処理装置が撮像に参加する例)>
第1の実施形態では、情報処理装置10が撮像に参加しない例について説明した。第2の実施形態では、情報処理装置10が撮像に参加する例、すなわち撮像装置となる例について説明する。
(3−1.撮像装置の構成)
まず、図29に基づいて、第2の実施形態に係る撮像装置50の構成について説明する。撮像装置50は、図29に示す通り、情報処理装置10に撮像部15を追加したものである。撮像部15は、例えば撮像装置20のレンズ200、レンズ駆動回路201、撮像素子202、AFE回路203、及び画像処理回路204と同様のハードウェア構成により実現可能である。撮像部15は、撮像画像を生成し、提示側制御部14に出力する。
(3−2.撮像装置による処理の例)
次に、撮像装置50による処理の例について説明する。撮像装置50は、情報処理装置10と共通の構成を有するので、第1の実施形態と同様の処理を行うことができる。それに加え、第2の実施形態では、以下のような表示が可能である。
すなわち、提示側制御部14は、撮像装置50の設置状態が候補状態となっている際に撮像される撮像画像を現在の撮像画像に重畳して表示することができる。表示例を図30に示す。
図30において、実線で示される撮像画像60は撮像装置50が現在撮像中の撮像画像を示し、破線で示される撮像画像は撮像装置50の設置状態が候補状態となった際に撮像される撮像画像を示す。この例によれば、ユーザは、現在の設置状態からどのように撮像装置50を移動させれば設置状態を候補状態に一致させることができるのかを容易に把握することができる。なお、図30に示すように、表示部13aには、現在の設置位置及び設置姿勢の他、候補位置及び候補姿勢を表示してもよい。これらの値は緯度経度等のグローバルなものであっても良いし、何らかの基準点からの距離(メートルなど)であってもよい。候補姿勢の値も任意であり、例えば光軸の向きのベクトル成分をxyz座標値または極座標値で表したものであってもよい。
なお、この例もいわゆるウエアラブルデバイスに応用することができる。ウエアラブルデバイスがゴーグルに電子デバイスが装着されたものである場合を一例として説明すると、ゴーグルのグラス面が表示部13aとなる。ユーザは、ゴーグルのグラスを介して周囲の風景を視認する。提示側制御部14は、撮像装置50の設置状態が候補状態になった時にユーザが視認する風景をゴーグルのグラス面に(透過)表示する。これにより、ユーザは、ゴーグルを介して風景を視認した際に、その撮像装置50の候補状態を把握することができるので、撮像装置50の設置状態を候補状態に容易に一致させることができる。この処理では、候補状態の表示はいわゆるAR(拡張現実)をイメージしたものである。また、本処理例は、情報処理装置10が撮像に参加しない場合にも適用可能である。
以上により、上述した各実施形態によれば、提示側制御部14は、複数の撮像装置20の候補状態を提示する制御を行うので、ユーザは、複数の撮像装置20の候補状態を容易かつインタラクティブに把握することができる。この結果、ユーザは、各撮像装置20の設置状態を容易に候補状態に一致させることができる。
また、提示側制御部14は、撮像装置20の現在の設置状態と、候補状態とを提示する制御を行うので、ユーザは、現在の設置状態と候補状態とを容易に対比することができる。このため、ユーザは、各撮像装置20の設置状態をより容易に候補状態に一致させることができる。
また、提示側制御部14は、現在の設置状態のうち、候補状態に一致した設置状態と候補状態と異なる設置状態とを異なる態様で提示する制御を行うので、ユーザは、どの撮像装置20の設置状態が候補状態と異なるのかを容易に把握することができる。このため、ユーザは、複数の撮像装置20の設置状態をより容易に候補状態に一致させることができる。
また、提示側制御部14は、撮像装置20の設置位置及び設置姿勢のうち、少なくとも1つの候補を提示する制御を行うので、ユーザは、より詳細な候補状態を把握することができる。
また、提示側制御部14は、撮像装置20の画角を提示する制御を行うので、ユーザは、各撮像装置20の画角を把握しながら設置状態を調整することができる。
また、提示側制御部14は、撮像装置20の撮像画像と候補状態とを提示する制御を行うので、ユーザは、各撮像画像の重複状態を確認しながら各撮像装置20の設置状態を調整することができる。
また、提示側制御部14は、撮像装置20の現在の設置状態を候補状態に一致させるための調整内容を提示するので、ユーザは、各撮像装置20の設置状態をより容易に候補状態に一致させることができる。
また、提示側制御部14は、情報処理装置10の現在の設置状態と、候補状態とを提示する制御を行うので、ユーザは、撮像装置20の現在の設置状態と表示内容とを容易に対応付けることができる。
また、提示側制御部14は、情報処理装置10の現在の設置状態に応じた態様で候補状態を提示する制御を行うので、ユーザは、撮像装置20の現在の設置状態と表示内容とを容易に対応付けることができる。
さらに、提示側制御部14は、表示面(例えば上述したグラス面)に表示される撮像装置の画像に候補状態を重畳して表示する制御を行うので、ユーザは、現在の設置状態と候補状態とを容易に対比することができる。
さらに、提示側制御部14は、候補状態の提示態様を切り替え可能であるので、ユーザは、各種の提示態様で候補状態を把握することができる。
また、提示側制御部14は、撮像装置20の現在の設置状態に基づいて、候補状態を算出するので、候補状態をより正確に算出することができる。
また、提示側制御部14は、撮像装置20の現在の設置状態に基づいて、複数の撮像装置のフォーメーションの候補となる候補フォーメーションを決定し、候補フォーメーションにもとづいて、候補状態を算出する。したがって、提示側制御部14は、候補状態をより正確に算出することができる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記実施形態では、候補状態を提示としたが、本技術はかかる例に限定されない。例えば、現在の設置状態と候補状態とが異なる場合に何らかの警報を行う(音声での報知)といった簡便な処理を行なってもよい。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
複数の撮像装置の設置状態の候補である候補状態を取得する取得部と、
前記候補状態を提示する制御を行う制御部と、を備える、情報処理装置。
(2)
前記制御部は、前記撮像装置の現在の設置状態と、前記候補状態とを提示する制御を行う、前記(1)記載の情報処理装置。
(3)
前記制御部は、前記現在の設置状態のうち、前記候補状態に一致した設置状態と前記候補状態と異なる設置状態とを異なる態様で提示する制御を行う、前記(2)記載の情報処理装置。
(4)
前記制御部は、前記撮像装置の設置位置及び設置姿勢のうち、少なくとも1つの候補を提示する制御を行う、前記(1)〜(3)のいずれか1項に記載の情報処理装置。
(5)
前記制御部は、前記撮像装置の画角を提示する制御を行う、前記(1)〜(4)のいずれか1項に記載の情報処理装置。
(6)
前記制御部は、前記撮像装置が撮像した撮像画像と前記候補状態とを提示する制御を行う、前記(1)〜(5)のいずれか1項に記載の情報処理装置。
(7)
前記制御部は、前記撮像装置の現在の設置状態を前記候補状態に一致させるための調整内容を提示することで、前記候補状態を提示する、前記(1)〜(6)のいずれか1項に記載の情報処理装置。
(8)
前記制御部は、前記情報処理装置の現在の設置状態と、前記候補状態とを提示する制御を行う、前記(1)〜(7)のいずれか1項に記載の情報処理装置。
(9)
前記制御部は、前記情報処理装置の現在の設置状態に応じた態様で前記候補状態を提示する制御を行う、前記(1)〜(8)のいずれか1項に記載の情報処理装置。
(10)
前記制御部は、表示面に表示される前記撮像装置の画像に前記候補状態を重畳して表示する制御を行う、前記(1)〜(9)のいずれか1項に記載の情報処理装置。
(11)
前記制御部は、前記候補状態の提示態様を切り替え可能である、前記(1)〜(10)のいずれか1項に記載の情報処理装置。
(12)
前記取得部は、前記撮像装置の現在の設置状態に基づいて、前記候補状態を算出する、前記(1)〜(11)のいずれか1項に記載の情報処理装置。
(13)
前記取得部は、前記撮像装置の現在の設置状態に基づいて、複数の撮像装置のフォーメーションの候補となる候補フォーメーションを決定し、前記候補フォーメーションにもとづいて、前記候補状態を算出する、前記(12)記載の情報処理装置。
(14)
複数の撮像装置が設置される状態の候補である候補状態を取得する取得部と、
前記候補状態を提示する制御を行う制御部と、を備える、撮像装置。
(15)
複数の撮像装置の設置状態の候補である候補状態を取得することと、
前記候補状態を提示する制御を行うことと、を含む、表示制御方法。
(16)
コンピュータに、
複数の撮像装置の設置状態の候補である候補状態を取得する取得機能と、
前記候補状態を提示する制御を行う制御機能と、を実現させる、プログラム。
10 情報処理装置
11 入力部
12 通信部
13 提示部
13a 表示部
13b 音声出力部
14 提示制御部
15 撮像部
20 撮像装置
21 撮像部
22 通信部
23 提示部
24 位置検出部
25 撮像側制御部

Claims (16)

  1. 複数の撮像装置の設置状態の候補である候補状態を取得する取得部と、
    前記候補状態を提示する制御を行う制御部と、を備える、情報処理装置。
  2. 前記制御部は、前記撮像装置の現在の設置状態と、前記候補状態とを提示する制御を行う、請求項1記載の情報処理装置。
  3. 前記制御部は、前記現在の設置状態のうち、前記候補状態に一致した設置状態と前記候補状態と異なる設置状態とを異なる態様で提示する制御を行う、請求項2記載の情報処理装置。
  4. 前記制御部は、前記撮像装置の設置位置及び設置姿勢のうち、少なくとも1つの候補を提示する制御を行う、請求項1記載の情報処理装置。
  5. 前記制御部は、前記撮像装置の画角を提示する制御を行う、請求項1記載の情報処理装置。
  6. 前記制御部は、前記撮像装置が撮像した撮像画像と前記候補状態とを提示する制御を行う、請求項1記載の情報処理装置。
  7. 前記制御部は、前記撮像装置の現在の設置状態を前記候補状態に一致させるための調整内容を提示することで、前記候補状態を提示する、請求項1記載の情報処理装置。
  8. 前記制御部は、前記情報処理装置の現在の設置状態と、前記候補状態とを提示する制御を行う、請求項1記載の情報処理装置。
  9. 前記制御部は、前記情報処理装置の現在の設置状態に応じた態様で前記候補状態を提示する制御を行う、請求項1記載の情報処理装置。
  10. 前記制御部は、表示面に表示される前記撮像装置の画像に前記候補状態を重畳して表示する制御を行う、請求項1記載の情報処理装置。
  11. 前記制御部は、前記候補状態の提示態様を切り替え可能である、請求項1記載の情報処理装置。
  12. 前記取得部は、前記撮像装置の現在の設置状態に基づいて、前記候補状態を算出する、請求項1記載の情報処理装置。
  13. 前記取得部は、前記撮像装置の現在の設置状態に基づいて、複数の撮像装置のフォーメーションの候補となる候補フォーメーションを決定し、前記候補フォーメーションにもとづいて、前記候補状態を算出する、請求項12記載の情報処理装置。
  14. 複数の撮像装置が設置される状態の候補である候補状態を取得する取得部と、
    前記候補状態を提示する制御を行う制御部を備える、撮像装置。
  15. 複数の撮像装置の設置状態の候補である候補状態を取得することと、
    前記候補状態を提示する制御を行うことと、を含む、表示制御方法。
  16. コンピュータに、
    複数の撮像装置の設置状態の候補である候補状態を取得する取得機能と、
    前記候補状態を提示する制御を行う制御機能を実現させる、プログラム。
JP2013122989A 2013-06-11 2013-06-11 情報処理装置、撮像装置、情報処理方法、及びプログラム Active JP6163899B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2013122989A JP6163899B2 (ja) 2013-06-11 2013-06-11 情報処理装置、撮像装置、情報処理方法、及びプログラム
EP14729732.9A EP3008888B1 (en) 2013-06-11 2014-05-16 Imaging system and imaging method, and program
US14/782,884 US10375305B2 (en) 2013-06-11 2014-05-16 Information processing device, imaging device, information processing method, and program
CN201480032018.8A CN105308946B (zh) 2013-06-11 2014-05-16 信息处理装置、成像装置以及信息处理方法
PCT/JP2014/002601 WO2014199564A1 (en) 2013-06-11 2014-05-16 Information processing device, imaging device, information processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013122989A JP6163899B2 (ja) 2013-06-11 2013-06-11 情報処理装置、撮像装置、情報処理方法、及びプログラム

Publications (3)

Publication Number Publication Date
JP2014241496A true JP2014241496A (ja) 2014-12-25
JP2014241496A5 JP2014241496A5 (ja) 2016-04-07
JP6163899B2 JP6163899B2 (ja) 2017-07-19

Family

ID=50933459

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013122989A Active JP6163899B2 (ja) 2013-06-11 2013-06-11 情報処理装置、撮像装置、情報処理方法、及びプログラム

Country Status (4)

Country Link
US (1) US10375305B2 (ja)
EP (1) EP3008888B1 (ja)
JP (1) JP6163899B2 (ja)
WO (1) WO2014199564A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016174942A1 (ja) * 2015-04-28 2016-11-03 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2017134987A1 (ja) * 2016-02-04 2017-08-10 三菱電機株式会社 設置位置決定装置、設置位置決定方法及び設置位置決定プログラム
WO2017149869A1 (ja) * 2016-02-29 2017-09-08 ソニー株式会社 情報処理装置、方法、プログラム及びマルチカメラシステム
JP2017175507A (ja) * 2016-03-25 2017-09-28 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP2018107583A (ja) * 2016-12-26 2018-07-05 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
CN109196853A (zh) * 2016-05-25 2019-01-11 索尼公司 信息处理装置、信息处理方法以及程序
JP2019106617A (ja) * 2017-12-12 2019-06-27 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
WO2019239717A1 (ja) * 2018-06-11 2019-12-19 富士フイルム株式会社 撮影支援装置、撮影支援方法、及び撮影支援プログラム
JP2021044849A (ja) * 2015-06-25 2021-03-18 パナソニックIpマネジメント株式会社 映像同期装置及び映像同期方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9332285B1 (en) * 2014-05-28 2016-05-03 Lucasfilm Entertainment Company Ltd. Switching modes of a media content item
US20200288099A1 (en) * 2019-03-07 2020-09-10 Alibaba Group Holding Limited Video generating method, apparatus, medium, and terminal
JP7353782B2 (ja) * 2019-04-09 2023-10-02 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP2023173764A (ja) * 2022-05-26 2023-12-07 キヤノン株式会社 情報処理装置、情報処理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003047026A (ja) * 2001-08-02 2003-02-14 Mitsubishi Heavy Ind Ltd 画像収集システムおよび画像収集用誘導装置
JP2005286619A (ja) * 2004-03-29 2005-10-13 Matsushita Electric Ind Co Ltd 監視カメラシステム
JP2009010728A (ja) * 2007-06-28 2009-01-15 Olympus Corp カメラ設置支援装置
JP2012090106A (ja) * 2010-10-20 2012-05-10 Canon Inc 撮像装置およびその制御方法
JP2012138759A (ja) * 2010-12-27 2012-07-19 Casio Comput Co Ltd 撮像装置、撮像制御方法及びプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6002995A (en) * 1995-12-19 1999-12-14 Canon Kabushiki Kaisha Apparatus and method for displaying control information of cameras connected to a network
JP2003179800A (ja) * 2001-12-13 2003-06-27 Sony Corp 多視点画像生成装置、画像処理装置、および方法、並びにコンピュータ・プログラム
JP4418935B2 (ja) * 2004-07-15 2010-02-24 株式会社国際電気通信基礎技術研究所 光学マーカシステム
GB0523512D0 (en) * 2005-11-18 2005-12-28 Applied Generics Ltd Enhancing traffic and navigation information with visual and audio data
JP4949134B2 (ja) * 2007-06-18 2012-06-06 富士フイルム株式会社 カメラ位置認識システム
JP4947593B2 (ja) * 2007-07-31 2012-06-06 Kddi株式会社 局所領域分割による自由視点画像の生成装置およびプログラム
JP4990852B2 (ja) 2008-07-31 2012-08-01 Kddi株式会社 3次元移動の自由視点映像生成システムおよび記録媒体
US11699247B2 (en) * 2009-12-24 2023-07-11 Cognex Corporation System and method for runtime determination of camera miscalibration
JP5499754B2 (ja) 2010-02-19 2014-05-21 株式会社ニコン 撮像装置
EP2592823A3 (en) 2011-10-12 2013-06-19 Canon Kabushiki Kaisha Image-capturing device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003047026A (ja) * 2001-08-02 2003-02-14 Mitsubishi Heavy Ind Ltd 画像収集システムおよび画像収集用誘導装置
JP2005286619A (ja) * 2004-03-29 2005-10-13 Matsushita Electric Ind Co Ltd 監視カメラシステム
JP2009010728A (ja) * 2007-06-28 2009-01-15 Olympus Corp カメラ設置支援装置
JP2012090106A (ja) * 2010-10-20 2012-05-10 Canon Inc 撮像装置およびその制御方法
JP2012138759A (ja) * 2010-12-27 2012-07-19 Casio Comput Co Ltd 撮像装置、撮像制御方法及びプログラム

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2016174942A1 (ja) * 2015-04-28 2018-02-15 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2016174942A1 (ja) * 2015-04-28 2016-11-03 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US10750080B2 (en) 2015-04-28 2020-08-18 Sony Corporation Information processing device, information processing method, and program
US20180109723A1 (en) * 2015-04-28 2018-04-19 Sony Corporation Information processing device, information processing method, and program
JP2021044849A (ja) * 2015-06-25 2021-03-18 パナソニックIpマネジメント株式会社 映像同期装置及び映像同期方法
JP6246435B1 (ja) * 2016-02-04 2017-12-13 三菱電機株式会社 設置位置決定装置、設置位置決定方法及び設置位置決定プログラム
WO2017134987A1 (ja) * 2016-02-04 2017-08-10 三菱電機株式会社 設置位置決定装置、設置位置決定方法及び設置位置決定プログラム
WO2017149869A1 (ja) * 2016-02-29 2017-09-08 ソニー株式会社 情報処理装置、方法、プログラム及びマルチカメラシステム
US11165945B2 (en) 2016-02-29 2021-11-02 Sony Corporation Information processing device, method, and multi-camera system
JPWO2017149869A1 (ja) * 2016-02-29 2018-12-27 ソニー株式会社 情報処理装置、方法、プログラム及びマルチカメラシステム
JP2017175507A (ja) * 2016-03-25 2017-09-28 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
CN109196853A (zh) * 2016-05-25 2019-01-11 索尼公司 信息处理装置、信息处理方法以及程序
US10606149B2 (en) 2016-05-25 2020-03-31 Sony Corporation Information processing device, information processing method, and program
CN109196853B (zh) * 2016-05-25 2020-10-30 索尼公司 信息处理装置、信息处理方法以及计算机可读存储介质
JP2018107583A (ja) * 2016-12-26 2018-07-05 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP2019106617A (ja) * 2017-12-12 2019-06-27 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP7023696B2 (ja) 2017-12-12 2022-02-22 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
WO2019239717A1 (ja) * 2018-06-11 2019-12-19 富士フイルム株式会社 撮影支援装置、撮影支援方法、及び撮影支援プログラム
JPWO2019239717A1 (ja) * 2018-06-11 2021-04-01 富士フイルム株式会社 撮影支援装置、撮影支援方法、及び撮影支援プログラム
JP2021083117A (ja) * 2018-06-11 2021-05-27 富士フイルム株式会社 撮影支援装置、撮影支援方法、及び撮影支援プログラム
JP7416736B2 (ja) 2018-06-11 2024-01-17 富士フイルム株式会社 撮影支援装置、撮影支援方法、及び撮影支援プログラム

Also Published As

Publication number Publication date
US20160050367A1 (en) 2016-02-18
JP6163899B2 (ja) 2017-07-19
EP3008888A1 (en) 2016-04-20
US10375305B2 (en) 2019-08-06
WO2014199564A1 (en) 2014-12-18
CN105308946A (zh) 2016-02-03
EP3008888B1 (en) 2020-02-19

Similar Documents

Publication Publication Date Title
JP6163899B2 (ja) 情報処理装置、撮像装置、情報処理方法、及びプログラム
RU2718413C2 (ru) Устройство обработки информации, устройство формирования изображений, способы управления для них и энергонезависимый машиночитаемый носитель хранения данных
US10217288B2 (en) Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor
US10360658B2 (en) Display control apparatus and computer-readable recording medium
US10620791B2 (en) Information processing apparatus and operation reception method
US11089351B2 (en) Display apparatus and remote operation control apparatus
US11445167B2 (en) Display control apparatus, display control method, and storage medium
US9256986B2 (en) Automated guidance when taking a photograph, using virtual objects overlaid on an image
US9836886B2 (en) Client terminal and server to determine an overhead view image
US10313657B2 (en) Depth map generation apparatus, method and non-transitory computer-readable medium therefor
US20160357491A1 (en) Information processing apparatus, information processing method, non-transitory computer-readable storage medium, and system
US9392248B2 (en) Dynamic POV composite 3D video system
US20160049011A1 (en) Display control device, display control method, and program
US9081430B2 (en) Pointing control device, integrated circuit thereof and pointing control method
RU2598598C2 (ru) Устройство обработки информации, система обработки информации и способ обработки информации
JP2016149660A (ja) 情報処理装置、情報処理方法、およびプログラム
US11244145B2 (en) Information processing apparatus, information processing method, and recording medium
WO2017081920A1 (ja) 情報処理装置、制御方法、及びプログラム
KR20150058871A (ko) 촬상 장치 및 촬상 이미지 스티칭 방법
KR20190027079A (ko) 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
US11589001B2 (en) Information processing apparatus, information processing method, and program
JP2013038454A (ja) 画像処理装置および方法、並びにプログラム
JP2019032713A (ja) 情報処理装置、情報処理方法及びプログラム
JPWO2016185634A1 (ja) 情報処理装置
CN105308946B (zh) 信息处理装置、成像装置以及信息处理方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160218

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160218

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170321

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170427

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170523

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170605

R151 Written notification of patent or utility model registration

Ref document number: 6163899

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250