JP2019047167A - 撮像装置、画像表示システム、操作方法、プログラム - Google Patents

撮像装置、画像表示システム、操作方法、プログラム Download PDF

Info

Publication number
JP2019047167A
JP2019047167A JP2017164794A JP2017164794A JP2019047167A JP 2019047167 A JP2019047167 A JP 2019047167A JP 2017164794 A JP2017164794 A JP 2017164794A JP 2017164794 A JP2017164794 A JP 2017164794A JP 2019047167 A JP2019047167 A JP 2019047167A
Authority
JP
Japan
Prior art keywords
imaging device
operation screen
screen
image
pointer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017164794A
Other languages
English (en)
Other versions
JP6981106B2 (ja
Inventor
誠 庄原
Makoto Shohara
誠 庄原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2017164794A priority Critical patent/JP6981106B2/ja
Priority to US16/640,380 priority patent/US11375263B2/en
Priority to PCT/JP2018/030188 priority patent/WO2019044475A1/en
Priority to EP18762640.3A priority patent/EP3677021B1/en
Priority to KR1020207005225A priority patent/KR20200028481A/ko
Priority to CN201880054397.9A priority patent/CN111034181B/zh
Publication of JP2019047167A publication Critical patent/JP2019047167A/ja
Application granted granted Critical
Publication of JP6981106B2 publication Critical patent/JP6981106B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

【課題】位置表示部品の位置と撮像装置などの送信元の装置との姿勢のずれを抑制することができる撮像装置を提供すること。
【解決手段】撮像装置１１０であって、撮像された画像を記憶する記憶手段２１２と、前記記憶手段に記憶された画像に関する操作画面を生成する生成手段２２２と、 前記生成手段が生成した操作画面を表示装置に出力する出力手段２１６と、前記撮像装置の姿勢に関する情報を取得する姿勢情報取得手段２１４と、前記姿勢情報取得手段が取得した姿勢に関する情報を、前記操作画面における位置表示部品の位置に変換して前記操作画面に表示する位置表示部品管理手段２２６と、前記位置表示部品の位置の初期化の操作を受け付ける操作受付手段と、を有し、前記操作受付手段が前記初期化の操作を受け付けた場合、前記位置表示部品管理手段は前記位置表示部品を前記操作画面の初期位置に表示することを特徴とする。
【選択図】図１

Description

本発明は、撮像装置、画像表示システム、操作方法、及びプログラムに関する。
魚眼レンズや超広角レンズなどの広角レンズを複数使用して３６０度の全方位（以下、全天球という。）を１回の撮像操作で撮像する全天球撮像装置が知られている。全天球撮像装置が撮像した画像はディスプレイを備えた表示装置に送信され、ユーザは画像を閲覧することができる。
スマートフォンやタブレット型端末のように小さなディスプレイを有する表示装置が画像を表示する場合、ユーザはタッチパネルを直接操作して画像に対する各種の操作（リストからの画像の選択、表示する画像を選択するためのスクロール、表示範囲の決定）を入力できる。これに対し全天球撮像装置が撮像した画像をテレビなどの大きなディスプレイを備えた表示装置で閲覧したいという要望がある。このような要望に対してMiracast（登録商標）、Google Chrome（登録商標）又はAirplay（登録商標）など、無線で映像を送信する規格が存在し、全天球撮像装置がこのような規格に対応することでユーザは容易に大画面で画像を閲覧できる。
しかし、大きなディスプレイを備えた表示装置がそもそもタッチパネルを有していない場合がある。また、タッチパネルを有していても、ユーザがタッチパネルを操作するためにディスプレイに接近すると画像を見にくくなり操作性が低下するおそれがある。このような不都合に対して何らかのポインティングデバイスを使って画像を操作することが考えられる（例えば、特許文献１参照。）。特許文献１には、移動体通信端末の移動の検知結果データを用いて移動量と移動方向を算出し、これらを操作指示情報として表示装置に送信する移動体通信端末が開示されている。ユーザはポインティングデバイスの姿勢により画面上の位置を指し示すポインタなどの位置表示部品を画面上で移動できる。また、映像を送信する送信元の装置をポインティングデバイスとして利用することで、ポインティングデバイスが別途用意されていなくてもユーザは表示された画像を操作できる。
しかしながら、画像の送信元の装置をポインティングデバイスとして使用すると、センサのドリフトなどの影響により位置表示部品の位置と送信元の装置の姿勢のずれがだんだん大きくなるという問題がある。例えば、何らかのメニューボタンが表示されている場合に、ユーザとしては送信元の装置の向きでメニューボタンを指し示しても、位置表示部品はメニューボタンから離れている状況が生じ、操作性が低下するおそれがある。
本発明は、上記課題に鑑み、位置表示部品の位置と撮像装置などの送信元の装置との姿勢のずれを抑制することができる撮像装置を提供することを目的とする。
本発明は、撮像装置であって、撮像された画像を記憶する記憶手段と、前記記憶手段に記憶された画像に関する操作画面を生成する生成手段と、前記生成手段が生成した操作画面を表示装置に出力する出力手段と、前記撮像装置の姿勢に関する情報を取得する姿勢情報取得手段と、前記姿勢情報取得手段が取得した姿勢に関する情報を、前記操作画面における位置表示部品の位置に変換して前記操作画面に表示する位置表示部品管理手段と、前記位置表示部品の位置の初期化の操作を受け付ける操作受付手段と、を有し、前記操作受付手段が前記初期化の操作を受け付けた場合、前記位置表示部品管理手段は前記位置表示部品を前記操作画面の初期位置に表示することを特徴とする。
位置表示部品の位置と撮像装置などの送信元の装置との姿勢のずれを抑制することができる撮像装置を提供することができる。
本実施形態の全天球撮像装置の概略的な動作を説明する図の一例である。 全天球画像表示システムの概略構成図の一例である。 全天球撮像装置のハードウェア構成図の一例である。 無線通信装置のハードウェア構成図の一例である。 全天球撮像装置上で実現される画像ビューアの操作画面提供機能に関連する主要な機能を示すブロック図である。 全天球撮像装置が実行する相手方の無線通信装置との接続方法を示すフローチャート図の一例である。 ユーザが把持する全天球撮像装置と表示装置の相対的な位置を側面から見た図の一例である。 「薄型テレビの人間工学設計ガイドライン」から抜粋した対角画面サイズと最適な視距離の関係の対応を示す図である。 最適な視距離における表示装置の横画角を説明する図の一例である。 全天球撮像装置の座標軸を説明する図の一例である。 基準となる全天球撮像装置の姿勢を説明する図の一例である。 全天球撮像装置の回転角とポインタＰの座標の対応を説明する図の一例である。 ポインタを非表示にする操作を説明する図の一例である。 座標の初期化により表示されたポインタの表示例を示す図である。 全天球撮像装置が外部の表示装置に画像を表示すると共に操作を受け付ける方法を示すフローチャート図の一例である。 全天球撮像装置が提供する操作画面間の遷移例を説明する図である。 全天球撮像装置が提供する操作画面を例示する図である。 全天球撮像装置が提供する操作画面を例示する図である。 ポインタが非表示の場合に操作画面に表示されるポインタの座標の初期化方法をユーザに説明する図の一例である。 ユーザが全天球撮像装置のシャッターボタンを下向きにして全天球撮像装置を把持した場合の座標軸を説明する図の一例である。 ユーザがシャッターボタンを下向きにして全天球撮像装置を把持している場合に全天球撮像装置の向きの算出方法を変更する手順を示すフローチャート図の一例である。
以下、本発明を実施するための形態について図面を参照しながら説明する。
＜全天球撮像装置の概略的な動作＞
図１は、本実施形態の全天球撮像装置１１０の概略的な動作を説明する図の一例である。全天球撮像装置１１０は撮像した画像を無線で表示装置１８０に送信する。表示装置１８０は受信した画像を表示する。図１（ａ）に示すように、ユーザは全天球撮像装置１１０をポインティングデバイスとして把持し、リストからの画像を選択したり、表示する画像を選択するためにスクロールさせたり、表示範囲を決定したりすることができる。しかしながら、全天球撮像装置１１０は内蔵するジャイロセンサにより姿勢を検出しているため、ドリフトなどの影響でユーザが全天球撮像装置１１０で指し示す方向とポインタＰの位置にずれが生じてしまう。なお、ドリフトとは、たとえば温度（温度上昇や温度低下）によって、ゼロ点が変動することをいう。
本実施形態の全天球撮像装置１１０では、このようなずれに気づいたユーザがポインタＰの位置の初期化することができる。初期化するためにまず、ポインタＰを非表示にすることが好ましいためユーザは例えば以下のような操作のいずれかを行う。
(i) 表示装置１８０の画面からポインタＰを逸脱させる
(ii) 通常、行われない操作（特殊な操作）を行う
(iii) 一定時間、静止させる
図１（ｂ）の全天球撮像装置１１０は左右に向きを大きく変えることで、表示装置１８０の画面からポインタＰを逸脱させる様子を示している。なお、「一定時間、静止させる」操作はずれに気づいたために行われる操作とは限らず、画像を閲覧中のユーザが自然に行う場合がある。
ユーザがこれらの操作のいずれかを行うと、全天球撮像装置１１０はポインタＰを非表示にする。非表示とは、表示しないことをいう。
非表示になった状態で、ユーザはポインタＰの初期位置を全天球撮像装置１１０の向きで指し示して、シャッターボタンＳＢを押下する。つまり、初期位置に表示されたポインタＰをユーザが全天球撮像装置１１０で指さす。図１（ｃ）では表示装置１８０の画面の中心が初期位置である。この状態では、全天球撮像装置１１０が指し示す方向とポインタＰの位置が一致する。従って、このような初期化の処理によりポインタＰの位置と全天球撮像装置１１０の姿勢のずれを抑制することができる。
＜用語について＞
撮像装置の姿勢に関する情報とは、撮像装置の姿勢を特定、決定又は推定することができる情報である。本実施形態では、ジャイロセンサ、加速度センサ、及び、地磁気センサの少なくとも１つが検出した情報が挙げられる。また、姿勢とはロール、ピッチ、ヨーの３つの回転角で表され、剛体の向きといってもよい。
位置表示部品とは、操作画面内の位置を指し示す表示部品である。操作画面内でユーザの操作が入力される位置を示したり、又は、ボタンやアイコンなどの操作対象を指し示したりする。また、位置表示部品はポインタＰ、カーソル、マウスカーソル、又は、マウスポインタ等と呼ばれる場合がある。
位置表示部品の位置の初期化とは、操作画面の予め定められた座標（原点）にポインタＰを表示することをいう。
＜構成例＞
図２は、本実施形態における全天球画像表示システム１００の概略構成を示す。図２に示す全天球画像表示システム１００は、全天球画像を撮像する全天球撮像装置１１０と、全天球撮像装置１１０と通信する無線通信装置１５０と、無線通信装置１５０に接続される表示装置１８０とを有する。
全天球撮像装置１１０は、それぞれ結像光学系及び撮像素子から構成される２つの撮像光学系を備え、撮像光学系毎に各方向から撮像して撮像画像を生成する。撮像光学系は、１８０度（＝３６０度／ｎ；ｎ＝２）より大きい全画角を有し、好適には、１８５度以上の全画角を有し、より好適には、１９０度以上の全画角を有する。
全天球撮像装置１１０は、複数の撮像光学系を通してそれぞれ撮像された撮像画像をつなぎ合わせて合成し、立体角４πステラジアンの画像（以下「全天球画像」と称する）を生成する。全天球画像は、撮像地点から見渡すことのできる全ての方向を撮像したものとなる。
全天球撮像装置１１０により撮像された画像は、一例として専用の画像ビューア・アプリケーションなどを備えた外部装置を用いて閲覧することができる。外部装置とは、例えばパーソナル・コンピュータ、スマートフォン、タブレット・コンピュータなどである。本実施形態による全天球撮像装置１１０は、更に、撮像画像をディスプレイで表示するための画像ビューア機能を備えている。一方で、全天球撮像装置１１０が利用する外部装置が、画像を確認するのに充分な解像度を有するディスプレイを備えていない場合や、ユーザが外部装置を保持していない場合もある。
そこで、本実施形態による全天球撮像装置１１０は、通信装置の一例として無線映像通信機能を備えており、全天球撮像装置１１０が生成した画像ビューアの操作画面を、無線通信により表示装置１８０へ送信する機能を備えている。
なお、操作画面に含まれるデータの一部（例えば背景画面など）は予め全天球撮像装置１１０に保存しておいてもよい。そして、全天球撮像装置１１０と表示装置１８０が通信を開始する際に、予め保存されているデータを読み出し、ポインタＰなどを重畳させて操作画面を生成し、表示装置１８０へ送信してもよい。更に予め保存されているデータは、全天球撮像装置１１０の無線装置により接続される外部記憶装置に保存させておいて、そこから取得してもよいし、更には無線装置からインターネット経由で配信しても良い。
無線通信装置１５０は、無線映像通信機能を備えており、全天球撮像装置１１０から画像ビューアが作成した操作画面を受信する。そして、無線通信装置１５０は、無線通信装置１５０に接続された表示装置１８０へ操作画面を映像出力する。表示装置１８０は、無線通信装置１５０から入力された映像を、ＬＣＤ（Liquid Crystal Display）やＯＬＥＤ（Organic Light Emitting Diode）などのディスプレイ・パネルで表示する。なお、無線通信装置１５０は、映像、静止画、動画、ならびに音等を全天球撮像装置１１０から受信し、表示装置１８０へ出力が可能である。
図２に示す実施形態において、全天球撮像装置１１０及び無線通信装置１５０は、無線ＬＡＮ（Local Area Network）などの無線接続により接続することができる。好ましくは、全天球撮像装置１１０及び無線通信装置１５０の間の接続は、Ｍｉｒａｃａｓｔ（登録商標）やＡｉｒＰｌａｙ（登録商標）やＣｈｒｏｍｅｃａｓｔ（登録商標）といった、無線通信により映像を伝送する無線映像伝送規格に準拠するものとすることができる。
また、無線通信装置１５０及び表示装置１８０間の接続は、典型的には、ＨＤＭＩ（High-Definition Multimedia Interface，ＨＤＭＩは登録商標）、ＤｉｓｐｌａｙＰｏｒｔ（登録商標）、Ｔｈｕｎｄｅｒｂｏｌｔ（登録商標）などの映像出力インタフェースを介して行うことができる。
全天球撮像装置１１０で生成された画像ビューアの操作画面Ｓは、無線通信により、映像として無線通信装置１５０へ伝送され、無線通信装置１５０から表示装置１８０へ映像として出力されて、表示装置１８０上で表示される。
このとき、表示装置１８０上に表示された画像ビューアの操作画面Ｓを、マウスやキーボードや他の情報端末などの追加のハードウェアなしで操作可能であることが望ましい。
図２には、本実施形態による全天球撮像装置１１０における操作の態様が併せて示されている。説明する実施形態において、全天球撮像装置１１０は、図２に図示されるように、ユーザの手Ｈによって把持可能に構成されている。そして、ユーザは、手Ｈで把持して全天球撮像装置１１０を動かすことにより、表示装置１８０上に表示された、全天球撮像装置１１０の画像ビューアの操作画面Ｓ上でポインタＰを移動させ、画像に関連して各種操作を行うことができる。
例えば、ユーザは、全天球撮像装置１１０を表示装置１８０に向かって上又は下に向けるように動かすことにより、表示装置１８０に表示された操作画面Ｓ上のポインタＰの位置をそれぞれ上方向又は下方向に移動させることができる。また、ユーザは、全天球撮像装置１１０を表示装置１８０に向かって左又は右に振ることにより、操作画面Ｓ上のポインタＰをそれぞれ左方向又は右方向に移動させることができる。ユーザは、操作画面Ｓ上でポインタＰを所定の位置に移動させ、全天球撮像装置１１０が筐体に備えるハードウェアボタンＢなどのハードウェア操作手段を押下することにより、所望の処理内容を全天球撮像装置１１０に指示することができる。
このように、本実施形態による全天球画像表示システム１００においては、無線通信装置１５０を介して全天球撮像装置１１０から表示装置１８０へ、画像ビューアの操作画面Ｓが伝送される。ユーザは、表示装置１８０に表示される操作画面Ｓを見ながら、全天球撮像装置１１０を物理的に動かすことによって、操作画面上で所望の操作を行うことになる。
＜ハードウェア構成例＞
<<全天球撮像装置１１０>>
図３を用いて全天球撮像装置１１０のハードウェア構成について説明する。図３は、本実施形態による全天球撮像装置１１０のハードウェア構成を示す。なお、図３に示す全天球撮像装置１１０は、１８０度より大きい全画角を有する２つの光学系を組み合わせた２眼の全天球撮像装置１１０として構成されている。
全天球撮像装置１１０は、ＣＰＵ（Central Processing Unit）１１２と、ＲＯＭ（Read Only Memory）１１４と、画像処理ブロック１１６と、動画ブロック１１８と、ＤＲＡＭ（Dynamic Random Access Memory）インタフェース１２０を介して接続されるＤＲＡＭ１３２と、外部センサインタフェース１２４を介して接続される加速度センサ／ジャイロセンサ／地磁気センサ（加速度センサ、ジャイロセンサ及び地磁気センサの少なくとも１つを含む。）１３６と、を有する。
ＣＰＵ１１２は、全天球撮像装置１１０の各部の動作及び全体動作を制御する。ＲＯＭ１１４は、ＣＰＵ１１２が解読可能なコードで記述された制御プログラムや各種パラメータを格納する。
全天球撮像装置１１０は、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの２つの撮像素子１３０Ａ，１３０Ｂと２つの光学系１３１Ａ，１３１Ｂとを有する。なお、説明する実施形態では、光学系は魚眼レンズを含み、ここで、魚眼レンズは、広角レンズや、超広角レンズと呼ばれるものを含むものとする。画像処理ブロック１１６は、２つの撮像素子１３０Ａ，１３０Ｂと接続され、それぞれで撮像された画像の画像信号が入力される。画像処理ブロック１１６は、ＩＳＰ（Image Signal Processor）などを含み構成され、撮像素子１３０から入力された画像信号に対し、シェーディング補正、ベイヤー補間、ホワイト・バランス補正、ガンマ補正などを行う。
本実施形態において、２つの撮像素子１３０Ａ，１３０Ｂでそれぞれ撮像された画像は、画像処理ブロック１１６で、重複部分を基準として合成処理されて、これにより、立体角４πステラジアンの全天球画像が生成される。光学系が１８０度を超える全画角を有するため、撮像した各撮像画像の１８０度を超えた部分の撮像範囲が重複する。合成処理の際には、この重複領域が同一像を表す基準データとして参照されて、全天球画像が生成される。そして、全天球画像の連続するフレームにより、全天球動画が構成される。
ここで、説明する実施形態では、撮像地点から見渡すことのできる全ての方向を撮像した全天球画像を生成するものとして説明するが、他の実施形態では、水平面のみ３６０度を撮像した、いわゆるパノラマ映像であってもよい。また、説明する実施形態では、２つの撮像光学系を含み構成されるものとして説明するが、撮像光学系の数は、特に限定されるものではない。他の実施形態では、全天球撮像装置１１０は、３つ以上の魚眼レンズを光学系に含む撮像体を備えると共に、３つ以上の光学系で撮像された複数の撮像画像に基づいて全天球画像を生成する機能を備えていてもよい。更に他の実施形態では、全天球撮像装置１１０は、単一の魚眼レンズを光学系に含む撮像体を備え、単一の魚眼レンズで異なる方位で撮像された複数の撮像画像に基づいて全天球画像を生成する機能を備えていてもよい。
動画ブロック１１８は、ＭＰＥＧ（Moving Picture Experts Group）−４ ＡＶＣ（Advanced Video Coding）／Ｈ．２６４／Ｈ.２６５などの動画圧縮及び伸張を行うコーデック・ブロックである。ＤＲＡＭ１３２は、各種信号処理及び画像処理を施す際にデータを一時的に保存する記憶領域を提供する。加速度センサ／ジャイロセンサ／地磁気センサ１３６は、速度、加速度、角速度、角加速度、磁気方位などの全天球撮像装置１１０の動きに起因した物理量を計測するものである。計測された物理量は、全天球画像の天頂補正を施す際に、及び、画像ビューアの操作画面に対する処理内容を判断する際に用いることができる。
全天球撮像装置１１０は、更に、外部ストレージインタフェース１２２を含み構成される。外部ストレージインタフェース１２２には、外部ストレージ１３４が接続される。外部ストレージインタフェース１２２は、メモリカードスロットに挿入されたメモリカードなどの外部ストレージ１３４に対する読み書きを制御する。
全天球撮像装置１１０は、更に、ＵＳＢ（Universal Serial Bus）インタフェース１２６を含み構成される。ＵＳＢインタフェース１２６には、ＵＳＢコネクタ１３８が接続される。ＵＳＢインタフェース１２６は、ＵＳＢコネクタ１３８を介して接続されるパーソナル・コンピュータやスマートフォンやタブレット・コンピュータなどの外部装置とのＵＳＢ通信を制御する。
全天球撮像装置１１０は、更に、シリアルブロック１２８を含み構成される。シリアルブロック１２８は、外部装置とのシリアル通信を制御し、無線通信インタフェース１４０が接続される。説明する実施形態では、全天球撮像装置１１０は、無線通信インタフェース１４０を用いて、Ｍｉｒａｃａｓｔ（登録商標）などの無線映像伝送プロトコルにより、無線通信装置１５０といった外部装置と接続する。そして、外部装置が備えるディスプレイ、又は、接続されるディスプレイ上に全天球撮像装置１１０の操作画面が表示される。
ＵＳＢコネクタ１３８や無線通信インタフェース１４０を介して外部のパーソナル・コンピュータやスマートフォンやタブレット・コンピュータ等の外部装置と接続し、外部装置が備えるディスプレイ、又は、接続されるディスプレイ上に映像を表示してもよい。全天球撮像装置１１０は、図３に示すもののほか、ＨＤＭＩ（登録商標）などの映像出力インタフェースを有していてもよい。その場合、映像出力インタフェースを介してディスプレイなどの外部の表示装置１８０に直接接続され、映像を表示することができる。
電源スイッチの操作によって電源がオン状態になると、ＲＯＭ１１４などから制御プログラムがメインメモリにロードされる。ＣＰＵ１１２は、メインメモリに読み込まれたプログラムに従って、装置各部の動作を制御すると共に、制御に必要なデータをメモリ上に一時的に保存する。これにより、画像ビューアの操作画面提供機能に関する全天球撮像装置１１０の各機能部及び処理が実現される。
<<通信装置の一例の無線通信装置>>
図４は、本実施形態における無線通信装置１５０のハードウェア構成を示す。無線通信装置１５０は、ＣＰＵ１５２と、ＲＯＭ１５４と、ＲＡＭ１５６と、動画ブロック１５８と、無線通信インタフェース１６０と、映像出力インタフェース１６２とを含み構成される。
ＣＰＵ１５２は、無線通信装置１５０の各部の動作及び全体動作を制御する。ＲＯＭ１５４は、ＣＰＵ１５２が解読可能なコードで記述された制御プログラムや各種パラメータを格納する。ＲＡＭ１５６は、各種信号処理及び画像処理を施す際にデータを一時的に保存する記憶領域を提供する。動画ブロック１５８は、ＭＰＥＧ（Moving Picture Experts Group）−４ ＡＶＣ（Advanced Video Coding）／Ｈ．２６４／Ｈ.２６５などの動画圧縮及び伸張を行うコーデック・ブロックである。
無線通信インタフェース１６０は、全天球撮像装置１１０などの外部装置との無線通信を制御する。説明する実施形態では、無線通信インタフェース１６０を用いたＭｉｒａｃａｓｔ（登録商標）などの無線映像伝送規格に基づいて、全天球撮像装置１１０などの外部装置と接続し、その外部装置から伝送される映像を受信する。映像出力インタフェース１６２は、ＨＤＭＩ（登録商標）などの映像出力インタフェースである。映像出力インタフェースを介して外部の表示装置１８０に直接接続することにより、外部の表示装置１８０に映像を表示させることができる。
電源が投入されると、ＲＯＭ１５４などから制御プログラムがＲＡＭ１５６にロードされる。ＣＰＵ１５２は、ＲＡＭ１５６に読み込まれたプログラムに従って、装置各部の動作を制御すると共に、制御に必要なデータをＲＡＭ１５６上に一時的に保存する。これにより、無線通信装置１５０の後述する各機能部及び処理が実現される。
＜機能について＞
以下、図５を参照しながら、本実施形態による全天球撮像装置１１０が備える画像ビューアの操作画面提供機能について説明する。
図５は、本実施形態による全天球撮像装置１１０上で実現される画像ビューアの操作画面提供機能に関連する主要な機能を示すブロック図である。なお、図５には、無線通信装置１５０の機能ブロックが併せて示されている
図５に示すように、全天球撮像装置１１０は、撮像画像記憶部２１２と、センサ計測部２１４と、無線映像送信部２１６と、操作画面制御部２２０とを有する。
撮像画像記憶部２１２は、全天球撮像装置１１０の光学系１３１Ａ，１３１Ｂを通して撮像された画像を記憶する。撮像画像記憶部２１２は、典型的には、外部ストレージ１３４の記憶領域として提供される。撮像画像記憶部２１２は、本実施形態による記憶手段を構成する。
ここで、撮像画像記憶部２１２に記憶される画像は、２つの光学系１３１Ａ，１３１Ｂそれぞれを介して撮像されたそれぞれの魚眼画像であってもよいし、これら２つの魚眼画像を接合したデュアル魚眼画像であってもよいし、これら２つの魚眼画像から正距円筒図法などの投影法に基づいて合成された全天球フォーマットの全天球画像であってもよい。撮像画像記憶部２１２に記憶される画像は、また、静止画であってもよいし、動画であってもよいし、動画や静止画の解像度も２Ｋ、４Ｋ、他の解像度など如何なるものとすることができる。静止画のフォーマットとしても、ＪＰＥＧ形式、ＧＩＦ形式、ＰＮＧ形式、ビットマップ形式などの如何なる画像フォーマットであってよい。動画のフォーマットとしても、ＭＰＥＧ４形式、Ｈ．２６４形式、Ｈ.２６５形式など如何なる動画フォーマットであってよい。
更に、動画は、１チャンネルや多チャンネル（３Ｄ音響）の音声データを有していてもよい。画角が限られている場合は２チャンネル以上が好ましく、水平画角が１８０度以上であれば３チャンネル以上が好ましく、全天球画像あれば４チャンネルが好ましい。なお、音声データごとに音量が異なる場合が考えられるため、全天球撮像装置１１０は、動画の音声のボリュームを操作する機能を備えていることが好ましい。表示装置１８０側の音量設定は変更せずに、全天球撮像装置１１０の本体操作又は自動音量調整により音量を変更可能に構成することにより、ユーザビリティが向上することができる。更に、３Ｄ音響データについては、表示装置１８０側が３Ｄ音響に対応していない場合も想定されるので、再生時に２チャンネル又は１チャンネル音声に変換する処理を、全天球撮像装置１１０で行ったり、無線通信装置１５０で行ったりしてもよい。
センサ計測部２１４は、図３に示す加速度センサ／ジャイロセンサ／地磁気センサ１３６を用いて全天球撮像装置１１０の動きに起因した物理量を計測する。センサ計測部２１４により計測される物理量としては、全天球撮像装置１１０の位置変化、姿勢変化及び回転の少なくとも１つを示す、速度、加速度、角速度、角加速度、磁気方位又はこれらの組み合わせを挙げることができる。センサ計測部２１４は、本実施形態による計測手段を構成する。
なお、センサ計測部２１４が用いるセンサの組み合わせは、特に限定されるものではない。例えば、センサ計測部２１４は、ジャイロセンサが搭載される場合に、ジャイロセンサを用いて全天球撮像装置１１０の動きを検出することができる。このジャイロセンサは、３軸センサであっても６軸センサであってもよく、特に限定されるものではない。ジャイロセンサと組み合わせて、又はジャイロセンサに代えて、加速度センサ及び地磁気センサの一方又は両方を用いることもできる。複数のセンサを組み合わせることで、全天球撮像装置１１０の向きを固定せずに検出可能とすることができる。このとき、磁気センサが不安定な場合は、更にフィルタをかけることができる。加速度センサにより、全天球撮像装置１１０の傾き（ピッチとロール）が検知できるので、検知された傾きに基づいてジャイロセンサの計測値を補正することもできる。ジャイロセンサなどを単体で使用する場合にも、メディアンフィルタ、ローパスフィルタ、ハイパスフィルタ、バンドパスフィルタ及びこれらの組み合わせなどを用いて平滑化することもできる。
操作画面制御部２２０は、全天球撮像装置１１０の画像ビューア機能に関する操作画面の生成及び操作画面間の遷移を制御する。操作画面制御部２２０は、全天球撮像装置１１０のファームウェアの機能として提供されてもよいし、ファームウェア上で追加される拡張アプリケーションとして提供されてもよい。操作画面制御部２２０は、例えば、全天球撮像装置１１０の筐体に設けられる特定のハードウェアボタンの長押しなどの特定の動作に応答して、又は、全天球撮像装置１１０と外部の無線通信装置１５０との接続が確立するなどの特定の状態になったことに応答して起動される。
図５に示すように、操作画面制御部２２０は、操作画面の出力処理を担う画面出力処理部２２２と、操作画面に対する入力処理を担う画面入力処理部２２４と、操作画面を介して要求される処理を実行する処理実行部２３０とを有している。
画面出力処理部２２２は、現在表示対象となる操作画面を生成し、生成した操作画面を出力する。画面出力処理部２２２は、撮像画像記憶部２１２に記憶された１又は複数の撮像画像に関し、一覧表示する画像一覧画面、そのうちの選択された特定の画像を表示する画像一覧画面、設定画面などの各種操作画面を生成することができる。なお、具体的な操作画面や操作画面間の遷移の仕方については、図１７〜図１９を参照しながら後述する。
画面入力処理部２２４は、センサ計測部２１４により計測された物理量に応じて、現在出力している操作画面上で、ユーザが意図している、撮像画像に関連した処理内容を特定する。より詳細には、画面入力処理部２２４は、ポインタ位置管理部２２６と、処理内容判断部２２８と、非表示判断部２２９とを有する。
ポインタ位置管理部２２６は、センサ計測部２１４により計測された物理量に基づいて、現在表示中の操作画面上で対象を指し示すポインタＰの位置を指示部の状態として管理する。ポインタ位置管理部２２６は、典型的には、地磁気センサ１３６による検出結果を用いて、全天球撮像装置１１０の移動方向、姿勢方向及び向きを検出し、ポインタＰ移動情報に変換することができる。なお、説明する実施形態では、指示部の一例としてポインタＰを説明するが、指示部としては、例えば、操作画面上のコントロールに対するフォーカスを用いてもよい。この場合、フォーカスの選択状態が管理される。
また、ポインタ位置管理部２２６は、非表示判断部２２９が予め定められた条件を満たしたと判断するとポインタＰを非表示にする。また、ポインタＰが非表示の状態でシャッターボタンＳＢが押下されるとポインタＰの座標を初期化する。
なお、メニュー選択時は、平面環境に対して上下左右の２次元動作を検知することができればよい。この場合は、特に限定されるものではないが、表示デバイスに正対する平面座標（ディスプレイ画面と平行な位置関係）で動くと直感的に分かりやすいので、初期位置及び初期姿勢でキャリブレーションすることができる。更に、上下左右の２次元に加えて、奥行きを含めた３次元の動作を検知することができる場合は、前後方向の移動量を別操作に割り当てることもできる。例えば、押し込む動きで、選択中のコントロールの押下に相当する操作を検知してもよい。このように、全天球撮像装置１１０をどの向きにしても地面に対して横や縦移動することで、画面のポインタＰを横又は縦に移動させることができる。また、シャッターボタンＳＢを上面とするなどの全天球撮像装置１１０のボタン位置などを指定することで、ユーザによる全天球撮像装置１１０の持ち方に制約を与えることもできる。
処理内容判断部２２８は、操作画面上でのポインタＰの位置と、必要に応じて全天球撮像装置１１０に対して行われた追加操作とに基づいて、操作画面上での処理内容を決定する。追加操作は、全天球撮像装置１１０の筐体に備えられるハードウェアボタンで受け付けた入力に基づく操作とすることができる。操作画面上には、所定の処理内容に関連付けられた、ボタンやアイコンなどの複数のコントロールが含まれている。そして、ポインタＰによりいずれかのコントロールが選択された状態で追加操作が行われることにより、選択されたコントロールに関連付けられた所定の処理内容が決定される。
非表示判断部２２９は、センサ計測部２１４が計測した物理量に基づいて、ポインタＰを非表示するか否かを判断する。具体的には、センサ計測部２１４が計測した物理量の変化が一定時間以上、所定以下であるか、又は、センサ計測部２１４が計測した物理量が表示装置１８０の画面からポインタＰが逸脱したことを示す場合、ポインタＰを非表示にすると判断する。
処理実行部２３０は、処理内容判断部２２８によって特定された処理内容を実行する。
処理内容は、所定の操作画面の呼び出し、画像表示に関連する各種操作や画像編集に関する各種操作を含むことができる。
より具体的には、処理内容は、操作画面上での静止画の表示、静止画の非表示、動画の再生開始、動画の再生一時停止、動画の早送り、動画の巻き戻し、動画の再生停止、静止画や動画の回転、静止画や動画の表示範囲の拡大、静止画や動画の表示範囲の縮小、静止画や動画の視点移動を含むことができる。更に、処理内容は、画像の選択、画像の削除、画像の形式の変換、動画からの静止画の切り出し、画像の解像度変換、動画の分割又は動画での再生音量の変更を含むことができる。ここで、画像の形式の変換には、デュアル魚眼画像から全天球画像への変換が含まれてもよい。
無線映像送信部２１６は、図３に示した無線通信インタフェース１４０を用いて、無線通信により、処理実行部２３０が実行した処理内容の結果が反映された操作画面を映像として外部装置へ送信する。
無線通信装置１５０は、表示装置１８０と接続されている。無線通信装置１５０は、全天球撮像装置１１０の無線映像送信部２１６により送信された操作画面を表示装置１８０に表示させる。なお、説明する実施形態では、無線通信装置１５０は、表示装置１８０と外部接続されているものとして説明したが、これに限定されるものではなく、無線通信装置１５０自体が表示装置１８０を備える構成としてもよい。
また、全天球撮像装置１１０は、充分な解像度を有するディスプレイを備えない場合もあり、ディスプレイ自体を備えていない場合もある。そのため、全天球撮像装置１１０から無線通信装置１５０と接続するために機器登録しようとする場合、ユーザに煩雑な作業を強いてしまう可能性がある。
そこで、好ましい実施形態では、無線通信装置１５０は、更に、自己情報発信部２５２を含むことができる。全天球撮像装置１１０の無線映像送信部２１６は、好ましい実施形態では、探索処理部２１８を含むことができる。
自己情報発信部２５２は、ユーザからの所定のボタンの押下といった機器登録開始操作に応答して、一定時間、無線通信装置１５０のＳＳＩＤなどのデバイス名を特殊な名前に変更して、その特殊な名前を発信する。ここで、特殊な名前とは、機器登録が開始されていない通常の名前と識別可能であり、機器登録モードにあることを表す特定の文字列パターンを含むものである。例えば、通常のデバイス名が「ｄｉｓｐｌａｙ００１」であったとした場合に、「ｄｉｓｐｌａｙ００１＿ＯＮ」といった文字列「＿ＯＮ」を追加したものを挙げることができる。
これに対し、探索処理部２１８は、表示装置１８０側の無線通信装置１５０との無線通信を開始するために、文字列検索により特殊な名前を有する無線通信装置を相手方の候補として探索する。なお、相手方の候補の探索方法は、これに限定されるものではなく、事前登録されたＭＡＣ（Media Access Control）アドレスを有する無線通信装置を相手方の候補として探索してもよいし、最初に発見される無線通信装置を相手方の候補として探索してもよい。また、いずれか１つの探索方法を指定して、接続する相手方を決定することもできるし、複数の方法それぞれに事前に設定された優先度に基づいて、すべての見つかった候補の中から最も優先度の高いものを接続する相手方として決定してもよい。
＜接続手順＞
図６は、本実施形態による全天球撮像装置１１０が実行する相手方の無線通信装置１５０との接続方法を示すフローチャートである。図６に示す処理は、例えば、全天球撮像装置１１０の筐体に設けられる特定のハードウェアボタンの長押しといった、特定の動作に応答して、ステップＳ１００から開始される。図６では一例として無線通信での接続方法を説明するが無線による通信は通信接続の一例である。
ステップＳ１０１では、全天球撮像装置１１０は、画像ビューアの操作画面提供機能を
有効化する。ステップＳ１０２では、全天球撮像装置１１０は、探索モードの設定に基づいて処理を分岐させる。探索モードの設定は、デフォルトとして設定されていてもよいし、ユーザにより別の手段で設定されていてもよい。
ステップＳ１０２で、ＭＡＣアドレスに基づく探索モードが有効であった場合（ＭＡＣアドレスベース）は、ステップＳ１０３へ処理が進められる。ステップＳ１０３では、全天球撮像装置１１０は、探索処理部２１８により、事前登録されたＭＡＣアドレスに該当する無線通信装置を探索し、発見されたものを相手方の候補とし、ステップＳ１０６へ処理を進める。
一方、ステップＳ１０２で、特殊な名前に基づく探索モードが有効であった場合（デバイス名ベース）は、ステップＳ１０４へ処理が進められる。ステップＳ１０４では、全天球撮像装置１１０は、探索処理部２１８により、所定の文字列パターンを有するデバイス名を有するものを探索し、発見されたものを相手方の候補とし、ステップＳ１０６へ処理を進める。ここで、無線通信装置１５０の機器登録開始のハードウェアボタンが押下され、デバイス名が特殊な名前に変更されている場合は、無線通信装置１５０が、この検索で発見されることになる。
一方、ステップＳ１０２で、発見順に基づく探索モードが有効であった場合（発見順ベース）は、ステップＳ１０５へ処理が進められる。ステップＳ１０５では、全天球撮像装置１１０は、ネットワーク上で無線通信装置を探索し、最初に発見されたものを相手方の候補とし、ステップＳ１０６へ処理を進める。
なお、ステップＳ１０３〜ステップＳ１０５の処理は、事前設定に基づいて行われるが、これらのうち複数のステップが並列又は順次行われてもよい。例えば、すべてのモードでの探索が有効である場合に、ステップＳ１０３〜ステップＳ１０５のすべての処理が、並列に又は順次実行されてもよい。
ステップＳ１０６では、全天球撮像装置１１０は、ステップＳ１０３〜ステップＳ１０５の探索により、少なくとも１つの候補が発見されたか否かを判断する。ステップＳ１０６で、少なくとも１つ発見されたと判断された場合（ＹＥＳ）は、ステップＳ１０７へ処理が進められる。
ステップＳ１０７では、全天球撮像装置１１０は、発見された優先度が最上位である無線通信装置との通信を開始する。ここで、優先度は、ＭＡＣアドレスベース、デバイス名ベース及び発見順ベースのうちの複数で候補が発見された場合に、いずれの候補を優先するかを決める順位である。単一のモードのみが指定される場合は、その指定されたモードが最上位のものとなる。
ステップＳ１０８以降、操作画面の画像表示が行われ、全天球撮像装置１１０の本体を用いた操作が開始される。
一方、ステップＳ１０６で、１つも候補が発見されなかったと判断された場合（ＮＯ）は、ステップＳ１０９へ処理が進められる。ステップＳ１０９では、全天球撮像装置１１０は、操作画面提供機能を無効化し、ステップＳ１１０で本処理を終了させる。この際に、全天球撮像装置１１０のランプやスピーカから、候補となる無線通信装置が見つからなかった旨の通知を行ってもよい。
なお、一度接続が確立された以降は、表示装置１８０上で接続状況や他の接続可能なデバイスを表示することができるので、その表示装置１８０に表示された操作画面上で、接続する相手方を切替できるように構成してもよい。また、ハードウェアボタンが押下されている無線通信装置が複数存在する場合も想定されるので、最初の接続対象を決定する際に、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信などを利用してもよい。
＜全天球撮像装置の姿勢とポインタの位置＞
本実施形態では、ユーザが全天球撮像装置１１０をどれだけ傾けた時（水平方向及び垂直方向）に全天球撮像装置１１０がどの位置にポインタＰを表示するかを決定する。全天球撮像装置１１０の姿勢で操作画面上のポインタＰをユーザが移動させるためには、表示装置１８０と全天球撮像装置１１０との距離、及び、表示装置１８０の画面サイズをある程度想定しておくことが必要になる。表示装置１８０と全天球撮像装置１１０との距離によって全天球撮像装置１１０の向きの変化に対する表示装置１８０の画面上のポインタＰの移動量が変わるためである。また、画面サイズによりポインタＰの可動範囲が変わるためである。
図７は、ユーザが把持する全天球撮像装置１１０と表示装置１８０の相対的な位置を側面から見た図の一例である。ユーザと表示装置１８０の直線距離を視距離Ｌ１という。視距離Ｌ１としては、頭部と表示装置１８０の距離、又は、全天球撮像装置１１０と表示装置１８０との距離の２通りがあるが、本実施形態では全天球撮像装置１１０の姿勢によりポインタＰの位置を制御するため、全天球撮像装置１１０と表示装置１８０との距離を視距離として用いることが好ましい。なお、頭部と表示装置１８０の距離又は２通りの距離の平均を視距離として採用してもよい。
図８を用いて最適な視距離について説明する。図８は一般社団法人 日本人間工学会が公表した「薄型テレビの人間工学設計ガイドライン」から抜粋した対角画面サイズと最適な視距離の関係の対応を示す図である。表示装置１８０が一般家庭のテレビであるという前提では大部分の表示装置１８０の対角画面サイズは２７〜６０インチに入ると考えられる。図８からこの場合の最適な視距離は１７５〜３００〔ｃｍ〕であることがわかる。
なお、図８に示す最適な視距離は２７名の被験者による嗜好調査の結果であり、最適な視距離には個人差がある。この個人差の目安として図８では±１標準偏差の幅が示されている。従って、最適な視距離とした１７５〜３００〔ｃｍ〕は説明のための一例に過ぎず、例えば±１標準偏差の幅にはいる視距離を最適な視距離として採用してもよい。
対角画面サイズ２７〜６０インチと視距離１７５〜３００〔ｃｍ〕を所定の間隔の細分点で細分し両者を対応付けると、各細分点で表示装置１８０の横画角を算出できる。
図９は最適な視距離における表示装置１８０の横画角を説明する図の一例である。図９（ａ）は横画角の算出を説明する図であり、図９（ｂ）は対角画面サイズと横画角の対応を説明する図である。ファミリー層のリビングにあるテレビが表示装置１８０であると想定すると、対角画面サイズは４９〜５５インチ程度であると想像される。この場合、適切と思われる視距離(「薄型テレビの人間工学設計ガイドライン」などを参照)における横画角は２４度程度である。以上のように対角画面サイズが決定されるとおよその横画角が決定できる。例えば初期設定の横画角を例えば２３〜２４度程度に設定しておけばよい。
全天球撮像装置１１０はこのような想定の下、全天球撮像装置１１０の姿勢をポインタＰの座標に変換できる。つまり、ユーザが全天球撮像装置１１０を２４度、水平に回転させるとポインタＰが画面の左端から右端に到達する。
なお、ユーザが全天球撮像装置１１０に自分が使用する表示装置１８０の対角画面サイズを入力できるように、設定画面等が用意されることが好適である。この場合、全天球撮像装置１１０は更に視距離の入力も受け付けてよい。対角画面サイズ及び視距離の入力を全天球撮像装置１１０が受け付けることでより正確に横画角を決定できる。
また、画面のアスペクト比が９：１６であるとすると、垂直方向の縦画角は１３．５度である。ユーザが全天球撮像装置１１０を１３．５度、垂直に回転させるとポインタＰが画面の上端から下端に到達する。
次に、図１０〜図１２を用いて全天球撮像装置１１０の座標軸とポインタＰの座標について説明する。図１０は、全天球撮像装置１１０の座標軸を説明する図の一例であり、図１１は基準となる全天球撮像装置１１０の姿勢を説明する図の一例である。基準となる全天球撮像装置１１０の姿勢とは、ポインタＰの座標が初期化される時の初期姿勢である。
図１０に示すように、全天球撮像装置１１０の長手方向をＺ軸、シャッターボタンＳＢがある面からない面に向かって２つのレンズを通過する方向をＹ軸、全天球撮像装置１１０の幅方向をＸ軸とする。この軸は全天球撮像装置１１０と共に移動する。全天球撮像装置１１０はＸ軸、Ｙ軸、Ｚ軸のそれぞれを中心に回転することができる。Ｘ軸を中心とする回転角をα、Ｙ軸を中心とする回転角をβ、Ｚ軸を中心とする回転角をγとする。
図１１に示すように、ユーザが表示装置１８０に表示されたポインタＰを操作する際は天頂方向を表示装置１８０に向ける。各軸の回転角は正立した時が９０度なるため、ポインタＰの座標の初期化時における全天球撮像装置１１０の初期姿勢は、α=９０度、β=０度、γ=０度となる。初期姿勢は、ポインタＰが初期位置に表示される際の全天球撮像装置１１０の姿勢なので、この姿勢が全天球撮像装置１１０の基準となるため基準本体姿勢ということができる。
全天球撮像装置１１０は、全天球撮像装置１１０が実際にどのような姿勢であってもポインタＰの座標の初期化を受け付ける。単に、ユーザが所定の操作を行った時にポインタＰの座標を初期化する。所定の操作とは例えばシャッターボタンＳＢの押下である。
図１２は、全天球撮像装置１１０の回転角とポインタＰの座標の対応を説明する図の一例である。ユーザが初期姿勢になるように全天球撮像装置１１０を把持し、シャッターボタンＳＢを押下した場合を説明する。全天球撮像装置１１０はポインタＰを画面の中央（原点）に表示する。ポインタＰの座標の水平方向をｕ、垂直方向をｖで表すと、初期姿勢におけるポインタＰの座標（ｕ，ｖ）は（０，０）である。初期姿勢で全天球撮像装置１１０を把持するユーザは表示装置１８０の正面に存在していると想定され、ポインタＰが画面の中央に表示されることで、ユーザは上下左右に均等に全天球撮像装置１１０の向きを変えることでポインタＰを画面の全範囲で移動させることができ、右端や左端にある場合よりも操作性を向上できる。
また、水平方向ｕはＹ軸を中心とする回転角βにより変更され、垂直方向ｖはＸ軸を中心とする回転角αにより変更される。従って、ｕとβが対応し、ｖとαが対応する。初期姿勢におけるαは９０度（π/２）、βは０度である。なお、γはポインタＰの座標に影響しない。
ジャイロセンサが出力するＸ軸、Ｙ軸、Ｚ軸を中心とする角速度を(gα,gβ,gγ)とする。ポインタＰの方向cα, cβは、ジャイロセンサの出力を用いて以下から算出される。
cα(n+1)=cα(n)+k*gα*dt
cβ(n+1)=cβ(n)+k*gβ*dt …（２）
ｎは計算のサイクルを意味し、dtは微小時間を意味する。kはジャイロセンサの感度に関する係数である．初期値をk=1.0とする。手振れなどの影響を低減する場合はk=0.5等に小さくすれば，ローパスフィルタの効果を持たせられる。なお、この計算は全天球撮像装置１１０のＯＳから画像ビューア機能が呼び出される間隔（画面のリフレッシュレート）で実施される。
式（２）から算出された (cα,cβ) をポインタ位置管理部２２６がポインタＰの座標(u, v)に変換する。画面サイズを(W, H)=(1280,720)[pix] とすると、この画面サイズが横画角２４度、縦画角１３．５度に相当する。従って、２４度を１２８０ピクセルに比例配分し、１３．５度を７２０ピクセルに比例配分すればよい。（α，β）＝（π/２，０）と（ｕ，ｖ）＝（０，０）が対応するため計算はやや複雑になるが、以下のようにして算出される。
ここで、ユーザが全天球撮像装置１１０を把持する時のシャッターボタンＳＢが上向きの場合（図１１）と下向きの場合の２通りが考えられる。下向きの座標軸については図２０にて説明する。
（ 初期姿勢 α_0?-π/2 かつα_0>π/2のとき ）
通常操作（シャッターボタンが上を向いた状態）では角度は-π<cα?-π/2もしくはπ/2<cα?πの場合に相当する。角度の計算上，角度π前後で数字が連続しないため、
cα?0のとき， cα2=cα.
cα<0のとき， cα2=cα+2π
と場合分けして、数値が連続する（0?cα2<2π）ように変換する。
u= (cα2-α_0)*180/π*W/(24*kd)
v= (cβ)*180/π*H/(13.5*kd) …（３）
と計算できる．
（ 初期姿勢 α_0>-π/2 かつα_0?π/2のとき ）
背面操作（シャッターボタンが下を向いた状態）では角度は-π/2<cα?π/2の場合に相当する。角度の計算上，数字が連続するため場合分けは不要である。
u= (α_0-cα)*180/π*W/(24*kd)
v= (-cβ)*180/π*H/(13.5*kd) …（４）
と計算できる。
式（３）（４）でkdは姿勢の増幅率を意味しkdの初期値はkd=2とする。kd=2のときは２倍大きく本体を傾ける必要がある。u, vが画面の端(u=-W/2, W/2, v=-H/2, H/2)に到達した場合はそれぞれ、画面端にクリップする。
＜ポインタＰの座標の初期化＞
算出された (ｕ,ｖ)により、ユーザはポインタＰで全天球撮像装置１１０を操作できる。しかし、時間と共にジャイロセンサのドリフトが蓄積されるなどの理由により、全天球撮像装置１１０の向きとポインタＰの位置にずれが生じる。全天球撮像装置１１０の向きとポインタＰの位置のずれが大きい場合、操作性が低下する。
そこで、本実施形態では、ユーザはずれが大きいと感じるとポインタＰの座標を初期化することができる。初期化の際、ユーザはシャッターボタンＳＢを押下するが、ポインタＰが表示されている状態でシャッターボタンＳＢを押下すると、処理内容判断部２２８がボタンやアイコンのクリック操作を受け付けてしまうおそれがある。このため、ユーザはいったんポインタＰを非表示にする操作を行う。
図１３はポインタＰを非表示にする操作を説明する図の一例である。図１３（ａ）は表示装置１８０と全天球撮像装置１１０の上面図を示し、図１３（ｂ）は表示装置１８０と全天球撮像装置１１０の側面図を示す。横画角が２４度の場合、初期姿勢を基準にして全天球撮像装置１１０が水平方向に１２度より右を向くか、又は、１２度より左を向くと表示装置１８０の画面の範囲外を向く。ｃαで示すと、|cα2-α_0|>50*π/180の場合、全天球撮像装置１１０が表示装置１８０の画面の範囲外を向く。
縦方向についても同様に、縦画角が１３．５度の場合、初期姿勢を基準にして全天球撮像装置１１０が垂直方向に６．７５度より上を向くか、又は、６．７５度より下を向くと表示装置１８０の画面の範囲外を向く。ｃβで示すと、|cβ|>60*π/180の場合、全天球撮像装置１１０が表示装置１８０の画面の範囲外を向く。
ポインタ位置管理部２２６はこのようにポインタＰの方向cα, cβが表示装置１８０の画面から逸脱した場合、ポインタＰを非表示にする。なお、ポインタＰの方向cα, cβで判断するのでなく、ポインタＰの座標（ｕ，ｖ）に基づいて判断してもよい。ユーザが画面の端部をポインタＰで指示する場合や大きな画面サイズの表示装置１８０に操作画面を表示させる場合もあるので、ポインタＰの方向cα, cβが表示装置１８０の画面から大きく逸脱した場合（判断基準にマージンをプラスして）にポインタ位置管理部２２６はポインタＰを非表示にする。ユーザはポインタＰの向きを左右に振ればよいので、逸脱という簡単な操作でポインタＰの座標を初期化できる。
図１４に示すように、ポインタＰが非表示の状態でユーザがシャッターボタンＳＢを押下すると、ポインタＰの座標が初期化される。図１４は座標の初期化により表示されたポインタＰの表示例を示す。図１４では初期化されたポインタＰの座標（表示位置）は画面の中央である。図１４に示すように、表示装置１８０の画面のほぼ中央に向けてシャッターボタンＳＢを押下するという簡単な操作で、ポインタＰの座標を初期化できる。初期化後、ユーザはポインタＰの操作を自然な姿勢で行うことができる。
なお、初期化のためユーザがポインタＰを非表示にする操作は、画面からのポインタＰの逸脱の外、ポインタＰの操作のためには通常、行われない操作、又は、特殊な操作であればよい。例えば、ユーザが全天球撮像装置１１０を振動させる操作、繰り返し揺動（Ｘ，Ｙ、Ｚのいずれかの軸を中心に正逆方向に回転）させる操作などでもよい。振動させる操作は主に加速度センサにより検出され、繰り返し揺動させる操作はジャイロセンサにより検出される。
なお、必ずしもポインタＰの初期化の前にポインタＰを非表示にしなくてもよい。例えば、全天球撮像装置１１０がシャッターボタンＳＢの長押しを検出すると、その時のポインタＰの位置に関わらずポインタ位置管理部２２６がポインタＰを画面の中央に表示する。ユーザがシャッターボタンＳＢの押下を終了すると、ポインタ位置管理部２２６は初期化を完了する。この場合、ユーザは非表示にしなくてもポインタＰの座標を初期化できる。
また、図１４では、ユーザが全天球撮像装置１１０を表示装置１８０の画面のほぼ中央に向けてシャッターボタンＳＢを押下しているが、シャッターボタンＳＢが押下される時、全天球撮像装置１１０はどこを向いていてもよい。全天球撮像装置１１０は実際の向きを検知していないため、この場合でも、ユーザはポインタＰの操作は可能である。しかし、シャッターボタンＳＢが押下される時、全天球撮像装置１１０が任意の方向を向いていると、ポインタＰの座標が初期化された直後から全天球撮像装置１１０の向きとポインタＰの位置がずれてしまうので、シャッターボタンＳＢが押下される時、全天球撮像装置１１０は表示装置１８０の画面のほぼ中央に向いていることが好ましい。
＜ポインタＰの非表示＞
ユーザが作為的な操作でポインタＰを非表示にする他、不作為によりポインタＰが非表示にされることが有効な場合がある。例えば、画像の閲覧においてはポインタＰの表示が邪魔になる場合がある。また、全天球画像が自動的に（ユーザが操作しなくても）回転するなどすれば、ユーザは操作する必要がない。
そこで、本実施形態の全天球撮像装置１１０は一定時間内に姿勢センサが検出する信号の変化が所定以下の場合にポインタＰを非表示にする。こうすることで、ポインタＰが画像の閲覧の邪魔になることがない。
不作為によりポインタＰが非表示にされた場合も、ユーザがシャッターボタンＳＢを押下することでポインタＰの座標を初期化することができる。従って、ユーザが全天球撮像装置１１０で指し示す方向とポインタＰの位置にずれが生じていなくても、ポインタＰが非表示にされた後はポインタＰの座標を初期化することができる。
＜全天球撮像装置による操作の受付動作＞
図１５を用いて、図６に示すステップＳ１０９以降に行われる、本実施形態による全天球撮像装置１１０が実行する操作方法について、より詳細に説明する。図１５は、本実施形態による全天球撮像装置１１０が外部の表示装置１８０に画像を表示すると共に操作を受け付ける方法を示すフローチャートである。
図１５に示す処理は、図６に示したステップＳ１０８に処理が進められたことに応答して、ステップＳ２００から開始される。ステップＳ２０１では、全天球撮像装置１１０は、キャリブレーション処理を実行する。キャリブレーション処理には、本実施形態で説明される、ポインタＰの座標の初期化が含まれる。なお、キャリブレーションにおいては、全天球撮像装置１１０の先端で画面中央などの所定の方向を指し示すように案内がなされる。そして、センサ計測部２１４により初期姿勢や初期位置が計測されて、計測された初期状態に対応付けてポインタＰの位置が画面中央に初期化される。
ステップＳ２０２では、全天球撮像装置１１０は、画面出力処理部２２２により、撮像画像に関する操作画面を生成し、生成した操作画面を出力する。以降、ステップＳ２０３〜ステップＳ２０８では、全天球撮像装置１１０の動きに基づいて、出力された操作画面上での撮像画像に関連した処理内容が特定される。
ステップＳ２０３では、全天球撮像装置１１０は、センサ計測部２１４により、全天球撮像装置１１０の動きに起因した物理量を計測する。
ステップＳ２０４では、非表示判断部２２９は一定時間以上、センサ情報の変化が所定以下であるか否かを判断する。
ステップＳ２０５では、一定時間のセンサ情報の変化が、所定以下でない場合（Ｎｏ）、非表示判断部２２９はセンサ情報に基づく全天球撮像装置１１０の向きが画面から逸脱したか否かを判断する。
そして、ステップＳ２０４でＹｅｓ又はステップＳ２０５でＹｅｓと判断されると、ポインタ位置管理部２２６はポインタＰを非表示にする（Ｓ２１３）。すなわち、ポインタ位置管理部２２６はポインタＰの位置を更新せず、ポインタＰを表示することもしない。内部的にポインタＰの位置を算出しておいて表示することを中止してもよい。
ステップＳ２０４でＮｏ及びステップＳ２０５でＮｏと判断されると、ステップＳ２０６では、全天球撮像装置１１０は、ポインタ位置管理部２２６により、センサ計測部２１４で計測された物理量に基づいて、表示中の操作画面上で対象を指し示すポインタＰの位置を更新する。
ステップＳ２０７では、全天球撮像装置１１０は、追加操作が行われたか否かを判断する。ここで、追加操作は筐体表面に設けられたハードウェアボタンの押下などである。
図１５ではステップＳ２０７で追加操作が行われていないと判断された場合（ＮＯ）処理はステップＳ２０３へ戻される。
一方、ステップＳ２０７で、追加操作が行われたと判断された場合（ＹＥＳ）は、ステップＳ２０８へ処理が進められる。ステップＳ２０８では、全天球撮像装置１１０は、処理内容判断部２２８により、出力中の操作画面、ポインタＰ位置情報及び追加操作に基づいて、処理内容を特定する。
ステップＳ２０９では、全天球撮像装置１１０は、処理実行部２３０により、ステップＳ２０８で特定された処理内容を実行する。ステップＳ２１０では、処理実行の結果、遷移が必要であるか否かを判断する。ステップＳ２１０で、遷移が必要であると判断された場合（ＹＥＳ）は、ステップＳ２１２へ処理が分岐される。
ステップＳ２１２では、操作画面を遷移させて、ステップＳ２０２へ処理をループさせる。この場合、ステップＳ２０２で、遷移後の操作画面が生成され、出力されることになる。
一方、ステップＳ２１０で、遷移が不要であると判断された場合（ＮＯ）は、ステップＳ２１１へ処理が分岐される。ステップＳ２１１では、ステップ２０９での処理内容の実行を操作画面に反映させて、ステップＳ２０３へ処理をループさせる。この場合、処理の実行が反映された操作画面が、無線映像送信部２１６を介して外部出力され、引き続き、出力中の操作画面について処理が継続する。
このように、ユーザは外部出力された操作画面Ｓを見ながら、全天球撮像装置１１０を物理的に動かすことによって、所望の位置へポインタＰを移動させて、操作画面上で所望の操作を行うことになる。
＜操作画面について＞
以下、図１６〜図１８を参照しながら、本実施形態における操作画面及び操作画面間の遷移について、より具体的に説明する。図１６は、本実施形態による全天球撮像装置１１０が提供する操作画面間の遷移を説明する。図１７及び図１８は、本実施形態による全天球撮像装置１１０が提供する操作画面を例示する。
図１６に示すように、本全天球撮像装置１１０の画像ビューアの操作画面は、例えば、ロゴの表示などの初期画面３００から始まる。初期画面３００を表示してから一定時間経過すると、図１５に示したステップ２０２で、タイムライン一覧画面３１０が生成及び出力される。
図１７（ａ）は、タイムライン一覧画面３１０を例示する。図１６を参照すると、タイムライン一覧画面３１０からは、タイムライン一覧選択画面３２０及び画像一覧画面３３０への遷移が存在する。図１７（ａ）に示すタイムライン一覧画面３１０は、タイムライン一覧選択画面３２０へ切り替えるための選択ボタン３１２と、画像一覧画面３３０へ切り替える切替ボタン３１４とを含む。
ここで、図１７（ａ）に示すタイムライン一覧画面３１０を一例として説明する。全天球撮像装置１１０を動かすことにより選択ボタン３１２や切替ボタン３１４の位置にポインタＰが置かれる。また、全天球撮像装置１１０のハードウェアボタンの押下などの追加操作がなされると、ステップＳ２０８では、タイムライン一覧選択画面３２０や画像一覧画面３３０の呼び出しが処理内容として特定される。この場合、ステップＳ２１０では遷移要と判断されることになる。
図１７（ｂ）は、タイムライン一覧選択画面３２０を例示する。図１７（ｂ）に示すタイムライン一覧選択画面３２０は、タイムライン一覧画面３１０へ戻るための戻るボタン３２２と、一覧表示された画像から処理を適用する対象を選択するためのチェックボックス３２４と、選択された画像を削除するための削除ボタン３２６とを含む。
ここで、図１７（ｂ）に示すタイムライン一覧選択画面３２０を一例として説明する。全天球撮像装置１１０を動かすことによりチェックボックス３２４にチェックが入れられた状態で、削除ボタン３２６の位置にポインタＰが置かれ、ハードウェアボタンの押下などの追加操作がなされると、ステップＳ２０８では、選択された画像の削除処理が処理内容として特定される。
図１７（ｃ）は、画像一覧画面３３０を例示する。図１６を参照すると、画像一覧画面３３０からは、タイムライン一覧画面３１０、画像一覧選択画面３４０、設定画面３５０、全天球静止画閲覧画面３６０及び全天球動画閲覧画面３７０への遷移がある。図１７（ｃ）に示す画像一覧画面３３０は、画像一覧選択画面３４０へ切り替えるための選択ボタン３３２と、タイムライン一覧画面３１０へ切り替える切り替えボタン３３４と、サムネイル画像３３６と、設定画面を呼び出すための設定ボタン３３８とを含む。
なお、サムネイル画像は、例えばリトルプラネットと称されるような全天球画像の表示形式のものを用いることができる。このようなサムネイルは、全天球撮像装置１１０のアイドル時間を検出してバックグラウンドで作成されてもよいし、画像一覧画面３３０の下にポインタＰを持ってくるなどの再表示のタイミングで更新しても良い。
また、画像一覧画面３３０上に明確なコントロールが配置されているわけではないが、例えば、画像一覧画面３３０の上側や下側にポインタＰを持ってきて、一定時間その位置で保持していた場合に、スクロールが行われるように構成してもよい。また、その際に、図１７（ｃ）に示す画像一覧画面３３０において多数の画像を一覧表示する場合、好ましい実施形態では、一覧表示する画像の数によって、高速なスクロールを行う手段を設けることができる。例えば、表示対象画像の数によって、少ない場合はスクロール速度を一定速とし、例えば１画面に入らない場合には一定時間経過後にスクロール速度を速めるようにすることができる。
なお、一覧表示するファイルについては、表示可能なファイルだけを一覧表示してもよいし、フォルダに記録されているファイルを全て一覧表示することとしてもよい。また、一覧表示において、ポインタＰで自由に所望のサムネイル画像を指して所望の画像を選べるようにしてもよい。あるいは、ファイルリストやサムネイル画像を自動的にスクロールさせ、ハードウェアボタンなどで追加操作が行われたタイミングで、ポインタＰにより指示されているサムネイル画像に対応する画像を選択することとしてもよい。
図１７（ｄ）は、画像一覧選択画面３４０を例示する。図１７（ｄ）に示す画像一覧選択画面３４０は、図１７（ｂ）に示したタイムライン一覧選択画面３２０と概ね同様な構成となっており、戻るボタン３４２と、削除ボタン３４４とを含んでいる。
図１８（ａ）は、設定画面３５０を例示する。図１８（ａ）に示す設定画面３５０は、各種設定内容示しており、更に、画像一覧画面３３０へ切り替えるための切り替えボタン３５２を含む。また、この設定画面３５０において、現在使用中の接続先から、別の無線通信装置へ接続先を切り替えるための設定画面があってもよい。
ここで、図１７（ｃ）に示す画像一覧画面３３０を一例として説明を加える。所定のサムネイル画像３３６の位置にポインタＰが置かれ、ハードウェアボタンの押下などの追加操作がなされると、ステップＳ２０８では、図１８（ｂ）に示す全天球静止画閲覧画面３６０や、図１８（ｃ）に示す全天球動画閲覧画面３７０の呼び出しが、処理内容として特定される。この場合、ステップＳ２１０では遷移要と判断されることになる。
図１８（ｂ）は、全天球静止画閲覧画面３６０を例示する。図１８（ｂ）に示す全天球静止画閲覧画面３６０は、ポインタＰが位置するサムネイル画像に対応する画像が静止画である場合に呼び出される。図１８（ｂ）に示す全天球静止画閲覧画面３６０は、全天球静止画の表示領域３６２と、各種コントロール３７４とを含み構成される。
図１８（ｃ）は、全天球動画閲覧画面３７０を例示する。図１８（ｃ）に示す全天球動画閲覧画面３７０は、ポインタＰが位置するサムネイル画像に対応する画像が動画である場合に呼び出される。図１８（ｃ）に示す全天球動画閲覧画面３７０は、全天球動画の表示領域３７２と、各種コントロール３７４と、動画の再生指示を受け付ける再生ボタン３７６とを含み構成される。
例えば、図１８（ｃ）に示す再生前の全天球動画閲覧画面３７０において、再生ボタン３７６の押下に相当する操作が行われた場合は、図１８（ｄ）に示すように、同一の操作画面内で、表示領域３７２で再生が開始され、コントロール３７４に変化が反映される。なお、この場合は、ステップＳ２１０では、遷移が不要と判断される。
図１８（ｂ）〜図１８（ｄ）で示す全天球画像の閲覧画面においては、全天球撮像装置１１０を動かすことにより、ポインタＰの位置を変化させて、そのポインタＰの位置に応じて、全天球撮像装置１１０の操作画面における画像表示を拡大、縮小、回転、視点移動などすることができる。そして、その操作に応じて、表示されている操作画面に変更が反映される。例えば、図２に示すように、全天球撮像装置１１０本体から上下左右に傾けて、ポインタＰを上下左右の端の領域に移動させ、その場所で、ボタンを押すか又は一定時間待つことによって、視点移動などの動作を行うことができる。更に、ハードウェアボタンを押した状態で画面に本体の頭を向けた状態で本体を上下左右に動かすことで視点移動をしたり、ハードウェアボタンを離した状態で本体を上下左右に動かすことでカーソル移動をしたり、あるいは、画面上の拡大アイコン又は縮小アイコンにカーソルを合わせてハードウェアボタンを押すことで倍率を変えたり、メニュー上で拡大・縮小を選択し、本体を上下に動かすことにより倍率選択などの操作を行うこともできる。
図１９は、ポインタＰが非表示の場合に操作画面に表示されるポインタＰの座標の初期化方法をユーザに説明する図の一例である。図１９では全天球画像と重畳しない場所に初期化方法を説明するメッセージ３６５が表示されている。ユーザはこのメッセージ３６５を見てポインタＰの座標を初期化する必要があること及び初期化方法を把握できる。なお、図１９では全天球静止画閲覧画面３６０にメッセージ３６５が表示されているが、このメッセージ３６５はポインタＰが表示されていない任意の操作画面で表示される。
初期化方法を説明するメッセージ３６５は、ポインタＰが非表示の状態で常に表示されてもよいし、ポインタＰが非表示になった直後から一定時間だけ表示されてもよい。また、所定時間ごとに表示と非表示を繰り返してもよい。すなわち、非表示の状態の一部期間でのみメッセージ３６５が表示されればよい。また、ユーザが全天球撮像装置１１０を動かしたことをセンサ計測部２１４により検出して表示してもよい。なお、メッセージ３６５は画面出力処理部２２２が操作画面と共に生成する。
以上、図１６〜図１９を参照しながら、具体的な操作画面を例示して説明してきた。しかしながら、操作画面は、図１６〜図１９に示した具体例に限定されるものではない。操作画面は、全天球撮像装置１１０を手で持って動かし、センサに動きを検知させることによって操作を行うことになる。このため、好ましくは、操作画面は、各処理内容に対応付けたタイル、ボタン、アイコンなどのコントロールを並べて選択させるよう構成することができ、これにより、操作性を向上することができる。また、所定のハードウェアボタンが押されている間だけ、ポインタＰのそばにメニューを表示するように構成することもできる。更に、メニューのそばにポインタＰがある間だけ、その領域を拡大表示するなどとしても良い。
＜ユーザがシャッターボタンを下向きにして全天球撮像装置を把持した場合＞
ポインタＰが非表示にされ、ユーザがポインタＰの座標を初期化する際、ユーザはシャッターボタンを上向きにして全天球撮像装置を把持すると考えられる。しかし、ユーザがシャッターボタンを下向きにして全天球撮像装置を把持する場合もある。この場合、全天球撮像装置１１０の向きとポインタＰの移動方向が一致しなくなる。そこで、以下のように、ユーザがシャッターボタンを下向きにして全天球撮像装置１１０を把持したことを全天球撮像装置１１０が検出して、ジャイロセンサが出力する信号の処理方法を変更する。 図２０は、ユーザが全天球撮像装置１１０のシャッターボタンを下向きにして全天球撮像装置を把持した場合の座標軸を説明する図の一例である。図示するように、図１１と比較して、Ｘ軸、Ｙ軸の向きが１８０度逆になる。Ｚ軸は変更がない。この場合、Ｘ軸とＹ軸を中心とする全天球撮像装置１１０の回転角も正負が逆になる。従って、ユーザがシャッターボタンを下向きにして全天球撮像装置を把持した場合には、ポインタ位置管理部２２６はセンサ計測部２１４が計測した回転角の正負を逆にして、式（４）から (cα,cβ) を算出する。これにより、ユーザがシャッターボタンを下向きにして全天球撮像装置１１０を把持した場合でも、ユーザが全天球撮像装置１１０の底部を向けた方向にポインタＰも移動する。
なお、ユーザがシャッターボタンを下向きにして全天球撮像装置１１０を把持しているか否かは、シャッターボタンＳＢが押下された時の加速度センサの信号により判断可能である。すなわち、図２０の状態では、Ｙ軸方向とは逆方向に重力が働いているため、シャッターボタンＳＢが押下された時の重力の向きを検出することで、ポインタ位置管理部２２６は、ユーザが全天球撮像装置１１０を把持している状態を判断できる。
図２１は、ユーザがシャッターボタンを下向きにして全天球撮像装置１１０を把持している場合に全天球撮像装置の向きの算出方法を変更する手順を示すフローチャート図の一例である。図２１の処理は、例えば図１５のステップＳ２０１のキャリブレーションの処理の中で実行される。すなわち、ポインタＰが表示されていない状態で実行される。
処理内容判断部２２８はシャッターボタンＳＢが押下されたか否かを判断する（Ｓ３０１）。シャッターボタンＳＢが押下されるまでは、ステップＳ３０１の判断を繰り返す。
シャッターボタンＳＢが押下されたと判断すると（Ｙｅｓ）、ポインタ位置管理部２２６はセンサ計測部２１４から加速度センサの信号を取得する（Ｓ３０２）。
次に、ポインタ位置管理部２２６は加速度センサの信号に基づき重力の向きがＹ軸方向か否かを判断する（Ｓ３０３）。
重力の向きがＹ軸方向の場合（Ｙｅｓ）、ユーザは全天球撮像装置１１０の表面を上に向けて把持しているので、ポインタ位置管理部２２６はジャイロセンサの信号の正負を変更せず、式（３）からポインタＰの座標を算出する（Ｓ３０４）。
重力の向きがＹ軸方向とは逆の場合（Ｎｏ）、ユーザが全天球撮像装置１１０の裏面を上にして把持しているので、ポインタ位置管理部２２６はジャイロセンサの信号の正負を逆にして式（４）からポインタＰの座標を変更する（Ｓ３０５）。
このような処理により、ユーザは全天球撮像装置１１０の裏面を上にして把持しても、ポインタＰを容易に制御できる。
＜まとめ＞
以上説明した実施形態によれば、ポインタＰが非表示の状態でユーザがシャッターボタンＳＢを押下することで、ポインタＰの座標が初期化され、全天球撮像装置１１０が指し示す方向とポインタＰの位置が一致するので、ポインタＰの位置と送信元の装置の姿勢のずれを抑制することができる。
＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
例えば、上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）、SOC(System on a chip)、GPU（Graphics Processing Unit）や従来の回路モジュール等のデバイスを含むものとする。
また、このソフトウェアはフラッシュメモリ、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ブルーレイディスク、ＳＤカード、ＭＯなど装置可読な記録媒体に格納して、あるいは電気通信回線を通じて頒布することができる。
また、ポインタＰの初期位置は操作画面の中央である必要はなく、画面の右上コーナ、操作画面の右下コーナ、操作画面の左下コーナ、又は、操作画面の左上コーナでもよい。この他、操作画面上の任意の場所がポインタＰの初期位置であってもよい。ポインタＰをユーザが全天球撮像装置１１０で指し示せば全天球撮像装置１１０の向き（姿勢）とポインタＰの位置が一致する。
また、本実施形態ではシャッターボタンＳＢの押下によりポインタＰの座標が初期化されたが、初期化の契機となる操作はシャッターボタンＳＢの押下に限られず、任意のハードウェアボタンの押下でよい。また、シャッターボタンＳＢを含む任意のハードウェアボタンの押下では、数秒間の長押しをもってポインタＰの座標の初期化の契機としてもよい。また、全天球撮像装置１１０がタッチパネルを有している場合、タッチパネルに表示されたソフトキーの押下をポインタＰの座標の初期化の契機としてもよい。あるいは、「初期化」などの音声入力によりポインタＰの座標が初期化されてもよい。
また、本実施形態では全天球撮像装置１１０が単体でポインタＰを表示しているが、全天球画像の撮像機能が外付けされた情報処理装置がポインタＰを表示することもできる。情報処理装置としては、例えばパーソナル・コンピュータ、スマートフォン、タブレット・コンピュータなどが挙げられる。あるいは、全天球撮像装置１１０が撮像機能を内蔵した情報処理装置と呼ばれていてもよい。
また、複数の表示装置１８０が連結されていてもよい。例えば１台のパーソナル・コンピュータに２台以上のディスプレイが接続される場合がある。パーソナル・コンピュータは２台以上のディスプレイを１台のディスプレイとして利用するので、全天球撮像装置１１０は表示範囲を大きくして２台以上のディスプレイで１つの画像を表示できる。また、複数のディスプレイに同じ画像を表示してもよい。２台のディスプレイが接続された場合、ポインタＰが１つの画面の中央に表示されると、２台のディスプレイの境界にポインタＰが存在するのでユーザが見にくくなる。このため、２台のディスプレイが接続された場合には少なくとも幅方向の中央以外にポインタＰが表示されることが好ましい。２台のディスプレイが接続されていることは、ユーザの設定、又は、画像の解像度などから全天球撮像装置１１０が判断する。
なお、画面出力処理部２２２は生成手段の一例であり、センサ計測部２１４は姿勢情報取得手段の一例であり、ポインタ位置管理部２２６は位置表示部品管理手段の一例であり、シャッターボタンＳＢ（処理内容判断部２２８）は操作受付手段の一例であり、非表示判断部２２９は非表示判断手段の一例である。無線映像送信部２１６は出力手段の一例である。
１００ ：全天球画像表示システム
１１０ ：全天球撮像装置
１５０ ：無線通信装置
１８０ ：表示装置
２１２ ：撮像画像記憶部
２１４ ：センサ計測部
２１６ ：無線映像送信部
２２６ ：ポインタ位置管理部
２２９ ：非表示判断部
特許第4394742号公報

Claims (12)

  1. 撮像装置であって、
    撮像された画像を記憶する記憶手段と、
    前記記憶手段に記憶された画像に関する操作画面を生成する生成手段と、
    前記生成手段が生成した操作画面を表示装置に出力する出力手段と、
    前記撮像装置の姿勢に関する情報を取得する姿勢情報取得手段と、
    前記姿勢情報取得手段が取得した姿勢に関する情報を、前記操作画面における位置表示部品の位置に変換して前記操作画面に表示する位置表示部品管理手段と、
    前記位置表示部品の位置の初期化の操作を受け付ける操作受付手段と、を有し、
    前記操作受付手段が前記初期化の操作を受け付けた場合、前記位置表示部品管理手段は前記位置表示部品を前記操作画面の初期位置に表示することを特徴とする撮像装置。
  2. 予め定められた条件を満たす場合に前記位置表示部品を非表示にすると判断する非表示判断手段を有し、
    前記位置表示部品管理手段は、前記非表示判断手段が前記位置表示部品を非表示にすると判断し、前記位置表示部品が非表示である状態で、前記操作受付手段が前記初期化の操作を受け付けた場合、前記位置表示部品管理手段は前記位置表示部品を前記操作画面の初期位置に表示することを特徴とする請求項１に記載の撮像装置。
  3. 前記非表示判断手段は、前記姿勢情報取得手段が予め定められている姿勢に関する情報を取得した場合、前記位置表示部品を非表示にすると判断することを特徴とする請求項２に記載の撮像装置。
  4. 前記非表示判断手段は、前記姿勢情報取得手段が取得した前記姿勢に関する情報が、前記撮像装置の向く方向が予め定められた範囲外に逸脱したことを示す場合、前記位置表示部品を非表示にすると判断することを特徴とする請求項３に記載の撮像装置。
  5. 前記非表示判断手段は、前記姿勢情報取得手段が取得した前記姿勢に関する情報が、前記撮像装置の向く方向が前記表示装置の画面から逸脱したことを示す場合、前記位置表示部品を非表示にすると判断することを特徴とする請求項４に記載の撮像装置。
  6. 前記非表示判断手段は、前記姿勢情報取得手段が取得した前記姿勢に関する情報が、一定時間以上、前記撮像装置の姿勢の変化が所定以下であることを示す場合、前記位置表示部品を非表示にすると判断することを特徴とする請求項２に記載の撮像装置。
  7. 前記操作画面の初期位置は前記操作画面の中央であることを特徴とする請求項１〜６のいずれか１項に記載の撮像装置。
  8. 前記位置表示部品管理手段が前記位置表示部品を非表示にしている間、少なくとも一部期間において、前記生成手段は前記位置表示部品の位置の初期化方法を前記操作画面に表示することを特徴とする請求項２〜７のいずれか１項に記載の撮像装置。
  9. 前記位置表示部品管理手段が前記位置表示部品を非表示にしている状態で、前記操作受付手段が前記初期化の操作を受け付けた場合、
    前記位置表示部品管理手段は、加速度センサが計測した信号により前記撮像装置の姿勢を判断し、前記姿勢に関する情報の処理方法を変更することを特徴とする請求項２〜８のいずれか１項に記載の撮像装置。
  10. 撮像装置と、前記撮像装置と通信しうる表示装置の通信装置とを含む画像表示システムであって、
    前記撮像装置は、撮像された画像を記憶する記憶手段と、
    前記記憶手段に記憶された画像に関する操作画面を生成する生成手段と、
    前記生成手段が生成した操作画面を表示装置に出力する出力手段と、
    前記撮像装置の姿勢に関する情報を取得する姿勢情報取得手段と、
    前記姿勢情報取得手段が取得した姿勢に関する情報を、前記操作画面における位置表示部品の位置に変換して前記操作画面に表示する位置表示部品管理手段と、
    前記位置表示部品の位置の初期化の操作を受け付ける操作受付手段と、
    前記操作画面を前記通信装置に出力する出力手段と、を有し、
    前記操作受付手段が前記初期化の操作を受け付けた場合、前記位置表示部品管理手段は前記位置表示部品を前記操作画面の初期位置に表示し、
    前記通信装置は、前記表示装置を備えるか、又は、表示装置と接続されており、前記通信装置は、前記撮像装置の前記出力手段により出力された前記操作画面を前記表示装置に表示させる、画像表示システム。
  11. 撮像装置が実行する操作方法であって、
    撮像装置が、記憶手段に記憶された画像に関する操作画面を生成するステップと、
    生成された前記操作画面を表示装置に出力するステップ、
    前記撮像装置の姿勢に関する情報を取得するステップと、
    前記姿勢に関する情報を、前記操作画面における位置表示部品の位置に変換して前記操作画面に表示するステップと、
    前記位置表示部品の位置の初期化の操作を受け付けるステップと、
    前記初期化の操作が受け付けられた場合、前記位置表示部品を前記操作画面の初期位置に表示するステップと、を有することを特徴とする操作方法。
  12. 撮像装置を、
    記憶手段に記憶された画像に関する操作画面を生成する生成手段と、
    前記生成手段が生成した操作画面を表示装置に出力する出力手段と、
    前記撮像装置の姿勢に関する情報を取得する姿勢情報取得手段と、
    前記姿勢情報取得手段が取得した姿勢に関する情報を、前記操作画面における位置表示部品の位置に変換して前記操作画面に表示する位置表示部品管理手段と、
    前記位置表示部品の位置の初期化の操作を受け付ける操作受付手段、として機能させるプログラムであって、
    前記操作受付手段が前記初期化の操作を受け付けた場合、前記位置表示部品管理手段は前記位置表示部品を前記操作画面の初期位置に表示することを特徴とするプログラム。
JP2017164794A 2017-08-29 2017-08-29 撮像装置、画像表示システム、操作方法、プログラム Active JP6981106B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2017164794A JP6981106B2 (ja) 2017-08-29 2017-08-29 撮像装置、画像表示システム、操作方法、プログラム
US16/640,380 US11375263B2 (en) 2017-08-29 2018-08-13 Image capturing apparatus, image display system, and operation method
PCT/JP2018/030188 WO2019044475A1 (en) 2017-08-29 2018-08-13 IMAGE CAPTURE APPARATUS, IMAGE DISPLAY SYSTEM, AND OPERATING METHOD
EP18762640.3A EP3677021B1 (en) 2017-08-29 2018-08-13 Image capturing apparatus, image display system, and operation method
KR1020207005225A KR20200028481A (ko) 2017-08-29 2018-08-13 촬상 장치, 화상 표시 시스템 및 조작 방법
CN201880054397.9A CN111034181B (zh) 2017-08-29 2018-08-13 图像捕获设备、图像显示系统和操作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017164794A JP6981106B2 (ja) 2017-08-29 2017-08-29 撮像装置、画像表示システム、操作方法、プログラム

Publications (2)

Publication Number Publication Date
JP2019047167A true JP2019047167A (ja) 2019-03-22
JP6981106B2 JP6981106B2 (ja) 2021-12-15

Family

ID=63449624

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017164794A Active JP6981106B2 (ja) 2017-08-29 2017-08-29 撮像装置、画像表示システム、操作方法、プログラム

Country Status (6)

Country Link
US (1) US11375263B2 (ja)
EP (1) EP3677021B1 (ja)
JP (1) JP6981106B2 (ja)
KR (1) KR20200028481A (ja)
CN (1) CN111034181B (ja)
WO (1) WO2019044475A1 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6368881B1 (ja) * 2018-04-09 2018-08-01 チームラボ株式会社 表示制御システム，端末装置，コンピュータプログラム，及び表示制御方法
JP7361262B2 (ja) * 2019-03-29 2023-10-16 パナソニックＩｐマネジメント株式会社 精算決済装置および無人店舗システム
US11189099B2 (en) 2019-09-20 2021-11-30 Facebook Technologies, Llc Global and local mode virtual object interactions
US10991163B2 (en) 2019-09-20 2021-04-27 Facebook Technologies, Llc Projection casting in virtual environments
US11176745B2 (en) 2019-09-20 2021-11-16 Facebook Technologies, Llc Projection casting in virtual environments
US11461973B2 (en) 2020-12-22 2022-10-04 Meta Platforms Technologies, Llc Virtual reality locomotion via hand gesture
CN113095243B (zh) * 2021-04-16 2022-02-15 推想医疗科技股份有限公司 一种鼠标控制的方法、装置、计算机设备和介质
US20220374085A1 (en) * 2021-05-19 2022-11-24 Apple Inc. Navigating user interfaces using hand gestures
USD970476S1 (en) * 2022-07-11 2022-11-22 Yuxian Lin Remote control for television
USD971180S1 (en) * 2022-07-11 2022-11-29 Zhenzhen Zhu Remote control for television
CN115278184B (zh) * 2022-07-18 2024-03-15 峰米(重庆)创新科技有限公司 投影画面校正方法及装置
USD971181S1 (en) * 2022-07-19 2022-11-29 Xibin Huang Remote control for television
USD969107S1 (en) * 2022-07-19 2022-11-08 Yuxian Lin Remote control for television
USD969108S1 (en) * 2022-07-19 2022-11-08 Ningfang Zou Remote control for television
USD980822S1 (en) * 2022-08-26 2023-03-14 Yuxian Lin TV remote control device
USD975680S1 (en) * 2022-09-02 2023-01-17 Zhenzhen Zhu TV remote control
USD975681S1 (en) * 2022-09-02 2023-01-17 Jingjing Xu TV remote control
USD977455S1 (en) * 2022-09-06 2023-02-07 Xibin Huang TV remote control
USD975682S1 (en) * 2022-09-06 2023-01-17 Zhenzhen Zhu TV remote control
USD988292S1 (en) * 2022-09-28 2023-06-06 Nana Zhu Remote control
US11991222B1 (en) 2023-05-02 2024-05-21 Meta Platforms Technologies, Llc Persistent call control user interface element in an artificial reality environment

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004164559A (ja) * 2002-09-27 2004-06-10 Fuji Photo Film Co Ltd 携帯端末装置
KR20060084694A (ko) * 2005-01-20 2006-07-25 주식회사 팬택앤큐리텔 이동통신 단말기 및 이 단말기의 멀티미디어 재생 화면을외부 디스플레이 장치에 출력하는 방법
JP2007159038A (ja) * 2005-12-08 2007-06-21 Canon Inc 撮像装置及びその制御方法
JP2008107886A (ja) * 2006-10-23 2008-05-08 Seiko Epson Corp 情報表示システム、及び、ポインティング制御方法
US20120194427A1 (en) * 2011-01-30 2012-08-02 Lg Electronics Inc. Image display apparatus and method for operating the same
JP2012243091A (ja) * 2011-05-19 2012-12-10 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理システム及び情報処理方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1950957A2 (en) * 2007-01-23 2008-07-30 Funai Electric Co., Ltd. Image display system
JP4394742B2 (ja) 2009-03-31 2010-01-06 ソフトバンクモバイル株式会社 移動体通信端末及びアプリケーションプログラム
CN101968655B (zh) * 2009-07-28 2013-01-02 十速科技股份有限公司 光标位置的偏差校正方法
JP2011099980A (ja) 2009-11-05 2011-05-19 Canon Inc 映像表示装置、映像表示システム、及び映像表示装置の制御方法
JP2011210138A (ja) * 2010-03-30 2011-10-20 Sony Corp 電子機器、画像出力方法及びプログラム
CN101872260B (zh) * 2010-06-03 2013-07-31 张通达 一种远程交互笔及书写笔迹检测方法
TW201310284A (zh) * 2011-08-22 2013-03-01 Wistron Corp 滑鼠及判斷游標作動之方法
JP6142467B2 (ja) 2011-08-31 2017-06-07 株式会社リコー 撮像光学系および全天球型撮像装置および撮像システム
US20130082923A1 (en) * 2011-10-03 2013-04-04 Chip Goal Electronics Corporation, R.O.C. Optical pointer control system and method therefor
CN103257815A (zh) * 2012-02-20 2013-08-21 索尼爱立信移动通讯有限公司 一种触摸位置定位方法、文本选择方法、装置及电子设备
JP6123274B2 (ja) 2012-03-08 2017-05-10 株式会社リコー 撮像装置
JP2013214947A (ja) 2012-03-09 2013-10-17 Ricoh Co Ltd 撮像装置、撮像システム、画像処理方法、情報処理装置、及びプログラム
JP5910485B2 (ja) 2012-03-16 2016-04-27 株式会社リコー 撮像システム
JP6079031B2 (ja) 2012-08-01 2017-02-15 株式会社リコー 撮像装置
JP6065474B2 (ja) 2012-09-11 2017-01-25 株式会社リコー 撮像制御装置、撮像制御方法およびプログラム
US10666860B2 (en) 2012-09-11 2020-05-26 Ricoh Company, Ltd. Image processor, image processing method and program, and imaging system
JP6019970B2 (ja) 2012-09-11 2016-11-02 株式会社リコー 全天球型の撮像システムおよび撮像光学系
JP5971207B2 (ja) 2012-09-18 2016-08-17 株式会社リコー 画像調整装置、画像調整方法およびプログラム
JP2014112302A (ja) 2012-12-05 2014-06-19 Ricoh Co Ltd 所定領域管理システム、通信方法、及びプログラム
JP6044328B2 (ja) 2012-12-26 2016-12-14 株式会社リコー 画像処理システム、画像処理方法およびプログラム
JP6204686B2 (ja) 2013-04-12 2017-09-27 任天堂株式会社 情報処理プログラム、情報処理システム、情報処理装置、および、情報処理の実行方法
JP5920507B1 (ja) * 2015-03-10 2016-05-18 株式会社リコー 画像処理システム、画像処理方法およびプログラム
US10194112B2 (en) * 2015-06-29 2019-01-29 Lg Electronics Inc. Display device and control method therefor
KR20170066021A (ko) * 2015-12-04 2017-06-14 삼성전자주식회사 영상표시장치, 영상표시장치의 구동방법 및 컴퓨터 판독가능 기록매체
JP6597794B2 (ja) 2015-12-15 2019-10-30 株式会社リコー 画像処理装置及び画像処理方法
JP2018152646A (ja) 2017-03-10 2018-09-27 株式会社リコー 撮像装置、画像表示システム、操作方法およびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004164559A (ja) * 2002-09-27 2004-06-10 Fuji Photo Film Co Ltd 携帯端末装置
KR20060084694A (ko) * 2005-01-20 2006-07-25 주식회사 팬택앤큐리텔 이동통신 단말기 및 이 단말기의 멀티미디어 재생 화면을외부 디스플레이 장치에 출력하는 방법
JP2007159038A (ja) * 2005-12-08 2007-06-21 Canon Inc 撮像装置及びその制御方法
JP2008107886A (ja) * 2006-10-23 2008-05-08 Seiko Epson Corp 情報表示システム、及び、ポインティング制御方法
US20120194427A1 (en) * 2011-01-30 2012-08-02 Lg Electronics Inc. Image display apparatus and method for operating the same
JP2012243091A (ja) * 2011-05-19 2012-12-10 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理システム及び情報処理方法

Also Published As

Publication number Publication date
US20210076091A1 (en) 2021-03-11
EP3677021A1 (en) 2020-07-08
JP6981106B2 (ja) 2021-12-15
EP3677021B1 (en) 2021-07-07
CN111034181A (zh) 2020-04-17
KR20200028481A (ko) 2020-03-16
WO2019044475A1 (en) 2019-03-07
CN111034181B (zh) 2022-05-03
US11375263B2 (en) 2022-06-28

Similar Documents

Publication Publication Date Title
JP6981106B2 (ja) 撮像装置、画像表示システム、操作方法、プログラム
US10979751B2 (en) Communication management apparatus, method and computer-readable storage medium for generating image data identification information communication
US11558431B2 (en) Communication terminal, communication system, communication method, and display method
US10721116B2 (en) Communication terminal, method for controlling display of image, and non-transitory computer-readable storage medium
US10437545B2 (en) Apparatus, system, and method for controlling display, and recording medium
US10939068B2 (en) Image capturing device, image capturing system, image processing method, and recording medium
US10855916B2 (en) Image processing apparatus, image capturing system, image processing method, and recording medium
US20190306458A1 (en) Communication management system, communication system, and communication method
US20200186407A1 (en) Communication terminal, image network system, display method, and program
US20190289206A1 (en) Image processing apparatus, image capturing system, image processing method, and recording medium
KR102477993B1 (ko) 표시 제어장치, 촬상 장치, 제어 방법 및 컴퓨터 판독 가능한 매체
JP2021174317A (ja) 電子機器及びその制御方法
JP7017045B2 (ja) 通信端末、表示方法、及びプログラム
US11533430B2 (en) Image capturing device with display control, image communication system, and method for display control, and recording medium
CN110996115B (zh) 直播视频播放方法、装置、设备、存储介质和程序产品
JP2018152646A (ja) 撮像装置、画像表示システム、操作方法およびプログラム
JP2017201743A (ja) 画像管理システム、画像管理装置、プログラム及び情報端末
JP2021097326A (ja) 通信端末、撮影システム、画像処理方法及びプログラム
JP6992338B2 (ja) 通信システム、通信管理方法、プログラム、システム及び通信方法
CN110881102B (zh) 摄像设备、摄像设备的控制方法和计算机可读介质
JP7400407B2 (ja) 通信端末、撮影システム、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200604

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20210208

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210713

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210909

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211019

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211101

R151 Written notification of patent or utility model registration

Ref document number: 6981106

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151