CN111034181B - 图像捕获设备、图像显示系统和操作方法 - Google Patents

图像捕获设备、图像显示系统和操作方法 Download PDF

Info

Publication number
CN111034181B
CN111034181B CN201880054397.9A CN201880054397A CN111034181B CN 111034181 B CN111034181 B CN 111034181B CN 201880054397 A CN201880054397 A CN 201880054397A CN 111034181 B CN111034181 B CN 111034181B
Authority
CN
China
Prior art keywords
image capturing
capturing apparatus
display component
operation screen
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880054397.9A
Other languages
English (en)
Other versions
CN111034181A (zh
Inventor
庄原诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of CN111034181A publication Critical patent/CN111034181A/zh
Application granted granted Critical
Publication of CN111034181B publication Critical patent/CN111034181B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

提供了一种图像捕获设备，配置为：生成关于存储单元中存储的图像的操作屏幕，将生成的操作屏幕输出到显示设备，获取关于图像捕获设备的姿态的姿态信息，将获取的姿态信息转换为关于位置显示组件在操作屏幕上的位置的位置信息和基于转换后的位置信息在操作屏幕上显示位置显示组件，接受初始化位置显示组件的位置的初始化操作，和响应于接受初始化操作在操作屏幕的初始位置处显示位置显示组件。

Description

图像捕获设备、图像显示系统和操作方法
技术领域
本发明涉及图像捕获设备、图像显示系统和操作方法。
背景技术
已知使用多个广角镜头(如，鱼眼镜头)和超广角镜头通过单个图像捕获操作能够捕获360度全向图像的全向图像捕获设备。将由这种全向图像捕获设备捕获的图像发送到装备有显示器的显示设备以使得用户可以观看该图像。
当由具有小的显示器的显示设备(比如智能电话或者平板终端)显示图像时，用户可以直接操作触摸板以输入针对图像的各种操作(例如，从列表选择图像、滚动屏幕以选择要显示的图像、确定显示范围)。另一方面，存在在具有大的显示器的显示设备(比如电视设备)上观看由全向图像捕获设备捕获的图像的需求。响应于这种需求，存在用于无线地发送图像的标准，比如Miracast(注册商标)、Google Chrome(注册商标)和Airplay(注册商标)，且通过配置全向图像捕获设备支持这种标准，用户可以在大屏幕上容易地观看由全向图像捕获设备捕获的图像。
但是，在有些情况下，具有大的显示器的显示设备可能不具有触摸板。此外，即使显示设备具有触摸板，当用户靠近显示器以操作触摸板时用户观看正在显示的图像可能是困难的，且可能损害可操作性。为解决这种不便，可以使用指向装置以关于在这种显示设备上显示的图像执行操作(例如，参见专利文件1)。专利文件1公开了使用移动通信终端的运动检测结果数据来计算运动量和运动方向，并将计算出的值作为操作指令信息发送到显示设备的移动通信终端。用户可以通过调整指向装置的姿态(方位)来移动指向屏幕上的位置的比如指针的位置显示组件。此外，与显示设备上显示的图像的发送者对应的比如图像捕获设备的设备可以用作指向装置，以使得即使不提供单独的指向装置，用户也可以关于所显示的图像执行操作。
[引文列表]
[专利文献]
[PTL 1]日本专利No.4394742
[非专利文献]
[NPL 1]Kubota,Satoru.(2012).“Ergonomic Design Guidelines for FlatPanel Display Televisions”。日本人机工程学协会第53次会议。
发明内容
[技术问题]
但是，当与所显示的图像的发送者对应的比如图像捕获设备的设备用作指向装置时，位置显示组件的位置与发送者设备的姿态之间的差异由于传感器漂移等的影响而逐渐变大。例如，当正在显示某一菜单按钮时，即使用户以将位置显示组件指向菜单按钮的意图来定向发送者设备，也可能显示位置显示组件远离菜单按钮，且可能损害可操作性。
考虑上述问题，本发明的一方面涉及提供用于防止发生位置显示组件的位置与比如图像捕获设备的发送者设备的姿态之间的差异的技术。
技术方案
根据本发明的一个实施例，提供了一种图像捕获设备，包括：存储单元，配置为存储已捕获图像；生成单元，配置为生成关于存储单元中存储的已捕获图像的操作屏幕；输出单元，配置为将由生成单元生成的操作屏幕输出到显示设备；姿态信息获取单元，配置为获取关于图像捕获设备的姿态的姿态信息；位置显示组件管理单元，配置为将由姿态信息获取单元获取的姿态信息转换为关于位置显示组件在操作屏幕上的位置的位置信息，并基于转换后的位置信息在操作屏幕上显示位置显示组件；和操作接受单元，配置为接受初始化位置显示组件的位置的初始化操作。位置显示组件管理单元响应于操作接受单元接受初始化操作在操作屏幕的初始位置显示位置显示组件。
[技术效果]
根据本发明的一方面，可以防止发生位置显示组件的位置与比如图像捕获设备的发送者设备的姿态之间的差异。
附图说明
图1A是图示根据本发明的实施例的全向图像捕获设备的示例操作的图。
图1B是图示全向图像捕获设备的另一示例操作的图。
图1C是图示全向图像捕获设备的另一示例操作的图。
图2是图示根据本发明的实施例的全向图像显示系统的示例示意性配置的图。
图3是图示全向图像捕获设备的示例硬件配置的框图。
图4是图示无线通信设备的示例硬件配置的框图。
图5是图示与全向图像捕获设备中实现的图像浏览器的操作屏幕提供功能相关联的主要功能的框图。
图6是图示由用于建立与对方无线通信设备的连接的全向图像捕获设备实现的连接方法的流程图。
图7是全向图像捕获设备和显示设备在由用户握持时的相对位置的侧视图。
图8是指示从“用于平板显示电视的人体工程学设计指南”提取的对角屏幕尺寸和最佳观看距离之间的关系的图。
图9A是图示在最佳观看距离的显示设备的水平视角的图。
图9B是指示对角屏幕尺寸和水平视角之间的关系的图。
图10是图示全向图像捕获设备的坐标轴的图。
图11是图示要用作参考的全向图像捕获设备的姿态的图。
图12是图示全向图像捕获设备的旋转角度和指针的坐标之间的对应性的图。
图13A是图示隐藏指针的操作的图。
图13B是图示隐藏指针的操作的另一个图。
图14是图示响应于坐标的初始化而显示的指针的示例显示的图。
图15是图示由用于在外部显示设备上显示图像和接受操作的全向图像捕获设备实现的方法的流程图。
图16是图示由全向图像捕获设备提供的操作屏幕的示例转换的图。
图17A是图示作为由全向图像捕获设备提供的示例操作屏幕的时间线列表屏幕的图。
图17B是图示作为由全向图像捕获设备提供的示例操作屏幕的时间线列表选择屏幕的图。
图17C是图示作为由全向图像捕获设备提供的示例操作屏幕的图像列表屏幕的图。
图17D是图示作为由全向图像捕获设备提供的示例操作屏幕的图像列表选择屏幕的图。
图18A是图示作为由全向图像捕获设备提供的示例操作屏幕的设置屏幕的图。
图18B是图示作为由全向图像捕获设备提供的示例操作屏幕的全向静止图像观看屏幕的图。
图18C是图示作为由全向图像捕获设备提供的示例操作屏幕的全向运动图像观看屏幕的图。
图18D是图示当接受与按下重放按钮对应的操作时的全向运动图像观看屏幕的图。
图19是图示当隐藏指针时显示的示例消息的图，以向用户描述初始化要在操作屏幕上显示的指针的坐标的方法。
图20是图示在用户以快门释放按钮朝下握持全向图像捕获设备的情况下的坐标轴的图。
图21是图示用于在用户以快门释放按钮朝下握持全向图像捕获设备的情况下改变用于计算全向图像捕获设备的方位的计算方法的处理的流程图。
具体实施方式
在下面，将参考附图描述本发明的实施例。
<全向图像捕获设备的示意性操作>
图1A到图1C是图示根据本发明的实施例的全向图像捕获设备110的示意性操作的图。全向图像捕获设备110将已捕获图像无线地发送到显示设备180。显示设备180显示接收的图像。如图1A所示，用户可以握持作为指向装置的全向图像捕获设备110，并例如执行比如从列表选择图像、滚动屏幕以选择要显示的图像或者确定显示范围的期望操作。但是，因为全向图像捕获设备110使用内置的陀螺仪传感器检测其姿态，所以例如由于传感器漂移的影响，可能出现由使用全向图像捕获设备110的用户指示的方向与指针P的位置之间的差异。术语“漂移”指的是例如由于温度(温度升高或者温度下降)导致的零点的波动。
在根据本实施例的全向图像捕获设备110中，注意到这种差异的用户可以初始化指针P的位置。为了执行这种初始化，优选地，首先隐藏指针P。因而，例如，用户可以执行以下操作之一。
(i)使得指针P偏离显示设备180的屏幕。
(ii)执行通常不执行的操作(特别操作)。
(iii)停止某个时间段。
图1B图示横向(左和右)偏转全向图像捕获设备110以显著地改变全向图像捕获设备110的朝向以使得指针P偏离显示设备180的屏幕的操作。注意到，“停止某个时间段”的操作不限于响应于注意到差异而执行，且可以通过用户观看图像而自然地执行。
当用户执行这些操作中的任何一个时，全向图像捕获设备110隐藏指针P。注意到，隐藏或不显示指针P的状态可以被称为“不显示”。
在不显示状态下，用户将全向图像捕获设备110指向指针P的初始位置并按下快门释放按钮SB。也就是，用户以全向图像捕获设备110指向要在初始位置显示的指针P。在图1C中，显示设备180的屏幕的中心是指针P的初始位置。在该情况下，由全向图像捕获设备110指示的方向与指针P的位置一致。因此，通过执行这种初始化处理，可以防止发生指针P的位置与全向图像捕获设备110的姿态之间的差异。
<术语>
关于图像捕获设备的姿态的信息指的是可以指定、确定或者估计图像捕获设备的姿态的信息。在本实施例中，由陀螺仪传感器、加速度传感器和地磁传感器中的至少一个检测到的信息是关于图像捕获设备的姿态的信息的示例。此外，姿态也可以被称为对象的方位且由三个旋转角度表示：翻滚角、俯仰角和偏航角。
位置显示组件指的是指示操作屏幕中的位置的显示组件。位置显示组件可以指示输入使用操作的操作屏幕中的位置，或者指向比如按钮或者图标的操作目标。另外，位置显示组件也可以被称为指针P、光标、鼠标光标、鼠标指针等。
位置显示组件的位置的初始化指的是在操作屏幕上的预定坐标(原点)显示指针P。
<配置>
图2示出了根据本实施例的全向图像显示系统100的示意性配置。全向图像显示系统100包括捕获全向图像的全向图像捕获设备110、与全向图像捕获设备110通信的无线通信设备150和连接到无线通信设备150的显示设备180。
全向图像捕获设备110包括每个包括成像光学系统和成像元件的两个成像光学系统，并通过使得每个成像光学系统捕获来自所有方向的图像来生成已捕获图像。成像光学系统具有大于180度(＝360度/n；n＝2)的总视角，更优选地大于或等于185度的总视角，且更优选地大于或等于190度的总视角。
全向图像捕获设备110结合由多个成像光学系统捕获的已捕获图像，以合成覆盖4π立体弧度的立体角的图像(以下称为“全向图像”)。注意到，全向图像是捕获可从图像捕获点观看到的所有方向的图像。
由全向图像捕获设备110捕获的图像可以使用例如具有专用的图像浏览器/应用的外部设备观看。外部设备例如可以是个人计算机、智能电话、平板计算机等。根据本实施例的全向图像捕获设备110还具有用于在显示器上显示已捕获图像的图像浏览器功能。但是，注意到，例如，可能有由全向图像捕获设备110使用的外部设备不含有具有用于观看图像的足够分辨率的显示器，或者用户不具有外部设备的情况。
在这方面，根据本实施例的全向图像捕获设备110具有作为通信设备的示例的无线图像通信功能，且全向图像捕获设备110使用无线通信功能以将由全向图像捕获设备110的图像浏览器生成的操作屏幕无线地发送到显示设备180。
注意到，操作屏幕中包括的数据的一部分(例如，背景屏幕)可以预先存储在全向图像捕获设备110中。在该情况下，当全向图像捕获设备110和显示设备180开始通信时，可以读出预先存储的数据且指针P等可以叠加在预先存储的数据上以生成操作屏幕，然后生成的操作屏幕可以被发送到显示设备180。另外，例如，预先存储的数据可以存储在经由无线装置无线地连接到全向图像捕获设备110的外部存储器件中和且可以从其中获取。另外，例如，预先存储的数据也可以经由因特网从无线装置传送。
无线通信设备150具有无线图像通信功能，并接收由全向图像捕获设备110的图像浏览器生成的操作屏幕。无线通信设备150将操作屏幕的视频图像输出到连接到无线通信设备150的显示设备180。显示设备180在比如LCD(液晶显示器)或者OLED(有机发光二极管)的显示面板上显示由无线通信设备150输入的图像。注意到，无线通信设备150可以从全向图像捕获设备110接收视频、静止图像、运动图像、声音等，和将接收到的内容输出到显示设备180。
在图2中，例如，全向图像捕获设备110和无线通信设备150可以通过无线LAN(局域网)无线地连接。例如，通信设备110和无线通信设备150之间的连接优选地符合无线视频传输标准，比如Miracast(注册商标)、AirPlay(注册商标)或者Chromecast(注册商标)。
例如，无线通信设备150和显示设备180之间的连接可以使用视频输出接口(比如HDMI(高清晰度多媒体接口，注册商标)，DisplayPort(注册商标)或者Thunderbolt(注册商标))来建立。
由全向图像捕获设备110生成的图像浏览器操作屏幕S作为视频无线地发送到无线通信设备150，且作为视频从无线通信设备150输出到显示设备180以显示在显示设备180上。
在显示设备180上显示的图像浏览器操作屏幕S优选地配置为使得其可以在没有附加硬件(比如鼠标、键盘、另一信息终端等)的情况下操作。
图2还图示根据本实施例的全向图像捕获设备110的操作模式。在本实施例中，全向图像捕获设备110可以由用户的手H握持，如图2所示。通过以手H握持全向图像捕获设备110并移动全向图像捕获设备110，用户可以移动在显示设备180上显示的图像浏览器操作屏幕S上的指针P。以这种方式，用户可以关于图像执行各种操作。
例如，用户可以相对于显示设备180向上或者向下移动全向图像捕获设备110，以向上或者向下移动在显示设备180上显示的操作屏幕S上的指针P的位置。此外，用户可以相对于显示设备180向左或者向右摆动全向图像捕获设备110，以便以向左方向或者向右方向移动操作屏幕S上的指针P。用户可以将指针P移动到操作屏幕S上的预定位置，并按下在全向图像捕获设备110的外壳提供的硬件操作组件，比如硬件按钮，以指令全向图像捕获设备110执行期望的处理。
如上所述，在根据本实施例的全向图像显示系统100中，图像浏览器操作屏幕S经由无线通信设备150从全向图像捕获设备110发送到显示设备180。在观看显示设备180上显示的操作屏幕S时，用户物理地移动全向图像捕获设备110以关于操作屏幕执行期望操作。
<硬件配置>
<<全向图像捕获设备110>>
将在下面参考图3描述全向图像捕获设备110的硬件配置。图3是图示根据本实施例的全向图像捕获设备110的示例硬件配置的框图。注意到在图3中，全向图像捕获设备110被配置为组合每个具有大于180度的总视角的两个光学系统的双镜头全向图像捕获设备。
全向图像捕获设备110包括CPU(中央处理单元)112、ROM(只读存储器)114、图像处理模块116、运动图像模块118、经由DRAM接口120连接的DRAM(动态随机存取存储器)132和经由外部传感器接口124连接的加速度传感器/陀螺仪传感器/地磁传感器(加速度传感器、陀螺仪传感器和地磁传感器中的至少一个)136。
CPU 112控制全向图像捕获设备110的各个单元的操作和总体操作。ROM 114存储可由CPU 112解码的代码所描述的控制程序和各种参数。
全向图像捕获设备110包括：第一和第二成像元件130A和130B，其可以是CCD(电荷耦合器件)传感器或者CMOS(互补金属氧化物半导体)传感器；以及第一和第二光学系统131A和131B。在本实施例中，光学系统131A和131B包括鱼眼镜头。注意到，在此描述中，鱼眼镜头包括所谓的广角镜头或者超广角镜头。图像处理模块116连接到第一和第二成像元件130A和130B，以使得由第一和第二成像元件130A和130B捕获的图像的图像信号输入到图像处理模块16。图像处理模块116例如可以包括ISP(图像信号处理器)，且关于从第一和第二成像元件130A和130B输入的图像信号执行图像处理，比如阴影校正、拜尔内插、白平衡校正、伽玛校正等。
在本实施例中，图像处理模块16使用重叠部分作为参考，关于由第一和第二成像元件130A和130B捕获的图像执行图像合成处理，且以这种方式，生成覆盖4π立体弧度的立体角的全向图像。因为第一和第二光学系统131A和131B每个具有超过180度的总视角，因此超过180度的已捕获图像的捕获范围重叠。在图像合成处理期间，重叠部分被称为表示相同图像的参考数据以生成全向图像。另外，可以组合全向图像的连续帧以构成全向运动图像。
在以下描述的本实施例中，假定生成捕获可从图像捕获点观看到的所有方向的全向图像。但是，在其他实施例中，例如可以生成覆盖360°图像捕获方位的具有水平面的所谓的全景图像。另外，在本实施例中，作为示例描述包括两个成像光学系统的全向图像捕获设备。但是，不特别限制成像光学系统的数目。在其他实施例中，全向图像捕获设备110可以具有由包括三个或更多鱼眼镜头的三个或更多光学系统实现的图像捕获机制，和基于由三个或更多光学系统捕获的多个已捕获图像生成全向图像的功能。在又一实施例中，全向图像捕获设备110可以包括由作为光学系统的单个鱼眼镜头实现的图像捕获机制，和例如基于由单个鱼眼镜头在不同方位捕获的多个已捕获图像生成全向图像的功能。
运动图像模块118是用于例如基于运动图像专家组(MPEG)-4AVC(高级视频编码)/H.264或者H.265压缩和解压缩运动图像的编解码模块。DRAM132提供当执行各种信号处理和图像处理时临时存储数据的存储区域。加速度传感器/陀螺仪传感器/地磁传感器136测量由全向图像捕获设备110的运动引起的物理量，比如速率、加速度、角速度、角加速度、磁方位等。所测量的物理量可以用于关于全向图像应用顶点校正和用于确定关于图像浏览器操作屏幕的处理的处理内容。
全向图像捕获设备110另外包括外部存储接口122。外部存储设备134连接到外部存储接口122。外部存储接口122控制关于外部存储设备134的读取和写入操作，该外部存储设备134可以是插入存储卡槽中的存储卡或者某些其它类型的外部存储装置。
全向图像捕获设备110另外包括USB(通用串行总线)接口126。USB连接器138连接到USB接口126。USB接口126控制与经由USB连接器138连接的外部设备，比如个人计算机、智能电话或者平板计算机的USB通信。
全向图像捕获设备110另外包括串行模块128。串行模块128控制与外部设备的串行通信且具有连接到其的无线通信接口140。在本实施例中，全向图像捕获设备110使用无线通信接口140通过无线视频传输协议(比如Miracast(注册商标))连接到比如无线通信设备150的外部设备。以这种方式，全向图像捕获设备110的操作屏幕可以在外部设备的显示器或者在连接到的显示器上显示。
注意到，全向图像捕获设备110也可以例如经由USB连接器138或者无线通信接口140连接到比如外部个人计算机、智能电话、平板计算机等的外部设备，以在外部设备的显示器或者在连接到的显示器上显示视频。除如图3所示的配置之外，全向图像捕获设备110可以具有比如HDMI(注册商标)的视频输出接口。在此情况下，全向图像捕获设备110可以经由视频输出接口直接连接到比如显示设备180等的外部显示器，以在外部显示器上显示视频。
当由功率切换操作通电时，控制程序从ROM 114等加载到主存储器中。基于加载到主存储器中的程序，CPU 112控制全向图像捕获设备110的各个单元的操作，并在存储器中临时存储控制所需的数据。以这种方式，可以实现关于图像浏览器的操作屏幕提供功能的全向图像捕获设备110的各个功能单元和处理。
<<作为示例通信设备的无线通信设备>>
图4是图示根据本实施例的无线通信设备150的示例硬件配置的框图。无线通信设备150包括CPU 152、ROM 154、RAM 156、运动图像模块158、无线通信接口160和视频输出接口162。
CPU 152控制无线通信设备150的各个单元的操作和总体操作。ROM 154存储可由CPU 152解码的代码所描述的控制程序和各种参数。RAM 156提供当执行各种信号处理和图像处理时用于临时存储数据的存储区域。运动图像模块158是用于例如基于运动图像专家组(MPEG)-4AVC(高级视频编码)/H.264或者H.265压缩和解压缩运动图像的编解码模块。
无线通信接口160控制与比如全向图像捕获设备110的外部设备的无线通信。在本实施例中，无线通信设备150使用无线通信接口160基于无线视频传输标准(比如Miracast(注册商标))连接到比如全向图像捕获设备110的外部设备，并接收从外部设备发送的图像。视频输出接口162是比如HDMI(注册商标)的视频输出接口。无线通信设备150可以经由视频输出接口162直接连接到外部显示设备180，以在外部显示设备180上显示视频。
当通电时，控制程序从ROM 154等加载到RAM 156中。基于加载到RAM 156中的程序，CPU 152控制无线通信设备150的各个单元的操作，并在RAM 156中临时存储控制所需的数据。以这种方式，可以实现以下描述的无线通信设备150的功能单元和处理。
<功能>
在下面，将描述根据本实施例的全向图像捕获设备110中包括的图像浏览器的操作屏幕提供功能。
图5是图示与根据本实施例的全向图像捕获设备110中实现的图像浏览器的操作屏幕提供功能有关的主功能的框图。图5还图示无线通信设备150的功能模块。
在图5中，全向图像捕获设备110包括已捕获图像存储单元212、传感器测量单元214、无线视频发送单元216和操作屏幕控制单元220。
已捕获图像存储单元212存储由全向图像捕获设备110的第一和第二光学系统131A和131B捕获的图像。已捕获图像存储单元212典型地可以实现为外部存储设备134的存储区域。已捕获图像存储单元212是根据本实施例的存储单元的示例。
已捕获图像存储单元212中存储的图像可以是分别经由第一和第二光学系统131A和131B捕获的鱼眼图像，通过将这两个鱼眼图像结合而获得的双重鱼眼图像，或者通过基于比如偏心圆柱体投影方法等的投影方法合成两个鱼眼图像而获得的全向图像。已捕获图像存储单元212中存储的图像可以是静止图像或者运动图像，且运动图像或者静止图像的分辨率可以是2K、4K或者任何其他分辨率。静止图像的格式可以是任何图像格式，比如JPEG格式、GIF格式、PNG格式、位图格式等。运动图像的格式可以是任何运动图像格式，比如MPEG4格式、H.264格式、H.265格式等。
另外，运动图像可以包括一个信道或者多个信道的音频数据(3D声音)。当限制视角时，两个或更多信道是优选的，当水平视角大于180度时，三个或更多信道是优选的，且当存在全向图像时，四个信道是优选的。注意到，因为音量可以对于每个声音数据不同，所以全向图像捕获设备110优选地具有操控运动图像的音量的功能。例如，通过由全向图像捕获设备110的自动音量调整或操作使能音量改变而不改变显示设备180的音量设置，可以改进可用性。另外，相对于3D声音数据，显示设备180可以不需要支持3D声音，且因而，例如可以由全向图像捕获设备110或者无线通信设备150执行在重放时将3D声音转换为2-信道或者1-信道声音的处理。
传感器测量单元214使用如图3所示的加速度传感器/陀螺仪传感器/地磁传感器136以测量与全向图像捕获设备110的运动相关联的物理量。由传感器测量单元214测量的物理量的示例包括量化全向图像捕获设备110的位置变化、姿态变化和旋转中的至少一个的速度、加速度、角速度、角加速度、磁方位和其任何组合。传感器测量单元214是根据本发明的实施例的测量单元的示例。
不特别限制由传感器测量单元214使用的传感器的组合。例如，当全向图像捕获设备110中包括陀螺仪传感器时，传感器测量单元214可以使用陀螺仪传感器检测全向图像捕获设备110的运动。不特别限制该陀螺仪传感器，而是例如可以是三轴传感器或者六轴传感器。此外，例如，可以在陀螺仪传感器之外或者代替陀螺仪传感器使用加速度传感器、地磁传感器或者其组合。通过组合多个传感器，可以检测全向图像捕获设备110的运动，而不固定全向图像捕获设备110的方位。注意到如果正在使用的磁传感器不稳定，则可以应用另外的滤波。因为加速度传感器可以检测全向图像捕获设备110的倾斜(俯仰和翻滚)，所以可以基于检测到的倾斜来校正由陀螺仪传感器做出的测量。即使单独使用陀螺仪传感器或者某一其它传感器，例如，仍然可以使用中值滤波器、低通滤波器、高通滤波器、带通滤波器或者其组合执行平滑。
操作屏幕控制单元220控制关于全向图像捕获设备110的图像浏览器功能的操作屏幕的生成和操作屏幕的转换。操作屏幕控制单元220可以实现为全向图像捕获设备110的固件的功能，或者可以由要添加到固件上的扩展应用实现。例如，可以响应于特定操作，比如长时间按下在全向图像捕获设备110的外壳提供的特定硬件按钮，或者响应于全向图像捕获设备110与无线通信设备150建立连接来激活操作屏幕控制单元220。
如图5所示，操作屏幕控制单元220包括负责操作屏幕的输出处理的屏幕输出处理单元222、负责操作屏幕的输入处理的屏幕输入处理单元224和用于执行经由操作屏幕请求的处理的处理执行单元230。
屏幕输出处理单元222生成当前要显示的操作屏幕，并输出生成的操作屏幕。屏幕输出处理单元222可以生成各种类型的操作屏幕，比如列出已捕获图像存储单元212中存储的多个已捕获图像的图像列表屏幕，显示从图像列表屏幕中列出的图像当中选出的特定图像的图像浏览屏幕，设置屏幕等。注意，将在下面参考图17A-17D、图18A-18D和图19描述特定类型的操作屏幕和从一个操作屏幕转换到另一操作屏幕的特定方式。
屏幕输入处理单元224基于由传感器测量单元214测量的物理量，确定关于用户想要的已捕获图像的当前输出操作屏幕上的操作的处理内容。更具体地，屏幕输入处理单元224包括指针位置管理单元226、处理内容确定单元228和不显示确定单元229。
基于由传感器测量单元214测量的物理量，指针位置管理单元226管理指针P的位置，指针P是指向当前正显示的操作屏幕上的对象的指向单元的示例。例如，指针位置管理单元226可以使用地磁传感器136的检测结果来检测全向图像捕获设备110的移动方向、姿态方向和方位，并将检测到的信息转换为指针P运动信息。在本实施例中，将指针P描述为指向单元的示例。但是，在其他实施例中，例如，可以使用关于操作屏幕上的特定控制的焦点。在该情况下，可以管理焦点选择状态。
此外，当不显示确定单元229确定已经满足预定条件时，指针位置管理单元226隐藏指针P。另外，当在隐藏指针P的同时按下快门释放按钮SB时，指针位置管理单元226初始化指针P的坐标。
注意，例如，当选择菜单时相对于平面环境的垂直(上下)和横向(左右)方向上的二维运动的检测可能就足够了。在该情况下，虽然不特别限制，但是因为直观地容易理解相对于面对显示装置的平面的运动(平行于显示屏幕的位置关系)，所以可以使用初始位置和初始姿态执行校准。在检测到包括深度方向(前后)的三维运动的情况下，前后方向上的运动量的检测可以与单独的操作相关联。例如，向前按下的运动可以检测为与按下所选的控制对应的操作。以这种方式，通过相对于地面横向地或者垂直地移动全向图像捕获设备110，操作屏幕上的指针P可以横向地或者垂直地移动，而无论全向图像捕获设备110的朝向如何。此外，在一些实施例中，例如，通过指定比如快门释放按钮SB的按钮位置侧为上侧，某些限制可以施加于应该由用户握持全向图像捕获设备110的方式(全向图像捕获设备110的朝向)。
处理内容确定单元228基于操作屏幕上的指针P的位置，确定操作屏幕上的操作的处理内容，并确定根据需要相对于全向图像捕获设备110执行的任何附加操作的处理内容。附加操作例如可以是基于由在全向图像捕获设备110的外壳提供的硬件按钮接受的输入的操作。在操作屏幕上显示每个与预定处理内容相关联的比如按钮和图标的多个控制。当在由指针P选择控制之一的同时执行附加操作时，由处理内容确定单元228确定与所选的控制相关联的预定处理内容。
不显示确定单元229基于由传感器测量单元214测量的物理量，确定是否隐藏指针P。更具体地，当由传感器测量单元214测量的物理量的改变在至少预定时间段上不大于预定值(在预定范围内)时，或者当由传感器测量单元214测量的物理量指示指针P已经偏离显示设备180的屏幕时，不显示确定单元229确定应该隐藏指针P。
处理执行单元230执行由处理内容确定单元228指定的处理内容。处理内容例如可以包括调用预定操作屏幕、关于图像显示的各种操作和关于图像编辑的各种操作。
更具体地，处理内容可以包括在操作屏幕上显示静止图像、隐藏静止图像、开始运动图像的重放、暂停运动图像的重放、运动图像的快进、运动图像的倒带、停止运动图像的重放、旋转静止图像或者运动图像、放大静止图像或者运动图像的显示范围、缩小静止图像或者运动图像的显示范围、移动静止图像或者运动图像的视点等。另外，处理内容可以包括选择图像，删除图像，转换图像的图像格式，从运动图像提取静止图像，转换图像的分辨率，分割运动图像和改变运动图像的重放音量。注意，转换图像的图像格式例如可以包括将双重鱼眼图像转换为全向图像。
无线视频发送单元216使用如图3所示的无线通信接口140以将反映由处理执行单元230执行的处理的结果的操作屏幕作为视频无线地发送到外部设备。
无线通信设备150连接到显示设备180。无线通信设备150使得显示设备180显示由全向图像捕获设备110的无线视频发送单元216发送的操作屏幕。在本实施例中，无线通信设备150外部地连接到显示设备180。但是，本发明不限于此，且在一些实施例中，无线通信设备150例如可以包括显示设备180。
此外，在有些情况下，全向图像捕获设备110可以不含有具有足够分辨率的显示器，或者可以不具有显示器。因此，当执行用于使全向图像捕获设备110能够与无线通信设备150建立连接的装置登记时，可能需要用户执行复杂的操作。
在这方面，在优选实施例中，无线通信设备150可以进一步包括自身信息发送单元252。在优选实施例中，全向图像捕获设备110的无线视频发送单元216可以包括搜索处理单元218。
响应于比如用户按下预定按钮的装置登记开始操作，自身信息发送单元252将比如无线通信设备150的SSID的装置名称改变为用于某个时间段的专用名称并发送专用名称。该专用名称可以不同于当装置登记未开始时分配给无线通信设备150的通常名称，且包括指示其处于装置登记模式的特定字符串模式。例如，当通常装置名称是“display001”时，可以添加字符串“_ON”以获得特定装置名称“display001_ON”。
另一方面，为了开始与显示设备180侧的无线通信设备150的无线通信，全向图像捕获设备110的搜索处理单元218执行字符串搜索，以搜索具有专用名称的无线通信设备作为连接对方候选者。注意，搜索连接对方候选者的方法不限于上述方法。例如，具有预先登记的MAC(媒体访问控制)地址的无线通信设备可以被搜索为连接对方候选者，或者首先发现的无线通信设备可以考虑为连接对方候选者。此外，在一些实施例中，可以在确定连接对方时指定上述搜索方法之一，且在其他实施例中，可以使用多个搜索方法，且优先级可以预先分配给各个搜索方法，以使得当找到多个连接对方候选者时，已经找到的连接对方候选者当中的具有最高优先级的连接对方候选者可以确定为连接对方。
<连接处理>
图6是图示用于与作为连接对方的无线通信设备150建立连接的、由全向图像捕获设备110实现的连接方法的流程图。例如，响应于比如长时间按下在全向图像捕获设备110的外壳提供的特定硬件按钮的特定操作，图6的处理在步骤S100开始。在图6中，将作为示例描述用于建立无线通信的连接方法，但是无线通信仅是通信连接的一个示例。
在步骤S101中，全向图像捕获设备110验证图像浏览器的操作屏幕提供功能。在步骤S102，全向图像捕获设备110基于搜索模式设置，使得处理分支。搜索模式设置可以设置为默认搜索模式，或者可以由用户建立期望的搜索模式。
如果在步骤S102确定根据MAC地址(基于MAC地址)的搜索模式有效，则处理进行到步骤S103。在步骤S103，全向图像捕获设备110使得搜索处理单元218搜索与预先登记MAC地址对应的无线通信设备作为连接对方候选者，并在完成搜索之后进行到步骤S106。
另一方面，如果在步骤S102确定根据专用名称的搜索模式(基于装置名称)有效，则处理进行到步骤S104。在步骤S104，全向图像捕获设备110使得搜索处理单元218搜索具有包括预定字符串模式的装置名称的无线通信设备作为连接对方候选者，并在完成搜索之后进行到步骤S106。注意到，如果按下用于开始装置登记的无线通信设备150的硬件按钮且无线通信设备150的装置名称已经改变为专用名称，则无线通信设备150将由上述搜索找到。
另一方面，如果在步骤S102确定根据时间顺序(基于时间顺序)的搜索模式有效，则处理进行到步骤S105。在步骤S105，全向图像捕获设备110搜索网络上的无线通信设备，并将首先找到的无线通信设备考虑为连接对方候选者，之后进行到步骤S106。
注意，基于预先建立的搜索模式设置，选择性地执行步骤S103到S105的处理。注意，在一些实施例中，可以并行或者连续地执行多个上述处理。例如，如果全部搜索模式有效，则可以全部并行或者连续地执行步骤S103到S105的处理。
在步骤S106，全向图像捕获设备110确定是否已经由在步骤S103到步骤S105进行的搜索找到至少一个连接对方候选者。如果在步骤S106确定已经找到作为连接对方候选者的至少一个无线通信设备(在步骤S106的“是”)，则处理进行到步骤S107。
在步骤S107，全向图像捕获设备110开始与找到的无线通信设备当中的具有最高优先级的无线通信设备通信。注意，优先级分配给搜索模式，以在作为执行基于MAC地址的搜索、基于装置名称的搜索和基于时间顺序的搜索当中的多个搜索的结果，找到多个连接对方候选者的情况下，确定具有最高优先级的连接对方候选者。当仅指定一个搜索模式时，向指定的模式分配最高的优先级。
在步骤S108之后，在显示设备180上显示操作屏幕，且开始使用全向图像捕获设备110的操作屏幕上的操作。
另一方面，如果在步骤S106确定还未找到连接对方候选者(在步骤S106中的“否”)，则处理进行到步骤S109。在步骤S109，全向图像捕获设备110使操作屏幕提供功能无效，且在步骤S110结束当前处理。此时，例如可以从全向图像捕获设备110的灯或者扬声器发出未找到作为连接对方候选者的无线通信设备的通知。
注意，一旦建立连接，则可以在显示设备180上显示关于连接状态及其他可连接装置的信息。因而，例如可以经由显示设备180上显示的操作屏幕切换连接对方。此外，注意，可能有按下了用于装置登记的其硬件按钮的多个无线通信设备，且在此情况下，例如蓝牙(注册商标)通信等可以用于确定第一连接目标。
<全向图像捕获设备的姿态和指针的位置>
在本实施例中，基于用户倾斜了全向图像捕获设备110多少(在横向和垂直方向上)，确定全向图像捕获设备110要显示指针P的操作屏幕上的位置。为了使用户能够基于全向图像捕获设备110的姿态移动操作屏幕上的指针P，应当考虑显示设备180和全向图像捕获设备110之间的距离以及显示设备180的屏幕尺寸。这是由于相对于全向图像捕获设备110的方位改变的显示设备180的屏幕上指针P的运动量取决于显示设备180和全向图像捕获设备110之间的距离而改变。此外，指针P的可移动范围取决于屏幕尺寸而改变。
图7是由用户握持的全向图像捕获设备110和显示设备180的相对位置的示例侧视图。用户和显示设备180之间的直线距离被称为观看距离L1。观看距离L1可以是用户的头和显示设备180之间的距离，或者全向图像捕获设备110和显示设备180之间的距离。在本实施例中，因为基于全向图像捕获设备110的姿态来控制指针P的位置，所以全向图像捕获设备110和显示设备180之间的距离优选地用作观看距离L1。但是，注意，在一些实施例中，用户的头和显示设备180之间的距离或者上述两个距离(即，用户的头和显示设备180之间的距离以及全向图像捕获设备110和显示设备180之间的距离)的平均可以用作观看距离。
在下面，将参考图8描述最佳观看距离。图8是指示从由日本人机工程学协会出版的“用于平板显示电视的人机工程学设计指南”(参见页20)提取的对角屏幕尺寸和最佳观看距离之间的关系的图。假定显示设备180是一般的家用电视，大部分显示设备180的对角屏幕尺寸可能落入从27到60英寸的范围。从图8可以理解在该情况下的最佳观看距离是175到300厘米。
注意到图8所示的最佳观看距离是27个主体的偏好研究的结果，且最佳观看距离具有个体差异。作为这种个体差异的度量，图8中指示±1标准差的宽度。因此，175到300厘米的最佳观看距离仅是用于说明目的的一个示例。例如，在±1标准差内的观看距离可以用作最佳观看距离。
通过经由细分预定间隔的点来细分表示从27到60英寸的对角屏幕尺寸的横轴和表示从175到300厘米的观看距离的纵轴，可以计算在各个细分点的显示设备180的水平视角。
图9A和图9B是用于解释在最佳观看距离的显示设备180的水平视角的图。图9A是图示水平视角的计算的图，且图9B是指示对角屏幕尺寸和水平视角之间的关系的图。假定显示设备180是在家庭卧室中提供的电视设备，显示设备180的对角屏幕尺寸可以是大约49到55英寸。在该情况下，在适当的观看距离的显示设备180的水平视角(例如，参见“用于平板显示电视的人体工程学设计指南”)是大约24度。如可以理解的，当确定显示设备180的对角屏幕尺寸时，可以确定显示设备180的近似的水平视角。例如，用于水平视角的默认设置可以设置为大约23到24度。
在这种假定下，全向图像捕获设备110可以将全向图像捕获设备110的姿态转换为指针P的坐标。也就是，当用户将全向图像捕获设备110水平地旋转24度时，指针P可以从屏幕的左边缘移动以到达屏幕的右边缘。
注意，优选地准备设置屏幕等，以使得用户可以输入用户在全向图像捕获设备110中使用的显示设备180的对角屏幕尺寸。在该情况下，例如，全向图像捕获设备110可以另外接受观看距离的输入。通过配置全向图像捕获设备110以接受对角屏幕尺寸和观看距离的输入，可以更精确地确定显示设备180的水平视角。
此外，假定屏幕的长宽比是9:16，则垂直方向上的垂直视角将是13.5度。当用户将全向图像捕获设备110垂直地旋转13.5度时，指针P从屏幕的上边缘移动以达到屏幕的下边缘。
在下面，将参考图10到图12描述全向图像捕获设备110的坐标轴和指针P的坐标。图10是图示全向图像捕获设备110的示例坐标轴的图，且图11是要用作参考的全向图像捕获设备110的姿态的图。要用作参考的全向图像捕获设备110的姿态对应于当初始化指针P的坐标时的全向图像捕获设备110的初始姿态。
在图10中，Z轴表示全向图像捕获设备110的纵向，Y轴表示从具有快门释放按钮SB的表面向着没有快门释放按钮SB的相对表面通过全向图像捕获设备110的两个镜头的深度方向，且X轴表示全向图像捕获设备110的宽度方向。注意，全向图像捕获设备110的以上轴与全向图像捕获设备110的运动一起运动。全向图像捕获设备110可以分别绕着X轴、Y轴和Z轴旋转。绕着X轴的旋转角度表示为α，绕着Y轴的旋转角度表示为β，且绕着Z轴的旋转角度表示为γ。
如图11所示，当用户操作在显示设备180上显示的指针P时，顶点方向指向显示设备180。因为当轴在直立位置时每个轴的旋转角度是90度，在初始化指针P的坐标时的全向图像捕获设备110的初始姿态是：α＝90度，β＝0度和γ＝0度。初始姿态对应于当在初始位置显示指针P时的全向图像捕获设备110的姿态。因而，初始姿态可以被认为是要用作用于确定全向图像捕获设备110的姿态的参考姿态的起始姿态。
全向图像捕获设备110任何时间接受初始化指针P的坐标的操作，而无论全向图像捕获设备110的实际姿态如何。也就是，当用户执行预定操作时，初始化指针P的坐标。预定操作例如可以是按下快门释放按钮SB。
图12是图示全向图像捕获设备110的旋转角度和指针P的坐标之间的对应性的图。图12图示用户在握持以初始姿态定位的全向图像捕获设备110的同时按下快门释放按钮SB的示例情况。全向图像捕获设备110在屏幕的中心(原点)显示指针P。假定u表示指针P的坐标的水平方向且v表示指针P的坐标的垂直方向，则当全向图像捕获设备110处于初始姿态时指针P的坐标(u，v)是(0,0)。假定握持处于初始姿态的全向图像捕获设备110的用户面朝显示设备180的前方，通过在屏幕的中心显示指针P，用户可以通过以上下和左右方向改变全向图像捕获设备110的方位来遍及屏幕的整个范围平均地移动指针P。以这种方式，与指针P的位置位于屏幕的右边缘或者左边缘的情况相比可以改进可操作性。
此外，注意，水平方向u绕着Y轴改变旋转角度β，且垂直方向v绕着X轴改变旋转角度α。也就是，u和β彼此对应，且v和α彼此对应。在初始姿态下，α是90度(π/2)且β是0度。注意，旋转角度Γ不影响指针P的坐标。
假定(gα、gβ、gγ)表示由陀螺仪传感器输出的绕着X、Y和Z轴的角速度，则可以使用陀螺仪传感器的输出，从以下方程组(1)和(2)计算指针P的方向(cα、cβ)。
[数学公式1]
cα(n+1)＝cα(n)+k*gα*dt…(1)
cβ(n+1)＝cβ(n)+k*gβ*dt…(2)
在上述方程式(1)和(2)中，n表示计算周期且dt表示计算之间的时间间隔。此外，k表示关于陀螺仪传感器的灵敏度的系数。k的初始值可以设置为k＝1.0。在减小震动等的影响的情况下，值k例如可以减小到k＝0.5，以使得可以呈现出低通滤波器的影响。注意到，以从全向图像捕获设备110的OS调用图像浏览器功能的间隔(屏幕刷新速率)来执行上述计算。
使用以上方程式(1)和(2)计算的指针P的方向(cα，cβ)由指针位置管理单元226转换为指针P的坐标(u，v)。假定(W，H)的屏幕尺寸＝(1280，720)[像素]，以上屏幕尺寸对应于24度的水平视角和13.5度的垂直视角。因此，24度可以按比例地分布到1280像素，且13.5度可以按比例地分布到720像素。因为(α，β)＝(π/2，0)和(u，v)＝(0，0)彼此对应，所以可以以以下描述的方式计算指针P的坐标。
注意，可以考虑全向图像捕获设备110的两个可能方位(姿态)：当用户握持全向图像捕获设备110时快门释放按钮SB朝上(图11)和当用户握持全向图像捕获设备110时快门释放按钮SB朝下。注意，当全向图像捕获设备110的快门释放按钮SB朝下时的坐标轴将在下面参考图20描述。
(当α_0≤-π/2和α_0＞π/2时的初始姿态)
在正常操作(快门释放按钮SB朝下的状态)中，角度满足-π＜cα≤-π/2或者π/2＜cα≤π。因为数字在角度π周围不连续，为了计算的目的，做出以下情况分类。
当cα≥0，cα2＝cα时
当cα＜0，cα2＝cα+2π时
然后，转换到(0≤cα2＜2π)以使得数字连续。
可以基于以下方程组(3)计算坐标。
[数学公式2]
u＝(cα2-α_0)*180/π*W/(24*kd)
v＝(cβ)*180/π*H/(13.5*kd)…（3)
(当α_0＞-π/2和α_0≤π/2时的初始姿态)
在后侧操作(快门释放按钮SB朝下的状态)中，角度满足π/2＜cα≤π/2。因为数字连续，所以不需要为了角度计算的目的分类情况。
可以基于以下方程组(4)计算坐标。
[数学公式3]
u＝(α_0-cα)*180/π*W/(24*kd)
v＝(-cβ)*180/π*H/(13.5*kd)…(4)
在上述方程式(3)和(4)中，kd表示姿态的放大因数。kd的初始值可以设置为kd＝2。当kd＝2时，全向图像捕获设备110不得不倾斜两次那么多。当u和v达到屏幕的边缘时(u＝-W/2，W/2，v＝-H/2，H/2)，它们夹在屏幕边缘上。
<初始化指针P的坐标>
使用计算的坐标(u，v)，用户可以以指针P操作全向图像捕获设备110。但是，由于陀螺仪传感器随着时间的漂移的累积，在全向图像捕获设备110的姿态和指针P的位置之间发生差异。当全向图像捕获设备110的姿态和指针P的位置之间的差异变大时，可操作性恶化。
在这方面，在本实施例中，当用户感到差异很大时，用户可以初始化指针P的坐标。在初始化时，用户按下快门释放按钮SB。但是，如果在正在显示指针P的同时按下快门释放按钮SB，则处理内容确定单元228例如可以潜在地接受按钮或者图标点击操作。因此，用户首先执行隐藏指针P的操作。
图13A和图13B是图示隐藏指针P的示例操作的图。图13A示出了显示设备180和全向图像捕获设备110的顶视图，且图13B示出了显示设备180和全向图像捕获设备110的侧视图。在显示设备180的水平视角是24度的情况下，通过参考初始姿态，在水平方向上向右定位全向图像捕获设备110多于12度或者向左定位全向图像捕获设备110多于12度，全向图像捕获设备110可以定位在显示设备180的屏幕之外。就cα而言，在|cα2-α_0|>50*π/180的情况下，全向图像捕获设备110可以定位在显示设备180的屏幕之外。
类似地，相对于垂直方向，在垂直视角是13.5度的情况下，通过相对于初始姿态在垂直方向上向上定位全向图像捕获设备110多于6度或者向下定位全向图像捕获设备110多于6.75度，全向图像捕获设备110可以定位在显示设备180的屏幕之外。就cβ而言，在|cβ|>60*π/180的情况下，全向图像捕获设备110可以定位在显示设备180的屏幕之外。
当指针P的方向cα和cβ如上所述偏离显示设备180的屏幕时，指针位置管理单元226隐藏指针P。注意到，指针位置管理单元226也可以代替指针P的方向cα和cβ，基于指针P的坐标(u，v)做出上述确定。因为用户可以以指针P指向屏幕的边缘部分或者在具有大屏幕尺寸的显示设备180上显示操作屏幕，所以指针位置管理单元226在确定指针P的方向cα和cβ显著地偏离显示设备180的屏幕(将余量添加到确定标准)时隐藏指针P。以这种方式，用户例如可以通过向左或者向右改变全向图像捕获设备110的方位的简单操作来初始化指针P的坐标，以使得指针P偏离屏幕外部。
如图14所示，当用户在隐藏(不显示)指针P的状态下按下快门释放按钮SB时，初始化指针P的坐标。图14示出了当初始化其坐标时显示的指针P的示例显示。在图14中，指针P的初始化的坐标(显示器位置)对应于在屏幕中心的点。如图14所示，可以通过在实质上向着显示设备180的屏幕中心定位全向图像捕获设备110的同时按下快门释放按钮SB的简单操作来初始化指针P的坐标。在初始化之后，用户可以使用全向图像捕获设备110更自然地和直观地操作指针P。
注意到，用户的用于隐藏指针P以执行初始化的操作不限于使得指针P偏离屏幕外部，只要其是相对于指针P通常不执行的某些特别操作即可。例如，可以是用户使得全向图像捕获设备110振动的操作，重复地摆动的操作(绕着X、Y、Z轴中的任意往复地旋转)等。用于振动全向图像捕获设备110的操作主要由加速度传感器检测，且重复地摆动全向图像捕获设备110的操作由陀螺仪传感器检测。
注意到，在初始化指针P的坐标之前不是必须隐藏指针P。例如，当全向图像捕获设备110检测到正在长时间按下快门释放按钮SB时，指针位置管理单元226可以在屏幕的中心显示指针P，而无论指针P的当前显示位置如何。当用户结束按下快门释放按钮SB时，指针位置管理单元226完成初始化。在该情况下，用户可以初始化指针P的坐标而不首先隐藏指针P。
此外，在图14中，在全向图像捕获设备110实质上朝向显示设备180的屏幕中心的情况下，用户按下快门释放按钮SB。但是，注意到当长时间按下快门释放按钮SB时，全向图像捕获设备1100可以朝向任何方向。也就是，因为全向图像捕获设备110不检测其实际方位，所以即使全向图像捕获设备110不朝向屏幕中心，用户也可以操作(初始化)指针P。但是，如果当按下快门释放按钮SB时以某些其它方向定位全向图像捕获设备110，则在初始化指针P的坐标之后立即出现全向图像捕获设备110的方位(姿态)和指针P的位置之间的差异。因而，优选地定位全向图像捕获设备110，以使得当按下快门释放按钮SB时其实质上朝向显示设备180的屏幕的中心。
<隐藏指针P>
除通过用户的故意操作隐藏指针P之外，可能有优选地通过非故意的用户操作隐藏指针P的情况。例如，当用户观看图像时，可以转移指针P的显示。此外，当自动地旋转所显示的全向图像(没有用户的操作)时，用户不是必须执行相对于所显示的图像的操作。
在这方面，根据本实施例的全向图像捕获设备110配置为当在某个时间段上由姿势传感器检测到的信号(物理量)的改变不大于预定值(在预定范围内)时隐藏指针P。以这种方式，可以防止指针P干扰图像的观看。
注意到，即使通过非故意的用户操作隐藏指针P，指针P的坐标可以仍然由如上所述的用户按下快门释放按钮SB来初始化。也就是，即使用户没有注意全向图像捕获设备110的指向方向(姿态)和指针P的位置之间的任何差异，用户也可以隐藏指针P之后初始化指针P的坐标。
<接受操作>
在下面，参考图15描述在图6的步骤S108之后，由根据本实施例的全向图像捕获设备110执行的操作。图15是图示全向图像捕获设备110在显示设备180上显示图像和接受操作的处理操作的流程图。
响应于图6的处理进行到步骤S108，图15的处理从步骤S200开始。在步骤S201，全向图像捕获设备110执行校准处理。校准处理包括如以下描述的初始化指针P的坐标。在校准处理中，提供指南以提示用户将全向图像捕获设备110的顶端指向预定方向，比如屏幕的中心。然后，由传感器测量单元214测量全向图像捕获设备110的初始姿态或者初始位置，且与全向图像捕获设备110的所测量的初始状态相关联地将指针P的位置初始化为屏幕的中心。
在步骤S202，全向图像捕获设备110使得屏幕输出处理单元222生成关于已捕获图像的操作屏幕，并输出生成的操作屏幕。此后，在步骤S203到S208，基于全向图像捕获设备110的运动，确定输出操作屏幕上关于已捕获图像的操作的处理内容。
在步骤S203，全向图像捕获设备110使得传感器测量单元214测量由全向图像捕获设备110的运动引起的物理量。
在步骤S204，不显示确定单元229确定传感器信息的改变在至少预定时间段上是否不大于预定值(在预定范围内)。
在步骤S205，当在预定时间段上的传感器信息的改变超过预定值时(在步骤S204的“否”)，不显示确定单元229确定基于传感器信息的全向图像捕获设备110的方位是否偏离屏幕(在屏幕之外)。
如果在步骤S204或者步骤S205做出肯定确定(“是”)，则指针位置管理单元226隐藏指针P(步骤S213)。也就是，指针位置管理单元226不更新指针P的位置且不显示指针P。注意到，在一些实施例中，可以内部地计算指针P的位置并停止显示。
如果在步骤S204和步骤S205做出否定确定(“否”)，则处理进行到步骤S206，在步骤S206中，全向图像捕获设备110使得指针位置管理单元226基于由传感器测量单元214测量的物理量而更新指针P的位置指向正在显示的操作屏幕上的对象。
在步骤S207，全向图像捕获设备110确定是否已经执行附加操作。附加操作例如可以是按下在全向图像捕获设备110的外壳提供的硬件按钮。
在图15中，当在步骤S207确定还未执行附加操作时(在步骤S207的“否”)，处理返回到步骤S203。
另一方面，如果在步骤S207确定已经执行附加操作(在步骤S207的“是”)，则处理进行到步骤S208。在步骤S208，全向图像捕获设备110使得处理内容确定单元208基于正在输出的操作屏幕、指针P位置信息和附加操作来确定处理内容。
在步骤S209，全向图像捕获设备110使得处理执行单元230执行在步骤S208确定的处理内容。在步骤S210，全向图像捕获设备110确定作为处理执行的结果是否需要屏幕转换。如果在步骤S210确定需要屏幕转换(在步骤S210的“是”)，则处理进行到步骤S212。
在步骤S212，执行操作屏幕的转换，且处理循环到步骤S202。在该情况下，在步骤S202，生成和输出转换之后的操作屏幕。
另一方面，如果在步骤S210确定不需要屏幕转换(在步骤S210的“否”)，则处理进行到步骤S211。在步骤S211，执行在步骤209的处理内容的结果反映在操作屏幕中，且处理循环到步骤S203。在该情况下，反映处理执行的操作屏幕经由无线视频发送单元216外部地输出，且处理关于正在输出的操作屏幕继续。
以这种方式，用户可以在观看外部地输出(例如，输出到显示设备180)的操作屏幕的同时物理地移动全向图像捕获设备110，由此移动指针P到期望位置并关于操作屏幕执行期望操作。
<操作屏幕>
在下面，将参考图16到图18D描述根据本实施例的操作屏幕和操作屏幕的转换。图16图示由根据本实施例的全向图像捕获设备110提供的操作屏幕的转换。图17A到图18D图示由根据本实施例的全向图像捕获设备110提供的操作屏幕。
如图16所示，全向图像捕获设备110的图像浏览器例如通过显示初始屏幕300(比如标志的显示)而开始。当在显示初始屏幕300之后经过预定时间时，在图15的步骤S202生成并输出时间线列表屏幕310。
图17A图示时间线列表屏幕310的示例。参考图16，时间线列表屏幕310可以转换为时间线列表选择屏幕320和图像列表屏幕330。如图17A所示的时间线列表屏幕310包括用于切换到时间线列表选择屏幕320的选择按钮312和用于切换到图像列表屏幕330的切换按钮314。
将在下面作为示例描述图17A的时间线列表屏幕310。通过移动全向图像捕获设备110，指针P可以位于选择按钮312或者切换按钮314的位置。另外，当执行比如按下全向图像捕获设备110的硬件按钮的附加操作时，在步骤S208确定要执行的相应处理的处理内容。处理内容例如可以调用时间线列表选择屏幕320或者图像列表屏幕330。在该情况下，在步骤S210确定需要屏幕转换。
图17B图示时间线列表选择屏幕320的示例。图17B的时间线列表选择屏幕320包括用于返回到时间线列表屏幕310的返回按钮322、用于从列出的图像当中选择要经历处理的目标图像的复选框324和用于删除所选的图像的删除按钮326。
将在下面作为示例描述图17B的时间线列表选择屏幕320。当通过在选中复选框324的状态下移动全向图像捕获设备110，指针P位于删除按钮326的位置，且执行比如按下硬件按钮的附加操作时，在步骤S208确定的处理内容可以是所选的图像的删除处理。
图17C图示图像列表屏幕330的示例。参考图16，图像列表屏幕330可以转换为时间线列表屏幕310、图像列表选择屏幕340、设置屏幕350、全向静止图像观看屏幕360和全向运动图像观看屏幕370。图17C的图像列表屏幕330包括用于切换到图像列表选择屏幕340的选择按钮332、用于切换到时间线列表屏幕310的切换按钮334、缩略图图像336和设置按钮338。
注意到，可以使用比如所谓的“小星球”的全向图像显示格式来显示缩略图图像。通过检测全向图像捕获设备110的空闲时间，可以在背景中创建缩略图图像，或者例如在重新显示时，比如当使得指针P到图像列表屏幕330的下侧时更新。
虽然没有关于图像列表屏幕330布置清楚的控制，例如，当使得指针P到图像列表屏幕330的上侧或者下侧并对于某个时间保持位置时，可以执行滚动。此外，在优选实施例中，当在图17C的图像列表屏幕330中以列表显示大量图像时，可以取决于要显示的图像的数目，提供用于执行高速滚动的功能。例如，滚动速度可以布置为取决于要显示的图像的数目而改变。当要显示的图像的数目相对小时，滚动速度可以设置为恒定速度，且当要显示的图像不适合在一个屏幕内时，例如可以在某个时间段之后增大滚动速度。
注意到，在文件的列表显示中，例如，可以仅列出可以显示的文件，或者可以列出文件夹中记录的所有文件。此外，在一些实施例中，例如，指针P可以自由地移动到列表显示中的期望的缩略图图像以选择期望图像。在其他实施例中，可以自动地滚动文件列表或者缩略图图像的列表，且当执行比如按下硬件按钮的附加操作时，例如此时可以选择与由指针P指示的缩略图图像对应的图像。
图17D图示图像列表选择屏幕340的示例。图17D的图像列表选择屏幕340具有与图17B的时间线列表选择屏幕320实质上相同的配置且包括返回按钮342和删除按钮344。
图18A图示设置屏幕350的示例。图18A的设置屏幕350显示各种设置，且另外包括用于切换到图像列表屏幕330的切换按钮352。此外，设置屏幕350例如可以包括用于将连接目的地从当前连接目的地切换到另一无线通信设备的设置屏幕。
将在下面作为示例描述图17C的图像列表屏幕330。当指针P位于预定缩略图图像336的位置且执行比如按下硬件按钮的附加操作时，在步骤S208，调用如图18B所示的全向静止图像观看屏幕360或者如图18C所示的全向运动图像观看屏幕370的处理可以确定为处理内容。在该情况下，在步骤S210确定需要屏幕转换。
图18B图示全向静止图像观看屏幕360的示例。当与指针P位于的缩略图图像对应的图像是静止图像时，可以调用图18B的全向静止图像观看屏幕360。图18B的全向静止图像观看屏幕360包括全向静止图像的显示区域362和各种控制374。
图18C图示运动图像观看屏幕370的示例。当与指针P位于的缩略图图像对应的图像是运动图像时，调用图18C的全向运动图像观看屏幕370。图18C的全向运动图像观看屏幕370包括全向运动图像的显示区域372、各种控制374和用于接受运动图像重放指令的重放按钮376。
例如，当在图示重放运动图像之前的状态的图18C的运动图像观看屏幕370上执行与按下重放按钮376对应的操作时，在如图18D所示的相同操作屏幕上的显示区域372内开始运动图像的重放，且这种状态的改变反映在运动图像观看屏幕370上显示的控制374’中。在该情况下，在步骤S210确定不需要屏幕转换。
相对于如图18B到图18D所示的全向图像观看屏幕，用户可以通过移动全向图像捕获设备110改变指针P的位置，且响应于此，可以基于指针P的位置执行全向图像捕获设备110的操作屏幕上显示的图像的比如放大、缩小、旋转或者改变视点的处理操作。此外，基于这种操作，可以反映正在显示的操作屏幕中的相应改变。例如，用户例如可以以如图2所示的向上、向下、向左或者向右方向倾斜全向图像捕获设备110以向着操作屏幕的上边缘、下边缘、左边缘或者右边缘移动指针P，且当指针P位于该位置时，用户可以按下按钮或者等待某个时间段以执行移动图像视点等的操作。此外，在按下硬件按钮和向着操作屏幕定位全向图像捕获设备110的顶端时，例如，用户可以以向上、向下、向左或者向右方向移动全向图像捕获设备110以移动图像视点。此外，例如，用户可以在不按下硬件按钮的情况下以向上、向下、向左或者向右方向移动全向图像捕获设备110以移动光标。另外，例如，用户可以移动光标以在操作屏幕上放大图标或者缩小图标，和按下硬件按钮以改变图像尺寸(放大倍率)，或者从菜单选择放大/缩小选项并向上或者向下移动全向图像捕获设备110以选择期望的放大倍率。
图19图示包括用于向用户解释当不显示指针P时如何初始化要在操作屏幕上显示的指针P的坐标的消息的示例操作屏幕。在图19的操作屏幕中，描述初始化方法的消息365显示在不与正在显示的全向图像重叠的位置。通过观看消息365，用户可以理解应当初始化指针P的坐标和如何执行初始化。注意到在图19中，在全向静止图像观看屏幕360上显示消息365。但是，可以在在其上不显示指针P的任何操作屏幕上显示消息365。
注意到，例如，描述初始化方法的消息365可以在不显示指针P时连续地显示，或者可以在隐藏指针P之后立即显示达某个时间段。此外，例如，消息365可以重复地显示和以预定时间间隔隐藏。也就是，消息365可以仅在隐藏指针P期间的一部分时间期间显示。另外，在一些实施例中，例如，可以响应于传感器测量单元214检测到全向图像捕获设备110已经由用户移动来显示消息365。注意到，屏幕输出处理单元222与操作屏幕一起生成消息365。
虽然上面已经参考图16到图19描述了全向图像捕获设备110的操作屏幕的特定示例，全向图像捕获设备110的操作屏幕不限于如上所述的特定示例。根据本发明的实施例的操作屏幕由以他/她的手握持全向图像捕获设备110和使得传感器检测全向图像捕获设备110的运动的用户操作。因而，在优选实施例中，操作屏幕可以配置为包括与处理内容相关联的比如贴片、按钮、图标等的控制，以使能期望的处理内容的选择，且以这种方式，可以改进可操作性。此外，例如，操作屏幕可以配置为仅当按下预定硬件按钮时在指针P附近显示菜单。另外，当在指针P附近显示这种菜单时，例如，操作屏幕可以配置为放大在指针P附近显示菜单的区域。
<当用户以快门释放按钮朝下握持全向图像捕获设备时>
可以假定当在不显示指针P的同时初始化指针P的坐标时，用户将握持全向图像捕获设备110以使得快门释放按钮SB面朝上。但是，可能有用户以快门释放按钮SB面朝下握持全向图像捕获设备110的情况。在这种情况下，将存在全向图像捕获设备110的方位和指针P的移动方向之间的失配。因此，如以下描述的，全向图像捕获设备110可以配置为检测用户以快门释放按钮SB面朝下握持全向图像捕获设备110并改变用于处理由陀螺仪传感器输出的信号的处理方法。
图20是图示在用户以快门释放按钮SB面朝下握持全向图像捕获设备110的情况下的坐标轴的图。在图20中，X轴和Y轴翻转180度而以相对于如图11所示的X轴和Y轴的方位相反的方向定位。注意到，Z轴没有变化。在该情况下，用于全向图像捕获设备110绕着X轴和Y轴的旋转角度的正/负符号也与图11的相反。因此，当用户以快门释放按钮SB面朝下握持全向图像捕获设备110时，指针位置管理单元226反向由传感器测量单元214测量的旋转角度的正/负符号，并使用上述方程组(4)计算指针P的坐标(cα，cβ)。以这种方式，即使用户以快门释放按钮SB面朝下握持全向图像捕获设备110，指针P也可以以用户以倒置方位移动全向图像捕获设备110的方向移动。
注意到，例如，可以基于当按下快门释放按钮SB时的加速度传感器的信号，确定用户是否正在以快门释放按钮SB面朝下地握持全向图像捕获设备110。也就是，在如图20所示的状态下，重力在与Y轴方向相反的方向上作用。因此，通过检测当按下快门释放按钮SB时重力的方向，指针位置管理单元226可以确定全向图像捕获设备110由用户握持的方位。
图21是图示当用户以快门释放按钮SB面朝下握持全向图像捕获设备110时，改变用于计算全向图像捕获设备110的方位的计算方法的示例性处理操作的流程图。例如，图21的处理可以在图15的步骤S201的校准处理期间执行。也就是，图21的处理在不显示指针P的状态下执行。
在步骤S301中，处理内容确定单元228确定是否已经按下快门释放按钮SB。注意到，重复在步骤S301的确定直到按下快门释放按钮SB为止。
如果确定已经按下快门释放按钮SB(在步骤S301的“是”)，则指针位置管理单元226从传感器测量单元214获取加速度传感器的信号(步骤S302)。
然后，指针位置管理单元226基于加速度传感器的信号确定重力的方向是否在Y轴方向上(步骤S303)。
如果确定重力的方向在Y轴方向上(在步骤S303的“是”)，则这意味着用户以其前侧(快门释放按钮SB侧)面朝上握持全向图像捕获设备110。因而，指针位置管理单元226不改变由陀螺仪传感器检测到的旋转角度的正/负符号，并使用上述方程组(3)计算指针P的坐标(步骤S304)。
另一方面，如果确定重力的方向在相对于Y轴方向的相反方向上(在步骤S303的“否”)，则这意味着用户其以背面朝上握持全向图像捕获设备110。因而，指针位置管理单元226反向由陀螺仪传感器检测到的旋转角度的正/负符号，并使用上述方程组(4)计算指针P的坐标(步骤S305)。
通过实施这种处理，即使用户以背侧朝上握持全向图像捕获设备110，用户也能够容易地控制指针P。
<总结>
根据上述实施例的一方面，当在不显示指针P的同时用户按下快门释放按钮SB时，可以初始化指针P的坐标，且以这种方式，由全向图像捕获设备110指向的方向和指针P的位置可以精确地关联，且可以防止发生指针P的位置和与发送者设备对应的全向图像捕获设备110的姿态之间的差异。
<其它应用示例>
虽然上面已经通过说明性实施例和示例的方式描述了本发明，但是本发明不限于这些实施例和示例，且可以在不脱离本发明的范围的情况下做出各种替换和修改。
例如，上述实施例的功能可以由一个或者多个处理电路实现。注意到，如在本说明书中使用的术语“处理电路”例如可以包括编程以由软件执行功能的处理器，比如由电子电路的处理器，和设计用于执行如上所述的一个或多个功能的各种类型的装置，比如ASIC(专用集成电路)、DSP(数字信号处理器)、FPGA(现场可编程门阵列)、SOC(片上系统)、GPU(图形处理单元)和现有的电路模块。
此外，用于实现本实施例的功能的软件例如可以存储在装置可读取的记录介质中，比如闪存存储器、软盘、CD-ROM、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、蓝光盘、SD卡、MO等，或者通过电信线路分布。
此外，指针P的初始位置不是必须在操作屏幕的中心且例如也可以在操作屏幕的右上角、操作屏幕的右下角、操作屏幕的左下角或者操作屏幕的左上角。此外，指针P的初始位置可以设置为操作屏幕上的任何期望位置。通过使得用户使用全向图像捕获设备110指向指针P的初始位置，全向图像捕获设备110的方位(姿态)可以与指针P的位置精确地关联。
此外，在上述实施例中，通过按下快门释放按钮SB，初始化指针P的坐标。但是，用于触发指针P的初始化的操作不限于按下快门释放按钮SB，而例如可以是按下某些其它硬件按钮的操作。此外，例如，用于触发指针的初始化的操作可以是按下包括快门释放按钮SB的硬件按钮几秒的长时间的操作。此外，在全向图像捕获设备110包括触摸板的情况下，例如，按下触摸板上显示的软键的操作可以是用于初始化指针P的坐标的触发器。另外，在一些实施例中，可以响应于比如语音命令“初始化”的语音输入来初始化指针P的坐标。
此外，虽然在上述实施例中作为单个单元的全向图像捕获设备110配置为显示指针P，但是外部地附加到其的具有全向图像捕获功能的信息处理设备也可以显示指针P。这种信息处理设备的示例包括个人计算机、智能电话、平板计算机等。此外，例如，全向图像捕获设备110可以被认为是具有内置的全向图像捕获功能的信息处理设备。
此外，在一些实施例中，可以连接多个显示设备180。例如，两个或更多显示设备可以连接到一个个人计算机，且个人计算机可以使用两个或更多显示设备作为一个显示器。在此情况下，例如，全向图像捕获设备110可以放大图像显示范围，并使得两个或更多显示设备联合地显示一个单一图像(操作屏幕)。例如，全向图像捕获设备110也可以在两个或更多显示设备上显示相同图像。注意到，在连接两个显示设备且由两个显示设备联合地显示一个操作屏幕的情况下，当在操作屏幕的中心显示指针P时，指针P可能存在于两个显示设备的两个显示屏幕之间的边界，使得用户难以看到指针P。因此，在连接两个显示设备的情况下，指针P优选地显示在除了操作屏幕的宽度方向上的中心以外的位置。注意到，例如，全向图像捕获设备110可以基于用户设置、图像分辨率等确定是否连接两个或更多显示设备。
注意到，上述实施例的屏幕输出处理单元222是生成单元的示例，传感器测量单元214是姿态信息获取单元的示例，指针位置管理单元226是位置显示组件管理单元的示例，指针P是位置显示组件的示例，快门释放按钮SB(处理内容确定单元228)是操作接受单元的示例，且不显示确定单元229是不显示确定单元的示例。无线视频发送单元216是输出单元的示例。
本申请基于并要求于2017年8月29日在日本专利局提交的日本专利申请No.2017-164794的优先权日期的权益，将其全部内容通过引用包括于此。

Claims (9)

1.一种图像捕获设备，包括：
存储单元，配置为存储已捕获图像；
生成单元，配置为生成关于存储单元中存储的已捕获图像的操作屏幕；
输出单元，配置为将由生成单元生成的操作屏幕输出到显示设备；
姿态信息获取单元，配置为获取关于图像捕获设备的姿态的姿态信息；
位置显示组件管理单元，配置为将由姿态信息获取单元获取的姿态信息转换为关于位置显示组件在操作屏幕上的位置的位置信息，并基于转换后的位置信息在操作屏幕上显示位置显示组件；和
不显示确定单元，配置为当由所述姿态信息获取单元获取的预定姿态信息指示定位所述图像捕获设备的方位偏离预定范围时，确定隐藏位置显示组件；和
操作接受单元，配置为接受初始化位置显示组件的位置的初始化操作；
其中，在位置显示组件响应于所述不显示确定单元确定隐藏所述位置显示组件而被隐藏的期间，所述位置显示组件管理单元响应于所述操作接受单元接受初始化操作，在操作屏幕的初始位置处显示位置显示组件。
2.如权利要求1所述的图像捕获设备，其中，
当所述姿态信息获取单元获取关于图像捕获设备的预定姿态的预定姿态信息时，所述不显示确定单元确定隐藏位置显示组件。
3.如权利要求1所述的图像捕获设备，其中，
当由所述姿态信息获取单元获取的预定姿态信息指示定位图像捕获设备的方位偏离所述显示设备的屏幕时，所述不显示确定单元确定隐藏位置显示组件。
4.如权利要求1所述的图像捕获设备，其中，
当由所述姿态信息获取单元获取的姿态信息指示所述图像捕获设备的姿态的改变在至少预定时间段上小于或等于预定值时，所述不显示确定单元确定隐藏位置显示组件。
5.如权利要求1到4中任意一项所述的图像捕获设备，其中，所述操作屏幕的初始位置在操作屏幕的中心。
6.如权利要求1到4中任意一项所述的图像捕获设备，其中，
生成单元对于期间位置显示组件管理单元隐藏位置显示组件的时段的至少一部分，在操作屏幕上显示描述初始化位置显示组件的位置的方法的信息。
7.如权利要求1到4中任意一项所述的图像捕获设备，其中，
当在所述位置显示组件管理单元正在隐藏位置显示组件的同时所述操作接受单元接受初始化操作时，所述位置显示组件管理单元基于由加速度传感器测量的信号确定图像捕获设备的姿态，并基于所确定的姿态改变用于处理由所述姿态信息获取单元获取的姿态信息的处理方法。
8.一种图像显示系统，包括图像捕获设备和能够与图像捕获设备通信的显示设备的通信设备，所述图像显示系统包括：
存储单元，配置为存储已捕获图像；
生成单元，配置为生成关于所述存储单元中存储的已捕获图像的操作屏幕；
姿态信息获取单元，配置为获取关于所述图像捕获设备的姿态的姿态信息；
位置显示组件管理单元，配置为将由所述姿态信息获取单元获取的姿态信息转换为关于位置显示组件在操作屏幕上的位置的位置信息，并基于转换后的位置信息在操作屏幕上显示位置显示组件；
不显示确定单元，配置为当由所述姿态信息获取单元获取的预定姿态信息指示定位所述图像捕获设备的方位偏离预定范围时，确定隐藏位置显示组件；
操作接受单元，配置为接受初始化位置显示组件的位置的初始化操作；和
输出单元，配置为将操作屏幕输出到通信设备；
其中，在位置显示组件响应于所述不显示确定单元确定隐藏所述位置显示组件而被隐藏的期间，所述位置显示组件管理单元响应于所述操作接受单元接受初始化操作，在操作屏幕的初始位置处显示位置显示组件；和
其中，所述通信设备包括显示设备或者连接到显示设备，且所述通信设备使得所述显示设备显示由所述图像捕获设备的输出单元输出的操作屏幕。
9.一种由图像捕获设备实现的操作方法，所述操作方法包括：
生成关于存储单元中存储的图像的操作屏幕；
将生成的操作屏幕输出到显示设备；
获取关于图像捕获设备的姿态的姿态信息；
将获取的姿态信息转换为关于位置显示组件在操作屏幕上的位置的位置信息，和基于转换后的位置信息在操作屏幕上显示位置显示组件；
当获取的预定姿态信息指示定位所述图像捕获设备的方位偏离预定范围时，确定隐藏位置显示组件；
接受初始化位置显示组件的位置的初始化操作；和
在位置显示组件响应于确定隐藏所述位置显示组件而被隐藏的期间，响应于接受初始化操作，在操作屏幕的初始位置处显示位置显示组件。
CN201880054397.9A 2017-08-29 2018-08-13 图像捕获设备、图像显示系统和操作方法 Active CN111034181B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-164794 2017-08-29
JP2017164794A JP6981106B2 (ja) 2017-08-29 2017-08-29 撮像装置、画像表示システム、操作方法、プログラム
PCT/JP2018/030188 WO2019044475A1 (en) 2017-08-29 2018-08-13 IMAGE CAPTURE APPARATUS, IMAGE DISPLAY SYSTEM, AND OPERATING METHOD

Publications (2)

Publication Number Publication Date
CN111034181A CN111034181A (zh) 2020-04-17
CN111034181B true CN111034181B (zh) 2022-05-03

Family

ID=63449624

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880054397.9A Active CN111034181B (zh) 2017-08-29 2018-08-13 图像捕获设备、图像显示系统和操作方法

Country Status (6)

Country Link
US (1) US11375263B2 (zh)
EP (1) EP3677021B1 (zh)
JP (1) JP6981106B2 (zh)
KR (1) KR20200028481A (zh)
CN (1) CN111034181B (zh)
WO (1) WO2019044475A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6368881B1 (ja) * 2018-04-09 2018-08-01 チームラボ株式会社 表示制御システム，端末装置，コンピュータプログラム，及び表示制御方法
JP7361262B2 (ja) * 2019-03-29 2023-10-16 パナソニックＩｐマネジメント株式会社 精算決済装置および無人店舗システム
US11334212B2 (en) 2019-06-07 2022-05-17 Facebook Technologies, Llc Detecting input in artificial reality systems based on a pinch and pull gesture
US11189099B2 (en) 2019-09-20 2021-11-30 Facebook Technologies, Llc Global and local mode virtual object interactions
US11176745B2 (en) 2019-09-20 2021-11-16 Facebook Technologies, Llc Projection casting in virtual environments
US10991163B2 (en) 2019-09-20 2021-04-27 Facebook Technologies, Llc Projection casting in virtual environments
JP7555034B2 (ja) 2020-02-21 2024-09-24 パナソニックＩｐマネジメント株式会社 ヘアケア装置
CN112099712B (zh) 2020-09-17 2022-06-07 北京字节跳动网络技术有限公司 人脸图像显示方法、装置、电子设备及存储介质
US11461973B2 (en) 2020-12-22 2022-10-04 Meta Platforms Technologies, Llc Virtual reality locomotion via hand gesture
CN113095243B (zh) * 2021-04-16 2022-02-15 推想医疗科技股份有限公司 一种鼠标控制的方法、装置、计算机设备和介质
US20220374085A1 (en) * 2021-05-19 2022-11-24 Apple Inc. Navigating user interfaces using hand gestures
USD971180S1 (en) * 2022-07-11 2022-11-29 Zhenzhen Zhu Remote control for television
USD970476S1 (en) * 2022-07-11 2022-11-22 Yuxian Lin Remote control for television
CN115278184B (zh) * 2022-07-18 2024-03-15 峰米(重庆)创新科技有限公司 投影画面校正方法及装置
USD969108S1 (en) * 2022-07-19 2022-11-08 Ningfang Zou Remote control for television
USD969107S1 (en) * 2022-07-19 2022-11-08 Yuxian Lin Remote control for television
USD971181S1 (en) * 2022-07-19 2022-11-29 Xibin Huang Remote control for television
USD980822S1 (en) * 2022-08-26 2023-03-14 Yuxian Lin TV remote control device
USD975681S1 (en) * 2022-09-02 2023-01-17 Jingjing Xu TV remote control
USD975680S1 (en) * 2022-09-02 2023-01-17 Zhenzhen Zhu TV remote control
USD975682S1 (en) * 2022-09-06 2023-01-17 Zhenzhen Zhu TV remote control
USD977455S1 (en) * 2022-09-06 2023-02-07 Xibin Huang TV remote control
USD988292S1 (en) * 2022-09-28 2023-06-06 Nana Zhu Remote control
US11991222B1 (en) 2023-05-02 2024-05-21 Meta Platforms Technologies, Llc Persistent call control user interface element in an artificial reality environment

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101872260A (zh) * 2010-06-03 2010-10-27 张通达 一种远程交互笔及书写笔迹检测方法
CN101968655A (zh) * 2009-07-28 2011-02-09 十速科技股份有限公司 光标位置的偏差校正方法
CN102207820A (zh) * 2010-03-30 2011-10-05 索尼公司 电子设备、图像输出方法及其程序
CN103257815A (zh) * 2012-02-20 2013-08-21 索尼爱立信移动通讯有限公司 一种触摸位置定位方法、文本选择方法、装置及电子设备

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4190935B2 (ja) * 2002-09-27 2008-12-03 富士フイルム株式会社 携帯端末装置
KR20060084694A (ko) * 2005-01-20 2006-07-25 주식회사 팬택앤큐리텔 이동통신 단말기 및 이 단말기의 멀티미디어 재생 화면을외부 디스플레이 장치에 출력하는 방법
JP2007159038A (ja) * 2005-12-08 2007-06-21 Canon Inc 撮像装置及びその制御方法
JP2008107886A (ja) * 2006-10-23 2008-05-08 Seiko Epson Corp 情報表示システム、及び、ポインティング制御方法
EP1950957A2 (en) * 2007-01-23 2008-07-30 Funai Electric Co., Ltd. Image display system
JP4394742B2 (ja) 2009-03-31 2010-01-06 ソフトバンクモバイル株式会社 移動体通信端末及びアプリケーションプログラム
JP2011099980A (ja) 2009-11-05 2011-05-19 Canon Inc 映像表示装置、映像表示システム、及び映像表示装置の制御方法
US9152244B2 (en) * 2011-01-30 2015-10-06 Lg Electronics Inc. Image display apparatus and method for operating the same
JP5844999B2 (ja) * 2011-05-19 2016-01-20 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム及び情報処理方法
TW201310284A (zh) * 2011-08-22 2013-03-01 Wistron Corp 滑鼠及判斷游標作動之方法
JP6142467B2 (ja) 2011-08-31 2017-06-07 株式会社リコー 撮像光学系および全天球型撮像装置および撮像システム
US20130082923A1 (en) * 2011-10-03 2013-04-04 Chip Goal Electronics Corporation, R.O.C. Optical pointer control system and method therefor
JP6123274B2 (ja) 2012-03-08 2017-05-10 株式会社リコー 撮像装置
JP2013214947A (ja) 2012-03-09 2013-10-17 Ricoh Co Ltd 撮像装置、撮像システム、画像処理方法、情報処理装置、及びプログラム
JP5910485B2 (ja) 2012-03-16 2016-04-27 株式会社リコー 撮像システム
JP6079031B2 (ja) 2012-08-01 2017-02-15 株式会社リコー 撮像装置
US10666860B2 (en) 2012-09-11 2020-05-26 Ricoh Company, Ltd. Image processor, image processing method and program, and imaging system
JP6065474B2 (ja) 2012-09-11 2017-01-25 株式会社リコー 撮像制御装置、撮像制御方法およびプログラム
JP6019970B2 (ja) 2012-09-11 2016-11-02 株式会社リコー 全天球型の撮像システムおよび撮像光学系
JP5971207B2 (ja) 2012-09-18 2016-08-17 株式会社リコー 画像調整装置、画像調整方法およびプログラム
JP2014112302A (ja) 2012-12-05 2014-06-19 Ricoh Co Ltd 所定領域管理システム、通信方法、及びプログラム
JP6044328B2 (ja) 2012-12-26 2016-12-14 株式会社リコー 画像処理システム、画像処理方法およびプログラム
JP6204686B2 (ja) 2013-04-12 2017-09-27 任天堂株式会社 情報処理プログラム、情報処理システム、情報処理装置、および、情報処理の実行方法
JP5920507B1 (ja) 2015-03-10 2016-05-18 株式会社リコー 画像処理システム、画像処理方法およびプログラム
WO2017003022A1 (ko) * 2015-06-29 2017-01-05 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
KR20170066021A (ko) * 2015-12-04 2017-06-14 삼성전자주식회사 영상표시장치, 영상표시장치의 구동방법 및 컴퓨터 판독가능 기록매체
CN108293090B (zh) 2015-12-15 2020-10-20 株式会社理光 图像处理设备和图像处理方法
JP2018152646A (ja) 2017-03-10 2018-09-27 株式会社リコー 撮像装置、画像表示システム、操作方法およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101968655A (zh) * 2009-07-28 2011-02-09 十速科技股份有限公司 光标位置的偏差校正方法
CN102207820A (zh) * 2010-03-30 2011-10-05 索尼公司 电子设备、图像输出方法及其程序
CN101872260A (zh) * 2010-06-03 2010-10-27 张通达 一种远程交互笔及书写笔迹检测方法
CN103257815A (zh) * 2012-02-20 2013-08-21 索尼爱立信移动通讯有限公司 一种触摸位置定位方法、文本选择方法、装置及电子设备

Also Published As

Publication number Publication date
KR20200028481A (ko) 2020-03-16
WO2019044475A1 (en) 2019-03-07
US20210076091A1 (en) 2021-03-11
JP2019047167A (ja) 2019-03-22
EP3677021B1 (en) 2021-07-07
EP3677021A1 (en) 2020-07-08
US11375263B2 (en) 2022-06-28
CN111034181A (zh) 2020-04-17
JP6981106B2 (ja) 2021-12-15

Similar Documents

Publication Publication Date Title
CN111034181B (zh) 图像捕获设备、图像显示系统和操作方法
US10979751B2 (en) Communication management apparatus, method and computer-readable storage medium for generating image data identification information communication
US10721116B2 (en) Communication terminal, method for controlling display of image, and non-transitory computer-readable storage medium
US10009603B2 (en) Method and system for adaptive viewport for a mobile device based on viewing angle
US10437545B2 (en) Apparatus, system, and method for controlling display, and recording medium
US10939068B2 (en) Image capturing device, image capturing system, image processing method, and recording medium
US10855916B2 (en) Image processing apparatus, image capturing system, image processing method, and recording medium
US20110298940A1 (en) Method and apparatus for operating camera function in portable terminal
US20190289206A1 (en) Image processing apparatus, image capturing system, image processing method, and recording medium
US11250540B2 (en) Image processing apparatus, image capturing system, image processing method, and recording medium
US20170091899A1 (en) Image management apparatus and system, and method for controlling display of captured image
JP2021174317A (ja) 電子機器及びその制御方法
JP2018152646A (ja) 撮像装置、画像表示システム、操作方法およびプログラム
JP2020108112A (ja) 電子機器及びその制御方法
US11533430B2 (en) Image capturing device with display control, image communication system, and method for display control, and recording medium
US11700455B2 (en) Image capturing device, image communication system, and method for display control
CN110996115B (zh) 直播视频播放方法、装置、设备、存储介质和程序产品
CN111381750B (zh) 电子装置及其控制方法和计算机可读存储介质
JP2018061243A (ja) 通信端末、表示方法、及びプログラム
CN114764295A (zh) 立体场景切换方法、装置、终端及存储介质
JP2020022065A (ja) 配信装置、カメラ装置、配信システム、配信方法及び配信プログラム
CN110881102B (zh) 摄像设备、摄像设备的控制方法和计算机可读介质
CN112150554B (zh) 画面显示方法、装置、终端和存储介质
JP2020108111A (ja) 電子機器及びその制御方法
JP2021097280A (ja) 撮像装置、画像生成方法、プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant